[san-tech][02389] 東工大 TSUBAME 2.0ストレージ：BlueArc導入!

Date: Fri, 18 Jun 2010 17:24:27 +0900
------------------------------------------------
東工大 TSUBAME2.0 システム概念図をみていて面白いことに気付きました

TSUBAME2
  http://www.gsic.titech.ac.jp/tsubame2

"2010.06.17　記者会見「日本発のペタコンが今秋、東工大で始動」を開催
 (2010年6月16日11:00～12:30)"
※上の URLで、当日配布された資料が公開されています。

配布資料(2) 『TSUBAME2.0の概要』(東工大　松岡　聡)
  http://www.gsic.titech.ac.jp/~ccwww/TSUBAME20.pdf



TSUBAME2.0 システム概念図 (11ページ)

ホーム領域: 1.2PB
  Storage Server:
    HP DL380 G6 4nodes
    BlueArc Mercury 100 x2 ←注目！
  Storage:DDN SFA10000 x1

並列ファイルシステム領域: 5.93PB
  Lustre: 5 File System
    OSS (HP DL360 G6): 20 Node, OST: 5.9PB
    MDS (HP DL360 G6): 10 Node, MDT: 30TB
  Storage: DDN SFA10000 x 5

当初は
「MDS: 10 Node？」
だったのですが (現行 Lustreでは MDSの負荷分散実用化は未だのはず)
Lustre: 5 File Systemなので、File Systemごとに MDSは Active/Standby
2台構成ということですね。各ノード 3TBだから SASか SSDでしょう。
2.5インチ HDD、8ベイだから、2 SAS：システム＋6 SSD：MDT可能ですね。

あ！、15ページだと MDTも  DDNのなかですね (ただし 600GB SAS×50),
※SFA10000は細かいアクセスへの対応も改善されているとのことですが
某所では、OSTは DDN、MDTは別の会社にしました (某社のノウハウ)
※あと、OSS Nodeとのバランスが気になりますが・・・
ファイルシステムが 5つなので、うまくバランスをとれば大丈夫で
しょうね。
※一番に注意すべきは、OST間のバランスですね。

標準の Linuxコマンドの dfは全 OSTの "平均値" を表示します。
ところが、場合によっては特定の OST群の使用量に偏りが生じる場合が
あります。OSTが 1つでも 100%になると・・・
※確か、Lustreでは未だ OST使用量の平滑化は実用化されてないと思いますが？


15ページにストレージの詳細がありました：
ホーム・クラウドサービス用領域
NFS/CIFS用：HP DL380 G6 x4
-CPU:Intel Westmere-EP x2 socket(12コア)
-メモリ：51GB(=48GiB)
-IB HCA:IB 4X QDR PCI-e G2 x2port
NFS/CIFS/iSCSI アクセラレーション：BlueArc Mercury100 x2
-10GbE x2
ストレージ：DDN SFA10000 x1
-Total容量：1.2PB (2TB SATA x 600 Disks)

BlueArc Mercury100が IBに対応してないから、HP DL380＋IBが必要かもしれ
ませんが、これだと、BlueArc配下のファイルシステム (SiliconFS) には
IB経由ではアクセス出来ないと思いますが
Voltaire Grid Director 4036E (IB QDR:34port + 10GbE: 2port) x 6
だから、ホーム系は BlueArcだけにした方が管理・運用が楽な気がしますが、
BlueArcが SiliconFSを Linux系にも移植しているのだったら、素晴らしい
のですが (パフォーマンスはおちるにせよ)。そもそも BleArcが IBに
対応してないのがアレですが、企業ポリシーと ASICというハードルだから。

とにかく、これを実績に BlueArcも日本進出を・・・


あと気になったものは
HP Modular Cooling System G2
  http://h10010.www1.hp.com/wwpc/us/en/sm/WF05a/3447589-3447589-3446285-3446371-3461917-3657806.html
HP Video: HP Modular Cooling System G2
  http://h30423.www3.hp.com/index.jsp?fr_story=1867cf80d43db70eddd8bb700db7b7fbfe694cb3&rf=bm
※画面を大きくすることをお勧めします。
"HP Modular Cooling System Generation 2 water cooling technology"
 technology brief, June 2008
  http://h20000.www2.hp.com/bc/docs/support/SupportManual/c01490034/c01490034.pdf
"HP Modular Cooling System Generation 2 Site Preparation Guide"
 First Edition, February 2008
  http://bizsupport.austin.hp.com/bc/docs/support/SupportManual/c01367166/c01367166.pdf
"HP Modular Cooling System User Guide"
 February 2007 (Second Edition)
  http://bizsupport.austin.hp.com/bc/docs/support/SupportManual/c00599044/c00599044.pdf
"HP Modular Cooling System Web Interface User Guide"
 February 2007 (Second Edition)
  http://bizsupport.austin.hp.com/bc/docs/support/SupportManual/c00599047/c00599047.pdf

忘れられがちですが、この手の液冷システムを使用する場合も、当然ながら
建物の外に冷却力に見合う熱交換装置 (液冷の場合は水冷タンクとか) を
設置します。水冷タンク式の場合は重さに注意する必要があります。


"グリーンスパコン: 環境監視システム" (19ページ)

この手のシステムはあって当然ですが、
空調機：吸気温度情報を採取【SNMPなど】
※吸気温度情報ということは Libert製空調機？

センサーがどの位の規模になるか、個人的には興味津々です。
ユーザーインタフェースが大変なことにならないように・・・