Date: Wed, 20 Jan 2010 14:42:36 +0900
--------------------------------------------------
2012/03/16
[san-tech][03479] Slide/Video: HPC Advisory Council Switzerland Conference 2012 (March 13-15, 2012)
--------------------------------------------------
2012/03/02
"3D Torus Topology with InfiniBand at San Diego Supercomputing Center"
January 30, 2012, HPCWire
Sponsored Content by Mellanox Technologies
http://www.hpcwire.com/hpcwire/2012-01-30/3d_torus_topology_with_infiniband_at_san_diego_supercomputing_center.html
--------------------------------------------------
InfinBand 3D Torus関係情報をまとめました
Sandia Red Sky関連 (ビデオ、Sonoma WS資料、公開パッチ等)
FPGAベース 3D Torus (QPACE (eQPACE)：QCDマシン、EXTOLL project)
Fat-Treeと 3D Torusトポロジーイメージでの比較
Fat-Tree資料
3D Torus以降 (Dragonfly、豆腐)
==========
Sandia Red Sky関係
"Is Sandia National Lab's Red Sky Really Able to Deliver a PUE of 1.035?",
2009年11月22日
http://perspectives.mvdirona.com/2009/11/22/IsSandiaNationalLabsRedSkyReallyAbleToDeliverAPUEOf1035.aspx
Red Sky Time Lapse, 2009年11月16日
http://www.youtube.com/watch?v=mNW9cYY4tqc
Red Sky設置定点ビデオです。上記 Perspectiveにテロップをまとめてありますが、
上記で指摘されているように、PUE=1.035は疑問です。
InfiniBand協力会社のプレスリリース
"System Fabric Works Makes Key Contributions to Sandia's Latest
Institutional Cluster Called RedSky", Fri, Nov 13, 2009
http://www.infinibandta.org/content/pages.php?pg=press_room_member_item&rec_id=617
Red Skyで採用する 3D Torusについての説明
2009 International Sonoma Workshop - The Lodge at Sonoma, March 22 - 25, 2009
http://www.openfabrics.org/archives/sonoma2009.htm
"IB Routing for Torus & Mesh Topologies", Bob Pearson, System Fabric Works
http://www.openfabrics.org/archives/spring2009sonoma/wednesday/mesh.pdf
"OpenSM Update", Sasha Khapyorsky, Voltaire
http://www.openfabrics.org/archives/spring2009sonoma/wednesday/opensm.pdf
OpenSM
https://wiki.openfabrics.org/tiki-index.php?page=OpenSM
公開関連パッチ (ポストは、Jim Schutt, Sandia Red Skyメンバー)
"[PATCH 00/11] Add new torus routing engine: torus-2QoS", 20 Nov 2009
http://www.spinics.net/lists/linux-rdma/msg01438.html
"[PATCH 00/12] Add specialized multicast support to new torus routing engine: torus-2QoS"
18 Dec 2009
http://www.spinics.net/lists/linux-rdma/msg01938.html
"[ofa-general] [PATCH 1/2] opensm: avoid LASH use-after-free when switch is deleted from fabric."
August 28, 2009
http://kerneltrap.org/mailarchive/openfabrics-general/2009/8/28/6362043/thread
Sandia Red Sky 3D Torusに特に注目する理由は別にします。
==========
FPGAベース 3D Torus (QPACE (eQPACE)：QCDマシン、EXTOLL project)
ドイツ(欧州)では FPGAで 3D Torusを実現しています。有名なのは Cellベースの
QCD専用マシン：QPACE (eQPACE) です。QPACE(eQPACE) については以下のワーク
ショップが詳しいです：
eQPACE Meeting Feb 2009
Network Specification and Software Data Structures for the eQPACE Architecture
February 9th and 10th, 2009
http://www.fz-juelich.de/jsc/juice/eQPACE_Meeting/
ネットワーク関係プロジェクトメンバー：
High-speed Network Interface with Collective Operation Support for Cell BE (NICOLL)
http://www.tu-chemnitz.de/informatik/RA/dw/doku.php?id=research:projects:nicoll
FPGA Implementation of a 3D Torus Communication Network
http://moby.mib.infn.it/~simma/tnw/
QPACE (QCD Parallel Computing on the Cell Broadband Engine)
http://en.wikipedia.org/wiki/QPACE
EXTOLL project
http://ra.ziti.uni-heidelberg.de/index.php?page=projects&id=extoll
"An FPGA-Based Custom High Performance Interconnection Network"
Mondrian Nussle, et al.
International Conference on Reconfigurable Computing and FPGAs, 2009
http://doi.ieeecomputersociety.org/10.1109/ReConFig.2009.23
"Acceleration of the hardware-software interface of a communication
device for parallel systems",
Mondrian Nuessle, Disser/tation, 18.2.2009.
http://madoc.bib.uni-mannheim.de/madoc/volltexte/2009/2246/
http://madoc.bib.uni-mannheim.de/madoc/volltexte/2009/2246/pdf/dissertation_nuessle.pdf
HyperTransport Center of Excellence, University of Heidelberg
http://ra.ziti.uni-heidelberg.de/coeht/
==========
Fat-Treeと 3D Torusトポロジーイメージでの比較
InfiBandを利用した HPCの多くは Fat-Treeトポロジーを採用しています。
CM-5は Fat-Treeを最初に採用した大規模マシンなので (CM-5用に開発)、以前
紹介したビデオは Fat-Treeの動きが良くわかります：
> "Database Supercomputing on the CM-5"
> http://www.youtube.com/watch?v=1EcJmPHpJ_k
これをみると解るように、上位層スイッチにはより多くのバンド幅が要求され
ます、多くのサイトで大型 Voltaireを導入せざるおえない理由でもあり、
(いろいろな意味での) システム規模の制限につながります。Sunの超大規模
スイッチもありますが・・・
実は、上位層も同じ規模のエッジスイッチで構成することも可能です。例えば
筑波大学の T2Kとか。
Torsten Hoefler's Network Topology Repository!
http://www.unixer.de/research/topologies/
HPCネットワークトポロジーを可視化したものです、太い部分はネットワークが
集中しています (＝高バンド幅スイッチが必要)。
下側 2つは Cray XT (3D Torus) です。ネットワークが均一化されています。
どこにも巨大センタースイッチは存在しません。Cray XT4を紹介した際に
「ノード間ネットワークのセンタースイッチラックはどこですか？」
と聞かれることがありましたが、そもそも存在しません。
作者の Torsten Hoefler博士、Indiana Universityは MPI関係で著名な方です
Torsten Hoefler's Home Page
http://www.unixer.de/
InfiniBandエッジスイッチを採用した 3D Torus構成とすることで、今までの
InfiniBandベース大規模システム構築際のネックになっていた、高額な大規模
スイッチを避けることが可能となります。
しかしながら、当然、双方ともに短所長所があります。
特に 3D Torusルーティングの安定度や管理ツール。
==========
Fat Tree資料
オリジナル
"Fat-trees: universal networks for hardware-efficient supercomputing"
Charles E. Leiserson, IEEE Transactions on Computers,
Vol. 34 , no. 10, Oct. 1985,
http://courses.csail.mit.edu/6.896/spring04/handouts/papers/fat_trees.pdf
※CM-5につながります
Theory of Parallel Hardware, MIT, 6.896, Spring, 2004
http://courses.csail.mit.edu/6.896/spring04/
Fat Treeについては以下の講義資料も良いかもしれません
CIS5930 Parallel and Distributed Systems, Spring 2009
Florida State University
http://www.cs.fsu.edu/~xyuan/cis5930/
Lecture 11 Fat-tree and its performance issues
http://www.cs.fsu.edu/~xyuan/cis5930/lect11_fattree.ppt
他にもあるかもしれませんが・・・
実際には Fat Tree系も研究が進められています。
"Fat trees and skinny switches", 24 August, 2008
http://storagemojo.com/2008/08/24/fat-trees-and-skinny-switches/
Mohammad Al-Fares, Ph.D. Candidate, University of California, San Diego
http://cseweb.ucsd.edu/~malfares/
Publications, Torsten Hoefler (トポロジーイメージを作成された方)
http://www.unixer.de/publications/
"Optimized Routing for Large-Scale InfiniBand Networks", HOTI 2009
http://www.unixer.de/publications//?pub=93
"Multistage Interconnection Networks are not Crossbars"
Torsten Hoefler, 08/22/08
Lawrence Berkeley National Lab. presented in Berkeley
http://www.unixer.de/publications/img/hoefler-lbnl08-slides.pdf
毎学会のように提案されていて、はっきりいって追いかけきれません。
3D Torus等は省略します
==========
3D Torus以降 (Dragonfly、豆腐)
3D Torusの次の HPC用ネットワークトポロジー候補を 2つど紹介しておきます
"Cost-Efficient Dragonfly Topology for Large-Scale Systems"
John Kim, Northwestern University, William Dally, Stanford University,
Steve Scott, Cray, Dennis Abts, Google
IEEE Micro, vol. 29, no. 1, pp. 33-40, Jan./Feb. 2009
http://doi.ieeecomputersociety.org/10.1109/MM.2009.5
Dragonflyは次期 Cray (HPCS) での本命と言われています
アカデミックの中心研究室
Stanford Interconnection Network Research
Prof. William J. Dally
http://cva.stanford.edu/projects/icn/
以下の報告で、Dragonfly: 3D Torus: Fat Treeを簡単に比較しています：
"Of FLITS and FLOPS: Balancing Energy and Interconnect Performance",
K. Scott Hemmert, Sandia National Laboratories, Salishan 2009
http://www.lanl.gov/orgs/hpc/salishan/salishan2009/pdfs/hemmert-salishan-2009-final.pdf
Comparison of Theoretical Modern Networks
[san-tech][02005] Salishan 2009: Theme: Energy-Centric HPC: Systems and Applications (09/04/27-30)
次期 Crayネットワークチップ (Gemini) 関連情報
Cray XT5 Code Porting Workshop, 13-15 july 2009
CSCS Swiss National Supercomputing Centre
http://www.cscs.ch/468.0.html
"Interconnect"
http://www.cscs.ch/fileadmin/user_upload/customers/CSCS_Application_Data/Files/Presentations/CPW09_Interconnect.pdf
"Gemini Software Development Using Simulation",
Kevin Peterson, Cray Inc., CUG 2009, May 7, 2009
http://www.cug.org/5-publications/proceedings_attendee_lists/CUG09CD/S09_Proceedings/pages/authors/16-18Thursday/18A-Peterson/18A-Peterson-paper.pdf
http://www.cug.org/5-publications/proceedings_attendee_lists/CUG09CD/S09_Proceedings/pages/authors/16-18Thursday/18A-Peterson/18A-Peterson-slide.pdf
国産技術
"Tofu: A 6D Mesh/Torus Interconnect for Exascale Computers"
Yuichiro Ajima, Shinji Sumimoto, Toshiyuki Shimizu, Fujitsu
Computer, vol. 42, no. 11, pp. 36-40, Nov. 2009
http://doi.ieeecomputersociety.org/10.1109/MC.2009.370
"A new architecture with a six-dimensional mesh/torus topology achieves
highly scalable and fault-tolerant interconnection networks for
large-scale supercomputers that can exceed 10 petaflops."
"Tofu stands for "torus fusion" or "torus-connected full connection".
関連？
"大規模InfiniBandシステムにおける経路更新手法の提案"
中島 耕太，久門 耕一，成瀬 彰，住元 真司 (富士通研)
ネットワーク技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ
SWoPP仙台2009
http://ci.nii.ac.jp/naid/110007358825
--------------------------------------------------
2011/06/22
[san-tech][02988] 講演資料：3rd Symp. of the HyperTransport COE (2010/02/08. 09)、SMP用ボードが 3種
"The 3D Torus architecture and the Eurotech approach"
June 20, 2011, HPCwire
http://www.hpcwire.com/hpcwire/2011-06-20/the_3d_torus_architecture_and_the_eurotech_approach.html
0 件のコメント:
コメントを投稿