Embed Size (px)
Citation preview
High Performance and Productivit
High Density HPC Solutions
スケーラブルシステムズ株式会社
HPCシステムの課題
• データセンターにサーバを設置する場合、単にラックマウントするだけでは不十分
• 計算機システム自身の‘Optimization‟が必要
• 高密度なハイパフォーマンスシステムの構築
スケーラブルシステムズ株式会社2
インテルプロセッサロードマップ
スケーラブルシステムズ株式会社3
拡張版インテル®CoreCore™
マイクロアーキテクチャー
• 同一周波数でより優れた性能・高周波数版も提供
• メディア・ゲーム・グラフィックス・数値演算に対応する新SSE4 命令群
• 新次元のエネルギー効率
• より大容量のキャッシュ・より高速なバス・スピード
スケーラブルシステムズ株式会社4
次世代45nm インテル®Core™2 & Xeon®
ファミリー・プロセッサー“Penryn”
拡張版 インテル® Core ™
マイクロアーキテクチャー
スケーラブルシステムズ株式会社5
インテルCoreマイクロアーキテクチャ Penryn ファミリーでの拡張
インテル®ワイド・ダイナミック・エグゼキューション高速なRadixRadix--16 除算処理拡張版インテル®バーチャライゼーション・テクノロジー
インテル®アドバンスド・スマート・キャッシュ より大容量のキャッシュ: 最大6MB, 12MB
インテル®スマート・メモリー・アクセススプリット・ロード・キャッシュの改善より高速なバススピード
インテル®アドバンスド・メモリー・ブーストインテルSSE4 命令群スーパー・シャッフル・エンジン
インテル®インテリジェント・パワー機能より高度な省電力技術：拡張版インテル®ダイナミック・アクセラレーション・テクノロジー
Intel ® Xeon ®プロセッサベースシステム基本仕様
スケーラブルシステムズ株式会社6
Platform Comparison 2006 2007
Processor Cache (Dual/Quad Core) 4M 6M
Max Front Side Bus 1333MHz 1600MHz
Snoop Filter 16 MB 24 MB
Active Way Management ✔
Intel® Virtualization Technology Intel® VT-x Intel® VT-x/VT-d
Acoustics & Memory Bandwidth Base Better
I/O Lanes PCI Express* 1.0 32 44
PCI Express* 2.0 Dual x16
PCI-X ✔ ✔
Intel® I/O Acceleration
Technology (Intel®I/OAT)v1 v1 & V2
Memory Channels 4 4
Capacity (GB of FB-DIMM) 64 128
Addressability 36 bit 38 bit
New RAS
Features ✔
次世代45nm プロセッサー“Penryn”
スケーラブルシステムズ株式会社7
高密度実装プラットフォーム
スケーラブルシステムズ株式会社8
デュアルソケット
シングルソケット デュアルソケットと同じ実装密度（2 CPU / 1U)
筺体あたりのメモリバンド幅は、50%以上高い消費電力あたりの性能（>20%）
高い実装密度（4 CPU / 1U)
15 ノードで、１TGFLOPS
以上の性能
PortTownsend （S3000PT)
HPC BOARD FEATURES
Single Intel® PentiumD processor (Conroe, Kentsfield)
Chipset: Mukilteo2 + ICH7
4 DIMM (max 8GB) - DDR2 533/667 with U-ECC
1066 FSB
PCIex8 – support for IB MemFree card & SFF GbE card
Integrated 2 port SATA2 with RAID 0/1
2xGbE (Tekoa + TekoaE)
2xUSB2 external (crash cart)
Rear video & serial port
Internal headers: serial (3pin), 2xUSB2, I2C
Custom 5.95” x13” , 6 layer
Custom power connector
Client Management iAMT via TekoaE
PCI-E x8
GbE
Memory
CPU
VRD
MCH
ICH
Coreマイクロアーキテクチャに対応した製品Quadコアのサポート
スケーラブルシステムズ株式会社10
PortTownsend （S3000PT)
HPC BOARD FEATURES Single Intel® PentiumD processor (Conroe, Kentsfield)
Chipset: Mukilteo2 + ICH7
4 DIMM (max 8GB) - DDR2 533/667 with U-ECC
1066 FSB
PCIex8 – support for IB MemFree card & SFF GbE card
Integrated 2 port SATA2 with RAID 0/1
2xGbE (Tekoa + TekoaE)
2xUSB2 external (crash cart)
Rear video & serial port
Internal headers: serial (3pin), 2xUSB2, I2C
Custom 5.95” x13” , 6 layer
Custom power connector
Client Management iAMT via TekoaE
PCI-E x8
GbE
Memory
CPU
VRD
MCH
ICH
Coreマイクロアーキテクチャに対応した製品Quadコアのサポート
スケーラブルシステムズ株式会社11
AtokaV
HPC BOARD FEATURES Dual Intel® Xeon processor (Woodcrest, Clovertown)
Chipset: Greencreek + ESB2
8 FBD (max 32GB) - DDR2 533/667
1333 FSB
PCIex8 – slot
Mellanox IB 4x DDR single port down
Integrated 2 port SATA2 with RAID 0/1
2xGbE (Gilgal)
2xUSB2 external (crash cart)
Rear video & serial port
Internal headers: serial (3pin), 1xUSB2, I2C
Custom 6.5” x16.5”
Custom power connector
Client Management via IPMI module / GbE port
Support for 32Mbit flash & embedded LinuxGbE
Memory
CPU
VRD
MCH
ESB2
PCI-E x8
CPU
IB
高密度DPソリューション
プロセッサとチップセットの選択
VXB5000AL
デュアルソケットSE5000AL
1333MHzのデュアルな独立したバスアーキテクチャ
スケーラブルシステムズ株式会社
VXB3000PT
シングルソケットS3000PT
シングルソケットのHPCボードを2セット搭載
VXB5000AL
VXB5000AL
デュアルソケットSE5000AL
1333MHzのデュアルな独立したバスアーキテクチャ
スケーラブルシステムズ株式会社
• 1333MHz 独立したデュアルバスアーキテクチャ
• インテルが提供する様々な付加機能（iAMT
やVT、メモリミラーなど）を利用可能
• 通常のサーバと同じ機能、性能をさらに高いコストパフォーマンスで提供
• 3.0GHzまでのプロセッサをサポート
• 低電圧Xeon 5148も搭載可能
VXB3000PT
スケーラブルシステムズ株式会社
VXB3000PT
シングルソケットS3000PT
シングルソケットのHPCボードを2セット搭載
• NEXXUS 4820ALよりも更に高いコストパフォーマンスを実現
• MPIベースのアプリケーションでは、シングルソケット＋高速インターコネクトでの高い性能の実現
• DDR2 ６６７MHｚメモリによるHPC
アプリケーションの高速実行
S3000PTリファレンスシステム
スケーラブルシステムズ株式会社16
S3000PTベースサーバ
スケーラブルシステムズ株式会社17
S3000PTベースサーバ
• S3000PTベースのサーバは複数のベンダーが１U
や４U（ブレード）サイズの製品を展示
超高密度実装サーバ
4 x 1U System = 16 cores
4倍の実装密度
• 非常に高密度実装を可能とするサーバ技術– 通常の１Uサーバに搭載されているマザーボードを半分のサイズで実装し、2つのマザーボードを1台のサーバに搭載
• １Uサイズの筐体に16プロセッサコアを搭載可能
• InfiniBandとGbEをマザーボード上に搭載
18 スケーラブルシステムズ株式会社
4 x 1U System = 64 cores
AtokaとS3000PTの比較
• Atokaでは、ボード上にInfiniBandを実装している（写真では、実際にIBケーブルを接続）
• サイズは、横幅はほぼ同じで、縦幅が長い
1Uサイズの筐体に2枚搭載可能
スケーラブルシステムズ株式会社19
HPC & HDCソリューション
高密度コンピューティング(High Density Computing)
バンド幅を最大化
最大の計算処理能力
消費電力
実装密度
IPMI 2.0
コスト
SATA
省電力プロセッサ
メモリ1GB-2GB
コアあたり
メモリ2GB-4GB
コアあたり
高速なマイクロプロセッサ
高速なマイクロプロセッサ
IB Interconnect
GbE Interconnect
S3000PT•2 ボード / 1U
•コアあたりのメモリ、IOバンド幅を最大•電力あたりの性能を最大化
Atoka•4 ソケット / 1U
•大規模メモリ•計算密度
ハイパフォーマンスコンピューティング(High Performance Computing)
IDF での説明資料
• Technical Overview of the 45nm Next
GenerationIntel®Core™Microarchitecture
(Penryn)
– http://www.sstc.co.jp/biz/report/IDF_Fall2007/P
enryn/IPTS001_100b.pdf
スケーラブルシステムズ株式会社21
STAR-CD ベンチマーク
Benchmarks STAR-CD V3240/V3260
A-Class DATASET
http://www.cd-adapco.com/products/STAR-CD/performance/320/aclass32.html
16
80
200
400
600
800
1000
1200
NEXXUS Xeon 3070 (Dual
Core 2.66GHz/node)
HP Woodcrest (2xDual Core
3.0 GHz/Node)
HP XC Opteron D1145XC Dual
Core, 2 sockets, 2.2
GHz
SGI ALTIX-4700 1.6 GHz
Montecito
392 521
466
391
768
1,027
882
経過時間（秒）
コア数
より高い性能
スケーラブルシステムズ株式会社22
LS-DYNA ベンチマーク16 プロセッサコアベンチマーク
0
2000
4000
6000
8000
10000
12000
14000
Penguin Computing/Xeon
5160 (3.0GHz)
HP/Opteron (2.6GHz) NEXXUS/Core2Duo (2.66GHz)
1135112031
10459
Ela
psed
Tim
e (
Secs)
LS-DYNA 971
3 Vehicle Collision
http://www.topcrunch.org/ノード数xソケット数xコア数
4x2x2 8x1x24x2x2
より高い性能
スケーラブルシステムズ株式会社23
標準ベンチマーク性能
スケーラブルシステムズ株式会社24
ＮＡＳ Parallel Benchmark (NPB) 16並列ベンチマークオペレーション数/秒 （数値は大きいほど高い性能を示す）
Platform NEXXUS PT VXPRO R1400 VXRACK 性能比率（％）
Motherboard S3000PT Atoka S3000PT
CPU Clock 2.66GHz 3.0GHz 2.93GHz
BT 21194 19556 21955 12%
CG 4532 2866 4336 51%
EP 548 615 603 -2%
FT 7689 7373 8462 15%
IS 592 327 536 64%
LU 17989 17330 18576 7%
MG 11563 9389 11393 21%
SP 6891 6145 6978 14%
ADVCベンチマーク
スケーラブルシステムズ株式会社25
0
50
100
150
200
250
300
350
400
wheel_4p8mildof alde_engine_12mildof
経過時間（秒）
Dual Socket (3.0GHz) Single Socket (2.93GHz)
8並列実行時間
より高い性能
NAS Parallel Benchmark (NPB) 16/64並列ベンチマーク相対性能比 （数値は大きいほど高い性能を示す）
スケーラブルシステムズ株式会社26
0
1
2
3
4
5
6
BT CG EP FT IS LU MG SP
相対性能（S
30
00
PT
/16 を１としての性能比）
ベンチマーク
S3000PT/16 S3000PT/64 Cray XT3/16 Cray XT3/64
より高い性能
NAS Parallel Benchmark (NPB) 16/64並列ベンチマーク相対性能比 （数値は大きいほど高い性能を示す）
スケーラブルシステムズ株式会社27
0
1
2
3
4
5
6
BT CG EP FT IS LU MG SP
相対性能（S
300
0P
T/1
6 を１としての性能比）
ベンチマーク
S3000PT/16 S3000PT/64 Altix/16 Altix/64
より高い性能
アーキテクチャによる性能差シングルソケット>デュアルソケット>>SMP
• 共有メモリの利点は、性能以外の面で多々あるので、単純な比較は無理だとしても・・・・
– MPIアプリケーションでは、SMPは性能上の利点が尐ない
–性能差は、クロック比に対して、2.4倍から5.5倍
スケーラブルシステムズ株式会社28
Opteron SMP S3000PT 性能比
Clock 2.6GHz 2.66GHz （Ratio)
BT 3847 21194 5.5
CG 1575 4532 2.9
EP 168 548 3.3
FT 3096 7689 2.5
IS 154 592 3.9
LU 6090 17989 3.0
MG 3566 11563 3.2
SP 2924 6891 2.4
High Density Entry Systems
スケーラブルシステムズ株式会社30
•1U Twin (Bensley)
•クァッドコア Intel Xeonプロセッサ 120W、80W、50W CPU
•InfiniBand 、8 FBDIMMスロット、IPMI、PCIex 8 スロット•1U „side by side‟ 筐体•HPC/HDCマーケットをターゲット
•Atoka-2
•次期クァッドコア Intel Xeonプロセッサ 120W、80W、50W CPU
•InfiniBand 、8 FBDIMMスロット、IPMI、PCIex 16 スロット•1U „side by side‟ 筐体•HPC/HDCマーケットをターゲット
•将来製品•Intel QuickPathインターコネクト•1U „side by side‟ 筐体•HPC/HDCマーケットをターゲット
スケーラブルシステムズ株式会社31
High Density Entry Systems
スケーラブルシステムズ株式会社32
•SE7230CA1
•Pentium Dプロセッサ•リファレンス筐体などの提供•1U „side by side‟ 筐体•HPC/HDCマーケットをターゲット
•Intel Server Board S3000PT
•Intel Core2 2Duo Xeonプロセッサ 65W
•リファレンス筐体などの提供•1U „side by side‟ 筐体•HPC/HDCマーケットをターゲット
•Intel Server Board X38ML
•Intel Core2 2Duo Xeonプロセッサ 65W
•リファレンス筐体などの提供•1U „side by side‟ 筐体•HPC/HDCマーケットをターゲット
SE7230CA1
X38ML概要
33
• Wolfdale / Yorkfield / Conroe / Kentsfieldprocessor (35W, 65W, 130W)をサポート
• X38 chipset
– 1333 MHz Fontside Bus
– FSB Overclock のサポート（1600 又は2000MHz)
• Single PCI-Express x16 connector
• ハイエンドグラフィクスもサポート• 4 DIMMs (最大 16GB) DDR2 667/800メモリ• Integrated 4 port SATA 3.0Gb/s with RAID
0 and 1
• Integrated graphics
• Integrated BMC supporting IPMI 2.0
• Integrated Dual Gigabit Ethernet (Zoar)
• Custom 5.9” x13” form factor
Intel X38 Expressチップセット
http://www.anandtech.com/cpuchipsets/intel/showdoc.aspx?i=3120
X38チップセット - Overclock
スケーラブルシステムズ株式会社35
Intel Core 2 Quad
“Yorkfield”
Overclockのサポート
Core Speed: 3825.5MHz
FSB : 1700.2 MHz
サーバプラットフォーム
スケーラブルシステムズ株式会社36
FBD
Blackford
MCH
Storage
ControllerPXH
10 GbE
I/OAT
iSCSI
Configurable set of PCIe Gen1 ports
ESB-2
I/O
Bridge
SAS/SATA
・・・・PCI-X 10 GbE
ESI
x8
x8 x8
DIB
1066/1333 MHz
8.5/10.5 GB/s25.5/32 GB/s
FBD
Seaburg
MCH
Storage
ControllerPXH
10 GbE
I/OAT
iSCSI
Configurable set of PCIe ports up to
Dual x16 Gen2 (Gfx)
ESB-2
I/O
Bridge
SATA/SAS
・・・・PCI-X 10 GbE
ESI
x8
x8 x8
Dual 1600 MT/s
Point to Point Bus25.5/32 GB/s
x8 x8x8x8
Stoakley =
Harpertown(Xeon 54xx) + Seaburg
スケーラブルシステムズ株式会社37
FUSION 1200では、従来のShelf (通常のクラスタのノードに相当)に対して、2倍の容量とFSBを高速化したものを発表しています。このShelf では、最大128GBのメモリを搭載できるため、FUSION1200
の一筺体で、768GBのメモリまで拡張出来ます。（従来のShelfは、32GBが最大容量）
サーバプラットフォームベンチマーク
スケーラブルシステムズ株式会社38 http://techreport.com/articles.x/13224/1
1.00 1.00 1.000.98
1.35 1.38
System Power (watts)
Performance (SPECjbb2005)
Performance per System Watt
エネルギー効率と性能
Intel Xeon E5345 (2.33GHz/1333/80W)Intel Xeon E5450 (3.00GHz/1333/80W)
Stable
System
Power
+Higher
Performance= Higher Perf/Watt
Intel Xeon 5400番台プロセッサ
エネルギー効率の改善：HDCプラットフォームではより広範囲なプロセッサの搭載が可能となる利点がある
Intel Xeon 5400番台プロセッサ
• 主なテクノロジー– 45nm プロセス技術に基づくクアッドコア/デュアルコア インテルXeonプロセッサ
– 50% 大容量化された L2 キャッシュ– 20% 高速化された FSB(1600MHz)
– PCI Express 2.0 によって 2 倍に拡大した帯域幅– 大容量メモリーのサポート (最大 128GB)
– 40 レーンの構成可能な PCI Express 1.0 および 2.0
• 主な機能– より高いメモリバンドとメモリ領域を必要とするアプリケーション
– ハイパフォーマンスクラスタ環境– マルチタスク・ユーザー環境
スケーラブルシステムズ株式会社40
1.00
1.26 1.27 1.29 1.29 1.30 1.32 1.37 1.38 1.46
1.53 1.58 1.61 Xeon E5472 vs Xeon X5365 HPCベンチマーク
Xe
on
X5
36
5
（3.0）
CA
E
CA
E
En
erg
y
CA
E
ED
A
Sc
ien
tifi
c C
om
pu
tin
g
FS
I
Cli
ma
te M
od
eli
ng
En
erg
y
Cli
ma
te M
od
eli
ng
FS
I
FS
I
相対性能：数値の大きな方が高性能
Intel Xeon 5400番台プロセッサ
Intel QuickAssist Technology
スケーラブルシステムズ株式会社42
• サーバ向けCPUとサードパーティのアクセラレータを組み合わせて高速処理を行うためのフレームワーク
Intel QuickAssist Technology
スケーラブルシステムズ株式会社43
「QuickAssist Technology」はサーバにアクセラ
レータ機能を付加するための技術であり、今回のIDFではFSB-FPGAアクセラレータとして、FPGA
モジュールをプロセッサソケットに直接搭載し、メモリを共有し、よりシームレスな計算機システムの構築などのデモが行われています。（写真は、SGIのブレードシステムでの事例です。プロセッサソケットに、FPGAモジュールが搭載されています。）
パラレルコンピューティングには、パラレルストレージは必須
• x86/Linuxシステムの導入
– コストを削減し、標準構成部品でのシステム構築が可能
– 小規模から大規模なシステムまで構築が可能（ブロック構成）
– システム規模の拡大• 計算環境での並列処理の一般化
– 計算機システムでのクラスタの一般化– プロセッサのマルチコア化の急速な浸透– アプリケーションや利用環境の整備による並列処理の容易な利用が可能
ストレージシステムもこのような並列処理の進歩に対応し、その経済性の向上を図る必要がある
Panasasストレージクラスタ
スケーラブルシステムズ株式会社
ストレージに関する課題
バックアップ/
リストア
バックアップ/リストア•バックアップ処理のためのストレージシステムの負担•バックアップ実施のタイミング•高速でのバックアップの問題
クライアント（エンドユーザ）
クライアント•ジョブの実行終了を待つ
•ユーザ数が増えた場合のスケーラビリティの問題
•ユーザ間でのコラボレーションやデータの共有の問題
クラスタ
クラスタ•計算クラスタはI/O処理の終了まで計算を中断•I/O処理は、クラスタの利用率の低下を引き起こす
•ノード数を増やした場合のスケーラビリティの維持の問題
従来のネットワークストレージ
クラスタ利用時のボトルネックの問題
スケーラブルシステムズ株式会社
クラスタ = パラレルコンピューティング
パラレルコンピューティングでは、パラレル IOが必要
単一のストレージシステム (NFS
サーバなど)
Linux 計算クラスタ
ストレージに対するシングルのデータパス
問題点
スケーリングの複雑さ
限定されるBW & I/O
ストレージ単独てのシステム拡張の限界
柔軟性の欠如
高価なシステム構成
スケーラビリティ
高い BW & I/O
シングルストレージプールの実現
容易な運用管理
低価格
パラレルなストレージに対するデータパス
Panasas
ストレージクラスタ
利点
Linux 計算クラスタ (MPI
ベースの並列アプリケーション)
クラスタでのボトルネックの解決
• パラレル分散ファイルシステム• グローバルネームスペースによるシステムの拡張時の容易な運用管理の実現• オブジェクトベースストレージによるスケーラブルな性能を実現するアーキテクチャ• インテリジェントなハードウエアアーキテクチャによる容易なシステム実装と拡張性• 統合されたストレージソリューション と一般商用製品による低コスト
CLUSTER
Panasasが提供するストレージクラスタ
パラレルなデータパス
バックアップ/
リストア
クライアント（エンドユーザ）
クラスタ
スケーラブルシステムズ株式会社
ストレージに対する要求
“Run, Evaluate,
Re-Run”
“Run & Done”
Oil & Gas Seismic Interpretation Oil & Gas Seismic Processing
EDA Design/Analysis Chip Simulation & Tape Out
Auto/Aero Design Air Flow and Crash Simulation
Interactive Batch
Animation SFX Creation Rendering
Trading/Portfolio Mgmt Risk Analysis
ユーザの要求大容量のドライブ大規模なファイル順次アクセス高いバンド幅一貫した可用性シンプルなSW構成
ユーザの要求大容量ドライブは不要小－中規模のファイル
ランダムなファイルアクセス高いIOスループット高いバンド幅高い可用性
スナップショット機能
スケーラブルシステムズ株式会社
„Unified HPC Storage‟の提案
Interactive Batch
完全に統合されたシングルポイントでアクセス可能なストレージプール共有データへの高速で、容易なアクセスを可能とする結果が得られるまでの時間を短縮（売り上げの増加）
データの多重保持が不要（コストの削減）リソースのシングルプールとしての管理による容易な運用
ストレージシステムSANファイルシステムが典型
ストレージシステムNASサーバなどが典型
Unified Storage
FLUENTテストケース
1024.831525
37572
600
39196.83152
1026.439802
16357
622
18005.4398
1032.862096
10667
631
12330.8621
File Read Solve File Write Total Time
90M Cell Simulation- 170 MB/sec AssumedParallel I/O
64 CPU Cluster 128 CPU Cluster 192 CPU Cluster
4120
37572
4453
46145
6848
16357
7676
30881
967010667
11288
31625
File Read Solve File Write Total Time
FLUENT 6.2 Performance - 90M Cell SimulationSerial I/O
64 CPU Cluster 128 CPU Cluster 192 CPU Cluster
Serial I/O: I/O処理がボトルネック
となって、プロセッサを並列処理でのスケーラビリティが制限される。
Parallel I/O:I/O処理を並列に
行うことでスケーラビリティを維持することが可能となります。
Source: Fluent / ANSYS, November 2006
64 62
84
0
25
50
75
100
32
CPU Time: PanFSTotal-Time: PanFSCPU Time: DASTotal Time: DASCPU Time: NFSTotal-Time: NFS
Number of Cores
Tim
e (S
econ
ds)
Lower
is
better
STAR-CD 非定常計算テストケース
1591 1627
2270
0
600
1200
1800
2400
32
CPU Time: PanFSTotal-Time: PanFSCPU Time: DASTotal Time: DASCPU Time: NFSTotal-Time: NFS
Engine4M Cells
Car2M Cells
STAR-CD 3.2.6: Panasas PanFS とNFSとの性能比較（32-way）
PanFS とDASはほぼ同じ性能 PanFS とDASはほぼ同じ性能
43%31%
The Paradigm GeoDepth Seismic Benchmark
0
50
100
150
200
250
300
350
400
450
500
NFS DirectFLOW DirectFLOW
Tim
e
7 hours
17 mins
Av. Read
BW
300MB/s
3 hours
35 mins
Av. Read
BW
500MB/s2 hours
51 mins
Av. Read
BW
650MB/s
2.5X faster
(less time)
4 Shelves 4 Shelves2 Shelves
Source: Paradigm & Panasas, February 2007
スケーラブルシステムズ株式会社
„Unified HPC Storage‟の提案
Interactive Batch
完全に統合されたシングルポイントでアクセス可能なストレージプール共有データへの高速で、容易なアクセスを可能とする結果が得られるまでの時間を短縮（売り上げの増加）
データの多重保持が不要（コストの削減）リソースのシングルプールとしての管理による容易な運用
ストレージシステムSANファイルシステムが典型
ストレージシステムNASサーバなどが典型
Unified Storage
最も一般的な利点
シングルジョブの処理時間の短縮
ワークロードの改善とアプリケーション費用の低減
Panasasでの更なる利点
複数ジョブの同時実行
より多くの処理を効率的に処理可能
ポスト処理での利点
計算結果の不要なコピーの排除
ポスト処理の高速化とコラボレーションの改善
Collaboration Computation
Performance Benefits of Unified
Storage
Panasas Unified Storage
Pre Processing (Solve) Postmeshing computation visualization
MB’s TB’s GB’s - TB’s
Case and Data Management Infrastructure
GB’s - TB’s
Conventional Network Attached Storage (NAS)
CAEワークフローとI/Oボトルネック
Pre Processing (Solve) Postmeshing computation visualization
MB’s TB’s GB’s - TB’s
Case and Data Management Infrastructure
GB’s - TB’s
Conventional Network Attached Storage (NAS)
CAEワークフローとI/Oボトルネック
スケーラブルシステムズ株式会社
ストレージアーキテクチャ
Linux計算クラスタ
Direct Attached Storage Networked Attached Storage Storage Area Network
…
課題: 運用管理 課題: 運用管理とコスト課題: 性能
共通の問題
性能、運用管理の容易さ、スケーラビリティ、コスト
パラレルI/Oの標準化問題
• パラレルストレージを提供するベンダー間で互換性の欠如– Panasas PanFS
– IBM GPFS
– EMC MPFSi (High Road)
– IBRIX Fusion
• オープンソースの活動も独自に進展
– Red Hat GFS
– PVFS
– Lustre
– オープンソースの製品間でも、相互に互換性がない
パラレルI/Oの標準化は、コスト削減やユーザの選択肢の広がりなどの点で多くの利点がある
pNFS: 標準パラレルNAS
• pNFSは、Network File System v4 プロトコル規格の拡張– パラレルかつダイレクトでのデータアクセスが可能– ストレージデバイスは、複数のストレージプロトコルをサポート
– NFSサーバはデータパスに直接介在しない
…direct, parallel data paths…
Metadata
Management
NFSv4.1
Server(s)
StorageBlock (FC) /
Object (OSD) /
File (NFS)
pNFSClients
pNFSへの各社の取り組み
• Panasas (Objects, based on Panasas Storage Cluster OSDs)
• Network Appliance (Files over NFSv4)
• IBM (Files, based on GPFS)
• EMC (Blocks, based on HighRoad MPFSi)
• Sun (Files over NFSv4)
• U of Michigan/CITI (Files over PVFS2, Files over NFSv4)
pNFSによるユーザの利点
• 高いアプリケーション性能
– 標準化された高性能パラレルストレージの利用が可能
• 選択肢の広がりとリスクの低減
– パラレルI/Oが可能なストレージ製品を複数のベンダーから提供
– より多くのクライアントとクライアントOSからのパラレルアクセスが可能（Linux、Windows、AIX、Solarisなど）
• 運用管理が容易
– 共通のグローバルネームスペース
– 負荷分散が容易
Panasas: “The pNFS Company”
• pNFSは、PanasasのCTOの Garth Gibsonによって提案
• pNFSはPanasas DirectFLOW クライアントアーキテクチャを活用
• DirectFLOW クライアントは実質的には pNFS v0.9
– pNFS標準に準拠• pNFSの利点の多くは、現在のPanasasプラットフォームが実証– 高いバンド幅– スケーラビリティ– 容易な管理・運用– アプリケーションでの有用性の証明
DirectFLOW クライアントソフトウエアのオープンソース化
• PanasasはDirectFLOW クライアントソフトウエアのコアをオープンソース化– どのようにパラレルI/Oでのボトルネックを解消するかのリファレンス
– キーとなるPanasasのコンポーネント：• Storage Access Mgr, OSD client, Object iSCSI Panasas
libraries (common, rpc, sec) www.pnfs.com a community resource site.
• Panasas pNFS 開発センター– Panasasの開発経験を最大限に活用– pNFS Object layout driver, iSCSIなど– なぜ、Panasasはオープンソース化？– pNFSの普及の加速（Linux カーネルなどへの早急な対応）– pNFSベースの製品をより早く市場投入
Panasas
パラレルストレージでの実績
• システムアーキテクチャは完全なパラレル対応– pNFSへのアップグレードは容易– pNFSによるより広範囲なマーケットへの対応
• 商用製品の開発経験– 4年以上の商品出荷実績– 100以上のユーザサイトで稼動
• オブジェクトベース pNFS実装– より優れた性能：ストリームとランダムI/O
– 容易な運用管理と導入（短時間でのインストール、自動プロビジョニング、負荷分散、RAIDマネージメント）
– 可用性：FailOver、予防診断、パラレル再構築– ペタスケールの拡張性
1980年代後半：NAS
“ストレージは独自に点在”
Filerヘッドが、I/O 性能のボトルネックとなる
複数のストレージの運用管理は容易ではない
Filer
Heads
NFSNFSNFSNFS
Filer
Heads
Filer
Heads
Filer
Heads
2000年以降：クラスタNAS
“点在するストレージ間での架け橋の構築”
“In-band” Filer ヘッドの同期処理がI/O性能のボトルネックとなる
負荷分散の管理が性能とシステムの生産性を左右
Clustered
Filer Heads
NFSNFSNFSNFS
パラレルクラスタストレージ
“パラレルクラスタストレージのプール”
Filerをデータパスから排除することで、I/O性能のボトルネックと運用管理の問題を解決
…direct, parallel data paths…
Metadata
Management
HPC ストレージマーケット
NFS File Server
Parallel Clustered
Storage w/ pNFS
Perf
orm
ance
2007+Late 1980s ~2000
High Performance
Proprietary
Parallel Storage
Clustered
NFS Storage
この資料について
ここに掲載した資料は、弊社の調査と見解に基くものであり、資料の中で示されている製品やサービスを提供している各社の公式な見解でも、また、マーケティング戦略に基くものではありません。あくまで、弊社としての意見だということにご注意ください。これらの資料の無断での引用、転載を禁じます。社名、製品名などは、一般に各社の商標または登録商標です。なお、本文中では、特に® 、TMマークは明記しておりません。
In general, the name of the company and the product name, etc. are the trademarks or, registered trademarks of each company.
Copyright Scalable Systems Co., Ltd. , 2007. Unauthorized use is strictly forbidden.
スケーラブルシステムズ株式会社72
さらに詳しい情報や最新情報は…..
ホームページにて公開しています。ホームページには、お問い合わせ窓口も開設してありますので、ご利用ください。
コンサルテーション
http://www.sstc.co.jp
製品技術
http://www.hp2c.biz
2007/11/25
スケーラブルシステムズ株式会社73
ベンチマーク結果について
• この資料で使用したベンチマークデータは、以下のURLで参照出来ます。
• Cray XT3 NPB
– http://www.psc.edu/training/XT3_Aug05/lectures/XT3_Performance.ppt
• Opteron NPB
– http://www.gsic.titech.ac.jp/~ccwww/tgc/bm/20060508/NPB_results_classC.xls
• Intel “Harpertown” ベンチマーク– http://www.anandtech.com/IT/showdoc.aspx?i=3099&p=10
– http://techreport.com/articles.x/13224/3
• S3000PT/Atoka/NEXXUSの結果は、弊社社内システムでの計測結果です。
スケーラブルシステムズ株式会社74
