Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
第14世代Dell EMC PowerEdge サーバー製品ご紹介<アーキテクチャ編>
2
時代はサーバーセントリックなSDDCに進む
IT Evolution to a Common Platform
これからの15年オープンで標準のx86 サーバーがベースとなりソリューションを構築
x86 サーバーコンピュート | ネットワーク | ストレージ
Optimized to SOFTWARE DEFINED
サーバー
ネットワーク
ストレージ
15年前3階層システム個別最適
10年前サーバーレベルの仮想化の出現
サーバー
ネットワーク
ストレージ
3
第14世代PowerEdge サーバーは各分野でNo1シェアを誇る各Dell EMC製品のベースに採用
ラックサーバー分野
No
.
No
.
No
.
No
.
コンバージド分野
VxRailVxRack
XC
ストレージ分野
UnityXtremeIO
CompellentElastic Cloud
Storage
仮想化分野
VMware、Hyper-VEnterprise Hybrid Cloud
Native Hybrid CloudMSクラウド プラットフォームシステム
No
.
データ保護分野
Data DomainData Protection Suite
Integrated Data Protection Appliance
+業界において最も広範なソフトウェア ポートフォリオで採用
SDS:ScaleIO、vSAN、ECS、IsilonSD Edge
データ保護:Avamar VE、DDVE、RP4VM、Networkerなど
クラウド:VMware、Pivotal Cloud Foundry
ネットワーキング:VMware NSX
4
PowerEdgeはDell EMC ソリューションのベース
Ultimate Flexibility
Massive Performance
Built for Flash Extreme Scalability
Superior Manageability
Cyber-Resilient Security
Rock Solid Reliability
Elastic Cloud Storage
Data Domain Appliance
Isilon Appliance
5
モダンITを実現するためのBEDROCK
SOFTWARE DEFINED DATA CENTER
HYBRID CLOUD + ON PREMISE DATA CENTER
VSAN | VXRail | VXRack | XC(Nutanix) | ScaleIO | MS S2D & AzureStack
Enterprise & Native Hybrid Cloud | On Premise Data Center
FOUNDATION BUILDING BLOCKS
Dell EMC PowerEdge
T H E B E D R O C K O F T H E M OD E R N D ATA C E N T E R
第14世代Dell EMC PowerEdge サーバー
新たに採用された新アーキテクチャの紹介
7
第14世代 Dell EMC PowerEdge サーバー
拡張性最新のテクノロジーを実装しあらゆるワークロードに柔軟に対応
自動化インテリジェントな自動化でコストを削減し、デジタルトランスフォーメーションを加速
保護ITライフサイクル全体をサポートする統合されたセキュリティ機能を搭載
8
Boot Optimized Storage
14G PowerEdge
NVDIMM
Storage Flexibility
クラスタのスケールアウトを支える低遅延インターコネクト
永続メモリによる超高速ブロックストレージ
高速ブロックストレージ&キャッシュとしてのNVMeの搭載可能本数を大幅にアップ
• 2Uサーバーに搭載可能なGPUを2枚から3枚に拡張
• FPGAを新たにサポート
• Multi-Vector Coolingによるインテリジェントなエアフロー
冗長化されたブート専用SSD
「M.2」によりデータドライブと分離
• 1Uに前面3.5” & 背面2.5” の高密度筐体を追加
• 2U筐体の背面&内部ベイの搭載量アップ
• 2U筐体に最大 490TB の SSDを搭載可能に
エージェントフリーアーキテクチャ & 業界標準のHTML5, REST API
Support Assistリモートサポート
Accelerator (GPU/FPGA)
PERC 10
25GbE with RDMA
Simplified Management
• 4GB/8GBキャッシュ
• SDS/HCIに最適化したeHBA モード
Security
サイバーレジリエントアーキテクチャ
NVMe Everywhere
より高性能なCPU
Intel Skylake CPU
第14世代PowerEdge サーバーに採用された主な新機能
PowerEdge Processor (Intel Skylake)
10
最新のXeon プロセッサーのオファリング
11
インテル® Xeon® プロセッサー スケーラブル ファミリー
インテル® Xeon® Platinum 8XXXプロセッサー
インテル® Xeon® Gold 6XXXプロセッサー
インテル® Xeon® Gold 5XXXプロセッサー
インテル® Xeon® Silver 4XXXプロセッサー
インテル® Xeon® Bronze 3XXXプロセッサー
最高のパフォーマンス、最も拡張性が高い。最大28個のコア、2~8ソケット対応
優れたパフォーマンス、あらゆるワークロード向け。最大22個のコア、2~4ソケット対応。3つのUPI。DDR@2666。AVS-512(2つのFMA)
最大14個のコア、2~4ソケット対応。2つのUPI。AVX-512(1つのFMA)
最大12個のコア、2ソケット対応。Intel®ターボブーストおよびIntel® ハイパースレッディング。DD4@2400
最大8個のコア、2ソケット対応。DDR4@2133。
12
インテル® Xeon® プロセッサー スケーラブル ファミリー
13
14
PowerEdge StoragePERC / NVMe / SSD / HDD / BOSS
16
PowerEdge RAIDコントローラ製品
• 最高のパフォーマンスを誇る新しいH740P/H840
– メモリ帯域幅の増加(17GB/秒)によりメモリアクセスレイテンシの30%削減と処理能力の30%向上を実現
– 1Mを超えるIOPS容量
– SSDパフォーマンスの向上
– 8GB NVキャッシュ:4倍
– eHBAモード
• ソフトウェアRAID(S130/S140)をLinuxでサポート– FAQ:
https://dell.gosavo.com/Document/Document.aspx?id=38356587&view
=&srlid=50434271&srisprm=False&sritidx=1&srpgidx=0&srpgsz=25
PERC9:13G
H730P/H830 12Gb
1200MHzデュアル コア2GB、NV 72ビット(1866Mhz)
H730 12Gb
800MHzデュアル コア1GB、NV 72ビット(1333 Mhz)
H330 12Gb
キャッシュなし
S130
3Gb/6GbSWRAID SATA
内蔵HBA:HBA330 12Gb
キャッシュなし
H740P/H840 12Gb
デュアル コア4/8GB、NV 72ビット
H730P 12Gb
1200MHzデュアル コア2GB、NV 72ビット(1866Mhz)
H330 12Gb
キャッシュなし
内蔵HBA:HBA330 12Gb
キャッシュなし
外付けHBA 12Gb
キャッシュなし
外付けHBA 12Gb
キャッシュなし
ソフトウェアRAID
PERC9/10:14G
バリュー
バリューパフォーマンス
ハイパフォーマンス
S140
3Gb/6Gb
SWRAID SATA
新製品
新機能
17
iDRACによるPERCのエージェントレス管理の進化
• OS上にインストールするエージェントS/WであるOepnManage Storage Management(OMSM)でしか実現できなかったPERCの操作項目を、iDRAC9
では網羅
• 真のエージェントレスに進化
• Online Capacity Expansion(OCE)
➢ Virtual Diskのオンラインサイズ拡張
• RAID Level Management(RLM)
➢ RAIDレベルの変更(R6→R5等)
18
PERC10 RAID performance – preliminary results
19
PERC10 RAID performance – preliminary results
20
eHBA - enhanced HBA Modeの提供
Controller MegaRAID (w/ROC+DDR/CV)
Mode/Personality RAID eHBA Mode V1Potential eHBA Future Feature
Behavior Only VDs EPD EPD
Release 10.0 10.2 10.x
R5/50/60 Support ☑ ☒ ☒
R0/1/10 Support ☑ ☑ ☑
EPD ☒ ☑ ☑
JBOD ☒ ☒ ☒
QD Supported 2K-4K 3.5K-5K 3.5K-5K
LKM Support ☑ ☑ ☑
SED Pass-Through ☒ ☑ ☑
Slot Order Enumeration ☒ ☑ ☑
True Multi-path (1/2 PDs) ☒ ☑ ☑
Write Back ☑ ☒ ☑
Adapter Type (Reported) RAID SAS SAS
NTF ☒ ☑ ☑
21
Cache拡張 2GB NV to 8GB NV
Feature Firmware Release GCA
8GB NV Cache Enablement PERC10.1 1QCY18
JBOD Expansion >1 enclosure PERC10.1 1QCY18
Enhanced HBA eHBA PERC10.2 TBD
• Hardware design for H740P/H840 will launch with matching 8GB RAM & NV
• Initial useable will be 4GB NV due to firmware schedule
• PERC 10.1 Release will enable remaining 4GB NV Cache
22
急速に拡大するNVMeポートフォリオ
• 14GはNVMe 2.5インチPCIe SSDデバイスの搭載量が前世代比2~6倍アップ
• 広範囲におよぶNVMe PCIe SSD搭載PowerEdgeサーバー
1. ラック:R640、R740、R740xd、R940
2. タワー:T640
3. コンバージド:FX2(FC640)
• ドライブ製品の拡張
1. 新しい読み取り集中型のスイムレーン
2. 大量生産のためのデュアルサプライヤー戦略(SamsungとIntel)
3. システム管理と完全統合
4. カード ベースのソリューションを工場出荷時にインストール
NVMe=Non-Volatile Memory express
2020年までにNVMe搭載サーバーが出荷の50%を超え、1台あたり平均5.5台のNVMeが装備されると予測
23
NVMeはメインストリームへ
Capacity Optimized HDD(Low-end HDD)
Performance Optimized HDD(10K/15K RPM HDD)
SAS SSD
PCIe/NVMe SSD
SATA SSD
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
2014 2015 2016 2017 2018 2019
ストレージ製品の移行(HDD/SSD)
出典: Gartner, Intel
HDD SSD PCIe SSDNVMe
SSD
インタフェース
SATA/SAS SATA/SAS PCIe PCIe
形状3.5
/2.5インチ2.5インチ PCIeカード
PCIeカード/2.5インチ
ドライバ AHCI/SCSI AHCI/SCSI独自ドライバ
NVMe
IOPS 100-200 10k-200k 100k-500k 500k-1M
バンド幅 200MB/s 1.0GB/s 3.0GB/s 4.0GB/s
レイテンシ 8ms 1ms 100μs 100μs
1991 2008 2013
2424
業界をリードする、NVMe / SSD搭載への取り組み
開発コミュニティへの貢献• 「NVMe コンソーシアム」にサーバーベンダーとして唯一設立メンバーとして参加
• Dell開発のSFF8639規格 (U.2コネクタ) をコミュニティに提供
サーバーベンダーで最も積極的なR&D投資• PCIe SSDをサーバー市場で最初に出荷
• NVMe PCIe SSDをサーバー市場で最初に出荷
• 汎用2.5” ドライブホットプラグベイ型PCIe SSDをサーバー市場で最初に出荷
• 業界最多のHCIポートフォリオ(国内シェアNo1)で市場のフラッシュ化をけん引
最新世代サーバーポートフォリオさらに強化• 対前世代サーバー比2~6倍の2.5インチPCIe SSD搭載量
• 広範囲におよぶNVMe PCIe SSD搭載モデル
25
PowerEdgeでもNVMeのメインストリーム利用を想定
R740XD : 最大性能、スループット重視(インメモリDB、OLTP)
R740XD : 最大容量、 IOPS主導型APL (vSAN、ScaleIO)
R640 : CPUダイレクトNVMe(HFT, HPC)
搭載量:13Gの2倍
搭載量:13Gの3倍
搭載量:13Gの6倍
26
NVMe テクノロジー比較 : PowerEdge 740xd
Possible Workload In memory database – OLTP, Performance throughput VSAN ScaleIO, other IOPs driven applications
PCIe Connectivity PCIe Switch (Extender Card)
1 Extender Card/4 NVMe devices
PCIe Switch (Extender Card)
1 Extender Card/12 devices
PCIe Architecture 1 Extender Card deliver
x16 PCIe lanes up & down (CPU & Downstream devices)
Max. of 12 devices supported by 48 lanes
1:1 Provisioning with 12 drives
1 Extender Card deliver
x16 PCIe lanes up & down (CPU & Downstream devices)
Max. of 24 devices supported by 32 lanes
3:1 Over-Provisioning with 24 drives
NVMe Device IOP
(4K)
Random Read = 700K
Random Write = 200K
Random Read = 700K
Random Write = 200K
NVMe Device Throughput
(GB/s)
Sequential Read = 3.2 GB/s
Sequential Write = 2.0 GB/s
Sequential Read = 3.2 GB/s
Sequential Write = 2.0 GB/s
MAX Device Throughputs
(GB/s)
Twelve (12)
Sequential Read = 38.4 GB/s
Sequential Write = 24.0 GB/s
Twenty-Four (24)
Sequential Read = 76.8 GB/s
Sequential Write = 48 GB/s
PCIe Typical Throughput
(x16) GB/s
12.8 GB/s
Times three (3) Extender Cards = 38.4GB/s
12.8 GB/s
Times two (2) Extender Cards = 25.6GB/s
Best/Highest Capacity
MU:6.4TB, RI: 8TB
Mixed Use = 76.8TB
Read Intensive = 96TB
Mixed Use = 153.6TB
Read Intensive = 192TB
24x NVMe12x
NVMe
27
Solid State Drives (SSD)
Portfolio Overview
• SSD share of drive shipments continues to increase, running at 20% of mix
14G Offerings
• Transitioning to 3D NAND
- Largest capacities – Toshiba SAS RI 15.36TB, SATA MU 8TB (2nd half CY17)
• Increased number of suppliers:
- SAS – Toshiba, HGST, Samsung
- SATA – Toshiba, Intel, Samsung, additional under consideration
• Data Security
- 14G will ship with Instant Secure Erase (ISE) capable drives as well as Secure Encrypted Drive (SED)
28
Hard Disk Drives (HDD)
Portfolio Overview
• HDD holds majority of drive shipments w/ an average
ship volume of 1.4M units per quarter
14G Offerings
• Largest capacity in 2.5” - 2.4TB (2nd half CY17)
• Largest capacity in 3.5” - 12TB (2nd half CY17)
• SAS interface offers SED (Self-Encrypted Drive) and
new ISE (Instant Secure Erase) capabilities
29
“BOSS” (Boot Optimized Storage Solution)
背景
• Dell EMCのSDSソリューションとパートナー様が、OSごとに別個のハードウェアブート コントローラを必要とした。そのニーズに対応するために、堅牢かつ冗長な低コスト ソリューションを提供。
機能セット
• 110 mm M.2 SATAデバイス x 1または2
• M.2デバイスは読み取り集中型120GB/240GB(S3520)
• 2.5インチと同じコストとパフォーマンス
• 固定機能ハードウェアRAID1(ミラーリング)
• シングル x8 PCIe Gen 3ホスト インターフェイス
• デュアル x1 SATAポートのデバイス インターフェイス
• ホストにはシングルSATAデバイスとして仮想化
• ハーフハイト/ハーフ レングスPCIeアダプタモジュール
PowerEdge Accelerators
31
CPU / GPU / FPGA の比較
GPU:SIMD• ベクトル化された浮動小数点に最適
• 有効利用には大規模データが必要
• 分岐または例外(if文)は不得意
FPGA:MIMD
• データ量の大小にかかわらず、多数の独立した命令の並列動作が可能
• IOデバイスによるストリーミングに最適
inst inst inst inst inst
time
data data data data data
inst inst inst
data
time
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
data
f2
f5
f3
f6
f4
f1 f7
• 依然としてコンピューティングのコア センター• 依然としてハイパフォーマンスの問題のサブセットに重点
• なくなることはないが、範囲は限定的
• GPUよりも広範囲
• 時間の経過とともに、エンタープライズアプリケーション向けにGPUよりも広範囲な普及が期待できる
CPU:SISD任意のプログラミング環境および言語に適用可能
非ベクトル化整数アプリケーション
32
GPUおよびFPGAのマーケットが拡大
* 世界最大手の市場調査企業であるMarketsandMarketsから毎年発行されているプレミアム市場の調査レポートに基づきます。MarketsandMarketsは、世界中の1,700社のFortune企業をはじめ、12業種にわたる多数のクライアントに年間1,200件を超えるプレミアム調査を提供しています。
• GPU(グラフィック プロセッシング ユニット)市場は2020年までに6,761万ドルを超える*
• FPGA(Field Programmable Gate Array)市場は2022年までに72
億3,000万ドルの規模になる*
•マイクロ秒単位で大量の数学的計算を行うディープ ラーニング用にCPU、GPU、FPGAの使用がかつてなく増加
•デジタル メッシュとスマート マシンでは、基盤テクノロジーとして、FPGA(Field Programmable Gate Array)を活用した高負荷コンピューティングが必要です
• 2015年12月に、IntelはAlteraが持つFPGAの専門技術を167億ドルで買収しました
33
Dell EMCによるGPU/FPGAを活用した高速化の展望
• ワークロードの増加 : VDI、機械学習、データ分析により、GPUソリューションのニーズが引き続き増加
• 第14世代PowerEdgeでサーバーへのGPU提供を倍増
- R740、R740xd、R540、T640、T440
- R640で新しいビデオ カードを提供
- R740でのサポートを拡張(300W ダブルワイド GPU x 2 ⇒ 3)
- R740xdにGPU保有可能
• FPGAのサポートを追加。コンピューティングの高速化に加えて、ネットワークも高速化
34
3大ワークロードでのGPUによる高速化
• 機械学習
- P40/P100搭載R740/T640
- Caffe、CNTK、MXNet、TensorFlowと同様に複数のフレームワークをサポート
• データ分析
- P40/P100搭載R740/T640
- パートナーであるKineticaとMapDを活用
• VDI
- サーバーあたり100超のユーザーに対応するNVIDIAおよびAMD搭載R740/T640
- T440/R540には手頃なエントリー レベル オプションを用意
- 複数のハイパーバイザーをサポート
- vGPUを含むNVIDIAソリューションにはGRIDソフトウェア ライセンスが必要
35
GPU提供状況 : 第14世代PowerEdge サーバー
36
翻訳サービス業のお客様の事例学習速度は3倍に、導入コストは半分以下に
課題既存環境では人海戦術で翻訳をしていたが、これまでの翻訳データをナレッジ化して有効活用しようと模索していたところ、機械学習の活用に行き着いた。
既存サーバにおいて検証するも排熱が悪く、熱暴走および製品劣化の懸念があった。
クラウドも利用していたが、自由度が少なく、また費用が不明瞭となり、オンプレミス環境構築できるハードウェアを検討していた。
ソリューション• Dell PowerEdge C4130 12Node
• Tesla V100を1 Node辺り4枚搭載
• 合計48枚のGPUを導入
導入の効果• 既存サーバと比べて20度以上熱を下げられた
• クラウドと比較してGPU演算は数倍UP
• 導入コストは1/2以下に
• 学習速度が従来の3倍に
Why Dell?
• グローバルレベルの調達能力
• NVIDIAとの強固なパートナーシップ
• 他社に比べて優れた排熱機構による高い冷却性能
37
FPGAs – why & how?背景:
• CPUパフォーマンスの速度向上率が低下してくる...
機能:
• ムーアの法則が重要なアルゴリズムに使用できるまでの規模にFPGAを成長させた
• 物理接続機能へのFPGA統合の増加(PCIe、SerDes、数値演算ユニット)
• 広帯域幅メモリ インターフェイスのサポート:x86とのギャップ
エコシステム:
• 開発ツールの改善(OpenCL、C-to-HDLコンバータ)
• オフロード可能なソフトウェア
• IPデリバリ方法
• 重要問題に対するFGPA適用の実例と調査されたノウハウ
- NWルーティング/セキュリティのためのMicrosoft
- Microsoft Bing サーチ ランキングのアクセラレーション
- BaiduにおけるSQL処理
- Fintechにおける高頻度取引(High Frequency Trading)
シリコン プロバイダー:
• Intel/Altera ✓
• Xilinx ✓
出荷時インストール済み:ボード
• Intel : 2018年4月開始済み
• Xilinx : 2018年後半以降
第1弾
R640
R740
第2弾
R8x0
R9x0
第3弾
C41x0
C6x20
C6320p
サーバー:工場出荷時インストール予定
38
インテル PAC (プラグラマブル・アクセラレーション・カード)をサポート
インテル Programamable Acceleration Card
• PCIe対応のデータセンター向け FPGA アクセラレーション・カード。GPUと比べて非常に省電力(TDP : 60W)
• 汎用性が高く、今後はビッグデータ分析、人工知能、ゲノム解析、ビデオ・トランスコード、サイバー・セキュリティー、金融取引などのさまざまな市場分野に導入が進むと予測される。
• 現在はPower Edgeサーバのみが正式サポート
• 対応サーバ:Power Edge R640 / R740 / R740xd
• 近日対応予定:Power Edge R840 / R940xa参照URLhttps://www.altera.co.jp/products/boards_and_kits/dev-kits/altera/acceleration-card-arria-10-gx.html
39
サーバーの冷却を重要視
業界初のGPU、FPGA向けLFM (Linear Feet per Minute) エアフロー自動チューニング機能
Multi Vector Cooling• 第14世代PowerEdgeは、GPUおよびFPGA (Field
Programmable Gate Array)向けに設計
• 業界初のカードごとのLFM自動チューニング
• エアフローの屈曲レベルによるクラス最高のPCIeカードの熱コントロール
• iDRAC9では、使用中のPCIeカードの寿命延長とパフォーマンス最大化のために、LFM(Linear Feet per Minute)ターゲット(エアフロー)を各PCIeスロットに個別に割り当て
• 正確なサイジングと最適なカード配置のためのスロットごとのエアフロー機能を表示
40
クラス最高の熱効率機能を装備
• システムエアフローを中心に設計された新しいシャーシ構造
• 冷却効率向上のためにエアフローを大幅に改善
- R740xdでは17~50%向上(R730xdとの比較)
- R640では15%向上(R630との比較)
- R740では11%向上(R730との比較)
• システム機能セット/密度向上のメリット
- 高TDP(Thermal Design Processor)オプションをすべてサポート
- R740は2 GPUから3 GPUに増加
- システムあたりのPCIe-SSDデバイス数が増加
• 構成に関する制限事項の減少
- 高密度ストレージ構成 + トップ プロセッサー + メモリ構成 + GPU
を兼ね備えた業界最高レベルのサポート
- より高い周囲温度に対応、Dell EMC Fresh Air冷却の範囲内にある構成数が増加
ダブル幅のGPUとFPGA
新しいドライブキャリア
新しいハイパフォーマンス
ファン
PowerEdge Memory
42
前世代機からのメモリの変更:第14世代PowerEdge
• Increased Bandwidth
- Moving from 4 channels to 6 channels
- Speed increase from 2400MT/s to 2667MT/s
- Voltage is stable at 1.2V per DIMM
• Memory slots
- R740/640/940 slots remain the same
- Some platforms will increase from 12 to 16 slots
- Still 6 DIMMs per CPU for performance configurations
43
14G Memory Channels / DIMMs per Channel
Sandy Bridge-EP
Skt-R
Romley-EP
CPU
14G
(Skylake)
CPU
6 Memory Channels x 2 Slots per Channel = 12 DIMMs per CPU4 Memory Channels x 3 Slots per Channel = 12 DIMMs per CPU
• PowerEdge R740/R740XD/R640 will have 24 total DIMMs (same as 13G)
• PowerEdge R940 will have 48 DIMMs (R930 96DIMMs,smaller than 13G due to CPU change)
13G
(Broadwell)
44
補足:メモリチャネルの利用と性能への影響について
Skylake CPUではメモリチャネルが6つ、各メモリチャネルには最大2枚のメモリ搭載が可能となっています※1CPU毎に最大24枚のメモリ搭載が可能です
45
補足:メモリチャネルの利用と性能への影響について
メモリの主な構成は上記3種類に分類されます
• Balanced : 全てのメモリチャネルに同一容量、同一Typeのメモリを搭載した構成です。メモリチャネルのバランスが取れており、メモリBandwidthが最大化される構成の為最も性能が出る最適な構成です
• NearBlanced : Blanced構成と同じくBandwidthが最大化されますが、異なるメモリ容量を搭載した構成と なります。Balanced構成と比較すると若干性能が低下する傾向となります
• Unbalanced : 構成はサポートされておりますが、メモリチャネル毎に搭載されるメモリ容量に差がありますのでメモリBandwidthが最大化されていない構成となります。Skylake CPUではこの構成の場合にアクセスされるメモリによって性能が低下する場合が御座います(次頁にて後述)
46
補足:メモリチャネルの利用と性能への影響について
Skylake CPUではメモリ構成がUnbalanced構成である場合、左図の様にメモリアクセスをRegionという単位に分けてアクセスされる仕様となっています。
左図、下の構成では、メモリアクセスがRegion0にあった場合メモリBandwidthが最大化されることになるので最大性能でアクセスが可能ですが、Region1にメモリアクセスがあった場合にはBandwidthが2チャンネル分のみとなりますので性能が低下いたします。
今回14G Serverの標準構成ではメモリが16枚構成(1CPU毎に8枚構成)となっておりますので左図の様な構成となっております。
47
補足:メモリチャネルの利用と性能への影響について
1CPUに対するメモリ搭載枚数の違いでのベンチマークテスト結果となります。オレンジのグラフ部はメモリ性能が最大性能時の値になりますが青色のグラフ性能まで性能が下がる可能性がある事を示しています。※前ページの“Region1”にメモリアクセスがあった場合の性能とお考え下さい。
48
Memory Layout / Population RulesChannel Channel Channel Channel Channel Channel Channel Channel Channel Channel Channel Channel
2 1 0 3 4 5 2 1 0 3 4 5
A3 A9 A2 A8 A1 A7 CPU 1 A10 A4 A11 A5 A12 A6 B3 B9 B2 B8 B1 B7 CPU 2 B10 B4 B11 B5 B12 B6
Optimizer Mode Odd amount of DIMMs per CPU allowed.
Mirror Mode Supported with 6 or 12 DIMMs per CPU.
Single Rank Sparing Mode Requires 2 Ranks or more per channel. Odd amount of DIMMs per CPU allowed.
Multi Rank Sparing Mode Requires 3 Ranks or more per channel. Odd amount of DIMMs per CPU allowed.
NVDIMM Configs Populate RDIMMs in “white slots” and NVDIMMs in “black slots”, Limited configs.
Mixed Configs: Require largest capacity DIMM be placed first
Max of two DIMM part numbers allowed in system.
RDIMMs can be mixed with NVDIMMs, No other mixing of DIMM types supported.
49
Xeon CPU Modelとメモリ速度の対応
2667MT/秒 2400MT/秒 2133MT/秒
Platinum X X X
ゴールド X X X
Silver X X
Bronze X
• 14GServerでは2667MT/秒のDIMMのみが提供され、CPUのサポートレベルに基づいてメモリがクロックダウンされる
• CPUあたり最大1.5TB搭載をサポートする「M」シリーズを除き、すべてのCPUあたり768GB
容量搭載がサポートされる
50
NVDIMM-Nの概要
• NVDIMMは永続的メモリの一種• 「永続的メモリ」は電源遮断時やシステムのシャットダウン時にもデータを保持
• NVDIMMにはフラッシュデバイスとDRAMチップの両方が搭載されている
• 電源障害時にはすべてのデータがDRAMからフラッシュにコピーされる
• NVDIMMには別電源が必要:Dell EMCソリューションはバッテリ
NVDIMMにより、OSはメモリ速度で実行されているブロック ストレージを参照可能
51
使用モデルと注意事項
• DIMM x 12に限定• チャネルには最初にRDIMMをロードする必要がある• ブロック デバイスとして表示するにはOSドライバが必要
ポイント
• 電源バックアップの構成は不要• 兼用ではなく、プラットフォームごとに1台のバッテリ(NVDIMMと1対1)
• BBUは140秒で5.83Whrの仕様(兼用よりも高密度)• CPUに近いアップタイムと耐障害性を実現• iDRAC 9との統合• R640、R740、R740XD、R940でサポート
解決可能な問題と主要な価値
• ナノ秒単位のレイテンシとストレージサブシステムからの永続書き込みを必要とするワークロード
OS/システム管理のサポート
• OSでドライバのサポートが必要(ブロック向け)• 発売時はWindows
• VMware:CY18
• Linux:コミュニティ サポート(未定)
説明/機能
• アクセス方法:直接バイト アクセスまたはブロック アクセスに適応• 容量 : 16GB(発売時)• レーテンシー:DRAM(数十ナノ秒)• 同一システムでDDR4 DRAMと共存可能な設計
NVDIMMの実装
52
NVDIMM – N Overview
• 電源が落ちればメモリに保管された内容が失われるのは従来のコンピュータでは避けられませんでした。そのためメモリ上のデータをすべて永続的レイヤ(ストレージ)に保存する必要がありました。
• データベース処理を高速に行うためにデータをメモリに置くインメモリデータベースでも、万が一の時に備えてトランザクションの内容を失わないように、常ににログをストレージに保存し続ける必要がありますが、このストレージへの書き込みはメモリへの書き込みに比べて非常に遅く、処理時間にして数万倍から数百万倍もの時間差があるため、ストレージへの書き込み速度が全体の速度のボトルネックとなります。
• 電源が落ちてもメインメモリの内容が失われないことが保証出来れば、逐次ストレージへデータを書き込む必要がなくなり、ストレージへの保存処理が不要となる事で多くの処理が高速化されるとと同時に、データベースやアプリケーションの構造にも大きな変化が期待されます
• NVDIMM-N準拠のメモリモジュール搭載
• NVDIMM-Nでは、モジュールは同容量のDRAMとフラッシュメモリを備えています。通常動作時は普通のDRAM
モジュールとして振る舞い、電源が失われるとDRAMの内容をフラッシュメモリにデータを転送し、電源が復活するとフラッシュメモリの内容をDRAMに転送してから動作が開始されます。これによってNVDIMM-Nは、サーバーの電源が失われてもメインメモリの内容が保持されていたかのように稼働可能となります。s
53
14G DIMM Offering Details
CapacityDIMM
TypeDell P/N Config DRAM
Package
Type
DIMM
Max
Speed
Rated
VoltageComments
8GB RDIMM 1VRGY 1Rx8 8Gb SDP 2667MT/s 1.2V
16GB RDIMM VM51C 2Rx8 8Gb SDP 2667MT/s 1.2V
32GB RDIMM TN78Y 2RX4 8Gb SDP 2667MT/s 1.2V
64GB LRDIMM 4JMGM 4Rx4 8Gb DDP 2667MT/s 1.2V
128GB LRDIMM 917VK 8RX4 8Gb 4H-TSV 2667MT/s 1.2VR940 will offer at release but R740/R740XD/R640
will add in Q4
32GB LRDIMM 2WMMM 2RX4 8Gb SDP 2667MT/s 1.2V OEM/DSS offering only
16GB NVDIMM HWF3V 1Rx4 8Gb SDP 2667MT/s 1.2V
54
NVDIMM-N GuidanceNVDIMM Configs:
• Population order requires all RDIMMs be placed first.
• Minimum of 2 CPU sockets, 12 RDIMMs installed.
• RDIMMs must be either 16GB or 32GB
Supported NVDIMM configs:
• 1 NVDIMM, 12 RDIMMs (16GB or 32GB)
• 1 NVDIMM, 23 RDIMMs (32GB)
• 2 NVDIMMs, 12 RDIMMs (16GB or 32GB)
• 2 NVDIMM, 22 RDIMMs (32GB)
• 4 NVDIMM, 12 RDIMMs (16GB or 32GB)
• 4 NVDIMM, 20 RDIMMs (32GB)
• 6 NVDIMM, 12 RDIMMs (16GB or 32GB)
• 6 NVDIMM, 18 RDIMMs (32GB)
• 12 NVDIMMs, 12 RDIMMs (16GB or 32GB)
55
NVDIMM-N configuration overview
CPU2
iMC0iMC1
CH0
CH1
CH2
CH3
CH4
CH5
RDIMM NVDIMM
CPU1
iMC0iMC1
CH0
CH1
CH2
CH3
CH4
CH5
A1
A2
A3
A4
A5
A6
A7
A8
A9
A10
A11
A12
B1
B2
B3
B4
B5
B6
B7
B8
B9
B10
B11
B12
Up to 12 NVDIMM x 16GB or 192GB of persistent memory for 2S, 384GB for 4S
• “Buddy” System – First slot in the channel must be a RDIMM before an NVDIMM is loaded
• Fixed Configs – 1, 2, 4, or 6 NVDIMM per CPU
56
• 標準DDR4 RDIMMの隣にオプションのIntel 3D Xpoint (「クロス ポイント」)DIMM
(別名「Apache Pass」)
• Intel 3D XPointが2018年に提供開始と共にDell EMC PowerEdge第14世代で対応(予定)
• DDR4との電気的&物理的互換
• 最大4倍のシステム メモリ容量
PowerEdge第14世代のIntel 3D XPoint対応(予定)
14G PowerEdge Comms
58
Ethernet market trends
13G & 14G
14G発表後にリリース
13G & 14G
13G & 14G
13G & 14G
14G
14G発表後リリース
N/A
PCIe 25GbE
rNDC 25GbE
ネットワークのトレンド
• 25Gbのサーバー接続実績が急速に拡大中
• 25Gbは40Gbに比べて6倍速く普及
• デュアルポートの25Gbは4ポートの10Gbよりも低コスト
• 最安値のGb単価
• データセンターにおけるデータ急増がより高速なバンド幅を必要としている
• RDMAがサーバー間のデータ転送を効率化
59
25Gbでのサーバー接続
なぜいま 25GbEなのか?
• スイッチ間のインターコネクトが100GbEへの移行を加速している
• 25GbEはGbあたりのコストがもっとも低い
– 2.5倍の速度向上に対しプレミアムは30%
• 25GbE は10GbE SFP+に対する下位互換性を有する
• データセンターのデータ急増に対し、より太いパイプが求められている
• 10GbE x 2ポートではSDSにおいて不十分
– デュアルポートの25GbEは 4ポートの10GbEよりも低コスト
スイッチ間は100Gb
が主流に
25Gb
最新のネットワーク構成
100Gb
100Gbを4分割して取り出せる25Gbがサーバー接続の主流に
• 25GbE では SFP28 トランシーバが利用される
– SFP28 は10GE SFP+と下位互換性あり(物理サイズは同じ)
– ただし25GbEから10GbEへの接続は速度固定が必要
› 注意: 10GE SFP+ はオートネゴシエーションをサポートしていない
60
Ethernet RDMA
サーバー サーバーアプリケーション間のデータ転送
ネットワークスイッチ
イーサネット RDMA
• CPU負荷をかけずに他のサーバーのメモリへWriteを可能とする
お客様のメリット
• CPU使用率の低減
• データ転送を高速化
• 低レイテンシ (SDSにおいて重要) 14G
14G
N/AiWARP
RoCE 13G & 14G 14G
N/A
• RDMAを有効活用するためのOS・APLサポート等、エコシステムが成熟。
• 一般的なワークロードでもメリットを享受することが可能になってきた。
• CPU以上に、ネットワークとストレージ(Flash/NVMe)の速度が向上。
• Qlogicが提供するiWARPが14Gサーバーで新たに利用可能に。iWARPはQoSを必要としない。
なぜいまイーサネットRDMAが重要なのか?
61
iWARP と RoCE の違い
iWARP
RoCEを有効化したクラスタ
新たに14Gからサポート
13Gからサポート
iWARP(Internet Wide Area RDMA Protocol)
RoCE(RDMA over Converged Ethernet)
導入の容易さ〇
(特別なネットワーク構成は不要)
△(ネットワーク構成時に若干注意点あり)
QoS 不要 PAUSEフレーム or DCB が必要
プロトコル TCP/IP UDP
ルーティング可否 ○ ○(RoCE V2より)
レンテンシ○
(ただしHPCアプリケーション以外)○
スループット ○ ○
サポートベンダー QLogic (Cavium) Mellanox, QLogic, Broadcom
推奨する規模 データセンター or クラスタ クラスタ
ベンダー間の互換性
サポート外マルチベンダー接続をサポート
(ただし同一サーバー内で2つの異なるベンダーのRoCEを稼働させることは×)
62
RDMAベンチマーク結果
• iWARP : QLogic 25GbE on PowerEdge 14G
サーバー- ライブマイグレーション所要時間を58% 削減- CPU使用率を 75% 削減 (約14%のCPU 使用率が約 2% に低減)
• RoCE : QLogic on Windows 2016サーバー- ライブマイグレーションにかかる時間を43% 削減- CPU使用率が1/4に低減
• RoCE : Mellanox at Flash Memory Summit
2016- Ceph
- RoCEにより 30-40% の性能向上を実現
0
5
10
15
20
Th
roughput
(Gbps)
or
CP
U %
Live Migration over TCP/IP Throughput and CPU Utilization %
CPU (%)
0
5
10
15
20
25
30
Th
roughput
(Gbps)
or
CP
U %
Live Migration over SMBDirect (iWARP) Throughput and CPU Utilization % CPU (%)
%CPU Utilization no RDMA
%CPU Utilization with iWARP
Throughput (Gbps)
Throughput (Gbps)
63
RDMAが有効なケース
クラウド
今後Big Dataなどの検証結果が新たに出てくる予定
Software Defined Storage
ライブマイグレーション イーサネットHPC
ファイルサーバーSQL データベースクラスタ
Multi-Vector Cooling
65
PowerEdge 14G
Multi Vector CoolingPowerEdge 14G
Multi Vector Cooling
66
Inventory
Settings
Power
Temp
Multi-Vector
Cooling
Fan Speed Control
Power Capping
Health Status
Chassis Airflow
Temp History
PCIe Slot Airflow
67
Adaptive Temperature ControlIndustry
Standard PID
Adaptive
Controller
Modern Controls
Robust: Hardware-in-the-Loop
Scalability
68
Multi-Vector Slot Cooling
69
Multi-Vector Slot Cooling
Enables Accelerators!
70
C6420では水冷モデルも展開
より高いパフォーマンスとスループット
最高出力(周波数および電圧)CPUをサポートし
パフォーマンス密度(FLOPS/SqFt)を向上
エネルギー効率の向上:運用コストとTCOの削減
DCの電源および冷却容量をアップグレードをせず
データセンターへの大規模システム導入に効果的