HPCフォーラム2015 A-2 グローバル設計環境に欠かせないHP ProLiantサーバー久保田隆志

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

HPC フォーラム 2015テクニカルコンピューティング最前線～ HP-CAST Japan ～

グローバル設計環境に欠かせないHP ProLiant サーバー2015 年 4 月 24 日日本ヒューレット・パッカード株式会社プリセールス統括本部サーバー技術本部シニア IT スペシャリスト久保田　隆志

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2

Agenda

はじめにeVDI を考える上での注意事項eVDI を支える HP Server 製品仮想化ソフトウェア比較まとめ

※ eVDI = Engineering VDI の略

ご注意本セッションで使用するスライドの右上に「投影のみ」と記載されているロードマップ等の社外秘情報につきましてはお手元の資料には含まれておりません。予め、ご了承ください。

はじめに今、 HP が取り組んでいること


EBC SingaporeEBC Tokyo

APJ eVDI ソリューションセンター紹介

Note WSZbook

Thin ClientT820

管理サーバーCB/File/WANem

eVDI HostWS460c Gen8

K3100M x6

eVDI HostDL380p Gen8GRID K2 x2

管理サーバーCB/File/WANem

eVDI HostWS460c Gen8

GRID K2 x1

Note WSZbook

Thin ClientT820

GatewayGateway

Internet

HP 社内

VPN 接続

HP Intranet

HP 社外


グローバル設計環境におけるデータの一元化

北米開発拠点

日本データセンター

eVDI サーバー

アジア開発拠点

欧州開発拠点

CAD Data

大変チャレンジングなものですが、いくつかのお客様で実際に走っている Project です

eVDI を考える上での注意事項システム特性


NUMA アーキテクチャを正しく理解する

ユニファイドメモリアクセス• 全てのメモリが CPU 間で共有される• アクセススピードは全ての CPU 間で同じ

NUMA (Non-Uniform Memory Access)• メモリはソケット毎に制御される• ソケットをまたいだアクセスは遅くなる

システム特性で注意しておくべきこと

CPU Socket 0

RAM

RAMRAM

RAM

01

23

45

67

89

1011

1213

1415

PCIe PCIe

GPU 1

CPU Socket 1

RAM

RAMRAM

RAM

1617

1819

2021

2223

2425

2627

2829

3031

PCIe PCIe

GPU 3

QPI

Storage

Storage

GPU 2GPU 0

CPU Socket 001

23

45

67

PCIe

CPU Socket 18

129

131014

1115

PCIe GPU 1

Storage

GPU 0 Chipset

RAM

RAMRAM

RAM

RAM

RAMRAM

RAM


vCPU と Process のスケジューリング

NUMA アーキテクチャを正しく理解する

Hypervisor のスケジューリング• Hypervisor は仮想マシンが稼働する vCPU を決定する• この場合、 GPU/Memory アクセスという観点で最適化されない可能性がある• 結果、ベンチマーク結果がばらつく

CPU Socket 0

GPU 0

RAM

RAMRAM

RAM

01

23

45

67

89

1011

1213

1415

PCIe PCIe

GPU 1

CPU Socket 1

GPU 2

RAM

RAMRAM

RAM

1617

1819

2021

2223

2425

2627

2829

3031

PCIe PCIe

GPU 3

QPI

安定したパフォーマンスをえるために、最適化処理（チューニング）が必要


NUMA アーキテクチャにおける最適化 / 非最適化の例

CPU Socket 0

GPU 0

RAM

RAMRAM

RAM

01

23

45

67

89

1011

1213

1415

PCIe PCIe

GPU 1

CPU Socket 1

GPU 2

RAM

RAMRAM

RAM

1617

1819

2021

2223

2425

2627

2829

3031

PCIe PCIe

GPU 3

QPI

CPU Socket 0

GPU 0

RAM

RAMRAM

RAM

01

23

45

67

89

1011

1213

1415

PCIe PCIe

GPU 1

CPU Socket 1

GPU 2

RAM

RAMRAM

RAM

1617

1819

2021

2223

2425

2627

2829

3031

PCIe PCIe

GPU 3

QPI

最適化

CPU Socket 0

GPU 0

RAM

RAMRAM

RAM

01

23

45

67

89

1011

1213

1415

PCIe PCIe

GPU 1

CPU Socket 1

GPU 2

RAM

RAMRAM

RAM

1617

1819

2021

2223

2425

2627

2829

3031

PCIe PCIe

GPU 3

QPI

CPU Socket 0

GPU 0

RAM

RAMRAM

RAM

01

23

45

67

89

1011

1213

1415

PCIe PCIe

GPU 1

CPU Socket 1

GPU 2

RAM

RAMRAM

RAM

1617

1819

2021

2223

2425

2627

2829

3031

PCIe PCIe

GPU 3

QPI

非最適化


ワークステーション仮想化に必要なこと

ハードウェアが目指すべき方向• 1CPU + 1GRID のセットを 1 筐体内にできるだけたくさん載せる• Bridge chip 等を使用してたくさん GRID が載せられるというだけのシステムはほとんど意味が

ない• 高クロック / 多コアの CPU の搭載

仮想化ソフトウェアが目指すべき方向• NUMA を意識した Hypervisor のスケジューリング

VMware のアプローチ。但し、 GPU を固定する方法がない。• 最適化させるためのチューニング項目の用意

Citrix のアプローチ。但し、非常に面倒。

eVDI を支える HP サーバー製品


NVIDIA + HP : eVDI プラットフォーム

Quadro

Grid

Tesla

WS460c Gen9

DL380 Gen9

Apollo 2000

eVDI

HPC


Broadest range of high performance, high density professional graphics

HP ProLiant WS460c Gen9 Graphics Server Blade

GraphicsGen8 世代のグラフィックスを踏襲。今年後半に向けて新しい世代へ移行していく

StorageSmart Array の選択肢の拡充

CPUIntel® Xeon® E5-2600 v3 プロセッサ採用によるパフォーマンス向上

• OneView も WS460c に対応し本格的にサーバーの仲間に• そして、これからは Graphics Server Blade と呼んでください


Gen9 における基本スペック


HP ProLiant WS460c Gen9

Compute Intel® Xeon® E5-2600 v3 Series, 4/6/8/10/12/14/16/18PCIe 3.0, 2 available mezzanine slot

Memory HP Smart Memory (16) DDR4, up to 2133MHz (512GB max)

StorageStandard HP Dynamic Smart Array B140i

Choice of HP Smart HBA H244br or HP Smart Array P244br for performance or additional features

HP SmartDrives 2 SFF max, HDD/SSD, 12Gb SAS support

Networking Choice of 2x10GbE, FlexFabric 10Gb, FlexFabric 10/20 Gb, RoCE, VXLAN

USB Ports/SD/Other 1 x USB 3.0, 1 x Micro-SD, future support for Optional Dual Micro SD/ Optional M.2 Support

GPU SupportNVIDIA Quadro K3100M, K6000, K5000, K4000,

GRID MXM, GRID K1, K2; AMD FirePro S4000X (plan)

Power & Cooling Enclosure-based (94% Platinum Plus)Industry Compliance ASHRAE A3 (limited configurations)

※ 青字が Gen8 からの進化部分


CPU の種類


Intel Xeon E5-2600v3 series Processor Option Kits

Proc Model 2630L

2650L

2603 2623 2637 2609 2643 2620 2630 2667 2640 2650 2660 2670 2680 2690 2683 2695 2697 2698 2699

Wattage 55 65 85 105 135 85 135 85 85 135 90 105 105 120 120 135 120 120 145 135 145

Cores Count 8 12 6 4 4 6 6 6 8 8 8 10 10 12 12 12 14 14 14 16 18

Threads 16 24 6 8 8 6 12 12 16 16 16 20 20 24 24 24 28 28 28 32 36

Frequency (GHz) 1.8 1.8 1.6 3.0 3.5 1.9 3.4 2.4 2.4 3.2 2.6 2.3 2.6 2.3 2.5 2.6 2.0 2.3 2.6 2.3 2.3

Cache (MB) 20 30 15 10 15 15 20 15 20 20 20 25 25 30 30 30 35 35 35 40 45

QPI (GT/S) 8 9.6 6.4 8 9.6 6.4 9.6 8 8 9.6 8 9.6 9.6 9.6 9.6 9.6 9.6 9.6 9.6 9.6 9.6

Turbo Yes Yes No Yes Yes No Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes

Memory speed (DDR4) 1866 2133 1600 1866 2133 1600 2133 1866 1866 2133 1866 2133 2133 2133 2133 2133 2133 2133 2133 2133 2133

Wide Heat Sink X X X X X


OS のサポートについて


Microsoft Windows

Virtualization

Windows Server 2012 R2Windows 7 Pro (64-bit), Enterprise (64-bit)Windows 8.1 Pro (64-bit)

Linux

最新情報については www.hp.com/go/ossupport を参照ください。

VMware vSphere 5/6, Horizon View Citrix XenServer 6.5, XenDesktop

Red Hat Enterprise Linux Desktop 6.5, 6.6, 7.0 (later)SUSE Linux Enterprise Desktop 11/12(later)

http://www.hp.com/go/ossupport

http://www.google.com/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&docid=kmiPtwFaxGTZ4M&tbnid=Mc-RxkWkheJhTM:&ved=0CAUQjRw&url=http://www.teammetalogic.com/whatwedo/networks-servers-infrastructure/&ei=U_OQU-qAMtioyAT1ioKwDA&bvm=bv.68445247,d.aWw&psig=AFQjCNGYEwxWjosGonzAxTv53mCPDDUzUg&ust=1402094787804709

http://www.google.com/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&docid=gKxvg2S_Fw2dnM&tbnid=44vw0kqZJZ19XM:&ved=0CAUQjRw&url=http://www.nimserve.com/Citrix-XenServer.asp&ei=ec6RU7n6IpekqAaIqIDQDw&bvm=bv.68445247,d.b2k&psig=AFQjCNEFnylGmkbP1WK7JvfM0TlVqzHyrQ&ust=1402150870633068


HP MultiGPU Carrier = 複数のグラフィックスを載せた基板

GPU パススルーを最大限に活かす HP のテクノロジー

6枚の GPU を持ったブレードサーバー

NVIDIA Quadro K3100M 6枚HP ProLiant WS460c Gen9

Graphics Expansion BladeHP MultiGPU Carrier 2枚


小中規模向けのラックマウント製品

HP ProLiant DL380 Gen9

DL380 Gen9 に 2枚搭載可能

その他選択可能な GPU• NVIDIA Quadro K2200 x3• NVIDIA Quadro K4200 x3• NVIDIA Quadro K6000 x2• NVIDIA Tesla K40c x2

NVIDIA GRID K1

NVIDIA GRID K2

一般的な VDI ユーザー向け

CAD ユーザー向け


DL380 Gen9 拡張性に関する改善ポイント

Graphics

空き PCIe スロット

Graphics

空き PCIe スロット

標準搭載 NIC1GbE x4

増設 NIC• HP Ethernet 1Gb 4-port Adptr• HP Ethernet 10Gb 2-port

Adptr• HP FlexFabric 10Gb 2-port

Adptr

前面

背面

ディスク増設用スペース HDD 8 本

拡張性に課題があった Gen8 の欠点を克服• PCIe スロットを消費することなく NIC の増設が可能

• 搭載 HDD 本数の増加、 FC 接続が可能に


HP ProLiant マルチノードサーバー最新モデル

HP Apollo 2000 System

• 前面アクセスホットプラグ HDD• リアケーブル & リア I/O

Apollo r2200

Apollo r2600

Apollo r2800

w/SAS Zoning

HP ProLiant XL170r Gen9HP ProLiant XL190r Gen9


プラットフォームの選択

ブレードWS460c Gen9 Graphics Expansion Blade• ブレードによる優れた管理性• ネットワークコスト削減

ブレード以外のプラットフォームお手軽：DL380 Gen9• 通常のラックマウントタイプ• 1台で 16WS リソースを提供可能

高集約： Apollo 2000• サイズは 2U のラックマウント• 1台で 32WS リソースを提供可能

機種10U における

仮想 WS数

DL380 Gen9 80

Apollo 2000 160

WS460c Gen9 128

3 つの中から選択

※ 1GPU 4分割時

単純な集約率ではなく、ネットワークコストや管理性に対する考慮も必要


クライアント仮想化を支える HP プラットフォーム

Session/App

Virtualization

VirtualDesktops

(VDI)

GraphicsAccelerated VDI

HP ProLiant BL460c HP ProLiant WS460c Gen9

HP BladeSystemc7000 Enclosure

大規模展開、管理性を重視する場合Blade による集約

小中規模環境の場合ラックマウントよる集約

HP ProLiant DL380 Gen9

※ 今後 Apollo 2000 が登場

仮想化ソフトウェア比較VMware vs. Citrix


最新バージョンの比較

VMware Horizon View vs. Citrix XenDesktop

VMware Horizon View 6.1 Citrix XenDesktop 7.6

Hypervisor • 性能：✔✔✔• 機能：✔✔✔• vGPU対応：✔✔

• 性能：✔✔• 機能：✔• vGPU対応：✔✔✔

画面転送プロトコル PCoIP• CPU消費率の削減• NW消費帯域の削減• オフロード処理の専用のカードを用意

HDX3D Pro• 画質をある一定レベルで保ちながら消費帯域を押さえる改善が継続的に行われている

• オフロード処理は GRID の機能を使用（予定）

管理性 • 仮想環境： ✔✔✔• ユーザー環境：✔

• 仮想環境：✔• ユーザー環境：✔✔✔

コメント • HA構成不可• ESXi の信頼性・パフォーマンス

• HA構成が可能• XenServer のパフォーマンス課題• HDX3D Pro の CPU 使用率

パフォーマンスは VMware だが、使い勝手では Citrix


XenServer 6.5 － EUC という観点で必要な機能の追加

Hypervisor

64-Bit Control Domain64bit 化によるスケーラビリティ・パフォーマンスの向上

In-Memory Read-Cacheストレージ負荷を軽減し IOPS を向上

vGPU Improvements1ホストあたり 96vGPU までのサポート


vSphere ESXi 6.0 － Enterprise 向けの機能を整備・拡張する正常進化

Hypervisor

vSphere 6.0 新機能の概要http://blogs.vmware.com/jp-cim/2015/03/vmware-vsphere-6-0-%E6%96%B0%E6%A9%9F%E8%83%BD%E3%81%AE%E6%A6%82%E8%A6%81%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6.html

eVDI に関連するところ• vSphere Virtual Volumes

外部ストレージアレイを仮想マシン単位で管理• NVIDIA GRID vGPU への対応

http://blogs.vmware.com/jp-cim/2015/03/vmware-vsphere-6-0-%E6%96%B0%E6%A9%9F%E8%83%BD%E3%81%AE%E6%A6%82%E8%A6%81%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6.html





最新バージョンでの比較

Hypervisor

SPEC viewperf 11.0CATIA

0

0.5

1

1.5

Hypervisor パフォーマンス比較

XenServer 6.5 ESXi 6.0

条件• 同じハードウェアで、 Horizon

View 6.1 と XenDesktop 7.6を入れ替えた vGPU 環境での比較

• XenServer 6.5 では NUMA に対する最適化を実施

• ESXi 6.0 は NUMA対応のスケジューリングに任せる

最大で 20% のパフォーマンス差


画面転送プロトコル

VMware の主張PCoIP は UDP なのでそもそも遅延に対して強く特別な対策は不要

Citrix の主張CloudBridge 等の WAN アクセラレータを使用することで遅延に対する対策を行う。また Framehawk により WAN アクセラレータなしで遅延への対応を予定

http://blogs.citrix.com/2014/05/28/a-video-is-the-next-best-thing-hdx-with-framehawk/

遅延に対する取組みの差






画面転送プロトコル

VMware の主張Horizon View 6.1 で CPU 使用率を大幅に改善また、 PCoIP 処理を完全にオフロードさせるために APEX 2800 を用意

Citrix の主張GRID に搭載されている ASIC を利用することでエンコード処理（ NVENC ）をCPU からオフロードさせる予定画質を改善する取組み（次スライド参照）を XenDesktop 7.6 で実施しており、これとオフロード処理を組み合わせることで、きれいな画面を低 CPU消費率で実現予定。

CPU 使用率に対する取組み


XenDesktop 7.6 で追加された描画モードLossless

Build to Lossless

Visually Lossless

Build to Visually Lossless

Default H.264

Encoder Compatibility Encoder Deep Compression Encoder

Image quality when moving

Lossless JPEG H.264 Visually Lossless

Default H.264 Default H.264

Image quality when suspended

Lossless Lossless H.264 Visually Lossless

H.264 Visually Lossless

Default H.264

Network bandwidth

Very HighSample:64Mbps

High – Very HighSample:30Mbps

HighSample: NA

Low – HighSample: NA

LowSample:3Mbps

OperabilityBad Bad Middle Middle - Good Good

Encoding power

High High Middle Low - Middle Low

Decoding power

High High Middle Low - Middle Low

HighMiddle

HighMiddle Middle

Low Quality

High Low

Bad Good

High Quality


VMware と Citrix の比較まとめ

Enterprise から EUC へvGPU対応を完了ESXi 6.0 の改善でパフォーマンス向上Horizon View 6.1 で PCoIP の大幅改善

EUC に磨きをかけるvGPU へいち早い対応XenServer 6.5以降における改善をコミットHDX 3D Pro の継続的な改善• GRID ASIC へのオフロード• Framehawk の採用

vs.

弊社 eVDI ソリューションセンターで比較いただけます

まとめ


今後の課題や期待していること ...

今後の展開

Linux Guest OS への対応VMware 、 Citrix両社とも Linux VDI への対応を進めているただ、 GPU対応については不明

CPUやメモリは足りるのかGPU の集約が進むほど、 CPU コア数やメモリ容量が顕在化画面転送プロトコル処理の軽減・オフロード化が必須にメモリは、 64GB 、 128GB DIMM の登場で解消されていく

OpenCL対応が進めば、グラフィックス仮想化でも HAや vMotion が可能に？最終的にはシステムメモリと GPU メモリの区別がなくなる


まとめ

eVDI を支えるプラットフォームの拡充• WS460c Gen9 で GRID集約率の課題の改善• Apollo 2000 でさらなる高集約化

eVDI デモ環境を活用ください• リアルな海外接続での操作を体感• VMware と Citrix の比較

単なる POCや検証環境だけでなく、本格的な大規模案件をこなしている HP に是非お問い合わせください。

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Thank you

Technology

HPCフォーラム2015 A-2 グローバル設計環境に欠かせないHP ProLiantサーバー 久保田隆志

HPCフォーラム2015 A-2 グローバル設計環境に欠かせないHP ProLiantサーバー久保田隆志