Upload
insight-technology-inc
View
871
Download
1
Embed Size (px)
DESCRIPTION
Citation preview
HDDからインメモリーへ
2014年6月20日日本ヒューレット・パッカード(株) 三宅祐典
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
自己紹介
仕事上の立場• かつてベンチマークセンターエンジニア
• 昔は流通社会インフラ系プリセールス昔は流通社会インフラ系プリセ ル
• パートナー担当プリセールス
個人情報個人情報
趣味
• スキー
• MMORPGMMORPG
– FF14(飽きかけ)
– Ingress(Res.です。だからって殴らないでください)
趣味とまで言えないもの
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2
趣 言
• ゴルフ/スキューバ Twitter:@Ysk_Myk
Agenda
なぜ今In-memoryか• トレンド
• ソフトウェア業界の動向
• ハードウェア業界の動向
• そして来たるべき未来のテクノロジ
どんなハードウェアが良いのか• CPUの選び方
• メモリ保護機能
• I/Oの信頼性向上
ここでCMです。• HPのサーバーにある付加価値
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3
• CS500 for SAP HANA
• CS900 for SAP HANA
データベースの技術動向
行指向 列指向
新しい流れ (HANA)現在のOLTP (Oracle, SQL Server)初期のデータウェアハウス
行指向 列指向
○:OLTP性能が高い
×:I/O負荷が高い
○:検索性能が高い、圧縮率が高い
×:更新性能に課題現在のデータウェアハウス
ディスク依存 インメモリ
現在のデ タウェアハウス(Vertica, PDW)
ディスク依存 インメモリ
○:容量単価が安い
×:I/O性能が低い
○:I/O性能が高い
×:永続性のためにストレージが必要
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.4
インメモリデータベースとは?
インメモリデータベース(IMDBあるいはメインメモリデータベース、MMDB)はデータストレージを主にメインメモリ上で行うデータベース管理システムである。ディスクストレーを リ 行う タ 管 あ 。 ィ クジ機構によるデータベースシステムと対比される。メインメモリデータベースは内部最適化アルゴリズムが簡素であり、相対的に少ないCPU命令を実行するので、ディスク最適化されたデータベースと比較して高速である。 (ウィキペディア)
Flash Memoryに乗せて高速化 大容量バッファキャッシュに載せるFlash Memoryに乗せて高速化
インメモリ
大容量バッファキャッシュに載せる
インメモリ
≠ ≠
XXμs
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.5
XXns
主要データベース・ベンダのインメモリ対応
SAP HANA
MicrosoftSQL Server
OracleDatabase
IBMDB2
HANAインメモリデータベース
のパイオニア
SQL ServerSQL Server 2014でインメモリ対応
Database6/10発表(7月頃)
ネイティブなインメモリデータベースを列指向で実装。
OLTP高速化を重視した実装。
既存環境との互換性を重視した実装。検索高速化のためにデータを二重持ち。
OLTPとOLAPを つのデ タベ スで
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.6
OLTPとOLAPを一つのデータベースでリアルタイムなデータ分析
OLTPとOLAPの共存とは従来のDWHの構造従来のDWHの構造
これまで出来たこと
OLTP用 DWH用
日時バッチでローディング
専 ドウ
分散化しにくい
専用ハードウェア大容量高速HDDデータパージ
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7今入った情報を(しばらく後に)活用
OLTPとOLAPの共存とは現在のDWHなどでできること現在のDWHなどでできること
OLTP用 DWH用
高速/並列ローディング
分散化しにくい 安価なハードウェア分散して高速化
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.8
今入った情報を(しばらく後に)活用
インメモリDBの応用範囲例OLTPとOLAPの共存とはインメモリDBの応用範囲例
HPの販売管理30TB超のSAP ECC• SAP ECC on HANAの実装
DBプラットフォーム
メモリ内
DBプラットフォーム
メモリ内
SAP ECC on HANAの実装
• リアルタイム分析
メモリ内
OLTP用DWH用
メモリ内で変換メモリ内で変換
アーキテクチャ次第では従来の10倍高速
St
メモリ内
replication
今入った情報を(今すぐにも)活用
分散化しにくい 分散しなくても高速
Stream
インメモリ部分は増えると、
ディスクによる共有はより難しく
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.9
有 難…
ハ ドウ ア側の視点
なぜ今In-memoryかハードウェア側の視点
8G4Gさらに高集積化
512M 32G2G1G
201520102005 201520102005
ただし集積度とともにエラー頻度も増加容量とともに保護機能が重要
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.10
容量とともに保護機能が重要
ハ ドウ ア側の視点
なぜ今In-memoryかハードウェア側の視点
16TB 6TB
32TB
24TB
64TB
ただし大きいだけでは危険です
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.11
ただし大きいだけでは危険です
2020年の未来予測 データセンタを支える技術HPの取り組み ~ハードウェアの再定義~ “HP Enterprise 20/20 “ www enterprise2020 com
アプリに最適化され効率を追求したサーバ
チップ統合光子ネットワーク
ユニバーサル・メインメモリー
Today By 2020 By 2020
HPの取り組み ハ ドウェアの再定義 HP Enterprise 20/20 www.enterprise2020.com
電子 光子から
高速インターコネクト (~20TBytes/秒)
• DRAMのように高速、かつ不揮発性
• メモリとHDDの位置づけが変わる
• ソフトウェアのデザインが変わる
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.12
高速インタ コネクト ( 20TBytes/秒)
Moonshot Integrated Photonics Memristor2013~ By 2020By 2020
HP Memristor
電源供給がなくてもデータを保持できる受動素子 デ タ タが 電源供給がなくてもデータを保持できる受動素子 フラッシュメモリよりも高速・低消費電力・高密度 演算装置としても利用可能
データセンタがアタッシュケースに?
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.13
SRAMOn-chip cache
M i d r b
itDRAM
Fl h
Main memorySp
ee
Cost
pe
• Flash
• Hard DiskMass
storage
Capacity
memristorによるユニバーサルメモリで
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.14
この階層は過去の物へ
「コンピュータ」の歴史を変える取り組みHPは60年間不変の基本構造を イノベ ションの力で変革HPは60年間不変の基本構造を、イノベーションの力で変革
揮発性
これまで ちょっと先
揮発性メモリ汎用
CPU汎用CPU
不揮発性メモリ
不揮発性メモリ
磁気
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.15
ディスク
アーカイブ
The Machine
Photonics
Special purpose cores専⽤コア
フォトニクス
Massive memory pool巨⼤なメモリー群
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.16
専⽤コア 巨⼤なメモリ 群
どんなHardwareが向いているのか
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
価格以外の話
サーバー選定のポイント価格以外の話
CPUどのデータベースソフトウェアを選択するのかどのデ タ スソフトウ アを選択するのか
• 使いたい物が動かないCPUは選べない。
• 切っても切れないメモリとの関係
メモリリ
インメモリのお話ですから
• 実は違うメモリの保護機能
• ハイエンドだから大丈夫ってことはないんです。
I/Oインメモリ≠I/Oしない
• 引き続きI/O保護機能は重要です。
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.18
引き続き / 保護機能は重要です。
CPUアーキテクチャの選択肢
OracleDatabase
Itanium
IBMDB2
Power
SAP HANA
sparc
Xeon E7HANA
MicrosoftSQL Server Xeon-E5
Xeon-E7
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.19
SQL Server
何故CPUの話をするかメ リのRAS機能はCPUのア キテクチ に依存しているメモリのRAS機能はCPUのアーキテクチャに依存している
メモリWHY?
メモリ保護機能はCPUに依存メモリ
CPU CPU I/O
メモリ保護機能はCPUに依存
CPU
I/O
メモリ
CPU CPU I/O
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.20
メモリ
採用するCPUによるRAS 機能の比較
HPが販売するサーバーの比較採用するCPUによるRAS 機能の比較
機能 Xeon-E5 Xeon-E7 Itanium + HP-UX 備考
主なメモリー保護機能 SDDC DDDC DDDC DDDC のパーツ交主なメモリ 保護機能 SDDC(Single Device Data Correction)
DDDC(Double Device Data Correction)
DDDC(Double Device Data Correction)
ツ交換頻度 SDDC 比 17分の1 ※
主なCPU保護機能 MCA Recovery –Execution PathQPI
ICST (Intel Cache Safe Technology)
Instruction ReplayQPI
Itanium の障害発生率 Xeon比 2 分の1 ※QPI QPI の1 ※
主なI/O保護機能 PCI -LER PCI Error RecoveryPCI Online交換(SD2)
FW 実装が必須
主な OS 保護機能(HWとの協調機能)
MCA recover MCA recoverDPR APR
FW実装が必須(HWとの協調機能) DPR、APR
その他障害検知保護機構など
AHS AHSHP Error Analysis Engine
HP Error Analysis Engine ベンダーの実装が必要
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.21
※参考:http://www.intel.com/content/dam/doc/white-paper/mission-critical-computing-itanium-9300-ras-features-of-the-mission-critical-converged-infrastructure-paper.pdf
ハ ドエラ はソフトエラ より多く ECCでは十分とは言えない
メモリー保護機能WHY?ハードエラーはソフトエラーより多く、ECCでは十分とは言えない
SDDCあるいは相当の機能 DDDC
Si l D i D t C ti (SDDC)
WHY?ハードエラー>ソフトエラー集積度増大 -> エラー増大
– Double Device Data Correction (DDDC)
– DIMM上のDRAMが2つフェイルしてもメモリー上で吸収され、システムに影響なし
− Single Device Data Correction (SDDC)
− DIMM上のDRAMが1つフェイルしてもメモリー上で吸収され、システムに影響はなし
− メモリーミラーリングにより冗長化する方法もとられる。
集積度増大 ラ 増大
– 低コストで高いメモリー保護機能を提供
– DIMMの交換回数はSDDCの1/17
− 2倍のメモリーが必要&使える帯域は半分
− 予備のチップを実装するスペアランクという手法もとられる。
Operating SystemOperating Systemクラッシュ
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.22・・・DIMMメモリー
・・・DRAMチップ
※Xeon E5,E7シリーズよりDDDCをサポート
例:コンポーネント別の修理(交換)率
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.23
メモリの保護方式による故障率の違い
A社UNIX機(Entry), Xeon EP, B社UNIX機
A社(HighEnd) B社UNIX機A社(HighEnd), B社UNIX機(Mirror)
Memory RAS capabilities can reduce scale-up server crash rates by approximately
Itanium, Xeon-E7
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.24
up se e c as ates by app o ately 85%1
PCIe Live Error RecoveryWith PCIe LERWithout PCIe LER
OS(Windows/Linux)
OS(Windows/Linux)
③不良データが到達すると、
データ保護の為に再起動
③不良データをOSに届く前に感知。
OSに再度リクエストを送るように指示
WHY?インメモリでもI/Oはします
CPU S dCPU
①データリクエスト
①データリクエスト
インメモリでもI/Oはします
CPU(Ivy-Bridge EX)
SuperdomeFirmware
②不良デ タ
CPU(Ivy-Bridge EX)
④不良データが続くと故障コンポ ネントを
I/O card
I/O card
I/O card
②不良データ
I/O card
カ ド故障
②不良デ タ
故障コンポーネントを切り離し
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.25
(NIC,FC)(NIC,FC) (NIC,FC)card
(NIC,FC)カード故障 データ
さてここでCMです。
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
x86サ バ でトップクラスの可用性と堅牢な信頼性
ProLiant DL580 Gen8 独自の RAS 機能 Only HP
x86サーバーでトップクラスの可用性と堅牢な信頼性
HP Advanced HP Memory HP Advanced HP Advanced Error Recovery(エラーリカバリ)
実行中に発見された致命的なプ セ サ キ
Quarantine(メモリ検閲機能)
メモリサブシステム内で致命的なエラーが見つかっ
Fault Resiliency(障害復旧機能)
メモリとチップセットの耐障害性機能 (DDDC SDDC
Error Containment(エラー封じ込め設計)
を封的なプロセッサー、キャッシュ、メモリのエラーからのリカバリ
命的なエラーが見つかった場合、メモリを無効にし、割り当てを取り消す
障害性機能 (DDDC, SDDC, ミラーメモリ,オンラインスペアメモリ)
PCIeのIO エラーを封じ込め、データ破損を防止
d d i d i ポ グHP Advanced Event Reporting and Detection (レポーティングと検知)Active Health System . インテグレーテッドマネジメントログ, 高度なログ機能とOS レベルのクラッシュダンプ, HP アドバンスドメ
モリエラー検知, HP アドレス/パリティコントロール, Patrol Scrubber and Demand Scrubber
HP 認定オプション(HP Smart メモリ)
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.27
HP 認定オプション(HP Smart メモリ)
メモリとプロセッサ障害によるシステム停止を 30% 減
OS や SW と連携した高度な障害回復機能 Only HP
メモリとプロセッサ障害によるシステム停止を 30% 減
HP Advanced Error Recovery実行中の修復不可能なプロセッサ、キャッシュおよびメモリの
HP Memory Quarantineシステムクラッシュの原因になる修復不可能なメモリのエラー実行中の修復不可能なプロセッサ、キャッシュおよびメモリの
エラーからの回復
1実行パイプライン下のプロセッサ、キャッシュもしくはメモリの修復不可能なエラーの検知
MCA リカバリーが修復不能なメモリエラーを検知
システムクラッシュの原因になる修復不可能なメモリのエラからの回復
1
ファームウェアがOS、ハイパーバイザ、アプリケーションへ通知
システムは稼働を続け、クラッシュを防ぐ
2Processors
L1 Cache Core HP Memory Quarantineは障
害箇所に不良のタグをつけ、OS やハイパーバイザにアドレ
OS/ハイパーバイザは障害
箇所の新規利用をブロック、
2
OS、ハイパーバイザ、アプリケーションが回復アクシ ( レ ド プ セ 3
4 L2 Cache
Unc
ore
DRAM
ス情報を通知
OS/ハイパーバイザが回復手法を決定・実施
箇所の新規利用をブロック、システムは稼動を継続
3
4
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.28
が回復アクション(スレッド、プロセス、VM、アプリケーションを停止・再起動)を開始
3復 法 決定 実
HP ConvergedSystem 500 for SAP HANA
他社より2倍高速な性能1高速な分析
高可用性 HP Serviceguardによる無人・自動フェールオーバー
データ保護 SAP認定された Data Protectorによるバックアップ
同一プラットフォーム上でOLTPと分析処理を実行
集約して運用をシンプル化 E7-4880v2搭載
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.29
1SAP NetWeaver® Business Warehouse-Enhanced Mixed Load (BW-EML) standard application benchmark
CS900に搭載のHP Error Analysis EngineHP Con e gedS stem 900 onl ad anced se e a chitect e
Only HP
一般的な x86サーバーN iti l l i
エラー OS クラッシュ (解析なし、復旧な
Bad data may end up in storage
HP ConvergedSystem 900 only – advanced server architecture
No critical analysis 検出 し、解決方法なし)
動作継続
一般的な Xeon-E7 エラー検出
MCA recovery でOSに通知
動作継続
ConvergedSystem 900セルフヒ リング
OS 復旧エラー検出
HP Error Analysis Engine
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.30
Deep analysis and self-healing
セルフヒーリング証左収集 Critical
Analysis修復
Real time big data management optimized for SAP HANA
HP ConvergedSystem for SAP HANA
インメモリコンピューティングへ
Real time big data management optimized for SAP HANA
インメモリコンピュ ティングへの最適化
比類無き拡張性比類無き拡張性
リ ア以上の性能比
E7-2890v2搭載
ワンスト プサポ ト
リニア以上の性能比
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.31
ワンストップサポート
HP Serviceguard for Linux – HANA自動FailOverを実現するHANA向けクラスターソリューション標準機能では実現できない障害検知、IP制御、インスタンス制御を実現
H/W、プロセス監視
Q Quorum Server
H/W、プ セス監視自動FailOver(インスタンス起動、停止制御)クライアントアクセス制御
Primary SAP HANA Package
Secondary
SAP HANA Package
sync SAP HANA System Replication
Ack
DATALOG
Serviceguard for Linux
y y p
Single-Host
HP AppSystemSingle-Host
HP AppSystemDATALOG
DATALOG
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.32
世界で最も巨大なSAPシステムをServiceGuard上で稼働中。グローバル40万ライセンスを超える導入が証明する高い信頼性。
まとめ
なぜ今In-memoryか• トレンドソフトウェア業界の動向
• ハードウェア業界の動向
• そして来たるべき未来のテクノロジ
どんなハードウェアが良いのか• CPUの選び方
• メモリ保護機能
• I/Oの信頼性向上
HPはそんな皆さんをお手伝いできます。• インメモリにはハードベンダーが必要です。
• MissionCriticalといえばHP
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.33
三宅 祐典プリセールス統括本部システム技術本部パートナー技術部
Tel: 090-6108-3457Mail: Yusuke miyake@hp comMail: [email protected]
日本ヒューレット・パッカード株式会社本社〒136 8711
h k
〒136‐8711東京都江東区大島2‐2‐1
Twitter: @Ysk_Myk
Thank you
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.