25
インメモリーータベース 徹底比較 徹底比較 20146202014620日本ヒューレット・パッカード株式会社 プリセールス統括本部 / データベース・ソリューション部 小森 博之 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential. 小森 博之

[D35] インメモリーデータベース徹底比較 by Komori

Embed Size (px)

DESCRIPTION

 

Citation preview

Page 1: [D35] インメモリーデータベース徹底比較 by Komori

デインメモリーデータベース徹底比較徹底比較2014年6月20日2014年6月20日日本ヒューレット・パッカード株式会社

プリセールス統括本部 / データベース・ソリューション部

小森博之

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.

小森博之

Page 2: [D35] インメモリーデータベース徹底比較 by Komori

データベースの技術動向

行指向 列指向

新しい流れ現在のOLTP

○:OLTP性能が高い

×:I/O負荷が高い

○:検索性能が高い、圧縮率が高い

×:更新性能に課題現在のデータウェアハウス

ディスク依存 インメモリ

○:容量単価が安い

×:I/O性能が低い

○:I/O性能が高い

×:永続性のためにストレージが必要

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.2

Page 3: [D35] インメモリーデータベース徹底比較 by Komori

データベースの技術動向

行指向 列指向

必要なカラムだけを選択して読めるので検索が速い全てのカラムを読む必要があるので検索が遅い

C1 C2 C3 C4 C1 C2 C3 C4C1 C2 C3 C4 C1

C2 C3 C4 C1 C2

C3 C4

行指向 列指向C1 C1

C1

C1

C2

C2

C2

C3

C3

C3

C4

C4

C4

ディスク依存 インメモリ

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.3

DRAM : ~100nsフラッシュメモリ : ~50μsハードディスク : ~10ms

Page 4: [D35] インメモリーデータベース徹底比較 by Komori

クラスタ 化および更新可能クラスター化および更新可能列ストア

削除済みビットマップ

⾏ストア

Page 5: [D35] インメモリーデータベース徹底比較 by Komori

列指向の効果を検証してみました…..

通常のテーブル Date_KeyProduct Key

Retail_Sales_FactClustered ColumnStoreIndexを作成

Product_KeyStore_KeyPromotion_KeyCustomer_KeyEmployee_KeyPOS_Transaction_NumberS l Q i/秒 /秒 Sales_QuantitySales_Dollar_AmountCost_Dollar_AmountGross_Profit_Dollar_AmountTransaction_TypeTransaction Time

byte

/

時間

byte

/

時間Transaction_TimeTender_Type

9.23GB 0.22GBselect sum(Sales_Quantity) from Retail_Sales_Fact

where Sales Dollar Amount > 100 ;必要な列だけを読み込むことと 圧縮の効果で

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.5

where Sales_Dollar_Amount 100 ;必要な列だけを読み込むことと、圧縮の効果で

I/Oが大幅に減少

Page 6: [D35] インメモリーデータベース徹底比較 by Komori

インメモリデータベースとは?

インメモリデータベース(IMDBあるいはメインメモリデータベース、MMDB)はデータストレージを主にメインメモリ上で行うデータベース管理システムである。ディスクストレーを リ 行う タ 管 あ 。 ィ クジ機構によるデータベースシステムと対比される。メインメモリデータベースは内部適化アルゴリズムが簡素であり、相対的に少ないCPU命令を実行するので、ディスク

適化されたデータベースと比較して高速である。 (ウィキペディア)

フラッシュメモリを従来型データ 従来型データベースで メモリキャッシュフラッシュメモリを従来型データベースで使用するのは、インメモリデータベースではない。

ハードディスクを速いストレージで

従来型データベースで、メモリキャッシュにデータを全て乗せても、インメモリデータベースではない。

あくまで、ストレージの存在を前提とした

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.6

ドディスクを速いストレ ジで置き換えただけ。

あくまで、ストレ ジの存在を前提とした動作になっているため無駄が多い。

Page 7: [D35] インメモリーデータベース徹底比較 by Komori

インメモリデータベースの歴史1990 1995 2000 2005 2010 20151990 1995 2000 2005 2010 2015

HP研究所Oracle 12cIn-Memory 研究所

IRIS

Kevin Wilkinson,

Smallbase

Kevin Wilkinson,Marie-Anne

TimesTen社 Oracle社が買収

TimesTen

In Memory Option

,Marie-Anne Neima,Sang KyunCha

Neima,SheralynListgarte,Kurt Shoens

Transact In Memory 社P*Time SAP社が買収 HANA

SQL Server 2014

HANAをきっかけに市場が活性化。

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.7

Page 8: [D35] インメモリーデータベース徹底比較 by Komori

主要データベース・ベンダのインメモリ対応

SAP HANA

MicrosoftSQL Server

OracleDatabaseHANA

インメモリデータベースのパイオニア

SQL ServerSQL Server 2014

インメモリOLTPエンジン

Database12c In-Memory Option

(2014年7月予定)

ネイティブなインメモリデータベースを列指向で実装。

OLTP高速化を重視した実装。

既存環境との互換性を重視した実装。

更新も検索も速い

OLTPとOLAPを一つのデータベースで実現します

更新も検索も速い!

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.8

OLTPとOLAPを つのデ タベ スで実現しますリアルタイムなデータを分析可能になります

Page 9: [D35] インメモリーデータベース徹底比較 by Komori

SAP HANAネイティブなインメモリデータベースを列指向で実装。

InsertUpdateD l t

Select

メモリ列指向

行指向のテーブルも可能だが列指向が基本

列指向形式で全てデルタストア

Delete

C1

C1

C1

C2

C2

C2

C3

C3

C3

C4

C4

C4

列指向形式で全てのデータをメモリ上に置くことが基本

デルタストア(行指向)

C1 C2 C3 C4Delta Merge

起動時にデータファイルからメモリへデータを読み込み

コミット時にログを書き込み

定期的に書き込み

データファイルログ

ファイル

へデ タを読み込み

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.9

ログファイルは高速なストレージ上に配置

Page 10: [D35] インメモリーデータベース徹底比較 by Komori

HANAのテクノロジーSAPのHWとSWの革新と融合により実現された SAPのインメモリ・コンピューティングが

HW Technology Innovations

SAP SW Technology Innovations

SAPのHWとSWの革新と融合により実現されたインメモリ・コンピューティング

SAPのインメモリ コンピュ ティングがもたらす主な効果

全てのデータをメモリ上に置くことでDISK I/Oボトルネックを解消

HW&SW

⾏およびカラムストア

+

マルチコア アーキテクチャ

ボトルネックを解消

カラム単位とパーティショニング単位で並列処理を⾏うことにより処理速度向上

HW&SW

パーティションニング

圧縮マルチ ア ア キテクチャ⼤規模並列スケールアウト

カラム単位の圧縮によりメモリ最適化によるデータ処理効率向上

SW

集計テーブルなし64-bit アドレススペース2TB メインメモリ100GB/s データスループッ

集計テーブルが不要になることで開発&運⽤⾯での⼯数削減

SW

S

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.10 読込、書込の最適化++

++

100GB/s デ タスル プット ⾼圧縮率と⾼速書込、⾼速読込を同時に実現

カラムストア アーキテクチャー

SW

Page 11: [D35] インメモリーデータベース徹底比較 by Komori

Intel Xeon E7プロセッサに 適化されているHANA

• HANAでは、インデックスとしてCSB+ツリー(Cache Sensitive B+ Tree)を使用している。CSB+ツリーのnode listは、Xeon E7のCache line sizeの64Bに合わせることで、不必要なキャッシュミスを回避している。

• SSE で実装されているSIMD(Single Instruction Multiple Data)を使用して並列に演算を実行している。

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.11

Page 12: [D35] インメモリーデータベース徹底比較 by Komori

SQL Server 2014 インメモリOLTPOLTP高速化を重視し

た実装。列指向のインメモリ実装はしていない。

メモリ 適化テ ブル

Query ExecutionQueryい。

高速化したいテー通常 ブメモリ 適化テーブル ブルだけを指定し

て行指向でメモリ上に置く。

通常のテーブル

Table2 Table1Table3

永続化しないテーブルが可能

インデックスは永続化さ

Index2 Index1起動時にデータをメモリに読み込み、インデックスを作成

必要に応じてキャッシュに読み込み

れない

Table1

Index1

Table1

Index1

Table2 Table2永続化しないものはログを書かない

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.12

データファイルトランザクションログメモリ 適化データファイル書かない

Page 13: [D35] インメモリーデータベース徹底比較 by Komori

SQL Server に統合され、最新ハードウェアのトレン アプリケーションSQL Server に統合され、最新ハ ドウェアのトレンドに合わせて設計された新しい⾼パフォーマンスのメモリ最適化 OLTP エンジン

SQL Server リレーショナル データベースに統合完全な ACID サポ ト

SIP (株式情報処理) –⾼ボリュームのリアルタイム取引データを取り、売買が終わった後に市場株式価格を公開。待機時間は 0.5 ミリ秒以下であることが要求されるインメモリ OLTP ソリ シ ン完全な ACID サポート

メモリ最適化インデックス(B ツリーおよびバッファー プールなし)ブロック不可マルチバージョン オプティミスティック同時実⾏制御 ( ク/ラ チなし)

れる。インメモリ OLTP ソリューションテーブル上の競合がなく、ネイティブにコンパイルされたコードからのパス⻑が短いので、アプリケーションは 0 4 ミリ秒の予測可能なエンド ツ エンドの待実⾏制御 (ロック/ラッチなし)

ネイティブ コードにコンパイルされた T-SQL

お客様の利点:

ンは 0.4 ミリ秒の予測可能なエンド ツー エンドの待機時間を達成

待機時間 (ミリ秒)

お客様の利点:• 短い待機時間• 最⼤ 10 倍のパフォーマンス向上• 2 〜 5 倍のスケーラビリティ向上 SQL Server 2014

SQL Server 2008

SP1 待機時間 (ミリ秒) 2 5 倍のスケ ラビリティ向上

• SQL Server の投資を活⽤0 0.5 1 1.5

SQL Server 2014

Page 14: [D35] インメモリーデータベース徹底比較 by Komori

Oracle Database 12c In-memory option既存環境との互換性を重視した実装。検索高速化のためにデータを二重持ち。

SGA In-memory領域

OptimizerQuery Optimizerがどちらをアクセスするか決定

高速化したいテーIn memory領域

C1

C1

C1

C2

C2

C2

C3

C3

C3

C4

C4

C4

C1 C2 C3 C4 C1

C2 C3 C4 C1 C2C1

行指向 列指向

高速化したいテブル/パーティションを指定して、行/列指向の両方でデ タを持つ 列

必要に応じてキャッシュに読み込み

C1 C2 C3 C4C3 C4

変更ログは書かない

データを持つ。列指向データはメモリ上に配置。

読 込

データファイル

ログファイル

Archiveログ

データを行指向と列指向(インメモリ)の両方の形式で持つ(二重持ち)

変更ログは書かないストレージにも書かない

起動後に行指向から列指向データを作成

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.14

起動後に行指向から列指向デ タを作成データ更新は、同時に両方に反映する

本資料は、Oracle Open World 2013でのOracleによる講演及び2014年6月10日の発表会での内容を元にしています。

リリース前製品のため、実装方法が変更される可能性があります。

Page 15: [D35] インメモリーデータベース徹底比較 by Komori

インメモリデータベース比較

HANA SQL Server 2014 Oracle 12c

リリース時期 2010年末 2014年4月 2014年7月(予定)

インメモリ機能 標準 標準 オプション製品

行指向/列指向 テーブルごとに指定可列指向が基本

インメモリOLTPでは行指向。列指向クラスタインデックスが可能

1つのデータを両方の形式で持つ

メモリに保持するデータ 全てのデータを列指向で 指定したテーブルを行指向で 指定したテーブル/パーティションを列指向で

データの永続性 ディスクに保存 ディスクに保存。保存しない指定も可能。インデックスは保存しない。

ディスクに保存。列指向データはメモリにだけ存在

メモリ上での圧縮 あり なし あり?

更新時ロック あり インメモリテーブルに対してはなし あり

スケールアウト構成 対応 未対応 RACで対応

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.15

ケ ルアウト構成 対応 未対応 で対応

CPU高速機能の使用 SIMD、Xeon E7 適化 なし SIMDを使用

Page 16: [D35] インメモリーデータベース徹底比較 by Komori

インメモリデータベースの可用性インメモリデ タベ ス

従来のクラスタ構成(ディスク共有)

Primary Secondary

インメモリデータベースでのクラスタ構成(ディスク⾮共有)

Primary SecondaryPrimary Secondary Primary Secondary

切り替え時に、Secondary側でディスク上のデ タ ファイルからメモリへの読

データベースのリプリケーション機能を使用し メモリの状態まで同期しておく

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.16

上のデータ・ファイルからメモリへの読み込みが必要になり、時間がかかる。

使用し、メモリの状態まで同期しておくことで素早い切り替えが可能。

Page 17: [D35] インメモリーデータベース徹底比較 by Komori

HP Serviceguard によるHANAの自動フェールオーバー

自動FailOverを実現するHANA向けクラスターソリューション標準機能では実現できない障害検知、IP制御、インスタンス制御を実現

Q クォーラム

H/W、プロセス監視自動FailOver(インスタンス起動、停止制御)クライアントアクセス制御

Q

プライマリ セカンダリ

サーバ

A kSAP HANA Package

SAP HANA Package

sync SAP HANA System Replication

Scale-up

HP CS for HANAScale-up

Ack

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.17

Serviceguard for Linux HP CS for HANA

HP CS for HANA

Page 18: [D35] インメモリーデータベース徹底比較 by Komori

HPは社内ITでインメモリデータベースHANAを活用しています!います!

克服すべき課題

ゴール: 環境をシンプルにし、新たなビジネスを加速し、ITコストを劇的に削減

進行状況克服すべき課題

• 大規模なSAPインスタンス (30TB超)

• データ量の増加

TCO削減のプレッシャ

進行状況

• サプライチェーン分析システムと SAP Business Planning and Consolidation (BPC) のHANAへの移行を完了• TCO削減のプレッシャー

• 高度な利用方法と使い易さへの強い要求

移行を完了

• SAP Business Suiteを使った販売管理システムを移行中

成果

処理時間が 2時間以上から88秒に改善

1.5時間以上かかっていたクエリが HANAでは

リアルタイムデータの見える化により素早い経営判断

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.18

88秒に改善 たク リが HANAでは1.02秒に

る化により素早い経営判断が可能に

Page 19: [D35] インメモリーデータベース徹底比較 by Komori

ミッションクリティカルな X86サーバーを開発

NEWNEW• 16CPU/240コア (業界 大)

• メモリ 大24TB (業界 大)リ 大 (業界 大)

• x86サーバーの常識を覆す信頼性機能

• 標準のWindows/Linuxを利用(如何なるアプリも利用可能)

20102010 20142014((予定予定))ド

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.19

Superdome 2HP-UX

開発コードネームDragonHawk

Windows/Linux

HP Confidential – NDA required

Page 20: [D35] インメモリーデータベース徹底比較 by Komori

1分間に 速2万回転するHP独自の冷却ファン。きめ細かなスピードコントロールにより、必要 低限の回転に抑え、冷却ファン自体の消費電力を削減。

アクティブ冷却ファンHP Superdome 2

新開発HP クロスバ フ ブリ クHP クロスバーファブリック複数セルブレード同士、IOエンクロージャ同士を相互に接続するファブリックモジュール。二重化済み

セルブレード×8Itanium® プロセッサー ×128コア

メモリ 大4TB

インターコネクトスロット

HP BladeSystemと同サイズ。I/Oの仮想化モジ ルI/Oの仮想化モジュール(HP バーチャルコネクト)や、様々なブレード用新モジュールがSuperdome 2でも利用可能に

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.20

変換効率 大92%高効率パワーサプライ

単相200V・三相200Vどちらでも利用可能

Page 21: [D35] インメモリーデータベース徹底比較 by Komori

物理パーティション nPartition (nPar)

CPU1

CPU2

CPU1

CPU2

CPU1

CPU2

CPU1

CPU2

CPU1

CPU2

CPU1

CPU2

CPU1

CPU2

CPU1

CPU2

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

メモリ

小単位は「ブレード1枚」

複数のブレードを一台のサーバとして利用可能(スケールアップ・ 大で256 CPU コアまで拡張可能)

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.21

パーティション間を「電気的・物理的に分離」故障の影響を 小限に閉じ込める

Page 22: [D35] インメモリーデータベース徹底比較 by Komori

HP ConvergedSystem 900 for SAP HANA2014年6月2日発表 D H kを使用したHANAアプライアンス

SAPとの共同プロジェクトProject Krakenの実現

• 12 TBメモリ, 16 ソケット(240コア)を実現する大規模システム

2014年6月2日発表 - Dragon Hawkを使用したHANAアプライアンス

メ リ, 6 ソケット( 0 ア)を実現する大規模システム

• 異なるトランザクション・ワークロードの共存が可能

• ミッションクリティカルなシステム向けの高可用性

• X86サーバーにはない耐障害性の高さと、高速なI/Oバンド幅によX86サ バ にはない耐障害性の高さと、高速なI/Oバンド幅による高性能

SAP :CTO Vishal Sikka

Hewlett-Packard(HP) : COO Bill Veghte

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.22

写真ソース : http://news.mynavi.jp/articles/2013/05/17/sap_hana/index.html

Page 23: [D35] インメモリーデータベース徹底比較 by Komori

Memristorデータを永続化でき DRAMと同等のアクセス速度を持つ 新しいメモリ素子データを永続化でき、DRAMと同等のアクセス速度を持つ、新しいメモリ素子

TiN

TiO s

TiN

TiOx TaOx TiOx

TiN

spacerTaOx

TiN

x TaOx

Top

Cross Section

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.23

Cross-Section

Page 24: [D35] インメモリーデータベース徹底比較 by Komori

メモリとストレージの将来像CPUs 2 5D

メモリとストレージが一緒になったら…..

CPUs

High Bandwidth Tier

2.5D

CPUs

3D DRAM or NVM

Extreme Bandwidth Tier

DIMM DDR

High Capacity DDR TierCPUs

Performance + Capacity NVM Tier

High Capacity DDR Tier

Intelligent Flash SSD Tier

HDD DISKC ld S HDD i

Intelligent Flash SSD Tier

Cold Flash Tier

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.24

HDD DISKCold Storage HDD tier

Archival Storage HDD tier

Page 25: [D35] インメモリーデータベース徹底比較 by Komori

小森博之プリセールス統括本部ソリューションセンターデータベース・ソリューション部

Tel: 090-7906-4517Mail: hiroyuki komori@hp comMail: [email protected]

日本ヒューレット・パッカード株式会社本社〒136 8711〒136‐8711東京都江東区大島2‐2‐1

Thank you! Danke !© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Confidential.

T n y ! D n !