[C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara

© Hitachi, Ltd. 2014. All rights reserved.

超高速データベースエンジンを用いた TPC-Hベンチマーク100TBクラス世界初登録への挑戦

㈱日立製作所情報・通信システム社

ITプラットフォーム事業本部開発統括本部

ソフトウェア開発本部 DB設計部主管技師

藤原真二

2014/6/18

db tech showcase 2014 Osaka


超高速データベースエンジンとは

1

Hitachi Advanced Data Binder プラットフォーム

Hitachi Advanced Data Binder プラットフォーム

日立ラックサーバ

日立ストレージ

超高速データベースエンジン

□自社従来比１００倍(*3)の検索性能を誇る、超高速データベースエンジン Hitachi Advanced Data Binder (HADB)を搭載。 □可用性の高い日立のサーバと高速ストレージをセット化。

(*1) 世界のトップを目指した先端的研究を推進することで、産業、安全保障等の分野における我が国の中長期的な国際的競争力、底力の強化を図るとともに、研究開発成果の国民および社会への確かな還元を図ることを目的として創設された国の研究開発プログラム。 (*2) 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：喜連川東大教授／国立情報学研究所所長）の成果を利用』。 (*3) 当社従来製品との比較。解析系データベースに関する標準的なベンチマークを元に作成した、各種のデータ解析要求の実行性能を計測。データ解析要求の種類によって高速化率には差が見られるが、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求を対象とした結果。

最先端研究開発支援プログラム(*1)において、国立大学法人東京大学が推進している超高速データベースエンジンの研究開発(*2)の成果を利用して日立が製品化したリレーショナルデータベースシステム。


研究開発の経緯

2

２００９２００８２００７２０１２２０１１２０１０２０１３

内閣府/総合科学技術会議最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」

２７００億円

２０１０年３月末で発展的解消し、下記に一本化

製品開発 Hitachi Advanced Data Binder (HADB)

研究成果を利用

東京大学と共同で2007年度から文科省PJで開始、2009年度から内閣府PJで推進日立は、2011年から、本研究成果を利用したDB製品の開発を開始

内閣府の最先端研究開発支援プログラムに引継ぎ

文科省「非順序実行原理に基づく超高性能タベースエンジンの開発」プロジェクト

TPC-H 100TBクラス世界初登録

（中心研究者：喜連川東大教授／国立情報学研究所所長）

2012年Ｖ１ 2013年Ｖ2


目次

１． TPC-Hベンチマーク100TBクラスへの挑戦２．超高速データベースエンジンの新技術３．今後の展開

3


目次


4


■TPC協会が定めるデータベースの業界標準ベンチマークのひとつ ■TPC-Hは、Decision Support向けのベンチマークとして1999年にリリース ■データ規模で７つのクラス（100GB～100TB）がある

1.1 TPC-Hベンチマークとは？

5

... TPC-H登録リスト優れた性能を示す客観的な証

出典：TPC-H - Top Ten Performance Results Version 2 Results （http://www.tpc.org/tpch/results/tpch_perf_results.asp）

グローバル市場ではＤＢ製品としての名刺のようなもの

目標：TPC-Hの最大規模 (100TBクラス)に登録


1.2 なぜ100TBクラスを狙ったのか？

6

■100TBクラスは30TBクラスと共に2003年に追加された最大規模のクラス ■30TBは2007年に1件登録されているが、100TBは2011年時点で未登録


1.3 目標性能をどのように設定したのか？

7

■100TBクラスは未登録のため、目標性能（TPC-Hスコア）の設定が難しい ■１ＴＢ以上のＨＤＤベースのＴＰＣ－Ｈ登録スコア上位10件から外挿して、 80,000ＱｐｈＨ@100TBに設定

目標：TPC-Hの最大規模(100TBクラス)にトップレベルの性能で世界初登録


1.4 TPC-H登録に向けて必要な準備は？

8

■製品開発！ TPC-Hは商用のデータベース製品のみ登録可能 ■Auditorの確保性能評価の監査役。登録にはAuditorの承認が必須 TPCベンチマークのAuditorは世界で5人日立がBS1000で登録したときのAuditorに依頼 ■評価環境の準備

4 Hitachi BladeSymphony BS2000 WITH: 32 10 core Intel E7-8870 2.40GHz *1) 8 TB Memory 128 8Gbps Fiber Channel Adapters (dual-port) 60 600GB 15Krpm SAS Disk Drives

16 Hitachi Unified Storage 150 WITH:

1,600 900GB 10K rpm SAS Disks

(*1)Intel Xeonは，米国およびその他の国におけるIntel Corporationの商標です。

HDD1600台の巨大システムで HADBが安定稼動


1.5 HDD1600台って多すぎない？

9

■DB規模当たりのHDD台数は既存の登録結果と比較して1/4以下と少ない

「非順序実行原理※」によりハードウェア性能を最大限に引き出す

※)喜連川東大教授／国立情報学研究所所長・合田東大特任准教授が考案した原理


1.6 TPC-Hベンチマーク登録の手順は？

10

■TPC-Hベンチマーク登録流れ ①商用データベース製品としての機能検証サンプルクエリの実行、ACIDテストの実施 Auditorにオンサイト監査をしていただく ②TPC-Hベンチマークの性能測定データロード及び性能測定性能測定を2回実施（悪いほうのスコアを登録）評価機にリモートからログインして頂き、リモート監査を実施 ③TPC事務局への報告書の提出と登録ベンチマーク測定結果を報告書にまとめ、Auditorがレビュー Auditorの証明書を付けたレポートをTPC事務局に提出測定結果が公式に登録され、60日間のレビューを経て確定


1.7 機能検証の内容は？

11

■機能検証テスト Auditor立会いのもと、以下を実施した (1)評価環境の確認評価環境が構成情報と合致しているかを確認 (2)評価プログラムの確認評価用のプログラムが規定書に合致しているか確認 (3)Query Validationテスト 1GBの機能検証要データベースを評価環境に作成し、 Q1～Q22を指定のパラメータで実行し結果が正しいかを確認 (4)ACIDテスト Atomicityテスト： COMMIT/ROLLBACKの基本動作を確認 Consistencyテスト：更新トランザクションを多重実行し一貫性を確認 Isolationテスト： 6種類のテストでトランザクション分離レベルを確認 Durabilityテスト：更新トランザクション多重実行中に、HDD障害、RAID障害、サーバ障害、電源断を発生させてDBが回復できることを確認

オンサイト監査

AuditorによるTPC-Hオンサイト監査の結果

© Hitachi, Ltd. 2014. All rights reserved. 12

4日間の予定でオンサイト監査を実施し、3日間で監査項目をほぼ完了

ハード障害のテストパターンを追加されたものの、全ての監査項目をクリア！ ⇒ 「新製品で1回でクリアするケースは珍しい」とのコメントを頂いた


■評価環境に100TBのデータをロードし、検索系２２種類、更新系２種類のクエリを実行 (1)ロードテスト評価環境で100TBのデータロードし、統計情報収集、Verificationの各テストを実施 (2)パフォーマンステスト (1)で作成したDBに対して、PowerテストとThroughputテストを2回実施 (3)DB整合性確認測定終了後、AuditorがリモートからVerificationテストを実施

query22個 RF1 RF2

query22個

RF1 RF2

query22個

query22個

RF1 RF2

Power test Throughput test

ﾛｰﾄﾞﾃｽﾄﾊﾟﾌｫｰﾏﾝｽﾃｽﾄ

データロード

時間

SFに応じた並列度が必要。 SF=100Kでは11多重以上。

refresh stream。並列度数分のRF1とRF2を実行する。

2回実行

統計情報収集

Verifi-cation

（6日間）（12日x2回=24日間）

1.8 ベンチマークの性能測定

13

Verifi-cation

DB整合性確認

リモート監査

RF1/2 更新系クエリ

query 参照系クエリ


さて、測定結果は？


最大の100TBクラスで唯一の登録

10TBクラス

30TBクラス

2013/10/19にTPC-Hの最大規模である100TBクラスに82,678QphHで世界初登録！

HADB 10/19 RHEL BS2000 82,678

100TBクラス


目次


16


2.1 ビッグデータ処理における性能ボトルネックの特性

17

ひとつのデータベース問合せ処理(ＳＱＬ)が長大になる大規模データ処理では、処理時間の殆どをディスクＩ/Ｏが占めている。

ＲＤＢＭＳの代表的なボトルネックＣＰＵディスクＩ/Ｏネットワーク

ＳＱＬ処理時間＝ＣＰＵ時間＋Ｉ/Ｏ時間＋通信時間

ディスクＩ/Ｏ処理時間の短縮が、高速化の鍵

ディスク I/O

ＣＰＵ

ネットワーク

ネットワーク

ＤＢサーバ

ストレージ

クライアント


2.2 Ｉ/Ｏ速度の向上手法

18

■ストレージ装置の高速化（フラッシュドライブ等）フラッシュドライブ（フラッシュメモリで構成）を使用することで高速にＩ/Ｏが可能。アクセス頻度の高いデータをキャッシュして高速化。

■インメモリＤＢ全てのデータをメモリに展開（ローディング）してから処理。ディスクへのＩ/Ｏが発生しないため、非常に高速。

従来（ディスクＤＢ）インメモリＤＢストレージ装置の高速化

フラッシュドライブハードディスクドライブ

メモリは高額になり、扱えるデータ量も限られる。

HDDに比べ高額。高速化は10数倍程度。

×１ ×１０ ×１００

ビッグデータへの適用を考えると、これらの技術だけでは不十分


2.3 Ｉ/Ｏ処理の並列化手法～一般的な方式～

19

パラレルクエリスケールアウトパーティショニング

プロセス

□ Ｉ/Ｏ箇所の局所化（パーティショニング）１つの表を分割して管理し、データ検索範囲を局所化。 □ 処理プロセスの並列化（パラレルクエリ）１つの検索処理（ＳＱＬ）を複数のプロセスで並列処理。 □ 処理ノードの並列化（スケールアウト）１つのＳＱＬを複数ノードに分散して並列度を向上。

２月３月１月

プロセスプロセス

プロセス


プロセス


プロセスプロセスプロセス


×１ ×３ ×９

システム構成が煩雑になり、初期コストや運用コストが増大


2.4 なぜスケールアウトが必要か～従来方式の課題～

20

□ 従来方式（順序型実行方式）の課題ひとつのデータアクセス処理プロセスは、決定的な実行計画に従って順次Ｉ/Ｏを発行し、そのＩ/Ｏ完了を待って次のＩ/Ｏを発行(同期入出力)するため、Ｉ/Ｏ待ち時間が多く、Ｉ/Ｏ発行の多重度を高めるためにスケールアウトが必要。

プロセス

プロセス




システムリソースに余剰があるにもかかわらず性能が高まらない

*1 ＨＡＤＢは、内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：喜連川東大教授／国立情報学研究所長）の成果を利用。 *2 非順序型実行原理は、喜連川東大教授／国立情報学研究所所長・合田東大特任准教授が考案した原理。

Ｉ/Ｏ待ちでＣＰＵを完全に使い切れない

Ｉ/Ｏ発行の多重度を高めにくく、ストレージ性能を引き出せない。

検索処理(μs)

同期Ｉ/Ｏ処理(ms)

検索処理(μs)

同期I/O処理(ms)

ＳＱＬプロセス

ストレージ

Ｉ/Ｏ完了を待ってから次の処理に移るため、多くのＣＰＵ待ちが発生。

【従来方式】：順序型実行方式


【ストレージアクセス・トレース】

縦軸がアドレス、横軸が時間。従来方式は、Ｉ/Ｏ密度が低い。

新方式では、Ｉ/Ｏ密度が極めて高く、処理時間を短縮。

従来方式

新方式

高速化

同一の結果を得るＳＱＬのＩ/Ｏ密度の比較

2.5 新方式「非順序実行原理*1」の着眼点と効果

21

「リレーショナルデータベースの基本的な処理は、レコード集合に対する演算として規定されることから、その処理結果はレコードの処理順序に依存しない」という点に着目。

【新方式】：非順序型実行原理

ＳＱＬプロセス

ストレージ

非同期に完了したＩ/Ｏから順次処理を行うためＣＰＵ効率を高めやすい。

ひとつのＳＱＬ処理プロセス

集合演算(ＳＱＬ処理）結果が、要素（レコード）の処理順序に依存しない原理から、1つのＳＱＬ処理に多数のタスクを割付け大量のＩ/Ｏを非同期に発行。

レコードの集合Ａ

（100億件）

レコードの集合Ｂ

（100億件）

Ａ＆Ｂ（100万件）タスク（スレッド）

ＨＡＤＢは、従来方式に比べ高速化を実現 *1 非順序型実行原理は、喜連川東大教授／国立情報学研究所所長・合田東大特任准教授が考案した原理。


2.6 非順序型実行原理－デモンストレーション

22

高速データアクセス基盤「Hitachi Advanced Data Binder プラットフォーム」デモンストレーション

技術概要

http://www.hitachi.co.jp/products/it/bigdata/platform/data-binder/demo.html


2.7 HADBにおけるハイブリッドハッシュ結合

23

ハイブリッドハッシュ結合：ハッシュ表がメモリに収まる場合にバケット分割処理省略

複数クエリブロックの考え方で、複数のハッシュ結合を非順序に実行

- Build処理を優先実行し、Build処理完了までProbe処理はハッシュ表検索前で中断

- Build処理やProbe処理は複数のスレッドで非順序に実行

(4)

(5)

(6)

(7)

・(3)の実表Probe処理完了後に、(4)のバケット2番目のデータでBuild処理開始。

・Build処理完了後にProbe処理再開。・バケット1番目のデータでハッシュ表検索、他はバケット書き出し。

・Build/Probe処理を同時に実行開始。・Build処理を優先的に実行。・Probe処理はハッシュ表検索手前で中断。

(2) ・Build処理時にハッシュ表用メモリが不足したら、分割単位である各バケットに書き出し。・バケット1番目のデータでハッシュ表作成。 (3)

(1)

ハッシュ表がメモリに収まる場合は (1)と(3)のみ

２３

T2 T1

２３

(1)

(2)

(3)

(4) (5) (6) (7)

T1

HJ

T2

Build Probe

１

■TPC-Hベンチマークは約9割がハッシュ結合を伴う検索処理 ■商用OoODEでは、ハイブリッドハッシュ結合を非順序実行する方式を採用


2.8 Q8クエリ評価結果（ハッシュ結合溢れなし）

24

Read

Write

10

8

6

4

2

0

I/Oスループット

(GB/s)

ph1 ph2 ph3

7.1

4.9 4.1

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ph1 ph2 ph3

sys_other

sys_io

sys_mem

adb_other

adb_cntx

adb_db

adb_hash

adb_scan

Q８クエリ実行計画

■8ソケット，80コアマシンにて数％のオーバヘッドで数千のスレッド制御を実現 ■ハッシュ結合処理において1サーバあたりのI/O実効性能である10GB/sをほぼ達成

select

o_year, sum(case when nation = 'SAUDI ARABIA'

then volume else 0 end) / sum(volume) as mkt_share

from

( select

extract(year from o_orderdate) as o_year,

l_extendedprice * (1 - l_discount) as volume,

n2.n_name as nation

from

part, supplier, lineitem, orders, customer, nation n1, nation n2, region

where

p_partkey = l_partkey and s_suppkey = l_suppkey

and l_orderkey = o_orderkey and o_custkey = c_custkey

and c_nationkey = n1.n_nationkey and n1.n_regionkey = r_regionkey

and r_name = 'MIDDLE EAST' and s_nationkey = n2.n_nationkey

and o_orderdate between date '1995-01-01‘ and date '1996-12-31'

and p_type = 'SMALL PLATED COPPER'

) as all_nations

group by o_year order by o_year;

region nation(n1)

Hash join customer

Hash join

Grouping / Set Func

Sorting

part lineitem

Hash join orders

Hash join

Hash join

nation(n2) supplier

Hash join

Hash join

Q８クエリ

I/Oスループット性能

CPU処理の内訳

ph1

ph2

ph3


5.5

4.8 5.7 0.04

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ph1 ph2 ph3 ph4

sys_other

sys_io

sys_mem

adb_other

adb_cntx

adb_db

adb_hash

adb_scan

Read

Write10

8

6

4

2

0

I/Oスループット

(GB/s)

ph1 ph2 ph3 ph4

nation(n1)

nation(n2)

Nested Loopjoin

supplier

Hash join lineitem

Hash join orders

Hash joincustomer

Hash join

Grouping / Set Func

Sorting

2.9 Q7クエリ評価結果（ハッシュ結合溢れあり）

25 Q７クエリ実行計画

■8ソケット，80コアマシンにて数％のオーバヘッドで数千のスレッド制御を実現 ■溢れ処理を除き、ハッシュ結合処理において1サーバあたりのI/O実効性能である 10GB/sをほぼ達成（溢れ処理はCPU処理ネック）

Q７クエリ

I/Oスループット性能

CPU処理の内訳

select

supp_nation, cust_nation, l_year, sum(volume) as revenue

from

( select

n1.n_name as supp_nation, n2.n_name as cust_nation,

extract(year from l_shipdate) as l_year,

l_extendedprice * (1 - l_discount) as volume

from

supplier, lineitem, orders, customer, nation n1, nation n2

where

s_suppkey = l_suppkey and o_orderkey = l_orderkey

and c_custkey = o_custkey and s_nationkey = n1.n_nationkey

and c_nationkey = n2.n_nationkey

and ((n1.n_name = 'UNITED KINGDOM' and n2.n_name = 'SAUDI ARABIA')

or (n1.n_name = 'SAUDI ARABIA' and n2.n_name = 'UNITED KINGDOM'))

and l_shipdate between date '1995-01-01' and date '1996-12-31'

) as shipping

group by supp_nation, cust_nation, l_year

order by supp_nation, cust_nation, l_year;

ph1

ph2

ph3

ph4（溢れ処理）


2.10 TPC-H 100TB 世界初登録のニュースリリース

26

世界初、TPC-Hベンチマーク 100TBクラスへの登録を達成

ハードウェア性能を最大限発揮するOoODEの特長により、従来よりも少ないHDD台数でTPC-H ベンチマークを実施

■共同ニュースリリース


目次


27


3.1 大量データの分析業務への適用（流通・金融分野）

28

PARTKEY

NAME

MFGR

BRAND

TYPE

SIZE

CONTAINER

COMMENT

RETAILPRICE

PARTKEY

SUPPKEY

AVAILQTY

SUPPLYCOST

COMMENT

SUPPKEY

NAME

ADDRESS

NATIONKEY

PHONE

ACCTBAL

COMMENT

ORDERKEY

PARTKEY

SUPPKEY

LINENUMBER

RETURNFLAG

LINESTATUS

SHIPDATE

COMMITDATE

RECEIPTDATE

SHIPINSTRUCT

SHIPMODE

COMMENT

CUSTKEY

ORDERSTATUS

TOTALPRICE

ORDERDATE

ORDER-

PRIORITY

SHIP-

PRIORITY

CLERK

COMMENT

CUSTKEY

NAME

ADDRESS

PHONE

ACCTBAL

MKTSEGMENT

COMMENT

PART (P_)

SF*200,000

PARTSUPP (PS_)

SF*800,000

LINEITEM (L_)

SF*6,000,000

ORDERS (O_)

SF*1,500,000

CUSTOMER (C_)

SF*150,000

SUPPLIER (S_)

SF*10,000

ORDERKEY

NATIONKEY

EXTENDEDPRICE

DISCOUNT

TAX

QUANTITY

NATIONKEY

NAME

REGIONKEY

NATION (N_)

25

COMMENT

REGIONKEY

NAME

COMMENT

REGION (R_)

5

注文表＋明細表 ⇒レシートと同じ構造

■TPC-Hのデータは一般的な販売履歴のデータベースをモデルとしている。 1回の注文で複数の商品を注文する ⇒ 小売業ならばPOSデータに相当 ■TPC-Hベンチマークでは、未集計の生データを扱う（事前集計は許していない）。 TPC-Hベンチマークで最大規模１００TBを達成できたということは、HADBが大規模なデータに対して、十分な検索性能を出せることを公に示したことになる。

100TBクラスのデータ規模履歴データ 1500億件の注文 6000億件の明細マスタデータ 150億人の顧客リスト 200億件の商品リスト 10億件の納入業者リスト 800億件の商品卸値リスト

流通・金融分野において実適用を開始


3.2 社会インフラシステムへの応用例-1 （電力分野）

29 29

PMU installation in North America

電力系統の安定化のため、北米ではPMU（位相計測装置）設置台数が急増

Source: NASPI Oct 22, 2013

約500

（50TB/年）

1,126

（100TB/年）

Source: DOE Synchrophasor Technologies and their Deployment

in the Recovery Act Smart Grid Programs, August 2013

WECC(Western Electocity

Coodinating Council)では

481台のPMUが設置済

Source: DOE Synchrophasor Technologies and their Deployment

in the Recovery Act Smart Grid Programs, August 2013

PMUデータの利活用のため以下の2つのデータ処理基盤が必要

Real-Time Data Processing

Historical Data Analysis


PDC PMU

PMU

PDC PMU

PMU

Super

PDC

Stream Data

Processing

In-memory

Data Cache

Analysis

Applications

Online Power System Analysis

Load

Sensor Data

(every 5 to10 min)

Model updates

Model

DBMS

（HADB）

Archive

Files Access

Historical Data

(in 2 to 3 sec)

Real-Time Data Processing

Historical Data Analysis

Off-line Analysis

Historical Data Analysis: 大量に発生するデータの高速な蓄積と検索を実現することにより、快適なオフライン分析を可能にする。

Real-Time Data Processing: PMUデータを用いたリアルタイムな電力系統の分析

3.3 社会インフラシステムへの応用例-2 （電力分野）

Send

Sensor Data

(every a few sec)

NASPI(North American SynchroPhasor Initiative)

Data & Network Management Task Team break-out

セッション発表資料より


3.4 電力分野への応用－デモンストレーション

31

Client PC PMU Application for Control Center

Data source : Time series data from Phasor Measurement Units (dummy) - # of PMUs: 500 - Measurement interval: 33.3 milliseconds Data import operation: Imports data in every five minutes (400 MBytes) Size of historical Data: 1.2 Tbytes (14.5 Billion records, 11 days) DB server : HA8000/RS220 (12 cores/24 threads) + AMS2500 (64 HDDs) Client PC : Notebook PC DBMS : Hitachi Advanced Data Binder

: Conventional DBMS

Voltage Trend of PMUs

PMU : Phasor Measurement Unit

HADB

DB Server

HA8000/ RS220

AMS2500 Historical Data

Application Server Sensor Data

Sensor data are imported periodically

Network

従来DBMS

Historical Data

Conv. DBMS based IS & R

HADB based IS & R


3.5 電力分野への応用－デモンストレーション

32

14.5 sec 1.1 sec

従来DBMS HADB


株式会社日立製作所情報・通信システム社 ITプラットフォーム事業本部開発統括本部ソフトウェア開発本部 DB設計部主管技師

超高速データベースエンジンを用いた TPC-Hベンチマーク100TBクラス世界初登録への挑戦

2014/6/18

藤原真二

END

33


•TPC-H、TPC-Hベンチマーク、および、QphHはTransaction Processing Performance Councilの商標です。 •Intel Xeonは，米国およびその他の国におけるIntel Corporationの商標です。 •Linuxは，Linus Torvalds氏の日本およびその他の国における登録商標または商標です。 •Red Hatは，米国およびその他の国でRed Hat, Inc. の登録商標もしくは商標です。 •InfoSizingは，米国及びその他の国におけるInfoSizing, Inc. の登録商標もしくは商標です。 •その他、記載の会社名、製品名はそれぞれの会社または団体の商標または登録商標です。

商標に関する注記

34

Technology

[C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara