D24 ビックデータへの苦難と、国産データベースの挑戦自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Data Binder

© Hitachi, Ltd. 2013. All rights reserved.

株式会社日立製作所情報・通信システム社 ITプラットフォーム事業本部開発統拢本部ソフトウェア開発本部 DB設計部主任技師石川太一

ビッグデータへの苦難と国産データベースの挑戦

自社従来比１００倍の性能に挑む、超高速データベースエンジン Hitachi Advanced Data Binder

5月30日(木) Session4：16:00～16:45

db tech showcase 2013 Osaka


はじめに

来るビッグデータ時代に打ち破らなければならないデータ処理の技術的な課題と、その課題を解決し、新たな価値を生み出すには？日本発、世界に誇る国産データベースの威力を、デモンストレーションを交えて、わかりやすくお話します。


アジェンダ１．速さは手段であって目的ではない

２．目的のための選択肢は、何か？

３．日立にしか作れないデータベース４．日立を選ぶ理由


１．速さは手段であって目的ではない

© Hitachi, Ltd. 2013. All rights reserved. 4

ある、お客様訪問時のエピソードから・・・。


お客様の課題

それは・・・、

売上データの集計バッチが遅い。新商品の開発に手が回っていない。


そこで！


さあ、製品紹介だ！

従来よりも１００倍速いデータベース

を開発しました！


高速データアクセス基盤 Hitachi Advanced Data Binder プラットフォーム

その名は・・・


１００倍速い・・・。

それで？


日立は、ここが凄い！

６４コアのプロセッサを搭載したマシン上で１６３４８多重のＩ/Ｏスレッドを自動生成し、

２０４８ドライブのストレージを並列にアクセスできるんです。

だから速いんです！


見てください、このパフォーマンスを！

約９００秒９秒

自社従来比約１００倍の高速化

※ １秒あたりのI/O回数。

低密度Ｉ/Ｏ高密度Ｉ/Ｏ

ＩＯＰＳ

ＨＤＤへのＩ/Ｏ履歴

従来自社ＤＢＭＳＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒプラットフォーム


なるほど・・・。

それで？


そこで、お客様にツッコまれました。

それで私の、何の課題を、どうやって解決できるの？


日立さんね・・・。１００倍速くなったら、何が変わるの？

例えばＰＯＳデータの分析だと、

性能上の制約によって1ヶ月だった分析対象の期間を、

１０年間に拡大できるとか？

分析単位を

１日単位から１時間単位に詳細化できるとか？

こういったメリットを提案してくださいよ。


１００倍速くなったら、何が嬉しいの？

そもそも分析処理を高速化するために、夜間に実行していた

トータル１００本のバッチ集計処理が、

全部要らなくなるとか？

そのバッチを実行するための

サーバやストレージ、

そもそものバッチシステムの構築と保守コストが、

まるまる不要になりますとか？

私のメリットを言ってくださいよ。日立さん。


そうなんです・・・。

１００倍速いのは、課題解決手段の一つであって、お客さんにとっての価値では、無い・・・。


そもそも「ビックデータ」て言うけど、

ベンダがモノを売りこむために作った、お題目なんじゃないの？


「ビックデータ」は、お題目か？

いやいや。正しい判断をするための、解決手段の一つでしょ。

そもそも経営判断や、営業判断、開発提案など、なにを根拠に行っているのか？


だって、まだ「ＫＫＤ」ですか？

権威ある人の「勘、経験、度胸」に頼るマネジメントでは、

限界が見えてきたのでは？


だからデータが欲しい。

判断材料が欲しい！

でも・・・。


真実を伝えられないサマリデータ、収集できず切り捨てられた詳細データ、

膨大に溜まったまま活用できない履歴データ・・・。

それは、

ごみの山か、宝の山か？


最善の応えは、データの中にある。


例えば・・・。・分布や傾向だけじゃわからなかった不具合の原因を、詳細データを追うことで確認できるようにする。・仮説と検証を繰り返して、最も効果の高い組み合わせを見つける。

本当は、これをやりたかったのに、できなかった。それはなぜか？


データベースの性能が、遅かったから。


２．目的のための選択肢は、何か？


速いデータベースが欲しい。でも、

お客様は、正しい選択をしたい。

だから、

同業他社との違いを明確に示す必要がある。


ところでさ・・・。

御社の競合は誰ですか？

その競合よりも、どこが、どのように、勝っているの？

IBMさんのNetezzaは、FPGAとかのファームウェアレベルの超高速処理ができると言っている。 ORACLEさんのExadataは、あらゆるデータ処理を高速化し、アプリを改修せずに高速化できると言っていますよ。 SAPさんのHANAは、全メモリ処理だから、従来の1000倍は性能を高められると言っている。

例えば日立さんの、それは、ＨＡＮＡよりも速いの？

スクリーンをご覧ください


日立の、同業他社との違い・・・。

速いか？遅いか？安いか？高いか？


速くて、安ければ、それがいいのか？

そんなはずは、無い。

何かトレードオフがあるはずだ。


トレードオフと言えば・・・。


輸送手段に例えて考えるとわかりやすい。

世の中の輸送手段には、

□船舶 □トラック □鉄道 □航空機

様々な手段があります。

あなたに一番適した輸送手段はなんですか？


あなたに一番適した輸送手段は？

それは、あなたの要件次第。

例え航空機が一番速いからといって、あらゆる輸送手段がすべて航空機だけになることはない。

なぜなら、

すべての手段に、

利用者にとっての、メリットとデメリットがあるからです。


データベースだって同じです。

同業他社とのポジションを、輸送手段に例えて考える

そして日立の、メリット、デメリットは？

それぞれ、どの輸送手段に例えられるでしょうか？



同業他社のデータベースを大きく２つのカテゴリに分類します。

□インメモリデータベース □データベースアプライアンス




インメモリデータベースは？

インメモリデータベースは航空輸送に例えると、分かりやすい。

□メモリ上に全データを展開し、高速化する方式 □従来方式に比べ１０００倍の高速化の可能性 □メモリに展開できない大量データを処理できない

つまり、航空輸送のように、

速いけど、重い荷物は運べない。



□既存のインフラ（道路）をそのまま使うことができ、すぐ適用できる。 □航空機より速くないが、技術革新で高速化してきた。 □同時に走らせるトラックを増やせば、いくらでも大量輸送が可能。

36

データベースアプライアンスは？

データベースアプライアンスは、トラック輸送に例えると、分かりやすい。

ただし、トラックを増やせば増やすだけ、ランニングコストが増加。

□従来同様のデータベースを使えるので、アプリの変更不要。 □FPGA，InfiniBand、SSDなど主にハードウェアの力で高速化。 □処理サーバを並列化して、データ量の増大に対応。

トラック輸送データベースアプライアンス



じゃあ、日立は？

Hitachi Advanced Data Binder


□鉄道インフラが整備されている場所にしか届けられない。 □１台の列車で効率よく輸送できる □航空機よりは遅いが、トラック輸送よりも速い。

□「非順序型実行原理」という新技術で高速化。 □１台のサーバに集約でき、処理データ量に制限が無い。 □インメモリよりは遅いが、アプライアンスマシンよりも速い。

38

日立は？

“鉄道輸送” 日本の技術が誇る、“新幹線”

*1：喜連川教授・合田特任准教授（東京大学）が考案した原理。

新幹線 Hitachi Advanced Data Binder


「非順序型実行原理」

なにそれ？


３．日立にしか作れないデータベース


■大賞［日立製作所］


■優秀賞［日本マイクロソフト］ Windows Server 2012 ［富士通］ STYLISTIC Q702/F ［ジャストシステム］ UnitBase ［NTTデータ］フルオープン仮想化基盤構築ソリューション

昨年のリリース直後から、注目を集めています。


従来の常識を超えた、ＲＤＢエンジン

非順序型実行は、通常のノード「並列」や「分散」とはメカニズムが違う。

ある意味、順序性を無視して処理の多重度を高める技術。

辻褄は、最後に合わせられる。

*1：喜連川東大教授／国立情報学研究所所長・合田東大特任准教授が考案した原理。 *2：内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：喜連川東大教授／国立情報学研究所所長）の成果を利用。

従来型データベースエンジン

時間

決定的な処理順序

同期入出力発行

超高速データベースエンジン

時間

超大量

非同期入出力発行

非決定的な処理順序

従来のＤＢＭＳ（順序型）非順序型ＤＢＭＳ

非順序型実行原理*1


従来型データベースエンジン

時間

決定的な処理順序

同期入出力発行

超高速データベースエンジン

時間

超大量

非同期入出力発行

非決定的な処理順序

従来のＤＢＭＳ（順序型）非順序型ＤＢＭＳ

順序性を無視？


そうなんです。従来のデータベースは、基本的にデータ栺納順に

I/O処理をおこないます。だからI/O待ちが発生するのです。

「NO」が「100」の行を検索したい！

データ栺納順にI/O処理

待ち

待ち

待ち


非順序実行原理を採用した Hitachi Advanced Data Binderは、

I/Oを待たずに、次の処理を行います。

「NO」が「100」の行を検索したい！

データ栺納順にI/O処理行単位にタスクを割り当て

並列にI/O処理

待ち

待ち

待ち

I/Oを待たずに次の行を取りに行く。

だから毎回、結果の順序が異なる。順序を保障したいなら、ORDER BYでソートすれば良い。


処理の順番を無視できるから、メリットがある。

サーバサーバ

サーバ

ストレージ

サーバ

ストレージ

タスク割当

検索処理

I/O完了待ち

ディスクI/O

従来のＤＢＭＳ（順序型）

待ち

順次データを処理

取得

計算

待ち

取得

計算

待ち

取得

計算

□サーバ側のＣＰＵリソースを十分に使いきれなかった。

□だからサーバをスケールアウトさせて並列度を高めていた。

サーバ台数を増設（スケールアウト）して多重度を稼ぐ方式

□結果としてサーバ台数が増え、コストが増大してしまう。

順序性を無視して並列処理

次

次

取得

□サーバ側のマルチコアＣＰＵを使い切るので効率的。

□結果としてサーバ台数も減り、コストを低減できる。

数１０多重オーダ/サーバ

数１０００多重オーダ/サーバ

※

※従来方式では、ＳＱＬパラレル処理やパーティショニングを駆使して処理多重度を稼いでいた。

高速なメモリ処理で順序整合性を確保取得

取得取得

次計算計算計算計算

ＨＡＤＢ（非順序型）

μｓ

ｍｓ

ＳＱＬクエリ単位の処理多重度の差異


８この領域に挑戦してきた、国と大学の取り組み

URL：http://first-pg.jp/about-us/about-30.html

「非順序型実行原理」

□東大教授／国立情報学研究所所長喜連川先生、東大特任准教授合田先生が考案した原理。 □内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と、当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：喜連川先生）の成果。


非順序型、ＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒの威力

約９００秒９秒

自社従来比約１００倍の高速化

※ １秒あたりのI/O回数。

低密度Ｉ/Ｏ高密度Ｉ/Ｏ

ＩＯＰＳ


順序型従来自社ＤＢＭＳ非順序型ＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒ

プラットフォーム



デモンストレーションでご確認ください。



１５０００回/秒

こんなにＨＤＤをぶん回して、壊れない？

※ １秒あたりのI/O回数。ＩＯＰＳ


順序型従来自社ＤＢＭＳ非順序型ＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒ

プラットフォーム


大丈夫

ウソだと思ったら、４５年の歴史を持つ、小田原工場まで、見に来てください。


でもさ・・・。

ストレージの性能を最大限に引き出すって、そんなに簡単じゃないでしょ？

だって・・・。


良くこんな会話するよね・・・。「あ・・・。なぜ想定した性能が出ないかというと・・・、ストレージは、1RAIDグループ1LUで設定していたのですね。おそらく、こうしてしまうと1RAIDグループ1LUに対してストレージのCPUコアは１個しか割り当てないので、多重性能が上がらないものと思います。今回のストレージ装置はコントローラ上にコアが４個なので1RAIDグループ4LU以上にはしておいたほうがよかったですね・・・。」

CPU

メモリ

Xeon 2.66GHz×4

DDR3×8

FCカード 4Ｇｂｐｓ×2

FC SW ＃１＃２

Controller 4コア＃１ 4コア＃２

LU #1

LU #2

LU #3

LU #n ・・・

本当にシンプル？結局、難しいんでしょ？


大丈夫

データベースも、ストレージもどちらも同じ組織で、自製している日立ですから。


ベストプラクティスモデル

55

だから、ベストプラクティスモデルでご提供

推奨構成、それが「ベストプラクティスモデル」 □サイジング済サーバ/ストレージセットだから安心、簡単。

Hitachi Advanced Data Binder プラットフォーム

ＨＡ8000/RS440 CPU:40コア(10コア×4CPU)

メモリ：96GB HDD: 2.4TB

BR1200 SSD: 3.6TB(200GB×18 ) HDD: 3.6TB(600GB×6)

Rｅｄ Hat Enterprise Linux


【サーバ】

【ＯＳ】

【ＤＢＭＳ】

【ストレージ】


構造がシンプルだから、メリットが大きい

サーバサーバサーバサーバ

データ

従来のDBMS

データ

シングルサーバ

シンプルな構成なので、運用時、拡張時のコストメリットあり非順序型実行原理により、シンプルなシングルサーバ構成でありながら、サーバのマルチコアプロセッサ*およびストレージシステムの利用効率を最大限に高めることで、処理性能の大幅な向上を実現。

*：多数のコアを集積したプロセッサ。

スケールアウト型（複雑な構成）

スケールアップ型（シンプルな構成）

複雑な構成だから、運用も、拡張も難しい

サーバリソースを増設するだけの手軽さ。



日立にしか作れないデータベース



４．日立を選ぶ理由


で、日立さん・・・。

結局さ・・・。私の、何の課題を、どうやって解決できるんだっけ？


ビッグデータの

発生源

見えなかったものが

見えてくる

新しい視点で

価値を発見できる

「今」から「未来」を

予測できる

生まれる価値

１

２

３

データ・アナリティクス・マイスターサービス

ビジネスシナリオ

ＩＴ

ビジョン

仮説

事業モデル

分析

分析技術

分析人財

分析ツール

ビッグデータ利活用基盤

データ収集デバイス

サーバ・ストレージ・クラウド

イノベイティブ・アナリティクス


コンサルティング、始めました。


業務分析により戦略と現状の GAPを把握現場視点

(エスノグラフィー調査等)で本質的な問題を抽出

何を変えるか？

現状（As-Is像）の把握

問題点の抽出

現状と課題の体系的整理

現場の課題把握

どうやって変えるか？将来像実現のための方法の検討

将来像（To-Be像）の検討

改革の方向性検討新業務のTo-Be像立案

各種プロトタイピング手法により、新業務の実現性と効果を可視化

要件定義基本構想書・システム化計画

現在の業務から将来像を創出し、改善のための具体的なプロセス提案を行います。

人間視点・全体最適の観点をふまえた協創ワークショップでの議論と共有

何に変えるか？

実現性の検証・計画

実現性の検証

実効性の検証

実行計画の作成


で、日立さん・・・。

最後は日立のデータベースを推奨するんでしょ？


解決策は、一つじゃない。

つまり、日立のデータベースを、他社のデータベースと使い分けたり、それと組み合わせて使ったりすることで、

お客様に、より最適なソリューションを、提供できるはずだと考えています。

輸送手段も一つではありません。様々な輸送手段を選択したり、組み合わせたり。


だから・・・適材適所。ひとつのデータベースでは、夢を現実に変えられない。

現実世界

消費者報告書

センサー

ＳＮＳ

基幹系情報系

事務所

工場

店舗

調達

製造

販売

人事

：ＤＢ

ＤＢ

ＤＢ

ＤＢ

ＤＢ

トランザクション情報

履歴情報

履歴情報

マート

マート

マートセントラル

ＤＷＨ

ＥＴＬ

経営者

マーケティング

収集集計蓄積ＤＢＤＢ

履歴ＤＢ

検索

トレーサビリティの確保

素早くフィードバックします

バッチ時間を短縮します

非構造データを素早く集計します

効率よく蓄積できます

マートレスで速く分析できます

大量データを一次処理できます

加工・収集

分析

グリッドバッチ

高速データアクセス基盤

ストリームデータ処理基盤

インメモリデータグリッドＨａｄｏｏｐ時系列データ処理基盤

ノンストップＤＢ

可用性を高めます

DataStage

Hitachi Advanced Data Binder プラットフォーム *1

*1: 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：東大喜連川教授）の成果を利用。


今そこにあるデータベースでは、解決できない課題がある。

電力、交通、都市、物流・・・。

実業を伴うＩＴベンダだから作れる、個性豊かなデータベース。

それが日立のデータベース。


全ては、お客様のスペシャルな夢を、現実に変えるために。


これからも日立は、お客様のスペシャルな夢を叶える選択肢をご提案し続けます。


お知らせ

１２年１０月から新連載がスタート！ □ 毎月、日立のデータベースの最新情報をお伝えします。

DBOnline 日立のデータベース検索

日立の国産データベースシリーズが紹介されている「国産」タブが新設！

日立の「Dr.SQL」登場！－土田正士さん日本データベース学会副会長

５０年後には、データベースはなくなっている？！

日立のデータベース開発基地に潜入開発者に突撃インタビュー



他社所有名称に対する表示

71

・ Androidは，Google Inc. の登録商標です。・ HP Serviceguardは，Hewlett-Packard Development Company, L.P.の商品名称です。・ HP-UXは，Hewlett-Packard Development Company, L.P.のオペレーティングシステムの名称です。・ MicrosoftおよびSQL Serverは，米国Microsoft Corporationの米国およびその他の国における登録商標または商標です。・ iOS は，Apple Inc.のOS名称です。・ superdomeは，Hewlett-Packard Development Company, L.P.の商標です。・ Oracleは，Oracle Corporation 及びその子会社，関連会社の米国及びその他の国における登録商標です。・ UNIXは，The Open Groupの米国ならびに他の国における登録商標です。・その他記載の会社名，製品名は，それぞれの会社の商標もしくは登録商標です。

Technology

D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Data Binder

D24 ビックデータへの苦難と、国産データベースの挑戦自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Data Binder