[db tech showcase Tokyo 2016] A25: ACIDトランザクションをサポートするエンタープライズ向けNoSQL Databaseに興味はありませんか？〜事例から学ぶNoSQLの使いどころ

© COPYRIGHT 2016 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED.

マークロジック株式会社シニアソリューションアーキテクト能仁信亮

ACIDトランザクションをサポートするエンタープライズ向けNoSQLデータベースに興味はありませんか？〜事例から学ぶNoSQLの使いどころ

SLIDE: 2 © COPYRIGHT 2016 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED.

自己紹介

• 能仁信亮 (のうにんしんりょう)

• エンタープライズNoSQLデータベースを提供するマークロジック株式会社でエンジニアをしております

• MarkLogic入社前は、Hadoop, NoSQLとRDBMSを組み合わせたシステム構築の提案、導入支援を行っていました

• Twitter : @snonin


MarkLogic : 会社のご紹介

§ 600社を越える世界各国のお客様

§ お客様の成功に10年以上貢献

§ 250社以上のパートナー企業

§ 世界各国に525名以上の社員

§ 成功を約束する投資 (主な投資元：

セコイアキャピタル、ウェリントン)

§ 日本での法人登記 (東京、渋谷)

§ 国内の著名ＳＩ企業とのパートナー

契約を締結し、連携

信頼成熟専門性

§ コンサルティングサービス

お客様の環境を熟知した国内パートナー企業がコンサルティング

§ 24時間365日対応のエキスパート

サポート

経験豊富なエンジニアが対応

§ オンラインコミュニティ

数万人にも及ぶコミュニティメンバーとのコラボレーション

§ 無料トレーニング

オンライン、講師によるトレーニング


MarkLogicの特徴オペレーショナルでトランザクショナルな基幹業務対応エンタープライズNoSQLデータベース

§ データをそのまま取込む (ETL不要)

§ 構造化、非構造化データの混在

§ データとメタデータを一緒に保管

§ データやデータ構造の変更に対応

簡単にデータを取り込める柔軟なデータモデル

§ インデックスを一度付けることで、何度でもクエリ可能

§ 非常に高速でリアルタイム

§ JSON、XML、テキスト、地理空間

情報、セマンティックトリプルをす

べてひとつのデータベースでクエリ可能

簡単にデータを出せるユニバーサルインデックスで

何でも検索

§ データの信頼性とトランザクション (100% ACID 準拠)

§ 標準仕様の自動フェイルオー

バー、レプリケーション、バックアップ/リカバリー機能

§ 基幹業務に対応したエンタープライズグレードのセキュリティとコモンクライテリア認証

100% 信頼できる基幹業務に対応できるエン

タープライズ仕様


（ご参考）MarkLogicとRDBMS、他のNoSQL DBとの比較

機能 RDBMS 他のNoSQLDatabase

柔軟なデータモデル

サーチとクエリ

MarkLogicはJSON 、XML、RDFなどにネイ

ティブに対応。スキーマ非依存のマルチ

データモデルアプローチにより、データをそ

のままの形でロード可能。

RDBMSは事前に静的なスキーマを定義す

る必要がある。列を一つ追加するにも、多

大な時間とお金がかかる

一般的に、NoSQL Databaseは

RDBMSよりも柔軟性がある。特にド

キュメントストアであれば、柔軟性は高

い

MarkLogicは製品のコアにサーチ機能が

統合されている。さらに、様々なデータタイ

プに対して複雑なクエリをカスタマイズ可

能な広範なインデックスを利用して実現し

ている

全文検索機能を利用するには、他のソフト

ウェアが必要となり、統合に多大な工数を

要する。さらに、1つのクエリをデータベー

ス全体に対して発行することができない場

合がある

全文検索機能を利用するには、他のソフ

トウェアが必要とる場合がある。さらに、

多数のNoSQL DBはクエリのなかで

高々1つないし2つのインデックスしか利

用できない




拡張性と伸縮性

ACIDトランザクション

認証済みセキュリティ

MarkLogicは数百ノードまで拡張可能で、数

千億のドキュメントを管理する商用環境で実

際に利用されている。データは自動的に

パーティション化され分散配置される。ノード

追加は、アプリケーションの要求に応じて、数分で完了

RDBMSは1台のスケールアップで対応し、

多額の費用がかかることが多い。性能は

データ量が一点水準まで達すると頭打ち

になり、リソースの利用率が下がっても、ス

ケールダウンすることができない

NoSQL Databaseのなかには、スケー

ルアウト可能なものもあるが、データの

パーティションをクラスタ全体に分散さ

せることが難しい場合も多い。多くの

NoSQL Databaseは、スケールアップ

とスケールダウンの柔軟性に欠ける

MarkLogicはACIDトランザクションを完全

にサポート。さらにXA分散トランザクション

を利用することも可能

RDBMSは、数十年にわたりACID トランザ

クションを標準としてサポートしてきており、

それ故にミッションクリティカルシステムで

数多く利用されてきた。

実質的に全てのN oSQLデータベースは、

ACIDトランザクションを犠牲にしており、

分散システム内でのトランザクションの

一貫性を管理できない

MarkLogicはNIAPコモンクライテリア認証

を取得済みで、政府機関の機密システム

等でも利用されている

RDBMSは、セキュリティが重視される大規

模なエンタープライズシステムで、数十年

利用されてきており、セキュリティ機能も強

化されてきている。

他のNoSQL Databaseは、N IAPコモンク

ライテリア認証を取得しておらず、多くは

認証に必要な機能も有していない




高可用性／災対

Hadoop統合

MarkLogicはクラスタ内およびクラスタ間の

ファイルオーバー機能を高いレベルでサ

ポート、さらにシェアード・ナッシング・アーキ

テクチャにより、単一障害点も存在しない

10年程度の期間を経て、HA/DRは大半の

RDBMSの標準的な機能となってきた。

アーキテクチャによっては、単一障害点が

残る場合がある。

NoSQL Databaseの大半は、バック

アップや災対で求められるトランザク

ションの整合性を保証していない。ス

ケールアウト型のDatabaseの中には、

HAがオプションのものも存在する。

MarkLogicはHadoopと簡単に連係可能で

あり、Hadoopに対して完璧なデータベース

として機能する

RDBMSの中には、Hadoop連係をもつも

のもあるが、ETL処理がデータの移動の際

に必要となることが多い。

多くのNoSQL Databaseは、H adoop連

係の機能をもつが、実装している機能は

製品により大きく異なる。


なぜNoSQLデータベースを使うのか?1. スキーマ(RDBMSのテーブル群)を事前定義するのが難しい

→ 後ほどご説明します

2. スケールアウト可能

3. マルチマスター構成がどうしても必要例) 複数のデータセンターをまたいだクラスターが必要で、データセン

ター間の通信に障害が発生したとしても、両方のデータセンターで、稼働しつづける→ CAP定理でいうAPが必要


なぜNoSQLデータベースを使うのか?1. スキーマ(RDBMSのテーブル群)を事前定義するのが難しい

→ 後ほど、具体的な例をご説明します

2. スケールアウト可能

3. マルチマスター構成がどうしても必要例) 複数のデータセンターをまたいだクラスターが必要で、データセン

ター間の通信に障害が発生したとしても、両方のデータセンターで、稼働しつづける→ CAP定理でいうAPが必要

MarkLogicが得意なところ

↑ たしかに大規模消費者向けサービスを中心に、こういった要件が必要になる場合も

あるが、エンタープライズ・システムではまれ。


Atomicity (原子性)

Consistency (一貫性)

Isolation (分離性)

Durability (永続性)

最初のバージョンから実装・最適化を続けています

MarkLogicによるACIDトランザクションの実装

2フェーズコミット(内部的に利用)

LockMVCC

同期レプリケーションジャーナル


/articles/doc1.xml

∞ ∞423 628

開始タイムスタンプ終了タイムスタンプ

Year

∞ ∞

Document

Title AuthorSection

Section Section Section Section Section

FirstLast

Metadata

628

/articles/doc1.xml

Document

Title AuthorSection

Section Section Section Section Section

FirstLast

Metadata

MVCCのメリット

§ ACIDトランザクションの実現

§ 高いスループットを実現

§ 読み取りロックなし

§ ポイントインタイムクエリ

§ 高速なロールバック

ACIDトランザクションMVCCによる実装


競合関係ではなく、補完関係

MarkLogicとHadoopの関係

MarkLogic Hadoop

オンライン、低遅延アプリケーション

リアルタイムのトランザクション

製品に組込まれた検索機能

オフライン、高遅延アプリケーション

時間をかけたバッチ解析

コスト効率の良いストレージ


MarkLogicとHadoopMarkLogicとの接続によりHadoopを改善

§ MarkLogicを直接HDFS上で走らせること

で、リアルタイムのアプリケーションを実現。一方、Hadoopはバッチ分析、ETL、データのエンリッチメントに使用

§ MarkLogicとHadoop間でデータをシームレスに移動。接続されていないMarkLogicのフォレスト上でHadoopのジョブを実行可能

§ HDFSと階層型ストレージの高い経済性

© COPYRIGHT 2016 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED.

典型的な活用領域と事例


統合され活用可能なデータの360度ビュー

ビジネスがデータに求めているもの


分断されたデータ§ データが分断された別々のデータベースに存在する

§ データ統合がM&Aのスピードに追いつかない

§ データをリアルタイムで提供しなければならない

実態


80% の時間

データサイエンティストがデータを整理することに時間がかかりすぎる

無駄% のコスト

2015年にリレーショナルデータ

のサイロを作り出すのに費やされた金額

360億

支出60データウェアハウスのプロジェクトにおけるETLコストは高い

$

分断されたデータの統合には膨大なコストがかかる


リレーショナルデータベースにはETLが必須なため、アジャイル性、タイムリーな対応、コストが犠牲になる§ 将来のあらゆるデータについて予測できていなけ

ればならない

§ 新しいSQLクエリの使用には、データベースの再インデックス付けが必要となる

§ 分断されたデータベースが変更されるとETLを改修する必要がある

ITの課題

ETL

OLTP

アーカイブ

ETL

ETLETL

データマート

ETL

ウェアハウス

参照データ


データをより上手く、早く、少ないコストで統合できるデータベース

望ましいソリューション


活用パターン1データ統合＋検索


トップ5 グローバルバンク – 統合検索インデックス

大規模な統合顧客データとトランザクションMARKLOGICを選んだ理由

§ 数値型、ドキュメント型、セマンティック

データの扱いが必要

§ ETLが巨大で複雑

§ 将来の変更にも柔軟に対応

§ コストと時間の制約

§ エンタープライズ仕様のデータの一貫

性、信頼性、セキュリティ

主要システム業務部門

カスタマーサービス

アナリティクス

統合レポジトリ

顧客データ

抵当

クレジットカード

他のシステム

抵当の証券化

召喚状対応


トップ5 グローバルバンク – 統合検索インデックス

大規模な統合顧客データとトランザクションMARKLOGICを選んだ理由

§ 数値型、ドキュメント型、セマンティック

データの扱いが必要

§ ETLが巨大で複雑



§ エンタープライズ仕様のデータの一貫

性、信頼性、セキュリティ

主要システム業務部門

カスタマーサービス

アナリティクス

統合レポジトリ

顧客

データ

抵当

クレジットカード

他の

システム

抵当の生成/証券化

召喚対応

予定

§ タイムリー – 最初のプロジェクトは6ヶ月で実稼動

§ 柔軟 – 抵当統合に関してだけでも、35の抵当主要システムの統合

§ 高いコスト効率 – コモディティハードウェアによる弾力的な拡張

§ エンタープライズ仕様 – セキュリティ、一貫性、HA/DR

§ リテール顧客の360º像 – 最終的には800億件のレコード


RDBMSで実現できず、MarkLogicで実現できる理由

MarkLogicではRDBMS で実現できない要因

あらかじめ、全てのデータ形式に対応するテーブル設計、対応するETLの開発を行っ

ておかないと、データをインポートすることすらできない

別途、検索エンジンを用意して、RDBMSと検索エンジンの統合を行う必要がある。特にセキュリティ、権限管理の統合が難しい。さらに検索エンジンとの連係はリアルタイムに行われないため、取り込まれたデータを即座に検索することができない

データをそのままの形式（As-Is）で取り込むので、複雑な設計、ETLは不要

検索機能が内包されているので、データを取り込むだけで、検索が即座に可能


柔軟なデータモデル

§ JSON、XML、RDF、位置データ、ラージバイナリを単一の統合プラットフォームで格納/管理

§ ビジネスエンティティ、アプリケーションに忠実にモデル化

§ データを「As-Is」（そのまま）で読み込み

§ 事前にスキーマを定義しておく必要がないため、データ変換のための扱いにくいETLが不要

§ アプリケーション、ビジネスに最適なデータ形式を利用可。最も扱い易い形式でデータを保持

ドキュメント指向、スキーマ非依存データベース


検索とクエリビルトイン検索でドキュメント、関係性、メタデータから答えを発見

§ MarkLogicでは検索＝クエリ

§ 30種類以上の洗練されたインデックスで関連性に応じた結果を取得

§ 数百テラバイト、数十億件のドキュメントに対して検索結果リストを1秒以下で応答

§ 複雑な構造を持つデータに対する複雑なクエリもフラットなデータと同様にあつかうことが可能

§ サーチのフル機能を提供。

§ 全文検索、入力候補表示、ファセット、スニペット、検索対象の強調表示、近接ブースト、関連度順、言語サポート

JavaScript XQuery SPARQL

リッチなクエリ機能

インデータベースMapReduce全文検索

セマンティック検索位置検索


ユニバーサルインデックス

“blue” 123, 125, 129, 130, 152, 344, …

“van” 123, 125, 126, 129, 130, 152, …

“observed” 125, 152, 516, 522, 765, 890, …

“blue van” 123, 125, 129, 130, 152, 486, …

STEM “observe” 125, 152, 516, 522, 765, 890, …

<report> …

<report>/<location> …

<threat>/<category> …

<type>suspicious activity</type> …

<date>2012- 11-12Z< /date> …

Collection:Vetted …

Role:Analyst + Action:Read …

… …

… …

… …

タームドキュメント参照番号

MarkLogicがインデックスを付けるのは…§ 語

§ フレーズ

§ 語幹（原形）

§ 構造

§ 構造内の語やフレーズ

§ 値

§ コレクション

§ セキュリティ許可

ドキュメント

参照番号

125, 516, 890, …

確認済み（vetted）レポートの中で「blue van」というフレーズが含まれているものは？


政府レベルのセキュリティ現代のデータガバナンス用の認証済みのきめ細かいセキュリティ設定

§ 認証済みセキュリティ – NoSQLデータベースの中では最高のセキュリティ認証済み。コモンクライテリアセキュリティ認証を受け、政府の機密情報システムで利用中

§ きめ細かなセキュリティ– ドキュメントレベルでのロールベースのアクセス制御（RBAC）。

Privacy

Provenance

Compliance

Continuity

Retention

Security

MarkLogic によるデータガバナンス


トップ5の投資銀行 – ITアセット管理技術アセット在庫管理システムでデータのエンリッチとリアルタイム分析を実現

MARKLOGICを選んだ理由

§ より迅速なデータ統合

§ 構造化＆非構造化データの混在

§ セマンティックによるグラフ表示

§ 監査証跡の改善（バイテンポラルを利用）

§ リアルタイム分析

中核データ

ボリューム管理システム

固定資産台帳

AFS利用

（ファイルシステム）

サーバーレポート

エンタープライズ

サーバーポートフォリオ

LDAP

など

データレイヤー

セマンティックレイヤー（オントロジー）

テンポラルレイヤー

リアルタイム

検索＆クエリ

140以上のデータソースアセット管理とトラッキング

トップ５の投資銀行


トップ5の投資銀行 – ITアセット管理技術アセット在庫管理システムでデータのエンリッチとリアルタイム分析を実現


§ より迅速なデータ統合

§ 構造化＆非構造化データの混在

§ セマンティックによるグラフ表示

§ 監査証跡の改善（バイテンポラルを利用）

§ リアルタイム分析

中核データ

ボリューム管理システ

ム

固定資産台帳

AFS利用

（ファイルシステム）

サーバーレポート

エンタープライズ

サーバー

ポートフォリオ

LDAP

など

データレイヤー

セマンティックレイヤー（オントロジー）

テンポラルレイヤー

リアルタイム検

索＆クエリ

140以上のデータソース

アセット管理とトラッキング

トップ５の投資銀行

成果

§ タイムリー – 最初のプロジェクトは6ヶ月で実稼動

§ 柔軟 – 140以上のデータソースを統合

§ 高いコスト効率 – コモディティハードウェアによる弾力的な拡張

§ エンタープライズ仕様 – セキュリティ、一貫性、HA/DR

§ 成功 – 「このアプリケーションは、当行のもっと重要なシステムとな

りました。今後、大幅な拡張の予定もあります」- 銀行取締役


バイテンポラル時間がすべて

有効

時間

システム時間

有効時間（Valid Time）

– 現実世界の時間。「実

際の状態」に関する情報

イベント 1

イベント 3

イベント 2

イベント 2

システム時間 –データベースに

記録された時間

§ 同一ドキュメントに対して、ある時点における「実際の状態」と「記録上の状態」の情報を両方保持することで、後から遡って確認

§ ビジネスやミッションにおけるインサイトの向上

§ スキーマの変化も、時間の経過におけるデータの変化として把握。リレーショナルのバイテンポラルにはない機能

§ 規制順守が必要な業界では必須

§ 階層型ストレージとセマンティックによってさらに強化


10億以上のドキュメントをシームレスに探索 – リアルタイム通知も実現

Dow Jones – 拡張性を兼ね備えた強力な検索とアラート

MarkLogic の利点:• 拡張された検索機能

10億以上のドキュメントを1秒以内のスピードで検索可能

• リアルタイムアラート

ユーザー定義のコンテンツア

ラートに基づいて、通知を即座に受け取る機能を実現

32,000の情報ソース

500万以上の WSJ記事


活用パターン2Operational Data Hub


オペレーショナルアプリケーション

マルチチャネル配信

全てのデータに

対する双方向の分析

SSD, DAS, SAN, NAS, S3, Hadoop/HDFS

JSON

XML

Operational Data Hub


ドイツ銀行– グローバルオペレーション最大手投資銀行で巨大なデータ統合を実現

イミュータブルなファクトストア

オペレーションサイロ MarkLogicの統合データベース


§ 柔軟なモデル - Excelスプレッドシート、

Oracleテーブル、COBOLインデックスなどすべてを表現

§ トランザクションの一貫性 - クライアン

トのリクイディティ用のオペレーショナルデータストア

§ 設定可能なセキュリティ - 既存のパー

ミッションに基づくリファレンスデータの閲覧制限

階層型ストア

数千のデータベース

ファイルとドキュメント

数万のアプリケーション

… 標準的（canonical）XMLデータモデル

データアクセスの詳細設定

反復的開発

「SOURCE OFTRUTH」

リクイディティに関する意思決定


ドイツ銀行– グローバルオペレーション主要投資銀行で巨大なデータ統合を実現

イミュータブルなファクトストア

オペレーションサイロ MarkLogicの統合データベース


§ 柔軟なモデル - Excelスプレッド

シート、Oracleテーブル、COBOLイン

デックスなどすべてを表現

§ トランザクションの一貫性 - クライアントのリクイディティ用のオペレーショナルデータストア

§ 設定可能なセキュリティ - 既存の

パーミッションに基づくリファレンスデータの閲覧制限

階層型ストア

数千のデータベース

ファイルとドキュメント

数万のアプリケーション

… 標準的（canonical）XMLデータモデル

データアクセスの詳細設定

反復的開発

「SOURCEOFTRUTH」

リクイディティに関する意思決定

成果

§ 包括的 – 数万のデータソース

§ 柔軟 – 複数ソース。メインフレームからExcelまで

§ コスト効率 – プラットフォームの拡張に応じたプロビジョニング

§ 基幹業務対応 – 安全で一貫性のあるトランザクション

§ 規模 – 1億8000万ドキュメント/日、250億件見込み（2017年末）




あらかじめ、全てのデータ形式に対応するテーブル設計、対応するETLの開発を行っ

ておかないと、データをインポートすることすらできない

ソースシステムの変更への対応工数が莫大になる→ ソースシステムの変更に対して、データ

を保持するためだけに、テーブル定義やインデックス、ETLの再設計が必要

データをそのままの形式（As-Is）で取り

込む。要件として必要な部分から、共通データモデルを構築。

ソースシステムへの変更時にも、データを取り込むだけであれば、特別な対応は必要ない。

追加された項目を利用する必要が生じた際に対応すればよい


トップ3 グローバルバンク – デリバティブの基幹処理プラットフォーム統合取引データハブ


§ 時間とお金がかかるETLサイクルを回避



§ エンタープライズ要件

20個以上のデータソース

下流のシステム

マッチング

etc...

統合トレードストア

デリバティブ

データ

レート

データ

FXデータ

他の

システム

清算

決済

Hadoop将来の拡張には：MLの階層型ストレージ（w/HDFS）を利用


トップ3 グローバルバンク – デリバティブの基幹処理プラットフォーム取引統合データハブ


§ 時間とお金がかかるETLサイクルを回

避



§ エンタープライズ要件

20個以上のデータソース

下流のシステム

マッチング

etc...

統合トレードストア

デリバティブ

データ

レート

データ

FXデータ

他の

システム

清算

決済

Hadoop将来の拡張には：MLの階層型スト

レージ（w/HDFS）を利用

成果

§ 柔軟 – 複雑なデータの読み込みや出力に対応

§ 高パフォーマンス– 1600+ リクエスト/秒

§ 改善されたリスク管理 – 統合ビュー

§ エンタープライズ仕様 – ACIDトランザクション、セキュリティ、HA/DR

§ 高いコスト効率 – 1つのデータベース（20ではなく）。DBA1人（10人ではなく）。


Aetna (エトナ/米国・保険) – 人事データハブ人事データの統合、大規模なリアルタイムデリバリー


§ ETLが巨大で大変に複雑

§ 将来の変更に対する柔軟性


§ 基幹業務に対応したエンタープライズ仕様

140以上のデータフィード 50以上のシステム

リアルタイムアプリ

バッチ分析

人事データハブ

従業員

データ

給与

データ

評価

データ

その他の

システム




Aetna (エトナ/米国・保険) – 人事データハブ人事データの統合、大規模なリアルタイムデリバリー


§ ETLが巨大で大変に複雑

§ 将来の変更に対する柔軟性


§ 基幹業務に対応したエンタープライズ仕様

140以上のデータフィード 50以上のシステム


バッチ分析

人事データハブ

従業員

データ

給与

データ

評価

データ

その他の

システム



成果

§ 柔軟– 複雑なデータの取り込みと出力

§ 拡張性 – 各日50GBを越えるスループット

§ アジャイル – 5年の予定が1年で導入完了

§ 将来性の確保 – データを最大限、再活用しながらも一貫性を保持

§ 成功 – MarkLogicは人事データ全てのデータレイヤー


活用パターン3メタデータの一元管理


ディズニー – メタデータハブ映画やその他のアセットのデータをつなぐ統合ハブ


§ 5つのサイロ化されたデータソースから

の素早いデータ統合

§ セマンティック機能でアセット、アーカイブ、メタデータを正しく関連付ける

§ さらにアジャイルな開発

§ 基幹業務に対応したエンタープライズレベルの信頼性


ディズニー – メタデータハブ映画やその他のアセットのデータをつなぐ統合ハブ


§ 5つのサイロ化されたデータソースから

の素早いデータ統合

§ セマンティック機能でアセット、アーカイブ、メタデータを正しく関連付ける

§ さらにアジャイルな開発

§ 基幹業務に対応したエンタープライズレベルの信頼性

成果

§ 統合 – 2億件以上のドキュメントと5億個以上のトリプル

§ 柔軟 – アプリの開発と導入が4ヶ月で完了

§ 高いコスト効率 – 分断やサイロの排除

§ 安全 – データの損失やセキュリティ違反なし

§ 成功 – ビジネスプロセスの合理化と収入の増加


ディズニー – 次世代のメタデータ管理プラットフォーム

Is A

CharacterOlivia Pope

Episode 20Trump Card

Part of

Season 5

Part of

ShowScandal

Aired on

Date05/05.2016

Acted in

Played

ProfessionLawyer

TalentKerry Washington

Love InterestPresident Fitzgerald

In Love With

MULTI-TIER PRODUCTION METADATA




多様なメタデータの形式をサポートするためのテーブル設計が難航

セマンティック(RDF)などの多様なデータ形式のサポートの欠如

多様なデータ形式を事前のデータモデリングなしで取り込む

セマンティック機能などを利用して、関連性の管理・活用が可能


セマンティックドキュメントストアとトリプルストアの合体

§ 数十億ものファクトを格納/クエリ

§ 新しいファクトの推論

§ ファクトと関係性によりコンテキストを把握して検索を改善

§ 柔軟なデータモデリング。

§ 任意の関係でデータを関連付け

§ 業界標準に準拠

– RDF、SPARQL、標準REST

MarkLogic8の新機能：SPARQL 1.1、グラフトラバーサル、規則による自動推論、サーバーサイド

JavaScriptとNode.jsによるSPARQL


活用パターン4大規模コンテンツ配信


BBC – 大規模でダイナミックなコンテンツ配信データの統合、マルチデバイスへの配信


§ 複数の形式のコンテンツ (例ビデオ、

記事、統計データなど)

§ 動かすことのできないオリンピックのスケジュールに合わせた素早い導入

§ 毎秒数万を越えるトランザクションをサポートできる拡張性

§ オープンスタンダードに対応 (どのデバ

イスからでも、いつでも、どこからでも)

マルチスクリーンで

の利用

1つのデータレイヤーで

多くのデバイスに対応

リアルタイムでの更新と

リプレイ


BBC – 大規模でダイナミックなコンテンツ配信データの統合、マルチデバイスへの配信


§ 複数の形式のコンテンツ (例ビデオ、

記事、統計データなど)

§ 動かすことのできないオリンピックのスケジュールに合わせた素早い導入

§ 毎秒数万を越えるトランザクションをサポートできる拡張性

§ オープンスタンダードに対応 (どのデバ

イスからでも、いつでも、どこからでも)

マルチスクリーンで

の利用

1つのデータレイヤーで

多くのデバイスに対応

リアルタイムでの更新と

リプレイ

成果

§ 拡張性 –最も多い日には、2.8 ペタバイトものデータを配信

§ 高速 – 25,000 トランザクション/ 秒, 450億リクエスト

§ 安定 – 障害やダウンタイム無し

§ 成功 –パーソナライズされた、受賞歴のあるオリンピック報道




多様なデータの形式をサポートするためのテーブル設計が難航

サーバー追加による、処理能力追加が難しい。スケールアップのアプローチが必要とされる

多様なデータ形式を事前のデータモデリングなしで取り込む

サーバー追加によるスケールアウトが容易


NBCユニバーサル – SNL40 アプリ『サタデー・ナイト・ライブ（SNL）』アプリで40年分のコメディ番組を配信


§ セマンティック検索でインテリジェント・レ

コメンデーションエンジンを強化

§ 大規模で弾力的な拡張性でSNLの40周年記念をサポート

§ AWSクラウドを使うことでコストを抑えて

配信を容易に行うことが可能


NBCユニバーサル – SNL40 アプリ『サタデー・ナイト・ライブ（SNL）』アプリで40年分のコメディ番組を配信


§ セマンティック検索でインテリジェント・レ

コメンデーションエンジンを強化

§ 大規模で弾力的な拡張性でSNLの40周年記念をサポート

§ AWSクラウドを使うことでコストを抑えて

配信を容易に行うことが可能

成果

§ 拡張性 – 3ヶ月間に1億ビューに対応

§ 高速 – ピーク時には50,000リクエスト/分に対応

§ 高性能 – パーソナライズされたユーザーインターフェースにレコメンデーションエンジンが付属

§ 成功 – トップにランクされるアプリの作成に要した期間は4ヶ月


データ統合に必要とされるデータベースの高度な機能基幹業務やエンタープライズクラスのデータ統合に対応した設計

コモディティハードウェアによるスケールアウト

過剰なプロビジョニングや投資を防ぐスケーラビリティと弾力的な拡張

階層型ストレージ

データベースの拡張に伴うストレージのコストを抑制

セマンティック

拡張検索とデータの関係性の定義

リアルタイムアラート

新しいデータを取込む際にいくつでもアラートを設定可能

バイテンポラル

時間を基準としたデータの歴史と監査情報

地理空間情報

地図情報と地理空間情報を組み合わせた統合検索


柔軟な導入環境お好みの環境でご利用ください

§ Linux、Windows

§ オンプレミス (仮想または物理)

§ プライベートクラウド、ハイブリッドクラウド、パブリッククラウド

§ AWS、Azure

§ Hadoopを含む、あらゆるストレージアーキテクチャ物理

クラウド

仮想


MarkLogicを選ぶ理由検証済

結果を得られるまでの時間を短縮

ユニバーサルインデックスで何でも検索

信頼できるデータとトランザクション

エンタープライズグレードのセキュリティ

コモディティハードウェアによるスケールアウト

非常に高速でリアルタイム

©COPYRIGHT 2016MARKLOGICCORPORATION.ALL RIGHTSRESERVED.

ご清聴ありがとうございます

MarkLogic日本語ウェブサイト http://jp.marklogic.com

MarkLogic日本語Twitter: twitter.com/MarkLogic-JP

MarkLogic日本語Facebook: https://www.facebook.com/marklogicjp

お問合せ: [email protected]

NoSQLの最新情報、解説書

無料ダウンロード: po.st/FaFqa

セマンティックの最新情報、解説書

無料ダウンロード: po.st/0cbAat

Technology

[db tech showcase Tokyo 2016] A25: ACIDトランザクションをサポートするエンタープライズ向けNoSQL Databaseに興味はありませんか？ 〜事例から学ぶNoSQLの使いどころ

[db tech showcase Tokyo 2016] A25: ACIDトランザクションをサポートするエンタープライズ向けNoSQL Databaseに興味はありませんか？〜事例から学ぶNoSQLの使いどころ