10年後のデータベースアーキテクチャと青春の日々

Creat r’s Night2012/03/16

事業創造室加藤寛之

Wednesday, March 21, 12

本日のお題

10年後のデータベースアーキテクチャと青春の日々


10年後のデータベースアーキテクチャ？


DatomicWednesday, March 21, 12

なにそれ美味しいの？


Hacker Newsのコメントより

Datomic is a UFO filled with advanced alian technology


ひっじょ～に興味深いね


ということでアーキテクチャをご紹介


これまで

Web Server

DB Server

INSERT / UPDATE SELECT


これまで

Web Server

DB Server

増えたらだめぇ！パンクしちゃう！



これまで

Web Server

DB Server(master)

DB Server(slave)

データ同期



これまで

Web Server

DB Server(master)

DB Server(slave)

データ同期

INSERT / UPDATE

SELECT

DB Server(master)

同期


これまで

Web Server

DB Server(master)

DB Server(slave)

データ同期

INSERT / UPDATE

SELECT

DB Server(master)

同期


これまで

Web Server

DB Server(master)

DB Server(slave)

データ同期

INSERT / UPDATESELECT

DB Server(master)

同期

cache


頭を悩ませることがいっぱい　・INSERT / UPDATEがScaleしにくい　・データの復旧が面倒　・キャッシュのTTLをコンテンツ毎に管理　・レプリケーションサーバーが増える　　=> マスタへの負荷が増大　・なによりDBがいつもボトルネック　・などなどどんどん物事が複雑になっていく。


そこでDatomic


特徴その１

保存されているデータは更新不可能（Append-Only）

・Lockされない（だって更新しないもん）・更新処理は後述するTransactorに新しいデータの作成　として実行キューに登録/処理される。


特徴その２

アプリケーションプロセスにてクエリ処理が行われる

・発行されるクエリの解析はアプリ側で行う。・クエリの解析結果と、ローカルに存在するインデックス　から対応する固有ID（のリスト）を取得。


特徴その２

自プロセス内のキャッシュから固有IDに対応するデータを検索。

・キャッシュ上に存在すれば通信さえ発生しない。・キャッシュ上になければ元データの保存場所から取得。


特徴その３

データの追加 / 更新処理はすべてTransactor経由で行われる。

・元データの保存場所に対してアプリケーションが　直接更新処理を行う訳ではない。・全ての更新履歴を保存しているので、データの復旧とか　楽勝すぎワロタ。


Datomic

Web Server

Storage Service

INSERT / UPDATE

GET ENTITY(request only data segments, not query)

Transactor(data segments)

Data Index

cache Live Index cache Live Indexcache Live Index


Datomic（更新時）

Web Server

Storage Service

INSERT / UPDATE


Data Index



Datomic（更新時）

Web Server

Storage Service

INSERT / UPDATE


Data Index



何が嬉しいの？　・そもそもキャッシュHITしたら　　Storage Serviceにアクセスさえない。　・UPDATEがないのでlockしない。　　=> 他のクエリに迷惑をかけない。　・Storage Serviceは単純にデータを　　提供するだけ！クエリ解析とか　　キャッシュとか考えなくていい。


個人的に各サーバーの役割分担がより明確になってると思ったり


でもサービスはリリース前でした(́・ω・｀)


でもアプリケーションに組み込むライブラリの参照実装（Java）は公開されている。。


なぜRubyがないのか？


ないなら作っちゃえ！(^O^)


ごめんなさい間に合いませんでした


日本語でおｋ


時間まで、しばしご鑑賞ください


というのもアレなので別の策を考えてみた


アプリケーション内キャッシュって

どこまで有効なんだろ？


とある社内ツールで試してみた


その名もKatomic


Katomic= in-memory KVSwritten with Ruby


Katomicの有効/無効で処理速度の変化を比較

してみたよ


結果Katomic 合計ビュー DB その他

無効 1,608.6 735.5 8.3 864.8

有効 327.1 323.7 0.6 2.8

速度比 490% 230% 138% 3,086%

単位: ミリ秒


圧倒的じゃないか、我が軍は！


アプリ内キャッシュっていいかもー


ということでDatomicをもっと調査/検証します！


Thanks!


Technology

10年後のデータベース アーキテクチャ と青春の日々

10年後のデータベースアーキテクチャと青春の日々