A Brain-Friendly Guide

A Brain-Friendly Guide

BigDataHead First

ORE’ILLY Don’na “Hang=Dan” Darwith Pandaneco Rojinkai

Cloud

Social

User Logging

Google AppsAmazon EC2Open Cloud

FacebookTwitterSocial GraphSocial Bookmark Access Log

POSGPS

Machine LearningRecommendationEnterprise Search

こんにちは

ビッグデータ！

ここに、これまでは SQL で扱って来たデータがあるじゃろ？

( ＾ ω ＾ ) ⊃ 普通のデータ ⊂

こんにちは


これを NoSQL に入れ直して…

( ＾ ω ＾ ) ≡⊃⊂≡

こんにちは


出来上がりじゃ♪

( ＾ ω ＾ ) ⊃ ビッグデータ⊂

Big Data って ?

そもそもの話

http://www.bigdatalandscape.com/



データ分析フレームワーク

大規模データ保持・加工・処理


Big Data の Data Base

扱う全データ量が大きい

一度に扱うデータ量が大きい

分散ストレージ

分散処理系

サーバ一台に収まらないデータを扱う

スケールアップは高価 / 頭打ち

Spec

Cost

RDBMS の高性能化限界

の出現

歴史のお勉強： BigData 時代の始まり

無限のスケールアウト性能

Spec

Cost

台数に比例した性能が得られる

簡単につかえて

無限にスケールアウトする

分散処理系兼

分散ファイルシステム

Hadoopやってます競争

の時代

はたと気がつく

バッチ処理はできるけどクエリとかの応答性能は出せないんだよね… …　

なんと RDBMS がおきあがりなかまに　なりたそうに　こちらをみている！

No!SQL　はい　いいえ

RDBMS ではできないことをやってるぞ！

まだ RDBMS 代替を主張しないといけない時代


Big Data Landscape をよく見てみよう

ところで





ファッ！？？？


トランザクションとかビジネス要件とか言われると

辛いんだよね… …　

さいど RDBMS がおきあがりなかまに　なりたそうに　こちらをみている！

基幹システムを張れると主張しないといけない時代

Not only SQL

DATABASERDBMS

SQL NoSQL

RDBMS

NoSQLand more…

まとめみんな Google が大好きなので、 Google のパチもんの Hadoop も最高に Coooool ！！！！でした

RDBMS はしばしばデータ基盤として用いられていたので、うまく Hadoop で置き換えれば数十倍の処理性能が出ました。

例えば　大量に、全件を、まとめて処理するバッチそれはそうでしょう。それは RDBMS でやるべきものではなかったのですから。

RDBMS の数十倍！　が初期のウリだったので、 RDBMS は意地でも使うわけにはいかなくなりました。そこで現れたのが　 NoSQL です。

今ではそうでもなくなりました。 RDBMS との融和の時代です。

勧誘の時間

そもそもの疑問なぜ RDBMS では実現できないのか

データベースに求められる機能とは何なのか

そもそもどうやってデータベースを実現してきたのか

データベースをきちんと知らないと答えられない疑問

勧誘の時間

データベースをきちんと知らないと答えられない疑問

じゃあ

いつ学ぶのか

勧誘の時間

勧誘の時間

もう一度データベース (Not only SQL)

を学ぼう！

方針

• ７つのデータベース　７つの世界　から

• いくつかのソフトウェアを実際に触る• 環境はとりあえず太田が用意する• 足りなくなったら検討

• その後は個々気に入ったソフトウェアを集中的に

目標：データベース製品の特徴を理解し、用途に合わせて選んで採用できる

初期スケジュール

1. 7 つの DB 7 つの世界• リレーショナル代数について（東）• PostgreSQL （小林）• HBase （太田）• Neo4j （東）

2. 7 つの DB 7 つの世界• Riak （太田）• MongoDB （）• CouchDB （）• Redis （やまひろ）

3. 7 つの DB 7 つの世界　予備日• 7 つの DB 7 つの世界　残り部分• 各 DB 比較 - NoSQL プログラミング実践活用技法

4. その後• 各製品 Deep Dive

Documents

A Brain-Friendly Guide