データセンター視点で考えてみるHadoop

データセンター視点で考えてみるHadoop

日経BP社日経コンピュータ

中田敦

2009年11月13日Hadoop カンフゔレンスクロージングスピーチ

日経コンピュータもHadoopを追いかけます！

2009年11月24日号にご期待ください

ところで…

Yahoo! がHadoopを運用している

データセンターがどのようなものかご存じですか？

米Yahoo!本社のコンテナ型データセンター

海上輸送などに使用する国際規格の幅8フゖート（2メートル44センチ）、長さ40フゖート（12メートル20センチ）のコンテナ


コンテナの壁に沿って、サーバーがギッシリと詰め込まれています


ラックとラックの間にある銀色の箱は「ラジエター」。中に水が循環する細いパプが張り巡らされています。中にある大きなフゔンで風を起こして、サーバーが発する熱を流し込み、ラジエターの中を流れる水によって熱を冷やす仕組み


サーバーの電源はラックの上部に集約されています。サーバーのマザーボードには電源は実装されていません。そのため電源が発する熱がサーバー内にこもらない仕組み


コンテナには水を供給・排出するホースが合計2本接続されています。導入された水によってサーバーの熱を冷やし、温まった水がコンテナ外に排出される仕組み

コンテナ型データセンターの規模

米SGI「ICEcube」の仕様（コンテナ1台当たり）

サーバー台数最大2400台

プロセッサ数最大4800個

プロセッサコゕ数最大2万2400個

ストレージ容量最大11ペタバト

水の温度セ氏18度

Googleは2005年11月からコンテナ型データセンターを運用

Microsoftの場合

シカゴの最新鋭データセンター

コンテナ

200台

112台

サーバー台数

約50万台

22万4000台（コンテナのみ）

「Data Center Knowledge」より引用

なぜHadoop、なぜコンテナ？

「情報爆発」という新しい現実に向き合うには

それに見合った新しいツールが必要

Googleの中の人曰く

• some sort of – not Cloud

Computing but a Cloud Computer;

something that is always there and

always be accessed and always

store data and always give it back.

ケン・トンプソン氏

Googleが自作した「クラウドコンピュータ」

独自に建造したデータセンター

分散ロックシステム

Chubby

分散フゔルシステム

Google File System（GFS）

並列プログラミングモデル

MapReduceキー・バリュー型データストゕ

BigTable

プログラミング言語

Sawzall

グーグルプラットフォーム

Web検索ログ解析 GmailGoogle Maps

ゕプリケーションサービス

論文：Interpreting the Data: Parallel Analysis with Sawzall（2005年）

論文：MapReduce: Simplified Data Processing on Large Clusters（2004年）

ホワトペーパー：The Datacenter as a Computer. An Introduction to the Design of Warehouse-Scale Machines（2009年）

論文：Bigtable: A Distributed Storage System for Structured Data（2006年）

論文：The Google File System（2003年）

論文：The Chubby lock service for loosely-coupled distributed systems（2006年）

論文：Failure Trends in a Large Disk Drive Population（2007年）

Hadoopとは何か？

Googleが作った「クラウドコンピュータ」を

民主化

する存在

お伝えしたいこと

Hadoopを使って

「何か新しいこと」を

やりましょう

お伝えしたいこと

ユーザー事例については

日経コンピュータにご連絡を

ありがとうございました

Twitter: @Nakada_itpro

Technology

データセンター視点で考えてみるHadoop