クラウドを掴むような話

Amazon EC2, S3, Xen, Hadoopとか

目次

最近の話題Amazon Web Services Amazon Elastic Compute CloudAmazon Simple Storage ServiceXenHadoop

ほとんどリンク集です

最近の話題

2009/6/5からKDDIもサービス開始

http://www.kddi.com/corporate/news_release/2009/0324/index.html

Amazon Web Services

沢山種類がある

Amazon web services (1/2)

Infrastructure Services Amazon Elastic Compute Cloud (Amazon EC2)Amazon SimpleDBAmazon Simple Storage Service(Amazon S3)Amazon CloudFrontAmazon Simple Queue Service(Amazon SQS)AWS Premium Support

Payments & Billing ServicesAmazon Flexible Payments Sercie(Amazon FPS)Amazon DevPay

On-Demand WorkforceAmazon Mechanical Turk

Amzaon web services (2/2)

Web search & Information ServiceAlexa Web SearchAlexa Web Information ServiceAlexa Top SitesAlexa Site Thumbnail

http://aws.amazon.com/products/Amazon Web Services LLCが提供するサービス

Elastic Compute Cloud

クラウドコンピューティング

Amazon Elastic Computer Cloud(EC2)

ネイティブに近いサーバ環境を提供するサービスxenベースのディスクイメージ（AMI）ユーザがOSを自由に選択することができる

SLA提供Annual Uptime Percentage of at least 99.95% during the Service Year.http://aws.amazon.com/ec2-sla/

Windowsサーバ，ms sql serverサポート（βサービス）Amamzon Elastic Block Store for Amazon EC2（βサービス）

データを永続化データベースとしての利用が一般的

99.95%の信頼性ってどれぐらい？

99.95% 99.995%99.9995%99.99995%

年：4.38時間，停止可　2重障害だとアウト年：26.28分，停止可年：2.628分，停止可年：15.768秒，停止可　キャリアグレード

EC2 Instance Type

Standard InstancesSmall Instance (default)Large InstanceExtra Large Instance

High-CPU InstancesHigh-CPU Medium InstanceHigh-CPU Extra Large Instance

http://aws.amazon.com/ec2/instance-types/

Standard Instances (1/2)

Small Instance1.7GB mem1 EC2 Compute Unit

1 virtual core 10+150GB storage32bit platform$0.10/h$0.125/h (windows)

Large Instance7.5GB mem4 EC2 Compute Units

2 virtual cores x 22x420+10GB storage64bit platform$0.40/h$0.50/h(windows)

Standards Instances (2/2)

Extra Large Instance15GB mem8 EC2 Compute Units

4 virtual cores x 24x420+10GB storage 64bit platform$0.80/h$1.00/h (windows)

High-CPU Instances

High-CPU Medium Instance1.7GB mem5 EC2 Compute Unites

2 virtual cores x 2.5350GB storage 32bit platform$0.20/h$0.30/h(windows)

High-CPU Extra Large Instance

7GB mem20 EC2 Compute Unites

8 virtural cores x 2.51690GB storage$0.80/h $1.20/h(windows)

トラフィックも課金対象

詳細な料金はこちらで把握

http://calculator.s3.amazonaws.com/calc5.html

申込方法

面倒なのでここでは説明しません日本語での説明は以下が秀逸です

ってか，元々そこを読んでもらえばいいんだけどhttp://d.hatena.ne.jp/rx7/20080528/p1

制御方法

提供されたjavaベースのCUIで制御ブラウザのアドオンで制御AWSが提供するwebサービスで制御サードパーティのwebサービスで制御

提供されたコマンドラインツール

http://docs.amazonwebservices.com/AWSEC2/latest/DeveloperGuide/

ブラウザ addon EC2用

Elasticfox

AWSが提供するwebサービス

http://console.aws.amazon.com

サードパーティのwebサービス利用

Amazon Simple Storage Service

Amazon Simple Storage Service

1Bから5GBまでのデータの固まりを読み書き消去保存できるデータ群は無制限米国と欧州に保存可能Amazon S3 Service Level Agreementで保証

http://aws.amazon.com/s3-sla/

料金体系

ブラウザのaddon S3用

S3 Organizer

利用例：S3を利用したバックアップツールとか

http://jeremy.zawodny.com/blog/archives/007641.html

利用例：S3FS

http://code.google.com/p/s3fs/wiki/FuseOverAmazon

利用例：S3FS for Hadoop

http://wiki.apache.org/hadoop/AmazonS3

開発中はParkPlaceで (S3 Clone)

http://github.com/why/parkplace/tree/master

EC2/S3以外のサービス

ざっと紹介

Amazon SimpleDB

Amazon謹製 Dynamohttp://www.allthingsdistributed.com/2007/10/amazons_dynamo.htmlCTO Werner Vogels らが開発

key-valueストア（ハッシュテーブル）スケールアウト（数百台とか）障害に強い（マシン障害のみならずラック障害にも）

my %hash = ( key1 => "value1", key2 => "value2");

Amazon CloudFront

CDNサービス米国8箇所，ロンドン，ダブリン、アムステルダム，フランクフルト，香港，東京1000Mbps, 1000req/sのピーク負荷に耐える

Amazon Simple Queue Service

信頼性が高く，高度にスケーラブルなキュー環境分散アプリケーションのコンポーネント同士のメッセージバッファキューに関しては以下の説明を読んでください

http://japan.cnet.com/blog/kenn/2004/11/05/entry_amazon_simple_q/

Payments & Billing Services

Amazon Flexible Payments Service (Amazon FPS)PaypalとGoogle Checkoutに対抗する決裁サービスクレジット／デビットカード，Amazon PaymentsAmazonでつかっている情報を利用

Amazon DevPayEC2上で動かすサービスに対して開発者が課金Amazon EC2 Machine Image (AMI) 販売

On-Demand Workforce

Amazon Mechanical Turk沢山の人にタスクをこなしてもらうためのマーケットQ&Aだけではない例えば．．．

利用例：Help Find Jim Gray

http://www.allthingsdistributed.com/2007/02/help_find_jim_gray.html

利用例：Ten Thousand Cents

http://www.tenthousandcents.com/index.html

サービスが止まってないか？

簡単な死活監視

AWS Service Health Dashboard

http://status.aws.amazon.com/

何げにでかいこと書いてる日経BP

http://itpro.nikkeibp.co.jp/article/EVENTS/20090309/326164/

Xen

EC2はXenベース

最近の話題

Xenネタで

プライベートクラウド

普段はローカルな環境のXenでゲストを動かしておき，必要な時にはEC2にそのゲストを投げる OpenNebula

http://www.opennebula.org/doku.php

パブリッククラウド

Amazon EC2/S2互換インタフェース Eucalyptus

http://eucalyptus.cs.ucsb.edu/wiki/EucalyptusOverview

XenServer無料ダウンロード開始

http://deliver.citrix.com/go/citrix/wbFreeXenServer

概要

ドキュメントが実体においついてない

http://tinyurl.com/dbkul7

Xenのネットワーク周り

二つの仮想スイッチ

仮想ネットワーク(Xenbr)

仮想ネットワーク(Virbr)

こういうのもでてきた

http://www.linode.com/

Hadoop

試しにインストールはしてみたけどまだよくわかってない

使っているところ

A9.com(Amazon)AdknowledgeBaiduCornell University Web LabFacebookNeptuneNetSeerPowerset/MicrosoftSearch WikiaThe Lydia News Analysis ProjectVisible TechnologiesYahoo!

1-10050-20010-500100600200<1000<40012517+10315020,000

http://wiki.apache.org/hadoop/PoweredBy

年内に本が出る

http://oreilly.com/catalog/9780596521998/index.html#top

日本語解説

Hadoop, hBaseで構築する大規模分散データ処理システムhttp://codezine.jp/article/detail/2448

複数マシンへHadoopをインストールするhttp://codezine.jp/article/detail/2699

Hadoopのインストールとサンプルプログラムの実行http://codezine.jp/article/detail/2485

blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術https://codezine.jp/article/detail/2841

mapreduceに対するnaoya氏の解説http://d.hatena.ne.jp/naoya/20080511/1210506301

Hadoop Streamingに対するnaoya氏の解説http://d.hatena.ne.jp/naoya/20080513/1210684438

おまけ

Googleファンの方向け

Google AppEngine クローン

http://code.google.com/p/appscale/