Embed Size (px)
Citation preview
Ⓒ Classmethod, Inc.
Kinesushiでみた Amazon Kinesisの話
1
DEVIO-MTUP11-TOKYO-004
鈴木亮,AWSチーム,クラスメソッド（株）
2014年12月16日
Ⓒ Classmethod, Inc.
自己紹介• 氏名 鈴木 亮（すずき りょう） • 所属 •クラスメソッドAWSチーム • チームUKYO reve（ロードレース）
• Twitter suzryo
2
3
ストリーミングデータを リアルタイムで処理する 完全マネージド型サービスAmazon Kinesis
とは？
4
Ⓒ Classmethod, Inc.
AWS Solutions Architect ブログ
5
http://aws.typepad.com/sajp/2014/08/kinesis_01.html
Ⓒ Classmethod, Inc.
弊社ブログ（AWS Summitレポート）
6
http://dev.classmethod.jp/cloud/aws/aws-summit2014tokyo-kinesis/
Ⓒ Classmethod, Inc.
弊社ブログ２（Kinesis特集）
7
http://dev.classmethod.jp/referencecat/aws-kinesis/
Amazon Kinesis メリット
8
スケール性
9
Ⓒ Classmethod, Inc.
Kinesushi構成図（水曜日：0日目）
10
Ⓒ Classmethod, Inc.
Kinesushi構成図（木曜日：1日目）
11
Ⓒ Classmethod, Inc.
木曜日• 上限緩和申請（AWSサポート申請） • Kinesisシャード数を10→32
• 検証用Kinesisストリーム設置 • パーティションキーの検証 • 店舗番号を用いる妥当性 • シャード分散確認
12
Ⓒ Classmethod, Inc.
Kinesushi構成図（金曜日：2日目）
13
Ⓒ Classmethod, Inc.
金曜日• 10店舗PUT開始 • シャードの実性能確認 • Kinesisシャード上限緩和
14
Ⓒ Classmethod, Inc.
Kinesushi構成図（月曜日：3日目）
15
Ⓒ Classmethod, Inc.
月曜日• 377店舗先行PUT開始 • 準備時間3日 • ピーク時：200万PUT／1時間 • 1日：1500～2000万PUT • 1ヶ月：5億前後PUT
16
Ⓒ Classmethod, Inc.
月額コスト
17
AWSサービス 拡張前 拡張後
Kinesis 数十$ 百数十＄
S3 0.数$ 数＄
EC2 数十＄ 数百＄
可用性 保守性 冪等性
18
Ⓒ Classmethod, Inc.
Kinesushi構成図
19
Ⓒ Classmethod, Inc.
障害
20
App障害時も、データPUTは継続 データは3重冗長保管
（24時間以内に復旧すれば）データロストなし
Ⓒ Classmethod, Inc.
復旧
21
連番による冪等性確保 リトライが可能
Ⓒ Classmethod, Inc.
メンテナンス
22
AP一時停止でデータロストなし
Ⓒ Classmethod, Inc.
Blue-Green Deployment
23
ビッグデータを お手頃に
24
Ⓒ Classmethod, Inc.
EC2（[2,4,8]xlarge）, EMR
25
Ⓒ Classmethod, Inc.
Kinesis
26
Ⓒ Classmethod, Inc. 27
Ⓒ Classmethod, Inc.
まとめ（Kinesisとは）• 高い拡張性と信頼性を備えたバッファです。 • 入口は１つ、出口は沢山を実現します。 • クラウドならではのメリット、Dev、Ops、Mng、皆で享受する事が可能です。
28
Ⓒ Classmethod, Inc.
#cmdevio
ご静聴ありがとうございました。 スライドは後日ブログで公開します。
29
DEVIO-MTUP11-TOKYO-004
