RedshiftはDWHだけじゃない- 導入したいけど高いとお思いのあなたへ -

星野 豊 (@con_mame)

クックパッド株式会社 インフラストラクチャー部

AWS / MySQL / DataStore etc...

http://d.conma.me/

http://facebook.com/conmame

BIG DATA

世はまさにビッグデータ

ログ

アクセスログ

行動ログ

購入・決済ログ

クリック・動線

ビッグデータ

DWH / BI tool

DWH

数千万～数億

( 　ﾟдﾟ)  ・・・   　  (つд⊂)ｺﾞｼｺﾞｼ   　  (；ﾟдﾟ)  ・・・   　  (つд⊂)ｺﾞｼｺﾞｼｺﾞｼ   　 　_̲,  ._̲  （；ﾟ  Дﾟ）  …！？

 　 　∧_̲∧  ⊂（#・ω・）  置き場所が無い！   　/ 　 　 　ﾉ∪   　し―-‐‑‒J 　|l|  |   　 　   　   　   　  ⼈人ﾍﾟｼｯ!!   　 　 　 　 　 　 　＿＿   　 　 　 　 　 　 　＼ 　  ＼   　 　 　 　 　 　 　 　  ￣￣

何より...

 　 　∧_̲∧  ⊂（#・ω・）  ⾼高い!   　/ 　 　 　ﾉ∪   　し―-‐‑‒J 　|l|  |   　 　   　   　   　  ⼈人ﾍﾟｼｯ!!   　 　 　 　 　 　 　＿＿   　 　 　 　 　 　 　＼ 　  ＼   　 　 　 　 　 　 　 　  ￣￣

Redshift

Redshift?

Redshift?データウェアハウス

フルマネージド

拡張性が高い

数TB～数PB

カラムナ型

リーズナブル?

データ保全性が高い（マルチノードなら）

複数ノードでデータ冗長保持

S3へのSnapshotバック・アップ

Price

1Y RI

3Y RI

XL: 90,000 / 1,080,000

8XL: 720,000 / 8,640,000

1node type: month / year (円)

XL: 54,366 / 652,399

8XL: 434,933 / 5,219,199

XL: 32,711 / 392,533

8XL: 261,688 / 3,140,266

1Y RI

3Y RI

まだ高い…

1クラスタを複数の用途で

一緒に使えばいいのでは？

DWHだけじゃない使い方

ユーザ動向

検索ワード動向

監査

データarchive

サポート

developer

more user

ユーザ動向

検索ワード動向

監査

データarchive

サポート

developer

more user

ユーザ属性変更

行動ログ

etc...

他データストアから

(後々データ解析で使用で

きる可能性のあるもの)

app app app

fluentproxy

fluentproxy

manage

Separate audit from general logs

Development DB

Audit DB

Service log DB

Data archive DB

Development DB

Audit DB

Service log DB

Data archive DB

共用

部署A

部署B

部署C

部署ごとにクラスタ料金を

分割出来る

Work Load Management

Redshiftへのクエリはキューごとに管理される

キュー毎に並列度が設定されている

defaultでは1つのキュー・5並列

並列度を超えた場合は先行クエリが終わるのを待つ

キューの識別

ユーザ

クエリグループ

サーバリソースは全てのキューで共有

最優先

アプリケーションから発行されるクエリ

並列度高め

優先度低

バッチなどから発行されある程度時間がかかってい

いもの

どうにもこうにも時間内に収まらない場合はクラス

タサイズアップも検討

最低

開発用

こう使うとコネクション沢山はってしまう

今は増やせません 同時96 connectionまで…

とてつもなく重いクエリ流しちゃった… psqlでも繋げな

い…

Management Consoleからクエリ killできません

実行が終わるのを待つかtimeoutを適切に

HWリソースもクエリ毎に重み付けしたい

今は出来ません…並列度をうまいことやりくりします

こう使うとコネクション沢山はってしまう

今は増やせません 同時96 connectionまで…

とてつもなく重いクエリ流しちゃった… psqlでも繋げな

い…

Management Consoleからクエリ killできません

実行が終わるのを待つかtimeoutを適切に

HWリソースもクエリ毎に重み付けしたい

今は出来ません…並列度をうまいことやりくりします

実現お待ちしております！！！

Conclusion

1用途で高い！と思ったら

動向調査などの普通のDWH以外の使い方も考えてみる

用途が広がればノード代金をシェア出来る

(クラスタサイズupも出来るかも)

しっかりパフォーマンス測定をして

必要十分を用意する

WLMをしっかり考える

Thank you!!