20130927 adstir emr

Copyright © UNITED, Inc. All Rights Reserved.Copyright © UNITED, Inc. All Rights Reserved.

AdStirSSP(RTB)を支える集計インフラの変遷

1

2013.09.27

Copyright © UNITED, Inc. All Rights Reserved.

自己紹介• @fukata (github: fukata)

• ログ周り, バッチ系

• Fluentd, EMR

• Perl, Ruby, Go

• 食べ歩き, 写真

2

https://twitter.com/fukata

https://twitter.com/fukata

https://github.com/fukata

https://github.com/fukata


アジェンダ

• UNTIED, inc

• AdStir

• 集計インフラの変遷

• TODO

3


UNITED, inc.

4


CocoPPa

5


AdStir

6


SSP

7

自社広告

AdStir公認アドネットワーク他社アドネットワーク

配分比率(%)に応じて抽選

RTB

自社広告

RTB

公認

在庫切れの場合, 再抽選他社

Browser 他アドネットワークAdStir


RTB

8

AdStir DSPs

50ms

DSP A

DSP B

DSP C

オークション

bid

bidbid

bid

Browser


ログ

• 1,000,000,000 レコード / 日

• 800 GB(非圧縮) / 日

9


集計インフラ(2011)

10


集計インフラ(2011)

11

rsync

perlスクリプトで集計

AD(syslog)

AD(syslog)

Batch

mysql


問題点 1

• ログファイルが日別

• ログファイルが単一サーバに集中

• rsyncがこけた時のリカバリーが手動

• 集計がスケールしにくい・・・

12


問題点 2

• 物理サーバ

• 急なリクエスト増加に対応できない

• 一度増やすと簡単にサーバ減らせない

• 回線使用料がランニングコストの1/3

13


集計インフラ(2013.04)

14


集計インフラ(2013.04)

15

fluentd

fluentd

Batch

AD(fluentd)

AD(fluentd)

fluentd

logslogslogs

ELB

perl

logs/YYYY/MM/DD/HH/${tag}.log.0.gz

S3

mysql


問題点 1

• ログファイルが日別=> 時間別に変更

• ログファイルが単一サーバに集中

• rsyncがこけた時のリカバリーが手動=> fluentdで解決！

• 集計がスケールしにくい・・・16


問題点 2• 物理サーバ => EC2

• 急なリクエスト増加に対応できない=> 5分程度で追加・投入可能

• 一度増やすと簡単にサーバ減らせない=> インスタンスをストップするだけ

• 回線使用料がランニングコストの1/3

=> 使った分だけ(従来の1/5くらい)

17


集計インフラ(現在)

18


集計インフラ(現在)

19

fluentd

fluentd

AD(fluentd)

AD(fluentd)

ELB

Cluster

EMR

Batch

logs/YYYY/MM/DD/HH/${tag}.log.0.gz

S3

Cluster

mysql


問題点

• ログファイルが単一サーバに集中=> S3にのみアップすることで解決

• 集計がスケールしにくい・・・=> EMR！！

20


EMR

• すぐに使い始められる

• クラスタ規模も簡単に変更できる

• クラスタのメンテコスト削減

• 1日以上かかっていた集計が2時間弱で終わるようになった

21


JOB FLOWの起動

22

$ elastic-mapreduce --create \--stream \--mapper s3n://BUCKET/path/to/mapper.py \--reducer s3n://BUCKET/path/to/reducer.py \--input s3n://BUCKET/path/to/file1 \--output s3n://BUCKET/path/to/output


デバッグ用オプション

23

$ elastic-mapreduce --create \--keypair KEYPAIR_NAME \--enable-debugging \--log-uri s3n://BUCKET/path/to/debug \--stream \--mapper s3n://BUCKET/path/to/mapper.py \--reducer s3n://BUCKET/path/to/reducer.py \--input s3n://BUCKET/path/to/file1 \--output s3n://BUCKET/path/to/output


JOB FLOWの永続化

24

$ elastic-mapreduce --create \--alive \--keypair KEYPAIR_NAME \--enable-debugging \--log-uri s3n://BUCKET/path/to/debug

$ elastic-mapreduce --jobflow JOBFLOW_ID--stream \--mapper s3n://BUCKET/path/to/mapper.py \--reducer s3n://BUCKET/path/to/reducer.py \--input s3n://BUCKET/path/to/file1 \--output s3n://BUCKET/path/to/output


実際のオプション例

25

$ elastic-mapreduce --create \--name JOBFLOW_NAME--keypair KEYPAIR_NAME \--enable-debugging \--log-uri s3n://BUCKET/path/to/debug \--num-instances 5 \--master-instance-type m1.large \--slave-instance-type c1.medium \--stream \--jobconf stream.recordreader.compression=gzip \--mapper s3n://BUCKET/path/to/mapper.py \--reducer s3n://BUCKET/path/to/reducer.py \--input s3n://BUCKET/path/to/file1 \--output s3n://BUCKET/path/to/output


elastic-mapreduceコマンド

• 結構色んな事が出来る

• オプションが大量にある

• Ruby 1.8系までしか対応してない

26


スクリプトでラップ

27

$ perl script/batch EMR::JobRegister \--func rtb_report \--from ‘2013-09-27 13:00:00’ \--to ‘2013-09-27 14:00:00’


出力

28

elastic-mapreduce --create \--name RtbReport--keypair KEYPAIR_NAME \--enable-debugging \--log-uri s3n://BUCKET/debug/2013/09/27/rtb_report_140000 \--num-instances 5 \--master-instance-type m1.large \--slave-instance-type c1.medium \--stream \--jobconf stream.recordreader.compression=gzip \--mapper s3n://BUCKET/streaming/rtb_report/mapper.py \--reducer s3n://BUCKET/streaming/rtb_report/reducer.py \--input s3n://BUCKET/logs/2013/09/27/13/bid.*, s3n://BUCKET/logs/2013/09/27/13/impression.*, s3n://BUCKET/logs/2013/09/27/13/click.* \--output s3n://BUCKET/output/2013/09/27/rtb_report_140000


TODO

29


TODO• hive

• streamingでmapper/reducerそれぞれを実装するのが怠い

• アドホックなクエリを気軽に実行できる

• ログデータの中間処理• 検証では4倍ほど速くなった

• job監視・可視化

• ステータス、実行時間等

30


Thank you

31


Recruit

• http://united.jp/recruit/

• SSP, RTB配信エンジン, 集計インフラを一緒に作りませんか？（広告に興味なくても大丈夫です）

• go書きたい人

32

Technology

20130927 adstir emr