World wide ssp delivery system

© Geniee, Inc.

世界分散配信システムとレポーティングシステム刷新のお話

2017/10/25

CTO 篠塚 英伸

© Geniee, Inc.

Self introduction

2

Name篠塚英伸

Life workTennis!! Tennis!! Tennis!!

Geniee CTO・SSP、DSP、DMP・インフラ・海外事業

複数データセンターで配信を行う為のアーキテクチャについてお話をします

+レポートの話もします

10ヶ国以上へサービス提供1万媒体以上のメディアで利用

Japan

China

Thailand

Malaysia

Singapore

Indonesia

Vietnam

レイテンシ

収益

ブラウザの近くにデータセンターを置こう

Japan

China

Thailand

Malaysia Singapore

Indonesia

Vietnam

Genieeのアーキテクチャについて

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計管理画面

SSP

DB

ブラウザ SSP

DB

10万QPS

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …数十万入札/sec

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

15TB/日

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計管理画面

ブラウザの近くにデータセンターを置こう

Japan

China

Thailand

Malaysia Singapore

Indonesia

Vietnam

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

管理画面

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

ブラウザ

管理画面

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

ブラウザ

管理画面

管理画面

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

ブラウザ

レイテンシ的に X

© Geniee, Inc.

海を越えられないと想定したもの

リアルタイムのトラフィック

ログ

19

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

SG

DB

ブラウザ

DBをレプリケーションする

管理画面

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

SG

DB

SSPブラウザ

現地DSP 1

現地DSP …

DSPも現地でつなぐ

管理画面

ブラウザ SSP

DB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

SG

DB

SSPブラウザ

現地DSP 1

現地DSP …

集計

ログ

管理画面

ブラウザ SSP

DSP 1

DSP 2

DSP …

ログ

集計

Japan

SG

SSPブラウザ

現地DSP 1

現地DSP …

集計

ログDB

DB

このレプリケーションがムリ

© Geniee, Inc.

海を越えられないもの

リアルタイムのトラフィック

ログ

DBのレプリケーション

24

© Geniee, Inc.

主なDBの中身

配信設定

レポート

25

レポートがでかい更新頻度が高い= Binlogが巨大になる

わけてしまえ

ブラウザ SSP

CoreDB

DSP 1

DSP 2

DSP …

ログ

集計

Japan

SG

CoreDB

SSPブラウザ

現地DSP 1

現地DSP …

集計

ログ

reportDB

OK

管理画面

Report DB がでかい

© Geniee, Inc.

Report DB の特徴

Dimension•時間毎•Zone毎•OS毎•地域毎•・・・

Measure• Imps•Click•CV•Revenue•・・・

30

© Geniee, Inc.

Report DB の特徴

Dimension•時間毎•Zone毎•OS毎•地域毎•・・・

Measure• Imps•Click•CV•Revenue•・・・

31

Dimensionのかけ算でrecord数が決まる

© Geniee, Inc.

Report DB の特徴

Dimension•時間毎•Zone毎•OS毎•地域毎•・・・

Measure• Imps•Click•CV•Revenue•・・・

32

Dimensionのかけ算でrecord数が決まる

24 x 700 x 4 x 数十万 x …

© Geniee, Inc.

Report DB の特徴

Dimension•時間毎•Zone毎•OS毎•地域毎•・・・

Measure• Imps•Click•CV•Revenue•・・・

33

Dimensionのかけ算でrecord数が決まる

24 x 700 x 4 x 数十万 x …

20億record 4TB とかになる

MySQLじゃむりぽ

© Geniee, Inc.

What is ClickHouse

35

ロシアの検索エンジン会社Yandex製

YandexやCERNのプロダクションで動いている

速度が自慢のカラムナDB

SG

Japan

ブラウザ

CoreDB

DSP 1

DSP 2

DSP …

CoreDB

SSPブラウザ

現地DSP 1

現地DSP …

集計

ログ

SSP

ログ

集計reportDB

本当に1000倍速い容量も1/10以下

管理画面

次のチャレンジ

SG

Japan

ブラウザ

CoreDB

DSP 1

DSP 2

DSP …

CoreDB

SSPブラウザ

現地DSP 1

現地DSP …

集計

ログ

SSP

ログ

集計reportDB

管理画面

SG

Japan

ブラウザ

CoreDB

DSP 1

DSP 2

DSP …

CoreDB

SSPブラウザ

現地DSP 1

現地DSP …

集計

ログ

SSP

ログ

集計reportDB

配信から10秒でReportを反映!!

管理画面

SG

Japan

ブラウザ

CoreDB

DSP 1

DSP 2

DSP …

CoreDB

SSPブラウザ

現地DSP 1

現地DSP …

集計

ログ

SSP

ログ

集計reportDB

Streaming集計はとても大変

管理画面

© Geniee, Inc.

まとめ

海を越えられないもの•リアルタイムのトラフィック

•ログ•DBのレプリケーション•実は、他にも色々あります

レポートには、Clickhouse良いです

ストリーム集計大変だけど面白い

41

© Geniee, Inc.

まとめ

海を越えられないもの•リアルタイムのトラフィック

•ログ•DBのレプリケーション•実は、他にも色々あります

レポートには、Clickhouse良いです

ストリーム集計大変だけど面白い

42

広域高速高トラフィック

© Geniee, Inc.

まとめ

海を越えられないもの•リアルタイムのトラフィック

•ログ•DBのレプリケーション•実は、他にも色々あります

レポートには、Clickhouse良いです

ストリーム集計大変だけど面白い

43

広域高速高トラフィック

な3Kにタックルする仲間募集!!

ありがとうございました!!