Review: “Real-Time Bidding Algorithms for performance-Based

Display Ad Allocation”Tatsuki Sugio

本論文の概要

A. demand-side, supply-side • 予算投資の最適化、収益（revenue）の最大化

• RTB Exchangeにおいて、imp毎にキャンペーンを割り当てる ➡ リアルタイムでの最適化により実現 ➡ errorの大きさに応じてパラメータを調整

B. 課題 • 変数、制約が多い

➡ 線形計画問題の双対問題の解により実現 • オフライン最適化では粒度が粗い

市場の変化に対して適応的なbidができない

➡ リアルタイムでの最適化による細かい粒度での最適化を実現

C. 方法

• online bidding algorithm frameworkを提案

• キャンペーン毎のbid機能パラメータの更新方法（Waterlevel or Model-based ）として、既存のリソース配分の近似アルゴリズムにinspireされた方法と、bidの勝率の分布をモデル化して式に組み込んだものを提案。

Formulation

A.収益の定義

B. 入札額の決定、調整広告主別

入札額調整の項

これからこの”α”を求めて、最適な”bidprice”を推定します

LR Formulation

• 最適化問題キャンペーンjのi番目のimpチャンスにimpできたか否か（二値）

vij=pij*qij ← (CTR*CPC)

キャンペーンjの目標imp数（予算制約を兼ねる）

スラック条件

• 最適化問題の双対問題

➡ α,βを求めることが目的

計算回数は、O(mn)ではなく、O(m+n)

➡ 全ユニモジュラ行列（totally unimodular matrix, TU 行列）に基づく

参考）http://ja.wikipedia.org/

訪問者数の増加等の経済的係数（1impの最小価格とも）

予算の増加等の経済的係数（最小利益とも）

Real-Time Bidding Algorithm

• 疑似コード

goal-achieved

βの計算

online-Algorithmの適用

Control-theoretic Bid Adjustment

• waterlevel-base update (online algorithm) - コストは考慮しない - PI、PID理論

imp数 error

errorにどれだけ早く反応するかの係数

PID制御理論

PID制御の基本式は、偏差eに比例する出力を出す比例動作（Poportinal action:P 動作）と、 偏差eの積分に比例する出力を出す積分動作（Integral action:I 動作）と、 偏差eの微分に比例する出力を出す微分動作（Derivative action:D 動作）からなる。 通常は、P動作を主体にして、補助的にI動作とD動作を制御対象に応じて適当に組み合わせる。操作量MVは、それぞれの和として、次式の様に表される。

http://www.ni.com/white-paper/3782/ja/

Model-based Bid Adjustment

• システム制御理論に基づくアプローチ(PI:online algorithm) - コスト、入札額考慮

errorに早くどれだけ早く反応するかの係数

理想的な入札価格

理想的な勝率（giに合わせるために必要な勝率）

観測された勝率

入札コスト MLEの分布パラメータ。 winした入札(w)の統計量から導かれる。

a Practical formulation

• コスト項の導入により更に一般化した主問題

• コスト項の導入により更に一般化した双対問題impGroup(placement)iの獲得できそうなimp数

Experiments

• 実験結果の概要 - αの調整によって入札の最適化が行えるかどうか - 異なる最適化手法の導入によりどの程度パフォーマンスが異なるのか - αの初期値がどの程度影響するのか

• 実験条件 - 使用データはディスプレイネットワークのデータ - 平均1日20Mのimpがあるサイトで実験 - 4つのCPCキャンペーンが対象

• データ • timestamp,placement,user,campaign,clicks,impressions • 順にt,i=(placement:user),j,cij(t),xij(t)

lift値 ＝施策を実施しない時の結果

施策を実施した時の結果

http://www.albert2005.co.jp/technology/crm/lift.html

- Experiments 1

• 観測値とシュミレーションによる値のlift

➡ offlineのみよりもonlineでαを調整した方が成績が良い

➡ model-based bid と Waterlevel bidの比較 - offlineでのαの算出は1日分のデータ - α算出後の4日間のデータを比較

➡ online algorithmはoffline algorithmに対して90％以上の成績

➡ 安定性はModel Bidderが良い

- Experiments 2

• hourlyの数値変動（短時間の安定性確認）

➡ Waterlevel Bidderは時間的な安定性が高い

➡ Model Bidderは不安定

- Experiment 3

• online algorithm(Waterlevel Bidder)におけるαの初期値の影響

➡初期値の変動はほとんどない

しかし、キャンペーン予算の制約が厳しければ影響があるかも…

• 予算制約（厳）

➡ 予算制約が厳しければ、

初期値の変動はある。

offline最適化したαの成績が良い。

- Experiments 4

Conclusion

• 結論 - シンプルだが理論的背景のあるonline algorithmを提案

- PID理論の応用可能性 - 他の種類のモデルも考慮すれば、更に改良が出来るのではないか