高速な物体候補領域提案手法 (Fast Object Proposal Methods)

IntroductionObject Proposal Methods

Conclusions

Fast Object Proposal MethodsBING & Edge Boxes

山中高夫

情報理工学科上智大学

文献紹介

2015/11/06 上智大学山中高夫 Fast Object Proposal Methods


Conclusions

文献リスト: Fast Object Proposal Methods

[1] J. Hosang, R. Benenson, and B. Schiele, “How good aredetection proposals, really?,” British Machine Vision Conference,2014.[2] M.-M. Cheng, Z. Zhang, W.-Y. Lin, and P. Torr, “BING:Binarized Normed Gradients for Objectness Estimation at 300fps,”IEEE Conference on Computer Vision and Pattern Recognition,2014.[3] Q. Zhao, Z. Liu, and B. Yin, “Cracking BING and Beyond,”British Machine Vision Conference, 2014.[4] C. L. Zitnick and P. Dollar, “Edge Boxes: Locating ObjectProposals from Edges,” European Conference on Computer Vision,2014.



Conclusions

Object Proposal

背景画像中の物体が存在しそうな場所を boxとして複数提案する（1,000～10,000 boxes程度）できる限り少ない提案 Box数で画像中に存在する全ての物体をカバーするように Boxを提案する手法が望ましい応用例として，物体検出の前処理があげられ，Sliding Windowで多数の窓を調べる代わりに，Object Proposalで提案されたBoxだけ調べることで効率的に物体を検出できる



Conclusions

本発表の目的

目的

Object Proposal Methodsの中でも，リアルタイム処理に適したBING[Cheng, CVPR2014]とEdge Boxes[Zitnick, ECCV2014]の手法を紹介する

adapted from [Hosang, BMVC2014]2015/11/06 上智大学山中高夫 Fast Object Proposal Methods


Conclusions

BING: Binarized Normed GradientsEdge Boxes

Contents

1 Object Proposal MethodsBING: Binarized Normed GradientsEdge Boxes



Conclusions


BINGの概要

画像を様々なサイズ・アスペクト比に変換して勾配振幅を計算→ 8x8画素の Boxの値が対応するWindowの 64次元勾配特徴量（NG Feature, gl）フィルタースコア sl = w · glObjectnessスコア ol = vi · sl + ti（iはWindowのサイズ）Non-Maximal Suppression (NMS)で重複するWindowを除去



Conclusions


BING: 学習方法

Objectnessスコアの計算式sl = w · gl

ol = vi · sl + ti

Stage 1: wの学習線形 SVMを使用する。真の Object Windowを Positiveデータ，ランダムにサンプリングした背景のWindowを Negativeデータに設定して学習する。

Stage 2: vi, ti の学習

線形 SVMを使用する。学習画像の全 Boxに対して，フィルタースコア sl を計算し，NMSで選択された Boxを真の ObjectWindowからラベリングし，線形 SVMの学習データとする。学習は画像サイズ iごとに行う。



Conclusions


BING: フィルタ係数の二値化

wの二値化w ≈ ∑Nw

j=1 β jaj (aj ∈ {−1, 1}64, β j ∈ ℜ)

aj = a+j − a+j (a+j ∈ {0, 1}64)

b ∈ {0, 1}64 とすると，w · b ≈ ∑Nwj=1 β j(2a+j · b − |b|)

[28] Hare, Saffari & Torr, "Efficient online structured output learning forkeypoint-based object tracking," CVPR2012



Conclusions


BING: 勾配特徴量の二値化

勾配特徴量 gl の二値化

gl が 8ビットで表現されているとして，上位 Ng ビットで近似するgl ≈ ∑

Ngk=1 28−kbk,l (bk,l は 64次元のバイナリ特徴量)

フィルタスコア sl = w · gl ≈ ∑Nwj=1 β j ∑

Ngk=1 Cj,k

ただし，Cj,k = 28−k(2a+j · bk,l − |bk,l|)



Conclusions


BING: 評価結果

検出 Window の正誤判定基準バイナリ基底ベクトル数： Nw = 2勾配特徴量二値化時のビット数： Ng = 4

正誤判定基準： IoU = 0.5



Conclusions


BING: 検出例



Conclusions


Contents

1 Object Proposal MethodsBING: Binarized Normed GradientsEdge Boxes



Conclusions


Edge Boxesの概要



Conclusions


Edge Boxes: 手法 (1)

Edge Groups & Affinities与えられた画像の各画素 pに対してエッジ検出を行い，各画素に主方向 θp とエッジ強度 mp を割り当てる。計算を効率的にするため，mp > 0.1の画素をエッジとする。（Fig.1 2段目）8近傍のエッジを連結し，主方向差の和が π/2になるまでエッジをグループ化する。（Fig.1 3段目）2つのエッジグループ si, sj 間の affinityを以下の式で計算する。a(si, sj) = | cos(θi − θij) cos(θj − θij)|γただし，θi, θj: それぞれ si, sj の主方向θij: si, sj の平均位置間の方向γ: 感度を調節するパラメータ（γ = 2）2画素以上離れているエッジグループ間の affinityは 0とする。



Conclusions



wb(si)の計算

Bounding Box bに対して，その中に含まれる全てのエッジグループ si に wb(si) ∈ [0, 1]を割り当てる。- si が Bounding Boxに完全に含まれる場合 · · · wb(si) = 1- 外にある場合や境界につながっている場合 · · · wb(si) = 0境界につながっているエッジグループの集合を Sb とし，si ∈ Sb のエッジに対して wb(si) = 0に設定する。それ以外の si に対して，以下の式で wb(si)を計算する。

wb(si) = 1 − maxT ∏|T|−1j a(tj, tj+1)

ただし，t1 ∈ Sb, t|T| = siつまり，上式は si から境界までの最大 affinityになる経路で計算する。

境界につながる経路がない場合は wb(si) = 1である。



Conclusions



Bounding Box ScoringBounding Boxの Objectness Scoreを以下の式で計算する。

hb =∑i wb(si)mi

2(bw + bh)κ

ただし，mi：エッジグループ si に含む全てのエッジ強度 mp の和bw, bh： Bounding Boxの幅と高さκ：パラメータ（κ = 1.5）Bounding Box中央のエッジは境界に近いエッジより重要性が低いことを考慮する。

hinb = hb −

∑p∈bin mp

2(bw + bh)κ

ただし，bin は内側の領域を表す（bw/2, bh/2の領域）2015/11/06 上智大学山中高夫 Fast Object Proposal Methods


Conclusions



Search StrategyBounding Boxの候補は，位置，スケール，アスペクト比に対する Sliding Windowで設定する。ステップサイズは隣のWindowとの重なりが IoU = αとなるように設定する。- スケールの範囲： σ = 1000画素～画像全体- アスペクト比の範囲： 1/τ ～ τ （τ = 3）



Conclusions



Refinement全ての Sliding Windowに対する Objectness Scoreを計算後，hin

b が閾値以上の Boxに対して，位置を再調整 (refinement)する。

位置の再調整では，閾値以上の Boxの周辺の位置，スケール，アスペクト比を網羅的に調べて最大となる Boxを検出する。位置再調整後，Non-Maximal Suppression (NMS)により IoUが β以上の Boxを除去する。



Conclusions


Edge Boxes: 評価結果（パラメータに対する変化）



Conclusions


Edge Boxes: 評価結果（提案数と IoUに対する変化）



Conclusions


Edge Boxes: 検出例



Conclusions

まとめ

Object Proposalは，物体検出などより複雑な認識処理の前処理として使用されることが想定されているので，できる限り高速な処理が望まれる

BINGや Edge Boxesは非常に高速な処理が可能であり，1枚の処理にかかる時間は BINGが 0.2s，Edge Boxesが0.3sである特に Edge Boxesは高速で精度も高いことが報告されている [Hosang,BMVC2014]ので，様々なアプリケーションに応用が期待できる。 adapted from [Hosang,

BMVC2014]


Science

高速な物体候補領域提案手法 (Fast Object Proposal Methods)