Determining Optical Flow

はじめに

• オプティカルフローとは画像内の明るさのパターンの動きの見かけの速さの分布

• オプティカルフローは物体の動きのよって変化するため、オプティカルフローより速度に関する情報を得ることができる

オプティカルフローの計算における問題点

• それぞれの点における速度場は二つの要素を持つ（ 2次元）

• それぞれの点における明るさの変化は1次元– 明るさだけでは求めることができない–その他の拘束の導入が必要

物体の動きとオプティカルフローの関係

• オプティカルフローから 3次元世界における物体の速度との対応は必ずしも明らかではない– 回転する球

• 明るさの濃淡が変化しない– 鏡面反射体

• それ自身ではなく映っている物の速度を表す

• ここでは見かけの速度を表面の動きと同一視する

検討する問題領域

• 物体の表面は平坦• ある点の明るさは反射率に比例• 反射率は連続的に変化

– 明るさが微分可能

明るさの分布の変化は対応する点の変化によってのみ決まる

拘束（ constraints）

• 微少時間で明るさは変化しない

Ｅ（ｘ，ｙ，ｔ）：点（ｘ，ｙ）、時間ｔにおける明るさ

0dt

dE

t

Et

y

Ey

x

ExtyxE

ttyyxxEtyxE

),,(

),,(),,(

)0tlimit (0

0)(

t

E

t

y

y

E

t

x

x

E

tOt

E

y

E

t

y

x

E

t

x

•ここでＥ（ｘ，ｙ，ｔ）を差分で表す

•δｔで割る

0 tyx EvEuE

tyx EvuEE ),(),(

t

EE

y

EE

x

EE

dt

dyv

dt

dxu

tyx

,,

,

•最終的に明るさに関する拘束より以下の式を得る

Constraint Line

u

v

(Ex,Ey)

constraint line速度空間

Smoothness Constraint

• 近くの点は似たような速度を持つ

• ほとんどの場所において明るさの分布の速度は連続的に変化する

拘束を表現する方法

• 速度の傾きの自乗和（下式）を最小化

• ラプラシアンの自乗の和（下式）の最小化

–ここでは上の式を用いる

2222 and yv

xv

yu

xu

222222 and yv

xv

yu

xu vu

偏導関数の推定

• 次のような立方体の中心におけるＥｘ，Ｅｙ，Ｅｔを考える。

ｘ

ｙｔ

明るさ空間

偏導関数の推定

j+1

i

i+1

j

k+1k }

{

}

{

}

{

,1,11,1,1,1,1,1,

,,11,,1,,1,,41

1,1,1,1,11,,1,,1

,1,,1,1,,,,141

1,,11,1,11,,1,1,

,,1,1,1,,,1,41

kjikjikjikji

kjikjikjikjit

kjikjikjikji

kjikjikjikjiy

kjikjikjikji

kjikjikjikjix

EEEE

EEEEE

EEEE

EEEEE

EEEE

EEEEE

ｘｙｔ

速度のラプラシアン• 速度についてのラプラシアン（∇ 2u, ∇2v）は次の近似式より求める

• 速度の平均値 ui,j,k,vi,j,kは隣接点の速度に下の重みをかけた総和

)(and)( ,,,,2

,,,,2

kjikjikjikji vvvuuu

1/12 1/6 1/12

1/6 -1 1/6

1/12 1/6 1/12

i+1

i

i-1

j+1 j-1j

誤差の最小化

• 明るさの変化に関する拘束

• Smoothness Constraint

• この二つを最小化するεbと εc

2の相対的な重みはどうするか？

tyxb EvEuE

22222yv

xv

yu

xu

c

誤差の最小化

• 最小化するべき誤差 ε2を次式で定義

この値を最小化するような速度 u,vを求める

dxdycb )( 2222

誤差の最小化

• 変分法とラプラシアンの近似を用いる

][))((

][))((222

222

tyxyyx

tyxxyx

EvEuEEvvEE

EvEuEEuuEE

誤差の最小化

u

v

(Ex,Ey)

constraint line (u,v)

(u,v)

反復計算

• 方程式をそのまま解くとコストが非常に大きくなる– 導関数（ Ex,Ey,Et）と平均値（ u,v）から下の式を用いた反復計算により求める

)/(][

)/(][

2221

2221

yxt

n

y

n

xy

nn

yxt

n

y

n

xx

nn

EEEvEuEEvv

EEEvEuEEuu

一様（明るさが同じ）な領域の充填

• 明るさの傾き（ Ex,Ey）が 0のとき、速度（ un+1,vn+1）は平均値（ un ,vn）と等しくなる

– 一様な領域の速度 u,vは反復計算によって領域の境界から順に充填されていく

– 反復回数は充填される領域の幅（ピクセル数）よりも多くなければならない

Iterative Scheme

• 1 time stepに 1回の繰り返し計算を行う– 単位時間に処理できる画像数が増える– 誤差が相殺される（傾向にある）

– 1 time stepの間に安定した値が得られるまで繰り返す方法に比べより正確で、また収束も早い

結果１

回転（ 2.8度 /time step） 収縮（ 5％ /time step）

•すべての点における速度のラプラシアンが 0（画像全体が回転 or収縮している）である物体の移動についてのオプティカルフローの計算結果（ 32time step後）

•ほぼ正確な値が計算できる

結果２

回転（角速度は距離に反比例） 収縮（収縮率は距離に反比例）

•特異点（回転 or収縮の中心）において速度のラプラシアンが 0でない移動についてのオプティカルフローの計算結果（ 32time step後）

•特異点付近で大きなエラーが起きる

結果３

回転する球

（ 5度 /time step, 反復計算にて計算）

•境界において速度のラプラシアンが 0でない移動についてのオプティカルフローの計算結果（ 32time step後）

•境界付近で大きなエラーが起きる

回転する球

（ 5度 /time step, 正確なフロー）

まとめ

• 明るさが一つの拘束しか与えないためその他の拘束を導入し、二つの成分を持つオプティカルフローを計算する

• ノイズや量子化によって誤差が生じやすい