1

動画像処理(Image sequence processing)

白井良明

shirai@ci.ritsumei.ac.jp@ jpwww.i.ci.ritsumei.ac.jp/~shirai/

動きの検出

時間差分法時刻 tー１の画像 時刻 t の画像 結果画像

背景差分法背景画像 対象画像 結果画像背景画像 対象画像 結果画像

2

人の追跡の条件

• 人– 複数か、 人の重なり、 物体による隠れ、 服の色の制限複数か、 人の重なり、 物体による隠れ、 服の色の制限

• 動き– 直線移動か、 面内運動か、 関節は動くか

• 背景– 一様テクスチャか、 距離の連続性、 時間的変化

• カメラ• カメラ– 固定か、 複数か

• タスク– 複数人の追跡か、 オンラインか、 姿勢も必要か

複数歩行者の検出と追跡

3

人の追跡の条件

• 人– 複数、 人の重なり、 物体による隠れ、 服の色自由複数、 人の重なり、 物体による隠れ、 服の色自由

• 動き– 直線移動、 面内運動、 関節の動き無視 （遠いので）

• 背景– 一様テクスチャでない、 距離不連続、 時間的変化なし

• カメラ• カメラ– 固定、 1つ

• タスク– 全員を追跡、 オフライン、 追跡だけ

背景の生成と背景差分

画像系列から生成した画像 背景差分画像

{ }),,(

,,max),( 21212121

bgrbbggrrD

=

−−−=

ccc

4

Process

Image sequence

1. Extracting persons by background subtractionat each frame

2. Tracking extracted persons by template matching forward and backward

歩行者の検出

5

実験結果

サッカーの試合で選手の検出

6

単独選手の追跡

追跡の問題点

• 領域の欠け • 領域の結合

7

重なる選手の追跡

高さで特定 色で特定高さで特定 色で特定

隠蔽検出

ボールの検出

静止状態 運動状態

8

ボールの追跡

放射状に領域探索

ボールボ ル

ボールの追跡結果

9

からサッカー中継画像の解析

（パン、チルト、ズームあり）

カメラ姿勢の推定

画像座標

世界座標

最初に、対応点からカメラ位置を推定

姿勢は常に推定

10

ボールの接地点ボールがバウンドした点

曲率が大きい

ボールがグラウンドを転がっている点ボ ルがグラウンドを転がっている点

直線フィッティング

選手がボールを保持している点

ボールの運動が選手と重なった時に変わったかどうか

ボールらしきものの抽出

分離度フィルタの適用

ボールと紛らわしい白シャツや白靴下を除く

各経路候補において領域を限定して適用 分離度フィルタ

白 白靴白シャツ白靴下の除去

領域の限定W1

R1

W1 R1

11

ボールの移動軌跡の作成

ボールらしきものをクラスタリングしセグメントに分割

時空間座標上でInからOutまでを折れ線でつなぐ

frame Out

セグメントの各組み合わせにおいて軌跡を作成

経路候補の各ノードを全て経由するようにセグメントを追加

ボールの移動軌跡

xIny IN P1 P2 P3 OUTL1L1

ボールの移動経路の推定軌跡上のボールらしきものの分離度の和

軌跡長評価値

22.244.00

12

シーンの認識-ゴールシーン-

ゴールの領域の中で接地している点が観測された

シーンの認識-惜しいシーン-

ボールを持った攻撃選手が相手ペナルティエリアに入った

二人以上の攻撃選手がペナルティエリアに入った

13

シーン認識-ボール支配率-

チーム１（ー）

チーム２（ー）

本手法 0.22 0.78正解 0.34 0.66

人の移動の監視システム

原画像 差分画像

• 前景と見なされてしまう影を色を用いて除去• ハイライトで色が消える場合にも対処• 肌色を用いて歩行者の顔の位置を推定

14

人の追跡の条件

• 人– 複数、 人の重なり、 物体による隠れなし、 服の色自由複数、 人の重なり、 物体による隠れなし、 服の色自由

• 動き– 直線移動、 面内運動でない、 関節の動きあり

• 背景– 一様テクスチャでない、 距離不連続、 時間的変化なし

• カメラ• カメラ– 固定、 1つ

• タスク– 全員を追跡、 オンライン、 追跡だけ

• 肌色Sk、背景Ba、影Sh、その他Otが画素値 を取る確率

肌色、背景、影、その他の確率

),,( BGRCr

:)|Pr(

:)|Pr(

:)|Pr(

BapC

ShpC

SkpC

i

i

i

∈

∈

∈

正規分布より求める

実験で求める

実験で求める

rr

rr

rr

)(),,(:)|Pr(

)|(

BGRVbgrOtpC

p

i

i

++

∈

＝ここで明度

の範囲で一様分布全

規分布rr

15

事後確率（Bayesの定理）

• 画素値 がA（A=Sk,Ba,Sh,Ot)である事後確率をベイズの定理で求める

),,( BGRCr

ある事後確率をベイズの定理で求める。

),,,()Pr(

)Pr()|Pr()|Pr(

OtShBaSkAC

ApApCCAp iii

=

∈∈=∈

　

rrrr

rr

),,,(

影の確率

• 床（壁）の色は一様で、十分な広さがある。• 実際に床、壁を撮影して確率を求める。実 、

16

Templates (shape of a typical person)

HeadHead

Upper-body

Bottom point of a template

Lower-body

Experimental Result of Posteriori Probability

Skin-colorShadowOther foregroundsBackground

17

歩行者のシルエットモデル

評価式

headiiihead MpCOtpCSkpf ∈∈+∈= )(,)|Pr(5.0)|Pr( rrrrr

lowerupperhead

loweriiilower

upperiiiupper

ffffMpCOtpCSkpf

MpCOtpCSkpf

××=∈∈+∈=

∈∈+∈=

)(,)|Pr()|Pr(5.0

)(,)|Pr()|Pr(5.0rrrrr

rrrrr

実験結果

18

Experimental result (toward)

Experimental result (away)

19

Experimental result (cross)

Optical Flow

y

Apparent Motion

x

20

ブロックマッチングによる動き検出と画像圧縮への応用

第(ｔー１)フレーム第(ｔ １)フレ ム

第 ｔ フレーム

領域照合の評価関数

)(xf)(xg

22

2

22 ))(())((

))()()((

gf

fg

xx

x

gxgfxf

gxgfxf

σσ

σρ =

−−

−−=

∑∑∑相関係数

SSD

左画像

)(xg右画像:, gf 領域内の

平均明度

∑ −=x

xgxfSSD 2))()((

∑ −∇=x

xgxfGMSAD |))()((*| 2

∑ −=x

xgxfSAD |)()(|

SSD （Sum of Squared Difference）

SAD (Sum of Absolute Difference）

Modified SSD

21

フローが一意に求められる場合

• 連立方程式のランクが２であればよい。

∫∫∂∂⎞

⎜⎛ ∂ III 2

∫∫

∫∫

⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

∂∂

∂∂

∂∂

∂∂

⎠⎞

⎜⎝⎛∂∂

dxdyyIwdxdy

yI

xIw

dxdyyI

xIwdxdy

xIw

2の２つの固有値の比が１に近いほどよい

Harrisコーナーオペレータナ オ タ

( )15.0~0trdet)( 222121 =⋅−=+−= κκλλκλλM

コーナーの場所で大きくなる

オプティカルフロー

• 時間的に連続する２画像• 画面内における各画素の運動を求める各 動

u(x,y), v(x,y)

• 勾配法とブロックマッチング法–ブロックマッチングはＳＳＤ／ＳＡＤによる対応付けけ

⇒ 通常のステレオと同様

– 2枚の画像の時刻が近接しているときは勾配法が使える

22

時空間拘束式• 同じ点は時間がたっても同じ明るさと仮定する

tyxIdttdyydxxI =+++ ),,(),,(

t+dt

(dx,dy)

dttIdy

yIdx

xItyxIdttdyydxxI

yyy

∂∂

+∂∂

+∂∂

+≈+++ ),,(),,(

),,(),,(

0=∂∂

+∂∂

+∂∂ dt

tIdy

yIdx

xI

t

t+dt

0=∂∂

+∂∂

+∂∂

tIv

yIu

xI

窓問題（aperture problem）

0=∂∂

+∂∂

+∂∂

tIv

yIu

xI ？

時空間拘束式は各画素に1本のみ未知数は各画素につきu,vの２つ

一般には解くことができない

狭い領域だけではフローが決まらないが，広い領域を見れば決められることがある

23

正則化（regularization）• Horn & Schunck(1981)• ２つの仮定

時空間拘束式を満たす 0=∂

+∂

+∂ IvIuI

–時空間拘束式を満たす–近傍の画素は似たフローを持ちその変化は滑らかである

同時には満たせないので，残差の重み付け和を最

0=∂

+∂

+∂ t

vy

ux

02222

=⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+⎟⎠⎞

⎜⎝⎛∂∂

+⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+⎟⎠⎞

⎜⎝⎛∂∂

yv

xv

yu

xu

小化する解をみつける（正則化）

dxdyyv

xv

yu

xu

tIv

yIu

xI

∫ ⎥⎥⎦

⎤

⎢⎢⎣

⎡

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+⎟⎠⎞

⎜⎝⎛∂∂

+⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+⎟⎠⎞

⎜⎝⎛∂∂

+⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+∂∂

+∂∂

22222

λ ⇒min

重み付け連立方程式• Lucas & Kanade(1992)• 近傍でu,vは同じと仮定する

– すると擬似的に拘束式が複数本えられたことになるので連立してとける！→ 残差の最小二乗法

– ただし，ガウス窓を設けて，注目画素に近いほど大きな重みをつけて最小二乗法をとく．

∫ →⎟⎞

⎜⎜⎛ ∂

+∂

+∂ min),(

2

dxdyIvIuIyxw∫⎠

⎜⎝ ∂∂∂

),(,,,,,,

ytyx

ytyxtyxtyx

24

重み付け連立方程式の解

dxdytIv

yIu

xIyxwS

tyxtyxtyx∫ ⎟

⎟

⎠

⎞

⎜⎜

⎝

⎛

∂∂

+∂∂

+∂∂

=

2

,,,,,,

),(

IIIII

dxdytIv

yIu

xI

yIw

vS

dxdytIv

yIu

xI

xIw

uS

∫∫∫

∫

∫

∂∂∂∂⎞⎛ ∂

=⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+∂∂

+∂∂

∂∂

=∂∂

=⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+∂∂

+∂∂

∂∂

=∂∂

2

0

0

dxdytI

yIwdxdy

yIwvdxdy

yI

xIwu

dxdytI

xIwdxdy

yI

xIwvdxdy

xIwu

∫∫∫

∫∫∫

∂∂

∂∂

−=⎟⎟⎠

⎞⎜⎜⎝

⎛∂∂

+∂∂

∂∂

∂∂

∂∂

−=∂∂

∂∂

+⎠⎞

⎜⎝⎛∂∂

2

OpenCVによる実装

• 画像の読み書き，キャプチャ，表示，典型的なＣＶの処理を実装したライブラリソフトウェアなＣＶの処理を実装したライブラリソフトウェア

– Win32，Linuxなどにおける実装が配布されている

– http://sourceforge.net/projects/opencvlibrary/– http://opencv.jp/ ->日本語ドキュメント

実装もある– ＨＳ，ＬＫ，ＢＭの実装もある

25

勾配法によるオプティカルフロー

時刻t 時刻t＋１

ＨＳ ＬＫ

Optical Flow by Gradient Method

• Constraint equation (Horn and Schunk)

),,(),,( dttdyydxxftyxf +++=

f b i h f i l

0=+⋅+⋅ tyx fvfuf

f : brightness of a pixel subscription x, y, t : partial differentiation (u,v) : optical flow vector

26

Generalized gradient method

• Applying two filters0)*()*()*( =+⋅+⋅ tyx fgvfgufg0)*()*()*( =+⋅+⋅ tyx fhvfhufh

g, h : edge selective filter* : convolutionv

uFlow vector

オプティカルフローの例色：方向、 長さ：速度

27

オプティカルフローを用いた追跡

平均フロー前フレームの

前フレームの領域

予測ウインドウ

3平均フローに似たフロー

2フロー

平均フロ

平均フローに似たフロー領域4

前フレームの平均フロー

1

探索範囲

平均フロ に似たフロ 領域

領域内の平均フロー

• 屋外シーンでの侵入者監視定時間直線運動する物体 侵入者

オプティカルフローに基づく実時間動物体検出

• 一定時間直線運動する物体＝侵入者

入力画像シーン画像

28

直線運動物体の検出（１）

原画像 オプティカルフロー

直線運動物体の検出（２）

フロー一様領域 投票結果

物体領域の抽出結果

追跡結果

29

Integration of Optical Flow and depth

Stereo image sequence

T t Td )(observation:

t-1

Left Right

IntegrationOpticalFlow

Target Tiiii dvux )(=

t ),( vu

Depthd

ベイズの定理に基づく認識

o = ( u, v, d )： 点ｐ における観測ベクトル( )

： 点ｐ が目標 Ｔに属するTp ∈

)|( ii TP op ∈)(

)()|(

i

iii

PTPTP

oppo ∈∈

=

事後確率事前確率

i の尤度o

30

ベイズの定理に基づく判定

)()|( TPTP ppo ∈∈目標物体確率事前確率

)|( ii TP op ∈)(

)()|(

i

iii

PTPTP

oppo ∈∈

=

観測の尤度 )|( Tp ii ∈po目標物体の各ピクセルで

が観測されるo

io o観測値

ioμ

ioΣが観測される確率密度分布io

事前確率

Image予測の誤差

)( TP i ∈p

事前確率

前フレ ムの

予測の誤差

(1)前フレームの目標物体の速度の推定誤差

(2)等速運動の仮定からの誤差

),( vu μμ

前フレームの目標物体確率

仮定からの誤差（加速度運動による）

31

Experiment

u -0.20.6 2.1 -0.1ud 4.2-1.3

0.20.6

-3.0-3.4

2.1 0.1

実時間追跡システム

Motor Command

Camera Head Controller

DSPCamera Head S tatus

S tereo Im ages

Active Camera HeadActive Camera Head

Camera Head Controller

Stereo Image

MotorCommand

MotorStatus

DSP

MonitorRealtime Image Processor

Result of Tracking

Pro-gram

Result of Tracking

Host ComputerRealtime Image Processor Monitor

HostComputer

Tracking Result Program

32

画像処理装置

Video Board

Stereo Image

Optical Flow5 DSPs

Disparity3 DSPs

C H d

Data Transfer

Camera HeadControllerTracking

Output Image

Video Board

Image Synthesis

オプティカルフローや距離情報を用いた追跡手法の問題点

• フローも距離情報もコントラストのない領域 部 得 れな域の内部では得られない

33

明度一様領域

• 勾配 fx とfy が小さいためにフローが計算されない点の集合い点の集合

入力画像 明度一様領域

0=+⋅+⋅ tyx fvfuf

フローと明度一様領域の統合

フロー一様領域と明度一様領域のどちらか片方しか得られない場合

34

フローと明度一様領域の統合

フローと明度一様領域のどちらかが誤りの場合どちらかが誤りの場合

信頼性のある領域を用いた他物体の領域の削除

• 信頼性のある領域（多フレーム追跡された領域）よりも外側にある領域を他物体の領域とする

削除

35

フロー均一領域を用いた追跡例

複数カメラに拡張

obstacletarget

another person

informationinformation

36

Tracking Result

Realtime Tracking by Multiple Cameras which Takes Discrete Pan

Angles

37

Realtime Processing by PC Cluster

camera１ camera２ camera３ camera４

PCcluster１

PCcluster２

PCcluster３

PCcluster４

Collect results and send information to each CPU

Experiment of Multiple Person Tracking (Realtime)

38

Another Problem: 3-D Rotation

Image

Hard to discriminate with translation

Another Sensor Information

Image

sW

Bp

observation at each point: ,)( Ti

Tii dvo =

Integrating all information

,sW Bp

39

カルマンフィルタによる状態推定

II ⎤⎡システム

連続する ムでは

TTT ][ qqx &=

uxIOII

x +⎥⎦

⎤⎢⎣

⎡=+ tt 1

観測

[ ] ttBst W wxhoopy +== )(T2

T1

T TL

(連続するフレームでは等速運動と仮定)

肩幅 位置

線形化

ttttt

t

wxhxxxxhy

xx

++−∂

∂==

)~()~()(~

Creating New Candidate

New candidate

Shoulder width

Body orientation

40

Experiment of 3-D rotation

Experiment with two persons

Z[m]

end

A'

B

B'

B''

5Z[m]

start

A

2

0-1 1 X[m]

41

北川源四郎統計数理研究所

Particle Filter の例

42

43

単純な Particle Filter の欠点

点の対応付けに基づく三次元再構成

• 時系列にわたり複数点の対応付けができたら各カメラの外部パラメータと点の奥行きが求められる

• 行列の分解に基づく直観的な手法がある⇒ 因子分解法（Tomasi & Kanade 92)

• 平行投影で，物体が一つの場合からはじまり，透視投影，複数物体，部分的な隠れに拡張

44

因子分解法による再構成の例

因子分解法• 平行射影，物体は一つ,• 特徴点個 n，視点箇所 m

⎟⎟⎞

⎜⎜⎜⎛⎟⎠

⎞⎜⎜⎝

⎛=⎟

⎠

⎞⎜⎜⎝

⎛i

izjyjxjji Y

X

eeeeee

vu )(1)(1)(1

3次元空間中の点 i を画⎠

⎜⎝⎠⎝⎠⎝

izjyjxjji Z

eeev )(2)(2)(2面 j で見たときの投影点

YYXXeee

eeevvuu

W n

nvvv

uuu

n

n

ZYX

ZYX

⎟⎟⎞

⎜⎜⎜⎛⎟⎟⎟⎞

⎜⎜⎜⎜⎜⎛

=⎟⎟⎟⎞

⎜⎜⎜⎜⎛

= K

L

MMMMOM

L

1

1111

111

)(1)(1)(1

)(1)(1)(1

MS

ZZeeeeee

vvuu n

vvv

uuu

mnm

mnm

ZmYmXm

ZmYmXm

=

⎠⎜⎝⎟⎟⎠

⎜⎜⎜⎜

⎝⎟⎟

⎠⎜⎜⎜

⎝

L

L1

1

1

)()()(

)()()(

m x 3

3 x n

m x n

行列Wをrank3の行列積に分解する問題に帰着！

45

特異値分解（SVD: Singular Value Decomposition）

TVUW Σ=Wが縦長のとき）

Wが横長のとき）

U:列直交行列Σ:対角行列V:直交行列

＝

横長 き）

U:直交行列 Σ:対角行列 V:列直交行列

＝

特異値分解（SVD: Singular Value Decomposition）

U:直交行列 Σ:対角行列 V:列直交行列

＝

σ

σ

ここを０にしてしまう

３

３３

( ) TTT VUVVUU

W 111212

1

2

1

00

Σ≈⎟⎟⎠

⎞⎜⎜⎝

⎛Σ

Σ⎟⎟⎠

⎞⎜⎜⎝

⎛=

Ｗをrank3で近似した最小二乗解

46

因子分解法における制約条件MSVUVUW TT =ΣΣ=Σ≈ ))(( 12

1

121

11111として分解できる

しかし

SMSAMASMAAMS ′′=== −− ))(( 11

Aは正則なら何でもいいのでいくらでも解がある

各画面の 軸と 軸の長さは１

画面１のu軸は(1,0,0),v軸は(0,1,0)

1222 ++各画面のu軸とv軸の長さは１

各画面のu軸とv軸は直交

1)()()( =++ zjkyjkxjk eee

0)(2)(1)(2)(1)(2)(1 =++ zjzjyjyjxjxj eeeeee

因子分解法による再構成の例(再掲）