1
動画像処理(Image sequence processing)
白井良明
[email protected]@ jpwww.i.ci.ritsumei.ac.jp/~shirai/
動きの検出
時間差分法時刻 tー1の画像 時刻 t の画像 結果画像
背景差分法背景画像 対象画像 結果画像背景画像 対象画像 結果画像
2
人の追跡の条件
• 人– 複数か、 人の重なり、 物体による隠れ、 服の色の制限複数か、 人の重なり、 物体による隠れ、 服の色の制限
• 動き– 直線移動か、 面内運動か、 関節は動くか
• 背景– 一様テクスチャか、 距離の連続性、 時間的変化
• カメラ• カメラ– 固定か、 複数か
• タスク– 複数人の追跡か、 オンラインか、 姿勢も必要か
複数歩行者の検出と追跡
3
人の追跡の条件
• 人– 複数、 人の重なり、 物体による隠れ、 服の色自由複数、 人の重なり、 物体による隠れ、 服の色自由
• 動き– 直線移動、 面内運動、 関節の動き無視 (遠いので)
• 背景– 一様テクスチャでない、 距離不連続、 時間的変化なし
• カメラ• カメラ– 固定、 1つ
• タスク– 全員を追跡、 オフライン、 追跡だけ
背景の生成と背景差分
画像系列から生成した画像 背景差分画像
{ }),,(
,,max),( 21212121
bgrbbggrrD
=
−−−=
ccc
4
Process
Image sequence
1. Extracting persons by background subtractionat each frame
2. Tracking extracted persons by template matching forward and backward
歩行者の検出
5
実験結果
サッカーの試合で選手の検出
6
単独選手の追跡
追跡の問題点
• 領域の欠け • 領域の結合
7
重なる選手の追跡
高さで特定 色で特定高さで特定 色で特定
隠蔽検出
ボールの検出
静止状態 運動状態
8
ボールの追跡
放射状に領域探索
ボールボ ル
ボールの追跡結果
9
からサッカー中継画像の解析
(パン、チルト、ズームあり)
カメラ姿勢の推定
画像座標
世界座標
最初に、対応点からカメラ位置を推定
姿勢は常に推定
10
ボールの接地点ボールがバウンドした点
曲率が大きい
ボールがグラウンドを転がっている点ボ ルがグラウンドを転がっている点
直線フィッティング
選手がボールを保持している点
ボールの運動が選手と重なった時に変わったかどうか
ボールらしきものの抽出
分離度フィルタの適用
ボールと紛らわしい白シャツや白靴下を除く
各経路候補において領域を限定して適用 分離度フィルタ
白 白靴白シャツ白靴下の除去
領域の限定W1
R1
W1 R1
11
ボールの移動軌跡の作成
ボールらしきものをクラスタリングしセグメントに分割
時空間座標上でInからOutまでを折れ線でつなぐ
frame Out
セグメントの各組み合わせにおいて軌跡を作成
経路候補の各ノードを全て経由するようにセグメントを追加
ボールの移動軌跡
xIny IN P1 P2 P3 OUTL1L1
ボールの移動経路の推定軌跡上のボールらしきものの分離度の和
軌跡長評価値
22.244.00
12
シーンの認識-ゴールシーン-
ゴールの領域の中で接地している点が観測された
シーンの認識-惜しいシーン-
ボールを持った攻撃選手が相手ペナルティエリアに入った
二人以上の攻撃選手がペナルティエリアに入った
13
シーン認識-ボール支配率-
チーム1(ー)
チーム2(ー)
本手法 0.22 0.78正解 0.34 0.66
人の移動の監視システム
原画像 差分画像
• 前景と見なされてしまう影を色を用いて除去• ハイライトで色が消える場合にも対処• 肌色を用いて歩行者の顔の位置を推定
14
人の追跡の条件
• 人– 複数、 人の重なり、 物体による隠れなし、 服の色自由複数、 人の重なり、 物体による隠れなし、 服の色自由
• 動き– 直線移動、 面内運動でない、 関節の動きあり
• 背景– 一様テクスチャでない、 距離不連続、 時間的変化なし
• カメラ• カメラ– 固定、 1つ
• タスク– 全員を追跡、 オンライン、 追跡だけ
• 肌色Sk、背景Ba、影Sh、その他Otが画素値 を取る確率
肌色、背景、影、その他の確率
),,( BGRCr
:)|Pr(
:)|Pr(
:)|Pr(
BapC
ShpC
SkpC
i
i
i
∈
∈
∈
正規分布より求める
実験で求める
実験で求める
rr
rr
rr
)(),,(:)|Pr(
)|(
BGRVbgrOtpC
p
i
i
++
∈
=ここで明度
の範囲で一様分布全
規分布rr
15
事後確率(Bayesの定理)
• 画素値 がA(A=Sk,Ba,Sh,Ot)である事後確率をベイズの定理で求める
),,( BGRCr
ある事後確率をベイズの定理で求める。
),,,()Pr(
)Pr()|Pr()|Pr(
OtShBaSkAC
ApApCCAp iii
=
∈∈=∈
rrrr
rr
),,,(
影の確率
• 床(壁)の色は一様で、十分な広さがある。• 実際に床、壁を撮影して確率を求める。実 、
16
Templates (shape of a typical person)
HeadHead
Upper-body
Bottom point of a template
Lower-body
Experimental Result of Posteriori Probability
Skin-colorShadowOther foregroundsBackground
17
歩行者のシルエットモデル
評価式
headiiihead MpCOtpCSkpf ∈∈+∈= )(,)|Pr(5.0)|Pr( rrrrr
lowerupperhead
loweriiilower
upperiiiupper
ffffMpCOtpCSkpf
MpCOtpCSkpf
××=∈∈+∈=
∈∈+∈=
)(,)|Pr()|Pr(5.0
)(,)|Pr()|Pr(5.0rrrrr
rrrrr
実験結果
18
Experimental result (toward)
Experimental result (away)
19
Experimental result (cross)
Optical Flow
y
Apparent Motion
x
20
ブロックマッチングによる動き検出と画像圧縮への応用
第(tー1)フレーム第(t 1)フレ ム
第 t フレーム
領域照合の評価関数
)(xf)(xg
22
2
22 ))(())((
))()()((
gf
fg
xx
x
gxgfxf
gxgfxf
σσ
σρ =
−−
−−=
∑∑∑相関係数
SSD
左画像
)(xg右画像:, gf 領域内の
平均明度
∑ −=x
xgxfSSD 2))()((
∑ −∇=x
xgxfGMSAD |))()((*| 2
∑ −=x
xgxfSAD |)()(|
SSD (Sum of Squared Difference)
SAD (Sum of Absolute Difference)
Modified SSD
21
フローが一意に求められる場合
• 連立方程式のランクが2であればよい。
∫∫∂∂⎞
⎜⎛ ∂ III 2
∫∫
∫∫
⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
∂∂
∂∂
∂∂
∂∂
⎠⎞
⎜⎝⎛∂∂
dxdyyIwdxdy
yI
xIw
dxdyyI
xIwdxdy
xIw
2の2つの固有値の比が1に近いほどよい
Harrisコーナーオペレータナ オ タ
( )15.0~0trdet)( 222121 =⋅−=+−= κκλλκλλM
コーナーの場所で大きくなる
オプティカルフロー
• 時間的に連続する2画像• 画面内における各画素の運動を求める各 動
u(x,y), v(x,y)
• 勾配法とブロックマッチング法–ブロックマッチングはSSD/SADによる対応付けけ
⇒ 通常のステレオと同様
– 2枚の画像の時刻が近接しているときは勾配法が使える
22
時空間拘束式• 同じ点は時間がたっても同じ明るさと仮定する
tyxIdttdyydxxI =+++ ),,(),,(
t+dt
(dx,dy)
dttIdy
yIdx
xItyxIdttdyydxxI
yyy
∂∂
+∂∂
+∂∂
+≈+++ ),,(),,(
),,(),,(
0=∂∂
+∂∂
+∂∂ dt
tIdy
yIdx
xI
t
t+dt
0=∂∂
+∂∂
+∂∂
tIv
yIu
xI
窓問題(aperture problem)
0=∂∂
+∂∂
+∂∂
tIv
yIu
xI ?
時空間拘束式は各画素に1本のみ未知数は各画素につきu,vの2つ
一般には解くことができない
狭い領域だけではフローが決まらないが,広い領域を見れば決められることがある
23
正則化(regularization)• Horn & Schunck(1981)• 2つの仮定
時空間拘束式を満たす 0=∂
+∂
+∂ IvIuI
–時空間拘束式を満たす–近傍の画素は似たフローを持ちその変化は滑らかである
同時には満たせないので,残差の重み付け和を最
0=∂
+∂
+∂ t
vy
ux
02222
=⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+⎟⎠⎞
⎜⎝⎛∂∂
+⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+⎟⎠⎞
⎜⎝⎛∂∂
yv
xv
yu
xu
小化する解をみつける(正則化)
dxdyyv
xv
yu
xu
tIv
yIu
xI
∫ ⎥⎥⎦
⎤
⎢⎢⎣
⎡
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+⎟⎠⎞
⎜⎝⎛∂∂
+⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+⎟⎠⎞
⎜⎝⎛∂∂
+⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+∂∂
+∂∂
22222
λ ⇒min
重み付け連立方程式• Lucas & Kanade(1992)• 近傍でu,vは同じと仮定する
– すると擬似的に拘束式が複数本えられたことになるので連立してとける!→ 残差の最小二乗法
– ただし,ガウス窓を設けて,注目画素に近いほど大きな重みをつけて最小二乗法をとく.
∫ →⎟⎞
⎜⎜⎛ ∂
+∂
+∂ min),(
2
dxdyIvIuIyxw∫⎠
⎜⎝ ∂∂∂
),(,,,,,,
ytyx
ytyxtyxtyx
24
重み付け連立方程式の解
dxdytIv
yIu
xIyxwS
tyxtyxtyx∫ ⎟
⎟
⎠
⎞
⎜⎜
⎝
⎛
∂∂
+∂∂
+∂∂
=
2
,,,,,,
),(
IIIII
dxdytIv
yIu
xI
yIw
vS
dxdytIv
yIu
xI
xIw
uS
∫∫∫
∫
∫
∂∂∂∂⎞⎛ ∂
=⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+∂∂
+∂∂
∂∂
=∂∂
=⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+∂∂
+∂∂
∂∂
=∂∂
2
0
0
dxdytI
yIwdxdy
yIwvdxdy
yI
xIwu
dxdytI
xIwdxdy
yI
xIwvdxdy
xIwu
∫∫∫
∫∫∫
∂∂
∂∂
−=⎟⎟⎠
⎞⎜⎜⎝
⎛∂∂
+∂∂
∂∂
∂∂
∂∂
−=∂∂
∂∂
+⎠⎞
⎜⎝⎛∂∂
2
OpenCVによる実装
• 画像の読み書き,キャプチャ,表示,典型的なCVの処理を実装したライブラリソフトウェアなCVの処理を実装したライブラリソフトウェア
– Win32,Linuxなどにおける実装が配布されている
– http://sourceforge.net/projects/opencvlibrary/– http://opencv.jp/ ->日本語ドキュメント
実装もある– HS,LK,BMの実装もある
25
勾配法によるオプティカルフロー
時刻t 時刻t+1
HS LK
Optical Flow by Gradient Method
• Constraint equation (Horn and Schunk)
),,(),,( dttdyydxxftyxf +++=
f b i h f i l
0=+⋅+⋅ tyx fvfuf
f : brightness of a pixel subscription x, y, t : partial differentiation (u,v) : optical flow vector
26
Generalized gradient method
• Applying two filters0)*()*()*( =+⋅+⋅ tyx fgvfgufg0)*()*()*( =+⋅+⋅ tyx fhvfhufh
g, h : edge selective filter* : convolutionv
uFlow vector
オプティカルフローの例色:方向、 長さ:速度
27
オプティカルフローを用いた追跡
平均フロー前フレームの
前フレームの領域
予測ウインドウ
3平均フローに似たフロー
2フロー
平均フロ
平均フローに似たフロー領域4
前フレームの平均フロー
1
探索範囲
平均フロ に似たフロ 領域
領域内の平均フロー
• 屋外シーンでの侵入者監視定時間直線運動する物体 侵入者
オプティカルフローに基づく実時間動物体検出
• 一定時間直線運動する物体=侵入者
入力画像シーン画像
28
直線運動物体の検出(1)
原画像 オプティカルフロー
直線運動物体の検出(2)
フロー一様領域 投票結果
物体領域の抽出結果
追跡結果
29
Integration of Optical Flow and depth
Stereo image sequence
T t Td )(observation:
t-1
Left Right
IntegrationOpticalFlow
Target Tiiii dvux )(=
t ),( vu
Depthd
ベイズの定理に基づく認識
o = ( u, v, d ): 点p における観測ベクトル( )
: 点p が目標 Tに属するTp ∈
)|( ii TP op ∈)(
)()|(
i
iii
PTPTP
oppo ∈∈
=
事後確率事前確率
i の尤度o
30
ベイズの定理に基づく判定
)()|( TPTP ppo ∈∈目標物体確率事前確率
)|( ii TP op ∈)(
)()|(
i
iii
PTPTP
oppo ∈∈
=
観測の尤度 )|( Tp ii ∈po目標物体の各ピクセルで
が観測されるo
io o観測値
ioμ
ioΣが観測される確率密度分布io
事前確率
Image予測の誤差
)( TP i ∈p
事前確率
前フレ ムの
予測の誤差
(1)前フレームの目標物体の速度の推定誤差
(2)等速運動の仮定からの誤差
),( vu μμ
前フレームの目標物体確率
仮定からの誤差(加速度運動による)
31
Experiment
u -0.20.6 2.1 -0.1ud 4.2-1.3
0.20.6
-3.0-3.4
2.1 0.1
実時間追跡システム
Motor Command
Camera Head Controller
DSPCamera Head S tatus
S tereo Im ages
Active Camera HeadActive Camera Head
Camera Head Controller
Stereo Image
MotorCommand
MotorStatus
DSP
MonitorRealtime Image Processor
Result of Tracking
Pro-gram
Result of Tracking
Host ComputerRealtime Image Processor Monitor
HostComputer
Tracking Result Program
32
画像処理装置
Video Board
Stereo Image
Optical Flow5 DSPs
Disparity3 DSPs
C H d
Data Transfer
Camera HeadControllerTracking
Output Image
Video Board
Image Synthesis
オプティカルフローや距離情報を用いた追跡手法の問題点
• フローも距離情報もコントラストのない領域 部 得 れな域の内部では得られない
33
明度一様領域
• 勾配 fx とfy が小さいためにフローが計算されない点の集合い点の集合
入力画像 明度一様領域
0=+⋅+⋅ tyx fvfuf
フローと明度一様領域の統合
フロー一様領域と明度一様領域のどちらか片方しか得られない場合
34
フローと明度一様領域の統合
フローと明度一様領域のどちらかが誤りの場合どちらかが誤りの場合
信頼性のある領域を用いた他物体の領域の削除
• 信頼性のある領域(多フレーム追跡された領域)よりも外側にある領域を他物体の領域とする
削除
35
フロー均一領域を用いた追跡例
複数カメラに拡張
obstacletarget
another person
informationinformation
36
Tracking Result
Realtime Tracking by Multiple Cameras which Takes Discrete Pan
Angles
37
Realtime Processing by PC Cluster
camera1 camera2 camera3 camera4
PCcluster1
PCcluster2
PCcluster3
PCcluster4
Collect results and send information to each CPU
Experiment of Multiple Person Tracking (Realtime)
38
Another Problem: 3-D Rotation
Image
Hard to discriminate with translation
Another Sensor Information
Image
sW
Bp
observation at each point: ,)( Ti
Tii dvo =
Integrating all information
,sW Bp
39
カルマンフィルタによる状態推定
II ⎤⎡システム
連続する ムでは
TTT ][ qqx &=
uxIOII
x +⎥⎦
⎤⎢⎣
⎡=+ tt 1
観測
[ ] ttBst W wxhoopy +== )(T2
T1
T TL
(連続するフレームでは等速運動と仮定)
肩幅 位置
線形化
ttttt
t
wxhxxxxhy
xx
++−∂
∂==
)~()~()(~
Creating New Candidate
New candidate
Shoulder width
Body orientation
40
Experiment of 3-D rotation
Experiment with two persons
Z[m]
end
A'
B
B'
B''
5Z[m]
start
A
2
0-1 1 X[m]
41
北川源四郎統計数理研究所
Particle Filter の例
42
43
単純な Particle Filter の欠点
点の対応付けに基づく三次元再構成
• 時系列にわたり複数点の対応付けができたら各カメラの外部パラメータと点の奥行きが求められる
• 行列の分解に基づく直観的な手法がある⇒ 因子分解法(Tomasi & Kanade 92)
• 平行投影で,物体が一つの場合からはじまり,透視投影,複数物体,部分的な隠れに拡張
44
因子分解法による再構成の例
因子分解法• 平行射影,物体は一つ,• 特徴点個 n,視点箇所 m
⎟⎟⎞
⎜⎜⎜⎛⎟⎠
⎞⎜⎜⎝
⎛=⎟
⎠
⎞⎜⎜⎝
⎛i
izjyjxjji Y
X
eeeeee
vu )(1)(1)(1
3次元空間中の点 i を画⎠
⎜⎝⎠⎝⎠⎝
izjyjxjji Z
eeev )(2)(2)(2面 j で見たときの投影点
YYXXeee
eeevvuu
W n
nvvv
uuu
n
n
ZYX
ZYX
⎟⎟⎞
⎜⎜⎜⎛⎟⎟⎟⎞
⎜⎜⎜⎜⎜⎛
=⎟⎟⎟⎞
⎜⎜⎜⎜⎛
= K
L
MMMMOM
L
1
1111
111
)(1)(1)(1
)(1)(1)(1
MS
ZZeeeeee
vvuu n
vvv
uuu
mnm
mnm
ZmYmXm
ZmYmXm
=
⎠⎜⎝⎟⎟⎠
⎜⎜⎜⎜
⎝⎟⎟
⎠⎜⎜⎜
⎝
L
L1
1
1
)()()(
)()()(
m x 3
3 x n
m x n
行列Wをrank3の行列積に分解する問題に帰着!
45
特異値分解(SVD: Singular Value Decomposition)
TVUW Σ=Wが縦長のとき)
Wが横長のとき)
U:列直交行列Σ:対角行列V:直交行列
=
横長 き)
U:直交行列 Σ:対角行列 V:列直交行列
=
特異値分解(SVD: Singular Value Decomposition)
U:直交行列 Σ:対角行列 V:列直交行列
=
σ
σ
ここを0にしてしまう
3
33
( ) TTT VUVVUU
W 111212
1
2
1
00
Σ≈⎟⎟⎠
⎞⎜⎜⎝
⎛Σ
Σ⎟⎟⎠
⎞⎜⎜⎝
⎛=
Wをrank3で近似した最小二乗解
46
因子分解法における制約条件MSVUVUW TT =ΣΣ=Σ≈ ))(( 12
1
121
11111として分解できる
しかし
SMSAMASMAAMS ′′=== −− ))(( 11
Aは正則なら何でもいいのでいくらでも解がある
各画面の 軸と 軸の長さは1
画面1のu軸は(1,0,0),v軸は(0,1,0)
1222 ++各画面のu軸とv軸の長さは1
各画面のu軸とv軸は直交
1)()()( =++ zjkyjkxjk eee
0)(2)(1)(2)(1)(2)(1 =++ zjzjyjyjxjxj eeeeee
因子分解法による再構成の例(再掲)