対応点を用いないローリングシャッター歪み補正と映像の安定化～ 並進から回転へ

松永 力

株式会社朋栄アイ・ビー・イー

E-mail: matsunaga@for-a.co.jp

Abstract

ローリングシャッターに起因する映像の動き歪み変形

を隣接する画像間のグローバルな動きの変換としてモ

デル化する．そして，従来の並進動きの場合 [5]から，

回転を含む一般的な運動の場合に拡張する．動きパラ

メータを“逆結合 Lucas-Kanadeアルゴリズム [1]”の

更新量を 1次近似した“近似逆結合 Lucas-Kanadeア

ルゴリズム [7]”により推定する．動き歪み補正ととも

に，歪みのない基準フレームに対する映像の安定化を

同時に行うために，推定した隣接 2画像間の動きパラ

メータを累積加算した結果で補正する．移動カメラの

場合に，推定した並進パラメータの時系列変化に対し

て，“巡回型バイラテラルフィルタ [5, 6]”により揺れ成

分を除去して，カメラの移動を保持したまま，映像中

の揺れのみを補正する．移動カメラから固定カメラへ

遷移する際にも，変化に忠実な安定化処理を実現する．

1 はじめに

近年，低価格な携帯電話カメラからハイエンドのデ

ィジタル一眼レフカメラ（Digital Single Lens Reflex

camera，DSLR）まで，CMOSセンサが多く使われて

きている．CMOSセンサは，低価格化，低消費電力化，

大判化が可能であるが，これが従来のCCDセンサと大

きく異なる点は，ローリングシャッターと呼ばれる順次

露光機構であり，それに起因して映像に動き歪み変形

が生じる点である．

これまでのスタビライザ処理の多くは CCD センサ

によるカメラを前提としているが，CMOSセンサにお

けるスタビライザ処理の研究もなされている．Ringaby

と Forssen [8]は，携帯電話のカメラ映像を安定化する

ために，予めカメラの内部パラメータを校正した後，映

像中の特徴点を抽出し，それを追跡した．カメラの運

動を 3次元回転モデルにより記述し，そのパラメータ

推定には，再投影誤差の最小化を行うために非線形最

適化を用いた．そして，推定したパラメータを平均化

することによって安定化を行った．Grundmannら [2]

は，画面をブロック分割して，ブロック毎に隣接する 2

画像間の 2次元射影変換を計算して，それらの空間的

な重み付け平均により動き歪みを補正したが，射影変

換を計算するためには，やはり，映像中の特徴点を用

いている．

松永 [5]は，CMOSセンサを用いたカメラにより撮

影された映像における並進歪み変形と揺れの補正を同

時に行うために，ローリングシャッターに起因する並進

歪み変形を隣接する 2画像間の 2次元 4パラメータア

フィン変換により記述して，勾配拘束条件の最小二乗

推定を反復することによって，その変換行列を最適に

推定した．推定したアフィン変換行列を解析的に分解

することにより並進パラメータを計算した．そして，移

動カメラの場合に，推定した並進パラメータの時系列

変化に対して，TomasiとManduchiによるバイラテラ

ルフィルタ [9]を拡張した巡回型バイラテラルフィルタ

を発見的に導入した．巡回型バイラテラルフィルタに

より揺れ成分を除去して，カメラの移動を保持したま

ま，映像中の揺れのみを補正した．移動カメラから固

定カメラへ遷移する際にも，変化に忠実な安定化処理

を実現した．

本論文では，並進動きによる歪み補正および安定化

処理を回転を含む一般の動き歪みの場合に拡張する．そ

の概要は，次の 3つの項目に纏められる．

• 回転を含む剛体歪み変換モデルを定式化する．こ

れは，歪みのない画像と歪み画像間における歪み

変換と，歪みのない画像間における動き変換の合

成の 1次近似によるものである．これによって，さ

らに高自由度な相似，アフィン，射影変換による

動き歪み変換のモデル化も可能となる．

• 剛体歪み変換の補正パラメータの推定には，“Lucas-

Kanadeアルゴリズム [4]”を効率的に計算する“逆

結合 Lucas-Kanadeアルゴリズム [1]”の更新量を

1次近似する“近似逆結合 Lucas-Kanadeアルゴリ

ズム [7]”の適用が可能なことを示す．

図 1 CMOSカメラの順次露光による動き歪み．縦線が画像の右方向へ移動する場合（カメラが左を向く場合）とその結果の歪み画像（上段），円が画像の下方向へ移動する場合（カメラが上を向く場合）とその結果の歪み画像（下段）．

• 隣接する剛体歪み 2画像間における変換パラメー

タの推定結果による歪み補正処理と安定化処理を

導出するとともに，剛体歪み画像列に対しても，移

動カメラにおける安定化処理のために，推定した

並進パラメータに対する時系列フィルタ処理とし

て，レベル適応による“巡回型バイラテラルフィル

タ [5, 6]”が有効であることを示す．

本論文の構成は，2章で，CMOS動き歪みモデルと

してローリングシャッター機構による動き歪みのモデル

について説明する．3章で，CMOS動き歪みモデルと

して，並進歪みモデルを記述して，その後，回転を含

む剛体歪みモデルに拡張する．4章で，Lucas-Kanade

アルゴリズム，さらに，Lucas-Kanadeアルゴリズムを

効率的に計算する逆結合 Lucas-Kanade アルゴリズム

の更新量を 1次近似する近似逆結合 Lucas-Kanadeア

ルゴリズムによる剛体歪み変換のパラメータ推定につ

いて説明する．5章で，推定した剛体歪み変換パラメー

タによる剛体歪み補正および揺れの安定化のための時

系列処理について説明する．6章で人工画像および実画

像列によるシミュレーション実験を行い，本論文の手

法による結果を示して，7章で纏める．

2 CMOS動き歪みモデル

CMOSセンサは CCDセンサとは異なるシャッター

機構を持つ．CCDセンサではすべての画素が同時に露

光されるが，CMOSセンサの場合，小型，低価格を達

成するためにライン走査による順次露光を用いている．

したがって，カメラの動きが走査時間に比較して非常

に大きい場合，CMOSセンサの最初と最後のラインの

時間差のために，CMOSカメラ映像はカメラの動きに

よって歪む．図 1は，そのようなローリングシャッター

機構において，走査時間の間にシーン中の物体が動く

と，画像中では，どのように歪んで見えるのかを示し

ている 1．

画像縦横サイズが V ×H の CMOSカメラが動くと，

撮影されたシーン中の物体の任意の点 xが 1フレーム

1 物体とカメラの動きは相対的である．

図 2 CMOSカメラの並進歪み．

期間中に画像の動き uによって動くとする．その速度

vは 1フレーム時間 Tf で割ることによって得られる．

v(x) = u(x)/Tf . (1)

時刻 t = 0で画面左上の画像原点から走査開始する画

像 Inにおいて，任意の点xn = (xn, yn)⊤が 1フレーム

期間に un で動くとすると，画素位置 xdn = (xd

n, ydn)

⊤

までの経過時間は，t = xdnTf/HV + ydnTf/V であり，

CMOS歪み位置 xdnは，歪みのない場合の位置 xnに動

き歪みによる変動項を加えた次のようなCMOS 動き歪

みモデルを満たす．

xdn = xn+

∫ t

0

vn(xn)dt′ = xn+

∫ t

0

1

Tf

un(xn)dt′. (2)

t = ydnTf/V と近似すると，

xdn = xn + un(xn)

ydnV

, (3)

である．

3 並進歪みから回転歪みへ

3.1 並進歪みの場合

1フレーム期間中の画像の動きを，並進動きと仮定す

ると，u(x) = t = (tx, ty)⊤ であり，これを式（3）に

代入すると，

xdn = xn + un(xn)

ydnV

=

(

xn

yn

)

+

(

txntyn

)

ydnV

=

(

xdn

ydn

)

. (4)

ydn = yn + tynydn/V だから，ydn について解くと，

ydn =V

V − tynyn, (5)

xdn = xn + txn

ydnV

= xn +txn

V − tynyn. (6)

したがって，(xn, yn)⊤ と (xd

n, ydn)

⊤ の間の並進動きに

よる歪み変換は次のようになる 2．

xdn

ydn1

=

1txn

V − tyn0

0V

V − tyn0

0 0 1

xn

yn

1

= Dnxn. (7)

2 ここでは，点の位置ベクトルを同次形式としている．

したがって，並進歪みによる隣接する 2 画像 In(xdn),

In+1(xdn+1)の間の関係は次のようになる（図 2参照）．

xdn+1 = Dn+1T nD

−1n xd

n = Anxdn. (8)

ここで，

T n =

(

I2×2 tn

0⊤

2×1 1

)

=

1 0 txn0 1 tyn0 0 1

. (9)

並進動きによる歪み変形を表す変換行列 An は 2次元

アフィン変換になるが，その自由度（未知パラメータ

の個数）は 4である．松永 [5]は，勾配拘束条件の最小

二乗推定を反復することによって，並進動きによる歪

み変形を表す 4パラメータアフィン変換行列 An を最

適に計算して，それを解析的に分解することにより並

進パラメータ tn, tn+1 を求めた．

3.2 回転歪みの場合

本論文では，回転運動を含む，より高自由度な動き

歪みの場合に拡張する．純粋回転を仮定すると，

u(x) = Rx− x

=

(

cos θ − sin θ

sin θ cos θ

)(

x

y

)

−

(

x

y

)

=

(

−θy

θx

)

,

(10)

である．ただし，回転行列Rにおける回転角 θは小さ

いものとして 1次近似した．並進動きによる歪み同様，

これを式（3）に代入すると 3，

xd = x+ u(x)yd

V

=

(

x

y

)

+

(

−θy

θx

)

yd

V=

(

xd

yd

)

. (11)

yd = y + θxyd/V だから，yd について解くと，

yd =V y

V − θx, (12)

xd = x− θyyd

V

= x−θy2

V − θx. (13)

式（12）（13）より，歪みのない場合の位置 x, y と

CMOS歪み位置 xd, yd の関係は線形ではないことがわ

かる．しかし，式（12）（13）を x, yについて解くこと

はできて，

x =xdV 2 + θyd

2V

V 2 + θ2yd2

= xd +θyd

2

V, (14)

y =ydV 2

− θxdydV

V 2 + θ2yd2

= yd −θxdyd

V, (15)

である．ただし，式（10）同様，θは小さいとして，そ

の高次項を無視する近似を行った．3 ここでの回転を含む歪み変換の式の導出では，添字の nを省略

している．

(a) (b) (c)

図 3 CMOS回転歪み画像（シミュレーションにより生成）．(a)カメラ動きなし（基準画像），(b)カメラが 3度回転（時計回りの回転）すると画像は左に変形する，(c)カメラが −3度回転（反時計回りの回転）すると画像は右に変形する．

したがって，回転歪み画像を生成することは可能で

ある．計算されるサブピクセル精度の画像位置におけ

る画素値は，ピクセル精度の近傍画素位置の画素値を

用いて内挿補間生成すればよい [5]．注意すべきは，回

転中心が左上画像原点になることである．図 3に回転

歪み画像例を示す．

並進成分を加えた剛体歪みの場合は，式（10）に，t

= (tx, ty)⊤ を加えると，

yd =V y

V − (θx+ ty), (16)

xd = x+ (−θy + tx)yd

V= x+

(−θy + tx)y

V − (θx+ ty), (17)

であり，x, yについて解くと，

x = xd +(θyd − tx)yd

V, y = yd +

(−θxd− ty)yd

V.

(18)

これらの事実から，パラメータ同士の積項を無視す

る 1次近似によって，回転を含む動きにおいても，歪

みのない画像と歪み画像の間の幾何学的な変換をパラ

メータに関して線形とすることができる．そこで，動

きによる変換と歪み変形による変換に分けてモデル化

して，それらを合成して，さらに 1次近似する．

式（16）（17）の剛体歪み変換をパラメータ同士の積

項を無視する 1次近似をすると，次のようになる．

yd = y +θxy + tyy

V, xd = x+

−θy2 + txy

V. (19)

そして，歪みのある隣接する 2 画像 In(xdn),

In+1(xdn+1)の間の動きを，仮想的な歪みのない隣接す

る 2画像 In(xn), In+1(xn+1)との間の歪み変形による

変換と，歪みのない隣接する 2画像間の動きによる変

換に分離すると，次のようになる（図 4参照）．

xn = D−1n (xd

n)

=

(

xdn − txn/V ydn + θn/V ydn

2

(1− tyn/V )ydn − θn/V xdny

dn

)

=

(

xn

yn

)

,

(20)

xn+1 = Mn(xn)

=

(

xn − θnyn + txnθnxn + yn + tyn

)

=

(

xn+1

yn+1

)

, (21)

xdn+1 = Dn+1(xn+1)

=

(

xn+1 + txn+1/V yn+1 − θn+1/V y2n+1

(1 + tyn+1/V )yn+1 + θn+1/V xn+1yn+1

)

=

(

xdn+1

ydn+1

)

. (22)

式（20）を式（21）に代入して，パラメータ同士の積

項を無視する 1次近似を行う．

xn+1 = xdn − (θn + txn/V )ydn + θn/V ydn

2+ txn, (23)

yn+1 = θnxdn + (1− tyn/V )ydn − θn/V xd

nydn + tyn. (24)

さらに，式（23）（24）を式（22）に代入して，パラメー

タ同士の積項を無視する 1次近似を行う．

xdn+1 = xd

n − (p2n + q3n)ydn + q2ny

dn

2+ p3n, (25)

ydn+1 = p2nxdn + (1− q6n)y

dn − q2nx

dny

dn + p6n. (26)

ここで，

pn = (p2n, p3n, p6n, q2n, q3n, q6n)⊤

≡ (θn, txn, t

yn, θn/V − θn+1/V,

txn/V − txn+1/V, tyn/V − tyn+1/V )⊤. (27)

このようにすると，回転を含む剛体歪みのみならず，よ

り高自由度な相似，アフィン，射影変換による動き歪み

についても同様にモデル化を行うことが可能となる 4．

4 CMOS動き歪みの推定

剛体歪み変換W (xdn;pn)は，次のようになる．

W (xdn;pn) =

(

1 −p2n − q3n q2n 0 p3np2n 1− q6n 0 −q2n p6n

)

xdn

ydnydn

2

xdny

dn

1

.

(28)

したがって，剛体歪み変換は xdn, ydn の高次項を含

む多項式変換である．剛体歪み変換パラメータ pn

= (p2n, p3n, p6n, q2n, q3n, q6n)⊤を“近似逆結合 Lucas-

Kanade アルゴリズム [7]”により推定する．これは，

Lucas-Kanadeアルゴリズム [4]を効率的に推定する逆

結合 Lucas-Kanadeアルゴリズム [1]における更新量を

1次近似したものである [7]．Lucas-Kanadeアルゴリズ

ムは画素を直接処理する領域ベースの手法であり，何

らの画像特徴や対応付けを必要としない．松永 [5]は，

勾配拘束条件の最小二乗推定を反復的に解くことによっ

て並進歪みによる 4パラメータアフィン変換の最適化

を行ったが，それは，Lucas-Kanade アルゴリズムと等

価である．4 当然ではあるが，並進歪みも同様である．並進歪みにおける 4

パラメータアフィン変換行列 An の各要素をパラメータ同士の積項を無視する 1 次近似すると，式（25）（26）において，p2n = q2n= 0 としたものと一致する．

図 4 CMOSカメラの剛体歪み．

第 n+1フレームの剛体歪み画像 In+1(xdn+1)を第 n

フレームの剛体歪み画像 In(xdn)に合わせる．xd

n+1 =

W (xdn;pn) だから，Lucas-Kanade アルゴリズムによ

り，次の差分二乗総和を最小化する pn を推定する．∑

xdn

(

In+1(W (xdn;pn))− In(x

dn))2

. (29)

式（29）が，pn → pn +∆pnと摂動したとする．それ

をテイラー展開して 1次近似したものを∆pnで微分し

て 0と置く．∆pn について解くと次のようになる．

∆pn = H−1n+1

∑

xdn

(

∇In+1

∂W

∂pn

)⊤

(

In(xdn)− In+1(W (xd

n;pn)))

. (30)

ここで，∇In+1 = (∂In+1/∂x, ∂In+1/∂y)は第 n+1フ

レーム画像 In+1(xdn+1)のW (xd

n;pn)での勾配である．

∂W /∂pnはヤコビ行列と呼ばれ，剛体歪み変換の場合

には，次のようになる．

∂W

∂pn

=

(

−ydn 1 0 ydn2

−ydn 0

xdn 0 1 −xd

nydn 0 −ydn

)

. (31)

Hn+1 は次のようなヘッセ行列である．

Hn+1 =∑

xdn

(

∇In+1

∂W

∂pn

)⊤(

∇In+1

∂W

∂pn

)

. (32)

したがって，pn は適当な初期値から ∆pn を反復的に

解くことによって，求めることができる．これは，ヘッ

セ行列を計算するのに 2階微分を行わずに近似する“ガ

ウス・ニュートン法 [3]”であるが，ヘッセ行列Hn+1

（の逆行列）は，反復毎に計算しなければならない．

そこで，第 nフレーム画像と第 n + 1フレーム画像

の役割を次のように交換する．∑

xdn

(

In(W (xdn; ∆pn))− In+1(W (xd

n;pn)))2

. (33)

W (xdn;0)は∆pn = 0とした恒等変換であるとすると，

変化量∆pn は，

∆pn = H−1n

∑

xdn

(

∇In∂W

∂pn

)⊤

(

In+1(W (xdn;pn))− In(x

dn))

, (34)

であり，第 nフレーム画像 In(xdn)のヘッセ行列は，

Hn =∑

xdn

(

∇In∂W

∂pn

)⊤(

∇In∂W

∂pn

)

, (35)

となる．ヤコビ行列 ∂W /∂pn は (xdn;0) で評価する．

これはパラメータによらず，予め計算しておくことが

できる．反復毎に第 n+ 1フレーム画像 In+1を変換し

て，それから誤差画像 In+1(W (xdn;pn))− In(x

dn)と第

nフレーム画像の最急降下画像∇In∂W /∂pnの積和を

計算する．そして，予め計算しておいた第 nフレーム

画像のヘッセ行列の逆行列H−1n を掛けたものを変化量

とするが，その更新方法が異なる．変化量を加算によ

り更新するのではなく，変化量による変換（の逆変換）

を合成することにより更新する．

W (xdn;pn)←W (xd

n;pn) ◦W (xdn; ∆pn)

−1. (36)

これは，逆結合 Lucas-Kanadeアルゴリズム（Inverse

Compositional Algorithm）と呼ばれ，Lucas-Kanade

アルゴリズムの効率的な方法として提案されている [1]．

しかし，高次項を含む多項式変換である剛体歪み変

換の逆変換を解析的に求めることはできない．そこで，

逆変換を 1次近似して，さらに，変換との合成結果を

1次近似する．そのようにしても，通常は問題ないこと

が実験的に確認される [7]．すなわち，

pn ← pn −∆pn, (37)

である．このような逆結合による更新を 1次近似によっ

て，逆方向の加算とすることで Lucas-Kanadeアルゴ

リズムの効率化が図れることから，これを“近似逆結

合 Lucas-Kanadeアルゴリズム”と呼ぶ [7]．

5 CMOS動き歪み補正と安定化処理

5.1 固定カメラの場合

隣接する 2画像間の動きを推定して，歪みのない第 1

フレーム基準画像に対して位置合わせを行うことによ

り，動き歪み補正とともに映像の安定化を行う．まず，

第 n+1フレーム歪み画像 In+1(xdn+1)を仮想的な歪み

のない第 nフレーム画像 In(xn)に位置合わせする（図

4参照）．

xn+1 = D−1n+1(x

dn+1)

=

(

xdn+1 − txn+1/V ydn+1 + θn+1/V ydn+1

2

(1− tyn+1/V )ydn+1 − θn+1/V xdn+1y

dn+1

)

,

(38)

xn = M−1n (xn+1)

=

(

xn+1 + θnyn+1 − txn−θnxn+1 + yn+1 − tyn

)

. (39)

式（38）を式（39）に代入して，パラメータ同士の積

項を無視する 1次近似すると，

xn = xdn+1 +

(

p2n +

n∑

α=1

q3α

)

ydn+1

−

n∑

α=1

q2αydn+1

2− p3n, (40)

yn = −p2nxdn+1 +

(

1 +n∑

α=1

q6α

)

ydn+1

+n∑

α=1

q2αxdn+1y

dn+1 − p6n. (41)

ここで，パラメータ pnの定義の式（27）より，q2n =

θn/V − θn+1/V だから，n∑

α=1

q2α = −θn+1/V, (42)

である．ただし，α = 1のとき，q21 = −θ2/V である

ことを用いた 5．q3n, q6nについても，同様である．そ

して，歪みのない第 1フレーム基準画像 I1(x1)に位置

合わせをするためには，

x1 = xdn+1 +

(

n∑

α=1

p2α +

n∑

α=1

q3α

)

ydn+1

−

n∑

α=1

q2αydn+1

2−

n∑

α=1

p3α, (43)

y1 = −

n∑

α=1

p2αxdn+1 +

(

1 +

n∑

α=1

q6α

)

ydn+1

+n∑

α=1

q2αxdn+1y

dn+1 −

n∑

α=1

p6α, (44)

である．したがって，動き歪み補正と安定化は，すべて

のパラメータの推定結果の累積加算により行えばよい．

5.2 移動カメラの場合

問題は，移動カメラの場合であり，映像に含まれる

動きが不要な揺れなのか，有意なカメラの動きなのか

を判別しなければならない．なぜなら，第 1フレーム

を基準画像として固定すると，移動カメラの場合には，

カメラが移動するに従って，補正ができなくなる．

松永 [5] は，隣接する並進歪み 2 画像間の並進パラ

メータの推定結果に対して時系列フィルタ処理を行う

ことによって，移動カメラにおける安定化処理を行っ

た．時系列フィルタには，信号のレベル差に応じた重

み係数を導入した巡回型フィルタを用いた．低域通過

フィルタとして巡回型フィルタを用いると，現在と過

去のデータしか使わないので余分なフレーム遅延が発

生せず，処理全体の遅延量の観点から優位であり，レベ

ル適応により静止から移動，あるいは，移動から静止

へのカメラの状態の遷移にも追従が可能となる．

これは，バイラテラルフィルタ [9]の巡回型フィルタ

への拡張と見なすことができる（詳細は [5, 6]参照）．

5 第 1 フレーム基準画像は歪みなしと仮定しているから．

図 5 CMOSカメラ映像の動き歪み補正および安定化処理ブロック図．

松永は，これを“拡張バイラテラルフィルタ”と呼ん

で，画像ノイズ除去処理にも用いた [6]．

図 5 は，CMOS カメラ映像の動き歪み補正および

映像安定化処理のブロック図である 6．図中，動き推

定（Motion Estimaiton）により隣接する 2画像 In,

In+1の間の動き歪みパラメータを推定する．動き歪み

パラメータの内の並進成分 tn = (txn, tyn)

⊤に対して，時

系列フィルタ処理（LPF）を行う．時系列フィルタ処理

結果 τn = (τxn , τyn)

⊤ との差分∆tnを累積加算した並進

成分 tnによって，動き歪み補正と安定化処理（Motion

Correction）を行う 7．Z−1は 1フレーム遅延を表す．

時系列フィルタ処理が完全であれば，固定カメラの場

合の低域通過フィルタの出力は厳密に 0となり 8，フィ

ルタ処理結果との差分は並進パラメータそのものにな

る．しかし，実際にはそうとは限らないので，現在の

フレームと前フレームにおけるフィルタ出力結果の差

分絶対値のしきい値処理によって，固定／移動カメラ

の判別を行う．固定カメラと判定された場合には，並

進パラメータの累積加算値によって補正する．最終的

な補正パラメータによるサブピクセル精度の画素座標

における画素値は，近傍画素による内挿補間により計

算する [5]．

6 画像シミュレーション

6.1 人工画像シミュレーション

図 6は，図 3の格子画像を歪み変形させたシミュレー

ション画像において，カメラの動きなしの画像を基準

画像として，回転歪み補正した結果である．画像境界

は歪み変形の補正がわかりやすいように黒のままとし

ている．回転歪み変形が補正できているのがわかる．

6.2 実画像列シミュレーション（固定カメラの場合）

ディジタルカメラ（ニコンD40）で撮影した 3008×

2000画素の画像に対して，剛体歪みパラメータを与え

て，その一部分を切り出して，剛体歪み画像を生成する．

水平および垂直方向にそれぞれ平均 0，標準偏差 1画

素の正規乱数による並進パラメータ，平均 0，標準偏差6 文献 [5] では誤りがあったので修正している．7 その他の成分についても同様に累積加算したものを用いる．8 不要な揺れによる移動量が期待値 0の正規分布に従うと仮定す

る．

(a) (b) (c)

図 6 CMOS回転歪み補正画像．(a)カメラ動きなし（基準画像），(b)(c)は，図 3のカメラの動きによる回転歪み画像 (b)(c)の補正結果．画像境界は歪み変形の補正がわかりやすいように黒のままとしている．

(a) (b)

図 7 (a) 剛体歪み画像列の加算平均画像（60フレーム），(b)剛体歪み補正結果の画像列の加算平均画像．画像境界付近の黒は補正処理による見切れのためである．

0.2度の正規乱数による回転パラメータを用いて剛体歪

み画像列を生成する．生成した画像サイズは 640× 480

画素である．これは，固定カメラによる定点監視映像

と見なすことができる．

図 7 (a)はそのようにして生成した剛体歪み画像列の

加算平均画像である（60フレーム）．歪み変形と揺れ

により輪郭が重なって見える．第 1フレームを基準画

像として，第 2フレーム以降，順次隣接する 2画像間

の剛体歪みパラメータを推定した結果を用いて歪み補

正および安定化処理を行った．図 7 (b)は処理結果の画

像列の加算平均画像である．処理前の加算平均画像に

対して，安定化処理によって加算平均画像は明瞭に見

える．画像境界付近の黒は補正処理による見切れのた

めである．

図 8 (a)～(c)は剛体歪み画像列の生成に用いたフレー

ムに対する並進および回転パラメータである．剛体歪

みパラメータの推定結果（estimate(rigid)）とともに，

真の値（true）も表示している．並進に関しては，並進

歪み補正モデルによる推定結果（estimate(trans)）も

表示している．剛体歪みパラメータの推定結果は，ほ

ぼ真の値に一致しているが，並進歪み補正モデルによ

る推定結果は，モデル化誤差のため十分ではない．

第 1フレーム基準画像と補正画像の間の二乗誤差画

像のピーク SN比により定量的に評価する．ピーク SN

比 PSNRは二乗誤差画像の平均輝度値（平均ノイズ電

力）MSEおよび最大輝度値（最大信号電力）I2maxから

次のように求められる 9．

PSNR [dB] = 10 log10

(

I2max

MSE

)

. (45)

9 実験では，Imax を 8 ビット最大画素値 255 とした．

-18

-16

-14

-12

-10

-8

-6

-4

-2

0

0 10 20 30 40 50 60

tx

frame

trueestimate(rigid)

estimate(trans)

-16

-14

-12

-10

-8

-6

-4

-2

0

2

0 10 20 30 40 50 60

ty

frame

trueestimate(rigid)

estimate(trans)

-0.4

-0.2

0

0.2

0.4

0.6

0.8

0 10 20 30 40 50 60

θ

frame

trueestimate(rigid)

0

10

20

30

40

50

60

70

80

0 10 20 30 40 50 60

[dB]

frame

rigidtrans

(a) (b) (c) (d)

図 8 剛体歪み画像列の剛体歪みパラメータの推定結果．(a) 並進（水平方向）tx，(b) 並進（垂直方向）ty，(c) 回転θのフレームに対する推定結果（estimate(rigid)）および真の値（true）である．並進に関しては，並進歪み補正モデルによる推定結果（estimate(trans)）も表示する．(d) 第 1フレーム基準画像と補正画像の間の二乗誤差画像のピーク SN比の変化．剛体歪み補正モデル（rigid），並進歪みモデル（trans）の結果である．

図 9 移動カメラによる剛体歪み画像列の一部．画像は左から右の順に，カメラが左上方へパンアップしている．上段は，原画像列，中段は，固定カメラとして補正した結果の画像列，下段は，移動カメラとして補正した結果の画像列．いずれも左の画像は歪みのない第 1フレーム基準画像である．

補正画像の中央領域 90%におけるピーク SN比の平均値

は，剛体歪み補正モデルの場合に 61.85(±1.18)[dB]で

あり，並進歪み補正モデルの場合に 46.31(±10.49)[dB]

であった（括弧内は標準偏差を表す）．図 8 (d)にフレー

ムに対するピーク SN比の変化を示す．

6.3 実画像列シミュレーション（移動カメラの場合）

図 9は，ディジタルカメラ（キヤノン IXY DIGITAL

500）で撮影した 2592× 1944画素の画像に対して，剛

体歪みパラメータを与えて，その一部分を切り出して

生成した剛体歪み画像列の一部である．水平および垂

直方向の基準となる並進パラメータ (tx, ty) = (10, 5)⊤

に対して，それぞれ平均 0，標準偏差 1画素の正規乱数

を加えた並進パラメータ，平均 0，標準偏差 0.2度の正

規乱数による回転パラメータを用いて剛体歪み画像列

を生成する．生成した画像サイズは 720 × 486画素で

ある．図中，画像は左から右の順に，カメラが左上方

へパンアップしている等速直線運動する移動カメラに

よる映像と見なすことができる．同図上段は，そのよ

うにして生成した原画像列であり，中段は，固定カメ

ラとして補正した結果の画像列，下段は移動カメラと

して補正した結果の画像列である．

固定カメラとして行った歪み補正および安定化処理

の結果は，第 1フレームを基準として安定しているが，

入力が移動カメラによる画像列のため，基準フレーム

から大きく移動すると，次第に見切れる領域が大きく

なって行く．一方，移動カメラとして行った歪み補正

および安定化処理の結果は，カメラの移動に伴い，補

正処理が追従しているのがわかる．ここでは，不要な

揺れ成分を除去して，カメラの軌跡を滑らかにするた

めに，隣接 2画像間において推定した並進パラメータ

の時系列変化に対して 1次バタワース巡回型バイラテ

ラルフィルタ処理 [5]を行い，その結果の並進パラメー

タを用いて各フレームを補正した．1次バタワース巡回

型バイラテラルフィルタにおけるカットオフ周波数は

水平および垂直方向いずれも 0.01Hz，σ2r をそれぞれ，

15，5とした．図 10は，隣接 2画像間の並進パラメー

タの時系列変化のグラフである．上段が水平方向，下

段が垂直方向である．1次バタワース巡回型バイラテラ

ルフィルタにより揺れ成分である高周波成分が除去さ

れて並進パラメータが滑らかになっているのがわかる．

-5

0

5

10

15

20

0 10 20 30 40 50 60

tx

, τx

frame

tx

IIR τx

IIRbilateral τx

-2

0

2

4

6

8

10

0 10 20 30 40 50 60

ty, τ

y

frame

ty

IIR τy

IIRbilateral τy

図 10 移動カメラによる剛体歪み画像列から推定した隣接 2 画像間の並進パラメータの時系列変化．並進パラメータの時系列変化（tx, ty）を 1次バタワース巡回型低域通過フィルタ（fc = 0.75Hz）により平滑化した並進パラメータ（IIR τx, IIR τy），1次バタワース巡回型バイラテラルフィルタ（fc = 0.01Hz, σ2

r を水平および垂直方向でそれぞれ15, 5）により平滑化した並進パラメータ（IIRbilateral τx, IIRbilateral τy）．上段が水平方向，下段が垂直方向．

さらに，並進パラメータを (tx, ty) = (0, 0)⊤として，

同様に正規乱数を加えて，引き続き剛体歪み画像列を

生成する．すなわち，カメラが移動した後，静止して

固定カメラになる場合である．図 10の 32フレーム目

の移動カメラから固定カメラへの変化点において，カッ

トオフ周波数が 0.75Hzの 1次バタワース巡回型フィル

タにより平滑化した並進パラメータは，平滑化作用に

よる減衰のためカメラが静止したフレームを越えても，

すぐには 0にはならない．一方，1次バタワース巡回バ

イラテラルフィルタによる平滑化の結果は，移動カメ

ラにおける揺れ成分を除去しつつ，変化点も保持して

おり，カメラが静止した後もほぼ 0に近い平滑結果が

得られている．

7 まとめ

本論文では，CMOSセンサを用いたカメラにより撮

影された映像における動き歪み変形と揺れの補正を同

時に行うために，ローリングシャッターに起因する動き

歪み変形を隣接する画像間のグローバルな動きの変換

としてモデル化し，回転を含む一般的な運動の場合に

拡張した．近似逆結合 Lucas-Kanadeアルゴリズムを

用いて，何らの画像特徴や対応付けを用いることなく，

画素を直接的に処理することにより推定を行った．

画像シミュレーション実験を行い，固定カメラ，移動

カメラいずれの映像に含まれる剛体歪み変形を補正す

るとともに揺れを除去して安定化した．移動カメラの

場合には，推定した並進パラメータの時系列変化に対

して，巡回型バイラテラルフィルタにより揺れ成分を

除去して，カメラの移動を保持したまま，映像中の揺

れのみを補正した．移動カメラから固定カメラへ遷移

する際にも，変化に忠実な安定化処理を実現した．

今後の課題としては，次のものが挙げられる．

• 局所移動物体や輝度変動に対してロバストな推定

補正の実現

• マルチコアCPU／GPUによる実時間処理の実現

謝辞：本研究の機会を与えて下さった朋栄アイ・ビー・

イー和田社長に感謝します．

参考文献

[1] S. Baker and I. Matthews, Lucas-Kanade 20 yearson: A unifying framework, International Journal ofComputer Vision, 56-3 (2004), 221–255.

[2] M. Grundmann, V. Kwatra, D. Castro, and I. Essa,Calibration-free rolling shutter removal, Proceedingsof IEEE Conference on Computational Photography(ICCP2012), April, 2012.

[3] 金谷 健一,「これなら分かる最適化数学 – 基礎原理から計算手法まで –」, 共立出版, 2005年 9月.

[4] B. D. Lucas and T. Kanade, An iterative image regis-tration technique with an application to stereo vision,Proceedings of the 1981 DARPA Image Understand-ing Workshop, April 1981, 121–130.

[5] 松永 力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第 19 回画像センシングシンポジウム(SSII2013)講演論文集,横浜 (パシフィコ横浜), 2013年 6月.

[6] 松永 力, 無限インパルス応答システムによる拡張バイラテラルフィルタ, 第 19 回画像センシングシンポジウム (SSII2013)講演論文集, 横浜 (パシフィコ横浜), 2013年 6月.

[7] 松永 力, 画像からの倍率色収差の自動推定補正, 第 20回画像センシングシンポジウム (SSII2014)講演論文集, 横浜 (パシフィコ横浜), 2014年 6月.

[8] E. Ringaby and P.-E. Forssen, Efficient video rectifi-cation and stabilisation for cell-phones, InternationalJournal of Computer Vision, 96-3 (2012), 335–352.

[9] C. Tomasi and R. Manduchi, Bilateral filtering forgray and color images, Proceedings of the SixthIEEE International Conference on Computer Vision(ICCV’98), Bombay, India, January, 1998.