キュービック補間を用いた魚眼レンズ画像のキュービック補間を用いた魚眼レンズ画像の高画質補正アルゴリズムのハードウェア化高画質補正アルゴリズムのハードウェア化

修士課程２年修士課程２年 森森 隆寛隆寛 （共同研究）大日本印刷（共同研究）大日本印刷 外村外村 元伸元伸, , 大住大住 勇治勇治

システムＬＳＩ分野システムＬＳＩ応用部門システムＬＳＩ分野システムＬＳＩ応用部門 池永研究室池永研究室

■ 魚眼カメラについて

画角が180度前後

深い被写界深度

広範囲 鮮明

１台で

画像の取得が可能

得られる画像には歪みそのままでは被写体の形状や大きさなどの認識が困難

■ 想定される応用例

リアルタイムで処理可能なハードウェアの実現

正像変換

(u,v)平面と(x,y)平面

の対応

キュービック補間処理対応点周辺の画素から補間(u,v)平面生成

画像出力

パラメータ

画像入力

■ アルゴリズムn

v

u

XY

Z

rR

β

α

φ

n

v

u

XY

Z

rR

β

α

φ

変換モデル座標系

監視用途

テレビ会議 etc…

ロボット

■ 研究目的

画像拡大

画面の一部を拡大画面を見やすくする

正像変換（歪み補正）

魚眼レンズ付きカメラにより

得られた画像のひずみを補正

アルゴリズムの低演算量化

演算器の工夫（速度、小面積、低電力） により解決!!

既存の研究、製品 → 処理速度、画質に問題！

応用例

δvδu

X

Y

δvδu

X

Y∆u

∆vu

∆u

∆vu

原画像(x,y)平面

平面化画像(u,v)平面 ３次補間向き

高精細！

キュービック補間を用いた魚眼レンズ画像のキュービック補間を用いた魚眼レンズ画像の高画質補正アルゴリズムのハードウェア化高画質補正アルゴリズムのハードウェア化

修士課程２年修士課程２年 森森 隆寛隆寛 （共同研究）大日本印刷（共同研究）大日本印刷 外村外村 元伸元伸, , 大住大住 勇治勇治

■ 正像変換

■ ソフトウェアによる評価

⎪⎪⎩

⎪⎪⎨

⎧

++

−−=

++

+−=

2222

2222

)cossin(

]sinsin[

RmvumRvDuCRy

RmvumRvBuARx

αβ

αβ

βαφαφβαφαφβαφαφβαφαφ

coscoscossinsincoscossinsincoscossincoscossincossinsincoscos

−=+=+=−=

DCBA

倍率

取り出す平面の回転角

天頂角

回転角

=

=φ

=β

=α

m

(u,v)平面→(x,y)平面の対応

n

vu

XY

Z

rR

β

α

φ

平面化画像(u,v)平面

原画像(x,y)平面

■ 補間方法

( ) ( )( ) ( )( ) ( )

( )( )⎪

⎪⎩

⎪⎪⎨

⎧

−++−=−+−=

==

−•+•−•+•−•+•=

3210

3210

1

2

4642.0312732.0

111

ffffcffffb

fdfa

tdttcttbtaxf

参照画素値 3210 ,,, ffff

補間区間 と の間1f

補間区間の割合 t

2f ハードウェア化を考慮した式

Cubic Spline補間（４点）

バイリニア バイキュービックスプライン（４点）

人工パターン（ゾーンプレート）

入力

自然画

切り出し部分

処理結果（自然画像）

■ ハードウェアの設計

画像処理コア

切り出し位置

正像変換（補間位置演算）

補間係数演算

Sin,Cos演算

正像変換係数演算(1)

正像変換係数演算(2)

１フレーム１回処理

出力画素数処理

RGB24Bit×16

参照画素レジスタ

アドレス計算

RGB24Bit

倍率半径

ix、iy

Cubic補間

画像処理コア

切り出し位置

正像変換（補間位置演算）

補間係数演算

Sin,Cos演算

正像変換係数演算(1)

正像変換係数演算(2)

１フレーム１回処理

出力画素数処理

RGB24Bit×16

参照画素レジスタ

アドレス計算

RGB24Bit

倍率半径

ix、iy

Cubic補間

■ 演算器の工夫 (一例)

1f

)(xf

t

t0f

C

1f 2f 3ft

0f

b

1f 2f 3f2f

線形補間演算器

線形補間の三段積み

係数aは のみ2f

直接演算可能

係数b,cはシフト演算で処理可能

0.2＝1/5 → 循環小数 [ ]1100.0 &&&&1f

)(xf

t

t0f

C

1f 2f 3f0f

C

1f 2f 3ft

0f

b

1f 2f 3f0f

b

1f 2f 3f2f

線形補間演算器

線形補間の三段積み

係数aは のみ2f

直接演算可能

係数b,cはシフト演算で処理可能

0.2＝1/5 → 循環小数 [ ]1100.0 &&&&

画像処理コア

Cubic Spline補間演算器

入力