1

第八章識別、檢索與匹配

2

8.1 前言 8.2 統計圖形識別 8.3 模組式圖形識別 8.4 匹配演算法原理

8.5 影像匹配 8.6 三維影像重建

8.8 作業

8.4.1 動態規劃式的 BSSC 解法

8.4.2 KMP 演算法

8.6.1 稠密式視差估測 8.6.2 相機校正

3

8.2 統計圖形識別 貝氏決策理論

假設有二類木頭， A 和 B ，Ａ佔 P(A) 的比例而 B 佔 P(B) 的比例， 。已知 。利用木頭的紋理 X 來評估該木頭的種類。

1)()( BPAP )()( BPAP

)|( AXP

)|( BXP

條件機率值

X X

圖 8.2.1.1 P(X|A) 和 P(X|B) 的分佈圖

當 時， ，我們說該木頭為 A 類，的確很合理，但得注意一點，我們仍會犯誤判的風險，畢竟 仍有機率值。

XX = )|()|( BXPAXP

)|( BXP

4

)(

)()|(

)(

)()|(

XP

APAXP

XP

XAPXAP

我們有興趣的是給一個 X 值，該木頭屬於 A 或 B 的機率為何？依據貝氏法則，

透過貝氏法則，　　 這個事後機率就可由事前機率P(A) 、 P(B) 、 和 求得。

)()|()()|()( BPBXPAPAXPXP 此處 。)|( XAP

)|( AXP )|( BXP

)|( XAP

)|( XBP

機率值

X X圖 8.2.1.2 P(A|X) 和 P(B|X) 的分佈圖

當 ， ，這時可判斷該木頭為 A ，畢竟冒的風險較低，也就是 。去掉 和 的 項，當 時，我們判斷該木頭為 A 。

XX = )|()|( XBPXAP

)|()|( XBPXerrorP

)|( XAP )|( XBP )(XP)()|()()|( BPBXPAPAXP

5

)(1 Xg

)(2 Xg

)(Xgc

X MAX jT

圖 8.2.1.3 識別器示意圖

將紋理由一維擴充到 d 維而將樹木的種類由 2 種擴充到 c 種。令第 i 類的識別器為 ，此處 X 代表木頭紋理向量 而 代表第 i 類木頭， 。為簡化計算起見，我們作用單調遞增函數於上，得

ci1

)(log)|(log)( iii TPTXPXg

圖形識別器

)()|()( iii TPTXPXg

),,,( 21 dxxxX iT

)(Xg j

jT

給一紋理向量 X ，如果 為最大值， ，我們將該木頭分類為 。

cj 1

6

8.3 模組式圖形識別 假設在模型上共可抽取出 m 個特徵向量 ，而在影

像 I 上抽取出 n 個特徵向量 ，通常 。 存在一平移函數 T 將 F 移到影像的某個地方。

) ,, ,( 21 mfffF

)( 21 nf, , f, fF mn

2

2

2

2

2

222

2

2

2

2

F

I

(3,4) (10,4)

(2,9)

(7,11)

a b

c

d

(2,2)

(3,4)

(5,6)(11,5)

(12,6)

(4,11)

(3,13)

(9,13)

(3,17)

a b

c

d

(0,0)

T

圖中， F 經 T 作用後， F 上的四個特徵向量皆可在 I 中找到與它們對應的最近特徵向量。我們得到的平方差和為 67 。不同的 T 會造成不同的平方差。但平方差的量度並非為很強健的量度。

7

在一個固定的 T 下， F 和 I 的特徵向量 、 為一配對，將距離函數記為 ，如此 , 定義聯合機率密度函數為

引入最大可能的觀念，我們得

模組匹配的精神就是在找一個 T 使得上式有最大值。上式中的 可定義為

令

kf jf

)T(dk

) )T( d(p) | T)T(, d, )T(, d)T(d(p i

m

1im21

m

1iim21 ) )T( d( pln) | T )T(, d, )T(, d)T(d(Lln

,w

δd ,ww)d(p ln

1

21

其它若p(d)ln

)()1()()( 21 d pβdβ pdp 2

2

2

-

21 2

1)d(

d

ep p)d(p2

8

上式中 的適合用來量度內圍層的機率而 適合用於外圍層的量度

)(1 dp )(2 dp

)(1 dp

)(2 dp

9

Harris corner 利用一個視窗在影像上的移動，可得到強度變化情形：

平面：往任何方向移動僅造成小變化 含一條邊：與邊平行的變化量小；反之則大 含角點或獨立點：往任何方向變化皆大

10

爲了捕捉視窗內子影像的灰階梯度變化，令

我們可利用高斯函數 (pp.314) 來平滑雜訊的影響，令

可以得到視窗作用到子影像的綜合灰階梯度變化之影響，這影響可表示為

x ( 1,0,1)f f x

y ( 1,0,1)tf f y

2xA G 2

yB G x yC G

2 2 2Ax By Cxy ( )A C x

x yC B y

( ) ( )tx y M x y E

11

我們可以說函數 E 是一種局部自我關聯的函數，而在函數 E 的矩陣式子中，矩陣M 就是函數 E 的代表。數學上，矩陣M 的兩個特徵值代表下列意義： 和 皆很小：代表視窗內為平滑區 和 中，一大一小：代表含一邊的區域 和 皆很大：代表含角點的區域

1

1

1

2

2

2

12

影響值 R=det(M)-k*(trace(M))2 來決定是否小區域內有角點，判斷的準則為 且 ：代表平滑區 ：代表含一邊的區域 R>>0 ：代表有角點的區域利用以上方法可以將 I 和 F 內的所有角點找出來。

0R 0R 0R

13

8.4 匹配演算法原理 8.4.1 動態規劃式的 BSSC 解法 BSSC(Banded String-to-String Correction) 之目的為在樣本和正本

之間找出最大的匹配點與匹配點的位置。

1P 2P 3P4P 5P 6P 7P 8P 9P 10P

1T

2T

3T

4T

5T

6T

7T

8T

9T

10T

|3|

圖 8.4.1.1 匹配結果

109854321 PPPPPPPP

109854321 TTTTTTTT

將　和　想像成特徵值。因為視差的關係，　只能與　 範圍內的特徵匹配到。

iP jT

iP iT

樣本 =正本 =

給一個例子如下：

圖 8.8 的搜尋範圍就是黑色粗邊框住的範圍而得到的最佳匹配就是鋸齒形的路徑上之黑圓點集。

14

匹配算子

取代算子 R

刪除算子 D D(a)= 的花費定為 1插入算子 I I( )=a 的花費定為 1

a b ， R(a)=b 的花費定為 1a = b ， R(a)=b 的花費定為 0

圖 8.8 一共含有下列十四個運算(1) I( )=P1 (2)R(T1)=P2 (3)R(T2)=P3 (4)D(T3)= (5)D(T4)=

(6) I( )=P4 (7)R(T5)=P5 (8)R(T6)=P6 (9)D(T7)= (10)D(T8)=

(11)I( )=P7 (12) I( )=P8 (13)R(T9)=P9 (14)R(T10)=P10

15

動態規劃核心式子

iTTTiT ...]...1[ 21 jPPPjP ...]...1[ 21 Edit[0, k]=k Edit[k, 0]=k

),,(],1[min(],[ iTeditjiEditjiEdit)),(]1,1[),,(]1,[ jij PTeditjiEditPeditjiEdit

表示將 T[1…i]轉換成 P[1…j] 的花費。

edit(Ti, Pj) 表示 R(Ti)=Pj 的花費

edit(Ti, ) 表示 D(Ti)= 的花費

edit( , Pj) 表示 I( )=Pj 的花費

BSSC 的時間複雜度為n 為正本長度，　為視差

)( n

16

8.4.2 KMP 演算法 樣本先進行事前處理 利用樣本中子字串 (Substring) 與前置字串 (Prefix String) 的吻合

度，並記錄其吻合的長度於陣列 J [ ] 中。 i 1 2 3 4 5 6 7 8 9 10

P [i] a c a c a a a c a cJ [i] 0 0 1 2 3 1 1 2 3 4

P[3]=a=P[1] J[3]=1P[3…5]=aca=P[1…3] J[5]=3P[7…10]=acac=P[1…4] J[10]=4

KMP字串匹配演算法 T [ ]=cccacacaaacaccaa

T[i] P[i] ， 。 T[4…13] = P[1…10] 。T[5] P[1] ， T[6] = P[1] T[6…8] = P[1…3] T[9] P[4] ， J [4]=2 P[1…J [4]-1]=P[1]=T[9- J[4]+1…8]=T[8] 陣列 J [ ]提供了一個跳躍的機制，讓匹配動作可一直往右前進。

31 i

KMP 的時間複雜度為 O(m + n)

17

8.5 影像匹配 形狀乃是該物體的多邊形外圍描述

(a) 魚外形 (b) 魚外形之多邊形描述

圖 8.5.1 魚外形及其多邊形描述

18

演化：兩段鄰近的邊合併成一段邊

)()(

)()(),(),(

21

212121 SS

SSSSaSSr

　　　是二段邊　和　之間的夾角　　為　的長度。　　　的值愈小，表示　和　愈適合合併。

),( 21 SSa 1S

2S

)S( i iS

),( 21 SSr 1S

2S (a) 第一次演化

(b) 第二次演化

圖 8.5.2 演化

匹配

0

12

30r

1r

3r2r

圖 8.5.3 待匹配的兩多邊形 0

2

3

10r

2r

3r

1r0

2

3

10r

2r

3r

1r0

2

3

10r

2r

3r

1r

可能的匹配組合

19

S

900

1800

2700

匹配花費 (相似度的依據 )

(a) 長方形物件 (b) 斜率空間表示圖

圖 8.5.4 多邊形轉成斜率空間表示圖

以圖 8.12(a) 為例。從　點出發，依照順時針的方向，紀錄段落的長度和兩連續段落間轉角的變化，就可建出圖 8.12(b) 的斜率空間表示圖了。將各個段落集的斜率空間表示圖建起來，並予以正規化，即可算出相似的程度，也就是可算出花費，如此一來就可透過動態規劃法完成二多邊形物件匹配的工作了。

S

20

8.6 三維影像重建8.6.1 稠密式視差估測

問題定義　 稠密式視差估測是在 L 上的所有

像素中和 R 上的所有像素中找到一個對應。

二階段式的分割與克服方法

P

X

Y

Z

OL'X

'Y

'Z

OR

(R)右影像 (L)左影像

圖 8.6.1.1 稠密視差估測示意圖

21

第一階段的分割與克服方法 　

1. 利用 Marr-Hildreth 測邊法得到主要特徵像素集： 2N

22222 21 N

NL

NL

NL

NL NSSSS

L 上第 列中的主要特徵集可表示為：

22222 21 N

NR

NR

NR

NR NSSSS

NN N 21

2NR 上第 列中的主要特徵集可表示為： ，

NN N 21，2. 和 的匹配工作

2NLS 2N

RS

,,,,min,S 222222NL wSvSCwSvSCSvC N

RNLrightocc

NR

NLmatch

NR

wSvSC NR

NLleftocc

22 ,

其中 OccNR

NL

NR

NLleftocc CwS,vSCwS,vSC 12222

OccNR

NL

NR

NLrightocc CwS,vSCwS,vSC 2222 1

wS,vS

NR

NL

NR

NLmatch N

RNL

CwS,vSCwS,vSC 2211 2222

22

~~~~

2/NLS

2/NRS

12/NLS 22/N

LS wS NL

2/ 2/2/

NNL mS

12/NRS

22/NRS

vS NR

2/

2/2/

NNR nS

~~

~~

圖 8.6.1.2 和 的匹配2NLS 2N

RS

其中

212

22 llCnS,mS N

RNL

1221 vSvSl N

LNL

1222 wSwSl N

RNR

21

1

2

21

2

1

11

11

2

1 l

q

NRR

l

p

NLL qwSI

lpvSI

lmean

21

1

22

21

22

1

2 11

11

2

1 l

q

NRR

l

p

NLL meanqwSI

lmeanpvSI

l

取代算子：

23

A

B

X CDX

(a) 右遮蔽花費 (b) 左 遮蔽花費

圖 8.6.1.3 右遮蔽花費和左遮蔽花費示意圖

thrfkCCCO ;2/2

221 0

thr

2*thr

2/22

21

thr

f

3. 加入消去法則 若兩兩匹配位置的差，形成之序列為 ，則 的視差偏移不太正常，可以予以去除。假設在 列時的平均視差偏移序列為 。若新進來的視差偏移序列為 ，則 的視差偏移可予以去除。

56525 ,,,, 2kN 2

4655 ,,, 416375 ,,,, 16

24

第二階段的分割與克服方法 　

1. 在二段匹配的子區間中， 再進一步找出個別的像素配對

1 NN 12/NLS 12/N

LS 12/NLS 12/N

LS 12/NLS 12/N

LS1

A B C

三維物體

圖 8.6.1.4 二子區間匹配

2. 利用平均視差偏移量d ，可將第二階段的工作轉成 BSSC問題的解決上

2

2

22

22

22W

Wy,x

NLR

NLL

NR

NL

'

ywwS,xNIyvvS,xNI

wwS,vvSCR 算子：

D 算子：類似於前面定義的左遮蔽花費I 算子：類似於前面定義的右遮蔽花費

W 為事前定義好的小視窗

25

圖 8.6.1.5 對應的 BBSC搜尋空間

26

圖 8.6.1.6 輸入的二張影像

(a) 影像 L (b) 影像 R

圖 8.6.1.7 得到的視差圖

圖 8.6.1.8 重建後的三維

五角大廈圖

27

圖 8.6.2.1 相機座標系統和影像座標系統

28

8.8 作業

試利用八分樹式檢索法，建構一八分樹至第二層即可，並統計各節點通過之次數。

33

習題一：

　　給一　　 張彩色影像，如下圖所示。

(110, 120, 230)

(60, 110, 180) (90, 95, 200)

(244, 250, 111)

(200, 50, 100) (70, 125, 225)

(180, 190, 90) (100, 175, 80) (189, 77, 31)

習題二：

　　提出異於 8.3.3節中討論的形狀相似度表示法。