結合空間關係之正交基底 Multiple-Instance影像擷取方法

研究生：賴勤寧指導教授：蔣依吾 博士國立中山大學資訊工程學系

Content-Based Image Retrieval Based on Feature Spatial Structure

(FSS)

影像搜尋基本模型

( 顏色 , 形狀 , 紋理 )

影像特徵擷取方法 - 顏色 (Color)

Color Histogram [Ballard91][Novak92][Swain94]

事物不相似卻有相似顏色 ; 同一件事物有不同顏色代表之

Reference Color Table Method [Mehtre95][Mital98]

蘋果紅

青柳丁

橘子

橘紅

影像特徵擷取方法 - 形狀 (Shape)

Chain Code [Gam82][Kaneko85]

Sobel Edge Detection [Shu87][Chan92]

金字塔

籃球

橘子

事物不相似卻有相似形狀 ; 同一件事物有不同形狀代表之

影像具重複性週期性出現之特徵單元以區分影像

影像特徵擷取方法 - 紋理(Texture)

Tamura Texture[Tamura78][Bae97]

只適用在純紋理的影像

Co-occurrence Matrix [Haralick70][Argenti90]

多數影像搜尋系統不會只使用單一方法擷取特徵，例如： QBIC: 提供顏色、形狀、空間關係；

影像搜尋應用 :

上述所建立索引檔資訊仍不能明確代表影像

•使用碎形正交基底技術，具良好索引性質(Z.Z.Tsai,2003)

•單一張影像進行檢索條件不明確

•輸入多張影像，透過 Multiple-Instance Learning 法則自動找出影像特徵，使搜尋條件更為明確。

3 張正相關影像共有特徵為：瀑布、岩石。

負相關影像特徵有：藍天、白雲、草原、岩石。

Concept(3+,1-) ={瀑布 , 岩石 }–{藍天 , 白雲 , 草原 ,岩石 } ={瀑布 }

Multiple-Instance Learning

使用 MIL會產生找不到特徵問題

Feature 1

Feature 2

1

5

2

3

4

1

1

4

8 8

7

88 5

7

8

3

1

6

4

1

75

66

8

6

Negative Examples Positive Examples

3

共有特徵

Diverse Density (DD)[Maron98]

5 張正相關影像，標示為 1~5；3 張負相關影像 ，標示為 6~8

找出空間上一理想特徵點 t

• 無法詮釋影像在空間上的關係

• 特徵間的空間關係:比例大小、位置、方向

影像加入空間限制

資料庫影像 1

資料庫影像 2

搜尋影像

影像中物件表示

1. MBR (Minimum Bounding Rectangle)

2. 2d-SS string

2d-x string: aL, bL ,aR, bR2d-y string: bW ,bH , aW , aH

a

b

x

y

=

空間關係推理技術

[91]

[87]

[91]

[88]

[92]

[95][99]

[88]

[92]

[97]

[97][2001]

[2001]

[2001]

[2001](1)

(2)

(3)

[2004][2005]

[2005]

Completely Spatial relationships on 1D

種空間關係713

推論出 169(13*13)種空間關係 on 2D

• 由於 169空間關係過於複雜，對於真實影像限制過於嚴格。 (SBA,2005)

缺點 : 無法判斷物件間在空間上方位關係

由於 SBA對於空間關係定義過於簡單，

本論文將提出另一空間關係以解決上述類似問題

空間關係視為相同

本論文提出之空間關係定義

分成兩類討論 :(1)Non-overlap: 20

(2)Overlap: 171.MBR extend overlap: 4

2.Truly overlap: 13

(1)Non-overlap: 20

abbb

bb b

b

bb

b

bb

b

b

bb

bb

bb

a

b

6.5

6

(2)Overlap: 17

MBR Object Extent Overlaps: 4

b

a

a

b

a

b

b

a

b

a

Rank: 8

Rank: 2

Rank: 6

Rank: 4

Truly Overlaps: 13

Rank value: (X, Y)X: 方位Y: 重疊

b a

Rank_ab: (8, 1)

bb

Rank: (1, 1)

a

Rank: (8, 1)

ab

Rank: (2, 1)

a

b

Rank: (3, 1)

a

b

Rank: (4, 1)

a

b

Rank: (5, 1)

ab

Rank: (6, 1)

a

b

Rank: (7, 1)

ab

ab

a

b

a

b

a

ba

Rank: ( 0, 1)

碎形正交基底相似性測量• 特徵區域分散程度• 特徵群比例• 特徵群結構

•物件方位關係•物件個數•大小•顏色分類•距離

影像物件在空間上相似性測量

{ 橘紅 60%,白 40%}{ 橘紅 80%,白 20%}

影像資料庫建立• 影像尺寸不限 , 熱帶魚影像數目 :3138

本論文系統模型

比較方法 1: SSR(2004)

“相同特徵表示” +“ 相異空間限制”

“相異特徵表示” +“ 相同空間限制”比較方法 2: SBA(2005)比較方法 3: Vector

quantization(1997)比較方法 4: Multiscale Entropy(2000)

實驗結果 Precision: Recall:相似影像輸出數搜尋輸出影像總數

相似影像輸出數所屬搜尋影像類別之總數

Example : Clownfish ( 小丑魚 )

所屬搜尋影像類別總數 : 21

FSS method

比較方法 1: VQ method

相異特徵表示 + 相同空間限制 (2d-SS)

Precision

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

VQ

Recall

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

VQ

碎形正交基底

R,G,B Codebook 訓練by LBG algoruthm.

FSS method

比較方法 2: ME method

相異特徵表示 + 相同空間限制 (2d-SS)

Precision

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

ME

Recall

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

ME

Wavelet transform

碎形正交基底

FSS method

比較方法 3:SSR method

相同特徵表示 (fractal)+相異空間限制

Precision

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

SSR

Recall

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

SSR

Overlap: 9Non-Overlap: 8

Overlap: 17Non-Overlap: 20

FSS method

比較方法 4:SBA method

相同特徵表示 (fractal)+相異空間限制

Precision

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

SBA

Recall

0

0.2

0.4

0.6

0.8

1

1.2

0 5 10 15 20

FSS

SBA

Overlap: 5Non-Overlap: 2

Overlap: 17Non-Overlap: 20

•結論

•未來工作- 進行連續影像 ( 影片 ) 比對- 找出更適合的空間關係定義

- 空間關係 直觀認知特徵及特徵間方位

- 明確清楚使用者所欲搜尋特徵