演化式演算法在電腦視覺之應用

20091126 Seminar 報告

研 究 生：劉恭良指導教授：何瑁鎧

2

Outline1. 簡介2. 相關研究3. 目前進度4. 未來規劃5. Q&A

3

1. 簡介目的

◦電腦視覺的應用越來越多，如何改善並延展現有的應用 ( 如：改善準確率、提升效能 ) 已經是目前熱門的研究。

◦我們將使用演化式演算法來改善我們現有結果，希望可以藉由新的演算法來提升準確率、達到高效能的成果。

◦目前重點將放在 3D模型重建和影像修補。

4

2. 相關研究 (1/13)蔡政君提出「使用光束調整法與多張

影像做相機校正與三維模型重建」

◦使用多視角影像來改善各個對應點位置，並經由光束調整法產生較精準的相機內、外部參數，接著建出想要的模型。

5

2. 相關研究 (2/13)稀疏光束調整法SBA(Sparse Bundle Adjustment)

◦ 處理相機參數的最佳化，經過 SBA 運算後，取得高精確度之對應點，並利用此高精確對應點進行相機校正處理。

◦ SBA 對於所有三維點與相機參數進行最小化投影誤差，也就是影像觀測點與預測點之差距，並取其大量非線性平方和當作實際評估函數。

6

2. 相關研究 (3/13)蔡瑞陽提出「從多視角萃取密集影像對應」

◦對應點位置之改善 極線轉換

◦各種不同條件下精確地萃取對應點 零平均正規化相關匹配、 ZNCC(Zero-mean

Normalized Cross-Correlation) 顏色直方圖

7

2. 相關研究 (4/13)極線轉換

◦任兩張影像上兩對應點，在第三張影像上，其極線交點即為兩對應點在第三張影像上的對應點。

I3

I1 I2

p1 p2

p3

L1 L2

8

2. 相關研究 (5/13)吳坤信提出「從多視角已校正影像改

善三維粗略模型」

◦利用視覺外廓去改善模型的精確度

◦使用多視角幾何及極線轉換改善多視角相片上的對應點

◦自動化的將多視角拍攝的相片敷貼於三維空間模型上

9

2. 相關研究 (6/13)劉啟宗提出使用序列影像做影像修補

◦使用 Homography 與 Image Rectification 特性修補影像中的缺口

10

2. 相關研究 (7/13)粒子群最佳化PSO(Particle Swarm

Optimization)

Step1：◦將問題形式化。將 D 個參數最佳化的問題

視為一個 D 維的求解空間，定義一個具有粒子的族群，每個粒子的位置及速率均為D 維的向量。

11

2. 相關研究 (8/13)Step2：

◦ 初始化。◦ 以隨機方式設定每個粒子的位置及其速率。

Step3：◦ 將粒子的位置代入求解問題評估函數以求得每

個粒子的評估值。Step4：

◦ 每一個粒子的評估值與該粒子所經歷的最佳評估值比較，假若新的評估值比粒子的最佳評估值佳，則以新的位置及評估值取代粒子的最佳解位置及評估值。

12

2. 相關研究 (9/13)Step5：

◦ 每一個粒子的最佳評估值與群體的最佳評估值比較，假若粒子的最佳評估值比群體的最佳評估值佳，則以粒子的最佳解位置及評估值取代所有粒子的最佳解位置及評估值。

Step6：◦ 使用下列式子改變個體的速率並移動粒子位置。

◦ 其中　　為粒子的位置， 為粒子的速度， 為粒子最佳解位置，　為所有粒子的最佳解

位置， C1=C2=2 ， rand 為 -1 至 1 的亂數值。

13

2. 相關研究 (10/13)Step7：

◦重複步驟 3~ 步驟 6 ，直到群體的最佳評估值符合我們的需求。

14

2. 相關研究 (11/13)基因演算法極值問題：

◦評估函數的最大化或最小化排列問題：

◦在 N 個元素中取 M 個進行排列組合問題：

◦投資組合◦預算分配◦排課問題

15

2. 相關研究 (12/13)基因演算法優點：

◦可以處理的資料類型範圍極大◦可以用在最適化的問題上◦和類神經網路結合容易

16

2. 相關研究 (13/13)基因演算法缺點：

◦許多問題有編碼上的困難◦不保證最適化◦運算成本極高◦可以運用的商業套裝軟體不多

17

3. 目前進度 (1/6)非共面材質處理

類似且重複性牆面

柱狀牆面

18

3. 目前進度 (2/6)類似且重複性牆面

拍攝照片時，很有可能一張照片裡有重覆需要修補的地方，稱為重覆性牆面。

先選定要修補的區塊，再使用區塊比對演算法找出照片中重覆區域，以進行影像修補。

19

3. 目前進度 (3/6)

20

3. 目前進度 (4/6)柱狀牆面

因為必須貼回 3D Model ，所以需要對照片做正規化處理。

選定一平面後，將自動產生對應的曲線高度，以用來做後續的homography 對應。

21

3. 目前進度 (5/6)解析度2592*3888

22

3. 目前進度 (6/6)經由實驗自動產生的曲線

0 500 1000 1500 2000 25000

500

1000

1500

2000

2500

3000

3500

123451 Point2 Point3 Point4 Point5 Point

23

4. 未來規劃將投入在多種電腦視覺應用，並加入

一種或多種演化式演算法，用來提升實驗準確率及實驗效能。

考慮在 Multi-Core 的架構下進行實驗。(Ex ： NVIDIA CUDA)

24

5.Q&A

Thank you for your attention!!