航測及遙測學刊 第二十卷 第 2期 第 129-137 頁 民國 105 年 04月 129

Journal of Photogrammetry and Remote Sensing Volume 20, No.2, 2016, pp. 129-137

DOI：10.6574/JPRS.2016.20(2).4

1國立中興大學土木工程學系 博士生 收到日期：民國 102 年 04 月 08 日 2國立中興大學土木工程學系 碩士生 修改日期：民國 103 年 07 月 31 日 3國立中興大學土木工程學系 教授 接受日期：民國 103 年 08 月 29 日

＊通訊作者, Email: ven.evanscence@gmail.com

應用多視立體及運動回復結構之三維場景重構

趙智凡 1* 潘偉庭 2 楊明德 3

摘 要

三維場景重構能應用於多領域做分析、展示。本研究運用電腦視覺相關演算法，如運動回復結構

(Structure from Motion, SfM)、群集觀點多視立體(Clustering Views for Multi-View Stereo, CMVS)、以區塊

為基礎之多視立體(Patch-Based Multi-View Stereo, PMVS)、柏松表面重構(Poisson surface reconstruction,

PSR)，透過多張影像重構三維場景模型。本研究使用消費型相機與智慧型裝置拍攝不同物體角度之影像，

不需要額外提供攝影裝備的內外參數，即能重構室內外各種尺度的模型，物件由小到大分別為安全帽、

水泥方柱、室外涼亭，以及 UAV 空拍中興大學，並評估各模型的焦距精度。最後，重構三種不同的水泥

方柱模型，利用圖標長度來還原模型真實尺度並進行體積評估。

關鍵詞：三維場景重構、特徵萃取、電腦視覺、多視立體

1. 前言

三維重構是近年來相當熱門領域，而土木工程

與測量領域中，也常需要將其數據、模型、結構進

行快速分析與展示。科技隨著時代的演進，三維重

構的需求也漸漸的需要提升真實度、細膩性與互動

性。

過去透過人工方式量測和計算，耗費時間與各

種成本。目前有許多三維繪製軟體，可產生三維模

型。近幾年來，計算硬體和取像裝置的效能已經大

幅提升，相機校正值與內外方位參數也能快速計算；

透過兩張影像選取共軛點對，透過演算法例如

SIFT(Scale-invariant feature transform)方式，近半自

動化方式運行。

本研究希望透過一般消費型相機拍攝影像，降

低成本取得的多視影像，並進行影像特徵萃取與匹

配、運動回復結構、多視立體、柏松表面重構等電

腦視覺與影像處理技術，重構三維場景模型，透過

半自動化的演算模式，降低傳統測量專業人員所需

的人力成本；並透過圖標引入真實世界尺度大小，

將其模型還原至真實物體尺度並進行體積評估，以

拓展三維場景重構的應用。

2. 文獻回顧

在防災領域中，常必須使用三維數值模型作為

資料分析的因子之一，而研究許多災害發生時，現

階段大多使用衛星影像與航拍取得資料，但往往此

資料卻不夠立即產生三維可視化資料，因而使災害

判斷的因子減少(楊明德等，2011)。遙測測量領域

中，LiDAR 能產生高密度的三維點雲，但存在資

料量過於龐大、價位過高、專業技術密集…等問

題。

130 航測及遙測學刊 第二十卷 第二期 民國 105 年 04 月

為了克服遙感測量三維場景重構的缺點，本研

究尋找電腦視覺、電腦圖學、光學…等領域的技術

探討，透過不同領域的技術改善測量所面臨的問題。

本研究發現，三維重構技術近年來活躍於電腦視覺、

影像追蹤、影像辨識…等領域，因此有許多理論及

應用性產品的產出；例如多視立體 (MVS,

Multi-View Stereo)(Seitz et al., 2006)、 照片旅遊系

統 Photo Tourism(Snavely et al., 2008)、群集觀點多

視立體演算法(CMVS)(Furukawa et al., 2010)和以

區塊為基礎之多視立體演算法(PMVS)(Furukawa

et al., 2007,2010)。藉由這些技術將測量領域與電腦

視覺領域結合，能夠快速且有效的重構三維場景

(趙智凡等，2011)。

3. 方法與理論介紹

攝影測量(Photogrammetry)是一種以拍攝多重

疊區域的影像，透過重疊部分以核幾何原理計算出

空間中三維點資訊的技術，最後產生三維場景模型。

在電腦視覺領域中運用相似的原理，如何從多張不

同角度的場景影像中，計算出正確的三維點位置為

主要關鍵，本研究透過電腦視覺中的演算法以改善

傳統攝影測量三維模型重構的問題，流程圖如圖 1

所示。

圖 1 研究演算架構流程圖

3.1 三維場景重構

透過 SfM，CVMS，PMVS，柏松表面重構

（PSR）…等演算法重構出一個與真實物件相像的

三維模型。本研究目標的三維場景重構方法適用於

各種尺度大小、物件、場景，透過兩個室內和室外

試驗場地，有室內物件：安全帽、水泥方柱；室外

物件：涼亭；並計算其焦距，與相機官方所給焦距，

進行精度比較；最後透過 UAV 所拍攝的影像進行

加值利用展示成果。

3.2 運動回復結構

藉由一些電腦視覺和攝影測量技術，如尺度不

便特徵轉換(SIFT)、隨機樣本一致性(RANSAC)和

光束法平差(bundle adjustment)等技術，不需設定運

算的前置參數，即可趨近自動化計算物體於空間中

的三維資訊。為獲取影像物體的三維資訊，需得知

相機拍攝時的內外方位參數，其中運動回復結構

(SfM)演算法即是解算相機拍攝時移動軌跡的方法

之一。

SfM 有三個主要任務：透過分析相機姿態與拍

攝影像，計算出相機拍攝時的移動軌跡、相機內方

位參數、稀疏三維點雲、基礎矩陣…等資訊，並透

過上述資訊重構出三維場景中目標物件或場景。

SfM 的計算原理如圖 2 所示，相機在不同位置拍攝

多張具有重疊的影像，根據兩張相鄰影像 A、B 中

三角椎的紅色頂點，用交會原理推算實際三角椎的

紅色頂點坐標，建立三角點位的對應關係 SfM 演

算架構流程由圖 3 所示。

圖 2 SfM 示意圖

趙智凡、潘偉庭、楊明德：應用多視立體及運動回復結構之三維場景重構 131

圖 3 SfM 演算架構流程圖

透過一張初始影像與另一張影像的特徵匹配，

利用基礎矩陣算出初始相機𝐶𝑖1與𝐶𝑖2的對應關係，

將影像上 Xj1 與 Xj2投射至空間的三維點 Xj，再將

Xj投射回𝐶𝑖相機的影像上。理論上P與 𝑄𝑖𝑗會重合，

但因為拍攝以及計算投影的誤差，導致兩者無法疊

合，即為再投影誤差。其示意圖如圖 4 所示。透過

光束法平差遞迴計算，利用新加入的相機𝐶𝑖𝑗與多

張重疊影像互相牽制，使投影誤差最小化，並將所

有影像重複匹配，並刪除不匹配的影像與特徵點，

以獲得相對相機拍攝時的位置、相機內外方位參數

與投射在空間中的稀疏三維點雲。

3.3 多視立體

本研究進行三維場景模型重構，透過多視立體

的演算，透過多重影像估算出空間中三維的位置。

本研究採用 Furukawa 所提出的『以區塊為基礎之

多視立體(PMVS)』與『群集觀點多視立體(CMVS)』

作為基礎進行計算密集三維點雲，其兩者演算關係

架構如圖 5所示。綠色框內的運作為CMVS流程，

藍色框內為 PMVS 的運作流程。

透過 SfM 輸出的稀疏三維點雲與對應關係，

CMVS 將影像以相似視角的方式分群，分群示意如

圖所示，將有影像中有拍攝到綠色點的部分分成一

群，拍攝到紅色點的部分分成一群，以此類推。將

分群後輸出的資料與 SfM 輸出的資料提供給

PMVS 計算，提高 PMVS 在三維場景重構計算時

的有效性與速度。

圖 4 再投影誤差示意圖

圖 5 MVS 演算架構流程

132 航測及遙測學刊 第二十卷 第二期 民國 105 年 04 月

圖 6 CMVS 視角分群示意圖

3.4 柏松表面重構（PSR）

本階段重構場景表面，使用 Kazhdan 等人提

出了 PSR 演算法，將點雲連結成網格(mesh)，成為

面結構的三維模型。PSR 能有效處理雜訊，針對具

有方向性的三維點雲進行平滑表面計算，依據實驗

設定調整網格密度。透過 PSR 演算法生成表面光

滑的三維場景模型，並透過自行定義的網格大小降

低雜訊影響。本研究採用 MeshLab 含有 PSR 演算

法的開源軟體。

4. 實驗成果與討論

本研究近景拍攝安全帽、水泥方注、不規則涼

亭與 UAV 空拍中興大學共四種不冋尺度的場景與

物件。以前三組拍攝物件作為三維場景及建模的實

驗測試，再使用 UAV 拍攝校園的影像進行三維模

型重構，將重構出之模型建立數值模型，透過物件

已知真實體積並估算其三維模型體積相比較，估計

本研究三維重構的體積精度及誤差；並將其上述四

項實驗計算出的焦距長，作為三維重構精度評估。

表 1、表 2 為本次計算平台與實驗相機規格，採用

Canon EOS 5D MarkII 全幅相機，並搭配 35mm 定

焦鏡頭以視為真值。表 3 拍攝各物體的影像數與影

像解析度。

表 1 實驗計算平台規格

中央處理器

(CPU) Intel i7 870@2.93GHz

顯示卡 NVDIA GeForce GT 420

作業系統 Windows 7 旗艦 x64

記憶體(RAM) 16GB

表 2 Canon EOS 5D Mark II 相機規格

處理器 DIGIC 4

畫素(pixels) 2110 萬

解析度(pixels) 5616X3744

等效焦距(mm) 35

感光元件大小 36mmX24mm

4.1 三維實驗成果

模型實驗成果如圖 7 所示，三個物件各有四個

形態，從上至下為實際影像、SfM 產生的三維稀疏

點雲、MVS 產生的三維密集點雲與經 Mesh 具有

紋理的模型。

在安全帽的模型中，發現其的透明面罩因特徵

點不明顯，SfM 產生的稀疏三維點雲相對較少，如

圖 7(b)所示。經 CMVS 和 PMVS 擴散的密集三維

點雲，因光線穿透面罩，使其無法擴散出符合實體

的點雲，如圖 7(c)所示，可看出透明板部份重構出

非實際情況的點雲。最後成果如圖 7(d)所示，安全

帽模型的面罩部分無法建立出來。

有些紋理顏色區塊太相近的部分，由於缺少特

徵易使特徵點偵測與萃取的效果不佳，導致模型破

圖的狀況，故本研究在性質過於接近的物體貼上圖

標以增加特徵，如圖 7(e)、(i)所示，在水泥方柱貼

上圖標，涼亭則在柱子的部分貼上圖標。由圖7(d)、

(j)可以看出，原本較難萃取特徵點的柱體部分貼上

圖標後，SfM 就能找到較完整輪廓的稀疏三維點雲。

再經由 CMVS 和 PMVS 擴散後，可以得到更為密

集的三維點雲。使原本難以找到特徵的灰白色水泥

方柱與涼亭柱子，成功建構密集的三維點雲，如圖

7 (g)、(k)所示，最後貼上紋理的模型成果如圖 7(h)、

(l)所示，從視覺上直觀的發現水泥方柱與涼亭柱子

的模型完整度與實際照片十分接近。

趙智凡、潘偉庭、楊明德：應用多視立體及運動回復結構之三維場景重構 133

表 3 實驗影像設定

影像數 解析度

安全帽 16 21M

水泥方柱 17 21M

涼亭 53 21M

UAV 航拍 33 21M

圖 7 場景模型效果

而圖 8(a)為中興校園的空拍範圍截圖；透過圖

(b)了解重構的特徵萃取完整度，驗證自然景色與

都市景色影像中，本研究三維重構是否也能產生完

整的三維模型；(c)表示將其三維密集點雲建立三角

網格形成 MESH；(d)最後將其對應的影像貼至三

角網格上並得到成果，同時檢驗其三維場景重構模

型是否能用來工程與測量加值應用。圖 9 為校園細

部放大圖，(a)(b)(c)分別展示三維密集點雲、mesh

後模型與最後貼上紋理的模型成果。圖 10 是透過

ArcGIS 將資料載入 DEM 的成果，因有三維資訊的

點雲，從二維平面變成具高程的立體地形圖，更便

於地理資訊的加值應用。

圖 8 UAV 空拍中興大學計算其模型各階段成果圖

134 航測及遙測學刊 第二十卷 第二期 民國 105 年 04 月

圖 9 中興大學模型局部截取展示區域各階段成果圖

圖 10 中興大學模型 DEM 成果

4.2 焦距評估

本研究發現在三維場景重構的流程之中，最

重要的部分即為計算基礎矩陣，在計算的過程中，

還可以得到相機外方位參數矩陣與內方位參數矩

陣；其中，內方位參數之中包含相機的焦距長的估

算；透過相機光學性質可以得知，相機的焦距長會

影響影像成像，同時也會影響本研究三維場景重構

成果精度。故本研究透過焦距長精度的計算作為三

維場景重構成果的重要評估指標。

本研究將試驗成果列表，安全帽、水泥方柱、

室外不規則涼亭建物…等三種試驗主要是推估其

焦距長是否接近真值；最後計算『UAV 空拍影像』

焦距長，確認在遠景空拍的狀況之下，估算值會影

響多少。本研究『場景模型』三維場景重構流程中

所計算的皆為焦距長比值，因為計算時都是使用相

對尺度進行計算；透過將計算完的焦距長比值進行

平均與 RMSE 計算，並將計算出的焦距尺度還原

成真實的焦距長，結果如表 4 所示。

4.3 體積評估

為了增加三維模型在測繪工程的應用價值，除

了以焦距精度評估三維模型的品質，還透過模型尺

度還原進行體積估算與精度評估。本研究透過三種

不同樣式的水泥柱試體作為實驗物件，以排水法求

取其真實體積以視為直值。實驗設定數據如表 5

所示，將三個已知體積的水泥柱試體皆貼上 8*8

公分的圖標，作為模型尺度轉換的長度約制條件。

水泥柱模型各視角圖如圖 11 所示，(a)為將水泥柱

貼上圖標的影像；(b)為重構完的三維密集點雲；(c)

為將三維密集點雲建立 mesh 後的模型；(d)則是最

後貼上紋理後的模型成果。

接著為估算重構完成的模型真實體積，藉由已

知的真實圖標長度，再量取各組模型上圖標的長度，

趙智凡、潘偉庭、楊明德：應用多視立體及運動回復結構之三維場景重構 135

作為相對尺度模型轉換為絕對尺度的比例關係。體

積估算的成果如表 6 所示，將轉換後的模型匯入

ArcGIS軟體處理，估算各試體體積並與真值比較，

結果顯示三個水泥柱試體的誤差皆在 3%以內。依

據此體積評估模式，UAV 拍攝之影像中具有任何

已知尺度的物體，便能利用真實尺度的轉換還原模

型的絕對尺度，能夠有效應用於防災、測繪工程的

土方量評估。

表 4 場景模型焦距長估算成果與分析

安全帽 水泥方柱 涼亭 UAV 空拍

拍攝影像數 16 17 53 33

三維點雲數 71563 13987 139335 395715

模型 mesh 重構面數 134706 27704 276938 790162

平均焦距比值 0.999 1.008 0.986 1.0004

焦距比值 RMSE 0.0116 0.0191 0.0031 0.079

焦距長誤差(%) 0.2% 0.7% 1.5% 0.05%

估算焦距長 (mm) 34.97 35.28 34.51 35.014

表 5 試體體積估算設定表

圓形試體柱 方形試體柱 不規則試體柱

體積(cm3) 1256.64 3457.44 1890.56

尺寸(cm) D=10,H=16 W=L=9.8,H=36 X

圖標尺寸(cm2) 8*8 8*8 8*8

影像拍攝張數 23 17 15

圖 11 水泥試體模型各視角圖

136 航測及遙測學刊 第二十卷 第二期 民國 105 年 04 月

表 6 試體體積估算成果表

圓形試體柱 方形試體柱 不規則試體柱

體積真值(cm3) 1256.64 3457.44 1890.56

轉換尺度 5.71 11.11 11.69

模型體積估算(cm3) 1243.56 3543.66 1846.84

誤差百分比 1.04% 2.49% 2.31%

5. 結論

透過電腦視覺所提出的演算法和技術，例如本

研究所使用的運動回復結構(SfM)、群集觀點多視

角立體(CMVS)、以區塊為基礎之多視立體(PMVS)、

柏松表面重構(PSR)等多種演算法技術，不需事先

提供其內外方位參數，即可進行半自動化三維場景

重構，有效簡化模型重構的處理程序及降低成本。

而避免有些物體性質顏色太相近缺乏特徵點，導致

SIFT 難以偵測出特徵點，本研究將已知長寬的方

型圖標貼於缺乏特徵點之部分，以提高特徵點之萃

取，並藉由已知圖標長度，能夠將相對尺度的三維

模型還原成真實尺度，以利後續三維場景模型於量

測與應用的價值。

本研究三維場景重構流程，未來建議可以智慧

型手機、平板電腦、消費型相機所拍攝的影像進行

場景重構，並從演算法獲取的參數資料評估數據精

度，由四組實驗數據成果可得知，以本研究方式所

產生的模型，其焦距長估算誤差可低於 1.5%，目

前僅以單一因子分析，未來可加入其他內方位參數

的精度分析，更完整分析具相關性的各參數精度關

係。透過將本研究三維場景重構的成果，期待可幫

助提高工程與測量領域的應用性，進行三維模型的

設計、監測、管理。

參考文獻

趙智凡，楊明德，吳東諺，2011。運用 SIFT 演算

法進行快速 UAS 拍攝影像匹配及鑲嵌，第三

十屆測量及空間資訊研討會。

楊明德，林暐翔，黃凱翔，張益祥，2011。極端降

雨下陳有蘭溪之崩塌潛勢分析，第 20 屆水利

工程研討會。

Ackermann, F., 1999. Airborne laser scanning -

present status and future expectations, ISPRS

Journal of Photogrammetry & Remote Sensing,

54: 64-67.

Furukawa, Y., and Ponce, J., 2007. Accurate, dense,

and robust multi-view stereopsis, in Computer

Vision and Pattern Recognition: 1-8.

Furukawa, Y., Curless, B., Seitz, S. M., and Szeliski,

R., 2010. Towards internet-scale multi-view

stereo, CVPR: 1434-1441.

Kazhdan, M., Bolitho, M., and Hoppe, H., 2006.

Poisson surface reconstruction, Eurographics

Symposium on Geometry Proceeding: 61-70.

Seitz, S.M., Curless, B., Diebel, J., Scharstein, D.,

and Szeliski, R., 2006. A comparison and

evaluation of multi-view stereo reconstruction

algorithms, IEEE Computer Society Conference

on Computer Vision and Pattern Recognition, 1:

519-528.

Snavely, N., Seitz, S.M., and Szeliski, R., 2008.

Modeling the world from internet photo

collections, IJCV08: 189-210.

Snavely, N., 2010. Bundler: structure from motion

(SFM) for unordered image collections,

http://phototour.cs.washington.edu/bundler/.Cam

era calibration for Matlab, MRL-Inter Corp,

http://www.vision.caltech.edu/bouguetj/calib_do

c/.

Yang, M.D., Chao, C.F., Lu, L.Y., Huang, K.S., and

Chen, Y.P., 2013. Image-based 3D scene

reconstruction and exploration in augmented

reality. Automation in Construction: 48-60.

Zhang, Z.Y., 1999. Flexible camera calibration by

viewing a plane from unknown orientations, the

Proceedings of the Seventh IEEE International

Conference on Computer Vision: 666-673.

趙智凡、潘偉庭、楊明德：應用多視立體及運動回復結構之三維場景重構 137

1 Ph.D. Student, Department of Civil Engineering, National Chung Hsing University Received Date: Apr. 08, 2013 2 Master, Department of Civil Engineering, National Chung Hsing University Revised Date: Jul. 31, 2014 3 Professor, Department of Civil Engineering, National Chung Hsing University Accepted Date: Aug. 29, 2015 ＊

Corresponding Author, E-mail: ven.evanscence@gmail.com

Application of Multi-View Stereo and Structure from Motion to

3D Scene Reconstruction

Chih-Fan Chao1*

Wei-Ting Pan2 Ming-Der Yang

3

ABSTRACT

3D scene reconstruction has been applied to broad fields to analyze complex 3D information and display

3D models. The study applies computer vision algorithms, including Structure from Motion (SfM), Clustering

Views for Multi-View Stereo (CMVS), Patch-based Multi-View Stereo (PMVS), and Poisson Surface

Reconstruction (PSR) to generate 3D scene models with numerous images. This study employs images taken by

commercial cameras and smart devices for 3D scene reconstruction through aforesaid algorithms without the

need of internal and external parameters. Also, 3D models can be reconstructed in different scales, such as both

indoor and outdoor for example. There are four experimental objects containing the helmet and the concrete

pillar as small scale models, the pavilion outdoor as a middle scale model, and National Chung Hsing

University’s campus as a large scale model to estimate accuracy of focal lengths for 3D models respectively.

Finally, reconstructing three different types of concrete pillars and applying constraint rules of a pattern scale

was executed to recover the real scale models for volume estimation.

Keywords: 3D scene reconstruction, feature extraction, computer vision, multi-view stereo