计算机研究与发展 ISSN 1000—12391CN 11-1777／TP

JOurnal of Computer Research and Development 47(3)：549-560，20 10

基于图像的几何建模技术综述

束 搏h2 邱显杰1 王兆其11(中国科学院计算技术研究所北京100190)

2(中国科学院研究生院北京100049)

(bshu@ict．ae．en)

Survey of Shape from Image

Shu B01”，Qiu Xianj iel，and Wang Zhaoqil

1(Institute of Computing Technology。Chinese Academy of Sciences，Beijing 100190)

2(Graduate University of Chinese Academy of Sciences，Beijing 100049)

Abstract 3D modeling is an important and interesting problem in both computer vision and computer

graphics fields．Recently，image based modeling is receiving more research focuses because it is of low

cost，easy tO handle and can generate models with very high precision．The technology is also widely

used in digital cultural heritage，movies，games，video surveillance，etc．This technology is highly

valuable in both research and application．Image based modeling focuses on reconstructing 3D models

of obj ects or scenes directly from single image，image sequences or videos．The whole modeling

procedure can be fully automated or facilitated by human interaction．The key problem of image based

modeling is shape from image，which focuses on reconstructing 3D geometry information from images．

However，review work is not available on this topic recently，which has obviously blocked the

development of image based modeling research。As a result，presented in this paper is a review of

analysis and discussion on shape from image．Different methods are classified based on the visual clues

used in modeling from fl computer vision perspective．Basic functions and related works are also

introduced for each method．After analyzing and comparing these methods individually，a conclusion

is drawn which includes the characteristics。problems and future of shape from image．

Key words image based modeling；shape from image；computer vision；visual cues；review

摘要三维建模是计算机图形学与计算机视觉领域研究的重要问题．近年来，基于图像的三维建模技

术因其成本低、操作简单、逼真性高等优势，逐渐得到研究者的重视，相关研究成果也被广泛应用于文物

数字保护、智能人机交互、数字特效制作、实时监控等领域，具有极其重要的研究意义与实用价值．基于

图像的建模研究由单一图像、图像序列或视频中，通过自动或交互的方式，恢复出物体、场景三维模型的

方法．而基于图像的建模首先需要解决的核心问题是基于图像的几何建模问题．它主要研究的是如何从

图像中恢复出物体或场景的三维几何信息．而该技术领域当前综述性文章的缺乏成为其发展的制约因

素．因此，对基于图像的几何建模技术进行了综述性的分析与讨论．侧重从计算机视觉的角度，按照建模

时所使用视觉线索信息的区别，对目前主流的基于图像几何建模方法进行了归类；分另q对各类方法进行

了基本原理探讨与研究现状介绍，并作了较深入的对比分析与讨论；最后，经过对现有研究工作的分析，

对该领域存在的问题作出了总结，并对其未来可能的发展与研究方向给出了一些预测性建议．

收稿日期：2008—05—12#修回日期：2009—09—16

基金项目：国家“八六三”高技术研究发展计划基金项目(2006AA012336。2007AA012320)；北京市教育委员会共建项目专项资助

万方数据

550 计算机研究与发展2010，47(3)

关键词基于图像的建模；基于图像的几何建模；计算机视觉；视觉线索；综述

中图法分类号TP391．9

基于图像的建模(image based modeling)技术

是计算机图形学与计算机视觉领域的研究热点，它

研究如何使用单张图像、图像序列或视频中的各种

线索信息，恢复出物体或场景的三维模型．该技术在

古文物数字化保存、影视制作、游戏娱乐、工业设计、

医疗康复等领域具有非常广泛的应用前景．

基于图像建模的核心问题是基于图像的几何建

模(shape from image)问题．它研究如何从图像中恢

复出物体或场景的三维几何信息，并构建其几何模

型表示，以进行三维渲染与编辑．根据计算机视觉理

论，图像是真实物体或场景在一定的光照环境作用

下，通过相机镜头的光学投射变换得到的结果．图像

中包含了大量的视觉线索信息，如轮廓、亮度、明暗

度、纹理、特征点、清晰度等，而基于图像的几何建模

研究如何通过运用上述视觉线索信息，并结合估计

得到的相机镜头与光照环境参数，进行光学投射变

换的逆变换运算，恢复出物体或场景的三维几何信

息，并得到其三维几何模型表示的过程．

近期，国内外在该领域出现了大量研究工作，但

缺乏对其全面的总结、分析与比较，限制了相关研究

工作的进行．本文对目前国际上基于图像的几何建

模工作作了全面的分类与总结，介绍了不同实现方

法的基本原理与研究现状，并分别对其进行了深入

的分析与比较．最后，本文对基于图像的几何建模技

术作了总结与分析，并针对其未来可能的发展与研

究方向给出了预测与建议．

1基本分类

传统的三维建模主要使用基于几何造型的建模

方法，由专业美术人员通过使用几何造型软件(如

AutoCAD，3DsMax，Maya等)，运用计算机图形学

与美术理论，创建出物体的三维模型．这种方法的缺

点是工作量大、效率低．并且，由于建模过程极大地

依赖于建模人员的专业知识与经验，精度无法保证．

由于真实的二维图像中蕴含着物体丰富的线索

信息，从中恢复三维模型信息并进行可视化具有效

果逼真、建模高效的优点．因此，国内外研究者提出

了基于图像的渲染【1。、基于图像的混合建模与渲

染∞o与基于图像的建模等多种方法．前2种方法的

目的只是产生逼真的三维漫游效果，并不生成真正

的三维模型．而基于图像的建模则能够生成物体精

确的三维几何模型，根据图像采集时对光源是否进

行主动控制，基于图像的几何建模可以分为主动法

与被动法2种．

主动法通过主动控制光源的光照方式，分析光

线投射在物体表面上所形成的不同模式，得到物体

的三维模型．如激光扫描法、结构光法[3]、阴影法[41

等．这种方法的优势是可以得到物体精确的表面细

节特征．但其成本很高，操作不便，还需要进行复杂

的后期处理(如面片拼接、删除散乱点、模型补洞

等)．并且，由于这种方式通常需要使用较强的光源，

对于被重建物体会造成一定损害，限制了其应用范

围．被动法并不直接控制光源，而通过被动地分析图

像中各种特征信息，逆向地重建出物体的三维模型，

这种方法对光照要求不高，成本较低，操作简单．由

于主动法技术比较成熟，而近期国际上的研究T作

主要集中在被动法．因此，本文重点介绍被动法．

基于图像的建模以其显著优势，得到了广泛的

研究关注，近期出现了大量不同的技术路线与方法．

国内外也出现了一些相关的综述性研究工作，如

Liu等人[51从计算机图形学的角度，分析了广义的

基于图像建模技术．然而对于其核心——基于图像

的几何建模技术，尚缺乏比较全面的综述性介绍．本

文主要从计算机视觉的角度，按照使用图像中视觉

线索信息的不同，将基于‘图像的几何建模方法进行

了分类．由于各线索信息之间差别明显，因此，这种

分类方法更加简明、直观．下文将对这些方法分别进

行介绍与比较．

2轮廓法

基于轮廓的建模(shpe from silhouettes／contours)

通过分析物体多视角下的轮廓图像(contour)或侧

影轮廓线(silhouette)，得到物体的三维模型．

Martin等人[6]首先提出使用轮廓进行三维建

模的方法：将物体所在的三维空间离散化成体素，并

使用正向试探，剔除投影在轮廓区域外的体素，从而

得到物体的三维模型．Laurentini[71进一步研究了该

方法的理论依据，并提出了可视壳(visual hull)的概

念．可视壳是所有轮廓图像反投影到三维空间中形

成的三维锥壳的交集．对于一个物体来说，其三维模

万方数据

柬搏等：基于图像的几何建模技术综述

型必定落在其可视壳中．并且，当使用的轮廓图像足

够多时，可视壳被认为物体三维模型的一个合理逼

近．由于三维锥壳的相交性计算是一个三维空间中

的复杂多面体求交问题，计算复杂性很高．因此，轮

廓法主要需解决三维锥壳的快速求交问题．

SzeliskiL副将物体所在的三维空间用八叉树的

数据结构进行存储，以一种由粗到精的方式进行体

素判断，这种方法极大地提高了建模速度．在此基础

上，TariniL列使用Marching Intersection结构，进一

步提高了体素判断的效率．Franco等人[10]进一步提

出了一种混合方法，在一定程度上均衡了重建速度

与精度的矛盾．由于使用离散化体素的建模容易产

生锯齿现象，Matusik等人【lu提出了另一种加快求

交的思路：用多边形逼近轮廓图像的侧影轮廓线，将

复杂的三维锥壳相交简化为二维多边形的求交，提

高了建模的效率，并避免了锯齿现象的产生．此外，

Snow等人【121通过使用背景减除算子，结合全局优

化，实现了直接从亮度图像建模的方法，避免了繁琐

的手工图像分割操作．而SinhaLl3]，Forbes等人[1钉

实现了从未定标图像中生成三维可视壳的方法．近

期，由于图形硬件的发展，还出现了一些基于图形硬

件的可视壳生成方法[1引．

由于轮廓信息相对图像中其他线索信息而言，

是一种明确、不含二义性的信息形式，这使得轮廓法

相比其他方法，具有建模速度快、鲁棒性高的优势．

并且，由于其数据的取值范围只有2种(属于前景区

域或背景区域)，因此，计算复杂性较低．事实上，轮

廓法是所有建模方法中效率最高的，也是唯一能够

满足实时需求的建模方法．同时，由于几乎所有物体

在图像中都包含明确、清楚的轮廓信息，使得轮廓法

可以应用于透明、特征点较少、纹理欠缺等其他方法

难以处理的物体的建模，具有较高的通用性．

然而，轮廓法的缺点是其需要的输入数据源较

苛刻、建模精度较低．首先，由于进行三维锥壳的求

取需要预先得到相机的内、外参数和图像的轮廓信

息．因此，不仅需要进行精确的相机定标，还需要对

图像进行轮廓提取，这使得轮廓法与其他方法相比，

对输入源的要求最为苛刻．并且，由于算法本身的局

限性，轮廓法无法如亮度法、运动法、明暗法等计算

出物体表面的精确深度，并且物体表面的凹陷、空洞

等细节信息也无法体现．因此，轮廓法只能重构得到

物体大致的三维轮廓与拓扑．然而，结合一些高效的

图像分割方法，如关键抠色法、背景减除法等，轮廓

法仍然被广泛应用于一些对模型精度要求不高，对

速度和鲁棒性要求较高的场合，如人机交互、运动跟

踪等．

3 亮度法

基于亮度的建模(shape from illumination)通

过分析物体多个视角下图像中亮度特征的一致性关

系，恢复出其表面的深度信息，并得到其三维几何

模型．

对于满足朗伯表面假设的物体，不论光源方向

如何，相同的表面点从任何方向观察都具有同样的

亮度，这被称为亮度一致性．因此，通过比较物体不

同视角下图像亮度值的一致性，可以得到物体表面

三维点的位置，从而恢复出三维几何模型．

首先，亮度法需要选择合适的亮度一致性算子．

早期主要使用颜色绝对差值算子[16。7‘，这种算子比

较简单，但对光照条件特别敏感，随着误差平方和、

归一化互相关【18]等考虑局部区域相关性算子的出

现，使亮度法逐渐适用于普通物体，并降低了其对光

照的敏感度．此外，一些特殊算子可以处理纹理欠

缺、高光、透明等复杂表面的特殊物体Ll引．亮度一致

性算子提供了三维建模的视觉线索，根据对这些线

索使用方式的不同，亮度法可以分为正向法与逆

向法．

正向法对物体所在的三维空间进行均匀采样，

将各采样点投影到所有可见的二维图像中，若其投

影满足亮度一致性，则说明该三维点属于物体表面，

将其保留，否则，将其剔除．最终，这种方法得到了物

体的三维采样表示——图像壳(photo hull)[1引，并

从中提取三维模型．这种方法也被称为基于图像一

致性的重建(shape from photo-consistency)．由于

采样点在投影过程中存在的互相遮挡现象会破坏亮

度一致性的判断，因此，正向法主要需解决遮挡问

题．Seitz等人[16]的体素颜色法(voxel coloring)提

出只要相机位置满足一定约束，就可解决遮挡问题．

Kutulakos等人[17]的空间雕刻法(space carving)在

牺牲～定精度的前提下，解决了相机位置约束问题．

Culbertson等人[2叫提出的通用体素颜色法(generalized

voxel coloring)运用Z缓冲技术，实现了高效、精

确、简单的可见性计算，基本解决了相机位置约束问

题．此外，Cheung等人[z1]结合轮廓法的思想，将图

像一致性的搜索空间由三维降至一维，效率较高．

Faugeras等人[22]基于水平集的局部优化，实现了复

杂物体的精确重建，但速度较慢．

万方数据

552 计算机研究与发展2010。47(3)

逆向法通过在图像中搜索满足亮度一致性的匹

配点，使用立体视觉的三角测量原理，由这些特征点

反算其对应的三维点位置，从而得到三维几何模型，

这种方法也被称为基于立体视觉的建模(shape

from stereo)．由于匹配点的搜索是一个高自由度的

问题，简单的搜索方法极易陷入局部最优，这将极大

地影响重建效果．因此，逆向法主要需解决匹配特征

点的高效搜索问题．首先，使用极线几何约束L23]，可

以将匹配特征点搜索的空间由二维降低到一维；其

次，在进行匹配点搜索之前，还可以使用多张图像间

极线的对应关系对图像作校正，进一步加快搜索．在

点匹配方面，早期主要基于单点比较的模式，然而，

这种方法极易受噪声干扰，不够鲁棒．因此，近期出

现了基于窗口比较[243的方法，这种方法鲁棒性较

高，但其对窗口的大小、形状较敏感．Boykov等。

人L2副提出基于图割的全局优化，通过添加平滑性约

束，进一步提高了匹配的精确性与鲁棒性．

相较于其他方法，亮度法的优势是可以几乎全

自动地得到较高的建模精度．由于亮度信息是图像

中最丰富、包含数据量最大的信息形式．这使得可以

通过计算亮度在不同图像之间的匹配性，精确地计

算物体表面每个点的深度值．这使得其可以更好地

表现出物体表面的几何细节．事实上，对于一些满足

亮度法假设的物体，现有的方法已可达到与三维扫

描仪相近的建模精度．并且，相对于明暗法等方法，

亮度法没有严格的光照条件要求．而相对于轮廓法、

变焦法、交互法等方法，也没有图像分割、改变焦距

等手工交互，这使得该方法能满足全自动的要求．

然而，亮度法要求物体基本满足朗伯表面的假

设，这使得其无法应用于重建透明、金属、瓷器等包

含大量高光、反射信息的物体．同时，缺少表面纹理

变化、重复的表面纹理会增加亮度匹配的误匹配率，

使得该方法的鲁棒性与灵活性较低．并且，由于在亮

度匹配的计算过程中，需要使用数值优化算法，使得

该方法计算复杂性较高，无法满足实时需求．而且精

确的相机定标要求使其应用受限．但由于亮度法能

够得到很高的建模精度，使得这种方法广泛应用于

文物数字化、人脸自动建模等对精度要求较高的

场合．

4运动法

基于运动的建模(shape／structure from motion)

通过在2幅或多幅未定标图像中检测匹配的特征点

集，使用数值方法，同时恢复出相机运动参数与场景

几何，并得到物体三维模型．

运动法首先在图像中寻找匹配特征点，以恢复

出相邻图像间相机的位姿关系．目前使用较多的匹

配特征点检测算子为HarrisL26]，KLT[2 7。，SIFTL28]

等．通常，这些算子能从图像中得到大量的候选匹配

点，由于其中存在大量的误匹配，使用RANSACL29]

可以对这些匹配点进行精化，得到少量精确的匹配

点，并从中恢复出相机的运动参数与特征点的三维

坐标．+

Tomasi等人[3叼首先提出了使用因式分解的方

法，实现了射影层次的重建．然而，由于缺乏相机内

部参数信息，这种射影层次的重建结果与真实场景

之间存在严重的畸变，其平行、角度、距离等几何约

束关系都无法得到恢复．Faugeras【3u通过为射影重

建的结果引入不同的几何约束信息，逐步将射影层

次的重建升级为仿射、度量与欧氏层次的重建．然而

这种方法仅适用于存在各种几何约束的物体(如建

筑物等)．对于一般物体的重建，需要知道相机的内

部参数．Hartley[3幻使用Kurppa方程与SVD分解，

实现了在图像采集过程中，内部参数不变情况下的

相机内参数自动定标，Pollefeyes等人[33]进一步给

出了相机焦距改变情况下的内参数自动定标方法，

实现了将射影层次重建升级为度量层次的重建．对

于升级重建得到的三维几何信息，一般还需使用一

些优化方法以进一步提高精度．比较常用的方法是

集束调整L3引．最后，对重构得到的特征点进行插值、

网格化，就可以得到物体的三维模型[2引．

相较于其他方法，运动法的优势是不需预先标

定相机的参数，从而降低了对图像采集过程的限制，

这使得该方法的输入源并不局限在为建模而专门采

集的图像序列，还可使用已有的随意拍摄的图像序

列，甚至视频序列进行三维建模．这使得该方法具有

较高的实用价值．同时，由于运动法的基础是特征点

匹配技术，而该技术是计算机视觉领域的重要热点

技术，随着鲁棒的特征点匹配算子(如SIFT，GLOH，

SURF，DAISY等)的出现，使得运动法对于光照条

件、图像噪声等也具有了极强的鲁棒性．并且，运动

法独有的分层次重建特性可以分开独立进行，可控

性较高．

然而，由于运动法计算的仅是所有匹配特征点

的三维坐标，而特征点信息在图像中含量通常较少，

只是对物体表面三维几何的稀疏逼近，因此运动法

万方数据

束 搏等：基于图像的几何建模技术综述 553

的建模精度较低，通常应用于对物体结构的感知．然

而，通过与其他方法(如亮度法)的结合，可以由稀疏

的三维几何扩散成稠密的三维模型．由于运动法对

图像采集、光照条件等限制较低，因此被较多应用于

室外场景、自然景观、建筑物等的三维建模．

5 明暗法

基于明暗度的建模(shape from shading)通过

分析图像中的明暗信息，运用反射光照模型，恢复出

物体表面的法向信息，从而得到其三维几何模型．

Horn[35]最早提出了使用单幅图像的明暗度进

行三维重建的方法．他通过构造一个非线性偏微分

方程——明暗度方程，刻画了二维图像中各像素明

暗度与其对应三维点的法向、反射率，以及光照方向

之间的关系．通过求解该方程，可以得到物体表面的

法向信息，从而得到物体的三维模型．由于物体表面

各点的反射率与其材质有关，且不同位置并不相同，

因此，在物体表面反射率未知的情况下，用单幅图像

来求解表面法向量是一个欠约束问题[36‘．因此，研

究者通常关注光照方向与反射率已知条件下的建

模．虽然存在很多数值求解方法[3引，然而，由于需求

取的法向量自由度仍然大于方程约束个数，该问题

仍然是一个病态问题。其解的存在性和唯一性得不

到保证．因此，即使在可控的实验环境下，也需要添

加约束辅助求解．Dupius等人[380给出了假设物体表

面符合平滑性约束的建模方法．然而，由于平滑性约

束对噪声非常敏感，重建效果并不理想，并且也不具

备通用性．虽然一些高效的全局搜索方法[393对建模

结果有一定帮助，但仍无法改善对于真实图像建模

效果较差的问题．Lions等人【4叫提出了基于粘性约

束的建模方法可以降低计算复杂性并提高通用性．

Camilli等人[41]在此理论基础上，进一步提高了建

模效果，然而由于其基于图像边缘已知的假设，仍难

应用于实际图像．对此，Prados等人【42J提出了一种

比较实用的解决方法．

虽然明暗法支持从单张图像中重建三维模型．但

这始终是个病态问题，实际应用效果较差，而且物体

表面反射率已知的假设通常并不成立．WoodhamL43]

提出使用同一视点、不同光照条件下得到的多幅图

像明暗信息，可以增加明暗度方程的约束，提高求解

的精度与鲁棒性，这种方法也被称为基于光度立体

视觉的建模(shape from photometric stereo)．由于

明暗度方程需要求解3个未知数(2个法向值与1

个反射率值)，因此，只需最少3张不同光照方向的

图像，就可进行鲁棒求解，而且其可操作性也较高．

Noakes等人[4们阐述了这种建模方法的非线性与噪

声减除方法．Barsky等人【45]讨论了采用4个光源消

除镜面反射分量影响的重建方法。Horovitz等人【4明

使用梯度场与控制点提高了建模精度．Tang等人使

用可信度传递[47J与马尔可夫随机场[48]优化进一步

提高了重建精度．Sun等人[4¨将这种方法应用于光

照条件较差的物体．Basri等人L5叫进一步实现了光

照条件未知情况下的建模．

相较于其他方法，明暗法可以从少量图像、甚至

单张图像中自动恢复物体精确的三维模型．相对于

轮廓、亮度、特征点、纹理、清晰度等信息来说，明暗

度是唯一受图像采集时光源所决定的信息，而光源

的位置、方向对明暗法的求解形成了一种约束，使得

几何求解的过程可以在少量的图像上进行．同时，由

于明暗法可以精确地计算物体表面的法向量与深度

值，因此其建模精度较高，并且，由于明暗度信息仅

受光源方向、物体反射度、法向的影响，使得该方法

可以适用于透明、瓷器、金属、纹理欠缺等亮度法无

法处理的物体建模．

然而，由于明暗度与光源密切相关，使得明暗法

对采集的光照环境要求较高，并需要进行精确的光

源定标，易用性较低．同时，该方法也不适用于室外

物体或场景的建模．由于基于单幅图像的明暗法是

一个病态问题，目前该方向研究主要集中在使用多

幅图像的光度立体视觉法．

6 纹理法

基于纹理的建模(shape from texture)通过分

析单张图像中物体表面重复纹理单元的大小、形状，

恢复出物体的法向、深度等信息，并得到三维几何

模型．

纹理法基于如下的理论依据：对于一个具有光滑

表面并覆盖了重复模式(纹理单元)的物体，当被投影

在二维图像上时，其模式会发生一定程度的变形，这

种变形主要由2种分量构成：射影变形(projective

distortion)与透视收缩变形(foreshortening distortion)．

射影变形使得与图像平面越远的纹理单元看上去越

小，透视收缩变形使得与图像平面角度越大的纹理

单元看上去越短．由于这2种变形量都可以从图像

中测鼍得到，因此，这就提供了一种通过分析变形后

的纹理单元，反求物体表面深度与法向的方法．目前

万方数据

554 计算机研究与发展2010，47(3)

这些分析方法主要包括2种；特征分析法与谱分

析法．

Gibsont5u首先研究了人们可以通过纹理梯度

感知物体三维表面的现象，并实现了在透视投影下，

从纹理梯度恢复平面法向的效果，然而这种方法仅

局限于平面纹理密度相等的情况．witkin[52]实现了

从具有等方性(isotropic)的纹理中恢复平面的法

向，然而这种假设是比较理想的，不适合于实际应

用．与这些方法类似，一些早期的工作大都通过分析

特征的梯度、面积、大小等恢复表面[53|，这些方法比

较简单，却需要进行精确的特征检测，鲁棒性较低，

并且对图像中纹理信息的利用率不高．

谱分析法通过分析纹理单元的谱信息，恢复其

表面法向信息，进行三维重建．谱分析的方法有傅里

叶变换、小波分解、加博尔变换等．Bajesy等人【5刈首

先使用傅里叶变换进行重构，Brown等人[55]在此基

础上实现了具有等方性纹理物体的重建，然而由于

等方性假设的过约束，这种重建方法实用性较低．

Garding[561在纹理梯度与表面曲面之间建立了理论

联系．Malik等人[573在此基础上，实现了仿射变换层

次的重建，并得到了较好的效果．Clere等人[5副进一

步使用小波分解代替了传统的傅里叶变换方法，提

高了重建效果．然而，上述方法仅适用于纹理单元结

构不发生改变的情况，对于纹理单元拓扑发生改变

的情况，Forsyth等人【5刘提出了在正交投影下的表

面重建方法．Loh等人[60]通过引入物体表面的平滑

性约束，实现了透视投影下的表面重建方法．

纹理法在数学上与明暗法是等价的，两者只是

基于不同的理论依据．因此，与明暗法在建模精度与

速度方面相近，它同样可以实现由单张图像自动得

到物体的三维模型．并且，与明暗法相比，纹理法具

有建模精度对光照、噪声不敏感、鲁棒性强的优势．

然而，纹理法仅适用于表面具有规则纹理物体

的建模，此类物体并不具有普遍性，因此这种方法的

通用性较低，有待更深入的研究．

7 变焦法

基于变焦的建模方法(shape from focus／defocus)

通过分析相机焦距、光圈与图像清晰度之间的关系，

恢复出物体的深度，从而得到其三维模型．

物体经过相机镜头的光学聚焦，其表面的深度

值与相机焦距之间的关系决定了该物体在图像上的

清晰程度．因此。通过建立图像清晰度与相机焦距之

间的关系，就可以恢复出物体表面的深度值．然而，

由于此种关系是自由度很大的非线性关系。因此，重

构过程需要使用不同参数下的多张图像．具体重构

的方法主要分成2类：聚焦法与失焦法，2种方法基

于相同的理论依据。但在具体操作上有所不同．

聚焦法(shape from focus)采集大量不同焦距

下物体的图像，对于每个表面区域，从中检索出聚焦

最佳的图像，从而反求出物体的深度，并进行重建．

它具有一定的主动性．由于这种方法需要对图像中

的每个点比较其各种焦距下的聚焦情况，因此速度

较慢，菲波纳齐搜索法[6¨、最大化高频内容搜索

法[6纠、拉普拉斯算子搜索法[631可以提高速度．然而

由于图像存在噪声，这些搜索方式很难达到很好的

效果，容易陷入局部最优．Yun等人【6们使用动态规

划的优化方法，实现了高效的精确搜索．

失焦法(shape from de fOCUS)在图像采集的过

程中，记录下改变相机焦距的多张(通常为2～3张)

图像，通过分析其不同区域的模糊程度，恢复出物体

表面深度，从而进行建模．早期的方法主要分析物体

边特征的模糊程度¨引．以后，逐渐出现了对于任意

物体的重建方法，主要可以分为3种：频域法[6 61、空

域法[673与统计法[鹋3．近期，Pradeep等人‘693将聚焦

与失焦的重建方法结合，通过使用失焦形成的模糊

提高了搜索最佳焦距的速度与精度，提高了重建的

效果．Hasinoff等人L7叫进一步提出了共焦立体视觉

法，实现了高复杂物体的重构(如毛发等)．

相较于其他方法，变焦法的优势是可以使用少

量图像计算物体表面每个点的深度，从而体现物体

表面的几何细节．并且，它不需进行复杂的光源定标

操作，对图像采集时的光照条件也不苛刻．

然而，变焦法需要在采集图像的过程中改变相

机的焦距、光圈等设置，操作复杂，并且，与亮度法类

似，对于包含纹理信息较少的物体，建模效果较差．

8 交互法

基于图像自动地进行三维建模，由于算法本身

的局限，其鲁棒性、精确性与高效性得不到保证．并

且这些方法基于一些理想化的假设(如朗伯表面、纹

理重复、反射率恒定、定标精确等)，很难满足实际需

求．基于交互的建模方法(shape from interaction)通过

引入少最的用户交互，为建模算法提供数据与约束

信息，可以方便、快捷、鲁棒地生成较精确的三维模

型．这种方法结合了传统手动建模与基于图像自动

万方数据

束搏等：基于图像的几何建模技术综述 555

建模的优势，实用性较强．

交互法的目的是建立二维图像点与三维空间点

之间的映射关系，首先需要解决相机参数的标定问

题，Cipolla等人提出了一种通过灭点求取相机参数

的方法【7¨．然后，由用户指定图像中若干平行、垂直

等几何约束关系，就能得到具有几何约束关系的三

维点、线、面集合，从而生成其三维几何模型．Horry

等人使用这种方法提出了基于单张相片的漫游技

术[7引，这种方法比较简单，但并不真正生成物体的

三维模型．Criminisi等人[73]提出的单目度量技术，

通过使用灭线与单应矩阵，计算用户指定特征点的

三维坐标，从而进行三维建模与三维测量．然而，基

于灭点与几何约束的建模方法有一定的局限性，它

们只能处理一些比较规则的平面与几何体．为了实

现更复杂实体的建模，目前主要有2种不同的方式：

基于复杂信息的交互与基于数据库的交互．

基于复杂信息交互建模的理论依据是：人们在

感知图像的过程中，不仅可以识别出其中物体平行、

垂直等简单的几何约束，还能感知一些复杂的几何

信息，如深度、法向信息等，这就启发了人们直接使

用交互的手段，给图像中的像素设置复杂的深

度[7引、法向【751等信息，从而恢复得到三维模型．这种

方法的优点是可以处理非常复杂的物体，缺点是由

于自由度较大导致交互量较大，易用性不高，并且建

模结果极大地依赖于用户的操作．

基于数据库建模的理论依据是：对于一些特定

物体的建模，由于已先验地知道了物体的类型，就可

以通过对该类别的物体进行采样的方法，得到其对

应的模型数据库，通过用户的交互，对这些模型进行

融合、变形等，也可恢复出三维模型．如Blanz等

人‘761基于人脸数据库，Mao等人[77]基于人体数据

库，Muller等人[7胡基于建筑元素数据库，交互式地

进行三维建模．由于模型数据库的引入降低了建模

的自由度，因此这种方法的交互方式比较简单，建模

结果也较好，缺点是需要维护模型数据库，成本较

大，并且只适用于特定物体的建模，具有局限性．

相较于其他方法，交互法的优势是在建模过程

中引入了人的先验知识与操作引导，从而避免建模

过程的发散，使得建模结果在几何模型的拓扑结构、

形状、面片复杂性、布线等方面可控．同时，通过交互

引导，一些其他方法很难自动计算得到的参数可以

通过交互的形式手动求取(如相机参数、深度值、光

源位置等)，这使得交互法可以处理一些其他方法难

以处理的极端情况，通用性较高．

然而，交互法对用户操作的要求较高，用户需要

具备一定的几何与美术基础．同时，建模效果也极大

依赖于交互操作．由于交互法具有较高的通用性与

鲁棒性，使其成为若干商业建模软件的核心，如

Autodesk ImageModeler，Google Sketchup等．

9总结与展望

基于图像的建模是计算机视觉与计算机图形学

领域的研究热点，被广泛应用于文物复原与保存、影

视制作、游戏娱乐、人机交互等领域．而其核心问

题——基于图像的几何建模——尤其得到研究者们

的重视．这种直接使用真实像片进行物体的三维几

何重建方法，具有逼真、易用、低成本的优势．而二维

图像中包含的各种丰富视觉线索信息决定了用其进

行几何建模方法的多样性．本文对这些方法分别作

了分析与比较．然而，该技术仍处于研究探索阶段，

离产品化尚有一定差距．主要原因是以下几个问题

难以得到根本解决．

基本性问题：由于计算机图形学与计算机视觉

的一些经典问题(如相机定标、图像分割等)无法得

到根本解决，极大地限制了算法的实用性与易用性．

鲁棒性问题：由于大部分算法受采集环境、光

照、噪声等影响较大，导致鲁棒性较低．

通用性问题：由于现有算法大都依赖于一些理

想假设，尚缺乏一种普遍、通用的方法．

复杂性问题：由于现有算法的求解大都采用优

化搜索，虽然通过添加约束，可以降低求解空间，但

却无法根本解决时间、空间复杂度过高的问题．

针对以上问题，在基于图像的几何建模领域出

现了大量新的研究成果．可以预计，以下几个方面仍

将是该领域今后研究工作的热点．

1)解决基本问题：由于基于图像的几何建模精

度与计算机图形学、计算机视觉、数值计算等基本问

题密切相关，因此，研究自动、精确的相机定标、光源

定标、图像分割、非线性优化等方法，对提高建模的

精度与鲁棒性意义重大．因此，这将成为基于图像几

何建模基础性研究的热点．

2)使用分布式计算，提高算法效率：由于建模

算法的时间复杂度与空间复杂度较高，提高基于图像

建模算法的运行速度，降低运行开销将是关系其能

否满足实际需求的重要问题．随着可编程图形硬件、

计算网格等并行计算方法的发展，特别是统一计算

设备架构(computer unified device architecture，

万方数据

556 计算机研究与发展2010．47(3)

CUDA)等新技术的出现，研究基于CUDA、集群计

算机、分布式网络平台的建模算法与系统将成为基

于图像几何建模应用性研究的热点．

3)探索新的建模方法：图像中包含的线索信息

是比较复杂的，并且对于一些特定物体，结合使用图

像中的其他线索信息，可开拓新的建模方法．如基于

图像中的高光信息、自阴影、反射属性、扭曲程度、图

像序列中的光流信息等．同时，虽然图像中各种线索

之间相关性较小，有些甚至是正交的，但由于采用的

建模方法在数学模型、路线方案等方面有很大相关

性，因此综合使用各种建模方法有助于提高建模的

效果．近期出现了大量对现有方法的集成创新，即混

合建模法(shape from hybrid methods)．如Debevee

等人[7"将交互法与立体视觉法结合，进行建筑的重

建；Pollefeys等人[8们将运动法与立体视觉法结合，

进行文物的重建；Herndndaz，Vogiatzis，Furukawa，

Bradley等人【s1{叫将轮廓法与亮度法结合，此外，近

期陆续出现了一些新的混合法建模工作，如文献

E85—911．其中，在轮廓法与明暗度法、交互法与运动

法、立体视觉法与变焦法的结合方面具有较大潜力，

是将来的趋势．

4)基于干扰图像的建模：现有研究主要针对的

是基于理想情况下的图像进行重建的方法．而真实

的图像采集过程中，会引入干扰因素，如闪光灯、白

平衡、环境光等造成的偏色现象；被采集物体的抖动

与偏移造成的图像序列内容不匹配现象；鱼眼、广角

镜头等造成的图像扭曲现象．传统的解决方法主要

使用图像处理算法对图像作预处理，然而，通过在几

何建模过程中加入新的参数，优化建模算法的数学

模型，有助于从根本上解决这些问题，从而提高建模

方法的效果，这也将是未来的研究重点．

在应用方面，基于图像的几何建模已被应用于

文物保存、工业设计、影视制作、游戏娱乐、医疗康复

等领域．在此基础上，还将出现一些新的应用方向．

1)非刚体的几何建模：现有的基于图像几何建

模的研究主要集中在刚体研究方面．然而，对于具有

柔性的非刚体，如布料、水、火焰等，由于存在着严重

的自遮挡、纹理重复、轮廓模糊等情况，现有方法无

法很好解决．因此，研究基于图像的非刚体几何建模

技术，将逐渐收到研究者重视．而该技术在虚拟试

衣、电影特效等方面具有重大应用价值．

2)特殊规模物体的建模：通过使用天文望远

镜、卫星图片，可以实现月球、火星等天体表面的三

维建模，从而实现三维漫游、探测器精确导航等应

用．同时，通过使用电子显微镜，可以实现生物大分

子、蛋白质等的三维建模，以满足化学制药、生物信

息学等领域的需求．因此，结合一些特殊设备，基于

图像的几何建模可以对一些特殊规模的物体进行三

维建模，这有助于增强人们对宏观与微观世界的理

解．同时，对其他领域的科学研究，也具有重要的战

略意义．

3)大规模城市的建模：对于包含大量建筑元素

的大规模城市，对其所有元素分别进行建模是不现

实的．因此，基于语义的大规模城市建模技术正逐渐

成为一门新兴技术．而基于图像的建模可以提高建

筑元素模型的逼真性，从而增强城市建模的效果．

4)动态物体的建模：通过使用多目视频，结合

基于图像的几何建模技术，可以得到处于运动状态

中物体或场景各关键帧的三维模型，从而实现如会

话人脸、立体电影、视频驱动游戏等新应用．

5)识别与理解：通过结合机器学习与人工智

能，建模得到的三维模型可进一步用于身份识别、机

器感知等领域．

同时，进一步提高系统交互的友好性，对基于图

像几何建模技术能否得到实际应用也具有重要

意义．

参考 文 献

[13 Levoy M，Hanrahan P．Lightfield rendering[c]／／Proc of

the ACM SIGGRAPH．New York：ACM，1996：31-42

[2]Matusik W，Buehler C，Raskar R．et a1．Image-based visual

hulls[C]／／Proc of the ACM SIGGRAPH． New York：

ACM，2000：369-374

[3]Rocchini C，Cignoni P，Montani M．A low cost 3D scanner

based on structured light[c]／／Proc of the ACM EuroGraph．

New York：ACM，2001：299-308

[4]Bouguet J Y．Perona P．3D photography on your desk[C]／／

Proc of the IEEE Int Conf on Computer Vision．Washington，

DC：IEEE Computer Society，1998：I-8

[5]Liu Gang．Peng Qunaheng，Bao Huiun．Review and prospect

of image-baseed modeling EJ]．Journal of Computer-Aided

Design&Computer Graphics，2005，17(1)：18—27(in

Chinese)

(刘钢。彭群生，鲍虎军．基于图像建模技术综述与展望[J]．

计算机辅助设计与图形学学报，2005，17(1)：18—27)

[6]Martin W N。Aggarwal J K．Volumetric descriptions of

objects from multiple views口]．IEEE Trans on Pattern

Analysis and Machine Intelligence。1983，5(2)：150一158

[7]Laurentini A．The visual hull concept for silhouette-based

image understanding[J]．IEEE Trans on Pattern Analysis

and Machine Intelligence．1994，16(2)：150—162

万方数据

柬搏等：基于图像的几何建模技术综述 557

[8]Szeliski R．Rapid octree construction from image sequences

[盯．Computer Vision，Graphics，and image Processing：

Image Understanding。1993，58(1)：23—32

[9]Tarini M，Callieri M，Montan C，et a1．Marching

intersections l An efficient approach to shape from silhouette

[c]／／Proc of VMV．Washington，IX：：IEEE Computer

Society，2002：10一15

[10]Franco J，Boyer E．Exact polyhedral visual hulls[C]／／Proc

of the British Machine Vision Conf．Worcs，UK；BMVA，

2003：329—338

[113 Matusik W。Buehler C，McMillan L．Polyhedral visual hulls

for real—time rendering[C]／／Proc of Eurographics Workshop

Rendering．New York：ACM．2001：8-12

[12]Snow D，Viola P。Zabih R．Exact voxel occupancy with

graph cuts[C]／／Proc of CVPR．Washington，IX；：IEEE

Computer Society，2000：345—353

[13]Sinha S．Pollefeys M．Visual—hull reconstruction from

uncalibrated and unsynchronized video streams[C]／／Proc of

the Int Symp on 3D Data Processing，Visualization and

Transmission．Washington，DC：IEEE Computer Society，

2004：349-356

[14]Forbes K，Nicolls F，Jager G。et a1．Shape-from-silhouette

with two mirrors and an uncalibrated camera[c]／／Proc of

the European Conf on Computer Vision．Berlin：Springer，

2006：1-8

[1 5]Li M。Magnor M．Seidel H P．Hardware-accelerated visual

hull reconstruction and rendering[C]／／Proc of Graphics

Interface．Natick，MA：A K Peters，2003：65—71

[16]Seitz S M，Dyer C R．Photorealistic scene reconstruction by

voxel coloring[c]／／Proc of the Computer Vision and Pattern

Recognition Conf． Washington，DC：IEEE Computer

Society，1997：1067—1073

[17]Kutulakos K N，Seitz S M．A theory of shape by space

carving』J]．International Journal of Computer Vision，

2000，38(3)：197-216

[18]Gonzalez C．Richard E W．Digital Image Processing[M]．

New York：Prentice Hall．2003

[19]Yang R。Pollefeys M，Welch G．Dealing with textureless

regions and specular highlight：A progressive space carving

scheme using a novel photo-consistency measure[C]／Proc

of the Int Conf on Computer Vision．Washington，DC：IEEE

Computer Society，2003：576—584

[20]Culbertson W B，Malzbender T，Slabaugh G G．Generalized

voxel coloring[C]／／Proc of the Int Workshop on Vision

Algorithms：Theory and Practice．London：Springer，1999：

15-23

[21]Cheung G，Baker S，Kanade T．Visual hull alignment and

refinement across time：A 3D reconstruction algorithm

combining shape-frame-silhouette with stereo[c]／／Proc of

the IEEE Conf on Computer Vision and Pattern Recognition．

Washington，DC：IEEE Computer Society·2003：1—8

[22]Faugeras O．Keriven R．Complete dense stereo vision using

level set methods[J]．IEEE Trans on Image Processing，

】998，7(3)：23-35

[233 Hartley R I i Zisserman A．Multiple View Geometry in

Computer Vision[M]．Cambridge：Cambridge University

Press，2000

[24]Kai B，Uwe D H．Template matching using fast normalized

CROSS correlation[c]／／SPIE 4387：Proc of the Int Society for

Optical Engineering．Bellingham。WA：SPIE，2001：95—102

[25]Boykov Y，Veksler O。Zabih R．Markov random fields with

efficient approximations[c]／／Proc of the IEEE Conf on

Computer Vision and Pattern Recognition．Washington，DC：

IEEE Computer Society，1998：1—8

[26]Harris C，Stephens M．A combined corner and edge detector

[C]／／Proc of the 4th Alvey Vision Conf．New York：

Manchester。1988：147-151

[27]Tomasi C，Kanade T．Detection and tracking of point

featuresl CMU—CS-91-132[R]．Pittsburgh。PA：Carnegie

Mellon University，1991

[28]Lowe D G．Distinctive image features from scale-invariant

keypoints[J]．International Journal of Computer Vision，

2004，60(2)：91—110

[29]Fischler M，Bolles IL Random Sampling consensus：A

paradigm for model fitting with application to image analysis

and automated cartography口]．Communications of the

ACM，1981。24(6)：381-95

[30]Tomasi C，Kanade T．Shape and motion from image

streams：A factorization method口]／／International Journal

of Computer Vision，1992，9(2)：137-154

[31]Faugeras O．what can be Hen in three dimensions with an

uncalibrated stereo rig[C]／／Proc of the European Conf on

Computer Vision—ECCV’92．Berlin：Springer。1992：563—

578

[32]Hartley R．Kruppa’s equations derived from the fundamental

matrix[J]．IEEE Trans on Pattern Analysis and Machine

．Intelligence，1997，19(2)：133—135

[33]Pollefeys M。Koch R。Van Gool L．Self-calibration and

metric reconstruction in spite of varying and unknown

internal camera parameters[J]．International Journal of

Computer Vision．1999，32(1)：7-25

[34]Brown D．The bundle adjustment—progress and prospect口]．

International Archives of Photogrammetry and Remote

Senaing，1976。13(3)：l-8

[35]Horn B．Obtaining shape from shading information口]．The

Psychology of Computer Vision，1975，2(15)：15-26

[36]Belhumeur P，Kriegman D，Yuille A．The bas-relief

ambiguity[J]．International Journal of Computer Vision，

1999，35(1)：33-44

[37]Prados E，Faugeras O．Perspective shape from shading and

viscosity solutions[c]／／Proc of ICCV’03．Washington．Dc：

IEEE Computer Society，2003：826—831

[38]Dupuis P，Oliensis J．An optimal control formulation and

related numerical methods for a problem in shape

reconstruction[J]．The Annals of Applied Probability，

1994。4(2)t 287-346

[39]Okatani T。Deguchi K．On classification of singular points

for global shape from shading[C]／／Proc of ACCV．London：

Spinger。1998{48—55

万方数据

558 计算机研究与发展2010，47(3)

E403 Lions P L·Rouy E-Tourin A．Shape-from—shading· [563 Garding J?Shape from texture for smooth curved surfaces in

viscosity solutions and edges[J2．Numerisehe Mathmatik，perspective projection[J]．Math Imaging Vision，1992，2

1993，64(1)：323-353 (4)l 327-350

[41]camilli F，Falcone M．An approximation scheme for the [572 Malik J，Rosenhohz R．A differential method for computing

maximal solution of the shape-from-shading model[c]／／Proc local shape-from-texture，CSD-93—775[R]．Berkeley：

of ICIP．Washington，DC：IEEE Computer Society，1996： University of California at Berkeley，1993

49—52

’

[583 Clerc M，Mallat S．The texture gradient equation for

[422 Prados E。Faugeras O． Unifying approaches and removing reeovering shape from texture[J2· IEEE Trans on Pattern

unrealistic assumptions in shape from shading；MathematicsAnalysis and Machine Intelligence’2002，24(4)：536—549

can help[c]／／Proc of ECCV．Berlin：Springer，2004：15—26[59]Lobay A· Forsy2h D A· Shape from texture without

[43]w。。dham R J．Phot。metry method for determining surfacebo““d8ri。8[J]·I“‘。。”’i⋯l Jo⋯8l“comp“‘。r Vision，

orientation f咖L muItiple images[J]．Optical Engillee^ng，2006'67(1)：71—91

1980．19(1)：139—144[503 Loh A M，Hartley R·shaPe from no”homogeneous，

[44] N。akes L，K0zera R．N。nl赫ms and noise reducti。n in 3．n。n5‘a‘i。nary，aniso‘。。pic．persp。。‘i”e‘8x‘“‘8[c]／／Proc。f

s。urce photometric stere。[J]． J。urnaj 。f Mathematical2th。e。5B：rilt—i8sh

Ma。hine Vi8i。n c。n{· w。。cs， uK 2 BMVA，

I“89irIg 8“d V洳，2003'18(2)：119—127[61]xi。ng Y，shafer s A．Depth from f。cus咄and defocusing

[45] Barsky s·Petrou M·The 4-source Pho‘ome’ric stereo

[c]／／Proc of computer visi。n and Pattern Recognition．technlqu。tor th’ee’dlmen810nal 5urt8。es m the p‘esence of

Washington。DC：IEEE Computer Society，1993 l 68—73

highligh‘8 and shadows[J]．1EEE Trans on Pattern An8lYsi5[62] DarreII T，Wohn K．Depth fr啪focus using a pyramid

and Ma。hjn。JntelJigence，2003 r 25(10)：1239—1252architecture[J]．Pattern Recognition Letters。1990，11

[46]Horovitz I，Kiryati N，Depth from gradient fields and control(12)：787—796

points：Bias correction in photometric stereo[J]．1mage and [63]Nayar S K，Nakagawa Y．Shape from focus[J]．IEEE Trans

Vision Computing’2004，22(9)：681—694 on Pattern Analysis and Machine Intelligence，1994，16(8)：

[47]Tang K L，Tang C K，Wong T T．Dense photometric stereo 824—831

using tensorial belief propagation[c]／／Proc of Computer [64]Yun J。Choi T S．Fast shape from focus using dynamic

Vision and Pattern Recognition．Washington，DC：IEEE programming[C]／Proc of Three-Dimensional Image

Computer Societyt 2005：132—139 Capture and Applieations．Washington，DC：IEEE Computer

[48]Tang K L，Tang C K，Wong T T．A markov random field Society。2000：71—79

approach for dense photometric stereo[c]]]Proc of [65]Subbarao M，Gurumoorthy N．Depth recovery from blurred

Computer Vision and Pattern Recognition．Washington，DC： edges[C]／／Proc of the IEEE Computer Society Conf on

IEEE Computer Society。2005：11-19 、 Computer Vision and Pattern Recogn．Washington，DC：

[49]Sun J，Smith M L，Smith L N，et a1．Object surface recoveryIEEE Computer Society，1998：498—503

using a multi-light photometric stereo technique for nor卜 [66] Watanabe M，Nayar S K． Rational filters for passive depth

Lambertian surfaces subject to shadows and specularitiesfrom defocus[J]． International Journal of Computer Vision，

口]．IVC。2007，25(7)：1050—1057 1998，27(3)：203—225

[50]Basri R．Jacobs D W，Kemelmacher I．Photometric stere0E67]Fa78∞P，S08‘‘o s·A geometric approach to shape from

with general，unkn。wn“ghting[J]．IJCV，2007，72(3)：d。fo。“8[J]·IEEE Trans o“Pa’1ern and Machine

239—257Intelligence·2005，27(3)：406—417

[513 Gibs。n JJ． The Perception 0f the visual w。rld[M]．[68] Rajag。palan A N，cha“d㈦S． An MRF m。del_ba8ed

Houghton：Houghton Mifflin，19508pp708。h to slmultaneous recovery of depth and‘esto。atlon

[52]wi‘kin A·R。。。7。。i“g 8“’f8。。8h8p。and orientation fromMachine IntelIigence，1999，21(7)：577—589跏“。。[J]．Artificial I“‘。lI蛳。。’1981’17(11213)：17—45

[69]Pradeep K。Rajag。palan A N．Improving shape fr。m f。cus

[53]Blostein D，Ahuj8 N·Shap。from texture：I。‘89ratingusing defocus cue[J]．IEEE Trans on Image Processing，

texture-element extraction and surface estimation[J]．IEEE2007，16(7)i 1920一1925

T‘an8 on Pattern Analysis and M8chin。Intelligence’1989’[703 Hasinoff S W。 Kutulakos K N． Confocal 5tereo[J]．

1l(12)；1233—1251Intemational Journal ofComputer Vision，2009，81(1)：82一

[54]Bajesy R，Lieberman L．Texture gradient as depth cue[J]． 104

Computer Graphic and Image Processing’1976，5(1)：52-67 [713 Cip011a R。Drummond T．Robertson D．camera calibration

[55]Brown L，Shvayster H．Surface orientation from projeetive fr。m vanishing points in im‘ages。f architectural scenes[c]／／

foreshortening of isotropie texture．autocorrelation[J]．IEEE Proc of the British Machine Vision Conf． Worcs， UK：

Trans on Pattern and Math Intell，1990。12(6)：584-588 BMVA，1999：382—391

万方数据

柬搏等：基于图像的几何建模技术综述 559

[72]Horry Y，Anjyo K，Arai K．Tour into the picture：Using a

spidery mesh interface to make animation from a single image

[cl／Proc of SIGGRAPH．New York：ACM，1997：225—

232

U3]Criminisi A，Reid L，Zisserman A．Single view metrology

[J]．International Journal of Computer Vision，2000，40

(2)：123—148

[74]Oh B，Chen M·Dorsey J，et a1．Image-based modeling and

photo editing[C]／／Proe of SIGGRAPH．New York：ACM，

2001 l 433-442

[75]Zhang L，Phocion G D，Samson J S，et a1．Single view

modeling of free-for scenes[J]．Journal of Visualization and

Computer Animation，2002．13(4)：225—235

[76]Blanz V，Vetter T．A morphable model for the synthesis of

3D faces[c]／／Proc of SIGGRAPH．New Yorkl ACM．

1999 l 187-194

[77]Mao T，Huang H。Wang Z．A faster method for modeling

virtual colony／／Proe of the IEEE Virtual Reality．

Washington，DC：IEEE Computer Society，2004：239—240

[78]Miilter P，Wonka P，Haegler S。et a1．Procedural modeling

of buildings[J]．ACM Trans on Graphics．New York：

ACM，25(3)：614-623

[79]Debevec P E，Taylor C J，Malik J．Modeling and rendering

architecture from photographs：A hybrid geometry and

image-based approach[c]／／Proc of SIGGRAPH．New

York：ACM，1996：11-20

[803 Pollefeys M．Koch R。Vergauwen M，et a1．Hand-held

acquisition of 3D models with a video camera[c]／IProe of

3DIM(Int Conf on 3-D Digital Imaging and Modcling)．

Washington．DC：IEEE Computer Society，1999：14—23

[81]Hermindez C，Schmitt F．Silhouette and stereo fusion for 3D

object modeling口]．CVIU，2004，96(3)：367-392

[82]Vogiatzis G，Torr P，Cipolla R．Multi-view stereo via

volumetric graph-cuts[c]／／Proc of the IEEE Conf on

Computer Vision and Pattern Recognition．Washington，D(：：

IEEE Computer Society，2005 j 391—398

[83]Furukawa Y，Ponce J．Accurate。dense．and robust multi—

view stereopsis[C]f／Proe of the IEEE Conf on Computer

Vision and Pattern Recognition．Washington，Dc：IEEE

Computer Society，2007 z 1-8

[84]Bradley D，Boubekeur T，Heidrich W．Accurate multi—view

reconstruction using robust binocular stereo and surface

meshing[C]／／Proc of the IEEE Conf on Computer Vision

and Pattern Recognition．Washington，DC：IEEE Computer

Society。2008：1_8

[85]Zhang L，Curless B，Hertzmann A，et a1．Shape and motion

under varying illumination：Unifying structure from motion．

photometric stereo，and multi-view stereo[C]／／Proc of the

IEEE Int Conf on Computer Vision．Washington，DC：IEEE

Computer Society．2003 i 1-8

[86]White R，Forsyth D A．Combining cues：Shape from shading

and texture[c]／／Proc of the IEEE Conf on Computer Vision

and Pattern Recognition．Washington，IX；：IEEE Computer

Society，2006：1809—181 6

[87]Zeng G。Yasuyuki M，Quan L，et a1．Interactive shape from

shading[C]／／Proc of the IEEE Conf on Computer Vision and

Pattern Recognition．Washington，DC：IEEE Computer

Society·2005：343-350

[88]Hernandez C，Vogiatzis G， CipoUa R． Multi-view

photometric stereo[J]．IEEE Trans on Pattern Analysis and

Machine Intelligence，2008．30(3)：548-554

[893 Sinha S N，Steedly D。Szeliski R，et a1．Interactive 3D

architectural modeling from unordered photo collections[j]．

ACM Trans on Graph，2008．27(5)：1—10

[903 Salzmann M． Fua P． Reconsn’ucting sharply folding

surfaces：A convex formulation[C]／／Proc of the IEEE Conf

on Computer Vision and Pattern Recognition．Washington，

IX；：IEEE Computer Society，2009：125—134

[91]Cao Zhiqing。Shi Jiaoying，Zhang Shiming，et a1．Strategy of

combining multiple models based on image sequence[J]．

Journal of Computer Research and Development，2005，42

(9)：1633-1639(in Chinese)

(曹智清，石教英，张世明，等．基于序列图像建模的多视图

模型合并策略[J]．计算机研究与发展，2005，42(9)：1633—

1639)

Shu Bo，born in 1982．PhD candidate of

the Institute of Computing Technology，

Chinese Academy of Sciences．His main

research interests include image based

modeling，CAD based modeling and crowd

rendering．

束搏。1982年生，博士研究生，主要研究方向为基于图像

的建模、基于CAD的建模与群体渲染技术．

Qi．Xianjie，born in 1977．PhD and

assistant professor of the Institute of

Computing Technology，Chinese Academy of

,Sciences．His main research interests include

computer vision and computer graphics．

邱显杰。1977年生。博士，助理研究员，中国计算机学会会

员，主要研究方向为计算机视觉与计算机图形学．

Wang Zhaoqi，born in 1966．Professor and

PhD supervisor of the Institute of

Computing Technology，Chinese Academy

of Scfences． Senior member of China

Computer Federation．His main research

intercsts include virtual reality and intelligent human-

computer interactions·

王兆其，1966年生，研究员，博士生导师，中国计算机学会高

级会员，CAD＆CG专委会委员，计算机动画与数字娱乐专委

会委员，主要研究方向为虚拟现实与智能人机交互技术．

万方数据

560 计算机研究与发展2010，47(3)

Research Background

3D modeling is a very important problem in both computer vision and computer graphics research fields．Recently，image

based modeling has received more and more research focuses．Because this technology is of low cost，easy to handle and can

generate models with very high precision，it is used in many different fields，e．g．digital cultural heritage，digital movies and

games development，and video surveillance．Image based modeling focuses on reconstructing 3D models of objects or scenes

directly from single image，image sequences or videos．It’S a very difficult problem because some information is lost during the

process of projecting the 3D world to the 2D images．The key problem of image based modeling is shape from image，which

focuses on reconstructing 3D geometry information．However，lack of review work 0n this topic has restricted the development

of this technology．This paper presents a review on shape from image．Different methods are classified based on the visual clues

used in modeling from a computer vision perspective．Basic function and related work are also introduced for each method．

After analyzing and comparing these methods individually。the paper gives a discussion on the characteristics，problems and

future research directions of shape from image．Our work is supported by the National 863 High-Teeh Research and

Development Plan of China(Nos．2006AA012336，2007AA012320)and the Co-Building Program of Beijing Municipal

Education Commission．

r—””——+～、；研发动态；气-．．、．^h-．．-_．，_1、H，．、．．，j

量子计算机准确算出氢分子的能量

美国哈佛大学和澳洲昆十兰大学的科学家利用量子计算机准确算出了氢分子所含的能量，这一突破性进展可提升分子

系统模拟的准确性，拉开了量子计算在化学领域实际应用的序幕．此次研究是量子计算机首次进行准确的分子计算．对于很

多理论化学家来说，最大的困扰便是如何能准确地对化学分子系统进行模拟．研究人员使用了2个纠缠的光子编码信息，并对

氢分子系统进行了模拟．每个光子计算出的能量级别呵达20比特的准确度，这使得氢分子的几何态也能清晰可见，大大超出

了传统计算机的能力范围．目前的超级计算机仅能对简单的分子系统进行粗略的模拟，随着原子数量以及分子系统复杂程度

的增加，计算时间也将呈指数级增长．而量子计算机则具有解决这一问题的巨大潜力。量子计算机摈弃二进制，而采用量子比

特(qubits)存储信息，量子比特可以同时表达二进制中的“0”和“l”。阂此，在存储更多信息的同时也大大缩减了计算时间，从

而可以对化学分子系统进行准确，快速的模拟．这一快速计算方式开辟了准确模拟复杂分子系统的新途径，其不仅是量子计

算在化学实际应用中的突破，也可应用于密码学和材料科学等领域，并有望实现对能量构成极低的胆固醇等复杂分子系统的

计算和模拟(摘自：http：／／www．stdaily．COm／，2010-01—14，科技日报)．

英特尔荣膺低碳中国贡献企业(国际)称号

低碳中国论坛由全国政协经委、中国科协、中国报协批复指导，科技日报、中国产经新闻报、全国科技振兴城市经济研究

会、中国人民大学公共政策研究院、中国低碳网共同发起与主办，旨在普及低碳理念、接轨最新科技、促进全社会对发展低碳

经济的进一步认同，为各界人士提供交流沟通、国际合作的高端平台．节能减排是英特尔在中国运营的重要组成部分和环境

绩效指标．英特尔计划从2007年到2012年将运营所产生的二氧化碳排放量绝对值减少20％．为实现这一目标，英特尔中国

区的各个下厂和机构均积极支持中国政府提出的节能减排政策，在生产和产品方面不断研发节能新技术和解决方案，持续降

低生产性的碳排放量。促进并推动产业生态链中的伙伴实施节能环保措施，以应对气候变化问题．此外，英特尔还与其他组织

合作开发创新方法，应对长期持续性环保挑战，并取得显著效果．2007年。英特尔在中国的工厂实施了34项节能方案；2008

年，节约用电将近1000多万千瓦时，意味着减少j，将近9900多吨的碳排量(摘自：http：／／www．enet．tom．cn／，2010—01-26，硅

谷动力)．

谷歌为iPhone推出新版本谷歌语音电话软件

据报道，谷歌推出新版本瓦联网电话服务．这是谷歌要绕过苹果公司的守门员让谷歌语音成为iPhone手机上最流行的服

务采取的最新举措．新版本的谷歌语音服务只能通过智能手机的网络浏览器访问，与能够直接下载到iPhone的所谓的本地应

用程序不同．谷歌去年7月称，苹果已经拒绝谷歌要提供谷歌语音作为iPhone本地应用程序的申请．这种公开的争议表明这

两家科技巨头之间的竞争日益激烈，并且使美国联邦通讯委员会要求这两家公司提供有关这个事情的更多的信息．谷歌语音

允许用户拨打廉价的长途电话和把电话从一个电话号码转接到多个电话．谷歌与苹果之间的争吵是由于谷歌和苹果相互侵

入对方的市场引起的．日前，谷歌开始直接向消费者出售自己的Nexus One智能手机．谷歌还在开发一种PC操作系统。这种

操作系统可能会与苹果的Mac电脑展开竞争．新版本的谷歌语音是为iPhone 3．0和更高版本以及Palm的Web OS智能手机

设计的(摘自：http：／www．ccidnet．COm／，2010-01—27，赛迪网)．

基于图像的几何建模技术综述作者： 束搏， 邱显杰， 王兆其， Shu Bo， Qiu Xianjie， Wang Zhaoqi

作者单位： 束搏,Shu Bo(中国科学院计算技术研究所,北京,100190;中国科学院研究生院,北京,100049)

， 邱显杰,王兆其,Qiu Xianjie,Wang Zhaoqi(中国科学院计算技术研究所,北京,100190)

刊名：计算机研究与发展

英文刊名： JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT

年，卷(期)： 2010，47(3)

被引用次数： 0次

参考文献(91条)

1.Levoy M.Hanrahan P Lightfield rendering 1996

2.Matusik W.Buehler C.Raskar R Image-based visual hulls 2000

3.Rocchini C.Cignoni P.Montani M A low cost 3D scanner based on structured light 2001

4.Bouguet J Y.Perona P 3D photography on your desk 1998

5.刘钢.彭群生.鲍虎军 基于图像建模技术研究综述与展望[期刊论文]-计算机辅助设计与图形学学报 2005(1)

6.Martin W N.Aggarwal J K Volumetric descriptions of objects from multiple views 1983(2)

7.Laurentini A The visual hull concept for silhouette-based image understanding 1994(2)

8.Szeliski R Rapid octree construction from image sequences 1993(1)

9.Tarini M.Callieri M.Montan C Marching intersections:An efficient approach to shape from silhouette

2002

10.Franco J.Boyer E Exact polyhedral visual hulls 2003

11.Matusik W.Buehler C.McMillan L Polyhedral visual hulls for real-time rendering 2001

12.Snow D.Viola P.Zabih R Exact voxel occupancy with graph cuts 2000

13.Sinha S.Pollefeys M Visual-hull reconstruction from uncalibrated and unsynchronized video streams

2004

14.Forbes K.Nicolls F.Jager G Shape-from-silhouette with two mirrors and an uncalibrated camera 2006

15.Li M.Magnor M.Seidel H P Hardware-accelerated visual hull reconstruction and rendering 2003

16.Seitz S M.Dyer C R Photorealistic scene reconstruction by voxel coloring 1997

17.Kutulakos K N.Seitz S M A theory of shape by space carving 2000(3)

18.Gonzalez C.Richard E W Digital Image Processing 2003

19.Yang R.Pollefeys M.Welch G Dealing with textureless regions and specular highlight:A progressive

space carving scheme using a novel photo-consistency measure 2003

20.Culbertson W B.Malzbender T.Slabaugh G G Generalized voxel coloring 1999

21.Cheung G.Baker S.Kanade T Visual hull alignment and refinement across time:A 3D reconstruction

algorithm combining shape-frame-silhouette with stereo 2003

22.Faugeras O.Keriven R Complete dense stereo vision using level set methods 1998(3)

23.Hartley R I.Zisserman A Multiple View Geometry in Computer Vision 2000

24.Kai B.Uwe D H Template matching using fast normalized cross correlation 2001

25.Boykov Y.Veksler O.Zabih R Markov random fields with efficient approximations 1998

26.Harris C.Stephens M A combined corner and edge detector 1988

27.Tomasi C.Kanade T Detection and tracking of point features[CMU-CS-91-132] 1991

28.Lowe D G Distinctive image features from scale-invariant keypoints 2004(2)

29.Fischler M.Bolles R Random Sampling consensus:A paradigm for model fitting with application to

image analysis and automated cartography 1981(6)

30.Tomasi C.Kanade T Shape and motion from image streams:A factorization method 1992(2)

31.Faugeras O What can be seen in three dimensions with an uncalibrated stereo rig 1992

32.Hartley R Kruppa's equations derived from the fundamental matrix 1997(2)

33.Pollefeys M.Koch R.Van Gool L Self-calibration and metric reconstruction in spite of varying and

unknown internal camera parameters 1999(1)

34.Brown D The bundle adjustment-progress and prospect 1976(3)

35.Horn B Obtaining shape from shading information 1975(15)

36.Belhumeur P.Kriegman D.Yuille A The bas-relief ambiguity 1999(1)

37.Prados E.Faugeras O Perspective shape from shading and viscosity solutions 2003

38.Dupuis P.Oliensis J An optimal control formulation and related numerical methods for a problem in

shape reconstruction 1994(2)

39.Okatani T.Deguchi K On classification of singular points for global shape from shading 1998

40.Lions P L.Rouy E.Tourin A Shape-from-shading,viscosity solutions and edges 1993(1)

41.Camilli F.Falcone M An approximation scheme for the maximal solution of the shape-from-shading

model 1996

42.Prados E.Faugeras O Unifying approaches and removing unrealistic assumptions in shape from

shading:Mathematics can help 2004

43.Woodham R J Photometry method for determining surface orientation from multiple images 1980(1)

44.Noakes L.Kozera R Nonlinearities and noise reduction in 3-source photometric stereo 2003(2)

45.Barsky S.Petrou M The 4-source photometric stereo technique for three-dimensional surfaces in the

presence of highlights and shadows 2003(10)

46.Horovitz I.Kiryati N Depth from gradient fields and control points:Bias correction in photometric

stereo 2004(9)

47.Tang K L.Tang C K.Wong T T Dense photometric stereo using tensorial belief propagation 2005

48.Tang K L.Tang C K.Wong T T A markov random field approach for dense photometric stereo 2005

49.Sun J.Smith M L.Smith L N Object surface recovery using a multi-light photometric stereo

technique for non-Lambertian surfaces subject to shadows and specularities 2007(7)

50.Basri R.Jacobs D W.Kemelmacher I Photometric stereo with general,unknown lighting 2007(3)

51.Gibson J J The Perception of the Visual World 1950

52.Witkin A Recovering surface shape and orientation from texture 1981(1/2/3)

53.Blostein D.Ahuja N Shape from texture:Integrating texture-element extraction and surface

estimation 1989(12)

54.Bajesy R.Lieberman L Texture gradient as depth cue 1976(1)

55.Brown L.Shvayster H Surface orientation from projective foreshortening of isotropic texture

autocorrelation 1990(6)

56.Garding J Shape from texture for smooth curved surfaces in perspective projection 1992(4)

57.Malik J.Rosenholtz R A differential method for computing local shape-from-texture[CSD-93-775]

1993

58.Clerc M.Mallat S The texture gradient equation for recovering shape from texture 2002(4)

59.Lobay A.Forsyth D A Shape from texture without boundaries 2006(1)

60.Loh A M.Hartley R Shape from non-homogeneous,nonstationary,anisotropic,perspective texture 2005

61.Xiong Y.Shafer S A Depth from focusing and defocusing 1993

62.Darrell T.Wohn K Depth from focus using a pyramid architecture 1990(12)

63.Nayar S K.Nakagawa Y Shape from focus 1994(8)

64.Yun J.Choi T S Fast shape from focus using dynamic programming 2000

65.Subbarao M.Gurumoorthy N Depth recovery from blurred edges 1998

66.Watanabe M.Nayar S K Rational filters for passive depth from defocus 1998(3)

67.Favaro P.Soatto S A geometric approach to shape from defocus 2005(3)

68.Rajagopalan A N.Chaudhuri S An MRF model-based approach to simultaneous recovery of depth and

restoration from defocused images 1999(7)

69.Pradeep K.Rajagopalan A N Improving shape from focus using defocus cue 2007(7)

70.Hasinoff S W.Kutulakos K N Confocal stereo 2009(1)

71.Cipolla R.Drummond T.Robertson D Camera calibration from vanishing points in images of

architectural scenes 1999

72.Horry Y.Anjyo K.Arai K Tour into the picture:Using a spidery mesh interface to make animation

from a single image 1997

73.Criminisi A.Reid L.Zisserman A Single view metrology 2000(2)

74.Oh B.Chen M.Dorsey J Image-based modeling and photo editing 2001

75.Zhang L.Phocion G D.Samson J S Single view modeling of free-for scenes 2002(4)

76.Blanz V.Vetter T A morphable model for the synthesis of 3D faces 1999

77.Mao T.Huang H.Wang Z A faster method for modeling virtual colony 2004

78.Müller P.Wonka P.Haegler S Procedural modeling of buildings

79.Debevec P E.Taylor C J.Malik J Modeling and rendering architecture from photographs:A hybrid

geometry and image-based approach 1996

80.Pollefeys M.Koch R.Vergauwen M Hand-held acquisition of 3D models with a video camera 1999

81.Hernández C.Schmitt F Silhouette and stereo fusion for 3D object modeling 2004(3)

82.Vogiatzis G.Torr P.Cipolla R Multi-view stereo via volumetric graph-cuts 2005

83.Furukawa Y.Ponce J Accurate,dense,and robust multi-view stereopsis 2007

84.Bradley D.Boubekeur T.Heidrich W Accurate multi-view reconstruction using robust binocular stereo

and surface meshing 2008

85.Zhang L.Curless B.Hertzmann A Shape and motion under varying illumination:Unifying structure from

motion,photometric stereo,and multi-view stereo 2003

86.White R.Forsyth D A Combining cues:Shape from shading and texture 2006

87.Zeng G.Yasuyuki M.Quan L Interactive shape from shading 2005

88.Hernández C.Vogiatzis G.Cipolla R Multi-view photometric stereo 2008(3)

89.Sinha S N.Steedly D.Szeliski R Interactive 3D architectural modeling from unordered photo

collections 2008(5)

90.Salzmann M.Fua P Reconstructing sharply folding surfaces:A convex formulation 2009

91.曹智清.石教英.张世明.孙鑫.刘培珺 基于序列图像建模的多视图模型合并策略[期刊论文]-计算机研究与发展

2005(9)

相似文献(1条)

1.期刊论文 黄静.张涛.唐泽圣.齐东旭.HUANG Jing.ZHANG Tao.TANG Ze-sheng.QI Dong-xu 基于多结点样条插值

的几何造型修补方法 -中国图象图形学报2007,12(2) 针对历史文物几何建模中的问题,提出了一种基于多结点样条的几何建模修补方法.利用多结点样条插值的局部插值显式特性,对立体视觉摄像系统基

于图像的几何建模中形成的"空洞",可通过多结点样条插值算法将"空洞"填补起来,对有破损的陶器类文物的几何建模也可通过多结点样条插值算法进行

修补.

本文链接：http://d.g.wanfangdata.com.cn/Periodical_jsjyjyfz201003020.aspx

授权使用：中科院计算所(zkyjsc)，授权号：2a8e42f4-11c2-4efd-9448-9e53009b2eee

下载时间：2010年12月21日