国家自然科学基金重点项目国家自然科学基金重点项目虚拟现实中基于图像的建模和绘制虚拟现实中基于图像的建模和绘制（编号（编号 6003301060033010 ））

汇报人：石教英浙江大学 CAD&CG 国家重点实验室

二零零五年五月

目 录目 录项目总报告

石教英课题组总结

项目总报告项目总报告一、项目概况二、项目研究背景、目标与内容三、项目成果统计四、四年来研究工作主要成果概述

石教英课题组总结石教英课题组总结一、基于图像的建模（ IBM ）技术二、基于图像的绘制（ IBR ）技术三、基于预计算及采样的实时高真实感图 像的绘制技术四、统一数字几何处理框架研究

一、项目概况一、项目概况1. 项目名称： 虚拟现实中基于图像的建模和绘制2. 项目负责人： 石教英，浙江大学3. 项目承担单位和学术领导人： 浙江大学石教英教授和彭群生教授， 中科院自动化所胡占义研究员， 软件研究所吴恩华研究员4. 起止年月： 2001 年 1 月至 2004 年 12 月5. 资助金额： 110.00 万元6. 四年已到款金额： 110.00 万元7. 经费结余金额： 4 万元

二、研究背景，目标与内容二、研究背景，目标与内容 (1)(1)

1. 项目的研究背景 虚拟现实 (VR) 技术是信息领域的前沿，对视觉建模和绘制的真实感和实时性有很高的要求 计算机图形学面临的两大挑战：高度真实感，实时性 IBMR （基于图像的建模和绘制）是 1990年代初提出的新兴研究方向，鲜明特点：

具有高度真实感和较好的实时性 缺乏几何信息

二、研究背景，目标与内容二、研究背景，目标与内容 (2)(2)Traditional Computer Graphics

– Input: Geometry, Material Properties (Color, Reflectance,…etc.), Lighting.

– Transformation and Rasterization.

– Computer Vision methods to recover models.

Transform(& Lighting)

Rasterization

二、研究背景，目标与内容二、研究背景，目标与内容 (3)(3)Top Level Survey

3D Graphics

Image-Based Rendering& Modeling

Geometry orSurface BasedRendering & Modeling

Sample-BasedGraphics

VolumeRendering

二、研究背景，目标与内容二、研究背景，目标与内容 (4)(4)

二、研究背景，目标与内容二、研究背景，目标与内容 (5)(5)

Why IBR?

– Problems of triangle-based graphics: Always starts from scratch. Millions of sub-pixel triangles.

Geometry IBR

Modeling Difficult Easy

Complexity #triangles #pixels

Fidelity Synthetic Acquired

二、研究背景，目标与内容二、研究背景，目标与内容 (6)(6)

2. 项目的研究目标 采用基于图像的建模技术来替代传统的建模，以及采用图像空间变换操作来替代传统的图形绘制过程，试图解决 VR 建模复杂度，绘制速度及绘制质量等相互制约的矛盾 研究 IBMR 的基础理论和算法

二、研究背景，目标与内容二、研究背景，目标与内容 (7)(7)

3. 项目的研究内容 基于图像的三维场景表示及漫游 基于像素采样点的光照属性和表面几何重建 虚拟景物与现实场景画面的无缝合成 IBMR 采样图像的实时、高效压缩和存取 IBMR 场景图像采样方法和技术优化 实现一个在 CAVE 环境下的 IBMR 实时漫游系统

三、项目成果统计三、项目成果统计 (1)(1)1. 四年来已发表论文统计

说明：1) 论文数量较多，质量较高；国际著名期刊论文达 13篇（未包括已录用论文数）2) 论文的年平均数也可看出四位学术带头人的平均产出，达 31 篇

年度 国际期刊 国际会议 国内一级学报 小计 SCI EI ISTP

2001 0 5 15 20 1 13 4

2002 3 12 22 37 4 17 2

2003 6 9 15 30 7 15 9

2004 4 9 25 38 7 9 2

总计 13 35 77 125 19 54 17

年平均 3.25 8.75 19.25 31 4.75 13.5 4.75

三、项目成果统计三、项目成果统计 (2)(2)

2. 人才培养统计毕业博士生 23 名 年均培养毕业博士生 5.75名毕业硕士生 14 名 年均培养毕业硕士生 3.5 名博士生平均发表论文 125 篇 /23 名 = 5 篇

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (1)(1)

1 、杰出成果简介本项目推动了我国计算机图形学与计算机视觉两个学科的交叉研究，取得了一批瞩目的成果。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (2)(2)1 、杰出成果简介（ 1 ）在摄像机外参数标定的 PnP问题上纠正了前人一直认为的基于距离的 PnP问题和基于变换 PnP问题相互等价的错误结论；深入研究了 PnP 多解的几何分布问题。在摄像机自标定这一国际研究热点问题上，证明了对变参数摄像机仅仅知道平移运动不足以达到仿射重建，纠正了存在于学术界长达十余年的错误结论；提出多种基于主动视觉的摄像机自标定理论和算法，包括新的线性摄像机自标定方法和基于射影重建的摄像机自标定方法等。有多篇论文发表在 IEEE Trans. PAM

I ， Pattern Recognition Letters , Image and Vision Computing 及国内一级学报上。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (3)(3)1 、杰出成果简介（ 2 ）国际上首次解决了基于（深度）图像自动重建基于点与平面混合表示模型的复杂虚拟场景的技术难题，提出一系列创新算法有：能自动地将庞杂输入数据划分为点与平面模型的像素分类算法；基于 Jacobi矩阵的采样密度比较算法；重建平面的空洞分析和预填补算法；针对基于点表达的物体的局部重建和重采样算法以及针对点面混合表达的实时漫游算法等。该项工作作为 Kluwer Academic 出版社于 2004 年 1 月出版的“ Integrated Image and Graphics Technologies”专著的一章发表，是一项国际领先水平的成果。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (4)(4)1 、杰出成果简介（ 3 ）提出了一个统一的数字几何处理框架，解决了将网格模型参数化到球面（或平面）的全局参数化的方法。在该框架下，所有成熟的数字图象处理技术都可以运用于 3D 几何数据处理上。论文也为后续应用研究奠定了理论基础。该项工作进一步促进了计算机图形学和图像处理两个学科在表示和处理层次上的交叉和融合。应用统一的数字几何处理框架，提出了曲面滤波处理方法，我们的主要贡献在于提出了两步法球面参数化方法。 有关论文发表在国际著名期刊 Comp

uter Aided Design 以及国内计算机学报英文版等期刊上。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (5)(5)1 、杰出成果简介（ 4 ）基于预计算及采样的实时高真实感图像的绘制技术提出了一种球面光辐射传输映射的新绘制方法。已有的预计算光辐射传输函数方法局限于单个物体或静态场景的绘制。我们提出一种处理包含动态场景的预计算方法 , 可以高效地绘制环境光源下动态场景中的软阴影和相互反射。另外还提出了一种称为光照相关纹理的新绘制方法——光照相关纹理技术 。这是一种基于采样的实时高真实感图像绘制技术，是基于图像绘制技术的新发展。相关论文发表在 Computer Gra

phics Forum 和 Computers & Graphics 等国际著名期刊上。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (6)(6)1 、杰出成果简介（ 5 ）提出了基于相关系数的多源图像最优融合方法和线性最优融合方法，并证明了两者的等价性，改进了计算的时空复杂性。考虑人类视觉对图像局部区域的敏感程度，提出了一种新的基于人类视觉系统（ HV

S ）的小波图像融合新算法，大大改善了图像融合的结果。有关论文发表在国内一级学报上。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (7)(7)1 、杰出成果简介（ 6 ）开发了多个具有较高应用前景的基于图像建模和绘制的原型系统，如基于序列图像的建筑场景建模原型系统（ SIBM ），基于图像绘制的胡雪岩故居及灵隐寺景观漫游原型系统等。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述(8)(8)

2 、完成情况概述1 ）计划任务书上所列 6 项研究内容都作了相关研究，并取得相应的结果（参见历年年度进展报告），但是各项内容完成质量是不平衡的。作为本项目的基础，即第 1 ， 2 两项内容取得了较多和较高水平的成果。这部分成果可以看作为本项目的代表性成果 。2 ）完成多个具有重要应用前景的 IBMR原型系统。3 ）本项目在完成原定研究计划外，还新增了几项与图象、视频以及真实感图形实时绘制等方面相关的研究内容，也取得较高水平的结果 。

3 、四位学术带头人总结报告

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (9)(9) 石教英课题组总结报告石教英课题组总结报告1 、基于图像的建模（ IBM ）技术2 、基于图像的绘制（ IBR ）技术3 、基于预计算及采样的实时高真实感图像的绘制技术4 、统一数字几何处理框架研究

1 、基于图像的建模（ IBM ）技术 主要贡献

– 论文 [ 文 1] 提出了一种强壮的特征点匹配算法。论文提出了基于硬几何约束的“匹配强度”概念，可减少匹配歧义性，同时提出了一种扩展指派算法用于全局优化，可达到最终消除匹配歧义问题。论文还改进了 Harris 特征点提取算法，增强对噪声的扼制能力。特征点匹配是计算机视觉的一项重要研究内容，具有重要应用价值，特别在基于图象建模方向上更是一个基础性工作，本文算法为下步基于图象建模工作打下了扎实基础。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (10)(10)

石教英课题组总结报告石教英课题组总结报告

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (11)(11)

石教英课题组总结报告石教英课题组总结报告

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (12)(12)

石教英课题组总结报告石教英课题组总结报告

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (13)(13)

石教英课题组总结报告石教英课题组总结报告1 、基于图像的建模（ IBM ）技术 主要贡献

– 论文 [ 文 72 ， 73 ， 74]针对建筑物模型的规则性，提出一种基于平面的建筑物模型重建算法，包括相机定标，基平面提取，平面位置和方向计算等子过程，最后通过交互操作指明场景中各平面之间的相互关系，递归求解各平面位置和法向，达到根据图像重建建筑物场景表面模型的目的。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (14)(14)

石教英课题组总结报告石教英课题组总结报告基于序列图像建筑场景建模软件原型系统（ SIBM ）

SIBM 系统功能模块 采样图像 重建模型

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (15)(15)石教英课题组总结报告石教英课题组总结报告2 、基于图像的绘制（ IBR ）技术 主要贡献

– 提出了一种新的基于图像的场景表示方法：平面狭缝图像场，以及一种称为深度狭缝图像全景拼图的新方法，形成一种新的基于图像的绘制方法，可实时生成具有高真实感的漫游场景。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (16)(16)石教英课题组总结报告石教英课题组总结报告2 、基于图像的绘制（ IBR ）技术 主要贡献

– 论文 [会 28,29] 是对著名的“画中游” (Tour into picture-TIP) 技术的一种改进，提出了 TIP 建模中相对深度的新概念，应用相对深度概念可以方便地定义参考图象的位置，从而可以方便地构建 TIP 的模型。论文给出了单灭点 TIP 和双灭点 TIP 相对深度的计算方法。实验证明本文方法的可行性和正确性。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (17)(17)石教英课题组总结报告石教英课题组总结报告

胡雪岩故居及灵隐景区漫游系统界面（点击左图进入视频演示）

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (18)(18)石教英课题组总结报告石教英课题组总结报告3 、基于预计算及采样的实时高真实感图像的绘制技术 主要贡献

– 论文 [ 文 8] 提出了一种球面光辐射传输映射的新绘制方法。球面光辐射传输映射是一种预计算的光辐射传输函数技术，该技术用于实时的全局光照绘制。已有的预计算的光辐射传输函数方法局限于单个物体或静态场景的绘制。我们提出一种处理包含动态场景的预计算方法。球面光辐射传输映射技术可以高效地绘制环境光源下动态场景中地软阴影和相互反射。DEMO 1 DEMO 2

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (19)(19)石教英课题组总结报告石教英课题组总结报告3 、基于预计算及采样的实时高真实感图像的绘制技术 主要贡献

– 论文 [ 文 9] 提出了一种称为光照相关纹理的新绘制方法——光照相关纹理技术 。利用这一技术，可以将真实材料表面的三维纹理移植到虚拟模型上，在环境光的照射下，进行实时绘制。这是一种基于采样的实时高真实感图像绘制技术，是基于图像绘制技术的新发展。DEMO

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (20)(20)石教英课题组总结报告石教英课题组总结报告4 、统一数字几何处理框架研究 主要贡献

– 论文 [ 文 33] 提出了一个统一的数字几何处理框架，即提出了将网格模型参数化到球面（或平面）的全局参数化方法。在论文的框架下，所有成熟的数字图象处理技术都可以运用于 3D 几何数据处理上。论文也为后续应用研究奠定了理论基础。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (21)(21)

石教英课题组总结报告石教英课题组总结报告

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (22)(22)

石教英课题组总结报告石教英课题组总结报告4 、统一数字几何处理框架研究 主要贡献

– 论文 [ 文 13] 在上述统一数字几何处理框架下提出了曲面滤波处理方法，即应用我们提出的强壮的球面参数化方法将输入曲面转换为球面矢量函数，再进行滤波处理，我们的主要贡献在于提出了两步法球面参数化方法。

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (23)(23) 石教英课题组总结报告石教英课题组总结报告

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (24)(24) 石教英课题组总结报告石教英课题组总结报告

四、四年来研究工作主要成果概述四、四年来研究工作主要成果概述 (25) (25) 石教英课题组总结报告石教英课题组总结报告

谢谢大家！谢谢大家！