计算机辅助文物复原中的若干问题研究

潘荣江panrj@sdu.edu.cn

山东大学计算机科学与技术学院2005 年 11 月

2

基础知识

1 图形学的研究内容2 3D data types3 2½-D Data4 Reconstruction5 Range Acquisition Methods

3

4

Main Themes

Imaging- Representing 2D images

Modeling- Representing 3D objects

Rendering- Constructing 2D images from 3D models

Animation- Simulating changes over time

5

Modeling--Design

Graphics for Engineering and Architectural System

AutoCAD 2002 Interior Design

6

Modeling--Reconstruction

7

3D Data Types Point Data

- “Point clouds”- Advantage: simplest data type- Disadvantage: no information on adjacency / connectivit

y Volumetric Data

- Regularly-spaced grid in (x,y,z): “voxels”- For each grid cell, store

- Occupancy (binary: occupied / empty)- Density- Other properties

- Popular in medical imaging- CAT scans- MRI

8

3D Data Types

- Advantages:- Can “see inside” an object- Uniform sampling: simpler algorithms

- Disadvantages:- Lots of data- Wastes space if only storing a surface- Most “vision” sensors / algorithms return

point or surface data

9

3D Data Types

Surface Data- Polyhedral

- Piecewise planar- Polygons connected together- Most popular: “triangle meshes”

- Smooth- Higher-order (quadratic, cubic, etc.) curves- Bézier patches, splines, NURBS, subdivision surface

s, etc.

10

3D Data Types- Advantages:

- Usually corresponds to what we see- Usually returned by vision sensors / algorithms

- Disadvantages:- How to find “surface” for translucent objects?- Parameterization often non-uniform- Non-topology-preserving algorithms difficult

- Implicit surfaces (cf. parametric)- Zero set of a 3D function- Usually regularly sampled (voxel grid)- Advantage: easy to write algorithms that change topology- Disadvantage: wasted space, time

11

2½-D Data Image

- stores an intensity / color alongeach of a set of regularly-spaced rays in space

Range image- stores a depth along each of a set of regularly-

spaced rays in space Not a complete 3D description

- does not store objects occluded (from some viewpoint)

- View-dependent scene description

12

2½-D Data

This is what most sensors / algorithmsreally return

Advantages- Uniform parameterization- Adjacency / connectivity information

Disadvantages- Does not represent entire object- View dependent

13

2½-D Data

Range images Range surfaces Depth images Depth maps Height fields 2½-D images Surface profiles xyz maps …

14

Related Fields Computer Vision

- Passive range sensing- Rarely construct complete, accurate models- Application: recognition

Metrology- Main goal: absolute accuracy- High precision, provable errors more important

than scanning speed, complete coverage- Applications: industrial inspection, quality

control, modeling

15

Related Fields

Computer Graphics- Often want complete model- Low noise, geometrically consistent model

more important than absolute accuracy- Application: animated CG characters

16

Terminology

Range acquisition, shape acquisition, rangefinding, range scanning, 3D scanning

Alignment, registration Surface reconstruction, 3D scan

merging, scan integration, surface extraction

3D model acquisition

17

Range Acquisition Taxonomy

RangeRangeacquisitionacquisition

ContactContact

TransmissiveTransmissive

ReflectiveReflectiveNon-opticalNon-optical

OpticalOptical

Industrial CTIndustrial CT

Mechanical Mechanical (CMM, jointed arm)(CMM, jointed arm)

RadarRadar

SonarSonar

UltrasoundUltrasound

MRIMRI

Ultrasonic trackersUltrasonic trackersMagnetic trackersMagnetic trackers

Inertial Inertial (gyroscope, accelerometer)(gyroscope, accelerometer)

18

Range Acquisition Taxonomy

OpticalOpticalmethodsmethods

PassivePassive

ActiveActive

Shape from X:Shape from X:stereostereomotionmotionshadingshadingtexturetexturefocusfocusdefocusdefocus

Active variants of passive methodsActive variants of passive methodsStereo w. projected textureStereo w. projected textureActive depth from defocusActive depth from defocusPhotometric stereoPhotometric stereo

Time of flightTime of flight

TriangulationTriangulation

19

Touch Probes

Jointed arms with angular encoders

Return position, orientation of tip

Faro Arm – Faro Technologies, Inc.Faro Arm – Faro Technologies, Inc.

20

Optical Range Acquisition Methods

Advantages:- Non-contact- Safe- Usually inexpensive- Usually fast

Disadvantages:- Sensitive to transparency- Confused by specularity and interreflection- Texture (helps some methods, hurts

others)

21

Stereo

Find feature in one image, search along epipolar line in other image for correspondence

22

Stereo Advantages:

- Passive- Cheap hardware (2 cameras)- Easy to accommodate motion- Intuitive analogue to human vision

Disadvantages:- Only acquire good data at “features”- Sparse, relatively noisy data (correspondence is hard)- Bad around silhouettes- Confused by non-diffuse surfaces

Variant: multibaseline stereo to reduce ambiguity

23

Active Optical Methods

Advantages:- Usually can get dense data- Usually much more robust and accurate

than passive techniques Disadvantages:

- Introduces light into scene (distracting, etc.)

- Not motivated by human vision

24

Pulsed Time of Flight

Basic idea: send out pulse of light (usually laser), time how long it takes to return

tcd 2

1tcd

2

1

25

Pulsed Time of Flight

Advantages:- Large working volume (up to 100 m.)

Disadvantages:- Not-so-great accuracy (at best ~5 mm.)

- Requires getting timing to ~30 picoseconds- Does not scale with working volume

Often used for scanning buildings, rooms, archeological sites, etc.

26

AM Modulation Time of Flight

Modulate a laser at frequencym , it returns with a phase shift

Note the ambiguity in the measured phase! Range ambiguity of 1/2mn

2

2

2

1 n

ν

cd

m

2

2

2

1 n

ν

cd

m

27

AM Modulation Time of Flight

Accuracy / working volume tradeoff(e.g., noise ~ 1/500 working volume)

In practice, often used for room-sized environments (cheaper, more accurate than pulsed time of flight)

28

Triangulation Most scanners mount camera and light sou

rce rigidly, move them as a unit Moving the Camera and Illumination

29

Triangulation: Extending to 3D

Possibility #1: add another mirror (flying spot)

Possibility #2: project a stripe, not a dot

ObjectObject

LaserLaser

CameraCameraCameraCamera

30

Triangulation Scanner Issues

Accuracy proportional to working volume Scales down to small working volume

(e.g. 5 cm. working volume, 50 m. accuracy)

Two-line-of-sight problem (shadowing from either camera or laser)

Triangulation angle: non-uniform resolution if too small, shadowing if too big (useful range: 15-30)

31

Triangulation Scanner Issues

Material properties (dark, specular) Subsurface scattering Laser speckle Edge curl Texture embossing

32

Multi-Stripe Triangulation

To go faster, project multiple stripes But which stripe is which? Answer #1: assume surface continuity Answer #2: colored stripes (or dots)

33

Multi-Stripe Triangulation

Answer #3: time-coded stripes

34

Time-Coded Light Patterns

Assign each stripe a unique illumination codeover time [Posdamer 82]

SpaceSpace

TimeTime

35

InSpeck 3D-DF

36

内容

1 绪论2 平面碎片的拼接3 曲面碎片边界线的提取4 旋转型曲面碎片旋转轴和母曲线的估计5 旋转型曲面碎片的拼接6 总结与展望

37

文物 文物是人类在历史发展过程中遗留下来的具有历史、

艺术、科学价值的遗物和遗迹。 珍贵的文物经受了不同程度的破坏和损害。 每一次考古发现都会带来大量残缺、破碎的文物。

38

文物修复 文物修复是指从残缺、破碎

的文物碎片中清理、修复出完整的文物，还原其本来面目。

修复后的文物可以用于考古研究、博物馆展览、商业文化交流等活动中

文物修复一般经过清理、拼接、粘合、补缺、全色几道工序。

39

文物修复的困难 文物修复技术性强。 修复任务十分繁重，全

国现有 2000 多万件破损文物。

操作不当会造成珍贵文物的进一步磨损和破坏。

大型文物的搬运、拼接、粘合都比较困难。

40

考古现场的文物碎片

41

计算机辅助文物复原 加快文物复原的速度 避免修复过程对文物的损害 降低文物修复的难度 把复原文物的数字模型直接应用于数字博物馆

的文物展示和检索中，实现资源共享。 在古生物学、事故分析、医学手术、刑事侦查、娱乐游戏、地理分析、自动装配、计算机辅助设计、化学等领域也有应用背景。

42

辅助修复的内容 拼接、补缺和全色可以利用计算机辅助进行。 数据获取

- 二维图像 : 图像配准- 三维数据 : 多视数据配准

缺片填补- Image inpainting 技术 - 基于样本的纹理合成- 几何数据的空洞填充

碎片拼接- 预处理、提取特征- 局部拼接- 整体重建

43

国内外研究现状 美国 stanford 大学的 Forma Urbis Romae项目 美国 Brown 大学的 SHAPE项目 英国 Brunel 大学与欧洲十几所大学 3D Murale Siggraph2005上Mark Pauly 的反问题 浙江大学潘云鹤院士敦煌壁画保护与修复 西北大学周明全教授兵马俑复原

44

平面碎片拼接的研究现状 自动拼版游戏 (jigsaw puzzle)

- 拼版大小均匀，形状规则 - 边界拼版 - 完全匹配

Andrew Glassner彩色照片碎片- 利用了颜色信息

曲线匹配- 计算碎片间连续匹配的子曲线

碎片之间是完全匹配吗？

45

曲面碎片拼接的研究现状 多视数据配准（multiview registration）

- 依据视图的重叠部分 空间曲线曲面匹配

- 曲线的曲率和挠率- 曲面的特殊性质

如何提取碎片的边界线？ 如何计算边界线的曲率？

46

边界检测的研究现状 没有被三角形链包围的点 基于采样点的 Voronoi 图 递归最小二乘法 Pearson卡方检验和遗传算法 最小生成树法 精确、整体最优的边界？

47

旋转型曲面碎片 旋转型曲面碎片

- 出土最多，使用最广泛 - 最容易破碎- 可靠的记时器- 形制和装饰的变化反映了

文化的分布和传播- 考古学家认为陶器是历史

的脊柱

48

旋转型曲面碎片的研究现状 三维 Hough变换估计旋转轴 M-estimator方法估计旋转轴 向量枚举法估计旋转轴 分两步求解两个自由参数的最小化问题，实现拼接

陶器表面的小装饰物？ 重叠检测？ 最优拼接？

49

本文的工作基础 山东大学考古数字博物馆

- 1 万余件文物藏品的数字化- 100 多件文物精品三维数据- 文物信息管理系统- 网站内容采编系统 - 虚拟展馆及交互漫游系统 - 基于Web 的多媒体展示系统 - 计算机辅助文物建模系统

50

计算机辅助文物建模系统

51

本文的研究内容 平面碎片的特征提取

- 边界线的特征点- 边界线的曲率

平面碎片的拼接 曲面碎片的特征提取

- 边界线的提取- 边界线的曲率- 旋转型曲面碎片的旋转轴和母曲线

旋转型曲面碎片的拼接

52

内容

1 绪论2 平面碎片的拼接3 曲面碎片边界线的提取4 旋转型曲面碎片旋转轴和母曲线的估计5 旋转型曲面碎片的拼接6 总结与展望

53

平面碎片的拼接 非常薄的平面文物碎片一般采用二维图像表示 重点考虑碎片之间一般是不完全匹配的特点

54

拼接流程 碎片的接合一般有 Y和 T两种类型

接合点至少是其中一条曲线的特征点

55

基于移动向量的数字曲线曲率计算 利用曲线的 Taylar 展开

56

57

数字曲线特征点的提取 构造尺度－特征曲线 用双曲线拟合尺度－特征曲线 双曲线顶点对应的尺度作为自适应尺度值，计算特征点

58

所有最长公共子序列的检测 最长公共子序列问题是最长公共子串问题的一般形式，在匹配字符串时允许插入、删除字符，可以用来估计两个字符串的相似程度，相当于允许对曲线进行拉伸、缩短操作，符合物体碎片的拼接情况。

但是一般的 LCS 算法，只能求出其长度和一个 LCS 。为了避免丢失正确的拼接情况，需要找出碎片之间所有可能的合理拼接情况，需要检测所有的最长公共子序列 (ALCS) 。

基于单位四元数的绝对定位方法，根据找出的 LCS ，计算刚体变换矩阵。

59

重叠检测

60

度量标准 距离度量：变换后的匹配点之间的剩余距离之和越小越好。 长度度量：轮廓曲线的匹配部分越长越好。 变化度量：曲率变化比较大的同样的两条子轮廓曲线，更可能是正确的匹配。

61

实验结果

62

63

内容

1 绪论2 平面碎片的拼接3 曲面碎片边界线的提取4 旋转型曲面碎片旋转轴和母曲线的估计5 旋转型曲面碎片的拼接6 总结与展望

64

曲面碎片 用三维扫描仪对碎片表面采样，可以得到稠密均匀的采样点集，称为点云

点集开曲面表示的碎片是指外表面为曲面、厚度非常薄的空心文物的碎片。

点云表示三维碎片比网格表示具有很多优势

65

主要步骤 根据一个点周围的 k个最邻近点，计算每个点

的边界概率。 为了找到真正的边界点，根据点的边界概率和局部邻近关系构造一个赋权无向图。

利用最大圈算法寻找边界线，保证提取的边界线是封闭的，且是整体最优的。

66

度量标准 最大角度量

半圆盘度量

形状度量

综合标准

67

典型数据的边界概率值

68

封闭边界线的提取 对邻近点在最小二乘平面上的投影进行 Delaunay三角化，如果两个点属于同一个三角形，则定义为相邻。

点云作为无向图的顶点集合 点的局部邻接关系作为无向图的边集合 边的权值

提取封闭边界曲线就转换为在赋权无向图中寻找最大圈问题

69

最大圈算法 构造另外一个赋权无向图

70

寻找赋权无向图 G的最大圈的问题归约到寻找赋权无向图 G’的最大完全匹配问题，这可以利用 Edmonds给出的多项式时间最大完全匹配算法。

散乱点集的边界线包含的边界点数一般都要大于某个阈值，低于该阈值的边界线不是要寻找的真正的边界线。因此最大圈中包含的顶点数也必须大于这个阈值。

71

实验结果

72

73

最小生成树方法 vs最大圈方法

74

内容

1 绪论2 平面碎片的拼接3 曲面碎片边界线的提取4 旋转型曲面碎片旋转轴和母曲线的估计5 旋转型曲面碎片的拼接6 总结与展望

75

旋转体 通过旋转轴、母曲线可以完全描述旋转体的几何结构

避免陶器表面小装饰物的影响

76

主要步骤 计算碎片上各个点的法线，并用 Plucker坐标表示

采用 RANSAC方法估计旋转轴的自由参数 把三维点及其法向量变换到一个通过旋转轴的二维平面上，采用多项式曲线拟合母曲线。

77

法向量的计算 基于 Delaunay或 Voronoi 性质的组合方法 采用最优化的数值计算方法

- 二次曲面片法- 完全最小二乘法

奇异值分解，其最小的奇异值对应的单位向量就是要估计的单位法向量

78

直线的 Plucker坐标 三维欧氏空间中的一条直线可以由直线上的一个点和单位方向向量确定。

直线的矩向量与直线上点的选择无关。 单位方向向量和矩向量组成的拼六小组称为直线的标准 Plucker坐标。

79

RANSAC 算法 RANSAC(RANdom SAmpling Consensus) 是

一种健壮的估计方法。 基本思想：

- 针对问题设计一个目标函数- 随机取样估计该函数的参数值- 把所有的数据划分为所谓的“内点” 和“外点”- 寻找最大内点数对应的参数值。- 用所有的“内点”重新计算和估计函数的参数值。

80

母曲线的拟合 把每个点及其法向量绕着旋转轴旋转到平面坐标中 平面次隐式多项式的一般形式

线性最小二乘问题

81

实验结果

82

83

内容

1 绪论2 平面碎片的拼接3 曲面碎片边界线的提取4 旋转型曲面碎片旋转轴和母曲线的估计5 旋转型曲面碎片的拼接6 总结与展望

84

旋转型曲面碎片的拼接流程 检测碎片的边界线 估计旋转轴和母曲线 把两块碎片的旋转轴对齐 在两个自由度的搜索空间中，利用边界线、母曲线匹配实现拼接。

85

旋转轴的对齐 变换矩阵

86

边界线的处理 计算边界线的曲率

根据边界线的特征点，划分成子边界线 要求对应边界点的法向量方向相同 要求两块碎片上靠近边界点的内点不能重叠

87

优化计算 两个自由参数

- 在轴方向上的相对位移- 绕轴的旋转角度

误差函数

Nelder-Mead单纯形法计算

88

实验分析

89

内容

1 绪论2 平面碎片的拼接3 曲面碎片边界线的提取4 旋转型曲面碎片旋转轴和母曲线的估计5 旋转型曲面碎片的拼接6 总结与展望

90

总结 提出基于最长公共子序列的平面碎片拼接方法 提出基于最大圈的曲面碎片边界线提取方法 提出旋转型曲面碎片的旋转轴和母曲线的健壮

估计方法 给出旋转型曲面碎片的拼接方法

91

研究展望 技术和方法

- 利用多分辨率技术提高计算速度- 利用碎片的多种特征进行拼接，包括

几何、纹理、颜色等- 一般曲面碎片的拼接方法- 文物的整体重建方法

大学数字博物馆建设工程二期建设项目

- 文物数据库- 文物专家的知识和经验- 实用化

92

发表 &撰写的论文 A New Method to Discrete Curvature on Digital Curves, Fourth

International Conference on Virtual Reality and Its Applications in Industry. Edited by Sun, Jizhou; Pan, Zhigeng. Proceedings of the SPIE, Volume 5444, 2004, pp: 75-82 （排名第 1位）

一种基于 LCS 的物体碎片拼接方法，计算机学报， 2005 年， Vol.28，No.3, pp: 350-356 （排名第 1位）

陶器碎片旋转轴的健壮估计，计算机辅助设计与图形学学报， 2005 年，Vol.17， No.11 （排名第 1位）

点云曲面边界线的提取， GDC2005 论文集 （排名第 1位） 基于快速行进法的区域填充算法， ChinaGraph2004 论文集 （排名第

1位） 基于快速行进法的区域填充算法，工程图学学报， 2005, Vol.26, No.2,

pp:31-34 （排名第 1位） 陶器碎片的几何结构估计，第 14届中国多媒体学术会议 （ NCMT200

5）， 2005 年 10 月，中国昆明 （排名第 1位） 一种基于可见边的平面细分遍历算法，计算机工程与应用， 2002, Vol3

8, No.16, pp: 201-203 （排名第 1位） 基于最大圈的点云曲面边界线提取算法， (正审稿 ) （排名第 1位）