基于图像的三维重建

主讲人：原飞机器视觉/空间测量组基于图像的三维重建基于图像的三维重建一、应用背景二、研究现状三、重建流程1-1制造业与逆向工程应用背景1-2影视与娱乐 数字化三维模型，能够给电影和视频游戏提供丰富素材。22届国际体博会上，由深圳泰山在线科技公司研发的首款三维体感互动游戏——i-dong地鼠1997年，PaulDebevec利用图像重建技术，成功地出品了电影短片《theCampanile》。

1-3文化遗产的保存 对文物进行三维重建操作，以便获取文物精准的几何和色彩信息。河南省新乡市辉县村舍重建图龙形纹理门框的局部重建图新疆米兰古城三维重建图研究现状2-1国外研究现状

PaulE.Debevec——参数几何体表示初始模型

StevenM.Seitz——颜色不变量、顺序可见性规则重建场景模型③Robertocipolla——三维重建系统PhotoBuilder研究现状2-2国内研究现状

北京交通大学

袁保宗

提出了，由真实世界到计算机虚拟世界的转换问题。

浙江大学

刘刚

设计了，一个能绘制出几何模型和表面纹理的真实场景交互建模系统。③中科院自动化研究所，开发的CVSuite，能利用立体视觉进行三维重建。④上海交大马利庄提出了一种基于构建VisualHull，求取物体形状及表面反射属性的方法。研究现状2-3重建软件①3DmeNow②Canoma③PhotoModeler和PhotoModelerScanner④ImageModeler三维重建的四种主要方式：1基于图像2使用探针或激光读数器逐点获取数据3三维物体的断层扫面4光学三维扫描仪重建流程基于图像的重建方式，应用范围广泛，精度比较低。使用探针或激光读数器逐点获取数据，进行整体三角化，此类方法测量精确，但速度很慢，难以在短时间内获得大量数据。

根据三维物体的断层扫面，得到二维图像轮廓，进行相邻轮廓的连接和三角化，得到物体表面形状。应用硬件光学三维扫描仪获得物体的点云数据，进行重建获得物体的整体表面信息。

基于图像重建流程纹理贴图图像匹配1摄像机标定图像校正匹配2，计算视差点云对齐，拼接曲面重构重建流程空间点的获取黄色：任意位置绿色：平行位置图像校正

①图像校正的目的图像校正极线不平行极线交于极点极线平行极点无穷远相机任意位置图像未校正相机平行校正图像需计算极线方程影响运行效率不需进行极线提高效率②图像校正的原理图像校正的过程，就是对里两幅图像分别进行二维的变换。将这种变换记为U1和U2，则图像点的变换可以看成其中，为p1变换后的坐标，为p2变换后的坐标。(1a)(1b)图像校正为了使极线变成一组平行直线，需要将极点放到无穷远处。设该无穷远极点为则经过校正后的图像对的基础矩阵可以表示为(2)图像校正则由式（1a)可以得到如下等式将式（1a)和式（1b)代入得由式（2）可得图像校正只要知道了基础矩阵F，就可以从上式中分解出变换矩阵和，从而实现图像的校正。图像校正设为将U分解为如下形式：透视变换图像校正相似变换错切变换③图像校正过程图像校正透视变换错切变换相似变换极线和图像坐标系的横轴平行极点被移到了无穷远点极线束变成了一组平行直线使得水平方向的图像畸变最小化

基于窗口的灰度匹配基于窗口的稀疏点匹配基于窗口的稠密点匹配匹配计算视差基于窗口的灰度匹配原则=匹配计算视差左图中所有匹配点 最大视差为a 最小视差为b 匹配点p的视差为d 视差图中p点的灰度值为255*|d-b|/|a-b|匹配计算视差匹配计算视差3-4空间点的获取

图像经过校正后可以看成是两台光轴互相平行的摄像机的成像经过校正后图像上的俩个对应点空间点P在摄像机C1和C2坐标系下的坐标，b为基线图像点和三维空间点的映射关系可以得到：3-5点云拼接

①三维坐标变换②拼接原理③拼接步骤④拼接实例点云拼接点云拼接①三维坐标变换

点云拼接表示三维图像的坐标变换产生比例、旋转、错切等几何变换产生平移变换②拼接原理点云拼接点云拼接

P1中提取一个子集在数据点集P2中有一子集与P1中点一一对应通过这俩个子集求解R和T实现P1与P2的拼接三维坐标系和之间的位置对应关系可以用下式表示，即：如果知道了R和T的值，就可以将坐标系进行旋转和平移，转化为坐标系。这样就能将各块测量的数据转换到同一个坐标系，实现拼接任务了。点云拼接③拼接步骤：多视角点云数据的拼接方法可以分为两步。1首先利用离散的特征进行匹配的方法实现粗配准2再使用迭代最近点算法(ICP)算法进行精确配准点云拼接注意：当零件的表面没有明显的特征的时候，可以通过人为的方式在物体的表面附加特征来处理，常用的是粘贴标记点或者辅助圆球的做法。点云拼接④拼接实例 对同一个待测物体从不同的两个方位进行拍摄，其中图(a)的右半部分和图(b)的左半部分事实上是待测物体上的同一个部分。 图(a)中的参考点4、5、6、7分别对应图(b)中的2、1、4、3点 ①将这些相同点一一对应起来 ②根据它们的坐标解出R和T ③拼接两部分得到的数据点云，形成一段完整的物体表面轮廓。点云拼接点云拼接散乱点集的曲面三角剖分空间直接剖分逐点插入法分治算法三角网格生长法约束delaunay三角剖分Delaunay三角剖分最小权三角剖分Hoppe算法Choi算法Voronoi图算法

α-shape算法

平面投影法三角剖分曲面重构Delaunay三角剖分一、定义二、性质三、算法分类曲面重构定义

三角剖分：假设V是二维实数域上的有限点集，边