基于双目视觉的三维重建课件

1、基于双目视觉图像的三维重建人机交互课程1.引言2.基于图像的三维重建 2.1 摄像机标定 2.2特征抽取与特征匹配 2.3三维空间点定位 2.4表面几何建模 2.5纹理映射3.三维重建效果与应用主要内容 我们看到的世界是三维的。人机交互中计算机视觉方面的研究目的就是为了赋予计算机以人类的视觉认知功能，使计算机具有通过二维图像认知三维世界的能力。1、引言 三维信息获取的技术手段通常分三种： 第一种：利用三维建模软件（如3DSMAX，AutoCAD等）构造三维模型； 第二种：人们通过仪器设备直接获取三维信息； 第三种：利用图像或者视频来重建三维模型； 最后一种基于图像的三维建模方法，通过对物体实拍

2、的图像序列或者图像对来恢复出物体模型。根据重建算法的复杂性，建模过程也越来越自动化，使得人工劳动强度越来越轻，降低了建模成本。而建模所需的设备只需要一个普通的相机，适用于任何场景的重构。 基于立体视觉的三维重建流程原始图像摄像机基础矩阵摄像机标定特征点特征点对特征匹配特征点检测对极线约束空间点定位点云模型表面几何重建可见外壳纹理映射三维模型 2.1摄像机标定 2.1.1定义与几何意义 (1)定义：从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像

3、机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。 对图像坐标系，如图，原点 定义为摄像机光轴与图像平面的交点。若 在u，v坐标系中的坐标为 ，每一个像素在x轴与y轴方向上的物理尺寸为dx,dy，则图像中任意一个像素在坐标系下的坐标有如下关系：写为齐次坐标形式 图 图像坐标系 o写成齐次坐标形式为 （3）两种摄像机模型a、小孔成像模型写成齐次坐标形式为 ofb、中心透视投影模型 由以上推导的公式 (5)几何意义最终得到K蕴涵了摄像机的焦距等内部参数，被称为内参矩阵；(R,t)则反映了摄像机坐标系相对于世界坐标系的方向和位置等外部参数，称为外参矩

4、阵。 所以，求投影矩阵P的过程则成为摄像机的标定。 通常，可以采用在摄像机取景范围内放置定标物体的方法进行摄像机定标，其中定标物体的三维形状是已知的，即定标物体上标识点(也称为参考点)相对于物体本身坐标系的三维坐标是已知的。 目前广为采用的定标物体是一块画有棋盘格 的平板（如图），只需要用摄像机从不同视角拍摄 这个平板，对每幅图像提取标识点(定标板上已经标 记好位置)，从而获得定标板标识点与图像标识点间 的对应关系，这样，对每幅图像就可以确定一个投 影矩阵P，从而完成摄像机标定。 2.2特征提取与特征匹配 2.2.1特征提取 特征提取，就是要从大量的图像数据中选择最能反应景物属性特征的因素，用

5、于特征匹配。在目前的特征提取算法中，经常采用的是区域特征、边缘特征和角点特征。为空间点的定位重建，这里采取提取特征点。图像特征点提取方法有很多，可以定义某种算子(Harris算子、DoG算子等)，通过在图像上寻找该算子的极值来提取图像的特征点；也可以通过从图像中提取边缘，然后，在边缘上搜索曲率最大的点作为特征点等等。图 特征点的提取结果2.2.2特征匹配 图像匹配是图像处理中的重要课题，也是三维重建的一个重要步骤。是为了寻找同一空间场景在不同视点下投影图像像素间的对应关系。 对特征提取出的特征点来说，匹配即是在不同视角的图像中找出特征点的对应点，也称对应基元匹配。（1）对极几何约束 设两相机的

6、中心分别为C和C，两图像平面分别为I和I，X1、X2为共同视域中的场景空间点，它们在两幅图像平面上的投影点分别为 ， 。 已知点C，C， X1，X2构成一个平面，称为对极平面 ；该平面与成像平面I和I分别交于直线L和L，称为极线。 对极几何约束可以描述为：假设x和x分别为同一场景空间点X在两幅图像平面I，I上的像点，则x必定位于x对应的极线L上，反之亦然。（2）匹配约束条件 a、唯一性：在给定的两幅图中，一幅图中的一点，在另一幅图中的对应 匹配点至多只有一个，反之亦然。 b、相似性：对应的特征应该具有相同的属性。在某种度量下，同一物理 特性在两幅图像中应该表现出相似的性质。 c、连续性：与观察

7、点的距离相比，物体表面因凸凹不平引起的深度变化 是缓慢的，因而，视差的变化也是缓慢的，或者说视差具有连续性。 2.3三维空间点定位图 三维空间点定位 如图，m是提取的图像特征点，通过特征匹配得到其在另一平面的匹配点为m。由摄像机标定得知投影矩阵P和P，故可以得到这对匹配点（m，m）的反投影的两条射线。当匹配点满足对极几何约束时，反投影射线会在空间中相交，交点M的坐标即为三维空间坐标。 通常情况下，像点坐标都存在测量误差，使得对极几何约束得不到满足，无法使用反投影交点的方法得到三维空间坐标。因此，需要计算出三维空间坐标的最佳估计值，这个过程称为三维空间点定位。 可用最小二乘法求取坐标，或者用最大

8、似然估计法最小化投影误差。2.4.2 表面重建与实现 对于散乱点云，寻找一种快速有效的曲面重建方法是当前的一个研究热点。 （1）根据重建曲面和数据点云之间的关系可以将曲面重建分为插值法和逼近法两大类。前者得到的重建曲面完全通过原始数据点。后者得到的重建曲面是原始数据点的一个逼近。 （2）根据重建曲面表示形式的不同可以将曲面重建分为五大类：参 数曲面重建、隐式曲面重建、变形曲面重建、细分曲面重建和分片线 性曲面重建。 （3）根据曲面拓扑形式的不同可以将曲面重建方法分为两大类：基于矩形域曲面的方法和基于三角域曲面的方法。基于矩形域的曲面建模主要面向有序数据点云，而基于三角域的曲面建模则是面向散乱数

9、据点云。这样，经过曲面重建算法，可以得到三维模型的可见外壳 2.5纹理映射 2.5.1纹理映射定义 在计算机图形学中，为了使模型具有视觉上的真实感，常常预先定义一个纹理图像，再通过某种映射算法建立物体表面点和纹理图像像素点之间的对应关系，合理填充纹理图像像素，最后将纹理图像覆盖到三维表面上，这一过程就是纹理映射。 2.5.2纹理映射基本思想 纹理映射以多幅图像为基础，需要解决的问题是如何将存在于不同图像中的纹理信息组织起来。 这就需要将图像中的有用信息提取出来，用一张纹理图像进行表示。这部分工作通常包含两个步骤：第一步是建立几何模型与纹理图像间的对应关系；第二步是根据对应关系合成纹理图像。 图

10、 纹理像素映射过程 2.5.3模型优化 可见外壳一般以网格形式表示。网格中三角面片数目的多少，对模型的显示速度及模型所需的存储空间都有非常大的影响。 目前人们熟知的网格优化技术包括网格平滑和网格简化。在进行纹理映射之前，采用适当的平滑和简化算法对网格结构进行优化，有利于提高映射精度。 图 可见外壳 2.5.4模型展开 空间六面体可以按照一定的对应关系展开二维平面中。基于这个思想，选定一个可以包围三维模型的六面体，将模型向空间六面体的六个面进行投影，再通过平面展开，就获得了三维模型与二维平面间的对应关系。 图 模型平面参数化和柱面参数化图 六面体的一种展开方式 2.5.5最终纹理合成 由同空间点定位的方法可知几何模型与每幅彩色图像之间的投影关系，我们可以计算出模型上的每一个三维点在各幅图像上所对应的象素。 经过一些处理（面片可见性判断、加权平均），就获得了所有三维模型在纹理图上对应的纹理信息，也就台成了模型的最终纹理图像。在进行绘制的时候只需通过新合成的纹理图对模型进行映射，就能正确的