基于双目视觉的三维重建概要

基于双目视觉图像三维重建人机交互课程基于双目视觉的三维重建概要第1页1.引言2.基于图像三维重建

2.1摄像机标定2.2特征抽取与特征匹配2.3三维空间点定位2.4表面几何建模2.5纹理映射3.三维重建效果与应用主要内容

基于双目视觉的三维重建概要第2页

我们看到世界是三维。人机交互中计算机视觉方面研究目标就是为了赋予计算机以人类视觉认知功效，使计算机含有经过二维图像认知三维世界能力。1、引言基于双目视觉的三维重建概要第3页

三维信息获取技术伎俩通常分三种：第一个：利用三维建模软件（如3DSMAX，AutoCAD等）构造三维模型；第二种：人们经过仪器设备直接获取三维信息；第三种：利用图像或者视频来重建三维模型；基于双目视觉的三维重建概要第4页

最终一个基于图像三维建模方法，经过对物体实拍图像序列或者图像对来恢复出物体模型。依据重建算法复杂性，建模过程也越来越自动化，使得人工劳动强度越来越轻，降低了建模成本。而建模所需设备只需要一个普通相机，适合用于任何场景重构。基于双目视觉的三维重建概要第5页

基于图像三维重建常见算法：基于平面三维重建；基于深度图三维重建；基于轮廓线三维重建；基于立体视觉三维重建；2、基于图像三维重建图基于立体视觉三维重建基于双目视觉的三维重建概要第6页

基于立体视觉三维重建流程原始图像摄像机基础矩阵摄像机标定特征点特征点对特征匹配特征点检测对极线约束空间点定位点云模型表面几何重建可见外壳纹理映射三维模型基于双目视觉的三维重建概要第7页

2.1摄像机标定

2.1.1定义与几何意义(1)定义：从摄像机获取图像信息出发，计算三维空间中物体几何信息，并由此重建和识别物体，而空间物体表面某点三维几何位置与其在图像中对应点之间相互关系是由摄像机成像几何模型决定，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须经过试验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。基于双目视觉的三维重建概要第8页(2)三个坐标系：

a、世界坐标系：

b、摄像机坐标系：c、图像坐标系:

Ou摄像机坐标系yxv图像坐标系世界坐标系基于双目视觉的三维重建概要第9页对图像坐标系，如图，原点定义为摄像机光轴与图像平面交点。若在u，v坐标系中坐标为，每一个像素在x轴与y轴方向上物理尺寸为dx,dy，则图像中任意一个像素在坐标系下坐标有以下关系：写为齐次坐标形式图图像坐标系基于双目视觉的三维重建概要第10页

o写成齐次坐标形式为

（3）两种摄像机模型

a、小孔成像模型基于双目视觉的三维重建概要第11页写成齐次坐标形式为

of

b、中心透视投影模型基于双目视觉的三维重建概要第12页

对于世界坐标系中点进行变换，其过程包含两个部分：一个是变换部分，一个是旋转部分。所以摄像机坐标系与世界坐标系之间关系能够用旋转矩阵R与平移矩阵t来描述。所以，空间中某一点P在世界坐标系与摄像机坐标系下齐次坐标假如分别是与，于是存在以下关系：(4)世界坐标与摄像机坐标关系基于双目视觉的三维重建概要第13页

由以上推导公式

(5)几何意义基于双目视觉的三维重建概要第14页最终得到K蕴涵了摄像机焦距等内部参数，被称为内参矩阵；(R,t)则反应了摄像机坐标系相对于世界坐标系方向和位置等外部参数，称为外参矩阵。所以，求投影矩阵P过程则成为摄像机标定。基于双目视觉的三维重建概要第15页2.1.2摄像机标定方法

由2.1.1中推导，有图像像素坐标系和世界坐标系关系:

从公式上看，若求矩阵P，则应同时知道空间中若干M点坐标以及图像上对应点M1、M2坐标。MM1M2基于双目视觉的三维重建概要第16页通常，能够采取在摄像机取景范围内放置定标物体方法进行摄像机定标，其中定标物体三维形状是已知，即定标物体上标识点(也称为参考点)相对于物体本身坐标系三维坐标是已知。当前广为采取定标物体是一块画有棋盘格平板（如图），只需要用摄像机从不一样视角拍摄这个平板，对每幅图像提取标识点(定标板上已经标记好位置)，从而取得定标板标识点与图像标识点间对应关系，这么，对每幅图像就能够确定一个投影矩阵P，从而完成摄像机标定。基于双目视觉的三维重建概要第17页

2.2特征提取与特征匹配

2.2.1特征提取特征提取，就是要从大量图像数据中选择最能反应景物属性特征原因，用于特征匹配。在当前特征提取算法中，经常采取是区域特征、边缘特征和角点特征。基于双目视觉的三维重建概要第18页为空间点定位重建，这里采取提取特征点。图像特征点提取方法有很多，能够定义某种算子(Harris算子、DoG算子等)，经过在图像上寻找该算子极值来提取图像特征点；也能够经过从图像中提取边缘，然后，在边缘上搜索曲率最大点作为特征点等等。图特征点提取结果基于双目视觉的三维重建概要第19页2.2.2特征匹配

图像匹配是图像处理中主要课题，也是三维重建一个主要步骤。是为了寻找同一空间场景在不一样视点下投影图像像素间对应关系。对特征提取出特征点来说，匹配即是在不一样视角图像中找出特征点对应点，也称对应基元匹配。基于双目视觉的三维重建概要第20页（1）对极几何约束设两相机中心分别为C和C’，两图像平面分别为I和I’，X1、X2为共同视域中场景空间点，它们在两幅图像平面上投影点分别为，。已知点C，C’，X1，X2组成一个平面，称为对极平面；该平面与成像平面I和I’分别交于直线L和L’，称为极线。对极几何约束能够描述为：假设x和x’分别为同一场景空间点X在两幅图像平面I，I’上像点，则x’必定位于x对应极线L’上，反之亦然。基于双目视觉的三维重建概要第21页（2）匹配约束条件a、唯一性：在给定两幅图中，一幅图中一点，在另一幅图中对应匹配点至多只有一个，反之亦然。b、相同性：对应特征应该含有相同属性。在某种度量下，同一物理特征在两幅图像中应该表现出相同性质。c、连续性：与观察点距离相比，物体表面因凸凹不平引发深度改变是迟缓，因而，视差改变也是迟缓，或者说视差含有连续性。基于双目视觉的三维重建概要第22页（3）常见算法：

a、区域匹配；b、相位匹配；c、特征点匹配；图特征匹配结果基于双目视觉的三维重建概要第23页

2.3三维空间点定位图三维空间点定位

如图，m是提取图像特征点，经过特征匹配得到其在另一平面匹配点为m’。由摄像机标定得知投影矩阵P和P’，故能够得到这对匹配点（m，m’）反投影两条射线。当匹配点满足对极几何约束时，反投影射线会在空间中相交，交点M坐标即为三维空间坐标。基于双目视觉的三维重建概要第24页

通常情况下，像点坐标都存在测量误差，使得对极几何约束得不到满足，无法使用反投影交点方法得到三维空间坐标。所以，需要计算出三维空间坐标最正确预计值，这个过程称为三维空间点定位。可用最小二乘法求取坐标，或者用最大似然预计法最小化投影误差。基于双目视觉的三维重建概要第25页

2.4表面几何建模

2.4.1点云模型建立

概念：点云：三维景物外观表面点数据集合称之为点云。面片：即三维景物表面某一部分预计。由之前方法重建出空间三维点，每个三维点都会对应一组面片。依据PMVS点云生成算法，剔除错误三维点对应面片，从而得到点云模型。

基于双目视觉的三维重建概要第26页2.4.2表面重建与实现对于散乱点云，寻找一个快速有效曲面重建方法是当前一个研究热点。（1）依据重建曲面和数据点云之间关系能够将曲面重建分为插值法和迫近法两大类。前者得到重建曲面完全经过原始数据点。后者得到重建曲面是原始数据点一个迫近。（2）依据重建曲面表示形式不一样能够将曲面重建分为五大类：参数曲面重建、隐式曲面重建、变形曲面重建、细分曲面重建和分片线性曲面重建。

基于双目视觉的三维重建概要第27页

（3）依据曲面拓扑形式不一样能够将曲面重建方法分为两大类：基于矩形域曲面方法和基于三角域曲面方法。基于矩形域曲面建模主要面向有序数据点云，而基于三角域曲面建模则是面向散乱数据点云。这么，经过曲面重建算法，能够得到三维模型可见外壳基于双目视觉的三维重建概要第28页

2.5纹理映射2.5.1纹理映射定义在计算机图形学中，为了使模型含有视觉上真实感，经常预先定义一个纹理图像，再经过某种映射算法建立物体表面点和纹理图像像素点之间对应关系，合理填充纹理图像像素，最终将纹理图像覆盖到三维表面上，这一过程就是纹理映射。

基于双目视觉的三维重建概要第29页2.5.2纹理映射基本思想纹理映射以多幅图像为基础，需要处理问题是怎样将存在于不一样图像中纹理信息组织起来。这就需要将图像中有用信息提取出来，用一张纹理图像进行表示。这部分工作通常包含两个步骤：第一步是建立几何模型与纹理图像间对应关系；第二步是依据对应关系合成纹理图像。

图纹理像素映射过程基于双目视觉的三维重建概要第30页

2.5.3模型优化可见外壳普通以网格形式表示。网格中三角面片数目标多少，对模型显示速度及模型所需存放空间都有非常大影响。

当前人们熟知网格优化技术包含网格平滑和网格简化。在进行纹理映射之前，采取适当平滑和简化算法对网格结构进行优化，有利于提高映射精度。

图可见外壳基于双目视觉的三维重建概要第31页2.5.4模型展开空间六面体能够按照一定对应关系展开二维平面中。基于这个思想，选定一个能够包围三维模型六面体，将模型向空间六面体六个面进行投影，再经过平面展开，就取得了三维模型与二维平面间对应关系。

图模型平面参数化和柱面参数化图六面体一个展开方式基于双目视觉的三维重建概要第32页2.5.5最终纹理合成由同空间点定位方法可知几何模型与每幅彩色图像之间投影关系，我们能够计算出模型上每一个三维点在各幅图像上所对应象素。经过一些处理（面片可见性判断、加权平均），就取得了全部三维模型在纹理图上对应纹理信息，也就台成了模型最终纹理图像。在进行绘制时候只需经过新合成纹理图对模型进行映射，就能正确显示出三维重建最终止果。

基于双目视觉的三维重建概要第33页纹理映射最终止果展示：基于双目视觉的三维重建概要第34页3、三维重建效果及应用（1）

制造业与逆向工程基于双目视觉的三维重建概要第35页（