计算机视觉三维测量与建模 课件 【ch04】由运动恢复结构

第四章计算机视觉三维测量与建模由运动恢复结构南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01对极几何】9在基于影像的三维重建处理之前，参考影像上的像素点m对应的三维空间点M在场景中的准确位置是未知的，但它必然在一条通过摄影中心C且与成像平面相交于班点的直线（视线）上。直线，在待匹配的影像的像平面上的投影是线l’，那么在这个像平面上的对应的投影点班'也要在这条线上。更进一步，所有位于C、C’和雅三点所确定的平面上的空间点，在两幅影像上的投影都会落在直线l和l’上。可知，每个点的对应点都在l’上，反之亦然。对极几何对极几何基础矩阵F有一些重要的特性（1）如果西是一对摄像机矩阵(P，P’)的基础矩阵，则五是按相反顺序对(P',P)的基础矩阵。（2）对于第一幅影像中的任意点班，对应在另一幅影像上的极线为l’=Fm。类似地，I=F^Tp'表示与第二幅影像中的m'对应于第一幅影像的极线。（3）对于任何点班（e除外），极线l’=Fm包含第二幅影像中的极点e'。因此，对于所有点m，e满足e’^T(Fmi)=0，总有(e^T)=0，因此eTF=0，即e'是万的左零向量。类似地，Fe=0，即e是田的右零向量。对极几何本质矩阵E（EssentialMatrix）是由摄像机的外参数确定的，与摄像机的内参数元素无关。本质矩阵就是在归一化影像空间坐标条件下的基础矩阵的特例，基础矩阵是本质矩阵在不考虑摄像机内参标定矩阵的推广。与基础矩阵相比，本质矩阵西具有较小的自由度和附加的性质。对极几何02影像的单应变换】9影像的单应变换影像的单应变换03求解二视图的基础矩阵01八点算法基础求解二视图的基础矩阵以用八点算法求解二视图的基础矩阵有两个步骤：建立线性方程4f=0，由系数短阵A的最小奇异值对应的奇异向量f求出初始线性解区。根据奇异性约束，使Frobenius范数1取得最小值的作为最终的解。八点算法的优点是容易实现，且线性求解的运行速度快；然而缺点也很明显，即该算法对噪声敏感。12求解二视图的基础矩阵02归一化八点算法在实践中，将方程组归一化非常重要。系数矩阵A的元素是由影像像素坐标计算而来的，数值变换区间相差多个数量级。这种情況下SVD分解极易受坐标值测量噪声的干扰，而使结果不稳定。03非线性最小二乘算法八点算法最小化的误差是一个代数错误，然而理想的最小化目标函数是一个几何意义上的标量。可以采取的误差测量是点与外极线之间的距离D（m，l）。假设每个特征点上的噪声都是独立的零均值高斯，所有点的标准差都相同，则以下形式的最小化会产生最大似然解。求解二视图的基础矩阵求解二视图的基础矩阵首先对待处理的影像进行高斯滤波平滑处理，去除影像中的高斯噪声，有效抑制高斯噪声这样的高频分量。高斯°波就是对整幅影像进行加权平均的过程，每个像素点的值都由其本身和邻域内的其他像素灰度值经过加权平均后得到。例如，使用3x3的高斯模板加权平均公式如下：01Canny算法的具体实现过程如下。02在高斯滤波后，计算像素的梯度幅值和具体方向。该步骤可选用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用较多的是Sobel算子。求解二视图的基础矩阵01随机抽样一致性检验RANSAC下面总结了二视图的对极几何求解过程。在两幅影像上分别使用特征提取算法提取特征点，并且对两幅影像的特征点进行特征匹配，获得初始匹配点对。从所有的匹配点对中，随机抽样选取7组匹配点对，根据7组点对，计算一个基础矩阵F并统计能够满足F的正常值，inlier）个效。求解二视图的基础矩阵01随机抽样一致性检验RANSAC统计inlier的比例，如果满足式（4.25）中的F＞95%，则继续下一步；否则，跳回第（2）步。使用所有的inlier，重新计算一个优化的F。根据开寻找新的匹配点对。再一次使用所有的匹配点对，优化F。求解二视图的基础矩阵02RANSAC举例使用鲁棒算法能够根据两幅影像的像点特征对应，求解二视图的基础矩阵卫。根据RANSAC算法剔除误匹配可以有效地改善卫的求解效率和精度。图4.5给出了一组检验RANSAC算法的实验图，图片内容为北京市密云区古北水镇景区的复古建筑照片，两幅影像分别为在进行RANSAC验证前、后的特征匹配对应结果。求解二视图的基础矩阵两个视图射影几何的计算要求匹配点对所对应的内容是在三维场景中的，并且运动不仅仅是纯旋转。如果观察到的三维场景只覆盖一个平面区域，则基础矩阵最多只能确定三个自由度。当摄像机的运动是纯旋转时也是奶此。只有一个投影中心，是不能观测到深度信息的。在没有噪声的情况下，对这些退化情况的检测不会太困难。但实际采集的数据是存在噪声的，方程中剩余的自由度是由噪声决定的，此时估计退化问题就显得更加困难。求解二视图的基础矩阵可以用与4.3节中介绍的二视图几何计算类似的方式确定三视图或四视图儿何。由于满足三视图或四视图几何的结构点肯定也会满足二视图几何的结构，因此可以采用级联的方式进行匹配。求解二视图的基础矩阵04摄像机位置姿态和场景结构恢复摄像机位置姿态和场景结构恢复摄像机位置姿态和场景结构恢复对于每一幅新添加的影像视图，首先确定它在现有重建结构中的位置姿态参数，然后更新重建结构，如图4.8所示。摄像机位置姿态和场景结构恢复关联三个点是恢复影像的姿态所需条件最少的情况，称为透视三点（Perspective-3-Point，P3P）问题。扩展到更多的点，此时问题被称为PnP(Perspective-n-Point)。PnP描述了己知n个三维空间点以及它们的对应匹配影像上的像点坐标时，如何求解影像的位姿。如图4.9所示，实际上，最少3组不共线的匹配点对就可以估计一幅影像的位置姿态。摄像机位置姿态和场景结构恢复05光束法平差】9摄像机拍照的时候，三维空间点投影到影像上的过程是实际投影。根据影像的肉外参数和像平面点的匹配信息，可以用三角测量重建三维空间点坐标。将重建得到的三维空间点按照影像的投影矩阵进行再次虛拟投影，会得到在影像上的第二次投影的像素坐标，即重投影。图4.10表示了一个简单的SfM光束法平差中的空间点和像平面点的对应关系。光束法平差是以一个投影光束作为平差计算的基本单元，以透视投影的成像方程作为数学模型的基本方程。光束法平差】9最小二乘（LeastSquares,LS）法是对过拟合模型的一种最优解估计方法，它是应用最为广泛的一种凸优化求解方法。过拟合的情形也可以称为超定系统(Overdetermined

System)。在一组包含未知数的方程组中，如果方程的数量大于未知数的数量，那么这个系统就是一个超定系统。超定方程组一般是没有解析解的，只能求近似解。最小二乘法就是求超定方程组近似解的一种方法。在高斯白噪声的假设条件下，最小二乘解等价于极大仙然估计解。光束法平差在非线性最小二乘法中，高斯——牛顿(Gauss-Newton，GN)算法具有收敛速度快的特点，因此被广泛采用。光束法平差列文伯格-马奎特(Levenberg-Marguardt，LM)算法是一种带有阻尼项的改化GN算法。通过阻尼项的调节作用，该算法在初始解远离最优解时，有最速下降法的特点；在当前解靠近最优解时，收敛速率较快，相当于GN算法。列文伯格——马奎特(Levenberg-Marguardt，LM)算法是一种带有阻尼项的改化GN算法。通过阻尼项的调节作用，该算法在初始解远离最优解时，有最速下降法的特点；在当前解靠近最优解时，收敛速率较快，相当于GN算法。光束法平差光束法平差光束法平差光束法平差06应用举例目前，关于改进和完善SIM技术的研究主要集中在两个方面：(1）实时性，同时计算多个摄像机的欧氏重建，即实时在线地估计摄像机的位置姿态参数，甚至在未知摄像机参数的情况下估计内参数，这类研究在增强现实应用中具有重要的作用：(2）规模性，研究奶何有效地重构出涵盖更长的摄像机拍照轨迹，获得更大、更复杂的三维场景结构，这类研究主要面向城市类型的大规模建模应用。目前，关于改进和完善SIM技术的研究主要集中在两个方面：（1）实时性，同时计算多个摄像机的欧氏重建，即实时在线地估计摄像机的位置姿态参数，甚至在未知摄像机参数的情况下估计内参数，这类研究在增强现实应用中具有重要的作用；（2）规模性，研究奶何有效地重构出涵盖更长的摄像机拍照轨迹，获得更大、更复杂的三维场景结构，这类研究主要面向城市类型的大规模建模应用。应用举例07