计算机视觉三维测量与建模 课件 【ch05】双目立体视觉

第五章计算机视觉三维测量与建模双目立体视觉南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01标准形式的双目系统】9如果已知一对摄影机的内参数，就可以通过畸变校正算法，去除影像的几何畸变影响。然后利用对极几何关系，对两幅影像进行极线校正，得到标准形式的二视图关系，即极线方向与影像的行扫描线方向平行。接下来就能够用立体匹配算法进行密集像素匹配，标准立体匹配流程图如图5.1所示。标准形式的双目系统02匹配基础给定两幅影像，本章分别约定为参考影像（左影像）工和目标影像（右影像），立体匹配的目标是找到工，中的像素在中的同名点对应。极线校正的一种简单表示方法是将两个像空间坐标系旋转，使它们的光轴平行，且垂直于光心连线，如图5.3所示。极线校正之后，两幅影像上的视差只发生在x方向上，在y方向上没有视差。由此将两幅影像的同名点匹配搜索过程从二维像空间缩减到了一维空间上，从而提高匹配的准确性和计算速度。匹配基础常用的立体影像极线校正的方法是采用的Bouguet算法，该算法已经被集成到OpenCV库中，可以方便地调用它来完成二视图的极线校正。Bouguet算法是将求解出来的旋转矩阵R分解成左、右摄像机各旋转一半的旋转矩阵。分解的原则是使得左、右影像重投影造成的畸变最小，左、右视图的共同面积最大，主要步骤如下。将右影像平面相对于左影像平面的旋转矩阵分解成两个矩阵民和R，叫作左、右摄像机的合成旋转矩阵。匹配基础将左、右摄像机各旋转一半，使得左、右摄像机的光轴平行。此时左、右摄像机的成像面平行，但是基线与像平面不平行。构造变换矩阵Rrect使得基线与像平面平行。构造的方法是通过右摄像机相对于左摄像机的偏移矩阵t来完成的。匹配基础通过合成旋转矩阵与变换矩阵相乘获得左、右摄像机的整体旋转矩阵。左、右摄像机坐标系乘以各自的整体旋转矩阵就可使得左、右摄像机的主光轴平行，且像平面与基线平行。通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体影像。校正后根据需要对影像进行裁剪，需重新选择一个影像中心和影像边缘，从而让左、右叠加部分最大。匹配基础通常影像数据在采集时刻会存在高频噪声的影晌，通过一个高斯卷积可以明显改善噪声的影响。因此在匹配之前进行匹配预处理十分必要。设一帧二维影像为f0(x,y)，预处理过程就是为获得新的影像匹配基础视差图（DisparityMap）和深度图（DepthMap）是在立体匹配基础上得到的一组反眏空间二维和三维对应关系的二维图像。如图5.6所示，影像上像素位置的視差值对应着空间结构到成像光心连线（沿垂直于像平面的方向）的距离，即深度（Depih）。在极线校正后的影像上，每个目标像素点对应深度的计算公式为匹配基础03传统立体匹配算法】9BM算法首先构造一个小窗口，类似于卷积核。窗口的大小可以为3×3~21×21，通常情况下窗口的宽度是奇数确定窗口大小后，以待匹配的像素为中心，用窗口框选参考影像的区域内的所有像素点，同样用相同窗口框选目标影像并选出像素点。用两个窗口范围内的对应像素计算匹配代价函数。传统立体匹配算法对于纹理缺三的影像区域，极易出现误匹配或无法匹配的情况。01但是，该类以窗口匹配为基础的算法存在以下不足：02对由光照条件的变化所引起的纹理畸变较为敏感。03对摄像机的位置和姿态变化及场景深度变化所引起的纹理畸变比较敏感。传统立体匹配算法在纹理重复的区域中，可能会出现多个相关的峰值，这会导致误匹配的产生。04但是，该类以窗口匹配为基础的算法存在以下不足：05对遮挡情况没有很好的处理机制。传统立体匹配算法匹配算法都需要对像素进行匹配代价函数设计，不同的代价函数会对应形成不同的匹配代价度量。在众多匹配代价度量的算法中，围绕方差和相关性展开设计较为普遍。方差匹配的直观理解就是两幅影像的“距离”，也就是它们之间差别大小的量化概念；相关性则以模板与检测影像各个像素值相乘后得到的相关度为基础。传统立体匹配算法传统立体匹配算法代价聚合的目的是让代价度量的值可以较为精确地反映像素之间的相关性，单纯的代价匹配计算只考志单一路径以及局部区共的相关性。同时，在视差不连续的区域与纹理偏弱或重复纹理的区域，代价值很有可能无法反映左、右像素点的相关性，最直接的表现就是自动匹配的同名像点的代价并不是视差搜索范團内最优的值。传统立体匹配算法01唯一性检测传统立体匹配算法02左右一致性检测传统立体匹配算法连通域检测八点算法最小化的误差是一个代数错误，然而理想的最小化目标函数是一个几何意义上的标量。可以采取的误差测量是点与外极线之间的距离D(m，l)。假设每个特征点上的噪声都是独立的零均值高斯，所有点的标准差都相同，则以下形式的最小化会产生最大似然解。03传统立体匹配算法】9动态规划（DynamicPrograrnming，DP）算法应用在立体匹配中，是一种比较高效的全局匹配优化算法，整体精度相对可革。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程（MultistepDecisionProcess）的优化问题时，提出了著名的最优性原理。同时，Bellman把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系逐个求解，创立了解决多阶段决策问题的优化方法——动态规划法。传统立体匹配算法传统立体匹配算法04图割优化匹配算法图割优化匹配法图割优化匹配法】9图割优化匹配法】9图割优化匹配法本节介绍一种简单线性迭代聚类（SimpleLinearIterativeClustering,SLIC）算法来进行超像索分割操作，它是在区均值聚类分割（K-means）算法的基础上进行的优化算法。下面介绍算法的具体实施步骤。进行分割中心初始化，利用规则化的格网将影像像素区间进行原始划分，格网的尺寸根据

计算获得。采样中心初始化在各个格网的中心，然后在3x3的格网邻域区间内移动寻找影像梯度变化最小的位置，这样做可以避免分割中心落在梯度大的边缘位置。图割优化匹配法对每个像素找到其所属的初始分割区间。每个像素仅与最邻近的聚类中心联系在一起，每个聚类中心联系的像素范围为2S×2S，仅当像素落在一个聚类中心的覆盖区域内时才与该中心进行分析。

迭代更新直至残差收敛。SLIC分割算法是一种改化的K-Means分类方法，它具有以下两大特点：（1）通过约束与超像素尺才成正比的搜索空间大小，优化过程的距离测度计算涉及的像素被大大减少，因此计算复杂度是与像素个数N成正比的线性复杂度O(N)；（2）加权相似性测度西数是一个包含颜色和位置属性的函数，它可以控制超像素分割后的各像素块的尺度和紧凑度。图割优化匹配法图割优化匹配法Middlebury发布的第二版本测试数据包括tsukuba、venus、teddy三组立体影像，三组图像的最大视差的取值范围分别为16像素、32像素、64像素，所以具有较好的代表性，图5.16列出了三组影像的标准数据集图像（上）以及对应的真实视差图（下）。图割优化匹配法05结构光三维扫描如图5.18所示，空间变化的二维结构照射由特殊投影仪或由空问光调制器控制的光源产生。一个任意目标的三维表面被结构光投射图案所照射，该例的结构光的模式图案是空问变化的。成像传感器获取目标在结构光照射下的表面影像。改变三维曲面的几何形状，成像传感器捕获的影像也会发生相应的变化。结构光三维扫描结构光三维扫描使用连续变化的结构光图案的技术。01进一步可以将单点拍摄技术分为三大类：02使用一维编码方案的技术（条带索引)。03使用二维编码方案（网格索引）的技术。结构光三维扫描二进制编码使用黑白条带形成一系列投影图案，使得每个点都有唯一的二进制代码，该代码不同于其他任何不同点的代码。结构光三维扫描相移法是一种著名的三维表面成像的条带投影方法，它投射一组正弦图家到物体表面（图5.23），在相邻光平面之间插值，每幅影像的像素获得亚像素级别的条带值。投影三个相移正弦模式，三个投影条带图的每个像素(x,y)的强度都可以描述为：结构光三维扫描相移技术主要存在的问题是相位展开方法只提供相对展开，而不能求解绝对相位。如果两个表面的不连续性大于2元，则基于相位展开的任何方法都无法正确地展开这两个互相关联的表面之间的关系。这些通常被称为“整周期模糊度”的问题，可以通过结合使用灰度码投影技术和相移技术来解决。结构光三维扫描12光度立体法它从同一视点拍摄，通过改变光照射的方向，使用目标表面的影像序列来估计局部表面方向。它通过使用多幅影像解决了传统的SFS方法中的不适定问题。彩虹三维摄像机图5.28展示了利用彩虹带模式的三维摄像机的基本概念，前提假设是场景不会改变投影仪打出的光颜色。相比于必须从一对立体影像中提取相应特征以计算深度值的传统立体视觉，彩虹三维摄像机可将空间变化的波长照射投影到物体表面。结构光三维扫描34伪随机二进制阵列一种网格索引的方法，是在网格位置上使用的随二进制阵列（Pseudo-Random

BinaryArray,PRBA），产生点或其他图案标记，使任何子窗口的编码图案是唯一的。DeBruiin编码DeBruijn编码是应用了DeBruijn序列的结构光编码方法。n个字母m阶的序列是一个长度为n的圆形字符串，其中长度为m的各子串出现一次。结构光三维扫描】9结构光三维扫描06立体视觉标定】9摄像机标定过程建立了二维影像上的像素与物体点所在的三维空间中的摄影关系，并且考虑了镜头的喂变失真。在大多数应用中，标定技术可以使用简化的摄像机模型和一组内参数来表示这个关系。有几种方法和相应的工具箱可用，这些过程需要不同角度拍摄的照片和已知的标定对象的尺度信息。平面棋盘格是一种常用的标定对象，因为它的制作非常简单，可以用标准的打印机打印出来，并且有很容易被检测到的明显的角点。具体的原理和实现可以参见第2章中的技术方法。立体视觉标定02投影仪的强度标定此逆模型使得将二维影像上的像素与三维空间中的直线坐标的关联问题变得困难。寻找方法建立这种关联对应关系，就可以使用摄像机标定算法对投影仪进行标定。为了提高对比度，投影仪的强度曲线通常随着伽马变换而改变。当在三维成像系统中作为主动光源使用时，标定的目标是恢复照射强度的线性度。投影仪的几何标定立体视觉标定式中，d是视差的标准偏差。该方程表明，深度不确定度随深度呈二次暴增长。因此，标注双目立体视