计算机视觉的三维感知

计算机视觉的三维感知第一页，共三十三页，编辑于2023年，星期一7.1立体视觉一、概述立体视觉或双目立体视觉（Stereo或binocularVision），或简称为体视。体视是人类获取环境三维信息的主要途径。人类视觉系统体视可经受各种干扰，在各种光照条件和光度学及几何学畸变的条件下仍能可靠地提供立体信息。体视可经受对比度的变化，在一幅图相对于另一幅图有明显的模糊或扩展时，仍能工作良好。体视的处理是快速和实时的，并能很好地处理物体运动的情况体视对深度信息检测的分辨率很高。理想条件（孤立边缘）下能可靠地分辨小于1秒弧的视差。这相当于在1米的观察距离上确定大约相距0.8毫米的两个特征的相对深度，或在50厘米远处的0.2毫米的相对深度。第二页，共三十三页，编辑于2023年，星期一

1、工作原理d---P点距透镜中心的距离d＋---视差（disparity）f--透镜的焦距，b--两透镜中心之间的距离（基线距离）图7.1立体视觉原理第三页，共三十三页，编辑于2023年，星期一

由上式可知，对于一组给定的摄象机参数，提高场景点深度计算精度的有效途径是增长基线距离b，即增大场景点对应的视差。同时也带来一些问题，主要有： （1）随着基线距离的增加，两个摄象机的共同可视范围减小； （2）场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会也增大； （3）由于透视投影引起的变形导致两个摄象机获取的两幅图象中不完全相同，这就给确定共轭对带来了困难。第四页，共三十三页，编辑于2023年，星期一外极线几何（Epipolargeometry)第五页，共三十三页，编辑于2023年，星期一外极线几何（Epipolargeometry)外极面(Epipolarplans)所有通过二个摄像机光心的平面每个空间点有一个外极面外极线(Epipolarlines)外极面与图像的交线外极面上的空间点投影到每个图像平面中的外极线上外极点（Epipoles)

每个图像中的外极线都通过该图像中的外极点外极点与另一个摄像机的光心的投影对应立体视觉摄像机的光轴平行时外极点在无穷远处第六页，共三十三页，编辑于2023年，星期一外极线--如果已知空间点在一个图象平面中的成象点要寻找在另一图象平面中的对应点时，只需沿此图象平面中的外极线搜索即可第七页，共三十三页，编辑于2023年，星期一

图示系统中，视差与光轴交角有关。对于任一光轴交角，在空间中总存在一个视差为零的表面。比这一表面远的物体，其视差大于零；比这一表面近的物体，其视差小于零。这三组视差可用于解决匹配不确定问题。第八页，共三十三页，编辑于2023年，星期一距离和深度距离是指从观察者到物体的客观实际距离；深度（depth）是指由观察者感觉到的主观距离，通常是测量相对于定位点或某个空间点的距离。立体视觉处理的组成：寻找在两幅图象中都便于区分的特征，或用于匹配的基元（primitive）把左、右两幅图象中的有关特征进行匹配，即解决特征匹配的方法问题确定摄象机的相对几何位置和有关参数，即摄象机的校准（Calibration）根据视差计算成象物体相对摄象机的距离深度信息内插。（即：摄象机模型、特征提取、特征匹配、视差和深度计算、深度信息内插五部分）第九页，共三十三页，编辑于2023年，星期一

上图是由两个摄象机得到的真实图象对。立体重建的关键是特征点匹配，从左图中任取一点p1，计算机如何找到在右图中与它的对应点p2。即匹配问题。第十页，共三十三页，编辑于2023年，星期一2、匹配基元的选择搜索对应点时的多义性的解决1.在单幅图象作预处理时通过抽取图象局部结构较为丰富的描述来减少错误对应的可能性2.在两幅图的对应点间作匹配时应用选择性规则来限制搜索空间匹配基元的类型1.在所有图象点上抽取的量测:

这类匹配基元一般是在每个象素位置处都产生一个描述。这些特征表示图象中的局部结构状态.属于这类的匹配基元有以下几种：(1)象素灰度(2)局部区域的灰度函数。在各种大小窗口中求得的灰度分布的导数可用于产生描述各点周围结构的矢量(3)卷积图象的符号.把图象与各种大小的算子卷积后，图象中各点的符号可作为原始图象特征的描述。第十一页，共三十三页，编辑于2023年，星期一

2.图象特征这种匹配基元较为符号化，它检测图象中包含丰富信息的结构所在的位置，例如图象中的边缘，这些边缘可能与景物中表面之间的边界相对应。与象素相比图象特征数量较少(1)卷积图象中的过零点。这种方法是由Marr和Poggio，Marr和Hildreth提出和发展的。它虽然也可用于检测边缘，但是更确切说这种方法的目的是检测稳定的、稠密的表面标志。按这种方法任何小的影调变化或小的纹理变化只要稳定都是一个特征(2)边缘。这种基元试图抽取景物中表面之间或不同颜色区域之间的实际边界。这种匹配基元上还可以带有如边缘方向、对比度、长度、边缘曲率等附加信息第十二页，共三十三页，编辑于2023年，星期一

物体的外轮廓线一般不能作为匹配的特征，如右图，曲面上的外轮廓线不是物体表面法线方向的不连续点，而是曲面可见部分与不可见部分的分界线。与视点有关。第十三页，共三十三页，编辑于2023年，星期一3、匹配规则（matchingrules）约束条件---这些约束条件是根据对匹配环境所作的假设产生的1.相容性（Compatibility）约束 如果两个匹配基元确实是由同一物理标记产生的，那么它们就可以匹配起来一种是基于光度学不变性的性质另一种相似性的假设是根据几何学不变性

2.唯一性约束

-图象中的每个匹配基元最多只能有一个视差值

3.连续性约束

-视差值的变化在图象中几乎处处平滑第十四页，共三十三页，编辑于2023年，星期一

4.外极线约束 利用外极线约束可以将二维搜索问题变为一维搜索问题。如图，空间某一距离区间内的一条直线段对应外极线上的一个有限区间。第十五页，共三十三页，编辑于2023年，星期一图7.3两个视网膜上成象对应关系的多义性第十六页，共三十三页，编辑于2023年，星期一体现约束条件的匹配规则1.对相似性测量的本质作出规定的规则(1)区域的统计量(2)边界的统计量(3)点的统计量2.视差梯度限制规则(1)排序约束(2)视差梯度范围限制(3)由粗到细的匹配规则第十七页，共三十三页，编辑于2023年，星期一4、算法简介立体视觉算法可分成两大类：以密集的基元测量为基础，称为基于区域（area-based）的算法。这类算法的典型例子是利用小区域上的相关技术可得到较稠密的深度数据,数据的精度较差适合于景物中的深度变化小的情形以在图象中相对比较稀少的、较为符号化的特征为基础，称为基于特征（feature-based）的算法只能得到较稀疏的深度数据深度数据的精度较高可用于深度变化大的景物混合算法在匹配的不同阶段分别使用上述两类算法以期达到更高的性能第十八页，共三十三页，编辑于2023年，星期一边缘匹配例

该算法使用的边缘特征是通过高斯函数的一阶导数获得的。在有噪声的情况下，使用高斯梯度来计算边缘更加稳定。使用边缘匹配的立体视觉算法步骤如下： （1）用四个不同宽度的高斯滤波器对立体图象对中的每一幅图象进行滤波，其中前一次滤波的宽度是下一次滤波器宽度的两倍。这一计算可以反复通过对最小的滤波器进行卷积来有效地实现； （2）在某一行上计算各边缘的位置； （3）通过比较边缘的方向和强度粗略地进行边缘匹配。显然，水平边缘是无法进行匹配的； （4）通过在精细尺度上进行匹配，可以得到精细的视差估计。第十九页，共三十三页，编辑于2023年，星期一二、Marr-Poggio-Grimson算法（MPG算法）以不同大小的算子与图象卷积，并从中抽取过零点作为匹配基元；采用从粗到细的匹配策略，应用在低分辨率下匹配得到的信息来限制高分分辨时匹配的搜索空间。这样做的优点是既具有较大的深度敏感范围，又有较高的空间定位准确性1.匹配基元的选择2.匹配基元的属性用过零点两边的符号变化和过零点轮廓来表示匹配基元的特征第二十页，共三十三页，编辑于2023年，星期一的选择dmax=概率分布表明在的间距内有另一个同符号过零点的概率低于0.05。这意味着如果图象中这个区域的视差小于，那么在的范围内搜索时只发现正确的概率是0.95

如果搜索区域扩大到，所有匹配中的50%是正确和无多义性的.但可利用连续性约束加以消除取后，我们在dmax的距离内只能得到一个点的深度值。这只表示景物在粗通道时的深度图4.粗通道信息对细通道匹配的导引第二十一页，共三十三页，编辑于2023年，星期一图7.6粗通道信息对细通道匹配的导引图7.5特征点的匹配第二十二页，共三十三页，编辑于2023年，星期一4.粗通道信息对细通道匹配的导引如果粗、细通道算子的宽度分别为和。那么在粗细通道中合适的搜索范围分别为和。假设，那么要发现这点的视差只根据细通道的信息是不行的，因为匹配点在搜索范围以外。但匹配点将在粗匹配的范围之内。因此，这时可求得粗通道中的视差粗通道得到的匹配可为精确的视差提供一个近似的估计值。如果所选的滤波器的大小合适，则可保证相邻通道之间大致相隔一倍频程，即，通道所用算子的宽度大致为63,35,17,9和4个象素第二十三页，共三十三页，编辑于2023年，星期一三、Baker-Binford算法1.基于图象灰度相关的相似性量测如窗口是M×N的矩形.设，左、右窗口中第i行、第j列象素的灰度分别为和差异性量测函数定义为

2.动态规划（dynamicProgramming）匹配方法两个波形之间的对应关系可被概括成路径规划问题（图7-7）第二十四页，共三十三页，编辑于2023年，星期一路上处点P表示右图在处的点与左图处的点相匹配路径成本可用前段中所述差异性量测函数来定义，把路径成本定义为沿扫描线的积分图7.7动态规划匹配问题第二十五页，共三十三页，编辑于2023年，星期一DP算法设，表示右图中在处周围灰度分布与左图在处周围灰度分布的相似性量测，路径成本可定义为沿路径的相似性量测之和。设是从起点到点最佳路径的最小成本。DP算法可表示为(1)(2)第二十六页，共三十三页，编辑于2023年，星期一3.（Baker-Binford）算法(1)基于边缘的相关(2)基于灰度的相关图7.9外极线上的边缘以及灰度分布第二十七页，共三十三页，编辑于2023年，星期一立体视觉研究中的新动向三目或多目立体视觉和全景视图遮挡问题引入MarkovRandomFieldapproach第二十八页，共三十三页，编辑于2023年，星期一立体视觉中的不连续性和遮挡问题O和O’是摄像机的光心不连续性发生在B’,C’,E’,F’遮挡发生在[A,C],[D,F]第二十九页，共三十三页，编辑于2023年，星期一立体视觉处理中的困难噪声：光照的变化，图像的模糊，传感器的噪声无纹理的区域为了得到立体视觉的匹配，纹理区域的信息需要扩展到无纹理区深度的不连续性信息的传播应不超越物体的边界遮挡在参考视图中被遮挡的象素不能与另一个视图相匹配第三十页，共三十三页，编辑于2023年，星期一有遮挡时立体匹配的问题在一个台阶处出现的遮挡情况:前景－F;背景－B,C,D,E。按一般的SSD(Su