计算机视觉三维测量与建模 课件 第3、4章 影像特征提取表达、由运动恢复结构

第三章计算机视觉三维测量与建模影像特征提取表达南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01影像特征的基本概念】9影像的特征通常有多种表达方式，这些方式从各自不同的角度刻画了该特征的某些性质。影像问的像素点级别的匹配任务可以大致分为以特征点为对象的稀疏匹配和逐像素关联的密集匹配两类。在像素点级别之上，还有高级特征匹配，比如线特征匹配和面特征匹配。最后，语义型的对象级别匹配则是在关联上下文情境的基础上实现的一种高级匹配。影像特征的基本概念】9通常一个典型的特征匹配过程可以概括为三步：特征提取、特征描述和特征匹配。特征提取的目的是找到每一幅影像中具有特殊性质可以独立辨识的点、线或面等元素。针对点和线的提取算子有很多，而对于面特征的提取和表达研究则相对较少。影像特征的基本概念01特征提取的基本要求特异性，即特征点所在的位置应该呈现出区别于非特征点的明显特性，比如影像中的目标物边缘像素具有较大的亮度梯度变化的位置。可关联性，即在不同视角的影像中，对应同一个场景点的特征点应该能被重复检测到，并具备在影像之间相互匹配关联的能力。稳定性，这主要是指特征点的提取位置精度以及其在影像中的分散程度在数学上具有稳定的可表达能力。123影像特征的基本概念02特征描述的基本要求特征描述子应满足的基本要求包括：唯一性，即不同位置的特征点的描达结果应显著不同，否则在进行特征匹配时，很容易形成匹配歧义。独立性，即当使用高维向量作为描述子的数学表达时，其特征向量的各个维度间应该保持非相关的独立性，否则可以用降维算法对特征向量进行降维。影像特征的基本概念02特征描述的基本要求稳定性，即在不满足光照恒常或刚性结构等预设的假设条件时，特征描述子仍能够保证获得相似的结果。不变性，即在不同影像中，同名点对应的特征描述子能够适应尺度、平移、旋转等变换，反映出相同或相似的数值。影像特征的基本概念】9影像的局部特征的内涵是影像局部统计，即使是一些全局特征表达的算法，也需要使用局部统计信息作为算法的基础组成。局部统计的前提是需要定义一个局部的信息分析区域，即像素邻域范围。像素的邻域是一个紧凑的、简单连通的影像平面空间域子集，如图3.1所示。影像特征的基本概念02边缘和线特征提取01Roberts交叉算子边缘和线特征提取Prewitt算子02边缘和线特征提取Sobel算子03边缘和线特征提取Laplacian算子04边缘和线特征提取（1）Roberts交叉算子由于是交叉梯度算子，它对边缘正、负45°较多的影像提取边缘较为明显，但像素的定位准确率较差。（2）Prewitt算子对灰度渐变的影像边缘的提取效果较好，然而缺乏对距离权重的考感。（3）Sobel算子考虑了距离权重的影响，对噪声较多的图像的处理效果更好。Sobel算子的计算速度比Roberts交叉算子慢，但其较大的卷积核使翰入影像更平滑，从而降低了算子对噪声的敏感度。与Roberts交叉算子相比，Sobel算子通常也会为类似的边缘生成更高的输出值。（4）Laplacian算子对噪声比较敏感，由于其算法可能会出现双像素边界，因此常用来判断边缘像素位于图像的明区还是暗区。梯度算子应用的对比举例05边缘和线特征提取首先对待处理的影像进行高斯滤波平滑处理，去除影像中的高斯噪声，有效抑制高斯噪声这样的高频分量。高斯°波就是对整幅影像进行加权平均的过程，每个像素点的值都由其本身和邻域内的其他像素灰度值经过加权平均后得到。例如，使用3x3的高斯模板加权平均公式如下：01Canny算法的具体实現过程如下。02在高斯滤波后，计算像素的梯度幅值和具体方向。该步骤可选用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用较多的是Sobel算子。边缘和线特征提取进行非极大值抑制。沿着梯度方向对幅值进行非极大值抑制，对提取出的梯度幅值进行网值过滤。具体采用双阈值技术进行边缘迟滞，设立高、低双阅值，对应进行强边缘和弱边缘像索的初步划分。Canny算法的具体实現过程如下。用双网值算法检测。选取系数高网值在和低值左，比率为2:1或3:1。对边缘点像素使用8连通区域进行进一步确认。如果存在连续临接的强边缘像素，则将其确定为输出边缘；如果弱边缘与强边缘临接，则弱边缘同样被输出为边缘；如果弱边缘像素或强边缘像素是孤立存在的，则抛弃这些边缘像素。030405边缘和线特征提取Snake（ActiveContourModels）边缘提取模型是KassM于1987年提出的。它可以从比较复杂的影像中提出感兴趣的目标轮廓，并且能高效地跟踪目标区域或者物体的运动，因此在医学领域中得到广泛应用。如式（3.16）所示，在处理局部间断的边缘时，提取效果比传统轮廓提取方法的效果好。边缘和线特征提取边缘和线特征提取边缘和线特征提取霍夫变换直线检测的完整步骤如下。影像预处理，包括将彩色影像转换为灰度图，使用一定的平滑滤波器对高频噪声进行滤波去噪。进行边缘像素提取，可以使用Laplacian算子、Canny算子或者Sobel算子等方法，然后对边缘提取的像素影像进行二值化。二值化的影像的非零点映射到霍夫变换参数空间，在参数空间中记录并存储落在参数位置的点的个数。根据统计网值进行判断，当某一参数位登的落入点个数大于某个國值时，这里即为潜在的直线参数。使用非极大值抑制方法在局部范围内取极大值，过滤干扰直线。边缘和线特征提取03点特征提取】9Harris角点是一种基于灰度影像的角点检测算法，因此在检测之前要将彩色影像转换为灰度影像。Harris算法对角点做了一个合理的定义，即在一个固定大小的窗口内对窗口内的像素求和，如果在向任何方向移动后像素值都发生较大变化，则该位置即为角点。如果只在一个方向上发生巨大变化，那么它很可能是一个直线的边緣，只有当它在所有方向变化巨大时才能被认为是角点，那么变化多大才能算是巨大变化，这决定了检测出的角点质量。点特征提取】9Harris角点提取的流程为：（1）将原始图像转换为灰度影像。（2）应用高斯滤波器来乎滑噪声。（3）应用Sobel算子寻找灰度图像中每个像素的×方向和，方向的梯度值。（4）对于灰度图像中的每个像素力，考虑其周围有一个3x3的窗口，并计算角点强度函数，称之为Harris分数。（5）查找超过某个國值并且是某个窗口中的局部最大值的像素（以防止重复特征）。（6）对于满足第（5）条标准的每个像素，计算一个特征描述符。点特征提取FAST角点提取算法具有速度快、点数目丰富、精度高的优点，成为近年来备受关注的基于模板和机器学习的角点检测方法。FAST角点提取的主要算法步骤如下：

以目标像素力为中心，在半径为了的圆上提取出16个像素点的亮度值

(p1,p2,-,pl6)

定义一个國值。计算小p9、p5、p13与中心的亮度值的差，若它们的绝对值有至少了个超过亮度國值，则将p当作候选角点，再进行下一步考察；否则，排除其是角点的可能性。点特征提取点特征提取01SIFT特征提取算法首先在像素尺度空间计算像素点上的交度值的梯度影像；然后，提取出具有独立性和稳定性的特征点，并以SIFT描还符进行特征编码，来适应影像的空间尺度变化和旋转变化等影响。下面阐达SIFT特征提取算法的实现步骤。首先构建尺度空间。点特征提取02为了检测D(X,Y,Z)的局部最大值和最小值，将每个采样点与当前影像中的8个邻居以及上下比例中的9个邻居（共26个邻居）进行比较。特征点定位03特征点过游特征点过滤就是将第2步检测到的特征点中曲率不对称的点和对比度低、不稳定的点过洁掉，这样做的目的是提高特征点的抗噪性能和匹配的稳定性。04确定特征点的方向点特征提取特征描述符的生成大致有三个步骤：①校正旋转主方向，确保旋转不变性。②生成特征描述子，最终形成一个128维的特征向量。③归一化处理，将特征向量长度进行归一化处理，进一步去除光照的影响。特征描述。02点特征提取SURF特征提取算法是在SIFT特征提取算法的基础上加以改进的一种特征提取算法，SURF特征提取的步骤如下。点特征提取SURF特征提取算法是在SIFT特征提取算法的基础上加以改进的一种特征提取算法，SURF特征提取的步骤如下。将经过Hessian矩阵处理的每个像素点与二维影像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定特征点。点特征提取在SURF特征提取算法中，也需要给每个特征点分配一个主方向，这样才能确保特征点具有旋转不变性。采用的是统计特征点园形邻域内的Haar小波特征。以特征点为中心，计算半径为6s（s为特征点所在的尺度值）的圆形邻域内的点在x、y方向的Haar小波（Haar小波的边长取4s）响应。特征点主方向分配点特征提取SURF特征描述子。在SIFT算法中，提取特征点周围4×4个区域块，统计每小块内的8个梯度方向，用这4×4×8=128维向量作为SIFT特征的描述子。BRIEF特征描述子。由于通过二进制位的异或操作（XOR运算）和位计数，可以非常有效地计算汉明距离，因此在计算速度方面，BRIEF特征描达方法很容易胜过其他描述符。点特征提取12oFAST特征提取ORB的特征提取算法称为OFAST，顾名思义，就是在FAST算法的基础上加入方向信息，简单来说就是先用FAST算法检测出特征点，再给该特征点定义一个方向，从而实现特征点的旋转不变性。rBRIEF特征描述在找到关键点并为其分配方向后，使用修改后的BRIEF版本创建特征向量，无论对象的方向如何，它都可以为关键点创建相同的向量，使得ORB算法具有旋转不变性，意味着它可以在朝着任何角度旋转的影像中检测到相同的关键点。点特征提取非线性尺度空间的构建主要基于非线性扩散滤波原理，非线性扩散滤波的基本公式是:特征点定位与SIFT算法也非常相似，先计算各点在本层、上层和下层3×3×3的立方体空间邻域内响应值是否为极值，之后去掉重复点，最后得到亚像素级别的精确位置。所用的特征点主方向计算方法与SURF算法相似，在此不再赘述。01非线性尺度空间构建02特征点定位03计算特征点的主方向点特征提取光流问题是指尝试找出一幅影像中的点在第二幅影像中移动的位置，通常针对视频序列数据处理。点特征提取近些年随着卷积神经网络的推广，使用CNN进行特征提取和表达的技术也得到了发展（如图3.23所示)。CNN网络的卷积层和池化层可以提取图像特征，经过反向传播最终确定卷积核参数，得到最終的特征。点特征提取04纹理特征表达】9纹理是一种反映影像中同质现象的视觉特征，是影像的重要性质，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性，如图3.24中的举例所示。纹理特征具有三个特点：某种局部序列性不断重复；排列具有一定的随机性；纹理区域内大致具有一定的统计特性。纹理特征表达01统计型纹理特征基于GICM的纹理特征提取方法主要包括影像预处理、灰度级量化和计算特征值3个步骤。（1）影像预处理。（2）交度级量化。（3）计算特征值。纹理特征表达02模型型纹理特征（1）随机场模型方法：试图以概率模型来描述纹理的随机过程，它们对随机数据或随机特征进行统计运算，进而估计纹理模型的参数，然后对一系列模型参数进行聚类，形成和纹理类型数一致的模型参数。（2）分形模型方法：分形维作为分形的重要特征和度量，把影像的空间信息和灰度信息简单而有机地结合起来，因而在影像处理中备受人们的关注。分形维在影像处理中的应用以两点为基础：①自然界中不同种类的形态物质一般具有不同的分形维②自然界中的分形与影像的灰度表示之间存在着一定的对应关系。纹理特征表达信号处理型纹理特征：建立在时域、频域分析与多尺度分析基础之上，对纹理影像中某个区域内实行某种变换之后，再提取保持相对平稳的特征值，以此特征值作为特征表示区域内的一致性以及区域间的相异性。结构型纹理特征：提取LBP特征向量的步骤如下，（1）将检测窗口划分为16×16的小区域（Cell），对于每个Cell中的一个像素，将其环形邻域内的8个点进行顺时针或逆时针比较，如果中心像素值比该邻点大，则将邻点赋值为1，否则赋值为0，这样每个点都会获得一个8位二进制数（通常转换为十进制数）。纹理特征表达（2）计算每个Cell的直方图，即每个数宇（假定是十进制数）出现的频率，然后对该直方图进行归一化处理。（3）将得到的每个Cell的统计直方图进行连接，就得到了整幅图的LBP纹理特征，然后便可利用支持向量机或者其他机器学习算法进行分类了。纹理特征表达】9下面介绍一种方向性纹理纺织物疵点的检测方法。纺织物疵点检测的方法有很多，其中与人视觉功能相似的小波和Gabor滤波器是近年来提出的两种重要的方法，两者都有多尺度、多分辦率的特性，适用于针对不同特征的疵点检测。Gabor滤波器作为一种方向性滤波器，在时域和频域都有着很好的局部性，适合用于具有方向的纹理检测。纹理特征表达05应用举例粒子滤波（ParticleFilter）跟踪算法是一种基于粒子分布统计的算法。在跟踪问题中，首先对兴趣目标的特征进行建模，并定义一种相似度度量，确定粒子与目标的匹配程度。均值漂移（Meanshift）算法是一种基于概率密度分布的跟踪方法，使目标的搜索一直沿着概率梯度上升的方向，迭代收敛到概率密度分布的局部峰值上。利用深度学习训练网络模型，得到的卷积特征的输出表达能力更强。01粒子滤波跟踪算法02均值漂移算法03基于深度学习的跟踪技术应用举例全景拼接是将对同一场景拍摄的多幅影像根据其空间对应关系，拼接成一幅大覆盖范围的影像。其中，特征提取和匹配技术是投影变换和像素拼接步骤的关键，具体操作如下。（1）在具有重叠观测区域的多幅影像之间，使用点特征提取算法，分别检测提取特征点，并建立特征描述符。（2）根据影像之间的特征描述符的匹配关系，找到同名像素的对应关系。应用举例（3）使用一些误匹配剔除技术（如RANSAC算法），获得稳健的特征对应，基于特征对应计算单应转换矩阵。（4）根据计算的每幅影像的单应转换矩阵，将影像进行重采样，把像素投影到一个统一的成像平面上，获得拼接图像。（5）对重叠区域的像素进行亮度值的均衡化，可以使用直方图均衡化技术实现，获得色调和谐的全景拼接影像。应用举例06小结特征提取属于许多视觉处理任务中的一个初级处理，它通常是场景三维重建、目标跟踪定位和语义识别等处理的先决条件。优良的特征提取技术需要对光照、遮挡、尺度差异和变形等干扰问题具有一定的适应性。小结感谢观看第四章计算机视觉三维测量与建模由运动恢复结构南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01对极几何】9在基于影像的三维重建处理之前，参考影像上的像素点m对应的三维空间点M在场景中的准确位置是未知的，但它必然在一条通过摄影中心C且与成像平面相交于班点的直线（视线）上。直线，在待匹配的影像的像平面上的投影是线l’，那么在这个像平面上的对应的投影点班'也要在这条线上。更进一步，所有位于C、C’和雅三点所确定的平面上的空间点，在两幅影像上的投影都会落在直线l和l’上。可知，每个点的对应点都在l’上，反之亦然。对极几何对极几何基础矩阵F有一些重要的特性（1）如果西是一对摄像机矩阵(P，P’)的基础矩阵，则五是按相反顺序对(P',P)的基础矩阵。（2）对于第一幅影像中的任意点班，对应在另一幅影像上的极线为l’=Fm。类似地，I=F^Tp'表示与第二幅影像中的m'对应于第一幅影像的极线。（3）对于任何点班（e除外），极线l’=Fm包含第二幅影像中的极点e'。因此，对于所有点m，e满足e’^T(Fmi)=0，总有(e^T)=0，因此eTF=0，即e'是万的左零向量。类似地，Fe=0，即e是田的右零向量。对极几何本质矩阵E（EssentialMatrix）是由摄像机的外参数确定的，与摄像机的内参数元素无关。本质矩阵就是在归一化影像空间坐标条件下的基础矩阵的特例，基础矩阵是本质矩阵在不考虑摄像机内参标定矩阵的推广。与基础矩阵相比，本质矩阵西具有较小的自由度和附加的性质。对极几何02影像的单应变换】9影像的单应变换影像的单应变换03求解二视图的基础矩阵01八点算法基础求解二视图的基础矩阵以用八点算法求解二视图的基础矩阵有两个步骤：建立线性方程4f=0，由系数短阵A的最小奇异值对应的奇异向量f求出初始线性解区。根据奇异性约束，使Frobenius范数1取得最小值的作为最终的解。八点算法的优点是容易实现，且线性求解的运行速度快；然而缺点也很明显，即该算法对噪声敏感。12求解二视图的基础矩阵02归一化八点算法在实践中，将方程组归一化非常重要。系数矩阵A的元素是由影像像素坐标计算而来的，数值变换区间相差多个数量级。这种情況下SVD分解极易受坐标值测量噪声的干扰，而使结果不稳定。03非线性最小二乘算法八点算法最小化的误差是一个代数错误，然而理想的最小化目标函数是一个几何意义上的标量。可以采取的误差测量是点与外极线之间的距离D（m，l）。假设每个特征点上的噪声都是独立的零均值高斯，所有点的标准差都相同，则以下形式的最小化会产生最大似然解。求解二视图的基础矩阵求解二视图的基础矩阵首先对待处理的影像进行高斯滤波平滑处理，去除影像中的高斯噪声，有效抑制高斯噪声这样的高频分量。高斯°波就是对整幅影像进行加权平均的过程，每个像素点的值都由其本身和邻域内的其他像素灰度值经过加权平均后得到。例如，使用3x3的高斯模板加权平均公式如下：01Canny算法的具体实现过程如下。02在高斯滤波后，计算像素的梯度幅值和具体方向。该步骤可选用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用较多的是Sobel算子。求解二视图的基础矩阵01随机抽样一致性检验RANSAC下面总结了二视图的对极几何求解过程。在两幅影像上分别使用特征提取算法提取特征点，并且对两幅影像的特征点进行特征匹配，获得初始匹配点对。从所有的匹配点对中，随机抽样选取7组匹配点对，根据7组点对，计算一个基础矩阵F并统计能够满足F的正常值，inlier）个效。求解二视图的基础矩阵01随机抽样一致性检验RANSAC统计inlier的比例，如果满足式（4.25）中的F＞95%，则继续下一步；否则，跳回第（2）步。使用所有的inlier，重新计算一个优化的F。根据开寻找新的匹配点对。再一次使用所有的匹配点对，优化F。求解二视图的基础矩阵02RANSAC举例使用鲁棒算法能够根据两幅影像的像点特征对应，求解二视图的基础矩阵卫。根据RANSAC算法剔除误匹配可以有效地改善卫的求解效率和精度。图4.5给出了一组检验RANSAC算法的实验图，图片内容为北京市密云区古北水镇景区的复古建筑照片，两幅影像分别为在进行RANSAC验证前、后的特征匹配对应结果。求解二视图的基础矩阵两个视图射影几何的计算要求匹配点对所对应的内容是在三维场景中的，并且运动不仅仅是纯旋转。如果观察到的三维场景只覆盖一个平面区域，则基础矩阵最多只能确定三个自由度。当摄像机的运动是纯旋转时也是奶此。只有一个投影中心，是不能观测到深度信息的。在没有噪声的情况下，对这些退化情况的检测不会太困难。但实际采集的数据是存在噪声的，方程中剩余的自由度是由噪声决定的，此时估计退化问题就显得更加困难。求解二视图的基础矩阵可以用与4.3节中介绍的二视图几何计算类似的方式确定三视图或四视图儿何。由于满足三视图或四视图几何的结构点肯定也会满足二视图几何的结构，因此可以采用级联的方式进行匹配。求解二视图的基础矩阵04摄像机位置姿态和场景结构恢复摄像机位置姿态和场景结构恢复摄像机位置姿态和场景结构恢复对于每一幅新添加的影像视图，首先确定它在现有重建结构中的位置姿态参数，然后更新重建结构，如图4.8所示。摄像机位置姿态和场景结构恢复关联三个点是恢复影像的姿态所需条件最少的情况，称为透视三点（Perspective-3-Point，P3P）问题。扩展到更多的点，此时问题被称为PnP(Perspective-n-Point)。PnP描述了己知n个三维空间点以及它们的对应匹配影像上的像点坐标时，如何求解影像的位姿。如图4.9所示，实际上，最少3组不共线的匹配点对就可以估计一幅影像的位置姿态。摄像机位置姿态和场景结构恢复05光束法平差】9摄像机拍照的时候，三维空间点投影到影像上的过程是实际投影。根据影像的肉外参数和像平面点的匹配信息，可以用三角测量重建三维空间点坐标。将重建得到的三维空间点按照影像的投影矩阵进行再次虛拟投影，会得到在影像上的第二次投影的像素坐标，即重投影。图4.10表示了一个简单的SfM光束法平差中的空间点和像平面点的对应关系。光束法平差是以一个投影光束作为平差计算的基本单元，以透视投影的成像方程作为数学模型的基本方程。光束法平差】9最小二乘（LeastSquares,LS）法是对过拟合模型的一种最优解估计方法，它是应用最为广泛的一种凸优化求解方法。过拟合的情形也可以称为超定系统(Overdetermined

System)。在一组包含未