计算机视觉三维测量与建模 课件 【ch03】影像特征提取表达

第三章计算机视觉三维测量与建模影像特征提取表达南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01影像特征的基本概念】9影像的特征通常有多种表达方式，这些方式从各自不同的角度刻画了该特征的某些性质。影像问的像素点级别的匹配任务可以大致分为以特征点为对象的稀疏匹配和逐像素关联的密集匹配两类。在像素点级别之上，还有高级特征匹配，比如线特征匹配和面特征匹配。最后，语义型的对象级别匹配则是在关联上下文情境的基础上实现的一种高级匹配。影像特征的基本概念】9通常一个典型的特征匹配过程可以概括为三步：特征提取、特征描述和特征匹配。特征提取的目的是找到每一幅影像中具有特殊性质可以独立辨识的点、线或面等元素。针对点和线的提取算子有很多，而对于面特征的提取和表达研究则相对较少。影像特征的基本概念01特征提取的基本要求特异性，即特征点所在的位置应该呈现出区别于非特征点的明显特性，比如影像中的目标物边缘像素具有较大的亮度梯度变化的位置。可关联性，即在不同视角的影像中，对应同一个场景点的特征点应该能被重复检测到，并具备在影像之间相互匹配关联的能力。稳定性，这主要是指特征点的提取位置精度以及其在影像中的分散程度在数学上具有稳定的可表达能力。123影像特征的基本概念02特征描述的基本要求特征描述子应满足的基本要求包括：唯一性，即不同位置的特征点的描达结果应显著不同，否则在进行特征匹配时，很容易形成匹配歧义。独立性，即当使用高维向量作为描述子的数学表达时，其特征向量的各个维度间应该保持非相关的独立性，否则可以用降维算法对特征向量进行降维。影像特征的基本概念02特征描述的基本要求稳定性，即在不满足光照恒常或刚性结构等预设的假设条件时，特征描述子仍能够保证获得相似的结果。不变性，即在不同影像中，同名点对应的特征描述子能够适应尺度、平移、旋转等变换，反映出相同或相似的数值。影像特征的基本概念】9影像的局部特征的内涵是影像局部统计，即使是一些全局特征表达的算法，也需要使用局部统计信息作为算法的基础组成。局部统计的前提是需要定义一个局部的信息分析区域，即像素邻域范围。像素的邻域是一个紧凑的、简单连通的影像平面空间域子集，如图3.1所示。影像特征的基本概念02边缘和线特征提取01Roberts交叉算子边缘和线特征提取Prewitt算子02边缘和线特征提取Sobel算子03边缘和线特征提取Laplacian算子04边缘和线特征提取（1）Roberts交叉算子由于是交叉梯度算子，它对边缘正、负45°较多的影像提取边缘较为明显，但像素的定位准确率较差。（2）Prewitt算子对灰度渐变的影像边缘的提取效果较好，然而缺乏对距离权重的考感。（3）Sobel算子考虑了距离权重的影响，对噪声较多的图像的处理效果更好。Sobel算子的计算速度比Roberts交叉算子慢，但其较大的卷积核使翰入影像更平滑，从而降低了算子对噪声的敏感度。与Roberts交叉算子相比，Sobel算子通常也会为类似的边缘生成更高的输出值。（4）Laplacian算子对噪声比较敏感，由于其算法可能会出现双像素边界，因此常用来判断边缘像素位于图像的明区还是暗区。梯度算子应用的对比举例05边缘和线特征提取首先对待处理的影像进行高斯滤波平滑处理，去除影像中的高斯噪声，有效抑制高斯噪声这样的高频分量。高斯°波就是对整幅影像进行加权平均的过程，每个像素点的值都由其本身和邻域内的其他像素灰度值经过加权平均后得到。例如，使用3x3的高斯模板加权平均公式如下：01Canny算法的具体实現过程如下。02在高斯滤波后，计算像素的梯度幅值和具体方向。该步骤可选用的算子包括Sobel算子、Prewitt算子、Roberts交叉算子等。通常使用较多的是Sobel算子。边缘和线特征提取进行非极大值抑制。沿着梯度方向对幅值进行非极大值抑制，对提取出的梯度幅值进行网值过滤。具体采用双阈值技术进行边缘迟滞，设立高、低双阅值，对应进行强边缘和弱边缘像索的初步划分。Canny算法的具体实現过程如下。用双网值算法检测。选取系数高网值在和低值左，比率为2:1或3:1。对边缘点像素使用8连通区域进行进一步确认。如果存在连续临接的强边缘像素，则将其确定为输出边缘；如果弱边缘与强边缘临接，则弱边缘同样被输出为边缘；如果弱边缘像素或强边缘像素是孤立存在的，则抛弃这些边缘像素。030405边缘和线特征提取Snake（ActiveContourModels）边缘提取模型是KassM于1987年提出的。它可以从比较复杂的影像中提出感兴趣的目标轮廓，并且能高效地跟踪目标区域或者物体的运动，因此在医学领域中得到广泛应用。如式（3.16）所示，在处理局部间断的边缘时，提取效果比传统轮廓提取方法的效果好。边缘和线特征提取边缘和线特征提取边缘和线特征提取霍夫变换直线检测的完整步骤如下。影像预处理，包括将彩色影像转换为灰度图，使用一定的平滑滤波器对高频噪声进行滤波去噪。进行边缘像素提取，可以使用Laplacian算子、Canny算子或者Sobel算子等方法，然后对边缘提取的像素影像进行二值化。二值化的影像的非零点映射到霍夫变换参数空间，在参数空间中记录并存储落在参数位置的点的个数。根据统计网值进行判断，当某一参数位登的落入点个数大于某个國值时，这里即为潜在的直线参数。使用非极大值抑制方法在局部范围内取极大值，过滤干扰直线。边缘和线特征提取03点特征提取】9Harris角点是一种基于灰度影像的角点检测算法，因此在检测之前要将彩色影像转换为灰度影像。Harris算法对角点做了一个合理的定义，即在一个固定大小的窗口内对窗口内的像素求和，如果在向任何方向移动后像素值都发生较大变化，则该位置即为角点。如果只在一个方向上发生巨大变化，那么它很可能是一个直线的边緣，只有当它在所有方向变化巨大时才能被认为是角点，那么变化多大才能算是巨大变化，这决定了检测出的角点质量。点特征提取】9Harris角点提取的流程为：（1）将原始图像转换为灰度影像。（2）应用高斯滤波器来乎滑噪声。（3）应用Sobel算子寻找灰度图像中每个像素的×方向和，方向的梯度值。（4）对于灰度图像中的每个像素力，考虑其周围有一个3x3的窗口，并计算角点强度函数，称之为Harris分数。（5）查找超过某个國值并且是某个窗口中的局部最大值的像素（以防止重复特征）。（6）对于满足第（5）条标准的每个像素，计算一个特征描述符。点特征提取FAST角点提取算法具有速度快、点数目丰富、精度高的优点，成为近年来备受关注的基于模板和机器学习的角点检测方法。FAST角点提取的主要算法步骤如下：

以目标像素力为中心，在半径为了的圆上提取出16个像素点的亮度值

(p1,p2,-,pl6)

定义一个國值。计算小p9、p5、p13与中心的亮度值的差，若它们的绝对值有至少了个超过亮度國值，则将p当作候选角点，再进行下一步考察；否则，排除其是角点的可能性。点特征提取点特征提取01SIFT特征提取算法首先在像素尺度空间计算像素点上的交度值的梯度影像；然后，提取出具有独立性和稳定性的特征点，并以SIFT描还符进行特征编码，来适应影像的空间尺度变化和旋转变化等影响。下面阐达SIFT特征提取算法的实现步骤。首先构建尺度空间。点特征提取02为了检测D(X,Y,Z)的局部最大值和最小值，将每个采样点与当前影像中的8个邻居以及上下比例中的9个邻居（共26个邻居）进行比较。特征点定位03特征点过游特征点过滤就是将第2步检测到的特征点中曲率不对称的点和对比度低、不稳定的点过洁掉，这样做的目的是提高特征点的抗噪性能和匹配的稳定性。04确定特征点的方向点特征提取特征描述符的生成大致有三个步骤：①校正旋转主方向，确保旋转不变性。②生成特征描述子，最终形成一个128维的特征向量。③归一化处理，将特征向量长度进行归一化处理，进一步去除光照的影响。特征描述。02点特征提取SURF特征提取算法是在SIFT特征提取算法的基础上加以改进的一种特征提取算法，SURF特征提取的步骤如下。点特征提取SURF特征提取算法是在SIFT特征提取算法的基础上加以改进的一种特征提取算法，SURF特征提取的步骤如下。将经过Hessian矩阵处理的每个像素点与二维影像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定特征点。点特征提取在SURF特征提取算法中，也需要给每个特征点分配一个主方向，这样才能确保特征点具有旋转不变性。采用的是统计特征点园形邻域内的Haar小波特征。以特征点为中心，计算半径为6s（s为特征点所在的尺度值）的圆形邻域内的点在x、y方向的Haar小波（Haar小波的边长取4s）响应。特征点主方向分配点特征提取SURF特征描述子。在SIFT算法中，提取特征点周围4×4个区域块，统计每小块内的8个梯度方向，用这4×4×8=128维向量作为SIFT特征的描述子。BRIEF特征描述子。由于通过二进制位的异或操作（XOR运算）和位计数，可以非常有效地计算汉明距离，因此在计算速度方面，BRIEF特征描达方法很容易胜过其他描述符。点特征提取12oFAST特征提取ORB的特征提取算法称为OFAST，顾名思义，就是在FAST算法的基础上加入方向信息，简单来说就是先用FAST算法检测出特征点，再给该特征点定义一个方向，从而实现特征点的旋转不变性。rBRIEF特征描述在找到关键点并为其分配方向后，使用修改后的BRIEF版本创建特征向量，无论对象的方向如何，它都可以为关键点创建相同的向量，使得ORB算法具有旋转不变性，意味着它可以在朝着任何角度旋转的影像中检测到相同的关键点。点特征提取非线性尺度空间的构建主要基于非线性扩散滤波原理，非线性扩散滤波的基本公式是:特征点定位与SIFT算法也非常相似，先计算各点在本层、上层和下层3×3×3的立方体空间邻域内响应值是否为极值，之后去掉重复点，最后得到亚像素级别的精确位置。所用的特征点主方向计算方法与SURF算法相似，在此不再赘述。01非线性尺度空间构建02特征点定位03计算特征点的主方向点特征提取光流问题是指尝试找出一幅影像中的点在第二幅影像中移动的位置，通常针对视频序列数据处理。点特征提取近些年随着卷积神经网络的推广，使用CNN进行特征提取和表达的技术也得到了发展（如图3.23所示)。CNN网络的卷积层和池化层可以提取图像特征，经过反向传播最终确定卷积核参数，得到最終的特征。点特征提取04纹理特征表达】9纹理是一种反映影像中同质现象的视觉特征，是影像的重要性质，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性，如图3.24中的举例所示。纹理特征具有三个特点：某种局部序列性不断重复；排列具有一定的随机性；纹理区域内大致具有一定的统计特性。纹理特征表达01统计型纹理特征基于GICM的纹理特征提取方法主要包括影像预处理、灰度级量化和计算特征值3个步骤。（1）影像预处理。（2）交度级量化。（3）计算特征值。纹理特征表达02模型型纹理特征（1）随机场模型方法：试图以概率模型来描述纹理的随机过程，它们对随机数据或随机特征进行统计运算，进而估计纹理模型的参数，然后对一系列模型参数进行聚类，形成和纹理类型数一致的模型参数。（2）分形模型方法：分形维作为分形的重要特征和度量，把影像的空间信息和灰度信息简单而有机地结合起来，因而在影像处理中备受人们的关注。分形维在影像处理中的应用以两点为基础：①自然界中不同种类的形态物质一般具有不同的分形维②自然界中的分形与影像的灰度表示之间存在着一定的对应关系。纹理特征表达信号处理型纹理特征：建立在时域、频域分析与多尺度分析基础之上，对纹理影像中某个区域内实行某种变换之后，再提取保持相对平稳的特征值，以此特征值作为特征表示区域内的一致性以及区域间的相异性。结构型纹理特征：提取LBP特征向量的步骤如下，（1）将检测窗口划分为16×16的小区域（Cell），对于每个Cell中的一个像素，将其环形邻域内的8个点进行顺时针或逆时针比较，如果中心像素值比该邻点大，则将邻点赋值为1，否则赋值为0，这样每个点都会获得一个8位二进制数（通常转换为十进制数）。纹理特征表达（2）计算每个Cell的直方图，即每个数宇（假定是十进制数）出现的频率，然后对该直方图进行归一化处理。（3）将得到的每个Cell的统计直方图进行连接，就得到了整幅图的LBP纹理特征，然后便可利用支持向量机或者其他机器学习算法进行分类了。纹理特征表达】9下面介绍一种方向性纹理纺织物疵点的检测方法。纺织物疵点检测的方法有很多，其中与人视觉功能相似的小波和Gabor滤波器是近年来提出的两种重要的方法，两者都有多尺度、多分辦率的特性，适用于针对不同特征的疵点检测。Gabor滤波器作为一种方向性滤波器，在时域和频域都有着很好的局部性，适合用于具有方向的纹理检测。纹理特征表达05应用举例粒子滤波（ParticleFilter）跟踪算法是一种基于粒子分布统计的算法。在跟踪问题中，首先