物体识别中的特征-基于SIFT特征提取、描述、匹配

1、物体识别中的局部特征提取基于SIFT算法的检测、描述和匹配基于图像进行物体识别的过程待训练的图像包含感兴趣的的物体特征提取（检测子）使感兴趣的物体区别于其他部分特征描述（描述子）形成独特的特征向量特征库特征提取特征匹配待识别的图像包含待识别的物体特征提取使感兴趣的物体区别于其他部分特征描述形成独特的特征向量在特征库中进行匹配判断识别情况图像特征l全局特征l大小、灰度分布、颜色、全局边缘l局部特征l点、线l角点l区域内的边缘l局部极值特征提取中的常见问题 物体所在环境复杂l光照l对比度l杂散背景l目标被遮挡 物体运动导致的识别困难l平移、旋转l尺度变化l彷射变换l视点变化（例如站在立体物体不同侧

2、面，看到的图像可能大不相同）局部特征用于识别的要求局部特征：l重复性 l可区分性 l准确性 l数量以及效率 l不变性 图像变化图像变化对应特征不变性对应特征不变性亮度亮度不变性对比度对比度不变性平移平移不变性旋转旋转不变性尺度变化尺度不变性仿射变换仿射不变性视角变化立体物体多角度建模传统的局部特征提取l 成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。l传统的匹配算法往往是直接提取角点、线或边缘，对环境的适应能力较差。l需要一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。7 7 19991999年年British Colum

3、biaBritish Columbia大学大学David G.LoweDavid G.Lowe教授教授总结了现有的基于不变量技术的总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子变换保持不变性的图像局部特征描述算子SIFTSIFT（scale-invariant feature scale-invariant feature transformtransform），），这种算法在这种算法在20042004年被加以完善。年被加以完善。Davi

4、d G. LoweComputer Science Department2366 Main MallUniversity of British ColumbiaVancouver, B.C., V6T 1Z4, Canada E-mail: lowecs.ubc.caSIFT算法SIFT算法的主要特点lSIFT特征是图像的局部特征，其对平移、旋转、尺度缩放、亮度变化保持不变性。l对视角变化、仿射变换、噪声也保持一定程度的稳定性。 l独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 l多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 l可扩展性，可以很方便的与其他形

5、式的特征向量进行联合。9 9Original image courtesy of David Lowe尺度空间l我们我们要精确表示的物体都是通过一定的尺度来反映的。现实世要精确表示的物体都是通过一定的尺度来反映的。现实世界界的物体的物体也总是通过不同尺度的观察而得到不同的变化。也总是通过不同尺度的观察而得到不同的变化。l尺度尺度空间理论最早在空间理论最早在19621962年提出，其主要思想是通过对原始图年提出，其主要思想是通过对原始图像像进行进行尺度变换，获得图像多尺度下的尺度空间表示序列，对尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列这些序列进行尺度进行尺度空间主轮廓的提取，并以

6、该主轮廓作为一种空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘特征向量，实现边缘、角、角点检测和不同分辨率上的特征提取等。点检测和不同分辨率上的特征提取等。l尺度尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离离目标目标由近到远时目标在视网膜上的形成过程由近到远时目标在视网膜上的形成过程。尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式尺度空间l尺度空间就是将要处理的维函数（计算机视觉中为维），嵌入到一族单参数函数族中。这个单参数函数族就叫做尺度空间。l单参数函数族的生成方法就是将要处理的函数与核函数进行卷

7、积。l核函数选择的核心原则是保证在生成的单参数函数族中，局部极值的稳定性和数目随单参数的增加的递减性。l由于几个条件的约束导致，对连续函数必须使用高斯函数做为卷积核。对离散函数要使用高斯函数的某种离散近似。图像多尺度表示 根据尺度理论，高斯卷积核是实现尺度变换的唯一变换核，也是唯一的线性核： 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到： 2222/ )(221),(yxeyxG),(*),(),(yxIyxGyxL图像多尺度表示 称为尺度空间因子，其值越小则表征该图像被平滑的越少相应的尺度也就越小。 大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。SIFT算法步骤

8、检测检测尺度关键点（空间尺度关键点（空间极值点极值点 ）精确精确定位关键点，定位关键点，去除低对比度点和不稳定边缘点去除低对比度点和不稳定边缘点为每个关键点指定方向参数为每个关键点指定方向参数关键点描述子的生成关键点描述子的生成1515所谓所谓关键点，就是在不同关键点，就是在不同尺度空间尺度空间的图像下检测出的具有的图像下检测出的具有方向信息方向信息的的局部极局部极值点值点。根据归纳根据归纳，特征，特征点具有的三个特征：点具有的三个特征： 尺度尺度 方向方向 大小大小1. 1. 哪些点是哪些点是SIFTSIFT中要查找的关键点（特征点）？中要查找的关键点（特征点）？ 这些点是一些十分突出的点不

9、会因光照条件的改变而消失，比如角点、这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。点。 关键点检测相关问题 关键点检测相关问题17172 2. . 高斯高斯模糊模糊 高斯模糊是在高斯模糊是在Adobe PhotoshopAdobe Photoshop等图像处理软件中广泛使用的处理等图像处理软件中广泛使用的处理效果，

10、通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成的图像的视觉效果是好像经过一个半透明的屏幕观察图像。的图像的视觉效果是好像经过一个半透明的屏幕观察图像。 关键点检测相关问题 在实际应用中，在计算高斯函数的离散近似时，在大概在实际应用中，在计算高斯函数的离散近似时，在大概33距离之外的像距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略素都可以看作不起作用，这些像素的计算也就可以忽略。 通常，图像处理程序只需要计算通常，图像处理程序只需要计算(61) (61)18183.高斯高斯模板大小的模板大小的选择选择关键点检测

11、相关问题l高斯金子塔的构建过程可分为两步：高斯金子塔的构建过程可分为两步：（1 1）对图像做高斯平滑；）对图像做高斯平滑；（2 2）对图像做降采样。）对图像做降采样。 为了让尺度体现其连续性，在简单为了让尺度体现其连续性，在简单降降采样采样的基础上加上了高斯滤波。的基础上加上了高斯滤波。一幅图像可以产生几组（一幅图像可以产生几组（octaveoctave）图像，一组图像包括几层图像，一组图像包括几层（intervalinterval）图像。）图像。 19194. 4. 高斯金字塔高斯金字塔关键点检测相关问题2020高斯图像金字塔共高斯图像金字塔共o o组、组、s s层，层，则有则有：尺度空间坐

12、标；尺度空间坐标；s ssub-levelsub-level层坐标；层坐标；0 0初始尺度；初始尺度；S S每组层数每组层数关键点检测相关问题 高斯金字塔的组内尺度与组间尺度高斯金字塔的组内尺度与组间尺度0( )2sSs2121组内尺度是指同一组（组内尺度是指同一组（octave）内的）内的尺度关系，组内相邻层尺度化简为：尺度关系，组内相邻层尺度化简为：112Sss组间尺度是指不同组直接的尺度关组间尺度是指不同组直接的尺度关系，相邻组的尺度可化为：系，相邻组的尺度可化为：1( )2s SSoos222s SsSSoo 由此可见，相邻两组的同一层尺度为由此可见，相邻两组的同一层尺度为2倍的关系倍

13、的关系关键点检测相关问题2222最后可将组内和组间尺度归为：最后可将组内和组间尺度归为：i i金字塔组数金字塔组数n n每一组的层数每一组的层数1212( ,)inkkk12Sk 关键点检测相关问题2323上一组图像的底层是由前一上一组图像的底层是由前一组图像的倒数第二层图像隔组图像的倒数第二层图像隔点采样生成的。点采样生成的。这样这样可以保持尺度的连续性。可以保持尺度的连续性。关键点检测相关问题2424对应对应DOGDOG算子，我们要构建算子，我们要构建DOGDOG金字塔金字塔我们可以通过高斯差分图我们可以通过高斯差分图像看出图像上的像素值变像看出图像上的像素值变化情况。（如果没有变化，化情

14、况。（如果没有变化，也就没有特征。特征必须也就没有特征。特征必须是变化尽可能多的点。）是变化尽可能多的点。）DOGDOG图像描绘的是目标的图像描绘的是目标的轮廓。轮廓。关键点检测相关问题5 5. . 高斯差分（高斯差分（DOGDOG）金字塔）金字塔2525 中间的检测点和它同尺度的中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的个相邻点和上下相邻尺度对应的92个点共个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极个点比较，以确保在尺度空间和二维图像空间都检测到极值点。值点。 l DoG的局部极值点的局部极值点 关键点是由关键点是由DOGDOG空间的局部极值点组成的。空间的局部

15、极值点组成的。为了寻找为了寻找DoGDoG函数的极值点，函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。的相邻点大或者小。26 122DDXXX 27 12TDD XDXX28DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。获取特征点处的Hessian矩阵， D的主曲率和H的特征值成正比，通过一个2x2的Hessian矩阵H的特征值表示： H的特征值和为特征值。假设是较大的特征值，而是较小的特征值，令 ，则 两个特征值相等时最小，随着的增大而增大。让该比值小于一定的阈值。

16、为了检测主曲率是否在某域值r下，只需检测 成立时将关键点保留，反之剔除。在Lowe的文章中，取r10。2929 通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，方向，从而使描述子对图像旋转具有不变性。从而使描述子对图像旋转具有不变性。,IIgradI x yxy22,1,1,1,1m x yL xyL xyL x yL x y1,1,1,tan1,1,L x yL x yx yL xyL xyl

17、 像素点的梯度表示像素点的梯度表示梯度幅值：梯度方向：我们通过求每个极值点的梯度来为极值点赋予方向。我们通过求每个极值点的梯度来为极值点赋予方向。3030l 方向方向直方图的生成直方图的生成 确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。一定区域内的图像像素点对关键点方向生成所作的贡献。3131关键点主方向：极值点周围区域梯度直方图的关键点主方向：极值点周围区域梯度直方图的主主峰值峰值,也是特征点方向也是特征点方向关键点辅方向：关键点辅方向：在梯度方向直方图中，当存在另一个相

18、当于主峰值在梯度方向直方图中，当存在另一个相当于主峰值 当某方向当某方向80%能量的峰值时，则能量的峰值时，则将将该该方向方向认为是该关键点的辅认为是该关键点的辅方向方向，生成一个新的特征向量生成一个新的特征向量。l 关键点的主方向与辅方向关键点的主方向与辅方向特征检测3232 图像的关键图像的关键点和特征已点和特征已检测完毕，每个关键点有三个检测完毕，每个关键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。放、和旋转不变性。l描述的目的 l描述的目的是在计算关键点后，用一组向量将这个关键点描述出来，这个描述子不

19、但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、3D视点变化等。l 描述的思路l通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。3333 3434 下图是一个下图是一个SIFT描述子事例。其中描述子由描述子事例。其中描述子由228维向量表征，也即是维向量表征，也即是22个个8方向的方向方向的方向直方图组成。直方图组成。左图的种子点由左图的种子点由88单元组成。每一个小单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度格

20、都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在方向，箭头长度代表该像素的幅值。然后在44的窗口内计算的窗口内计算8个方向的梯度个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个方向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点由特征点由4个种子点的信息所组成。个种子点的信息所组成。3535 LoweLowe实验结果实验结果表明表明：描述子描述子采用采用4 44 48 8128128维向量表征维向量表征，综合效果最优综合效果最优（不变性与独（不变性与独特性）。特性）。3636 是关键点所在组（是关键点所在组（octave）的组内尺度，）的组内尺度，1. 确定确定计算计