模式识别应用报告

1、模式识别应用 SIFT特征用于遥感图像地面目标识别目录目录遥感图像遥感图像自动目标识别技术自动目标识别技术地面目标识别的方法地面目标识别的方法SIFT算法算法机场识别的结果展示机场识别的结果展示SIFT算法的发展前景算法的发展前景什么是遥感图像？什么是遥感图像？ 遥感图像是指依靠卫星以及飞机从高空拍摄地面景物的图像，用以监视和侦察地面目标。 遥感图像凭借其拍摄范围广，不受空间和自然条件限制等优点被广泛应用于军事、矿产、考古、环境检测等众多领域。目标自动识别技术目标自动识别技术 遥感图像中的目标自动识别技术ATR (Automatic Target Recognition) 是遥感图像应用的基础

2、，ATR技术在很大程度上决定了遥感图像的应用效果。地面目标的自动识别是遥感图像中的重要元素，一直是遥感图像目标识别中研究重点。 下视景象匹配技术 基于特征的图像匹配技术地面目标识别的方法地面目标识别的方法 下视景象匹配是将实时获取的航空遥感地形景象图与预先存储的目标图像进行匹配，从而实现目标准确检测和精确定位的技术。下视景象匹配技术下视景象匹配技术 由于航空遥感图像的分辨率极高，图像尺寸较大，匹配算法的实时性和准确性就成为非常重要的性能指标 下视景象特殊的应用环境，会导致图像不仅受到光照、旋转、视点以及尺度变化的影响，还有云层遮挡、噪声、低对比度、飞行震动造成的图像模糊以及相似地物干扰等首都机

3、场的下视图首都机场的下视图首都机场不同光照下首都机场不同光照下首都机场不同尺度下首都机场不同尺度下首都机场不同视角下首都机场不同视角下基于特征的图像匹配技术基于特征的图像匹配技术 在对图像匹配的诸多研究中，随着图像技术和计算机技术的发展，出现了基于特征的图像匹配技术。这种技术的优点是能处理具有不用特性的图像和图像间变形复杂的情况。缺点是特征的检测困难，算法稳定性较差。针对特征匹配算法存在的不足，经过计算机视觉多年的发展，特征提取技术越来越稳定。 在基于特征的匹配技术中，其首要任务是提取稳定的特征，并进行描述。 常用方法 基于空间关系的匹配算法 基于不变量描述子的匹配算法 金字塔 小波算法 基于

4、尺度空间的、对图基于尺度空间的、对图像缩放、旋转甚至仿射像缩放、旋转甚至仿射变换保持不变性的图像变换保持不变性的图像局部特征描述算子局部特征描述算子SIFTSIFT（尺度不变特征变（尺度不变特征变换）换）尺度不变特征尺度不变特征变换算法（变换算法（SIFT） 1 、DoG尺度空间的生成2 、空间极值点检测3 、关键点的搜索与定位4 、删除边缘效应5、关键点方向的分配 6、生成特征描述子SIFT特征描述子特征描述子的生成的生成尺度空间理论目的是模拟图像数据的多尺度特征。尺度空间理论目的是模拟图像数据的多尺度特征。方法：方法：二维高斯函数二维高斯函数 定义如下：定义如下：1）对图像做不同尺度的高斯

5、模糊；）对图像做不同尺度的高斯模糊；2）对图像做降采样（隔点采样）。）对图像做降采样（隔点采样）。, , ,*,L x yG x yI x y1 构建构建尺度空间尺度空间22221( , ,)exp()22xyG x y高斯金字塔高斯金字塔 通常通常 O=4, S=5为了得到在不同尺度为了得到在不同尺度空间下的稳定特征点，空间下的稳定特征点，将图像将图像I(x, y)与不同与不同尺度因子的高斯核尺度因子的高斯核G(x, y, )进行卷进行卷积操作构建图像金字积操作构建图像金字塔，图像金字塔共塔，图像金字塔共O组（组（Octave），每），每组有组有S层（层（Level）尺度图像，下一组的尺度图

6、像，下一组的图像由上一组图像隔图像由上一组图像隔点降采样得到。点降采样得到。构建高斯差分金字塔构建高斯差分金字塔 为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。, , , ,*, , ,D x yG x y kG x yI x yL x y kL x yDoG的结果是通过每组上下相邻两层的高斯尺度图像相减得的结果是通过每组上下相邻两层的高斯尺度图像相减得到到，每组，每组由五层不同空间尺度的图像组成，相邻两层图像相由五层不同空间尺度的图像组成，相邻两层图像相减得到四层减得到四层DoG图像图像。 利用DOG

7、金字塔的形成方式，对下视场景中的机场进行了处理，在下图中对生成的DOG金字塔中的第一阶的各层高斯差分图像进行了直观的展示，从中可以看到，DOG能够很好的提出到图像的特征点。2 空间极值点检测空间极值点检测DOG尺度空间中的中间层（最底层和最顶层除外）的每一个像素点要和它同尺度的8个相邻点和上下相邻尺度对应的92个点共26个点比较。记录下极值点的位置和对应尺度。4 关键点的关键点的精确精确定位定位离散空间的极值点不一定是真正的极值点，下图显示了二维函数离散空间得到的极值点与连续空间极值点的差别。利用已知的离散空间点插值得到连续空间的极值点。5 删除边缘效应删除边缘效应 去除低对比度的关键点和不稳

8、定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。6 关键点方向的分配关键点方向的分配 在经过尺度空间（DOG空间）极值检测、精确定位特征点位置之后，通过尺度不变性求局部极值点，可以使关键点具有尺度 不变的性质；利用关键点邻域像素的梯度方向分布特性，通过求每个极值点的梯度，可以为每个关键点指定方向参数赋予方向，从而使描述子对图像旋转具有不变性。 对每个关键点，其梯度幅值和梯度方向分别为L为关键点所在的尺度空间值。22,1,1,1,1m x yL xyL xyL x yL x y1,1,1,tan1,1,L x yL x yx yL xyL xy在实际计算时

9、，在关键点为中心的邻域窗口内进行采样，并用在实际计算时，在关键点为中心的邻域窗口内进行采样，并用直方图统计以关键点为原点，一定区域内的图像像素点对关键直方图统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。梯度直方图以每点方向生成所作的贡献。梯度直方图以每10度方向作为一个柱，度方向作为一个柱，总共总共36个柱，包含的范围是个柱，包含的范围是0360度。柱所代表的方向为像素度。柱所代表的方向为像素点梯度方向，柱的长短代表了梯度幅值，峰值则代表了该关键点梯度方向，柱的长短代表了梯度幅值，峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向点处邻域梯度的主方向，即作为该

10、关键点的方向。 在梯度方向直方图中，关键点周围区域梯度主峰值,就是该关键点的特征点方向，但是如果在梯度方向直方图中，还存在着另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向(一个主方向，一个以上辅方向)，这可以增强匹配的鲁棒性。 至此，图像的关键点已检测完毕，每个关键点都有三个特征信息：位置、尺度和方向，而且关键点已经具备平移、缩放、和旋转不变性。接下来生成特征描述子。关键关键点特征描述点特征描述 在关键点检测结束之后，需要对每个关键点的特征量进行描述。 描述是指用一组向量将这个关键点特征表示出来，这个描述子不但包括关键点，也包括关键

11、点周围对其有贡献的像素点，用来作为目标匹配的依据。 将坐标轴旋转为关键点的方向，以确保旋转不变性。然后然后以关键点为中心取以关键点为中心取88的窗口，每一个小格都代表了特的窗口，每一个小格都代表了特征点邻域所在的尺度空间的一个像素征点邻域所在的尺度空间的一个像素，求得求得88窗口中每个窗口中每个像素像素(x,y)的梯度幅值和梯度方向的梯度幅值和梯度方向 。接下来用高斯窗口对它们进行高斯加权接下来用高斯窗口对它们进行高斯加权。图中的圆形区域代表图中的圆形区域代表的是高斯加权的范围。然后在每个的是高斯加权的范围。然后在每个44的小块上计算的小块上计算8个方向个方向的梯度方向直方图，绘制每个梯度方向

12、的累加值，即可形成一的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图右部分所示，此图中一个关键点由个种子点，如图右部分所示，此图中一个关键点由22共共4个个种子点组成，每个种子点有种子点组成，每个种子点有8个方向向量信息个方向向量信息。 根据Lowe的实验结果，当窗口大小取1616时，即描述子采用448128维向量表征时，特征不变性与独特性效果最优。最后，对特征向量进行规一化，去除光照变化的影响。SIFTSIFT算法实现步骤简述算法实现步骤简述SIFT特征应用于机场检测特征应用于机场检测本应用中，从Google Earth上获取不同视角、光照有差异、大小变化的机场的遥感图像

13、，图像大小为1024590，总共20张，其中前十张作为训练样本，提取出机场特征点，生成SIFT特征描述子。将后十张图像作为测试样本，与基准图一一进行匹配。机场识别的结果展示机场识别的结果展示首都机场匹配举例首都机场匹配举例Chicgo机场识别示例机场识别示例SIFT特征描述子特征描述子的发展前景的发展前景 SIFT在图像的不变特征提取方面拥有无与伦比的优势，但其并不是完美的，仍然存在着实时性不高、有时特征点较少、对边缘模糊的目标无法准确提取特征点等缺陷。自从1999年，SIFT算法问世以来，人们从未停止对它的优化和改进。并在此基础上提出了很多新的方法。 PCA-SIFT PCA（Principal Component Analysis），即主成分分析，是一种数据降维技术。由Y.ke 2004年提出。 通过降维技术，可有效化简SIFT算子的128维描述子。 CSIFT CSIFT CSIFT（Colored scale invariant Colored scale invariant feature transform feature transform ）彩色尺度特征不变）彩色尺度特征不变变换，可以针对彩色图像进行图像的不变变换，可以针对彩色图像进行图像的不变特征提取。由特征提取。由 Farag 2006Far