基于局部特征的图像匹配.pptx

基于局部不变特征 的图像匹配 一、局部不变特征 二、基于局部不变特征的匹配方 法 三、基于局部不变特征匹配的应 用 一、局部不变特征 定义： 局部不变特征是指局部特征的检测或描 述对图像的各种变化, 例如几何变换、光度变 换、卷积变换、视角变化等保持不变。 一、局部不变特征 局部不变特征特性: 1)重复性：相同场景或目标在不同成像条 件下图像提取的局部不变特征应该是相同的; 2)区分性：局部不变特征应包含较大的灰 度或色度模式变化, 易于区分; 3)局部性：局部不变特征应具有局部性, 减 小遮挡的概率, 同时可以采用简单的变换模型 对图像间的变换进行近似建模; 一、局部不变特征 局部不变特征特性: 4)精确性：局部不变特征应可以在空域、 尺度域及形状域上精确定位; 5)不变性：局部不变特征的检测和描述对 各种变换应具有不变性; 6)鲁棒性：局部不变特征的检测和描述应 对图像噪声、量化误差、模糊等不敏感。 一、局部不变特征 理论基础： 1、C. Schmid, R. Mohr, Local Grayvalue Invariants for Image Retrieval, IEEE PAMI, 19 (1997):530534 利用图像的局部信息足以描述图像包含 的内容 2、D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60, 2 (2004),91110. 证明了局部信息足以用来进行图像识别 二、基于局部不变特征的匹配方法 2.1 联合ARPIH和直方图相似性距离 2.2 基于Shape Context 2.3 联合色彩和几何信息 2.1 联合ARPIH和直方图相似性距离 APPIH描述符 0.57 0.85 1 2.1 联合ARPIH和直方图相似性距离 ARPIH描述符 直方图的x轴是子区域的编 号, y 轴是灰度级(0-255) , 被均匀划分为18 个灰度范 围。将每一子区域中的像 素点按其灰度值划分到各 个灰度范围中。 例如:ARPIH 中, z 轴H (11 ,9) 表示第11 号子区域中 灰度值在 115 ,129) 范围 内的点的个数。 2.1 联合ARPIH和直方图相似性距离 ARPIH描述符 通过使用ARPIH 描述符,将2 个图像区域 的匹配转化成为2 幅直方图的匹配,减少了计 算的复杂性,且拥有良好的抗畸变能力 2.1 联合ARPIH和直方图相似性距离 直方图相似性距离 假设对于有相同大小的图像的两个直方图 ，分别为H(m,n)和 H(m,n)。 2.1 联合ARPIH和直方图相似性距离 这个匹配算法的匹配步骤如下： Step1：用Bresenham算法计算模板图像的 ARPIH。 Step2：从目标图像中的坐上角开始选择和模 板图像大小一样的子图像，并计算其ARPIH 。 Step3：匹配两个直方图并计算 ,将其存入到 数组中并记录其相关联的的位置。 2.1 联合ARPIH和直方图相似性距离 这个匹配算法的匹配步骤如下： Step4：在目标图像中滑动模板图像，搜寻和 模板图像一样大小的子图像，计算ARPIH。 Step5：重复第三步和第四步直到扫描完整个 目标图像，匹配位置即为有最大的 的区域。 2.1 联合ARPIH和直方图相似性距离 2.1 联合ARPIH和直方图相似性距离 2.1 联合ARPIH和直方图相似性距离 结论： 将局部不变的特征描述符ARPIH 和直方图 的相似性距离( HSD) 结合起来,以实现对旋 转、亮度变化、透视等畸变图像的有效匹 配。实验证明,本算法可以有效地实现对上述 畸变图像的匹配,具有优越的抗畸变性能。 2.2 基于Shape Context Shape Context描述符 整个区域分为12*5 块，所以像素 的特征信 息是以参考点为原点， 剩下点的LOG极坐标的柱 状图。任何物体的轮廓 可以被一个N*60大小的 矩阵表示。 2.2 基于Shape Context Shape Context描述符 12345678960 1abcdefghi 2 3 4 5 N 2.2 基于Shape Context Shape Context描述符 N*60 2.2 基于Shape Context Shape Context描述符 优点： 我们可以选择一些图像，比如人的，然 后训练得到SC特征并且建立局部特征的数据 库。 目标识别 2.2 基于Shape Context 相似度测量： 对新的图像，在边缘检测和训练后，我 们得到图像框架的SC特征，然后我们用COST 值估计目标特征点和数据库之间的相似度。 2.3 联合色彩和几何信息 HSV空间 H：色调 S：饱和度 V：亮度 2.3 联合色彩和几何信息 可以看到，这种定义的一种好处是在亮度 加上一个不变值时色调是不变的。 反应几何信息的经典特征 2.3 联合色彩和几何信息 三、基于局部不变特征匹配的应用 局部不变特征在宽基线匹配、特定目标 识别、目标类别识别、图像及视频检索、 机器人导航、场景分类、纹理识别和数据 挖掘等多个领域得到了广泛的应用。 三、基于局部不变特征匹配的应用 例：基于shape context特征匹配的目标跟踪 投票预计目标中心 关于检测点A的SC信息被定义为 ，并且 被定 义为数据库中的 和 之间的匹配概率，并且 目标O中的中心点C被A点估计定义为 。所以我们可以得到目标中心的概率为： 对目标O， 根据不同点C得到一个投票图V， 其中的最大值即为中心。 三、基于局部不变特征匹配的应用 三、基于局部不变特征匹配的应用 投票结果 三、基于局部不变特征匹配的应用 MATLAB仿真目标追踪 三、基于局部不变特征匹配的应用 MATLAB仿真目标中心轨迹 三、基于局部不变特征匹配的应用 结论： 与传统的目标追踪算法相比，这种基于 Shape Context的柱状图相似度的测量方法在 目标畸变和旋转时匹配得更好，跟踪效果更 佳。 三、基于局部不变特征匹配的应用 局部不变特征目前已逐渐成为特征提取 技术的主流，其优良的性能获得了广大研 究人员的认可，但其中很多方面需要改进 和完善，还有大量的工作值得去研究和探 讨。 三、基于局部不变特