（计算机应用技术专业论文）基于特征点的景象匹配技术研究.pdf

硕士论文 基于特征点的景象匹配技术研究 摘要 景象匹配技术是一项重要的图像分析与处理技术，广泛应用在导航定位、天气预报、 环境研究、变迁检测等领域。 景象匹配技术的难点在于成像条件受到不同传感器、不同自然条件以及各种成像畸 变的影响，选取适应性强、精度高、计算快的匹配算法是研究的难题。针对这些问题， 本文研究了基于特征点的景象匹配技术。 本文在分析了现有景象匹配技术的基础上，研究了s i f t 匹配技术，从d o g 尺度空 间的建立、极值点检测、描述子的生成到基于k d 树的b b f 相似性度量等四个方面分析 了算法。 针对s i f t 算法匹配结果存在伪匹配的问题，本文采用相邻特征点关系去除伪匹配。 实验结果表明s i f t 对尺度变换、光照变换、旋转变换、噪声等影响因素都具有很好的 不变性。 本文将p c a 应用到s i f t 描述子的生成上，起到了对描述子降维的目的。本文在分 析了p c a 理论在数学上的描述之后，实现了p c a s i f t 描述子的生成，实验结果表明， 在基本不影响匹配性能的前提下，使得计算速度大幅度提高。 为了进一步提高计算速度，本文研究并实现了s u r f 景象匹配技术，s u r f 是在积分 图像的基础上进行快速运算，并利用箱式滤波器建立尺度空间，通过快速h e s s i a n 矩阵 检测极值点，利用哈尔小波生成描述子，采用快速索引进行相似性度量。实验结果表明， s u r f 对于景象匹配在速度上有了极大的提高。 本文最后通过对s i f t 、p c a s i f t 和s u r f 的实验数据，对三种算法在性能上做了 对比分析。 关键字：景象匹配、s i f t 、p c a s i f t 、s u r f 、箱式滤波器、快速h e s s i a n 矩阵检测 a b s t r a c t s c e n em a t c h i n gi sa ni m p o r t a n ti m a g ea n a l y s i sa n d p r o c e s s i n gt e c h n i q u e ，a n di su s e di n aw i d e 。r a n g ea r e a ss u c ha sn a v i g a t i o na n dl o c a t i o n ，w e a t h e rp r e d i c t i o n ，e n v i r o n m e n t a ls t u d i e s ， c h a n g ed e t e c t i o na n do t h e rf i e l d s t h ed i f f i c u l t yo fs c e n em a t c h i n gt e c h n o l o g yi s i m a g i n gc o n d i t i o n sa r es u b j e c tt o d i f f e r e n ts e n s o r s ，d i f f e r e n tn a t u r a lc o n d i t i o n s ，a sw e l la st h ei m p a c to fv a r i o u si m a g i n g d i s t o r t i o n h o wt od e s i g nh i g ha d a p t a b l e ，h i g hp r e c i s i o na n df a s tm a t c h i n ga l g o r i t h mi st h e k e r n e ls t u d yp o i n t s i nt h i sp a p e r ，s c e n em a t c h i n gi sb a s e do nf e a t u r ep o i n t s b a s e do na n a l y s i so ft h ec l a s s i f i c a t i o no fe x i s t i n gs c e n e m a t c h i n g ，c o n c r e t er e a l i z a t i o n m e t h o do fs i f ta l g o r i t h mi sf i r s tr e l a t e d s i f ti n c l u d e sf o u rp a r t s ：e s t a b l i s h m e n to fd o g s c a l es p a c e ，u s i n gn o nm a x i m u ms u p p r e s s i o nt oe x t r e m ep o i n t ，d e s c r i p t o rg e n e r a t i o n ，a n d u s i n gk d - t r e ea n db e s tb i nf i r s tt om e a s u r et h ed i s t a n c e a sar e s u l to ft h ee x i s t i n go ft h ef a l s em a t c h i n gp a i r s ，t h er e l a t i o n s h i pb e t w e e na d j a c e n t f e a t u r ep o i n t si su s e dt o e l i m i n a t ef a l s em a t c h e s e x p e r i m e n t ss h o w st h a ts i f ta l g o r i t h mi s i n v a r i a n tt os c a l et r a n s f o r m a t i o n ，i l l u m i n a t i o nc h a n g e ，r o t a t i o n ，n o i s ea n do t h e rf a c t o r s b a s e do nt h ea n a l y s i so ft h ep c a t h e o r yi nm a t h e m a t i c a ld e s c r i p t i o n , t h es p e c i f i cs t u d i e s o ft h ep c ai s a p p l i e dt ot h eg e n e r a t i o no fs i f td e s c r i p t o ro nt h ep u r p o s eo fr e d u c i n g d e s c r i p t o r sd i m e n s i o n t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t ，u n d e rt h ep r e m i s eo fn oa f f e c t i n g m a t c h i n gp e r f o r m a n c e ，p c a - s i f ti n c r e a s ec o m p u t i n gs p e e ds u b s t a n t i a l l y t h ep a p e rs t u d i e s s u r fa l g o r i t h m ，w h i c hh a ss i m i l a ri d e a sw i t hs i f t ，b u ti ti sc o m p u t e do nt h ei n t e g r a li m a g e ， s u r fu s e ss e v e r a la p p r o x i m a t i o n s ，s u c ha sb o xf i l t e ri nt h ep r o c e s so fe s t a b l i s h m e n to fs c a l e s p a c e ，f a s th e s s i a ni nt h ep r o c e s so fd e t e c tk e yp o i n t s ，h a a rw a v e l e tw h e nt h ed e s c r i p t o r sa r e g e n e r a t e d ，a n df a s ti n d e xi nt h ep r o c e s so fs i m i l a r i t ym e a s u r e s ，t h ee x p e r i m e n t ss h o wt h a t s u r fg r e a t l yi n c r e a s ec o m p u t i n gs p e e d f i n a l l y ，m a k i n ge x p e r i m e n tw i t hs i f t ，p c a - s i f ta n ds u r f ，a n dr e m o t es e n s i n gi m a g e e x p e r i m e n t a ld a t ai sc o m p a r e da n da n a l y z e di nd e t a i l i l k e yw o r d s ：s c e n em a t c h i n g ，s i f t , p c a s i f t , s u r f ，b o xf i l t e r , f a s th e s s i a nd e t e c t i o n 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：盆霾主明年歹月f 阳 硕士论文基于特征点的景象匹配技术研究 1 绪论 1 1 景象匹配技术研究背景 景象匹配技术指的是将两个不同传感器上获取的同一景物的两幅图像在空间上进 行对准或找到它们之间对应关系的一种图像分析处理技术。景象匹配技术是一类特殊的 图像匹配，它针对的是复杂的自然场景，图像之间存在复杂多变的成像畸变，景象匹配 技术在军事上和民用上都有着重要的应用价值。 在军事上，景象匹配是一项重要的高精度定位技术，是巡航导弹末制导系统的一个 核心技术。现代战争对武器精确打击性能要求进一步提高，武器系统也呈现信息化、智 能化、集成化发展的趋势，其打击精度空前提高。由于景象匹配定位的精度很高，因此 可以利用精确的位置信息来提高制导的精度和自主性。对地攻击武器原有的惯性制导与 景象匹配制导相结合能够满足精确定位的要求。当携带相应传感器的飞行器飞过预定的 位置范围时，便及时测量出当地的地物景象，也就是实时图像。在飞行器飞行路线内的 区域范围的景象称为基准图，基准图数据是根据预先确定好的航线，加载信息丰富的某 些区域的地图作为图像匹配校正区域。传感器一般是c e d 摄像头，通过它获得实时图 像数据，送往相关匹配器。相关匹配器根据一定的算法计算出当前的匹配位置，并进行 可信度分析，然后作为位置修正数据送往惯导系统【4 引。由于基准图的地理坐标位置已知， 从而根据与实时图的匹配位置修正武器平台到准确位置，再根据该位置信息对武器的飞 行姿态进行调整，最终实现精确制导打击，如图1 1 所示。 图1 1 景象匹配定位系统原理框图 由于飞行器存在惯导误差，匹配必须在大范围内搜索，这就使得速度与可靠性成为 匹配定位的关键，因此，研究好的匹配算法成为获得好的制导性能的关键。此外，景象 匹配技术在也用在军事侦查中，如将多个航空图片或卫星图片通过匹配技术拼成一幅完 整直观的侦查图像，或者通过不同时间获取的图像的匹配比较，分析敌方的运动态势。 无人机技术是世界航空强国在航空中重点发展的技术之一，其制导方法一般采用 g p s 、惯导。但是卫星导航定位要有自己的导航卫星，采用他国的卫星信号则易受到干 1 绪论硕士论文 扰，而惯导系统成本高。另一方面，现代战争要求无人机不仅要满足侦察的功能，还要 求能对目标进行辨识、随即轰炸。因此利用无人机现有的设备进行图像匹配定位和目标 识别，不失为一种明智的选择。在g p s 导航失效情况下，利用图像匹配定位，仍可以 得到较高的匹配精度。由于景象匹配如何实现是美国军方国家军事机密，其核心技术尚 未公开，因此，结合我国对精确打击武器的迫切需要，开展景象匹配辅助自主精确导航 技术研究，具有相当重要的理论意义和国防应用价值。 在民用上，景象匹配在遥感与遥测图像分析中有着广泛的应用，如景象匹配在自然 资源分析、天气预报、环境研究、变迁检测、生理病变、文字识别、指纹识别等许多领 域有重要的应用价值，它也是民用导航、地图与地形匹配等技术的基础。景象匹配技术还 是其它一些图像分析技术，如立体视觉、运动分析、数据融合等的基础。正因为其应用的 广泛性，新的要求逐步产生，使得匹配算法的研究逐步走向深入。 景象匹配算法适应性是指景象匹配系统不受诸如天气变化( 晴、阴、雾、雨、雪等) 、 时相变化( 早晨、中午、黄昏、夜间等) 、季节变化( 春、夏、秋、冬) 、地形地貌变化( 平 原、丘陵、山区、城市等) 、平台姿态变化( 俯仰、旋转、滚动) 等客观因素的影响，在各 种飞行环境条件下均能保持较高匹配概率。在实际应用中，还没有一种算法能满足各种 需求，因此需要针对特定的应用环境，设计相应的匹配算法，对于某些特定的匹配问题， 如景象之间存在多传感器成像、复杂的成像畸变等，目前还没有较好的匹配算法，而这 类问题在军用和民用系统中都是问题的关键。因此，对景象匹配算法的研究还具有重要 的实践意义。 1 2 景象匹配技术的发展和现状分析 对于景象匹配技术，国内外开展了大量的研究工作，已取得了较好的研究成果，提 出了很多景象匹配的算法，目前，主要从两个方面的研究来提高匹配的性能：预处理研 究和匹配算法研究。 预处理研究有匹配区选择、基准图和实时图的预处理算法研究。其中，匹配区选择 1 4 2 的必要性在于景象会受受到各种因素的影响，所以基准图和实时图内的子图会产生不 一致，因此，要针对地面景象特征得出匹配区选择准则。对于基准图和实时图的预处理 算法研究的必要性在于两者存在灰度畸变和几何畸变，通过预处理达到抗烟雾干扰、抗 畸变等因素的影响，增强匹配效果，常用的预处理算法有高斯滤波、中值滤波、直方图 均衡化、四邻点平均法、s u s a n 滤波等。 匹配算法一般可分为三类：基于灰度的图像匹配、基于特征的图像匹配、基于解释 的图像匹配。 基于灰度的图像匹配算法主要用于同源图像的匹配，因为同源图像的灰度反映了地 面景物的同一辐射特性。常用的相似性度量方法有归一化积相关算法、频域相关算法， 2 硕士论文 基于特征点的景象匹配技术研究 以及基于主成份分析的匹配度量方法。在提高定位精度方面常用到的方法有快速傅立叶 变换、基于图像高分辨率重采样、基于曲面拟合的方法使图像匹配的位置达到亚像素级。 为了减少搜索空间和减少匹配时间，常用到的方法有序贯相似性检测算法、多子域相关 匹配算法等。 基于特征的图像匹配适用于不同传感器，这种匹配算法的关键是图像共性特征的提 取和特征匹配。根据匹配特征的不同，分为基于特征点的图像匹配、基于边缘特征的图 像匹配、基于曲面特征的图像匹配等。点特征一般来源于边缘提取上的特征点、区域分 割上的特征点、直接来源于灰度的特征点。点特征易于表示和操作并且能反应本质特征， 但要保证适合的特征点数目。边缘特征能较好剔除第二类畸变，所谓第二类畸变是指大 尺度结构特征不变的区域灰度特征畸变。 由于基于灰度的匹配算法速度较慢，而基于特征的匹配算法速度较快，所以两种算 法的结合一定程度上能提高速度，但在精度方面还有待提高，尤其在处理特征很少的图 像区域时，匹配结果较为稀少。在实际应用中还没有成熟的满足各种应用要求的匹配算 法。 基于解释的图像匹配方法目前还相当不成熟，这里不做具体介绍。 此外，国内学者在雷达和光学图像匹配算法方面做了大量的研究工作，取得了一定 的成果f 2 ，3 1 。其中，基于灰度匹配的算法占据绝大多数【4 1 ，考虑到景象匹配技术中匹配本 质是多传感器图像匹配【5 1 ，而各传感器所获得的图像之间灰度不一致甚至相反，因此还 不宜采用基于灰度的图像匹配算法，而采用基于特征的图像匹配算法更为合适。在传感 器技术方面，随着多种类型图像传感器技术的发展一方面为图像匹配带来了更多的图像 类型选择；但另一方面，也为图像匹配的实现带来了困难，例如，鉴于红外传感器有能 够穿够烟雾、全天候工作以及降低自然照明条件对图像的影响的优点，巡航导弹上一般 用红外传感器作为图像采集设备，但是红外图像与可见光图像有着较大的图像特征差 异：红外图像的分辨率低，噪声多，没有色彩信息，图像中不同目标的对比度也不明显。 这就使得红外图像和可见光图像进行匹配时采用的算法有一定的要求。 匹配算法的适应性、有效性一直是研究的核心问题。由于图像通常是在不同时间、 不同观察角度和不同天气条件下获得的，因此这就要求匹配算法具有一定的适应能力。 同时，图像之间除了可能存在的相对平移、旋转、尺度变换及其他几何变换外，通常还 有不同的灰度特征。由于基于区域的匹配算法已经较为成熟，基于特征的匹配算法目前 研究的仍然较多，基于特征点、边缘的匹配算法也是研究的热点。多种算法的集成和融 合会克服单种算法的缺陷，提高匹配的适应性。 为了提高匹配算法的精度，一般用到插值方法达到亚像素匹配精度，匹配精度小于 一个像素，而匹配精度在一个或两个像素之内即可。对于基于特征的匹配算法，一般采 用亚像素的特征点提取，从而达到亚像素的匹配精度。不同的匹配算法对不同的景象类 3 1 绪论硕士论文 型的效果有很大差距，为了对匹配算法进行衡量，用到的方法有统计实验的方法来分析 畸变强度、图像特征、算法匹配性能之间的关系。 鉴于景象匹配需要用可靠性高、辨别性强、计算量小的不变特征进行匹配，本文主 要研究的是基于特征点的景象匹配技术，针对景象特征的复杂性，通过特征点的提取进 行景象匹配。 1 3 本论文工作内容安排 本文主要研究了利用特征点方法进行景象匹配，主要研究了s i f t 技术的具体方法， 并利用p c a 对s i f t 的描述子进行了降维，提高了算法的速度，本文还研究了s u r f 匹配 技术，目的是进一步提高匹配速度，实验取得了较好的效果，在保证和s i f t 具有同样 的抗旋转、缩放、光照等的性能的条件下，达到了较高的提高速度的目的。 第一章绪论介绍了本文的研究背景，分析了景象匹配技术的研究现状，并对本文的 工作做了简要介绍。 第二章是景象匹配技术的理论和基本方法介绍，涉及到景象匹配技术的难点分析， 景象匹配问题的数学描述，特征点提取的方法以及匹配算法的四个要素分析等问题。 第三章是基于尺度不变特征变换( s i f t ) 的景象匹配技术研究，对s i f t 特征点的 提取、s i f t 描述子的建立以及基于k d 树的s i f t 相似性度量及通过相邻特征点关系进 行的伪匹配的消除做了深入研究，尤其是对于s i f t 描述子提出了基于p c a 的改进方法， 进一步提高了算法的性能。 第四章是一种改进的基于快速鲁棒特征( s u i 强) 的景象匹配技术，本章具体研究 了从积分图像的建立，s u r f 特征点的选取到s u r f 描述子的生成。其中在建立s u r f 尺度空间时用到了箱式滤波器，在极值点的定位时用到了快速h e s s i a n 矩阵，而在s u r f 描述子生成则用到了哈尔小波，最后通过对子区域的计算形成了6 4 维的描述子。 第五章对s i f t 、p c a s i f t 、s u r f 三种算法的实验结果进行了分析与比较，本章 通过丰富的实验数据对三种匹配方法做了对比分析，通过对多源、旋转、缩放、光照和 各种因素的综合的分析得出了算法的有效性。 第六章是对全文工作的总结与展望，总结了本文的主要工作内容，并提出了作者对 一步研究的看法。 4 硕士论文基于特征点的景象匹配技术研究 2 景象匹配技术理论和基本方法 2 1 景象匹配的数学描述 景象匹配可以定义为两幅图像在空间和灰度上的映射。给定两幅待匹配的图像：实 时图s e n s e ( x ，y ) 和基准图r e f e r e n c e ( x ，y ) ，则图像间的映射表示为： s e 瑚e ( x ，y ) - - g ( r e 夕阳以贸扩g ，j ，) ) ) ( 2 1 1 ) 这里，函数g ( ) 为一维强度变换，函数厂( ) 为二维空域的坐标变换，即： ( x ，y ) 山( f ，少) ( 2 1 2 ) 匹配问题就是要找到最优的空域变换和灰度变换，使得( 2 1 1 ) 式的等式成立，从而 找到匹配变换的参数或得到图像区间之间的区别与联系。在实际应用中，很多情况下不 需要考虑强度变换函数g ( ) 的影响，可以通过设计合适的匹配算法消除或减弱强度变换 对匹配的影响，如果成像系统变化情况比较大可能要用到。在大多情况下，寻找最优的 空域变换函数厂( ) 是解决景象匹配问题的关键，得到空域变换后进一步进行匹配、定位 和差异分析。 景象匹配问题，是寻找实时图像在基准图像上的位置，一般情况下，基准图的尺寸 较大，实时图的尺寸较小，通过实时图与基准图上的匹配达到定位目的如图2 1 所示。 图2 1 景象匹配问题的框图描述 常用的空域变换模型有刚体变换、仿射变换、投影变换等。第一幅图像中的任意两 点的距离经过变换到第二幅图像中后仍保持不变，称这样的变换为刚体变换；经过变换 以后第一幅图像中的直线映射到第二幅图像中仍是直线并且平行线仍保持平行，这样的 变换称为仿射变换；经过变换以后第一幅图像中的直线映射到第二幅图像中仍是直线， 但直线间的平行关系不能保持，这样的变换称为投影变换【3 6 1 。其中，经常用到的是放射 变换，仿射变换模型描述如下： 口a 1 2 2 2 、1 ；( ；) + ( 三 ( 2 1 3 ) 5 n n 口 口 ，。l i i 一、il， f y ，一 ! 墨茎些兰堇查墨堕塑薹至互鲨 鲤圭堡塞 ( ：心) = ( 笔。s m o 叭( 。s 1 批m 17 叫， 式( 2 1 3 ) 中，扛，y ) 为变换前的坐标，g ，y ) 为变换后的坐标，口为旋转角度，c , d 是 位移因子，s ，s ，是水平方向和垂直方向的比例因子，t ，占，是水平方向和垂直方向的剪 切园子，如果正，j ，为1 ，则式( 2 1 3 ) 称为刚体变换。 此外，常用的基本的变换形式有平移、旋转、平滑和锐化、亮度、噪音等，这里具 体介绍前三个变换。 ( 1 ) 平移变换 平移变换是将一幅图像中所有的点都按照指定的平移量在水平、垂直方向移动，平 移后的图像与原图像相同。设a x = 2 ，a y = 1 如图2 2 所示： x - 2 dy = l = = = 原始图像f 移后图像 囤22 平移变换原理 设初始坐标为p o ( x o ，y 曲的点经过平移( a x ，4 y ) 后，则点p 0 ( x 0 ，y o ) 坐标变为p ( x 加。通 过对图像平移的正变换t 显然p 0 ，y 0 ) 和p ( x ，y ) 的关系如下： r r 一x 1 用矿y ( 2 l5 ) 对于图像平移正变换来说，变换前后图像上的点凡，帅) 和m ，y ) 7 _ f b q 的关系可 以用齐次坐标的矩阵变换表示为； ( 2 ) 旋转变换 旋转变换是以图像的中心为原点旋转一定的角度，也就是将图像上的所有像素都旋 转一个相同的角度。旋转后，图像的大小一般会改变，即可以把转出显示区域的图像截 去，或者扩大图像范雷来显示所有的图像。如图23 所示。 0 2 1j 而“ 1 1j 缸如0 0 一m m 一 1lj 一h一 硕士论文基于特征点的景孽匹配拄术研究 ) d 妒r p,h 图像的旋转变换也可以用矩阵变换表示。如图24 ，设点, o ( x o ，y 。) 旋转口角后的对 应点为p b ，y 】。旋转是绕坐标轴原点( o ，0 ) 进行的t 向右为x 轴正方向t 向上为y 轴正 i = l 。- 。s i a 戈s i n a a0 。l i y 。o c z ， ，g ，y ) = 如b ，y ) + h 扛，y )( 2 18 ) 2 2 景象匹配的主要难点 景象匹配针对的是复杂的自然场景，成像条件受到各种因素的影响，因此从成像到 匹配整个过程中存在诸多难点。景象模式的多样性和成像畸变的多样性是匹配适应性问 题产生的两个主要原因，也是景象匹配需要解决的两个难点。匹配算法一般根据图像的 某些特征进行匹配不同的景象有着不同的成像特征，从而导致匹配性能的差异。由于 2 景象匹配技术理论和基本方法 硕士论文 实时图和基准图的成像条件有很大的差异，这就造成两者之间的畸变误差，使得匹配参 数的估计出现误差，从而影响匹配结果。 图像畸变的原因主要分为五类【3 6 1 ，这五类原因从不同的方面造成对匹配的影响。 ( 1 ) 自然场景的条件变化 自然场景主要指大气状况与光照的影响下对同一场景图像采集的影响。不同的季节 时令下地面景物的特征有巨大差异，如冬天与夏天的植被状况有很大不同；不同的天气 状况对采集的图像有很大的影响，如雾天、雨天、雪天下采集的图像比晴天下采集的图 像相比较会更不清晰、噪声点更多，较不利于匹配；不同的光照条件下，如一天的光照 变化，中午的光照较充分，而晚上的光照则很灰暗；在光照不均的情况下，图像各部分 的明暗对比也会有很大不同。这些影响因素使得图像的灰度分布发生改变，从而给匹配 带来一定的困难。 ( 2 ) 目标景物的变化 不同时间获取的图像，其对应的景物也会有所变化。如道路存在修建、改道、与车 辆的遮挡的变化，建筑物存在拆除与重建甚至迁移、变形等的变化，农作物存在春天为 露土、冬天被冰雪覆盖、夏秋植被茂盛的变化，水域存在结冰、涨落、干涸等的变化。 这些景物的变化在图像上表现为灰度特征的明显变化和图像特征的巨大差异，这些变化 影响到景象匹配的性能。 ( 3 ) 传感器噪声 数字摄像系统存在电路噪声、量化误差、非均匀特性等噪声源。数字摄像系统需要 对模拟量进行离散和数字编码，失真信号或附加了噪声的信号即可能作为原始信号进行 量化编码，也可能在不同的灰度上量化编码，因此这种噪声是一种独特的非高斯噪声。 这些噪声的存在会增加匹配的伪匹配率，所以匹配算法必须要能解决噪声的影响。 ( 4 ) 传感器视角变化 传感器的视角和姿态的变化导致的几何畸变，主要的几何畸变有同步位移、图像旋 转、视角俯仰和横滚、透视变化和因高度不同引起的比例变化和图像细节的不同等。这 些几何畸变使得实时图和基准图之间只够成部分匹配或者无法匹配。 ( 5 ) 不同传感器成像 不同类型的传感器的光谱特性和成像机理是不同的，如可见光与红外图像，近红外 与远红外图像，多光谱图像，s a r 图像，紫外线图像，核磁共振图像等，它们对同一物 体的成像灰度分布是存在各种差异的。即使是同一类型的传感器，也存在着各种差异， 如同为可见光摄像机，也会存在因为点扩展函数的不同、焦距与采样率的不同等引起图 像差异。 将不同类型区域之间的分界线组成的结构称为图像的结构特征，可将这五个因素引 起的图像畸变分为四类：大尺度结构特征和区域灰度分布特征都不变的细节特征畸变； 8 硕士论文基于特征点的景象匹配技术研究 大尺度结构特征不变的区域灰度特征畸变；大尺度结构特征仿射变换；景物变化等因素 引起的结构特征改变。不同的匹配算法，对四类成像畸变的适应能力是不同的。 在实际应用中，图像畸变常常是几种因素的综合作用结果，这就使得匹配问题更加 复杂化，所以需要有效的匹配算法能在匹配概率、匹配精度、匹配速度、匹配适应性等 方面达到更高的要求。 2 3 景象匹配算法组成 匹配算法由四个方面组成1 6 1 ，不同的匹配算法是四个方面的不同组合结果，这四个方 面是：特征空间、相似性度量、搜索空间和搜索算法，下面具体介绍这四个方面。 1 特征空间 特征空间是指用来匹配的基准图和实时图上的图像特征集，这些特征包括点特征、 线特征、面特征、颜色特征、纹理特征、统计特征等。合理的特征空间会减少匹配算法 的计算量，提高算法抗畸变的能力，提高算法的适应能力。如对纹理特征丰富的图像， 可以采用纹理特征进行匹配，忽略统计特征或点特征。本文将点特征作为特征空间，忽 略掉了颜色特征、纹理特征等其他特征，特征点的数量丰富，易于提取，度量较容易而 且能够反映图像的本质特征，所以特征点具有其合理性。 2 相似性度量 所谓相似性度量是指指用什么来确定待匹配特征之间的相似性，它通常是某种代价 函数或距离函数的形式。它决定了参与匹配的因素，好的度量可以减弱各种噪声、畸变 对匹配性能的影响。常用的方法有欧式距离、h a u s d o r f f 距离、街区距离互信息、匹配 滤波器与统计相关、匹配滤波器与归一化相关函数、局部嫡差、掩模相关、最小距离分 类器。 相似性度量方案与特征空间的选择密切相关，一般而言，相似性度量准则的选择由 取决于特征空间，相似性度量能够决定参与匹配的因素，从而可以减弱未校正畸变对匹 配性能的影响。区域相关算法的相似性度量一般采用各种相关算法，如相位相关、互相 关、相关系数等，而特征匹配算法采用各种距离函数作为特征的相似性度量，常用到的 距离函数有：h a u s d o r f f 距离、欧氏距离、街区距离等。下面是几种常用的相似性度量 方法： ( 1 ) 绝对差( a b s o l u t ed i f f e r e n c e ) x = l 归1 e ( f ，_ ，) = e if ( i + x ，j + y ) - g ( x ，y ) l( 2 3 1 ) ( 2 ) 平均绝对差法( m e a na b s o l u t ed i f f e r e n c e ) 9 2 景象匹配技术理论和基本方法硕士论文 e = 熹萎萎y = l i 巾托m ) 一g i ( 2 3 2 ) ( 3 ) 差方法( d i f f e r e n c es q u a r e ) e ( i ，) ：x = l y = l 驴o + x ，+ y ) 一g g ，y ) ) z ( 2 3 3 ) x = o y = o ( 4 ) h a u s f o r f f 距离 设口，6 分别为f ，g 中的某一点，a 点到g 中任意一点的距离记为：l i 口- b l l ，那么口点 到g 的最小距离记为： d gg ) = m 堍i n 。i 口一o i l ( 2 3 4 ) 厂中所有的点到g 中所有的点的距离的最大值记为： h ( z ，g ) = m 刚a x d gq ) ( 2 3 5 ) 即为f ，g 之间的h a u s d o r f f 足e 离。 ( 5 ) 改进的h a u s d o r f f 离 设口，6 分别为厂，g 中的某一点，a 点到g 中任意一点的距离记为：忙一刎，那么口点 到g 的最小距离记为：d g ( 口) = m 6 e g i n 。l l a b l l ，对计算出来的m 个距离排序得到： d g ( 1 ) f 3 搜索空间 搜索空问可以定位为所有可能的变换组成的空间，即待估计参数组成的空间，搜索 硕士论文基于特征点的景象匹配技术研究 空间的组成和范围由成像畸变的类型和强度决定。如果图像之间只存在平移变换，则搜 索空间是水平方向和垂直方向组成的二维空间。此外，各个维度上的取值范围，由畸变 的强度决定，匹配算法的目的是从搜索空间中找出一个最好的位置，该位置的变换参数 使图像之间的相似性度量达到最佳。 4 搜索策略 所谓搜索策略是指在搜索空间中找到一个最优的变换，使得相似性度量达到最大值。 好的搜索算法能减少计算量。常用的搜索策略有层次性搜索、穷尽搜索、序贯判决、多 尺度搜索、线性规划、松弛算法、动态规划、树与图匹配搜索、启发式搜索等。每个方 法都有它的优缺点，有的适用于限定的范围，有的可以与其他方法结合使用。 上述四个因素是有密切关联的，匹配算法的设计要根据实际的应用背景需求，确定景 象类型和成像畸变类型，事先确定算法性能指标，以此确定采用的特征空间和搜索空间 的种类，最后通过合适的搜索算法找到使相似性度量值最大的最优变换参数。 2 4 匹配算法的分类 图像匹配的算法很多，但衡量算法的基本原则是不变的：有效、稳定、快速。一般 可将匹配算法依据参与匹配运算的数据结构的不同分为基于象素灰度相关的匹配、基于 图像特征的匹配以及基于其它理论的图像匹配，由于基于其他理论的匹配算法和本文研 究的主要内容相关度不大，所以本文不对其做介绍，具体分析前两种方法。 2 4 1 基于象素灰度相关的匹配算法 基于灰度相关的匹配就是逐像素地把一个以一定大小的实时图像窗口的灰度矩阵 与参考图像的所有可能的窗口灰度矩阵用某种相似性度量策略进行搜索比较的匹配方 法。这类算法的性能主要取决于搜索策略、相似性度量及匹配窗口大小的选择上，适当 的搜索测量可以减小搜索时间，好的相似性度量可以提高匹配的准确度，而合适的窗口 大小也可以保证算法的稳定性，大窗口对于遮挡或图像不光滑的情况会出现误匹配，小 窗口不能覆盖足够的强度变化，所以窗口大小的选择很关键。下面具体介绍几种常用到 的灰度相关的匹配算法。 首先设参考图x ，的大小为m n ，实时图e 的大小为m ，其中m m ，n 刀， 】，k ，b 土，表示图像以( 口，6 ) 为中心的图像的对应( f ，) 位置的像素灰度。 1 序贯相似性检测法( s s d a ) 序贯相似性检测算法是针对传统模板匹配算法提出的一种高效的图像匹配算 法s s d a 算法是一种快速图像匹配算法，它使用式( 2 4 1 ) 作为相似性度量： d 0 ，6 ) = 去2 y ( a ，6 ) 一x ，l ( 2 4 1 4 ) 2 景象匹配技术理论和基本方法 硕士论文 s s d a 以随机不重复的顺序选取像元对( f ，) ，求和时不需要计算所有像素，只要其 和超过设定的阀值，则说明当前位置为非匹配位置，停止本次计算，否则进行下一位置 的测试，直至找到匹配点为止。 2 归一化积相关灰度匹配 归一化积相关具有不受比例因子误差影响和抗白噪声干扰能力强等优点，其度量定 义式为： r 0 ，6 ) = 】，g ，6 b i = ij = l ( 2 4 2 ) 其中，r ( 口，b ) 为相似性测度函数，比较参考图像与输入图像在各个位置的相关系数， r ( 以，6 ) 值最大的点就是最佳匹配位置。 3 不变矩匹配法( i m ) 不变矩匹配算法用两个图像之间七个不变矩之间的相似性来描述相似度。令实时图 的不变矩为m ，i = 1 ，2 ，7 ，并令实验位置0 ，1 ，) 上的基准子图的不变矩为f 0 ，v ) ， i = 1 ，2 ，7 ，则两图之间的相似度可以用任一种相关算法来度量。采用上面的归一 化相关算法时其相似度如式( 2 4 3 ) ： 7 m 。f0 ，v ) r q ，v ) = 即圭j = l 巩 2 j m ? 砰0 ，v ) 2l if = lj 其中r 0 ，v ) 是实验位置 ，1 ，) 上的不变矩的相关值。 ( 2 4 3 ) 2 4 2 基于特征的匹配算法 基于特征的匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像 之间特征的匹配对应关系，常用的图像特征有颜色特征、纹理特征、形状特征、空间关 系特征。基于特征的匹配算法常用的有边缘特征匹配、区域特征匹配、点特征匹配，下 面主要介绍这三种匹配方法。 1 基于边缘特征的匹配算法 边缘是图像中灰度发生急剧变化的区域边界，边缘检测的实质是采用某种算法来提 取出图像中对象与背景间的交界线。边缘特征是以边缘检测为基础的，边缘代表了图像 的大部分本质结构，且边缘检测计算快捷。图像灰度的变化情况可以用图像灰度分布的 梯度来反映，在灰度突变处进行微分，将产生极值，因此在数学上可用灰度的导数来表 示变化。利用边缘特征作为特征空间进行匹配，主要是利用了边缘特征的数据比原图要 1 2 硕士论文 基于特征点的景象匹配技术研究 少的优点，同时也基本保留了目标的形状特征，降低了运算复杂度，提高了运算效率。 常用的边缘检测方法中最多的是微分边缘检测算法，其思想是首先对边缘曲线求一 阶或二阶导数，然后取极值。常用的一阶微分算子有：p r e w i t t 算子、r o b e r t 算子、s o b e l 算子、r o b i n s o n 算子、k i t s c h 算子等，常用的二阶微分算子有l a p l a c i a n 算子。此外， 为了求得较好的边缘检测效果，还可以先对图像进行滤波，然后再求边缘，此类方法常 有的算子是l o g 和c a n n y 算子。如果对实时性要求不高，还可以用基于曲面拟合的边 缘检测算法，先对图像进行最小二乘法的最佳拟合，再利用任一微分算子进行边缘检测。 下面介绍本文用到的算子：高斯拉普拉斯算子( l o g ) 。 l o g 是对二维高斯函数求二阶导，由于阶跃边缘处的二阶导数过零点，也就是边 缘点两边的二阶导的符号是相异的，所以可以提取零交叉点就可以提取到边缘【3 卯。图所 示是阶跃边缘，图所示是阶跃边缘的二阶导。 颤i ) ：赞导奠 刃 图2 5 阶跃边缘图2 6 阶跃边缘的二阶导数 为了抑制噪声，l o g 算子首先用高斯滤波器对原图像进行平滑，然后利用拉普拉 斯算子锐化滤波器对平滑后的图像进行边缘检测，以达到更好的边缘检测效果。5 * 5 的 l o g 算子如下图所示： - 2 _ 44- 4 2 - 4 o8 o 4 4 82 48- 4 - 4 o8 04 - 2 - 4- 44 2 0 o1o0 o 1210 1 21 6- 21 0 1210 0 o- l0o 图2 7l o g 算子5 * 5 模板1图2 8l o g 算子5 * 5 模板2 2 基于点特征的匹配算法 特征点是图像灰度在横坐标和纵坐标都有很大变化的一类局部特征点，特征点相对 于边缘特征具有信息含量高、数量较少的优势并且易于标示和操作，还能反映图像的本 质特征。它包含角点、拐点、t 交叉点、不连续点、轮廓上的曲率最大点、封闭曲线的 质心等，若无形状或曲线特征，还可以选择区域中的感兴趣点，如m o r a v e c 算子，选择 2 景象匹配技术理论和基本方法硕士论文 具有局部最大变化的点等，定位精度、重复率和信息含量是衡量兴趣点检测算子的标准。 下面对常用的基于特征点的方法做简要介绍。 ( 1 ) 最小均方误差匹配法 最小均方误差匹配方法是利用图像中的对应特征点，通过解特征点的变换方程来计 算图像间的变换参数。对于图像间的仿射变换似，】，) 专伍】，) ，方程有： ( ；i ) = s y x 八l o o s s 。n e 秒兰：) + ( 孑 c 2 4 4 ， 根据给定的r 对对应特征点b 4 ) 构造点坐标矩阵式，由最小均方误差原理求解 e 2 = 仃一x a ) r 仃一朐) ( 2 4 5 ) 可以得到参数向量的求解方程为： a = i x r x l - 1 x r 】，( 2 4 6 ) a 解出后，可以计算得出( x ，】，。) 。 ( 2 ) 距离变换匹配法 设二值图像，包含两种元素：物体d 和背景d i ，距离图为d ，则距离变换定义为： d 0 ) = m i n 缸洳f 0 ，g ) ，g 0 ( 2 4 7 ) 其中p ，q 为图像的像素点，d i s t ( ) 为距离测度函数，常见的距离测度函数有切削距 离，街区距离和欧氏距离，其中切削距离和街区距离是欧氏距离的一种近似，设两个像 素的坐标分别是b 。，y 。) 与b ：，y ：) ，则各种距离的定义为： 欧氏距离的定义式： d 0 ，g ) = k 。一x ：) 2 + ，一y ：) 2 p ( 2 4 8 ) 街区距离的定义式： d 0 ，g ) = | x 1 一x 2 i + i y l - y 2 i ( 2 4 9 ) 棋盘距离的定义式： d 0 ，g ) = m a x o x l - - x 2 ，i y l y ：i j ( 2 4 1 0 ) 3 基于区域特征的匹配算法 对图像进行区域分割之后可以采用基于区域统计特征的匹配算法。矩不变量是一种 常用的区域统计特性，对图像平移、旋转、缩放等变换具有很好的不变性，用到的相似 性度量函数为欧式距离。匹配的思想是使基准图和实时图的矩不变量的相似性达到最 大，其缺点是对图像区域特征的提取不易达到一致性。 基于区域的匹配算法是在原始图像数据的基础上进行二维傅立叶变换得到的数据 或经过图像校正、边缘锐化、图像增强运算后的图像数据的基础上进行匹配的，参与匹 配运算的是整个区域的图像象素数据。 1 4 硕士论文基于特征点的景象匹配技术研究 2 5 基于特征点的匹配方法分析 特征点提取技术一直是摄影测量和计算机视觉的研究热点，基于特征点的匹配算法 在性能上有较大的优越性。匹配点是指在两幅图像中对比例、旋转、平移等变换保持一 致性的特征，如线交叉点、物体边缘点、角点、闭区域的中心等。常用的特征点提取方 法有 4 0 1 ： ( 1 ) 边缘点提取方法 所谓角点是指两条或多条边缘线的交点，是特殊的边缘点。常用的检测算子有：基 于边界链码的角点检测算子，基于边界曲率的角点检测算子和基于小波变换的检测算 子。具体的算法有：h a r r i s 算子、基于小波变换的算法、m o r