（固体力学专业论文）基于数字图像特征的复合配准方法研究.pdf

摘要 摘要 光测力学是一门研究物体运动的科学，而图像配准技术可以辨识物体在不同时刻所拍图 像中的位置，因此在光测力学中经常使用图像配准技术来求取物体的位移，以判断物体的运 动状态。图像配准是图像处理中的一项基本任务，在光测力学、军事、遥感、医学、计算机 视觉等方面有广泛的应用。概括地说，图像配准就是对取自不同时间、不同传感器或者不同 视角的同一场景的两幅或多幅图像进行最佳匹配的过程。 图像配准主要分为两大类：基于像素的图像配准方法和基于特征的图像配准方法。后者 以其能将对整幅图像进行的各种分析转化为对图像特征的分析，大大减小了图像处理过程的 运算量的优点而成为本文的研究重点。本文详细地论述了基于边缘的图像配准方法和基于角 点的图像配准方法，对各自包含的经典算法作了对比。在此基础上，提出一种将边缘特征和 角点特征结合起来的新的特征提取方法。 因为角点多存在于图像边缘上，所以本文在c a n n y 边缘提取的基础上，对边缘图像进行 角点提取。为了增强算子的实时性，先快速提取出候选角点，进而使用s u s a n 算法中u s a n 的 概念，对候选点进行判断，保留符合条件的正确角点。实验证明，这种新的角点提取方法相 较于传统的角点提取算法，能比较快速并且准确地提取出角点，具有一定的精度。但是仍然 存在一些问题，比如在斜向边缘上会提取出较多错误角点。 在图像匹配阶段，采用了先粗后精的匹配策略。在进行粗匹配时，利用相关度准则先对 角点进行筛选，减少后续匹配任务，初步确立匹配点对。精匹配采用相关系数法，计算初始 匹配点对的相关系数，保留相关系数较大的点对。整个匹配过程分别从减少搜索点数量和减 少相关系数计算量两个方面对以相关系数作为相似性度量准则的相关匹配算法进行改进，在 不失其匹配精度条件下，减少其运算量。 实验表明基于本文提出的角点提取算法的图像配准能够对所选图像较好地完成图像配准 任务，并且达到了一定的配准精度。 关键词：特征点，特征提取，特征匹配，互相关，图像配准 a b s 丁r a c t a bs t r a c t p h o t o m e c h a n i c sa i m sa tr e s e a r c h i n gm o v e m e n to fo b j e c t s ，w h i l ei m a g er e g i s t r a t i o nc a l lb e u s e dt oa n a l y z et h ep o s i t i o no fo b j e c t si nt h es e q u e n t i a li m a g e st a k e na td i f f e r e n tt i m e s s o t e c h n i q u eo fi m a g er e g i s t r a t i o ni so f t e nu s e dt oj u d g et h em o v e m e n to fo b j e c t sb yc a l c u l a t i n gt h e i r d i s p l a c e m e n t i m a g er e g i s t r a t i o n i sab a s i ct a s ki ni m a g ep r o c e s s i n g a p p l i c a t i o no fi m a g e r e g i s t r a t i o ni sw i d e l yi n v o l v e di no p t i c a lm e c h a n i c s ，m i l i t a r ya f f a i r s ，r e m o t es e n s i n g ，m e d i c i n ea n d c o m p u t e rv i s i o ne t c g e n e r a l l ys p e a k i n g ，i m a g er e g i s t r a t i o ni sap r o c e s st om a t c ht w oo rm o r e i m a g e so ft h es a m es c e n et a k e na td i f f e r e n tt i m e s ，f r o md i f f e r e n tv i e w p o i n t s ，o rb yd i f f e r e n ts e n s o r s t h em e t h o d so fi m a g er e g i s t r a t i o nc a l lb ec l a s s i f i e di n t ot w oc a t e g o r i e s ：t h ei n t e n s i t y b a s e d m a t c h i n ga n dt h ef e a t u r e b a s e dm a t c h i n ga p p r o a c h t h el a t e ri sd i s c u s s e da sam a i np o i n tb e c a u s e i t sl a r g e s ta d v a n t a g ei si t sa b i l i t yo ft r a n s l a t i n gt h ea n a l y s i so ft h ew h o l ei m a g ei n t oi t sf e a t u r e st h a t c o n t a i n st h ef e a t u r ep o i n t ，t h ef e a t u r ec u r v e ，e t c e d g e b a s e di m a g er e g i s t r a t i o nm e t h o da n d c o m e r - b a s e di m a g er e g i s t r a t i o nm e t h o dw e r ef u l l yd i s c u s s e di nt h i st h e s i s c l a s s i c a ld e t e c t o r s w i t h i nt h er a n g eo fe a c hm e t h o dw e r em a d ec o m p a r i s o n s b a s e do nt h e s er e s e a r c h ，an e wm e t h o d w e r ep r o p o s e dw h i c hc o m b i n e de d g e f e a t u r ea n dc o m e r - f e a t u r e c o n s i d e r e dt h a tc o m e rp o i n t sl i e si nt h ee d g e so fi m a g e s ，t h i st h e s i sd e t e c t e dc o m e rp o i n t si n t h ee d g e i m a g ea f t e re d g ed e t e c t i o nb yc a n n yd e t e c t o r t oe n h a n c et h eq u a l i t yo fr e a lt i m e ， c a n d i d a t ec o m e r p o i n t sw e r ed e t e c t e di nt h ef i r s tp l a c eu s i n gaf a s tc o m e rp o i n ta c h i e v ea r i t h m e t i c t h e nt h e s ec a n d i d a t ec o m e rp o i n t sw e r ee s t i m a t e db yt h ec o n c e p to fu s a ni nt h em e t h o do f s u s a nc o m e rd e t e c t i o n a n df i n a l l yt h ec o r r e c tc o m e rp o i n t sw e r er e s e r v e d a ss h o w ni nt h e e x p e r i m e n t ，c o m p a r e dw i t ht r a d i t i o n a lc o m e ra c h i e v ea r i t h m e t i c ，t h i sn e wc o m e rd e t e c t i o nm e t h o d c a na c h i e v ec o m e r sf a s t l ya n da c c u r a t e l y n e v e r t h e l e s s ，t h e r ea r es o m ed i s a d v a n t a g e sl i k em a n y w r o n gc o m e rp o i n t sw e r ed e t e c t e di nb e v e le d g e s i nt h ep h a s eo fc o m e rm a t c h i n g ，c o a r s e - t o - f i n em a t c h i n gp o l i c yw a se m p l o y e d v v h e nt h e c o a r s e m a t c h i n gb e i n gc a r r i e dt h r o u g h ，c o r r e l a t i o nr o l ew a su s e dt os e l e c tc o m e rp o i n t sa n dm a k e t h er e l e v a n tp o i n t si nt w oi m a g e sa sap a i rt oe a s et h eb u r d e no fl a t e rm a t c h i n g c o r r e l a t i o n c o e f f i c i e n tm e t h o dw a su s e dt om a k ef i n e m a t c h i n gb yc o m p u t i n gt h e i rc o r r e l a t i o nc o e f f i c i e n t t h e m a t c h i n ga l g o r i t h mb a s e do nc o r r e l a t i o nc o e f f i c i e n th a sb e e ni m p r o v e d w i t h o u tt h el o s so f m a t c h i n ga c c u r a c y , t h ea l g o r i t h mi m p r o v e dg r e a t l yb yd e c r e a s i n gt h ed e m a n dw i t ho p e r a t i o n s a ss h o w ni nt h ee x p e r i m e n t s ，t h ec o m e rd e t e c t i o nm e t h o dp r e s e n t e di nt h i se s s a ya s s o c i a t e w i t ht h ec o a r s e - t o f i n em a t c h i n gp o l i c yc o u l dm a t c ht w oi m a g e sp e r f e c t l yw i t hc o n s i d e r a b l e p r e c i s i o n k e yw o r d s ：f e a t u r ep o i n t ，f e a t u r ee x t r a c t ，f e a t u r em a t c h i n g ，c o r r e l a t i o n ，i m a g er e g i s t r a t i o n i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：磕日期：鲨翌：兰：垒 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 以电子信息形式刊登) 论文的全部或部分内容。论文的公布( 包括以电子信息形式刊登) 授 权东南大学研究生院办理。 研究生签名：呈塑塾导师签名：厶丕! ! 垒 日 第一章绪论 第一章绪论 1 1 图像配准的意义 配准是图像处理中的一项基本任务。概括地说，图像配准就是对取自不同时间、不同传 感器或者不同视角的同一场景的两幅或多幅图像进行最佳匹配的过程。图像处理在光测力学 领域有着广泛的应用。光测力学是用光学的方法和技术进行力学测量的一门实验学科，以测 量固体的应力、应变、位移等为其主要的研究内容。光测力学测量技术由于其测量的高分辨 率、全场性和非接触式等突出优点而得到广泛的关注和应用。近2 0 年来，随着计算机技术的 发展和数字图像处理技术的发展，光测力学技术得到迅猛的发展。数字图像处理已形成了光 测力学中一个重要的、相对独立的分支。在光测力学中，为了得到运动物体的位移信息，对 该物体进行拍摄，记录其在不同时刻的运动状态，运用相关方法对不同时刻的图像进行配准。 在获得图像的空间坐标参数后，即可得到该物体的旋转角度和位移等结果。图像配准经常用 于对在不同时间采集的动态时序图像的分析判断。 同样，图像配准在军事、遥感、医学、计算机视觉方面也有广泛的应用。图像配准来源 于多个领域的很多实际问题，将一个目标同取自场景中的实时图像相匹配的目标识别；利用 卫星图像检测土地使用情况；用于自动导航的图像三维信息获取；排列具有不同医学特征的 图像用于医学诊断等等。因为图像配准技术在很多领域有着广泛的应用，所以，近年来，它 已成为图像处理技术研究的重点之一。 1 2 图像配准的一般概念 图像是用各种观测系统以各种形式和手段观测客观世界而获得的，可以直接或间接作用 于人眼并进而产生视知觉的实体。般从客观景物得到的图像是2 一d 的，可以用一个2 一d 数 组f ( x ，y ) 来表示。一般视频图像是连续的，即f ，工，y 的值可以是任意实数。为了能用计 算机加工利用图像，需要把连续的图像在坐标空间x ，y 和性质空间厂都离散化，这种离散 化了的图像就是数字图像。数字图像中每一个基本单位叫做图像元素，简称像素。 图像处理就是对图像信息进行加工处理，以满足人的视觉、心理和实际应用的要求。图 像处理可以应用光学方法，也可以应用电子学方法。从2 0 世纪6 0 年代开始，随着计算机技 术的发展，数字图像处理获得了飞速的发展。数字处理技术为图像处理开辟了全新的和十分 广阔的道路，似的人们对图像进行各种各样的j j n ：r _ 或从图像中提取各种不同的信息更为方便 快捷。 图像配准的基本问题是找出一种图像转换方法，用以纠正图像的形变。造成图像形变的 原因多种多样，例如对于遥感图像而言，传感器噪声、由传感器视点变化或平台不稳定造成 的透视变化、被拍摄物体的移动、变形或生长等变化、闪电和大气变化，以及阴影和云层遮 盖都使图像产生不同形式的形变。正是图像形变原因和形式的不同决定了多种多样的图像配 准技术。 东南大学硕士学位论文 目前对两幅图像间是否“配准”尚没有一个明确的标准，这使得对于图像配准技术的分 类和比较评判很困难。在当前图像配准技术的研究中，通常每一种配准技术都是针对某一具 体应用而设计的，没有哪一种技术是广泛适用于各种图像配准问题的，同时对某特定问题也 没有哪一种技术是必须和唯一的。图像配准问题概括来说都是以在变换空间中寻找一种特定 的最优的变换，达到使两幅图像在某种意义上匹配为目的，但对于不同图像和不同应用，则 要具体问题具体分析。 1 3 图像配准技术在国内外的研究现状 图像配准技术最早是在美国其实年代从事的飞行器辅助导航系统、武器投射系统的末制 导以及寻地等应用研究中提出。八十年代后，随着科学技术的发展，在很多不同领域都有大 量图像配准技术的研究，如遥感图像处理、模式识别、自动导航、医学诊断、计算机视觉等。 各个领域的图像配准技术都是针对各自具体的应用背景，并结合实际情况量身定制的特定技 术，然而又可以在相关领域相互移植。 文献利用传感器参数进行图像配准。系统中传感器光轴一致，有相同的中心，则图像 只反映了视场角和空间分辨率的不同。根据传感器参数，对图像剪切、缩放、重采样和插值， 可直接匹配视场角和空间分辨率。1 9 9 5 年，v i o l a 口1 和c o l l i g n o n 3 等人把互信息引入图像配 准领域，为多模态图像配准提出了一种新的思路。文献h 3 将所有非线性配准算法归结在一个变 化框架下，并在此框架下，提出了一种基于曲率的图像配准算法。文献啼1 提出将区域轮廓和 内部解剖点共同作为匹配特征实现弹性配准。文献3 通过分段仿射变换逼近透视变换，从而 简化其参数计算。文献睁3 提出了一种联合估计图像间的正向和反向变换的方法，保证了正向 和反向变换的互逆性。文献1 提出了两种将互信息推广应用于非刚性配准的算法，并指出下 一步目标是将图像分割和图像配准结合在一起，用各自输出的信息互相指导下一步的操作， 迭代达到最优。文献凹1 自动将配准图像分解成一系列细节丰富的、互不相同的模板，选择匹 配最好的4 个模板的中心作为控制点，计算配准图像的平移和旋转参数。文献n 们在配准不同 模态图像时，采用了边缘提取的方法，然后，为了匹配的稳健性，用边缘上的点组成的三角 形进行图像变换。 关于复合图像配准方法，国外也有一些研究。复合配准有三种复合方式：结合基于特征 和基于灰度的配准方法、结合图像中不同的特征以及变换模型分解。 为了解决对在不同焦距下获得的两幅图像，一个共同的特征在两幅图像中看起来不太相 同的问题，zz h a n g 和r i c ks b l u m n 提出一种新的方法，将光流场的鲁棒估计结合由粗到 精的多分辨率策略，使用基于特征的图像配准来克服基于灰度配准方法的缺陷。这种方法对 一些多光谱图像也是适用的。尽管此法结合了基于灰度和基于特征方法的优点，可以增强图 像配准效果。同时多尺度迭代细化也能改进鲁棒性和精确度。然而也存在一些不足之处。例 如，在边缘检测阶段，要求两幅图像的重叠区域不能太小，否则会因为找不到共同特征而导 致误匹配。另外要求相同特征点在两幅图像中的像素灰度相同，而这在实际中是不可能完全 2 第一章绪论 满足的。也就是说，此方法不能很好地适应光照和对比度的变化。 为了改进该算法的不足，文献n 钉提出了一种两步配准方法，其参数由用户提供。第一步 采用基于特征的方法，不需要建立两幅图像特征之间相关性。在这一步中由基于h a u s d o r f f 距 离的算法求出初始变换。然后在第二步中使用基于区域的方法来完善初始变换，提高配准精 度。研究显示，该两步方法对单传感器图像和多传感器图像都适用。两步配准方法具有很多 优点。在第一步中，作为对准的一个度量，h a u s d o r f f 距离在某种意义上来说，反映了初始 变换估计值的质量。为了第二步的变换参数优化算法能工作正常，就需要对初始变换参数有 个足够好的估计。另外，采用由下到上的搜索策略，这种算法可以在并行处理器中运行，以 获得更高的效率。 t h e o p h a n om i t s a n 3 1 等提出了一种基于延性边界模型和图像融合的区域图像配准方法，将 区域轮廓和内部解剖点共同作为匹配特征实现弹性配准。该方法主要由两部分组成，首先在 两幅待配准图像中找出图像边界，然后利用点插值，使源图像向目标图像变形。在边缘处， 要求变形精确，而在其他地方变形要平滑，这样才能保证解析结构之间的相对位置不变。 针对异类传感器的问题，论文n 钔提出一种基于传感器参数和目标轮廓中心的自动配准算 法，其核心思想就是讲变换模型分解，逐步简化，从而将复杂问题简单化。首先，利用传感 器参数，消除图像间的比例变化，将仿射变换简化为刚体变换。然后。选取目标的轮廓中心 为控制点，消除图像间的平移变化，实现图像的完全对齐。 在国内，图像配准技术起步相对较晚，但发展很快。文献n 5 3 提出了一种将遗传算法用于 图像配准的算法。文献n 6 1 提出了基于轮廓相似性测度的图像配准方法，它适用于轮廓特征比 较丰富的图像的配准。文献n 7 1 提出了将遗传算法和最小二乘法结合用于图像的子像素级配准。 图像配准技术是图像处理领域的一项基本研究内容，涉及图像分割、特征提取、模式识 别和优化理论等多项相关技术，这些技术的进展影响着配准技术的发展。目前，研究者们对 刚体变换模型的配准研究得比较多了，但是关于非线性配准方法的的研究才刚刚起步，所以 这将会是以后图像配准的一个重要研究方向。 1 4 问题提出的背景 图像配准是将取自同一目标的两幅或多幅影像，在空间位置上对准。这些影像或者来自 不同传感器名或者来自同一传感器在不同时刻获取。快速高精度的图像配准算法一直是众多 研究者追求的目标。本论文也是出于这样的目的。 图像信息量巨大，而边缘信息是图像的最基本的特征，所包含的也是图像中用于识别的 有用信息。所谓的边缘是指其周围像素灰度有阶越变化或屋顶变化的那些像素的集合，为人 们描述或识别目标以及解释图像提供了一个有价值的和重要的特征参数。图像的边缘是一个 较稳定的图像特征，当图像发生平移和旋转变化时，其仍能保持较好的对应关系。图像的主 轮廓反映了图像的主要边缘的信息，是图像的总体轮廓，其对应于数字图像上若干条较长的 边缘，特征提取更稳定，对应关系更好。 3 东南大学硕士学位论文 然而，由于目标边缘、图像纹理甚至噪声都可能成为有意义的边缘，因此很难找到一种 普适性的边缘检测算法。现有的诸多边缘检测方法各有其特点，同时也都存在着各自的局限 性和不足之处。在微分法边缘检测中，边缘定位和噪声滤除是两个相互矛盾的部分。为了减 少噪声对微分输出的影响，需要先对图像进行平滑。然而平滑会引起信息丢失，并会使图像 平面的主要结构发生移位。如何权衡两方面的影响，使得提取出的边缘最有效，是边缘检测 中最大的难点。所以，本文的主要目的就是尝试提出一种能有效规避现有边缘检测算法缺点 的改进算法。 考虑到噪声般都是均匀分布在整个数字图像内的，噪声的存在会造成检测出很多伪匹 配点，使配准失败，因此必须想办法减少噪声对图像配准的影响。通过前人的研究，发现角 点大多存在于边缘上，这就给本文提供了思路。本文提出的复合配准方法是在图像的边缘上 提取角点，这样可以更准确快速地获得角点，同时通过先提取边缘，可以去除分布在边缘间 的大量噪声点，减少伪角点的数量。 1 5 本文的主要工作 本文主要对图像配准技术进行了研究。首先介绍了图像配准的概念，常用的图像配准算 法；着重对各种常用的边缘提取方法和特征点提取方法做了详细的比较；重点研究了基于边 缘检测的图像配准方法，并在此基础上，结合特征点的提取完成图像的配准。最后，通过图 像的配准实验，对比本文提出算法和传统算法，检验其性能上有无改进。全文共分为五章， 第- n 五章分别安排如下： 第二章主要介绍图像配准的一些相关概念，对常用的图像配准方法进行了较为详尽的阐 述。 第三章是本文的重点，着重研究了各种常用的边缘检测算法，明确各自的优缺点和适用 范围，阐明边缘定位和噪声滤除之间的关系。经过实验对比，确定c a n n y 边缘检测算法为本 文的边缘提取算法。详细研究了s u s a n 角点检测算子和h a r r i s 角点检测算子的原理，在对比 两算子性能的基础上，尝试提出了一种新的角点提取算法，努力使该算法具备s u s a n 算子和 h a r r i s 算子的优点。 第四章在上一章角点提取算子的研究基础上，将该算子应用到图像配准中。使用相关度 准则对特征点进行匹配，完成图像配准。 第五章总结本文的工作，对所提出的角点检测算法的性能进行评估，指出其需要改进的 地方。 4 第二章图像配准的准备知识 第二章图像配准的准备知识 要实现图像匹配，获得运动物体的运动参数，需要根据所采集图像的实际情况，选取合 适的特征和变换模型，使得达到最佳的匹配效果。本章对图像配准的各个相关部分作了简要 阐述。 2 1 图像配准定义 图像配准可以定义为两幅图像在空间和灰度上的映射。如果用给定尺寸的二维矩阵和 厶代表两幅图像，( x ，y ) 和1 2 ( x ，j ，) 分别表示相应位置( x ，y ) 上的灰度值，则图像间的映射可 表示为： 1 2 ( x ，y ) = g ( ( 厂( 石，y ) ) ) ( 2 1 ) 式中，厂表示一个二维空间坐标变换，即： ( x ，y ) = f ( x ，y ) ( 2 - 2 ) 且g 是一维灰度或幅值变换。 在实际应用中，亮度的变化常常可以通过传感器参数信息校正，因此找到最佳空间变换 是图像配准问题的关键，这一变换可参数化为两个单值函数六和工： 厶 ，y ) = ( 正( x ，少) ，工 ，y ) ) ( 2 - 3 ) 当需配准多幅图像时，选取其中某一幅作为参考图像，其余分别相对参考图像进行配准。 2 2 图像配准的变换模型 对于所有的图像配准技术最根本的问题是找出适当的图像转换或映射类型以正确匹配两 幅图像。当图像特征的一致性建立之后，匹配的函数也随之建立。我们希望变换观察图像以 使它与参考图像配准。因此，在映射函数的设计中，应尽量考虑到变换后的观察图像与参考 图像的一致的控制点，应尽可能相近。 图像变换的类型有：刚体( r i g i d ) 变换，仿射( a f f i n e ) 变换，投影( p r o j e c t i o n ) 变换和 非线性( c u r v e d ) 变换。 1 ) 刚体变换 如果第幅图像中的两点间的距离经变换到第二幅图像中后仍保持不变，则这中变换称 为刚体变换。刚体变换可分解为平移、旋转和反转。变换公式为： ( i ) = ( ：；- c 。s i s n 占s 。( 乃x , ) 十 乏 c 2 4 ， 其中f 。和f 。为平移量，0 为旋转角度。 2 ) 仿射变换 东南大学硕士学位论文 经过变换后第一幅图像上的直线映射到第二幅图像仍为直线，并且保持平衡关系，这样 的变换称为仿射变换。仿射变换可以分解为线性( 矩阵) 变换和平移变换。 变换公式为： 阱c o s ，珊斗嘲 5 ， 其中x o 和y o 为平移量，秒为旋转角度，s 为缩放尺度。更一般的二维仿射变换公式如下： 令甜= s c o s o ，v = s i n o ，则上式变为： i ( u 矧+ 6 ， 3 ) 投影变换 经过变换后第一幅图像上的直线映射到第二幅图像上仍为直线，但平行关系基本不保持， 这样的变换称为投影变换。投影变换可用高维空间上的线性( 矩阵) 变换来表示。变换公式 为： 矗：鱼! 苎堡2 苎三鱼2 ：垒! 苎二垒2 苎丝 ( 2 7 ) a 3 l + 吗2 m + 吩3 。 a 3 i + c 1 3 2 y l + a 3 3 4 ) 非线性变换 非线性变换可把直线变换为曲线。在二维空间中。可以用以下公式表示： ( x ，y 。) = f ( x ，y ) ( 2 - 8 ) 其中，f 表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非线性变 换如多项式变换，在二维空间中，多项式函数可写成如下形式： 工= a o o + q o x + a o l 少+ 呸o z 2 + q l x y + a 0 2 y 2 + ( 2 9 ) y = + 6 l o x + b 0 1 y + b 2 0 x 2 + 6 l l x y + b 0 2 y 2 + ( 2 1 0 ) 非线性变换比较适合于那些具有全局性形变的图像配准问题，以及整体近似刚体但局部 有形变的配准情况。 2 3 图像配准方法的基本框架 在b r o w n n 8 1 的综述中，配准方法被分解为四个部分的组合： 1 特征空间 2 搜索空间 3 搜索策略 4 相似性度量 6 第二章露像配准的准备知识 2 3 1 特征空间 特征空间指从图像中提取匹配的特征。 图像配准中使用的图像特征有着重要的意义，因为它们通常决定了这个方法适合于什么 样的图像。基本的像素灰度值可以是一种特征，还可以包括常见的特征如边缘、曲线、曲面； 显著的视觉特征如拐角、交叉线、高曲率的点等；统计特征，如不变矩以及高层语义的描述 算子等等。图像特征几乎是所有计算机视觉和图像处理任务都会涉及到的基本因素，在图像 配准上它会影响到： 1 成像设备和景物中哪种特征会对算法敏感( 通常选择的特征都会降低图像噪声和畸变 的干扰) 2 图像的何种特征被匹配( 比如需要的是匹配景物的结构而不是纹理信息) 3 算法执行的效率和搜索代价 因此，好的特征选择将会消除畸变噪音的干扰，降低参与计算的数据量又不失充分的表 达图像内容的内部结构。 2 3 2 搜索空间 搜索空间是一系列可以配准图像的变换操作的集合，其中以几何变换为主要因素。 图像的几何形变可以分为三类：全局的、局部的和位移场形式的。全局的变换指整幅图 像的畸变都可以用统一的参数矩阵来描述。典型的全局几何变换包括以下的一种或几种简单 变换的组合：平移、旋转、各向同性或各向异性的缩放、二次或三次多项式变换等等。局部 变换允许变换参数有位置依赖性，在图像中不同的位置是上具有不同的变换参数矩阵，一般 变换参数只是定义在特定的关键点上，而在其他区域进行插值。位移场方法，有时候又称为 光流场法，使用一个连续函数优化机制，为图像中的每一点计算出一个独立的偏移量，并使 用某种规整化机制进行约束。一般来说，变换类型在某个特定应用场合可以作为一种先验知 识，将搜索空间限制在几种可能出现的特定变换。当没有先验知识参考时，就必须考虑所有 可能出现的变换形式。 2 3 3 搜索策略 搜索策略决定了下一步可选的变换的依据，用于最优变换的评估。 由于很多配准算法伴随着庞大的计算量，常规的贪婪搜索法实际上无法实现，因此有效 的搜索策略成为一个不容忽视的问题。给定一组对应特征和特征间参数化的变形，由搜索空 间和相似性度量方法决定了搜索策略。常用的搜索策略有：松弛匹配、动态规划、牛顿法、 最速下降法、共轭梯度法等等。 2 3 4 相似性度量 相似性度量决定了每一次变换优劣评估的结果。 7 东南大学硕士学位论文 相似性度量往往和提取的图像特征相关，它给出的评价值将直接决定了配准变换的选择。 在从每幅图像中提取图像特征后，由相似性度量函数来计算决定在当前所取的变换模型下图 像是否被正确匹配了。通常，配准算法抗干扰的能力是由特征提取和相似性度量所共同决定 的。最常见的相似性度量方法为特征空间的欧式距离，一般这样的相似性度量必须考虑归 化。 以上四个方面的组合，就构成了配准算法的基本框架。几乎，目前所有的配准算法都可 以分解成这样四个步骤。 2 4 常用图像配准技术研究 目前对于不同类型的图像和数据参在很多种图像配准的方法，也相应地形成了很多种对 方法进行分类的准则。常见的分类准则将图像配准方法分为两类：基于图像灰度的方法和基 于图像特征的方法。图像匹配算法主要分为两类，一类是基于灰度匹配的方法，另一类是基 于特征匹配的方法。前者主要用空间域的一维或二维滑动模板进行图像匹配，不同算法的区 别主要体现在模板及相关准则的选择方面。后者则通过在原始图像中提取点、线、区域等显 著特征作为匹配基元，进而用于特征匹配。总的来说，基于灰度匹配的方法虽然计算量大， 但结果更加准确n 钔。 2 4 1 基于像素灰度的图像配准方法 基于灰度的匹配就是逐像素地把一个具有一定大小的图像窗口同基准图像中所有可能的 窗口按某种相似性度量方法进行搜索比较的匹配方法。 通常直接利用整幅图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜 索方法，寻找使相似性度量值最大或最小的变换模型的参数值。常用的相似性度量有： ( 1 ) 交叉相关法呦1 或者相关系数； ( 2 ) 序贯相似度检测( s s d a ) 乜2 | ； ( 3 ) 互信息乜3 i ； ( 4 ) 位相相关口引。 这种方法的主要特点是实现比较简单，但应用范围较窄，不能直接用于校正图像的非线 性形变，而且在最优变换的搜索过程中往往需要巨大的运算量。 1 9 8 2 年r o s e n f e l d 提出的交叉相关( c r o s s c o r r e l a t i o n ) 法是最基本的基于灰度统计 的图像配准方法，它通常被用来进行模板匹配和模式识别。对于一幅图像i ( x ，y ) 和相对于图 像较小尺度的模板r ，。归一化二维交叉相关函数c ( u ，1 ，) 表示了模板在图像上每一个位移位置 的相似程度： 8 第二章图像配准的准备知识 c ( u ，v ) = t ( x ，y ) f ( x - u ，y v ) ， y ( 2 1 1 ) l 厂2 ( x - - u ，y - v ) l ljy j 如果除了一个灰度比例因子外，模板和图像在位移( i ，歹) 处恰当匹配时，交叉相关函数会 在c ( i ，) 出现峰值。需要注意的是交叉相关函数必须归一化，否则局部图像灰度将影响相似 度的度量。 相关系数是一个和交叉相关类似的准则，其形式如下： ( 2 - 1 2 ) 其中胁和西分别是样本丁的均值和方差，和万，分别是样本厂的均值和方差，并假设丁 和厂同大小。相关系数的特点是在一个绝对尺度卜1 ，1 】内度量相关性，并在适当的假设下，相 关系数的值与两幅图像间的相似性成线性关系。 相关系数法具有很高的准确性和适应性，不受图像灰度值的线性变换的影响。该方法的 精确度很高，具有较强的局部抗干扰能力，并且当相对的旋转和畸变差异不大时，也能够得 到满意的匹配。虽然其精确度很高，但是需要很大的运算量，在应用时所用的计算时间过长， 使得它在实时图像匹配领域不能得到广泛的应用，所以可以通过其它的各种加速算法来进行 改进，比如序贯相似度检测算法。 序贯相似度检测算法乜别( s e q u e n t i a ls i m i l a r i t yd e t e c t i o na l g o r i t h m s ，s s d a s ) 是 由b a r n e a 等人提出的，这种方法具有比传统的交叉相关法更高的效率，其改进体现在两个方 面，首先，建立了一个在计算上更简单的相似性度量准则e ( u ，) ： e ( u ，v ) = i 7 ( x ，y ) - f ( x - u ，y - v ) i ( 2 1 3 ) j y 归一化的准则定义为： e ( u , v ) = i 丁( x ，) ，) 一于一f ( x - u , y v ) + 夕( 甜，v ) i ( 2 1 4 ) j y 其中于和尹分别表示模板和图像窗口的均值。这一准则即使在非归一化情况下仍可在匹 配处获得极小值，并且没有乘法运算。其次，b a r n e a 等人提出了在与准则相配合的序贯搜索 策略，由于改准则实际上是一个误差绝对值的累加和，在图像不匹配的位置，累加时e ( u ，1 ，) 增 长很快，而在图像匹配位置上e ( u ， ，) 随累加次数增长缓慢。如果选择一个简单的固定门限丁， 并规定累加误差一旦超过改门限丁就停止运算，则在各个不匹配的位置上累加运算讲提前停 止，从而大大节省了运算量。而在匹配位置上，需经过很多点的累加后才能达到固定门限r 。 因此可把累加次数玎作为匹配的判据，累加次数行最大的位置就是匹配位置。这种方法称为 固定门限的s s d a 算法。进一步的改进方法可以根据局部灰度星系和匹配窗口的大小动态调整 9 广1 一计竺 州一芝。 ! 朗 坠咖 翌渺一k 怍 业 竺露；| l 店 塑0 薹| 东南大学硕士学位论文 门限大小，从而进一步以高运算效率。 1 9 9 5 年c o l l i g n o n 描述了联合熵作为定量配准测度的应用价值，差不多同时，v i o l a 发 表了互信息用于多模配准的文章。假设两幅图像a ，b 为两个随即变量，他们的灰度概率密度 分布分别为既( 口) 和p b ( b ) ，灰度联合概率密度分布为p 爿口( a ，6 ) ，这些概率分布可以通过图像 的直方图和联合直方图来获得。则a ，b 之间的互信息i ( a ，b ) 可表示为： 砌瑚2 舯) l o g 而p a b 丽( a , b ) ( 2 - 1 5 ) 同时，根据信息熵的定义： 日( 么) = 一p 爿( a ) l o g p a ( a ) ( 2 1 6 ) h ( a ，b ) = 一p a 日( 口，b ) l o g p 仰( a ，6 ) ( 2 1 7 ) ( 2 - 1 5 ) 式可表示为： i ( a ，动= 日( 么) + 日( 召) 一日( 么，动 ( 2 1 8 ) 对于图像a ，n 0 ) 表示为图像a 中第a 灰度级的像素个数与总的像素个数之比。而 儿占( 口，b ) 则表示两图像的像素对数( 图像a 中第口灰度级和图像b 中第b 灰度级) 与总的像素 对数之比。通过分析不难看出：如果两幅图像精确配准时，其互信息达到最大。也就是说， 当两幅图像的空间位置达到一致的时候，即配准的时候，由于图像之间存在的相关性最大， 灰度联合概率密度分布p 彻( 日，b ) 最集中，图像之间的联合熵最小，互信息将最大。因此基于 互信息测度下的图像配准可以表示为： t = a r g m a x7 ( 4 ，r ( b ) ) ( 2 1 9 ) 丁为两幅图像之间的变换关系。 相位相关法是一种基于傅立叶功率谱的频域相关技术乜引，该方法利用了互功率谱的相位 信息进行配准，对图像间亮度变化不敏感，具有一定的抗干扰能力。假设图像五和图像厶的 变换模型是平移运动模型： 厶( x ，y ) = i , ( x - x o ，y 一) ( 2 2 0 ) 将其进行傅立叶变换： e ( 孝，7 7 ) = e - j 2 x ( x o + 4 帕互( f ，7 7 ) ( 2 - 2 1 ) 互功率谱定义为： 娶盟掣_ e - j 2 a ( # x o 圳 ( 2 - 2 2 ) i ，( 孝，7 7 ) e ( f ，刁) l 其中，为互的复共轭。将上式进行傅立叶反变换得到： 6 ( x x o ，y y o ) = f 一1 旷7 2 ”( + 撕】 ( 2 2 3 ) 寻找上式中冲激函数的峰值位置即可确定图像和厶之间的平移运动参数。 基于图像灰度的配准方法直接利用全部可用的图像灰度信息，因此能提高估计的精度和 1 0 第二章图像配准的准备知识 鲁棒性。但由于在基于图像灰度的算法中，把匹配点周围区域的点的灰度都考虑进来进行计 算，因此其计算量很大，速度较慢。应用这些方法的必要条件是有对应的搜索策略以减少计 算量。最常用的方法是称为金字塔法的由粗到精的迭代搜索算法，它将分辨率较高的图像分 解为分辨率较低的图像，从而减少搜索数据量，再由低分辨率图像的搜索结果作为下一步搜 索过程的初始值，利用迭代逐步提高分辨率直到原分辨率图像的搜索结果。 与基于灰度的配准方法不同的是，基于特征的配准方法由于提取了图像的显著特征，大 大压缩了图像信息的数据量，同时较好地保持了图像的位移、旋转、比例方面的特征，故配 准时计算量小，速度较快。 2 4 2 基于特征的图像配准方法 基于特征的图像配准是配准中最常见的方法，对于不同特征的图像，选择图像中容易提 取并能够在一定程度上代表待配准图像相似性的特征作为配准依据。他可以克服利用图像灰 度信息进行图像配准的缺点，主要体现在以下三个方面乜5 1 ：1 图像的特征点比图像的像素点 要少很多，从而大大减少了匹配过程的计算量；2 特征点的匹配度量值对位置变换比较敏感， 可以大大提高匹配的精度；3 特征点的提取过程可以减少噪声的影响，对灰度变化、图像形 变以及遮挡等都有较好的适应能力。因此，基于特征的图像配准方法是实现高精度、快速有 效和适用性广的配准算法的最佳选择。 由于待配准图像的多样性，期望设计出一种适合所有图像的通用配准方法是不现实的。 每种配准方法不仅要考虑图像之间的几何畸变假定的类型，还要考虑图像退化的影响、需要 的配准精度等。不过，大多数配准方法的步骤都差不多，包含如下四步： 1 特征提取：根据图像性质提取适用于该图像配准的几何或灰度特征，如闭合边界区域、 轮廓、边缘、重心、线交叉点和端点等。 2 特征匹配：根据特征匹配准则，寻找两幅待配准图像中对应的特征，排除没有对应的 特征。 3 变换模型参数估计：选择几何变换模型并且根据匹配特征对估计出变换参数。 4 图像重采样和变换：根据估计出的变换参数对待配准图像实行坐标变换。由于图像变 换后的坐标不为整数，还必须选择适当的插值技术进行灰度插值。 图像特征如上所述，但是在图像配准中用得最多的还是点特征。最简单的配准方法即人 工选取图像上一系列同名控制点对，代入多项式以得到图像的转换参数。人工选点的方法具 有错误率低，灵活性高，适应性好的特点，但在大量数据处理的应用中要耗费大量的人力。 由于角点的提取已经有了比较成熟的方法，因此基于角点的配准方法的难点就在于两幅图像 之间的同名点的匹配问题。已报道的解决点匹配问题的方法有松弛法晗6 删，相对距离直方图 聚集束检测法瑚瑚1 ，h