（计算机软件与理论专业论文）基于集成准则的多模态图像配准.pdf

a s s e m b l yc r i t e r i af o rm u l t i m o d a li m a g e r e g i s t ra t i o n b y x i a o l ic h a n g u n d e rt h es u p e r v i s i o no f p r o f j i n p i n gl i at h e s i ss u b m i t t e dt ot h eu n i v e r s i t yo fj i n a n i np a r t i a lf u l f i l m e n to ft h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n g u n i v e r s i t yo fj i n a n j i n a n ，s h a n d o n g ，p r c h i n a m a y2 0 ，2 0 1 0 3 舢8舢6 哪7舢4舢7舢y 在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律责任由本人承担。 论文作者签名：鲞蝤 b 论文作者签名：经鳖 期：却蟹0 型 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借鉴；本人授权济南大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：粗导师签名： 日期：型! ：兰 1 3 主要内容、创新点一4 1 4 论文的组织结构5 第二章图像配准和多模态图像配准方法 7 2 1 图像配准原理7 2 2 图像配准流程7 2 3 常见的图像配准算法。8 2 3 1 最大对齐度算法8 2 3 2 最大互信息算法1 0 2 3 3 广义距离测度算法1l 2 3 4 划分强度一致性测度算法1 4 2 4 本章小结1 5 第三章红外热像仪图像和可见光图像的配准1 7 3 1 图像预处理1 7 3 1 1 图像灰度化1 8 3 1 2 图像负像化1 9 3 1 3 图像分辨率调整1 9 3 2 基于对齐度的多模态图像配准2 0 3 2 1 算法流程。2 0 3 2 2 实验结果和分析2 1 3 3 基于互信息的多模念图像配准2 3 3 3 1 互信息用于图像配准2 3 3 3 2 算法流程2 5 3 3 3 实验结果和分析2 6 l 荩二f ：集成准则的多模态图像配准 3 4 对齐度和互信息配准算法中图像的正负像无关性2 8 3 4 1 对齐度配准的图像j 下负像无关性2 8 3 4 2 互信息配准的图像j 下负像无关性。3 0 3 5 其它配准算法31 3 6 本章小结3 2 第四章基于集成准则的多模态图像配准3 3 4 1 集成配准准则3 3 4 1 1 集成准则3 3 4 1 2 改进的集成准则3 5 4 2 基于对齐度和归一化互信息的六种配准方法3 7 4 3 实验结果分析4 1 4 4 本章小结4 3 第五章总结 5 1 主要工作和贡献4 5 5 2 工作展望4 6 参考文献 致谢。 附录a ( 攻读学位期间发表论文目录) 。5 3 附录b ( 红外图像和可见光图像配准结果的部分实验数据) 5 5 济南人学硕i 学位论文 l ! 一m mmi im l i e e e 曼曼曼皇鼍曼鼍皇曼皇曼量 摘要 图像配准是图像处理领域的一个重要研究方向，是完成图像融合工作最基本的一 步，在医学、遥感和军事等领域具有很强的应用价值。虽然同一场景的多模态图像在 灰度属性和分辨率等方面存在很大差异，但它们同时在一定程度上既包含着互补信息 又包含着共同信息，这使得多模态图像配准成为一个理论上可行而实现起来比较困难 的工作。本课题以变电站巡检机器人获得的红外热像仪图像和可见光图像为研究对 象，重点考察多模态图像配准技术中的图像预处理和配准准则两个关键环节。主要工 作概括如下： 1 分别采用对齐度准则和归一化互信息准则进行红外热像仪图像和可见光图像 的配准。分析当前几种常见配准算法的原理并将其应用于红外热像仪图像和可见光图 像的配准，着重以对齐度准则和归一化互信息准则为例，详细介绍了其用于多模态图 像配准的算法流程和实验效果。大量实验结果表明，对齐度和归一化互信息算法对于 红外热像仪图像和可见光图像的配准是有效的，而且前者的配准准确率要高于后者。 2 实验发现并从理论上分别证明了对齐度和归一化互信息配准算法的j 下负像无 关性。由于不同模态图像之间的属性差异较大，为了使不同模态的图像尽可能地达到 模态一致，配准之前的图像预处理是关键。通过分析红外热像仪图像和可见光图像的 成像机理和特点，采用了图像灰度化、图像负像化、分辨率调整等预处理技术。将红 外热像仪图像负像化是常用的预处理环节，但实验分析发现，这两种配准算法均与图 像正负像无关，即可见光图像与相应的红外热像仪图像正像和负像的配准结果相同， 理论证明表明了该结论的正确性。这一规律对于提高基于对齐度或互信息的一系列配 准算法的计算效率具有重要的现实和理论意义。 3 提出用于多模念图像配准的集成准则。为了提高配准的准确率，在图像预处 理阶段又引入了图像边缘检测和均衡化，然后在对齐度和归一化互信息两种算法的基 础上，提出了六种配准方法，分别进行直接配准、边缘检测后配准和均衡化后配准。 通过对大量红外热像仪图像和可见光图像进行配准，综合分析这六种配准方法的实验 结果，发现它们之间具有良好的互补性，因此综合利用这六种配准方法，使用基于可 信度的加权准则和集中准则来进行集成多模态图像自动配准能很好地改善配准的效 果。实验结果表明，基于集成准则的配准方法准确性高，鲁棒性强，较之非集成配准 方法具有明显的优势，为多模态图像自动配准的研究提供了个新的思路。 关键词：多模态图像配准；归一化互信息；对齐度；集成配准准则 l l i 摹于集成准则的多模态冈像配准 曼l = a =zzi = i = a ：i ：li 曼曼曼曼皇曼曼曼曼皇曼曼舅曼曼曼曼曼曼曼曼皇曼曼曼鼍曼曼量曼曼 r e g i s t r a t i o no f m u l t i m o d a li m a g e sb ef e a s i b l ei nt h e o r yb u td i f f i c u l ti ni m p l e m e n t a t i o n t h e c o n t r i b u t i o no ft h i sp a p e ri st oe n g a g ei nt h er e s e a r c ho fi m a g ep r e p r o c e s s i n ga n dt h e m e a s u r eo fi m a g er e g i s t r a t i o nb yr e g i s t r a t i o nb e t w e e ni n f r a r e dt h e r m a li m a g e sa n dv i s u a l l i g h ti m a g e s ，t h e s ei m a g e sa r eo b t a i n e df r o mt w oc a l i b r a t e dc a m e r a sm o u n t e dt o g e t h e ro n a w h e e l e dp a t r o lr o b o tu s e df o ri n s p e c t i n ge q u i p m e n t si nt r a n s f o r m e rs u b s t a t i o n t h em a i n c o n t e n t so ft h ep a p e ra r ea sf o l l o w e d ： 1 r e g i s t r a t i o nb e t w e e ni n f r a r e dt h e r m a li m a g e sa n dv i s u a ll i g h ti m a g e s i sp e r f o r m e d b ym e a n so fa l i g n m e n tm e t r i ca n dn o r m a l i z e dm u t u a li n f o r m a t i o nr e s p e c t i v e l y a f t e r a n a l y z i n gt h ep r i n c i p l e so fs o m ec o m m o nr e g i s t r a t i o na l g o r i t h m s ，w ea p p l yt h e ma l lt o r e g i s t r a t i o nb e t w e e ni n f r a r e dt h e r m a li m a g e sa n dv i s u a ll i g h ti m a g e s ，a n ds e ta l i g n m e n t m e t r i ca n dn o r m a l i z e dm u t u a li n f o r m a t i o na se x a m p l e st o s h o wa l g o r i t h mf l o wo f m u l t i m o d a li m a g er e g i s t r a t i o n e x p e r i m e n tm a n i f e s t st h a ta l i g n m e n tm e t r i ca n dn o r m a l i z e d m u t u a li n f o r m a t i o na r eb o t hv a l i df o rr e g i s t r a t i o no fi n f r a r e dt h e r m a li m a g e sa n dt h e c o r r e s p o n d i n gv i s u a ll i g h ti m a g e s ，h o w e v e r , t h e f o r m e ri ss u p e r i o rt ot h el a t t e ri n r e g i s t r a t i o na c c u r a c y 2 i th a sb e e nf o u n de x p e r i m e n t a l l ya n dp r o v e dt h e o r e t i c a l l yt h a tt h er e g i s t r a t i o n b a s e do na l i g n m e n tm e t r i ca n dn o r m a l i z e dm u t u a li n f o r m a t i o na r eb o t hi n d e p e n d e n to f p o s i t i v eo rn e g a t i v ei m a g e s d u et o t h eh i g hd i f f e r e n c e si ni m a g i n gc h a r a c t e r i s t i c s ， p r e p r o c e s s i n gi sa ne s s e n t i a ls t e pf o rm u l t i m o d a li m a g er e g i s t r a t i o n ，t h ep u r p o s e o fw h i c h i st om a k ed i f f e r e n tm o d a l i t i e sa c h i e v et h ec o r r e s p o n d e n c e0 1 1m o d a l i t y 硒m u c ha s p o s s i b l e i nt h ep r e p r o c e s s i n g , t h ec o l o ri m a g e sa r ec o n v e r t e dt ob eg r a yo n e s ，t h e r e s o l u t i o no ft w ok i n d so fi m a g e sa r ec a r e f u l l yr e s i z e d o n ep o s s i b l ep r e p r o c e s s i n gi st o c o n v e r tt h ei n f r a r e dt h e r m a li m a g e st ot h en e g a t i v eo n e ss ot h a tt h ec o n v e r t e di m a g e ss e e m v 基于集成准则的多模态图像配准 t ob em o r ea l i k ew i t ht h e c o r r e s p o n d i n gv i s u a ll i g h ti m a g e s h o w e v e r , p r a c t i c a l c o m p u t a t i o n si n d i c a t et h a tt h er e g i s t r a t i o nb a s e do na l i g n m e n tm e t r i co rn o r m a l i z e dm u t u a l i n f o r m a t i o ni si n d e p e n d e n to fp o s i t i v eo rn e g a t i v ei m a g e ，i e ，t h er e g i s t r a t i o nr e s u l t so f v i s u a ll i g h ti m a g ew i t ht h ec o r r e s p o n d i n gi n f r a r e dt h e r m a li m a g eo ri t sn e g a t i v ea r et h e s a m ea c c o r d i n gt oa l i g n m e n tm e t r i co rn o r m a l i z e dm u t u a li n f o r m a t i o n ，a n dt h i sc o n c l u s i o n c a nb ea l s op r o v e db yt h et h e o r e t i c a lp r o o t h i sd i s c o v e r yh a sap r a c t i c a la n dt h e o r e t i c a l s i g n i f i c a n c ei ni m p r o v i n gt h ec o m p u t i n ge f f i c i e n c yo fas e r i e so fa l g o r i t h m sb a s e do n a l i g n m e n tm e t r i co rn o r m a l i z e dm u t u a li n f o r m a t i o n 3 a s s e m b l yc r i t e r i aa r ep r o p o s e dt oi m p l e m e n tm u l t i m o d a ii m a g er e g i s t r a t i o n i n o r d e rt oe n h a n c et h er e g i s t r a t i o na c c u r a c y , a d d i t i o n a li m a g ee d g ed e t e c t i o na n di m a g e e q u a l i z a t i o na r ee m p l o y e di ni m a g ep r e p r o c e s s i n g , a n dt h e nd i r e c tr e g i s t r a t i o n ，e d g e d e t e c t i o nr e g i s t r a t i o na n de q u a l i z a t i o nr e g i s t r a t i o na r ef o r m e d ，i e ，s i xd i f f e r e n tr e g i s t r a t i o n m e t h o d sb a s e do nn o r m a l i z e dm u t u a li n f o r m a t i o n ( n m i ) a n dm a x i m i z a t i o no fa l i g n m e n t m e t r i c ( a m ) a l ed e v e l o p e df o rm u l t i m o d a li m a g er e g i s t r a t i o nb e t w e e ni n f r a r e dt h e r m a l i m a g e sa n dc o r r e s p o n d i n gv i s i b l el i g h ti m a g e s c o m p r e h e n s i v ea n a l y s i s ，w ef i n dt h e r e g i s t r a t i o nr e s u l t so ft h es i xm e t h o d sh a v ef a v o u r a b l ec o m p l e m e n t a r i t y t h e r e f o r e ，s i x r e 昏s t r a t i o na l g o r i t h m sa r ei n t e g r a t e dt oo p e r a t ea s s e m b l ym u l t i m o d a li m a g ea u t o m a t i c r e g i s t r a t i o n , a n dt h er e g i s t r a t i o ne f f e c ti si m p r o v e do b v i o u s l y t w oc r i t e r i aa l ea sf o l l o w s ： c o n c e n t r a t i o nc r i t e r i o na n dd i f f e r e n ta p p r o a c h e ss h a l lh a v ed i f f e r e n tw e i g h t e dm e a s u r e v a l u e so fb e l i e f r e g i s t r a t i o nr e s u l t so fi n f r a r e dt h e r m a li m a g e sa n dt h ec o r r e s p o n d i n g v i s i b l el i g h ti m a g e sa r ea n a l y z e d ，w h i c hi n d i c a t e st h a tt h ea s s e m b l yr e g i s t r a t i o nm e t h o d h a sh i g h a c c u r a c y a n dr o b u s t n e s s ，a n dh a sa no b v i o u sc o m p a r i s o na d v a n t a g et o n o n a s s e m b l yr e g i s t r a t i o nm e t h o d s ，i e ，t h ea d o p t i o no fa s s e m b l yr e g i s t r a t i o nc o u l d a c h i e v eb e t t e rr e g i s t r a t i o nr e s u l tt h a na n yp r o p o s e di n d i v i d u a lm e t h o d m o s to fi m p o r t a n t ， t h en o v e la s s e m b l yc r i t e r i ap r o v i d e san e ww a yo ft h i n k i n gf o rt h es t u d yo fm u l t i m o d a l i m a g e a u t o m a t i cr e g i s t r a t i o n k e y w o r d s ：m u l t i m o d a li m a g er e g i s t r a t i o n ；n o r m a l i z e dm u t u a li n f o r m a t i o n ；a l i g n m e n t m e t r i c ；a s s e m b l yr e g i s t r a t i o nc r i t e r i a v l 同模态图像进行配准的过程称为多模态图像配准，例如医学图像c t ( c o m p u t e d t o m o g r a p h y ) 弄l p e t ( p o s i t r o ne m i s s i o nt o m o g r a p h y ) ，遥感图像t m ( t h e m a t i cm a p p e r ) 和s p o t ( s a t e l l i t ep o s i t i o n i n ga n dt r a c k i n g ) ，红外热像仪图像和可见光图像。近年来配 准技术己广泛应用于军事、计算机视觉及模式识别、医学图像分析和遥感数据处理等 领域【2 】，并已经成为国内外图像研究领域的热门专题之一。 随着科技的发展，多种成像传感器的应用越来越广泛，为了充分利用不同模态图 像各自的优势，对同一场景的图像数据信息进行更为全面、精确、可靠地分析，常常 需要将两幅或多幅不同模态的图像内容融合在一起形成一幅信息更加丰富的新图像。 融合同一场景的多光谱图像，可以克服单一传感器图像在几何、光谱和空间分辨率等 方面存在的差异性和局限性，获得更高质量的图像，从而有利于对事物进行定位、识 别及解释【3 】。如在医学临床中，经常需要将同一个病人的多种模态图像结果结合起来 进行分析，这不仅方便诊断，还有利于手术计划的制定、病理变化的追踪和治疗效果 的比较评价等【4 】；在变电站中，综合利用巡检机器人获得的红外热像仪图像和可见光 图像的互补特征来提取全面信息，自动监测各个设备的工作温度，保障电气设备安全、 可靠地运行；在商业和情报部门中，采用图像融合技术对损坏的照片、录像带进行恢 复、转换等处理。由于不同传感器的成像机理不同，获取图像的时间、环境、角度也 不同，使得图像融合之前需先进行图像配准，其配准结果直接影响图像融合的效果。 综上所述，较之单模态图像配准，多模态图像配准具有更为广阔的应用前景，是 获得全面而丰富信息的关键技术，研究多模态图像配准具有一定的实际应用价值和理 论意义。以下几方面特点决定了实现多模态图像配准比单模念图像配准更具有挑战 性，同时在理论上又具有可行性：第一，由不同传感器在不同时间获得的同一场景的 图像模态不同，而且可能存在图像几何畸变，不易于图像内容的比较【5 1 ；第二，由不 同传感器在不同时间获得的同一场景的图像在狄度属性和分辨率等方面存在很大差 异；第三，不同模态的图像既包含重要的互补信息又在定程度上包含着共同信息1 6 】。 l 基于集成准则的多模态图像眦准 曼曼曼曼曼曼曼舅i 皇皇量兰曼曼量皇曼曼置曼曼皇曼曼曼皇皇! 皇曼皇曼! 曼曼曼曼曼鼍鼍曼曼曼曼曼! 曼曼曼! 曼曼曼曼! 曼曼量曼曼曼曼曼曼曼曼鼍曼曼曼量量皇曼曼曼曼喜 人工的方法进行多模态图像配准既劳力又费时，多模态图像的自动配准是人们一 直以来所追求的目标。本课题将对多模态图像配准技术中的关键部分图像预处理 和配准相似性度量( 配准准则) 进行研究。虽然目前的配准方法大多是针对特定的应用 领域而设计的，但是它们之间在理论方法上又具有很大的相似性，在某一领域的配准 技术很容易移植到其它相关领埘7 】，因此，本课题主要通过分析变电站红外热像仪图 像和相应的可见光图像的自动配准问题来为多模态图像配准技术做深入研究。 1 2 国内外研究动态 图像配准的概念最早是七十年代美国人在从事飞行器辅助导航系统、武器投射系 统制导以及寻地等应用研究中提出的。在军方的大力支持和赞助下，经过长达二十年 的研究，最终成功地应用于导弹发射，大大提高了导弹的命中率【8 1 。八十年代后配准 技术逐步从军事应用扩大到医学图像分析、遥感图像及目标跟踪等领域。到九十年代 中期，单模态图像配准问题已基本解决，多模态图像配准研究开始广泛展开。但由于 各种不同模态图像灰度之间存在着很大的差异，分辨率和噪声也不同，大大增加了配 准的难度；而且现有的各种配准方法一般是针对特定的应用背景而设计的，算法的鲁 棒性不够强，在速度和精度上往往不能同时兼顾，迫切需要一种通用性更强、更准确 可靠、更快速的方法。因此，多模态图像配准技术的研究仍旧是目前图像配准领域研 究的热门课题。 图像配准过程一般包括特征空间、搜索空间、相似性测度和搜索策略四部分f 9 】。 特征空问是指提取待配准图像的特征信息；搜索空间是指图像采取变换的方式及范 围；相似性测度是用来度量图像间相似程度的一种标准；搜索策略来决定下一步变换 的具体方式以及得到最优的变换参数【1 0 1 。 国内对图像配准技术的研究相对于国际来说起步较晚，尽管在遥感、多传感器的 图像配准与镶嵌技术方面已相当成熟，但这些技术主要是针对图像波段较接近、图像 特征较相近、较多事先已知的图像特征点且不需要实时配准的情况。军事或遥感图像 的内容一般都是整个场景，这样的图像中可能会有一些比较明显的能提供易于配准的 特征点的标志性物体，如坦克的边角、区域的边界等；而工业上的图像中有时可能很 难获取这样明显的特征点，因为图像内容往往只是场景目标的局部区域，所以对这样 情况下的图像配准又提出了新的困列】。自动配准技术的研究工作有待进一步深入研 究和提高。 根据变换的方式，多模态图像配准分为刚性配准和非刚性配准1 1 2 - 1 3 ，刚性配准是 2 济南大学硕i 学俯论文 假定不同条件下的成像不发生形变，只发生平移和旋转变换；非刚性配准要考虑物体 在成像过程中的形变因素，因此具有更大的挑战性，引起了学者的广泛关注。刚性配 准是非刚性配准的基础和前提，目前已有了解决方案，但是算法的准确率和速度还有 待提高，因此有必要继续对刚性配准做更深入的研究。 目前为止，国内外学者提出了很多配准方法，大致可分为基于图像特征的方法和 基于像素灰度的方法【l4 1 。基于图像特征的方法是极力寻找图像之间的标志点、面或轮 廓等特征之间的相关性，优点是提取了图像的显著特征，大大压缩了图像信息量，能 明显减小计算量，加快配准速度，且对图像灰度的变化具有鲁棒性，但是其配准效果 关键取决于特征提取的质量。基于像素狄度的方法是不需进行特征提取的，而是直接 利用全部像素的灰度信息来确立图像之问的相似性度量，精度高且能够实现自动配 准，但是计算量较大。 关于基于图像特征的方法，常用的图像特征包括点、曲线、曲面、边缘、轮廓、 矩不变量以及闭合区域重心等。俎栋林等提出一种基于轮廓特征的迭代最近点的配准 方法，将最优化解析方法与迭代搜索相结合来解决图像轮廓点的配准问题， c t - m r l ( c o m p u t e dt o m o g r a p h ya n dm a g n e t i cr e s o n a n c ei m a g i n g ) 和p e t - m r i ( p o s i t r o n e m i s s i o nt o m o g r a p h ya n dm a g n e t i cr e s o n a n c ei m a g i n g ) 图像的配准实验证明了该方法 的有效性【1 5 l 。彭文等结合基于特征点与曲线两种配准算法的优点，既保证了基于点配 准的精确性，又兼有基于曲线配准的鲁棒性，是一种有效的医学图像配准方法【l6 1 。吴 月娥使用薄板样条完成基于特征点的非刚性配准【1 丌，在医学图像配准方面取得了良好 的效果。 关于基于像素灰度的配准方法，其中最受欢迎的是来自信息论中的概念，包括 s h a n n o n - 巨_ 信息i 限例，r e n y i 熵f 2 0 】和t s a l l i s 熵川等等。传统的互信息方法有着明显的优 势：两幅图像中的狄度关系不需要任何假设，不需要人工干预，也不需要定义标记点 或特征点，而且具有很好的回溯性。但是，互信息作为一种统计型测度，它只考虑了 图像的全局统计信息而忽略了图像的空间位置信息，在图像差异的比较上尚存不足， 因此许多学者对其进行了改进，互信息及其各种改进形式【1 ，5 1 2 , 1 3 ，2 2 之6 】，因为准确性、 鲁棒性及普适性成为主流的配准技术。实际上，互信息是一种距离测度，表达的是两 幅图像之间的k u l l b a c k l e i b l e r ( k l ) 距离，k l 距离不满足距离定义的对称性和三角不 等式关系i 明，因此其它的距离测度被提出来描述图像之间的相似性，比如 c a u c h y - s c h w a r ( c s ) 1 2 7 1 ，算术几何均值( a g ) 【2 引，m i n k o w s k i t 2 9 1 等广义距离，为多 3 荩二i 二集成准则的多模态图像配准 模态图像配准新测度的研究提供了一种思路。上述方法及其改进形式都是利用两幅图 像之间的灰度统计概率属性，例如两幅图像中每个灰度级的概率分布n ，n 以及两幅 图像灰度之间的联合概率分布b 口。与此相比，另一类配准方法不需要事先建立概率 模型，像对齐度准则( a m ) 和划分强度一致性准则( p i u ) f 3 l 】，与图像间的灰度差异和 直方图差异无关，不需要定义特征点，而且对噪声不敏感。但是由于p i u 测度忽略了 像素灰度值之间的相关性，有时会对配准结果产生严重影响。目前提出来了许多基于 p i u 的改进形式6 , 3 2 - 3 3 1 和基于a m 的一系列配准方法【3 4 。7 1 ，p 一类测度在医学图像配 准方面取得了成效，计算速度和抑制噪声能力比s h a n n o n 互信息提高了很多。基于a m 的配准方法应用于医学图像配准和红外图像与可见光图像配准，验证了算法的精确 性、有效性和鲁棒性。 各种图像配准技术都会存在优缺点，为了更好的改善配准效果，近年来部分学者 转向了一条新的道路混合配准，如文献【3 8 】将配准过程分成粗配准和精配准两部 分，在每部分中分别采用不同的方法来提高配准效果，在粗配准阶段采用方差和准则 来改进配准的鲁棒性，在精配准阶段采用互信息准则以确保配准的精确性。再如文献 3 9 ，采用两种分别基于r e n y i 熵和t s a l l i s h a v r d a c h a r v a 熵的归一化j e i l s e i l 方差测度的 方法来进行刚性配准，其中一个测度相当于我们通常指的边缘熵，另一个测度相当于 联合熵，这两个测度可以看成是互信息和归一化互信息的扩展，用各种模态图像进行 配准实验，结果显示其配准效果在鲁棒性和准确性方面要优于归一化互信息。此外文 献 4 0 4 3 也介绍了多种方法结合来进行多模态图像配准的情况。但是目前为止，很少 见到学者充分利用多种现有算法同时来进行集成配准，并使得最终的配准结果比单独 使用其中任何一种的方法要好。所以结合多种现有算法寻找某些准则来完成集成配准 是个值得研究的问题。 1 3 主要内容、创新点 本课题主要研究多模态图像自动配准技术中的图像预处理和配准准则两个关键 环节。课题组在进行变电站巡检机器人设备状态监测的研究中，为了准确定位有关设 备的位置信息，同时发现温度异常的设备，需要将绑定在机器人身上的可见光摄像头 和红外热像仪所获得的图像进行配准，这是一个典型的多模态图像配准问题。 图像预处理，其目的是使得不同模态的图像能够在外观上尽可能地相似或达到模 念一致，以方便配准。通过比较分析两种图像，课题组对红外热像仪图像进行灰度化、 分辨率调整和负像化等操作，同时对可见光图像进行灰度化操作，之后，两种图像在 4 济南大学硕t 学化论文 外观上看起束确实相近了很多，几乎达到了模态一致。 配准准则的研究，其目的是在研究现有配准算法的基础上力求寻找到一个新的配 准准则，为多模态图像自动配准技术提供一个新的解决思路。首先研究了几种常用的 配准准则，分别将它们用于配准红外热像仪图像和可见光图像，并以最大化对齐度和 最大化归一化互信息两种常用的算法为例，详细介绍了多模态图像配准的流程，实验 结果表明前者的配准效果要优于后者，同时发现这两种方法的配准结果均与红外热像 仪图像的正负像无关，并从理论上证明了这一结论的正确性。然后在图像预处理的基 础上，通过引入图像边缘检测和均衡化两个操作，形成了分别基于对齐度和归一化互 信息的直接配准、边缘检测后配准和均衡化后配准共六种配准方法，实验结果分析发 现，这六种方法的配准结果之间具有良好的互补性。因此综合利用这六种配准算法， 利用提出的两种集成准则来进行集成多模态图像自动配准，实验结果证明，该集成配 准方法的准确性要明显高于这六种方法中的任何一种单独方法的配准准确性。 本课题的主要创新之处如下： 1 图像预处理阶段，为了使红外热像仪图像和相应的可见光图像在外观上尽可 能的相近，需要将红外热像仪图像进行负像化处理。然而，大量实验分析发现对齐度 和归一化互信息配准算法均与红外热像仪图像的正负像无关，即可见光图像与相应的 红外热像仪图像正像和负像的配准结果相同，并从理论上证明了这一结论的正确性。 因此，实际配准可以省略图像负像化这一环节，这对于提高基于对齐度和归一化互信 息的一系列配准算法的计算效率具有重要的实际意义和理论意义。 2 在研究基于对齐度和归一化互信息配准算法的红外热像仪图像和相应的可见 光图像的配准问题中，图像预处理阶段又引入图像边缘检测和均衡化两个操作，最终 形成直接配准、边缘检测后配准和均衡化后配准共六种配准方法，综合利用基于这两 种算法的六种配准方法的互补性，提出了一种基于集成准则的多模态图像自动配准技 术。集成准则包括基于可信度的加权准则和集中准则两个方面。实验表明，新的集成 准则配准的准确率要高于单独使用这六种方法中任何一种方法的准确率，大大改善了 图像配准的效果，减少了人工干预，并且为多模态图像自动配准技术的研究提供了一 个新思路。 1 4 论文的组织结构 论文从结构上分为五个部分： 第一章是引言。介绍了课题研究的背景和意义，概述了国内外的研究动态，综述 s 基于集成准则的多模态图像配准 皇量曼鼍曼曼曼曼曼曼曼曼曼曼曼曼曼皇曼皇曼曼鼍曼曼曼舅皇曼寰曼曼皇曼曼曼曼曼! i 曼曼鼍曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼皇皇曼曼曼曼舅舅 了本课题的研究内容、创新点和章节安排。 第二章是图像配准和多模态图像配准算法。介绍了图像配准原理、流程及常见的 几种多模态图像配准算法的原理和特点。 第三章是红外热像仪图像和可见光图像的配准。针对红外热像仪图像与可见光图 像的特性，首先介绍了图像预处理阶段所需采用的预处理技术，然后分别详细介绍了 常用的最大化对齐度和最大化归一化互信息配准方法的具体流程，对实验结果进行了 分析，并从理论上证明了这两种方法的配准结果均与红外热像仪图像的正负像无关， 最后简单介绍了其它一些配准算法的配准效果。 第四章是基于集成准则的多模态图像配准。重点介绍提出的一种用于多模态图像 自动配准的集成准则。详细介绍了集成准则的发现基础、改进过程和具体内容，同时 介绍了能很好揭示整个配准过程中相应的相似性测度结果值所构成的背投图的概念。 然后介绍了基于对齐度和归一化互信息算法的六种配准方法，并对实验结果进行了分 析比较，新的集成准则配准的准确率要明显高于单独使用参与集成配准的其中任何一 种方法的配准准确率，提高了系统自动识别正确配准结果的能力和配准的精度。 第五章是总结。回顾了本课题的主要研究内容及成果，并对不足之处和以后要进 一步研究的工作进行了分析展望。 6 济雨大学坝i j 学位论文 _i ii ii i i_ ii i 第二章图像配准和多模态图像配准方法 2 1 图像配准原理 图像配准是使不同图像之间在灰度分布和空间坐标位置上达到一致，是一种双重 映射变换f 删： j ：( x ，) ，) = g ( i ，( 厂g ，y ) ) ) ( 2 1 ) 其中，i i g ，y ) 代表浮动图像，即图像配准过程中需要进行变换的图像，1 2 g ，少) 代 表参考图像，即图像配准过程中保持不动的图像，厂代表二维空间坐标变换，g 代表 一维灰度变换。图像配准也称为图像的广义匹配，是以某个配准准则( 相似性测度) 为 依据来寻找最佳的灰度和空间坐标变换。例如( 2 1 ) 式中的配准准则可以表示为寻找某 个合适的厂和g ，使得( 2 2 ) 式所代表的距离度量最小。 d 。m = i | ，：g ，j ，) 一g ( ，。( 厂( x ，y ) ) 1 1 2 ( 2 2 ) 但是以上这个定义是狭隘的，在实际配准的大多数情况下，图像配准并不是通过 一个或多个变换操作来达到两幅图像内容的相等，而且事实上配准的两幅图像既不需 要也常常难于达到完全相掣矧。 因此，图像配准的概念确切地表示为：将从不同条件下( 时问，视角，光照和成 像模式) 获得的同一场景的两幅或多幅图像进行某些变换，使得图像的内容最终能够 达到拓扑上的相对应以及几何上的相对齐。 2 2 图像配准流程 图像配准的一般步骤包括四部分：图像预处理，对于多模态图像配准很重要；确 定空间变换，并求得其中一幅图像经变换后两幅图像之间的相似性测度值；采取某种 搜索策略，通过不断变换参数得到最优的相似性测度值；确定变换参数后，实现图像 间各个相应点位置的对齐。图2 1 显示了图像配准的基本流程。 本课题主要研究的是多模态图像配准技术中的图像预处理和相似性测度( 配准准 则) 这两方面。由于不同模态的图像在灰度属性、分辨率、角度等方面存在差异，使 得图像预处理成为多模态图像配准技术的必要前提。通常采用的预处理除了包括图像 灰度化、分辨率调整、负像化等操作外，有时在基于图像特征的配准技术中还可能包 括特征提取；而相似性测度是衡量两幅或多幅多模态图像之问是否对齐的标准，本课 题研究的主要目的就是力求能寻找到一个新的有效的相似性测度或者能为多模念图 像自动配准的研究提供一个新的思路。 7 慕于集成准则的多模态图像配准 曼曼曼曼曼曼曼蔓曼曼曼曼曼曼曼曼曼曼皇曼l mimmml mm l 曼曼曼曼曼曼! 舅! 舅曼寰曼皇曼皇曼曼曼曼量曼曼曼皇曼曼曼量曼曼曼曼! 量 图像预处理 上 经某种空间变换后两幅图 像问的相似性测度值 上 采取某种搜索策略，得剑最 优的相似性测度值 上 由确定后的变换