基于主成分分析的图像匹配方法研究_蒋明

1、第29卷第4期红外与激光工程2000年8月Vol.29No.4Infrared and Laser EngineeringAug.2000文章编号:1007-2276(200004-0017-05基于主成分分析的图像匹配方法研究蒋明,张桂林,胡若澜,陈朝阳(华中理工大学图像识别及人工智能研究所图像信息处理与智能控制教育部重点实验室,武汉430074摘要:景像匹配和相关跟踪系统中,由于所面临的都是变化的场景,实时获取的图像与预存的基准图之间存在差异。传统的基于图像空间的匹配方法不能很好地克服这些差异给图像匹配定位带来的影响,使得完全按图像灰度特征的相关匹配应用受到限制。文中将主成分分析方法引入图

2、像匹配和相关跟踪过程中,提出一种能抗御一定图像畸变的基于主成分分析的图像匹配算法,并应用该方法进行了初步实验,证明该算法具有较高的匹配跟踪鲁棒性。关键词:图像匹配;特征值;主成分分析;畸变图;实时图中图分类号:TP391.4文献标识码:AResearch of an image matching methodbased on principal component analysisJiang Ming,Zhang Guilin,Hu Ruolan,Chen Zhaoyang(State Education Commiss ion Key Laboratory for Image Proces

3、sing and Intelligent Control,Institute for Pattern R ecognition and Artifical Intelligence of Huazhong Univ.of Sci.&Tech.,Wuhan,China,430074Abstract:In scene-matching and correlative tracking systems,scenes change incessantly,so there is dif-ference between real time images and reference images

4、which are stored in advance.Traditional matching meth-ods based on grey characteristics can not favorably cope with such differ ence brought about by scenic changes,limiting the applications of correlative matching based on grey characteristics.The method of putting principal component analysis into

5、 image matching and correlative tracking is introduced,and an image matching algo-rithm based on principal component analysis is pr oposed,which can bear some image distortions in image matching and tracking.Then the experimental results are presented to verify the r obustness of this image matching

6、 method.Keywords:Image matching;Eigenvalue;Principal component analysis;Distorted image;Real time image收稿日期:2000-03-17作者简介:蒋明(1975-,男,硕士,从事图像处理、模式识别、智能系统及多媒体应用等方面的研究工作。1引言图像匹配是根据已知的图像模式,在另一幅图像中寻找相应或相近模式的过程。相关匹配是模式识别中的一个重要方法,识别就是待识别物体与已知标准样本的匹配过程。完全相同的两幅图像的匹配是没有实际意义的。在景像匹配和相关跟踪系统中,所面临的都是变化的场景,与预存的基准图

7、之间存在差异。这种差异主要表现在图像尺度、方向、部分场景内容变化以及噪声干扰等。这些都给相关匹配定位带来影响,特别是航空遥感地面图像,由于地物特征复杂,变化因素很多,使得完全按图像灰度特征的相关匹配应用受到限制13。人脸作为一个特殊的场景,脸像会受年龄、心情、拍摄角度、光照条件、发饰等因素影响,所成图像存在差异。人具备良好的抗畸变识别能力。研究表明,基于主成分(或特征脸的识别方法,也具备良好的抗畸变识别能力46,是人识别能力的一种较好的模拟,受到国内外许多学者的重视,广泛用于人脸识别、检测和图像相似性度量等领域。文中将主成分分析方法引入景像匹配和相关跟踪过程中,提出一种能抗御一定图像畸变的基于

8、主成分的图像匹配方法,并进行了初步实验。2基于主成分分析的图像匹配算法主成分分析是指当变量之间存在一定的相关关系时,将原始变量线性组合,构成为数较少的不相关的新变量代替原始变量,而每个新变量都包含尽量多的原始变量信息的过程。新的变量叫作原始变量的主成分(或特征向量。为了克服图像畸变对匹配的影响,运用主成分分析方法,将图像变换到新的主成分空间,提取图像的整体特征,并在主成分空间中进行相关匹配。2.1制备畸变图集事先考虑了实际图像的各种可能变化,将参考图生成包含尺度、方向、部分场景内容变化以及噪声干扰等一系列畸变图像,称之为畸变图集。畸变图的大小和参考图的大小一样。需要说明的是,文中参考图是小图,

9、实时图是大图。2.2应用主成分分析方法对畸变图集进行训练,由图像空间变换到新的主成分空间以畸变图像集作为训练样本集。假设训练样本图像集合为:f1(x,y,f2(x,y,f M(x,y,每一个训练样本图的大小为N=w×h,可以用w×h维的向量x=(x1,x2,x NT来表示(即把原图像按行连到一起构成w×h维向量。它也可看作w×h维空间的一个点,称此空间为原始图像空间S。训练样本图在结构上有很大的相似性的,因而所有的训练样本不会充满在w×h维的空间上,它们将会聚集在图像空间的一个相对狭小子空间内(见图1 。图1训练样本在原始图像空间中的聚集Fig

10、.1A set of trained i mages in original image s pace如果以训练图集的总体协方差矩阵为主成分分析的产生矩阵,则所有训练图像的总体协方差矩阵为:S T=E(x-(x-T=1MMk=1(x k-(x k-T=1MMn=1nT n=AA T(1式中A=1,2,M;R N全体训练图像的均值。S T满足下面的方程:S T U k=k U k,式中U T -k U n=1k=n0kn(2式中U k矩阵S T的特征向量;k对应的特征值。根据主成分分析理论,得到一个从原始图像空间到新特征空间的线性变换:y k =W T x k ,k =1,2,M(3W T R

11、P ×N 是由S T 的特征向量构成的变换矩阵。 但是,直接求矩阵S T 的特征值和特征向量很困难4。如果训练图像个数M 不太多,可以先计算出M ×M 维矩阵L =A T A 的特征值k 和特征向量V k 。因为:A T AV k =k V k(4公式(4左边乘矩阵A ,得:AA T (AV k =k (AV k (5那么U k =AV k 就是矩阵S T 的特征向量。U k =Ml =1V kl l k =1,2,M(6k =1MMl =1(U T kl 2k =1,2,M (7式中U k 主成分空间的基。根据主成分分析,可以选择P (P M 个较大特征值对应的特征向量(

12、主成分,构造新的P 维主成分空间Q 。每一幅图像在此空间的投影对应一个P 维向量(y 1,y 2,y P T,它们就是低维新特征向量(主成分,包含了用于匹配的信息。2.3从实时图选取各个子图,并将选取的各个子图变换到主成分空间设实时图的大小为W ×H ,选取的各个子图与训练图像大小一样,为w ×h =N 。记选取子图表示成向量形式为R (i ,j (i =0,1,2,H -h +1;j =0,1,2,W -w +1,见图2。求得选取的子图的差图像向量为:i j =R (i ,j -(i =0,1,2,H -h +1;j =0,1,2,W -w +1(8式中全体训练图像的均值

13、。然后,将选取的各个子图向由“主成分”所张成的P 维主成分空间上投影,其坐标系数为:图2从实时图选取子图Fig .2A selected s mall i m -age in a real -ti meimage图3训练图在主成分空间的投影Fig .3The coordinates of trained im -ages in the principal co mpo -nent spac eS ij =W T i j(i =0,1,2,H -h +1;j =0,1,2,W -w +1(9这些坐标系数表明了各个选取的子图在主成分空间中的位置。每一幅子图在主成分空间Q 上的投影位于主成分空间的不

14、同区域内,见图3,从而可以作为以下匹配的依据。2.4在主成分空间应用欧氏距离法作为相似性评估标准确定匹配定位位置欧氏距离法只用考察S ij (i =0,1,2,H -h +1;j =0,1,2,W -w +1,到主成分空间中原点的欧氏距离:D ij =p -1k =0S ij (k ×S i j (k 1/2(i =0,1,2,H -h +1;j =0,1,2,W -w +1(10假设实时图一定包含参考图,则只要求得在主成分空间离原点最近的D ij 就可以确定出匹配定位位置,见图3,如果:D xy =min D ij ,(i =0,1,2,H -h +1;j =0,1,2,W -w

15、+1(11则(x ,y 就是所求的匹配定位位置。3实验结果 3.1图像参数以实际的地形图在PIII /450微机上进行实验。实时图尺寸为128×128,匹配模板的尺寸为32×32,图像灰级为0255。以图4(a 作为参考图,它是从图4(b 中选取的子图。其左上角在图4(b 的坐标为(44,27,如图4所示。以图4(c 作为实时图像,它是图4(b 在理想匹配定位位置附近发生部分场景变化的结果。图4(c 与图4(b 的归一化互相关系数为0.8944。 (a (b (c 图4参考图和实时图Fig .4The reference image and real time i mage

16、3.2归一化互相关匹配实验结果 选取图4(a 作为匹配模板,选取图4(c 作为实时图。归一化互相关匹配的结果如图5(b 所示,矩形框表示匹配定位位置。实际匹配定位位置的左上角坐标:(20,85,正确匹配定位位置的左上角坐标:(44,27,匹配误差(偏移量7:62.77(像素。 (a (b 图5归一化互相关匹配实验结果Fi g .5An experimental resul t with normalized correlativematching3.3基于主成分分析方法的图像匹配结果图6训练图像集Fig .6Trained i mage sets选取图6的7幅图像作为训练图像集,它们是图4(a

17、 加噪、模糊等畸变处理的结果。图7是训练后得到的7个特征像,它们按特征值从大到小从左到右排列,选取前5个特征像构造主成分空间。实时图与归一化互相关匹配实验所用图像完全一样,如图4(c 所示。基于主成分分析方法的图像匹配结果如图8(a 所示,矩形框表示匹配定位位置。实际匹配定位位置的左上角坐标:(44,27,正确匹配定位位置的左上角坐标:(44,27,匹配误差(偏移量:0(像素。图7特征图像集Fig .7Eigen image sets(a (b 图8两种匹配方法的结果比较(a 基于主成分分析的匹配结果(b 归一化互相关匹配的结果Fig .8A comparison of two matchin

18、g methods with experi mental res ults(a M atching result with principal component analysis (b M atching result with normalized correlative matching3.4结果分析通过两种匹配方法的结果比较,如图8所示,说明传统的基于灰度的归一化互相关匹配方法不能很好地克服部分场景变化的影响,而文中提出的新方法具有更好地抗畸变匹配能力。归一化互相关匹配方法只选取某一幅图像作为参考图,而文中的方法充分考虑到实时图像可能发生的各种局部畸变,事先在一定的范围内对参考图做了相

19、应变化,提取可能变化图像集合的主成分。运用主成分图像(特征图像进行匹配,实时图中真实匹配子区部分场景变化,不足以影响其向主成分空间投影位置时,仍能保证匹配定位的精度。4结论实验证明,在一定的场合,基于主成分分析的图像匹配方法比传统的归一化互相关匹配方法具有更好的鲁棒性,能较好地克服由于图像尺度、方向、部分场景内容变化以及噪声干扰等的影响,这种抗畸变能力是图像匹配算法设计者所期盼的。这种新的匹配方法的最终运用将有效地解决制导武器参考图制备过程中对拍摄图像的苛刻要求,提高制导武器的适应能力。文中提出了基于主成分分析的图像匹配方法并利用该方法进行了初步的实验,只是从一定程度上证明基于主成分分析的图像

20、匹配方法的可行性和鲁棒性。下一步的工作将针对主成分的选取、主成分相似性评估标准和快速算法作更加深入地探讨。参考文献1陈朝阳,张桂林,陈益新,等.实时多目标成像跟踪处理系统研究J.红外与激光工程,1998,27(3:682熊惠霖,张天序,桑农,等.基于小波多尺度表示的图像匹配研究J.红外与激光工程,1999,28(3:143Dinkar N.Bhat,Shree.Nayar.Ordinal Meas ures for Image Corre-spondenceJ.IEEE Trans.Pattern Analysis and M achine Intelli-gence,1998,20(4:4154234B.V.K.Vij ia ya Kumar,Cas as ent D,Murakami H.Principal-Component Imagery for Statistical Pattern Recogniti on CorrelatorsJ.Optical Engineering,1982,21(1:43475Zhu Jie,Yu Y L.Face R ecognition w