图像识别匹配技术原理

1、第1章 1.1研究背景及意义数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。数字图像处理 (Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影

2、响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。图像配准(Image registration)的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。简单，但应用范围较窄，不能

3、直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度相似度检测匹配法、交互信息法。I方法的区别在于前者没有提取图像特征的步骤，直接对图像中的灰度进行处理。敏感。灰度相关的配准方法是从待拼接图像的灰度值出发,图像拼接故而成为灰度相关的配准算法的一个基础。图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、用价值。种技术，对于图像处理技术发展及应用具有重要意义。1.2图像配准方法概述换参数：最

4、后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，和准确性的特征提取方法，对于匹配精度至关重要。图像中的一张图像作为参考图像，将其它的相关图像与之配准，其是任，所有的图像相对于这个网格来进行配如何确定配准控制RCP 。 RCP 的方法和图像配准中利用的图像信息区别可将II图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原理。1.3研究现状国外从 20 世纪 60 年代就开始在图像配准领域进行研究，但直到 1980 年代 1990 1990 年代

5、初才开始涉足此领域。与灰度相关的图像配准算法是图像配准算法中比较经典的一种，很多配准技术都以它为基础进行延伸和扩展。和模拟多光谱图像进行了试验结果显示该课题提出具有算法简单和配准精度高的特点。这是与灰度相关图像配准算法有关的一个扩展应用。1.4研究问题及内容放以及旋转。同时通过在Matlab编程环境下编程实现相关算法，通过实际图像的配准试验，利用这些结论最终得到精确地配准结果。III第2章 2.1图像配准的基本介绍2.1.1 图像配准的描述的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域下，以供融合使用。2.1.2 图像配准的定义对于二维图像配准可定义为两幅图像在空间和灰

6、度上的映射 ，如果给定尺4寸的二维矩阵 1和 2代表两幅图像， , )和 , )分别表示相应位置FFF X YF X Y(X,Y)F2(X,Y)G(FH(X,Y,式中H 表示一个二维空间坐标变换，即(X ,Y) H(X,Y)，且G 是一维灰度变换。2.1.3 图像配准的步骤定义一个坐标系F(X,Y)，然后再定义这些参考特征之间的失调或相似函数；第三步是应用优化算法，使第二步中失调（相似）函数达到全局最小（最大）值，不同配准算法的差异所在。2.2图像配准的相关概念2.2.1 配准基准内部基准的配准 ，外部基准是指强加于待配准对象的各种人造标记，这些标记5到的位置相对固定且图像特征明晰的各种配准标

7、识。12.2.2 映射变换与配准区域设 f1和 f2表示两幅待匹配的图像，Ix) Ix,y)和I2(x) I2(x,y)分别 ( , )和 ( , )分别表示在图像 1和 2x x y x yxDD中的像素坐标。图像匹配就是要找到一个把图像f1映射到图像 f2的变换M(x)U(x,y),V(x,y),使得变换后的图像I3(M(x)和I2(x)具有几何对应性。于局部变换。2.2.3 配准的交互性与优化者须初始化算法，如分割数据，另一种是指导算法，如拒绝或接受配准假设。使相似函数达到最优。目前应用比较广泛的方法有Powell的方法、Downhill Simplex方法、的方法以及一系列一维搜索算法

8、、Levenberg-Marquardt最优化算法、Newton-Raphson迭代算法、stochastic搜索算法、梯度下降法(gradient descent methods)、遗传算法(genetic methods)、模拟退火法(simulated annealing)，粒子群算法(particeswormantgeometric 速度慢的算法。22.2.4 图像成像模式与配准方法的分类有单模式和多模式等，单模(monomodality)图像配准是指待配准的两幅图像是同一种成像设备获取的。多模 (multimodality)图像配准6是指待配准的两幅图程度。主要特点是实现简单，但应用

9、范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人(1) 互相关法对于同一物体由于各种图像获取条件的差异或物体自身发生的空间位置的改变而产生的单模图像配准问题常常应用互相关法。在互相关法中互相关值的大小反映了配准的效果。互相关法的思路是找出使各图像之间相关性最大的空间变换参数来实现图像的配准。该方法通过优化两幅图像间的相似性测度来估计空间变换参数（刚体的平移和旋转参数） ，采用的相似性测度可以是多种多样的，例如相关系数，差值的平方和及相关函数等。其中最经典的相似性测度是归一化的相关系数(correlation coefficient ,

10、CC)，即：(2.1), 式中， F 为模板图像， F f， f 为图像 F 的灰度； G 为与 F 有相同大N1n1nn3 小的目标图像 G g，g 为图像 的灰度； f 和 分别为图像 和 灰G Gg FN1nnn1度的均方值。由于要对每种变换参数可能的取值都要计算一次相似性测度，互相关法的计算量比较庞大，因此近年来发展了快速搜索算法，例如，用相位相关傅立叶法估算平移和旋转参数；用遗传算法和模拟退火技术减少搜索时间和克服局部极值问题。性法主要局限于单模图像配准 。对于条件不好或曲线不完全闭合的图像配准，7Kaneko 等提出了一种选择性相关系数法 (selective correlatio

11、n coefficient，即)，SCC实际上是CC的扩展，SCC在每次为其计算时间仅仅依靠两幅图像SCC灰度的比较过程，故其代价非常小甚至可以忽略不计。(2) 最大互信息法(Maximization of Mutual Information)以作为图像配准准则。基于最大互信息 8最大，最终实现配准。互信息(Mutual Information,)是信息论中的一个测度，用于描述两个变量定性。变量 A 的熵定义为：( )log ( ),P a(2.2)AAP a bH(,B) P (a,b).log ( , ),(2.3)ABABa,b将待配准的两幅医学图像定义为浮动图像 A 和参考图像 图像

12、灰度的两个随机变量集。设它们的边缘概率分布分别为(a)、PBb)，联合概率分布 PAB(a,b)，则它们的互信息 MI(,B)为：4(2.4),当两幅图像的空间位置达到一致时，其中一幅图像表达另一幅图像的信息， Shannon 熵的方法做为归一化的互信息，例如Studholme提出了归一化互信息测度(nrimalized mutualinformation,):NMI（2.5）,方法的关键技术是二维离散小波分解。设在 x,y 平面内的二维图像,基于二维离散小波变换的图像分解是将该原始图像在某一尺度上分别在x,y5部分用 表示，高频部分用 表示。HLx方向和 方向的离散小波变换后分解为 4 个y

13、x方向和y方向都是高频子图像( , ),在x y方 向是高频子图像 fLH(xi,yi) 和在 x 方向是高频 y 方向是低频的子图像fHL(xi,yi)对于二维正交小波变换有其快速算法-Mallat 算法，它把小波变换的计算问题转化为小波变换后系数的计算问题：在实际操作中，给出 1尺度层上的离M散采样值m n , )数据，要计算 尺度层上的小波变换系数，即分解算法M速度。2.3灰度相关的配准方法相似度检测匹配法、交互信息法。互相关法是最基本的基于灰度统计的图像配准9配准图像中的位置。序贯相似度检测匹配法(Sequential Similarity Detection Algorithms，S

14、SDA)是由Barnea等人提出来的。SSDA方法的最主要的特点是处理速度快。该方法先选择一个简单的固定门限 T大于该固定门限T ，就认为当前点不是匹配点，从而终止当前的残差和的计算，过程计算量的目的。6交互信息法最初是 等人于1995年把交互信息引入到图像配准的领域的配准问题。立，用统计特征10概率密度函数来描述图像的统计性质。交互信息是两个随机变量 和 A B重叠区域，由此函数可能出现病态，且有大量的局部极值。本文接下来将要陈述灰度相关的几种配准方法，大致可分为：线匹配法、比旋转这种情况是本文的核心。7第3章 3.1线匹配法基本介绍及原理匹配算法 11速度。3.2线性变换图像匹配模型令待匹

15、配的两幅二维图像为F 和G，两幅图像中任意一对匹配点的坐标满足线性变换关系。令图像G中某一坐标为X x,y ，它与图像F 中的坐标Y 对应T(X,Y R )T 表示转置运算。坐标X 与Y 之间存在一个偏移量T ，21定义如下： a a x a yT X a,(3.1)123a a xa y4561, , ,0,0,0 x yX ,(3.2)(3.3)0,0,0,1,x,ya a ,a ,a ,a ,a ,aT123456因此坐标变换可以表示为Y X T 即像素G(X)与F(X T)对应。,3.3线匹配法具体的算法实现匹配问题，本文针对图像的平移、旋转、尺度变换等整体匹配，提出一种带 6个参数的

16、坐标线性变换图像匹配新模型，该模型将匹配误差定义为图像整体误差，通过最小化误差函数确定参数迭代增量，由迭代法求得最佳线性变换参数。略及具体实现方法。（1）误差函数及参数求解算法图像匹配的误差函数定义为：E F(X T)G(X)，(3.4)2R该公式中领域 与图像 的分辨率一致。这种领域设置与光流模型的领域设RGa，它决定各像素的偏移量T 为建立迭代求解模型，引入增量 ，代入式(3.1)得到a0T ，新的模型如下：aR ,T R ,(3.5)(3.6)6121E F(X T T)G(X)2R为求解增量 函数一阶aaF泰勒展开：F(X T T) F(X T)F(X T)T(3.7)上式中点号表示积

17、。将(3.7)代入(3.6)，对 求偏导，并令偏导为零，则得a到下式： T T T (X FX F a (G(X)F(X TX F(3.8)TXRXR T上式中F表示F (X T) F 中坐标 X+T 处得灰度梯度近似。X F T Ta只需对方程(3.8)乘以 (X F X F)( ) 的逆矩阵即可。TXR（2）迭代方法求解变换参数求解图像 与图像 间的匹配，可以用增量迭代法计算变换参数a向量，算GF法如下：初始化a向量为零向量；按式(3.8)计算参数增量a；更新参数a:aaa；如果a的二范数小于某一阈值，则表示迭代收敛，程序退出；若大于该阈9n次迭代 的二范数之和小于某一阈值，an的典型取值

18、为 3。3.4实验结果和分析首先利用配准图像库中的图像，生成具有不同相对位移的子图像；平移配准参数可以在程序中进行调整，图3.1 及图 3.2 为配准参数为rx112,cy 112 生时成一对尺寸为 400400 的两幅图像。图 图 图 3.3 及图 3.4 为配准参数为rx224;cy 224 生成尺寸为 288288 的两时幅图像。10图 图 图 3.5 及图 3.6 为配准参数为 56生成尺寸为 456456 的两幅图像。11图 图 图3.7为采用线模板匹配方法的实验结果。黑色线段表示选取的线模板，连线表示线段两端点为匹配点对。12图由实验可知，线模板匹配是在参考图像中选定一行上取出部分

19、像素的灰度值，在搜索图中搜索最佳匹配。线匹配法的优点是精确直观，缺点是操作复杂，光照的影响，不能实现图像旋转和缩放情况下的配准，故而存在一定的局限性，适用性不强。13第4章 4.1比值匹配法基本介绍及原理比值匹配法12算法思路是利用图像中两列上的部分像素的比值作为模板，即在参考图像(a)的重叠区域中分别在两列上取出部分像素，用它们的比值作为b)b)至右依次从间距相同的两列上取出部分像素，并逐一计算其对应像素值比值;然比较中只利用了一组数据，而这组数据利用了两列像素及其所包含的信息。图 4.1 为图像模板选取示意图，其中，图1 (a)为W H)像素的图像，图11b)为W H)像素的图像，W 和W

20、 可相等，也可不等。图 1(a)和图 1b)为左212右重叠关系，图 1(a)在图 1b)的左边。j j+spanj j+span(a) W H)b) W H)12图 在图 4.1(a)的重叠区域选取间隔为 span 的 2 列像素（第 j列和第 jspana 为模板。a(i) P(i, j)/ P(i,( jspan)(4.1)11式中，iH)， j为选定的列。在图 4.1(b)中从第 1 列开始依次取间隔为 span 的 2 列，计算其对应像素的比值，即为b 模板。b(i, j) P (i, j)/ P (i, j)(4.2)2122计算 a 模板与 b 模板差值，即为 c 模板，函数表达

21、式为：14c(i, j) (a(i, j)/b(i, j)2式中， )，j(1,W span)。 对应的列向量求得到 。（4.3）iHcc2Hsum(j) c i j ( , )（4.4）i1sum(j)的大小就反映图 1 所示图像选定像素对应列的差异，( )的最小值 jsummin对应的列坐标Collable 即为最佳匹配。min4.2比值匹配法具体的算法实现该算法的具体实现步骤如下：(1) 在参考图像( )中间隔为c个像素的距离上的两列像素中，各取m个像a素，计算这m个像素的比值，将m个比值存入数组中，将其作为比较的模板。(2) 从搜索图b)中在同样相隔c个像素的距离上的两列，各取出mn个

22、像素，计算其比值，将mn个比值存入数组。假定垂直错开距离不超过n个像素，多取的n个像素则可以解决图像垂直方向上的交错问题。(3) 利用参考图像(a)中的比值模板在搜索图b)中寻找相应的匹配。首先进行垂直方向上的比较，即记录下搜索图b)中每个比值数组内的最佳匹配。再将全局最佳匹配队应的组内最佳匹配即为图像间垂直方向上的偏移距离。本算法的思路是在第 1 幅图像的重叠区域中分别在 2 列取出部分像素，用 2 幅图像中由左至右依次从间距相同 2 列取出部分像小差值所对应的列就是最佳匹配。4.3实验结果和分析比不同之处是通过不同亮度的调节可检测到配准参数，由此可以看出它们的区别。比值匹配是利用两条线段的

23、比值进行匹配。灰度比值匹配法较线匹配法多了一项光照对平移参数的影响，下面我们以平移参数为主，着重研究输入图像存在15亮度差异时，仿真图像配准的实验效果。图 4.2 为待配准图像与参考图像之间存在亮度差异为时的配准效果图。图图图图图16由图 4.2-图 4.4 可以看出灰度比值匹配的优缺点如下：(1)比值匹配法的优点:a.算法思路清晰简单，容易理解，实现起来比较方便。b.匹配计算的时候，计算量小，速度快。(2) 比值匹配法的缺点:索图( )中由左至右依次从间距相同的两列上取出部分像素，计算其对应像素的b比值，然后将这些比值依次与模版进行比较，好像是利用了搜索图b)中的重叠区域的大部分图像信息，但

24、在参考图像(a)中，只是任意选择了两条特征线，没有充分利用到参考图像( )的重叠区域的特征信息。ab.对图片的采集提出了较高的要求。此算法对照片先进行垂直方向上的比模版的差别就不大，这样有很多匹配点，很容易造成误匹配。c.不易对两条特征线以及特征线之间的距离进行确定。算法中在参考图像(a)的重叠区域中取出两列像素上的部分像素，并没有给出选择的限制。然而在的过大，则不能充分利用重叠区域的图像信息。选择的过小，则计算量太大。17第5章 5.1块匹配法基本介绍及原理块匹配法13是指将待配准图像的正方形区域的像素的集合作为模板。块匹相似的匹配块，这种算法精度较高，但计算量过大。灰度信息包含了最大量的图像信息，而边缘信息则反映了图像内在的性质， 中可获得17更加可靠的稳定性。因此我们以图像的边缘为特征寻找基准块。方误差(MSE)(SAD)(SSE)、绝对变化误差和(SATD)(MSE)和平均绝对误差，如方程(1)和(2)。其中N 为块边长像素数（为方便搜索块一般划分为正方形），和分别为当前宏块和参考宏块相应像素的灰度。1N1N1 ( )C R 2 ，5.1）N2i0 j01N1N1 C R ，（5.2）N2i0 j0