第六章-最小二乘影像匹配

华北水利水电学院数字摄影测量DigitalPhotogrammetry第六章最小二乘影像匹配回顾[一]数字影像匹配基本算法（重点）常见的五种基本匹配算法五种相似性测度都没有考虑几何变形；协方差函数C考虑了部分灰度变形（常量b）；相关系数ρ考虑了线性灰度畸变(ay+b)；效果优劣依次：ρ，C，S2，S，R；（1）相关函数（2）协方差函数

（3）相关系数（4）差平方和（5）差绝对值和第六章最小二乘影像匹配LeastSquaresImageMatching内容安排（重点）[一]最小二乘影像匹配原理（重点）[二]单点最小二乘影像匹配[三]最小二乘影像匹配的精度第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理1.概述（1）德国斯图加特大学Ackermann教授提出了一种新的影像匹配方法——最小二乘影像匹配。（2）最小二乘影像匹配可以达到1/10甚至1/100像素的高精度，即子像素级Subpixel。（3）实际应用中，一般将基于灰度的匹配或基于特征的匹配作为粗匹配，而将最小二乘影像匹配作为精匹配。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理（4）优点：最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而可以进行整体平差。既可解决“单点”的影像匹配问题，以求其“视差”；也可以直接解求其空间坐标。同时解决“多点”影像匹配或“多片”影像匹配。可方便引入“粗差检测”，从而大大地提高影像匹配的可靠性。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理2.原理“灰度差的平方和最小”

V第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理2.原理仅仅认为影像灰度只存在偶然误差

误差方程式第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理2.原理按

vv＝min原则进行影像匹配的数字模型。若在此系统中引入系统变形的参数，按

vv＝min的原则，解求变形参数，就构成了最小二乘影像匹配系统。优点:灵活,可靠和高精度;缺点:如当初始值不太准时，系统的收敛性等问题有待解决。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理3.系统误差影像灰度的系统变形有两大类：辐射畸变；几何畸变。1）辐射畸变照明及被摄影物体辐射面的方向大气与摄影机物镜所产生的衰减摄影处理条件的差异以及影像数字化过程中所产生的误差等等第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理3.系统误差2）几何畸变摄影机方位不同所产生的影像的透视畸变影像的各种畸变竖直航空摄影的情况下，地形高差则是几何畸变的主要因素第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理4.基本思想在影像匹配中引入这些变形参数（灰度畸变和几何畸变参数），同时按最小二乘的原则

vv＝min，解求这些参数，以达到提高影像匹配精度的目的，就是最小二乘影像匹配基本思想。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.仅考虑辐射的线性畸变的最小二乘匹配——相关系数误差方程：按

vv＝min的原则第六章最小二乘影像匹配LeastSquaresImageMatching法方程式

[一]最小二乘影像匹配原理5.仅考虑辐射的线性畸变的最小二乘匹配——相关系数第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.仅考虑辐射的线性畸变的最小二乘匹配——相关系数对g1，g2中心化处理

第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.仅考虑辐射的线性畸变的最小二乘匹配——相关系数消除了两个灰度分布的系统的辐射畸变后，其残余的灰度差的平方和为第六章最小二乘影像匹配LeastSquaresImageMatching相关系数

vv是噪声的功率

g12为信号的功率

[一]最小二乘影像匹配原理5.仅考虑辐射的线性畸变的最小二乘匹配——相关系数第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理5.仅考虑辐射的线性畸变的最小二乘匹配——相关系数信噪比

相关系数与信噪比之间的关系

可见，以相关系数最大作为影像匹配搜索同名点的准则，其实质是搜索“信噪比为最大”的灰度序列。第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理6.仅考虑影像相对移位的一维最小二乘匹配

假设两个一维灰度函数g1(x),g2(x),除随机噪声外，g2(x)相对于g1(x)只存在零次几何变形——移位量

x。Δx误差方程式线性化第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理6.仅考虑影像相对移位的一维最小二乘匹配离散的数字影像而言，灰度函数的导数g2′

(x)可由差分代替

用灰度差分表达的误差方程式第六章最小二乘影像匹配LeastSquaresImageMatching[一]最小二乘影像匹配原理6.仅考虑影像相对移位的一维最小二乘匹配解得影像的相对移位

最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速度取决于初值，因此必须已知初匹配的结果。第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配1.基本思想

两个二维影像之间的几何变形，不仅仅存在着相对移位，而且还存在着图形变化。只有充分地考虑影像的几何变形，才能获得最佳的影像匹配。

两个二维影像之间的几何变形1第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配2.基本公式因影像匹配窗口尺寸均很小，一般只考虑一次畸变：

几何变形

灰度畸变+几何变形

有时只考虑仿射变形或一次正形变换。若同时再考虑到右方影像相对于左方影像的线性灰度畸变，则：x2y2第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配3.误差方程建立经线性化后，

式中未知数是待定参数的改正值，它们之初值分别为

观测值是相应像素的灰度差。第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配3.误差方程建立误差方程式系数

由于在数字影像匹配中，灰度均是按规则格网排列的离散阵列，且采样间隔为常数，可被视为单位长度，故上式中的偏导数均用差分代替：

第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配4.法方程式建立

逐个像元（在目标区内）建立误差方程式，其矩阵形式为：

在建立误差方程式时，可采用以目标区中心为坐标原点的局部坐标系。由误差方程式建立法方程式

第六章最小二乘影像匹配LeastSquaresImageMatching5.计算步骤几何畸变改正x2=a0+a1x+a2yy2=b0+b1x+b2y重采样g2(a0+a1x+a2y,b0+b1x+b2y)辐射畸变改正

h0+h1g2计算相关系数判断是否继续迭代最小二乘影像匹配计算参数改正值dh0,dh1,da0…计算变形参数h0,h1,a0…计算最佳匹配点位结束是否最小二乘法匹配流程图第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配5.计算步骤几何变形改正。根据几何变形改正参数a0,a1,a2,b0,b1,b2将左方影像窗口的影像坐标变换至右方影像阵列：重采样。由于换算所得之坐标x2，y2一般不可能是右方影像阵列中的整数行列号，因此重采样是必须的。第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配5.计算步骤辐射畸变改正。利用由最小二乘影像匹配所求得辐射畸变改正参数h0,h1；对上述重采样的结果作辐射改正若相关系数小于前一次迭代后所求得的相关系数，则可认为迭代结束.也可以根据几何变形参数是否小于某个预定的阈值。

第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配5.计算步骤采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1,da0,…。计算变形参数

第六章最小二乘影像匹配LeastSquaresImageMatching对于辐射畸变参数满足：

[二]单点最小二乘影像匹配5.计算步骤第六章最小二乘影像匹配LeastSquaresImageMatching[二]单点最小二乘影像匹配5.计算步骤计算最佳匹配的点位.可用梯度的平方为权，在左方影像窗口内对坐标作加权平均：匹配精度取决于影像灰度的梯度

第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度

最小二乘匹配算法，可以根据以及法方程式系数矩阵的逆矩阵，求得其精度指标。第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度n为目标区像元个数。由于上式右边是的无偏估计，所以第六章最小二乘影像匹配LeastSquaresImageMatching信噪比方差[三]最小二乘影像匹配的精度第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度相关系数与信噪比之间的关系

第六章最小二乘影像匹配LeastSquaresImageMatching[三]最小二乘影像匹配的精度可得到一些很重要的结论

相关系数愈大则精度愈高信噪比愈大，则匹配的精度愈高影像匹配的精度还与影像的纹理结构有关，即与有关。特别是当愈大，则影像匹配精度愈高。当，即目标窗口内灰度没有变化（如湖水表面、雪地等）时，则无法进行影像匹配。第六章最小二乘影像匹配LeastSquaresImageMatching本讲小结[一]最小二乘影像匹配原理（重点）最小二乘影像匹配优点、原理、基本思想[二]单点最小二乘影像