数字摄影测量-最小二乘数字影像匹配

1、第五章 最小二乘影像匹配 数字摄影测量学Digital Photogrammetry1前述内容回顾LS匹配概述仅考虑辐射线性畸变的LS匹配仅考虑相对移位的LS匹配单点最小二乘影像匹配小结第10讲 最小二乘影像匹配 Least-Square Image Matching2以数字影像局部范围内（窗口）的灰度值及其分布作为匹配实体，通过计算相似性测度确定共轭实体的影像匹配方法。前述内容回顾1、基于灰度影像匹配的定义3相关函数测度协方差函数测度相关系数测度差平方和测度差平方和测度2、基于灰度影像匹配的相似性测度前述内容回顾43、相关系数测度的性质相关系数与灰度的线性拟合相关系数是灰度线性变换的不变量说

2、明，相关系数最大的匹配，正是将右像局部窗口内的灰度值拟合为左像局部窗口内灰度值的线性函数后，残差平方和最小的匹配。前述内容回顾5候选窗口灰度值形成的变动向量搜索区域候选窗口/搜索窗口直观说明（以点匹配为例）：目标窗口灰度值形成的固定向量目标窗口前述内容回顾6在目标影像上选取待匹配的点，称为目标点;以目标点为中心，选取一定大小的窗口，称为目标窗口;按照一定的先验知识和约束条件确定该目标点的共轭点（同名点）在右影像上可能存在的范围，称为搜索区域;4、基于灰度影像匹配的计算过程前述内容回顾7以搜索区域内每一点为中心，开取同样大小的窗口，称为搜索窗口；计算目标窗口和每一个搜索窗口的相关系数，以相关系数

3、大于一定阈值的搜索窗口的中心作为候选的匹配点;结合其它的条件或指标在候选点中确定最终配准点。或者直接以相关系数最大的窗口作为目标窗口的配准窗口，中心点作为配准点。 前述内容回顾4、基于灰度影像匹配的计算过程8用相关系数的抛物线拟合提高相关精度整像素相关精度前述内容回顾5、基于灰度影像相关的精度9VLL法影像匹配示意图地面A10前述内容回顾6、基于物方的影像匹配（VLL） 给定地面点的平面坐标（X，Y）近似最低高程Zmin。 ZiZminiZ高程搜索步距Z可由所要求的高程精度确定 由地面点平面坐标和可能的高程Zi计算左右像坐标（xi, yi）与（xi”，yi”）： 分别以（xi, yi）与（xi

4、”，yi”）为中心在左右影像上取影像窗口，计算其匹配测度，如相关系数 i。 将i的值增加1，重复（3）（4）两步，得到0，1，2，n取其最大者k： k max0，1，2，n11 德国Ackermann教授提出了一种新的影像匹配方法最小二乘影像匹配（least Squares Image Matching） 利用了影像内的窗口内的像素进行平差计算，影像匹配可以达到1/10甚至1/100像素的高精度（子像素级）优点如下LS匹配概述1、起源12 最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而可以进行整体平差。 解决“单点”的影像匹配问题，以求其“视差”；也可以直接解求其空间坐标 同时解

5、决“多点”影像匹配或“多片”影像匹配 引入“粗差检测”，从而大大地提高影像匹配的可靠性 LS匹配概述2、优点133、最小二乘影像匹配原理“灰度差的平方和最小” 仅仅认为影像灰度只存在偶然误差 LS匹配概述14 这就是按vvmin原则进行影像匹配的数学模型。若在此系统中引入系统变形的参数，按 vvmin的原则，解求变形参数，就构成了最小二乘影像匹配系统。优点：灵活,可靠和高精度缺点：如当初始值不太准时，系统的收敛性等问题有待解决。解决方法：实际应用中，一般将基于灰度的匹配或基于特征的匹配作为粗匹配，而将最小二乘影像匹配作为精匹配。LS匹配概述15辐射畸变：灰度值的偏差照明及被摄影物体辐射面的方向

6、大气与摄影机物镜所产生的衰减摄影处理条件的差异以及影像数字化过程中所产生的误差等等影像灰度的系统变形有两大类：辐射畸变；几何畸变。LS匹配概述16几何畸变：两影像的相对变形LS匹配概述17几何畸变摄影机方位不同所产生的影像的透视畸变影像的各种畸变由于地形坡度所产生的影像畸变等，竖直航空摄影的情况下，地形高差则是几何畸变的主要因素。LS匹配概述18在影像匹配中引入这些变形参数，同时按最小二乘的原则，解求这些参数，就是最小二乘影像匹配的基本思想。LS匹配概述19Left imageRight image三、仅考虑辐射线性畸变的最小二乘匹配相关系数 20三、仅考虑辐射线性畸变的最小二乘匹配相关系数

7、误差方程：现假定灰度分布g1相对于另一个灰度分布g2存在着线性畸变21对窗口中的每个像素列误差方程式：三、仅考虑辐射线性畸变的最小二乘匹配相关系数 法化答解22三、仅考虑辐射线性畸变的最小二乘匹配相关系数 23按vvmin的原理，可得法方程式 三、仅考虑辐射线性畸变的最小二乘匹配相关系数 24假定对g1，g2已作过中心化处理 即：三、仅考虑辐射线性畸变的最小二乘匹配相关系数 接下来再分析残差25消除了两个灰度分布的系统的辐射畸变后，其残余的灰度差的平方和为26相关系数27 相关系数与vv的关系 vv是噪声的功率g12为信号的功率 三、仅考虑辐射线性畸变的最小二乘匹配相关系数 28 以“相关系数

8、最大”作为影像匹配搜索同名点的准则，其实质是搜索“信噪比为最大”的灰度序列 信噪比 相关系数与信噪比之间的关系 29影像匹配的主要目的是确定影像相对移位，传统的算法采用目标区相对于搜索区不断地移动一个整像素，搜索最大相关系数的影像区中心作为同名像点 。 在最小二乘影像匹配算法中，可引入几何变形参数，直接解算影像移位，这是此算法的特点。 三、仅考虑辐射线性畸变的最小二乘匹配相关系数 30仅考虑相对移位的LS匹配基本误差方程考虑一维核线影像，如下图同名点同名点31四、仅考虑影像相对移位的一维LS匹配 假设两个一维灰度函数g1(x), g2(x),除随机噪声外，g2(x)相对于g1(x)只存在零次几

9、何变形移位量x。误差方程式32对离散的数字影像而言，灰度函数的导数g,2(x)可由差分代替 为解求相对移位量x，需对上式进行线性化 为采样间隔 33最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速度取决于初值。误差方程式可写为 解得影像的相对移位 34基本思想 两个局部影像片（patch）之间的变形，不仅有灰度畸变、相对移位，而且还存在着几何畸变。只有充分地考虑影像间的这些变形因素，才能获得最佳的影像匹配。 两个二维影像之间的几何变形1单点最小二乘影像匹配352 数学模型理想情况下，有：考虑5x5窗口单点最小二乘影像匹配36 x2 y2灰度畸变+几何变形 几何变形 单点最小二乘影像

10、匹配37上述方程的直观意义为： 我们的目的就是在局部窗口范围内，求出上述方程中参数的最或然值：然后对给定的初值 计算出配准位置 38单点最小二乘影像匹配39经线性化后误差方程式dh0，dh1， da0，,db2是待定参数的改正值模型线性化单点最小二乘影像匹配40单点最小二乘影像匹配误差方程式的系数41 在数字影像匹配中，灰度均是按规则格网排列的离散阵列，且采样间隔为常数，可被视为单位长度，上式中的偏导数均用差分代替：单点最小二乘影像匹配42几何改正重采样辐射畸变改正左片右片最小二乘法匹配流程图计算最佳匹配点位计算参数值结束相关计算是否迭代43赋初值4、计算过程单点最小二乘影像匹配44Step1

11、:几何变形改正 根据几何变形改正参数a0, a1, a2,b0, b1, b2将左方影像窗口的影像坐标变换至右方影像阵列：单点最小二乘影像匹配45Step2：重采样 由于换算所得之坐标x2，y2一般不可能是右方影像阵列中的整数行列号，因此重采样是必须的。Step3：辐射畸变改正 利用所求的辐射畸变改正参数h0, h1；对上述重采样的结果作辐射改正单点最小二乘影像匹配46Step4:相关系数计算 计算左方影像窗口与经过几何、辐射改正后的右方影像窗口的灰度阵列之间的相关系数，若小于前一次迭代后所求得的相关系数，则迭代结束，转step7；否则转step5。也可以根据几何变形参数是否小于某个预定的阈值。 单点最小二乘影像匹配47Step5:采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1, da0,。 Step6:计算新的变形改正参数 ，转step148单点最小二乘影像匹配49对于辐射畸变参数满足： 单点最小二乘影像匹配50Step7:计算最佳匹配的点位 。可用梯度的平方为权，在左方影像窗口内对坐标作加权平均：单点最小二乘影像匹配匹配精度取决于影像灰度的梯度 加权平均51右片上同名点的坐标为： 单点最小二乘影像匹配52为了进一步提高其可靠性与精度，例如