第十三讲-高级匹配-摄影测量基础-教学课件

第十三讲高级匹配理论第十三讲高级匹配理论1主要内容最小二乘匹配特征匹配主要内容最小二乘匹配2一、最小二乘影像匹配德国Ackermann教授提出了一种新的影像匹配方法——最小二乘影像匹配（leastSquaresImageMatching）影像匹配可以达到1/10甚至1/100像素的高精度优点如下一、最小二乘影像匹配德国Ackermann教授提出了一种新的3最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而可以进行整体平差。解决“单点”的影像匹配问题，以求其“视差”；也可以直接解求其空间坐标

同时解决“多点”影像匹配或“多片”影像匹配

引入“粗差检测”，从而大大地提高影像匹配的可靠性最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而4最小二乘影像匹配原理“灰度差的平方和最小”

仅仅认为影像灰度只存在偶然误差

最小二乘影像匹配原理“灰度差的平方和最小”仅仅认为影像灰度5

按vv＝min原则进行影像匹配的数字模型。若在此系统中引入系统变形的参数，按vv＝min的原则，解求变形参数，就构成了最小二乘影像匹配系统。灵活,可靠和高精度是优点,缺点是，如当初始值不太准时，系统的收敛性等问题有待解决。按vv＝min原则进行影像匹配的数字模型。若在此系6辐射畸变照明及被摄影物体辐射面的方向大气与摄影机物镜所产生的衰减摄影处理条件的差异以及影像数字化过程中所产生的误差等等影像灰度的系统变形有两大类：辐射畸变；几何畸变。辐射畸变影像灰度的系统变形有两大类：辐射畸变；几何畸变。7几何畸变摄影机方位不同所产生的影像的透视畸变影像的各种畸变由于地形坡度所产生的影像畸变等竖直航空摄影的情况下，地形高差则是几何畸变的主要因素。几何畸变8

在影像匹配中引入这些变形参数，同时按最小二乘的原则，解求这些参数，就是最小二乘影像匹配的基本思想。在影像匹配中引入这些变形参数，同时按最小二乘的原则，解求这9仅考虑辐射的线性畸变的最小二乘匹配——相关系数误差方程：仅考虑辐射的线性畸变的最小二乘匹配——相关系数误差方程：10按vv＝min的原理，可得法方程式

按vv＝min的原理，可得法方程式11假定对g1，g2已作过中心化处理

即：假定对g1，g2已作过中心化处理即：12消除了两个灰度分布的系统的辐射畸变后，其残余的灰度差的平方和为消除了两个灰度分布的系统的辐射畸变后，其残余的灰度差的平方和13相关系数与vv的关系

相关系数vv是噪声的功率g12为信号的功率

相关系数与vv的关系相关系数vv是噪声的功率g1214

以“相关系数最大”作为影像匹配搜索同名点的准则，其实质是搜索“信噪比为最大”的灰度序列信噪比

相关系数与信噪比之间的关系

以“相关系数最大”作为影像匹配搜索同名点的准则，其实15

影像匹配的主要目的是确定影像相对移位，传统的算法采用目标区相对于搜索区不断地移动一个整像素，搜索最大相关系数的影像区中心作为同名像点。

在最小二乘影像匹配算法中，可引入几何变形参数，直接解算影像移位，这是此算法的特点。影像匹配的主要目的是确定影像相对移位，传统的算法采用目标区16仅考虑影像相对移位的一维最小二乘匹配

假设两个一维灰度函数g1(x),g2(x),除随机噪声外，g2(x)相对于g1(x)只存在零次几何变形——移位量x。误差方程式仅考虑影像相对移位的一维最小二乘匹配假设两个一维灰17离散的数字影像而言，灰度函数的导数g,2(x)可由差分代替

为解求相对移位量x，需上式进行线性化

离散的数字影像而言，灰度函数的导数g,2(x)可由差分代替18最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速度取决于初值。误差方程式可写为

解得影像的相对移位

最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速19单点最小二乘影像匹配

两个二维影像之间的几何变形，不仅仅存在着相对移位还存在着图形变化单点最小二乘影像匹配两个二维影像之间的几何变形，不仅仅存在20x2y2灰度畸变+几何变形几何变形

x2y2灰度畸变+几何变形几何变形21经线性化后误差方程式dh。，dh1，da0，···,db2是待定参数的改正值，它们之初值分别为h0=0；h1=1；a0=0；a1=1；a2=0；b0=0；b1=0；b2=1经线性化后误差方程式dh。，dh1，da0，···,db222第十三讲-高级匹配---摄影测量基础--教学课件23在数字影像匹配中，灰度均是按规则格网排列的离散阵列，且采样间隔为常数，可被视为单位长度，上式中的偏导数均用差分代替：在数字影像匹配中，灰度均是按规则格网排列的离散阵列，且采样24几何改正重采样辐射畸变改正是否迭代计算最佳匹配的点位计算参数值结束左片右片最小二乘法匹配流程图几何改正重采样辐射畸变改正是否迭代计算最佳计算参数值结束左片25几何变形改正。根据几何变形改正参数a0,a1,a2,b0,b1,b2将左方影像窗口的影像坐标变换至右方影像阵列：重采样。由于换算所得之坐标x2，y2一般不可能是右方影像阵列中的整数行列号，因此重采样是必须的。几何变形改正。根据几何变形改正参数a0,a1,a2,b026辐射畸变改正。利用由最小二乘影像匹配所求得辐射畸变改正参数h0,h1；对上述重采样的结果作辐射改正若相关系数小于前一次迭代后所求得的相关系数，则可认为迭代结束.也可以根据几何变形参数是否小于某个预定的阈值。

辐射畸变改正。利用由最小二乘影像匹配所求得辐射畸变改正参数h27采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1,da0,…。计算变形参数采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1,28第十三讲-高级匹配---摄影测量基础--教学课件29对于辐射畸变参数满足：

对于辐射畸变参数满足：30计算最佳匹配的点位.可用梯度的平方为权，在左方影像窗口内对坐标作加权平均：匹配精度取决于影像灰度的梯度

计算最佳匹配的点位.可用梯度的平方为权，在左方影像窗口内对31为了进一步提高其可靠性与精度，例如，附带共线条件的最小二乘相关以及与VLL法结合的最小二乘影像匹配方法都得了广泛的研究为了进一步提高其可靠性与精度，例如，附带共线条件的最小二乘相32最小二乘影像匹配的精度

最小二乘匹配算法，则可以根据法方程式系数矩阵的逆矩阵，同时求得其精度指标最小二乘影像匹配的精度最小二乘匹配算法，则可以根据法方程式33n为目标区像元个数。由于上式右边是的无偏估计，所以n为目标区像元个数。由于上式右边是的无偏估计，所以34信噪比方差信噪比方差35相关系数与信噪比之间的关系

相关系数与信噪比之间的关系36影像匹配的精度与相关系数有关，相关系数愈大则精度愈高。它与影像窗口的“信噪比”有关，信噪比愈大，则匹配的精度愈高。

可以得到一些很重要的结论：

影像匹配的精度与相关系数有关，相关系数愈大则精度愈高。它与影37影像匹配的精度还与影像的纹理结构有关，即与有关。特别是当愈大，则影像匹配精度愈高。当，即目标窗口内灰度没有变化时，则无法进行影像匹配。影像匹配的精度还与影像的纹理结构有关，即与38二、特征匹配特征匹配的概念基于特征点的影像匹配策略

跨接法影像匹配二、特征匹配特征匹配的概念39特征匹配以影像的灰度分布为影像匹配的基础，被称为灰度匹配（AreaBasedImageMatching）特征匹配（FeatureBasedMatching，在计算机界也称为PrimitiveBasedMatching）。特征匹配以影像的灰度分布为影像匹配的基础，被称为灰度匹配（A40当待匹配的点位于低反差区内，其匹配的成功率不高。

目的只需要配准某些点线或面

在城市中，被处理的对象主要是人工建筑物，灰度匹配难以适应

特征匹配使用的几种场合当待匹配的点位于低反差区内，其匹配的成功率不高。目的只需41特征匹配步骤特征的匹配可以分为点、线、面特征匹配可分为三步：①特征提取；②利用一组参数对特征作描述；③利用参数进行特征匹配。特征匹配步骤特征的匹配可以分为点、线、面特征匹配可分为三步：42例如：首先可以用边缘算子（EdgeOperator）从影像中提取边缘，然后再用参数描述“边缘”。常用-S曲线表达边缘：

例如：首先可以用边缘算子（EdgeOperator）从影像43基于特征点的影像匹配的策略特征提取根据各特征点的兴趣值将特征点分成几个等级对不同的目的，特征点的提取应有所不同

基于特征点的影像匹配的策略特征提取根据各特征点的兴趣值将特44（2）均匀分布。将影像划分成规则矩形格网，每一格网内提取特征点。(1)随机分布。按顺序进行特征提取，但控制特征的密度。特征点的分布则可有两种方式：

（2）均匀分布。将影像划分成规则矩形格网，每一格网内提取特征45特征点的匹配二维匹配与一维匹配

影像方位参数未知时，必须进行二维影像匹配;建立影像模型，形成核线进行一维匹配

特征点的匹配二维匹配与一维匹配影像方位参数未知时，必须进46对右影像也进行特征提取右影像不进行特征提取右影像不进行特征提取，但也不将所有的点作为可能的匹配点匹配的备选点选择方法对右影像也进行特征提取匹配的备选点选择方法47特征点的提取与匹配的顺序

“深度优先”

“广度优先”特征点的提取与匹配的顺序“深度优先”“广度优先”48匹配的准则

除了运用一定的相似性测度，一般还可考虑特征的方向，周围已匹配点的结果粗差的剔除

小范围内利用倾斜平面模型进行视差拟合，将残差大于某一阈值点作为粗差剔除

匹配的准则除了运用一定的相似性测度，一般还可考虑特征的49跨接法影像匹配ABb1a1a2b2先不顾及几何变形作“粗匹配”，然后用其结果作几何改正再匹配

几何变形

处理影像几何变形的两种方式跨接法影像匹配ABb1a1a2b2先不顾及几何变形作“粗匹50最小二乘影像匹配将影像匹配与几何改正均作为参数同时解算

影像匹配几何改正影像匹配几何改正与影像匹配影像匹配影像匹配优点！最小二乘影像匹配将影像匹配与几何改正均作为参数同时解算影像51特征分割法

特征定义为一个“影像段”，由三个特征点组成：一个灰度梯度最大点Z，两个“突出点”（梯度很小）S1，S2

特征分割法特征定义为一个“影像段”，由三个特征点组成：一个52在提取特征时，所用算子不仅应顺次地提取出一个特征上三个特征点的像素序号（点位），而且还应保留两个突出点S1，S2之灰度差。特征分割法

在提取特征时，所用算子不仅应顺次地提取出一个特征上三个特征点53跨接法影像匹配步骤l.特征提取

2.构成跨接法匹配窗口所谓跨接法窗口结构，就是将两个特征连接起来构成窗口，

跨接法影像匹配步骤l.特征提取2.构成跨接法匹配窗口54在左方影像上Fb和Fe分别是已配准与待匹配的特征构成目标窗口右方影像上，Fb是已配准的特征，在右方影像上选定若干特征比较待匹配特征Fe与备选特征之间的特征参数，选取相似特征在左方影像上Fb和Fe分别是已配准与待匹配的特征构成目标窗口55在右方影像上，以Fb为窗口的一个端点特征，而以被选定的备选特征1，3为窗口的另一端的特征，构成不同的匹配窗口对匹配窗口进行重采样，使其大小始终等于左方影像的目标窗口的长度，从而消除了几何畸变对相关的影响。在右方影像上，以Fb为窗口的一个端点特征，而以被选定的备选特56计算目标窗口与重采样的匹配窗口的相关系数，按最大相关系数的准则确定Fe的同名特征。将目标窗口[a',b']整个视为待配准元“影像段”在右核线上建立一些备选的搜索窗口

计算目标窗口与重采样的匹配窗口的相关系数，按最大相关系数的准57第十三讲高级匹配理论第十三讲高级匹配理论58主要内容最小二乘匹配特征匹配主要内容最小二乘匹配59一、最小二乘影像匹配德国Ackermann教授提出了一种新的影像匹配方法——最小二乘影像匹配（leastSquaresImageMatching）影像匹配可以达到1/10甚至1/100像素的高精度优点如下一、最小二乘影像匹配德国Ackermann教授提出了一种新的60最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而可以进行整体平差。解决“单点”的影像匹配问题，以求其“视差”；也可以直接解求其空间坐标

同时解决“多点”影像匹配或“多片”影像匹配

引入“粗差检测”，从而大大地提高影像匹配的可靠性最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而61最小二乘影像匹配原理“灰度差的平方和最小”

仅仅认为影像灰度只存在偶然误差

最小二乘影像匹配原理“灰度差的平方和最小”仅仅认为影像灰度62

按vv＝min原则进行影像匹配的数字模型。若在此系统中引入系统变形的参数，按vv＝min的原则，解求变形参数，就构成了最小二乘影像匹配系统。灵活,可靠和高精度是优点,缺点是，如当初始值不太准时，系统的收敛性等问题有待解决。按vv＝min原则进行影像匹配的数字模型。若在此系63辐射畸变照明及被摄影物体辐射面的方向大气与摄影机物镜所产生的衰减摄影处理条件的差异以及影像数字化过程中所产生的误差等等影像灰度的系统变形有两大类：辐射畸变；几何畸变。辐射畸变影像灰度的系统变形有两大类：辐射畸变；几何畸变。64几何畸变摄影机方位不同所产生的影像的透视畸变影像的各种畸变由于地形坡度所产生的影像畸变等竖直航空摄影的情况下，地形高差则是几何畸变的主要因素。几何畸变65

在影像匹配中引入这些变形参数，同时按最小二乘的原则，解求这些参数，就是最小二乘影像匹配的基本思想。在影像匹配中引入这些变形参数，同时按最小二乘的原则，解求这66仅考虑辐射的线性畸变的最小二乘匹配——相关系数误差方程：仅考虑辐射的线性畸变的最小二乘匹配——相关系数误差方程：67按vv＝min的原理，可得法方程式

按vv＝min的原理，可得法方程式68假定对g1，g2已作过中心化处理

即：假定对g1，g2已作过中心化处理即：69消除了两个灰度分布的系统的辐射畸变后，其残余的灰度差的平方和为消除了两个灰度分布的系统的辐射畸变后，其残余的灰度差的平方和70相关系数与vv的关系

相关系数vv是噪声的功率g12为信号的功率

相关系数与vv的关系相关系数vv是噪声的功率g1271

以“相关系数最大”作为影像匹配搜索同名点的准则，其实质是搜索“信噪比为最大”的灰度序列信噪比

相关系数与信噪比之间的关系

以“相关系数最大”作为影像匹配搜索同名点的准则，其实72

影像匹配的主要目的是确定影像相对移位，传统的算法采用目标区相对于搜索区不断地移动一个整像素，搜索最大相关系数的影像区中心作为同名像点。

在最小二乘影像匹配算法中，可引入几何变形参数，直接解算影像移位，这是此算法的特点。影像匹配的主要目的是确定影像相对移位，传统的算法采用目标区73仅考虑影像相对移位的一维最小二乘匹配

假设两个一维灰度函数g1(x),g2(x),除随机噪声外，g2(x)相对于g1(x)只存在零次几何变形——移位量x。误差方程式仅考虑影像相对移位的一维最小二乘匹配假设两个一维灰74离散的数字影像而言，灰度函数的导数g,2(x)可由差分代替

为解求相对移位量x，需上式进行线性化

离散的数字影像而言，灰度函数的导数g,2(x)可由差分代替75最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速度取决于初值。误差方程式可写为

解得影像的相对移位

最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速76单点最小二乘影像匹配

两个二维影像之间的几何变形，不仅仅存在着相对移位还存在着图形变化单点最小二乘影像匹配两个二维影像之间的几何变形，不仅仅存在77x2y2灰度畸变+几何变形几何变形

x2y2灰度畸变+几何变形几何变形78经线性化后误差方程式dh。，dh1，da0，···,db2是待定参数的改正值，它们之初值分别为h0=0；h1=1；a0=0；a1=1；a2=0；b0=0；b1=0；b2=1经线性化后误差方程式dh。，dh1，da0，···,db279第十三讲-高级匹配---摄影测量基础--教学课件80在数字影像匹配中，灰度均是按规则格网排列的离散阵列，且采样间隔为常数，可被视为单位长度，上式中的偏导数均用差分代替：在数字影像匹配中，灰度均是按规则格网排列的离散阵列，且采样81几何改正重采样辐射畸变改正是否迭代计算最佳匹配的点位计算参数值结束左片右片最小二乘法匹配流程图几何改正重采样辐射畸变改正是否迭代计算最佳计算参数值结束左片82几何变形改正。根据几何变形改正参数a0,a1,a2,b0,b1,b2将左方影像窗口的影像坐标变换至右方影像阵列：重采样。由于换算所得之坐标x2，y2一般不可能是右方影像阵列中的整数行列号，因此重采样是必须的。几何变形改正。根据几何变形改正参数a0,a1,a2,b083辐射畸变改正。利用由最小二乘影像匹配所求得辐射畸变改正参数h0,h1；对上述重采样的结果作辐射改正若相关系数小于前一次迭代后所求得的相关系数，则可认为迭代结束.也可以根据几何变形参数是否小于某个预定的阈值。

辐射畸变改正。利用由最小二乘影像匹配所求得辐射畸变改正参数h84采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1,da0,…。计算变形参数采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1,85第十三讲-高级匹配---摄影测量基础--教学课件86对于辐射畸变参数满足：

对于辐射畸变参数满足：87计算最佳匹配的点位.可用梯度的平方为权，在左方影像窗口内对坐标作加权平均：匹配精度取决于影像灰度的梯度

计算最佳匹配的点位.可用梯度的平方为权，在左方影像窗口内对88为了进一步提高其可靠性与精度，例如，附带共线条件的最小二乘相关以及与VLL法结合的最小二乘影像匹配方法都得了广泛的研究为了进一步提高其可靠性与精度，例如，附带共线条件的最小二乘相89最小二乘影像匹配的精度

最小二乘匹配算法，则可以根据法方程式系数矩阵的逆矩阵，同时求得其精度指标最小二乘影像匹配的精度最小二乘匹配算法，则可以根据法方程式90n为目标区像元个数。由于上式右边是的无偏估计，所以n为目标区像元个数。由于上式右边是的无偏估计，所以91信噪比方差信噪比方差92相关系数与信噪比之间的关系

相关系数与信噪比之间的关系93影像匹配的精度与相关系数有关，相关系数愈大则精度愈高。它与影像窗口的“信噪比”有关，信噪比愈大，则匹配的精度愈高。

可以得到一些很重要的结论：

影像匹配的精度与相关系数有关，相关系数愈大则精度愈高。它与影94影像匹配的精度还与影像的纹理结构有关，即与有关。特别是当愈大，则影像匹配精度愈高。当，即目标窗口内灰度没有变化时，则无法进行影像匹配。影像匹配的精度还与影像的纹理结构有关，即与95二、特征匹配特征匹配的概念基于特征点的影像匹配策略

跨接法影像匹配二、特征匹配特征匹配的概念96特征匹配以影像的灰度分布为影像匹配的基础，被称为灰度匹配（AreaBasedImageMatching）特征匹配（FeatureBasedMatching，在计算机界也称为PrimitiveBasedMatching）。特征匹配以影像的灰度分布为影像匹配的基础，被称为灰度匹配（A97当待匹配的点位于低反差区内，其匹配的成功率不高。

目的只需要配准某些点线或面

在城市中，被处理的对象主要是人工建筑物，灰度匹配难以适应

特征匹配使用的几种场合当待匹配的点位于低反差区内，其匹配的成功率不高。目的只需98特征匹配步骤特征的匹配可以分为点、线、面特征匹配可分为三步：①特征提取；②利用一组参数对特征作描述；③利用参数进行特征匹配。特征匹配步骤特征的匹配可以分为点、线、面特征匹配可分为三步：99例如：首先可以用边缘算子（EdgeOperator）从影像中提取边缘，然后再用参数描述“边缘”。常用-S曲线表达边缘：

例如：首先可以用边缘算子（EdgeOperator）从影像100基于特征点的影像匹配的策略特征提取根据各特征点的兴趣值将特征点分成几个等级对不同的目的，特征点的提取应有所不同

基于特征点的影像匹配的策略特征提取根据各特征点的兴趣值将特101（2）均匀分布。将影像划分成规则矩形格网，每一格网内提取特征点。(1)随机分布。按顺序进行特征提取，但控制特征的密度。特征点的分布则可有两种方式：

（2）均匀分布。将影像划分成规则矩形格网，每一格网内提取特征102特征点的匹配二维匹配与一维匹配

影像方位参数未知时，必须进行二维影像匹配;建立影像模型，形成核线进行一维匹配

特征点的匹配二维匹配与一维匹配影像方位参数未知时，必须进103对右影像也进行特征提取右影像不进行特征提取右影像不进行特征提取，但也不将所有的点作为可能的匹配点匹配的备选点选择方法对右影像也进行特征提取匹配的备选点选择方法104特征点的提取与匹配的顺序

“深度优先”

“广度优先”特征点的