数字摄影测量学实用教案

1、1一一 前述内容回顾前述内容回顾二二 基于灰度影像匹配基于灰度影像匹配(ppi)(ppi)的定义（重点）的定义（重点）三三 基于灰度影像匹配基于灰度影像匹配(ppi)(ppi)的相似性测度（难的相似性测度（难点）点）四四 基于灰度影像匹配基于灰度影像匹配(ppi)(ppi)的计算过程（重点）的计算过程（重点）五五 基于物方的影像匹配基于物方的影像匹配(ppi)(ppi)（VLLVLL影像匹配影像匹配(ppi)(ppi)）六六 基于灰度影像匹配基于灰度影像匹配(ppi)(ppi)的子像素精度内插的子像素精度内插七七 小结小结第23讲 基于灰度的影像(yn xin)匹配 Area-Based Im

2、age Matching第1页/共45页第一页，共45页。21.为什么说影像匹配问题(wnt)是摄影测量中最具挑战性的问题(wnt)？影像匹配贯穿于数字摄影测量数据处理的整影像匹配贯穿于数字摄影测量数据处理的整个过程个过程(内定向、相对定向、绝对定向、空三内定向、相对定向、绝对定向、空三转点、转点、DEM自动生成自动生成(shn chn)、地物、地物识别识别)；另一个挑战性的问题是地物识别。另一个挑战性的问题是地物识别。一前述内容(nirng)回顾第2页/共45页第二页，共45页。32.什么是共轭实体、匹配实体、相似性测度(c du)、匹配方法、匹配策略？一前述内容(nirng)回顾第3页/共

3、45页第三页，共45页。41. 定义(dngy) 以数字影像局部范围内（窗口）的灰度值及其以数字影像局部范围内（窗口）的灰度值及其分布作为匹配实体，通过计算相似性测度确定共轭分布作为匹配实体，通过计算相似性测度确定共轭实体的影像匹配方法。实体的影像匹配方法。 共轭实体：可以是点、线和其它物体图像共轭实体：可以是点、线和其它物体图像 匹配实体：影像的局部灰度值及分布匹配实体：影像的局部灰度值及分布 相似性测度：基于局部灰度值的某种度量相似性测度：基于局部灰度值的某种度量(dling)(dling)函数函数二基于灰度影像匹配(ppi)的定义Area-Based Matching(ABM)第4页/共

4、45页第四页，共45页。5示意图 互相互相(h xing)关函关函数数相似(xin s)程度同名同名(tngmng)点点目标区目标区搜索区搜索区二基于灰度影像匹配的定义第5页/共45页第五页，共45页。6影像影像(yn xin)匹配匹配-同名点寻找同名点寻找第6页/共45页第六页，共45页。7 优点： 窗口可以很快地提取(tq)，匹配的方法比较直观； 在纹理丰富的区域可以达到很高的精度。Advantages and Disadvantages of ABM 二基于灰度影像匹配(ppi)的定义第7页/共45页第七页，共45页。8 缺点： 辐射量的改变对灰度值比较敏感； 搜索的空间比较大，可能会出

5、现不同的局部极值； 处理的数据量相对比较大； 在一些情况下，如遮挡区（建筑物）、缺乏纹理（高速公路）或局部纹理重复区（沙漠、草地(cod)），可能会出现误匹配的情况。Advantages and Disadvantages of ABM 二基于灰度影像匹配(ppi)的定义第8页/共45页第八页，共45页。9 相关系数匹配 最小二乘匹配 基于(jy)物方的影像匹配（VLL） 与特征提取相结合的灰度匹配2. 匹配(ppi)方法二基于(jy)灰度影像匹配的定义第9页/共45页第九页，共45页。10影像(yn xin)匹配模式主要有二维匹配和一维匹配两种。3. 匹配(ppi)模式二基于(jy)灰度影像

6、匹配的定义第10页/共45页第十页，共45页。11 x=1; y=0 x=0; y=0 x=0; y=0 x=1; y=0 x=2; y=0 x=3; y=0 x=4; y=0 x=5; y=0 x=6; y=0 x=7; y=0 x=8; y=0 x=9; y=0 x=10; y=0 x=11; y=0 x=0; y=1 x=1; y=1 x=2; y=1二维搜索(su su)二基于灰度影像匹配(ppi)的定义目标目标(mbio)窗口窗口搜索窗口搜索窗口第11页/共45页第十一页，共45页。12一维搜索(su su)二基于灰度影像(yn xin)匹配的定义目标目标(mbio)窗口窗口搜索窗口

7、搜索窗口核线方向核线方向核线重排列影像的一维匹配核线重排列影像的一维匹配第12页/共45页第十二页，共45页。13一维搜索(su su)二基于灰度影像匹配(ppi)的定义目标目标(mbio)窗口窗口搜索窗口搜索窗口核线方向核线方向原始核线影像的一维匹配原始核线影像的一维匹配第13页/共45页第十三页，共45页。141.1. 相关相关(xinggun)(xinggun)函数测度函数测度q离散情形(qng xing)，相关函数定义为： mminnjcjriijggrcR,),(是两个(lin )窗口内对应灰度值乘积的代数和三基于灰度影像匹配的相似性测度定义：若若R R（c c0 0, r, r0

8、0） R R（c, rc, r）（）（c c c c0 0， r r r r0 0），），则则c c0 0, r, r0 0为搜索区影像相对于目标区影像的位移为搜索区影像相对于目标区影像的位移参数。参数。对于一维相关应有对于一维相关应有r 0。第14页/共45页第十四页，共45页。15三基于(jy)灰度影像匹配的相似性测度2. 协方差函数(hnsh)测度q 离散(lsn)情形，协方差函数定义为： mminnjcrcjriijggggrcC)()(),(,定义：若若C C（c c0 0, r, r0 0） C C（c, rc, r）（）（c c c c0 0， r r r r0 0），），则则c

9、 c0 0, r, r0 0为搜索区影像相对于目标区影像的位移为搜索区影像相对于目标区影像的位移行、列参数。行、列参数。对于一维相关应有对于一维相关应有r 0。协方差函数是中心化的相关函数第15页/共45页第十五页，共45页。16三基于灰度影像(yn xin)匹配的相似性测度3. 相关系数测度(c du)定义(dngy)：相关系数就是标准化标准化的协方差函数mminnjmminnjcrcjriijmminnjcrcjriijggggggggrc2,2,)()()()(),(若若 （c0, r0） （c, r）（）（ c c0，r r0），），则则c0, r0为搜索区影像相对于目标区影像的位移参

10、数。为搜索区影像相对于目标区影像的位移参数。对于一维相关应有对于一维相关应有r 0。协方差函数除以两信号的方差即得相关系数第16页/共45页第十六页，共45页。174、差平方和测度(c du)q离散(lsn)情形，差平方和函数定义为： 2,2)(),(mminnjcjrijiggcrS三基于灰度影像匹配(ppi)的相似性测度 若若S2（c0, r0） S2（c, r），则），则c0, r0为搜索为搜索区影像相对于目标区影像的位移行、列参数。区影像相对于目标区影像的位移行、列参数。对于一维相关应有对于一维相关应有r 0。 取极小值第17页/共45页第十七页，共45页。185. 差绝对(judu)

11、和测度q离散(lsn)情形，差绝对和函数定义为： mminnjcjrijiggcrS,),(三基于灰度影像匹配(ppi)的相似性测度若若S（c0, r0） S（c, r）（）（ c c0， r r0），则），则c0, r0为搜索区影像相对于目标区影像的位移行、列为搜索区影像相对于目标区影像的位移行、列参数。对于一维相关应有参数。对于一维相关应有r 0。取极小值第18页/共45页第十八页，共45页。19)y ,y ,y(YiN2 i1 ii候选(hu xun)窗口灰度值形成的变动向量搜索(su su)区域候选(hu xun)窗口/搜索窗口1、直观说明（以点匹配为例）：),(21NxxxX目标窗口

12、灰度值形成的固定向量目标窗口四.基于灰度影像匹配的计算过程第19页/共45页第十九页，共45页。20 在目标(mbio)影像上选取待匹配的点，称为目标(mbio)点； 以目标(mbio)点为中心，选取一定大小的窗口，称为目标(mbio)窗口；2、具体实现(shxin)步骤：0050000050005050505050005000005000A四.基于(jy)灰度影像匹配的计算过程第20页/共45页第二十页，共45页。21 按照一定的先验知识(zh shi)和约束条件确定该目标点的共轭点（同名点）在右影像上可能存在的范围，称为搜索区域；2、具体(jt)实现步骤：四.基于灰度影像匹配(ppi)的计

13、算过程353844476048444342434544446245424442454747426348444142535450556851484850606362646964626259414145456550474542424245496348444342454343456450454443444041436049434341S第21页/共45页第二十一页，共45页。22 以搜索区域内每一点为中心，开取同样(tngyng)大小的窗口，称为搜索窗口；四.基于灰度影像匹配的计算(j sun)过程2、具体(jt)实现步骤：69646262596550474542634844434264504544

14、436049434341第22页/共45页第二十二页，共45页。23 计算目标窗口和每一个搜索窗口的相关系数，以相关系数大于一定阈值的搜索窗口的中心(zhngxn)作为候选的匹配点;四.基于灰度影像匹配的计算(j sun)过程2、具体(jt)实现步骤：22. 018. 027. 023. 028. 003. 006. 050. 002. 008. 027. 029. 094. 037. 025. 032. 021. 032. 016. 024. 019. 019. 035. 009. 024. 0C第23页/共45页第二十三页，共45页。24 结合其它的条件或指标在候选点中(din zhn)确

15、定最终配准点。 或者直接以相关系数最大的窗口作为目标窗口的配准窗口，中心点作为配准点。 四.基于灰度影像(yn xin)匹配的计算过程2、具体实现(shxin)步骤：22. 018. 027. 023. 028. 003. 006. 050. 002. 008. 027. 029. 094. 037. 025. 032. 021. 032. 016. 024. 019. 019. 035. 009. 024. 0C第24页/共45页第二十四页，共45页。250 1 2 3 4 5 6 7 8 9463、匹配(ppi)的例子四.基于灰度影像(yn xin)匹配的计算过程第25页/共45页第二十五

16、页，共45页。263、匹配(ppi)的例子四.基于(jy)灰度影像匹配的计算过程第26页/共45页第二十六页，共45页。27n影像相关是左影像为目标区与右影像上影像相关是左影像为目标区与右影像上搜索区内相对应的相同大小的一影像相比搜索区内相对应的相同大小的一影像相比较，求得相关系数，代表各窗口中心像素较，求得相关系数，代表各窗口中心像素的中央的中央(zhngyng)(zhngyng)点处的匹配测度点处的匹配测度 1. 整像素相关(xinggun)精度六. 基于灰度影像相关(xinggun)的精度第27页/共45页第二十七页，共45页。281. 整像素(xin s)相关精度-/2/2目标(mbi

17、o)点匹配(ppi)点 以一维相关为例，如果左核线上的目标点与右核线上找到的配准点是真正的同名点，但真正精确的配准位置未必在整像素格点上，但在以该格点为中心、以（像素大小）为长度的区间内。五. 基于灰度影像相关的精度第28页/共45页第二十八页，共45页。29 真正精确的配准位置误差是-/2， /2上的均匀分布（因为是偶然误差），因此(ync)配准精度为：2/2/22xdx)x( px其中(qzhng)，p(x)otherwisexxp02/1)(五. 基于(jy)灰度影像相关的精度均匀分布均匀分布第29页/共45页第二十九页，共45页。301222x3/29.0 x五. 基于灰度影像(yn

18、xin)相关的精度可得配准精度可得配准精度(jn d)为为第30页/共45页第三十页，共45页。312. 用相关(xinggun)系数的抛物线拟合提高相关(xinggun)精度 为了把同名(tngmng)点位求的精确一些，可以把i点左右若干点处所求得的相关系数拟合一条曲线，求其最大值。2)(CSBSAS抛物线顶点抛物线顶点(dngdin)k(dngdin)k处的处的位置应为位置应为 CBk2五. 基于灰度影像相关的精度第31页/共45页第三十一页，共45页。32用相关系数的抛物线拟合用相关系数的抛物线拟合(n h)提高相关精度提高相关精度相关系数抛物线拟合五. 基于灰度影像(yn xin)相关

19、的精度第32页/共45页第三十二页，共45页。332CSBSA)S(将坐标(zubio)原点移至i点，可得：CBAACBA1ii1i取相邻取相邻(xin ln)(xin ln)像元像元3 3个相关系数进行抛物个相关系数进行抛物线拟合时线拟合时 五. 基于灰度影像相关(xinggun)的精度第33页/共45页第三十三页，共45页。342/)2(2/)(111111iiiiiiiiiCBACBAACBA解方程得：解方程得：五. 基于(jy)灰度影像相关的精度第34页/共45页第三十四页，共45页。35由相关系数抛物线拟合可使相关精度由相关系数抛物线拟合可使相关精度(jn d)达到达到0.150.2

20、子像素精度子像素精度(jn d) )2(21111iiiiiikCBik22/)2(2/)(1111iiiiiiCBA第35页/共45页第三十五页，共45页。36n 影像匹配的目的是提取物体的几何信息，确定影像匹配的目的是提取物体的几何信息，确定其空间其空间(kngjin)位置。因此，能够直接确定物位置。因此，能够直接确定物体表面点空间体表面点空间(kngjin)三维坐标的影像匹配方三维坐标的影像匹配方法得到了研究，这些方法也被称为法得到了研究，这些方法也被称为“地面元影像地面元影像匹配匹配” 。n 直接确定地面点空间直接确定地面点空间(kngjin)三维坐标三维坐标(DEM)。待定点的平面坐

21、标。待定点的平面坐标(X,Y)已知，只需要确已知，只需要确定其高程定其高程Z。六.基于(jy)物方的影像匹配（VLL）第36页/共45页第三十六页，共45页。37六六. .基于基于(jy)(jy)物方的影像匹配物方的影像匹配（VLLVLL）1. 基本基本(jbn)思想思想n 在物方有一条铅垂在物方有一条铅垂线 轨 迹 （线 轨 迹 （ V L LV L L V e r t i c a l L i n e V e r t i c a l L i n e Locus Locus ），它在影像），它在影像上的投影是一直线。上的投影是一直线。就是说就是说VLLVLL与地面交点与地面交点A A在影像上的

22、构像必定在影像上的构像必定(bdng)(bdng)位于相应位于相应的的“投影差投影差”上。上。第37页/共45页第三十七页，共45页。38VLLVLL法影像法影像(yn xin)(yn xin)匹配示意图匹配示意图A?在铅垂线上地面(dmin)An那一个点正确(zhngqu)？第38页/共45页第三十八页，共45页。392. 具体步骤具体步骤 给定给定(i dn)地面点的平面坐标地面点的平面坐标（X，Y）近似最低高程）近似最低高程Zmin。 ZiZminiZ，高程，高程(gochng)搜索步距搜索步距Z可由所要求的高程可由所要求的高程(gochng)精度确定精度确定六.基于物方的影像(yn x

23、in)匹配（VLL）第39页/共45页第三十九页，共45页。40)()()()()()()()()()()()()()()()()()()()()()()()(333222333111333222333111ssssssissssssissssssissssssiZZcYYbXXaZZcYYbXXafyZZcYYbXXaZZcYYbXXafxZZcYYbXXaZZcYYbXXafyZZcYYbXXaZZcYYbXXafx 由地面点平面坐标和可能由地面点平面坐标和可能(knng)(knng)的的高程高程ZiZi计算左右像坐标（计算左右像坐标（xi, yixi, yi）与（与（xi”xi”，yi”yi”）：）： 共线(n xin)条件方程式第40页/共45页第四十页，共45页。41 分别(fnbi)以（xi, yi）与（xi”，yi”）为中心在左右影像上取影像窗口，计算其匹配测度，如相关系数 i。 将i的值增加(zngji)1，重复（3）（4）两