数字摄影测量学课件

1影像匹配基础理论与算法

《数字摄影测量学》DigitalPhotogrammetry1影像匹配基础理论与算法《数字摄影测量学》D摄影测量的基本过程摄影外业空三加密测图DLGDEMDOM控制测量像片判绘内业内定向相对定向前方交会绝对定向单片定位微分纠正区域网平差摄影测量的基本过程摄影外业空三加密测图DLG控制测量内业内定3摄影测量的本质就是:通过摄影，进行测量！它来源于测量的“前方交会”与“后方交会”O1A（X、Y、Z）2YZ

1

2

1

2X3摄影测量的本质就是:4a1b1a2b2摄影测量在两个已知点(摄站)上，摄取两张影像，问题的引出4a1b1a2b2摄影测量5传统摄影测量，均依赖于人的双眼，确定同名点问题的引出5问题的引出6数字摄影测量，就是要用计算机代替人的双眼，确定同名像点影像匹配问题的引出6数字摄影测量，就是要用计算机代替人的双眼，确定同名像点影像7影像匹配的应用影像匹配是图像分析和处理的基本问题和关键技术，它在航空影像立体制图、图像三维重构、计算机视觉、目标识别与跟踪、遥感影像的融合、变化检测、模式识别、医学图像处理、影像分析等领域都有重要应用。7影像匹配的应用影像匹配是图像分析和处理的基本问题和关键技术8数字影像匹配概述数字影像匹配的基本概念（重点）匹配方法的分类匹配的基本问题与解决方案影像相关的原理小结第22讲数字影像匹配的基本概念ConceptsofDigitalImageMatching8数字影像匹配概述第22讲数字影像匹配的基本概念Conce91.MatchingandCorrespondence

在摄影测量与遥感中，匹配可以定义为在不同的数据集合之间建立一种对应。DataSet对应correspondenceDataSet

这些不同的数据集合可以是影像，也可以是地图，或者目标模型和GIS数据。一、GeneralDescription91.MatchingandCorrespondenc10

CorrespondenceBetweenImages

如果这些数据集合是（数字）影像，就称（数字）影像匹配。一、GeneralDescription10CorrespondenceBetweenImag11

如果这些数据集合是影像与地图，有时称配准。RemoteImageTopographicMap一、GeneralDescription11如果这些数据集合是影像与地图，有时称配准。Remote122.ImageMatchinginPhotogrammetry(1)thereconstructionoftheinteriororientation:theimageofafiducialmarkismatchedwithatwo-dimensionalmodelofthefiducialmark;

Manystepsofthephotogrammetricprocessingchainarelinkedtomatchinginonewayoranother.一、GeneralDescription122.ImageMatchinginPhotogr13内定向：框标影像同二维的框标模型相匹配的过程xyrowcolumn一、GeneralDescription13内定向：框标影像同二维的框标模型相匹配的过程xyrowc14(2)relativeorientationandpointtransferinaerialtriangulation:partsofoneimagearematchedwithpartsofotherimagesinordertogeneratetiepoints;(3)absoluteorientation:partsoftheimagearematchedwithadescriptionofcontrolfeatures,mostlygroundcontrolpoints;

一、GeneralDescription14(2)relativeorientationand15

相对定向以及数字空三中的转点：一张影像的局部同另一张影像的局部匹配的过程LeftImageRightImageRelativeOrientationwithInterestPoints一、GeneralDescription15相对定向以及数字空三中的转点：一张影像的局部同另一张16Correspondencebetweentiepoints一、GeneralDescription16Correspondencebetweentiep17(4)generationofdigitalterrainmodels(DTM):partsofanimagearematchedwithpartsofanotherimageinordertogeneratethree-dimensionalobjectpoints;(5)andfinallytheinterpretationstep:partsoftheimagearematchedwithobjectmodelsinordertoidentifyandlocalizethedepictedsceneobjects.

一、GeneralDescription17(4)generationofdigitalter18Lookingatthislargevarietyoftasksitcomesasnosurprisethatmatchinghaslongbeenandstillisoneofthemostchallengingtaskinphotogrammetricresearchanddevelopment.Indigitalphotogrammetric,matchingisusuallycalled

digitalimagematching.(ChristianHeipe,1996)一、GeneralDescription18Lookingatthislargevariet191.数字影像匹配的定义《测绘词典》、《中国军事百科全书》（测绘学分册）、《海洋测绘词典》《数字摄影测量学》（王大平等，解放军出版社，1991）二.

BasicConcepts

影像匹配指的是从不同位置或不同时刻，由不同传感器上所获取的数字影像中自动识别相应影像或相应像点的一些算法。191.数字影像匹配的定义《测绘词典》、《中国军事百科全书20自动地在由数字立体像对(或多张影像)中提取的要素之间建立对应关系的过程，称为数字影像匹配。Digitalimagematchingautomaticallyestablishesthecorrespondencebetweenprimitivesextractedfromtwoormoredigitalimagesdepictingatleastpartlythesamescene.DigitalImageADigitalImageB1.数字影像匹配的定义二.

BasicConcepts20自动地在由数字立体像对(或多张影像)中提取的要素之间建21

数字影像匹配

利用计算机自动或半自动地在数字影像之间确定同名对象的过程。数字影像：对象：二.

BasicConcepts21数字影像匹配利用计算机自动或半自动地在数字影22示意图

互相关函数相似程度同名点目标区搜索区22示意图互相关函数相似程度同名点目标区搜索区23影像匹配---同名点寻找23影像匹配---同名点寻找24(1)共轭实体（Conjugateentity）

共轭实体是比共轭点更一般的概念，它是目标空间特征的影像，包括点，线，面等。二.

BasicConcepts2.术语(Terminology)24(1)共轭实体（Conjugateentity）25(2)匹配实体（Matchingentity）共轭实体AB匹配实体A={身高1、肤色1、五官1、口音1，…}B={身高2、肤色2、五官2、口音2，…}

是一种要素，通过比较不同影像上的这些要素来寻找共轭实体。这些要素包括影像的灰度值，从影像上提出的特征以及描述参数，以及其他的符号描述。二.

BasicConcepts2.术语(Terminology)25(2)匹配实体（Matchingentity）共轭实体26(3)Similaritymeasure:

相似性测度：匹配实体与其它匹配实体之间相似性程度的定量度量。一般说来，相似性程度是用代价函数来表示的。二.

BasicConcepts2.术语(Terminology)26(3)Similaritymeasure:相27(4)Matchingmethod:

匹配方法:计算匹配实体相似性测度的方法。匹配方法一般按照匹配实体来命名，比如说，

基于灰度（基于区域）的匹配、基于特征的匹配、关系匹配。二.

BasicConcepts2.术语(Terminology)27(4)Matchingmethod:匹配方法:28(5)Matchingstrategy:

匹配策略:指求解影像匹配问题的概念或整体策略，包括匹配环境分析、匹配方法选择、匹配质量控制等。二.

BasicConcepts2.术语(Terminology)28(5)Matchingstrategy:匹配29三、影像匹配方法的分类

匹配方法相似性测度匹配实体基于区域的匹配相关性，最小二乘灰度级特征匹配代价函数边缘、区域关系匹配代价函数符合描述29三、影像匹配方法的分类匹配方法相似性测度匹配实体基于区30FundamentalproblemsofImageMatchingSearchSpace,UniquenessofMatchingEntity;搜索空间、匹配实体的唯一性

Approximations,ConstraintsandAssumptions;近似值、约束以及假设

GeometricDistortionsofMatchingEntity;匹配实体的几何变形四.匹配的基本问题与解决方案30FundamentalproblemsofImag31SolutionstotheFundamentalproblems

1)SearchandApproximations核线

EpipolarLines铅垂线轨迹法

分级的方法

HierarchicalApproach四.匹配的基本问题与解决方案31SolutionstotheFundamental32左摄影中心右摄影中心核面左影像右影像左核线右核线基线SolutionstotheFundamentalproblems

四.匹配的基本问题与解决方案32左摄影中心右摄影中心核面左影像右影像左核线右核线基线So33SolutionstotheFundamentalproblems

四.匹配的基本问题与解决方案33SolutionstotheFundamental342)UniquenessofMatchingEntityVariance方差

Autocorrelation自相关

entropy熵SolutionstotheFundamentalproblems

四.匹配的基本问题与解决方案342)UniquenessofMatchingEn35立体像对匹配——互相关同名点局部区域——近似自相关五.影像相关原理PrincipleofImageCorrelation1、影像匹配与自相关函数最初的影像匹配采用了相关技术即利用相关函数作为相似性测度，因此常称影像匹配为影像相关。

电子相关、光学相关、数字相关35立体像对匹配——互相关五.影像相关原理1、影像匹配与自36

影像相关是利用互相关函数，评价两块影像的相似性以确定同名点。五.影像相关原理36影像相关是利用互相关函数，评价两块影像的相似性以确定同37相关函数互相关函数的定义两个随机信号x(t)、y(t)的相关函数定义为：五.影像相关原理37相关函数互相关函数的定义两个随机信号x(t)、y(t)的38对信号能量无限的情况则取其平均值形式：

在实际应用中信号不可能是无限的，即T是有限值，但T要适当地大。实用估计为：五.影像相关原理38对信号能量无限的情况则取其平均值形式：在实际应用中39自相关函数的定义当x(t)=y(t)时，就得到自相关函数的定义：五.影像相关原理39自相关函数的定义当x(t)=y(t)时，就得到自相关函数40自相关函数的性质自相关函数是偶函数自相关函数在原点取得最大值五.影像相关原理40自相关函数的性质自相关函数是偶函数自相关函数在原点取得最41自相关函数在τ=0处取得最大值这个性质极为重要，它是相关技术确定同名像点的依据。两边取时间T的平均值并取极限

五.影像相关原理41自相关函数在τ=0处取得最大值这个性质极为重要，它是相42电子相关

电子相关就是采用电子线路构成的相关器来实现影像相关的功能电子相关五.影像相关原理42电子相关电子相关