计算机视觉基于特征的图像对准

第六章基于特征的图像对准现在是1页\一共有77页\编辑于星期四主要内容图像对准(Image

Alignment)位姿估计-增强现实（AugmentedReality）摄像机标定（CameraCalibration）2023/4/192CV:Calibration现在是2页\一共有77页\编辑于星期四图像对准-Imagealignment现在是3页\一共有77页\编辑于星期四Alookintothepast现在是4页\一共有77页\编辑于星期四AlookintothepastLeningradduringtheblockade现在是5页\一共有77页\编辑于星期四Bingstreetsideimages现在是6页\一共有77页\编辑于星期四图像对准的应用全景拼接Panoramastitching目标识别现在是7页\一共有77页\编辑于星期四图像拼接的困难小区域重叠遮挡,

混乱亮度变化现在是8页\一共有77页\编辑于星期四图像对准两大类方法:直接对准(基于像素)以大多数像素匹配为准则对准基于特征的对准以提取的特征匹配为准则对准可以通过基于像素的方法进行验证现在是9页\一共有77页\编辑于星期四基于拟合的对准之前章节:在单幅图像内对提取的特征(点、边缘段等)进行拟合，得到轮廓模型

FindmodelMthatminimizesMxi现在是10页\一共有77页\编辑于星期四基于拟合的对准之前章节:在单幅图像内对提取的特征(点、边缘段等)进行拟合，得到轮廓模型

FindmodelMthatminimizesMxi对准:对于两幅图像特征对间的变换关系进行数据拟合FindtransformationT

thatminimizesTxixi'现在是11页\一共有77页\编辑于星期四2D转换模型Similarity

(translation,

scale,rotation)

Affine

Projective

(homography)

现在是12页\一共有77页\编辑于星期四从仿射变换开始简单的数据拟合程序(线性最小二乘法)对于近似平面表面的物体和近似正交的相机可以近似看作是视点变化可以作为更复杂模型的初始拟合结果现在是13页\一共有77页\编辑于星期四拟合仿射变换假如已知对应关系，怎样得到转换模型？现在是14页\一共有77页\编辑于星期四6个未知数的线性方程组每一对匹配的特征点能够建立两个独立的线性方程:这样就至少需要三对匹配的特征点解出全部参数拟合仿射变换现在是15页\一共有77页\编辑于星期四基于特征的图像对准的过程现在是16页\一共有77页\编辑于星期四提取特征基于特征的图像对准的过程现在是17页\一共有77页\编辑于星期四提取特征特征匹配基于特征的图像对准的过程现在是18页\一共有77页\编辑于星期四提取特征特征匹配迭代:选择三个特征点对，得到初始变换T基于特征的图像对准的过程现在是19页\一共有77页\编辑于星期四提取特征特征匹配迭代:选择三个特征点对，得到初始变换T利用其它特征点对，验证变换T基于特征的图像对准的过程现在是20页\一共有77页\编辑于星期四提取特征特征匹配迭代:选择三个特征点对，得到初始变换T利用其它特征点对，验证变换T基于特征的图像对准的过程现在是21页\一共有77页\编辑于星期四建立特征点对?现在是22页\一共有77页\编辑于星期四对比兴趣点邻域范围的图像块的特征描述子()()=?feature

descriptorfeature

descriptor?建立特征点对现在是23页\一共有77页\编辑于星期四特征描述子假设每个图像块已经被归一化，怎样描述各个图像块的相似性?特征描述需要具有对光照变化，噪声，图像模式的不变性现在是24页\一共有77页\编辑于星期四最简单的描述子：图像灰度向量怎样比较两个向量的相似性?Sumofsquareddifferences(SSD)

不具有光照不变性

Normalizedcorrelation

具有光照仿射不变性特征描述子现在是25页\一共有77页\编辑于星期四特征描述子直接将图像块作为描述子的不足:小的改变就会影响匹配结果

解决办法:直方图02p现在是26页\一共有77页\编辑于星期四描述子计算过程:将每个图像块分成4x4个子块在每个子块内计算方向梯度直方图(8个参考方向)最终生成的描述子:4x4x8=128维DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.特征描述子:SIFT现在是27页\一共有77页\编辑于星期四描述子计算过程:将每个图像块分成4x4个子块在每个子块内计算方向梯度直方图(8个参考方向)最终生成的描述子:4x4x8=128维

与直接用像素值相比的优势梯度对于光照变化不敏感实现了对于小变化的鲁棒性,仍然保留了空间信息DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.特征描述子:SIFT现在是28页\一共有77页\编辑于星期四特征匹配?生成特征点对:对于图像中每个子块，在其它图像中找到和它相似的一系列候选匹配块现在是29页\一共有77页\编辑于星期四特征空间内外点的排除怎样判断哪些特征点对是可靠的？启发式:比较特征空间内最近邻的距离和次近邻的距离对于那些不太明确的特征队而言，最近邻的距离和次近邻的距离的比值通常会比较大DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.Thresholdof0.8providesgoodseparation现在是30页\一共有77页\编辑于星期四外点的处理几何拟合方法:RANSACHoughtransform现在是31页\一共有77页\编辑于星期四RANSACRANSACloop:RandomlyselectaseedgroupofmatchesComputetransformationfromseedgroupFindinlierstothistransformationIfthenumberofinliersissufficientlylarge,re-computeleast-squaresestimateoftransformationonalloftheinliers

Keepthetransformationwiththelargestnumberofinliers现在是32页\一共有77页\编辑于星期四RANSACexample:TranslationPutativematches现在是33页\一共有77页\编辑于星期四Selectonematch,countinliersRANSACexample:Translation现在是34页\一共有77页\编辑于星期四Selectonematch,countinliersRANSACexample:Translation现在是35页\一共有77页\编辑于星期四SelecttranslationwiththemostinliersRANSACexample:Translation现在是36页\一共有77页\编辑于星期四RANSAC的问题在许多实际应用中，外点所占的比例很高(90%以上)另一种改进方法:Houghtransform现在是37页\一共有77页\编辑于星期四HoughtransformRecall:GeneralizedHoughtransformB.Leibe,A.Leonardis,andB.Schiele,CombinedObjectCategorizationandSegmentationwithanImplicitShapeModel,ECCVWorkshoponStatisticalLearninginComputerVision2004modelvisualcodewordwith

displacementvectorstestimage现在是38页\一共有77页\编辑于星期四Houghtransform假如提取的特征具有尺度和旋转不变性这样单个特征匹配就能提供一种可能的对准(translation,scale,orientation)DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.model现在是39页\一共有77页\编辑于星期四假如提取的特征具有尺度和旋转不变性这样单个特征匹配就能提供一种可能的对准(translation,scale,orientation)当然这种对准是不可靠的解决办法:将各种可能的对准映射到Hough空间中投票，选择得分最高的DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.modelHoughtransform现在是40页\一共有77页\编辑于星期四基于几何不变量的标注基于不变量描述子的匹配能够生成一个可能的变换关系modelindex现在是41页\一共有77页\编辑于星期四基于几何不变量的标注modeltestimageindex基于不变量描述子的匹配能够生成一个可能的变换关系现在是42页\一共有77页\编辑于星期四仿射变换的处理单应性-Homography:

平面射影变换(使得一个四边形变成另一个任意的四边形)现在是43页\一共有77页\编辑于星期四单应性-Homography单相机不同视角

不同相机同一场景现在是44页\一共有77页\编辑于星期四应用:全景拼接现在是45页\一共有77页\编辑于星期四单应性拟合齐次坐标Convertingtohomogenenous

imagecoordinatesConvertingfromhomogenenous

imagecoordinates现在是46页\一共有77页\编辑于星期四单应性拟合齐次坐标Convertingtohomogenenous

imagecoordinatesConvertingfromhomogenenous

imagecoordinates单应性方程现在是47页\一共有77页\编辑于星期四单应性方程3equations,only2linearly

independent单应性拟合现在是48页\一共有77页\编辑于星期四直接线性变换H有8个自由度(9个参数,但尺度是任意的)一个匹配特征对能够建立两个独立方程最少要4个匹配特征对一般需要多于4个点对:通过最小二乘拟合得到最优解现在是49页\一共有77页\编辑于星期四Example:RecognisingPanoramasM.BrownandD.Lowe,UniversityofBritishColumbia现在是50页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?现在是51页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?1DRotations(q)Orderingmatchingimages现在是52页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?1DRotations(q)Orderingmatchingimages现在是53页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?1DRotations(q)Orderingmatchingimages现在是54页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?2DRotations(q,f)Orderingmatchingimages1DRotations(q)Orderingmatchingimages现在是55页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?1DRotations(q)Orderingmatchingimages2DRotations(q,f)Orderingmatchingimages现在是56页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?1DRotations(q)Orderingmatchingimages2DRotations(q,f)Orderingmatchingimages现在是57页\一共有77页\编辑于星期四Why“RecognisingPanoramas”?现在是58页\一共有77页\编辑于星期四OverviewFeatureMatchingImageMatchingBundleAdjustmentMulti-bandBlendingResultsConclusions现在是59页\一共有77页\编辑于星期四RANSACforHomography现在是60页\一共有77页\编辑于星期四RANSACforHomography现在是61页\一共有77页\编辑于星期四RANSACforHomography现在是62页\一共有77页\编辑于星期四Probabilisticmodelforverification现在是63页\一共有77页\编辑于星期四Findingthepanoramas现在是64页\一共有77页\编辑于星期四Findingthepanoramas现在是65页\一共有77页\编辑于星期四Findingthepanoramas现在是66页\一共有77页\编辑于星期四Findingthepanoramas现在是67页\一共有77页\编辑于星期四ParameteriseeachcamerabyrotationandfocallengthThisgivespairwisehomographiesHomographyforRotation现在是68页\一共有77页\编辑于星期四BundleAdjustme