第5讲+几何变换与图像配准

1、第5讲 几何变换与图像配准提出问题：v如何对二维图像进行方向、尺寸和形状方面的变换v如何方便地实现在显示设备上对二维图像进行观察 图像的几何变换是指对图像的几何信息经过平移、比例、旋转等变换后产生新的图像，是图像在方向、尺寸和形状方面的变换。基本概念几何变换二维图像几何变换n平移变换n旋转变换n比例变换 基本几何变换都是相对于坐标原点和坐标轴进行的几何变换二维变换矩阵 smlqdcpbayxTyxyxD1112T1：比例、旋转、对称、错切T2：平移T3：投影T4：整体缩放T1T1T3T3T2T2T4T4平移是一种不产生变形而移动物体的刚 体 变 换 （ r i g i d - b o d y

2、transformation）YXTxTy图6-1 平移变换PPT平移变换平移是指将p点沿直线路径从一个坐标位置移到另一个坐标位置的重定位过程。TyyyTxxxTx，Ty称为平移矢量1010001yxTT推导：矩阵：平移变换 smlqdcpbayxTyxyxD1112x=x+Tx,y=y+Ty比例变换 比例变换是指对p点相对于坐标原点沿x方向放缩Sx倍，沿y方向放缩Sy倍。其中Sx和Sy称为比例系数。YX图6-2 比例变换(Sx=2,Sy=3)P(4,3)P(2,1)yxysyxsx推导：矩阵：1000000yxSS比例变换 smlqdcpbayxTyxyxD1112x=Sx*X,y=Sy*Y

3、(a) Sx=Sy比例原图(b) SxSy比例原图图6-3 比例变换SxSySx=Sy1Sx=Sy1时缩还是放？ smlqdcpbayxTyxyxD1112x y 1=x y s=x/s y/s s/s旋转变换 二维旋转是指将p点绕坐标原点转动某个角度（逆时针为正，顺时针为负）得到新的点p的重定位过程。YX图6-4 旋转变换PPrrX = rcos(a+) = rcosacos-rsinasin = x cos -y siny= rsin(a+) = rcosasin+rsinacos = x sin +y cos推导：矩阵：逆时针旋转角1000cossin0sincos顺时针旋转角?旋转变换

4、 smlqdcpbayxTyxyxD1112X = rcos(a+) = rcosacos-rsinasin = x cos -y siny= rsin(a+) = rcosasin+rsinacos = x sin +y cos简化计算（很小） 100010111yxyx旋转变换对称变换对称变换后的图像是原图像关于某一轴线或原点的镜像。XY(a)关于x轴对称XY(b)关于y轴对称XY(c)关于原点对称XY(d)关于x=y对称XY(e)关于x=-y对称对称变换对称变换后的图像是原图像关于某一轴线或原点的镜像。(1)关于x轴对称100010001YXP(x,-y)P(x,y)(a)关于x轴对称对

5、称变换XY(a)关于x轴对称(2)关于y轴对称YXP(-x,y)p(x,y)(b)关于y轴对称100010001对称变换XY(b)关于y轴对称(3)关于原点对称YXP(x,y)(c)关于原点对称100010001XY(c)关于原点对称对称变换(4)关于y=x轴对称YXp(x,y)p(y,x)x=y(d)关于x=y对称100001010对称变换XY(d)关于x=y对称(5)关于y=-x轴对称YXP(-y,-x)P(x,y)x=-y(e)关于x=-y对称100001010对称变换XY(e)关于x=-y对称错切变换 错切变换，也称为剪切、错位变换，用于产生弹性物体的变形处理。YXYXYX(a) 原图

6、(b) 沿x方向错切(c) 沿y方向错切图6-7 错切变换其变换矩阵为： 1000101bd(1)沿x方向错切(2)沿y方向错切(3)两个方向错切错切变换二维图像几何变换的计算几何变换均可表示成 P = P * T 的形式：1. 点的变换2. 直线的变换3. 多边形的变换4. 曲线的变换4.1.3 复合变换复合变换是指：n图像作一次以上的几何变换，变换结果是每次的变换矩阵相乘。n任何一复杂的几何变换都可以看作基本几何变换的组合形式。复合变换具有形式：) 1( )(321321nTTTTPTTTTPTPPnn6.3.1 二维复合平移两个连续平移是加性的。6.3.2 二维复合比例连续比例变换是相乘

7、的。6.3.3 二维复合旋转两个连续旋转是相加的。可写为：)(21)()(21RRRR4.1.3 复合变换其它二维复合变换1000cos000cos100010110001011000cos000cos1000 cos sin0 sincostgtgtgtgR4.1.3 复合变换6.3.5 相对任一参考点的二维几何变换相对某个参考点(xF,yF)作二维几何变换，其变换过程为：(1) 平移(2) 针对原点进行二维几何变换。(3) 反平移复合变换xyF(xF,yF)oPP相对任一参考点的二维几何变换例1. 相对点(xF,yF)的旋转变换xyF(xF,yF)oPxyoPPxyoPPTxTyTx=-

8、xF Ty=- yFxyoPTxTyTx= xF Ty= yFP相对任意方向的二维几何变换 相对任意方向作二维几何变换，其变换的过程是：(1) 旋转变换(2) 针对坐标轴进行二维几何变换；(3) 反向旋转例3. 相对直线 y=x 的反射变换复合变换例4. 将正方形ABCO各点沿图6-8所示的(0,0)(1,1)方向进行拉伸，结果为如图所示的，写出其变换矩阵和变换过程。YX13/21/21/23/222图6-8 针对固定方向的拉伸OABCCBA复合变换坐标系之间的变换问题：图6-9 坐标系间的变换xyxyOOx0y0p(xp,yp)复合变换分析：xyyOO(x0,y0)图6-11 坐标系变换的变

9、换原理xp,也即pp*pxpy *xOp*yOp坐标系之间的变换可以分两步进行：xyyOOx0y0 x(a)将xy坐标系的原点平移到xy坐标系的原点p(xp,yp)xyOyx(b)将x轴旋转到x轴上p(xp,yp)坐标系之间的变换于是： RTtTpTpTpypxpypxp11坐标系之间的变换变换的性质n仿射变换具有平行线不变性和有限点数目的不变性n平移、比例、旋转、错切和反射等变换均是二维仿射变换的特例，反过来，任何常用的二维仿射变换总可以表示为这五种变换的复合。 ndycxymbyaxx二维仿射变换是具有如下形式的二维坐标变换： 二维几何变换具有如下一些性质：v直线的中点不变性；v平行直线不

10、变性；v相交不变性；v仅包含旋转、平移和反射的仿射变换维持角度和长度的不变性；v比例变化可改变图像的大小和形状；v错切变化引起图像角度关系的改变，甚至导致图像发生畸变。变换的性质复原图像复原图像失真图像失真图像(x 0,y 0)(x0,y0) 将距非网格点将距非网格点(x 0,y 0)最近的灰度值作为最近的灰度值作为(x 0,y 0)的灰度值，之后再赋给的灰度值，之后再赋给(x0,y0)。 边缘处会产生锯齿边缘处会产生锯齿(2,3)2. 线性内插法 用用(x 0,y 0)周围周围4个像素的灰度值，按距离加个像素的灰度值，按距离加权因子求出的平均值作为权因子求出的平均值作为(x0,y0)的灰度值

11、。的灰度值。(x 0,y 0)(x ,y )(x ,y )(x ,y +1)(x +1,y )(x +1,y +1) 1- 1- n线性内插法会使边缘产生模糊) 1, 1()1)(, 1()1 () 1,()1)(1)(,(),(00yxfyxfyxfyxfyxf图图 像像 配配 准准图像配准的用途意义n图图像配准（或像配准（或图图像匹配）是评价两幅或多像匹配）是评价两幅或多幅幅图图像的相似性以确定同名点的过程。像的相似性以确定同名点的过程。图图像配准算法就是设法建立两幅图像之间的像配准算法就是设法建立两幅图像之间的对应关系对应关系, ,确定相应几何变换参数确定相应几何变换参数, ,对两幅对两

12、幅图像中的一幅进行几何变换的方法。图像中的一幅进行几何变换的方法。n图像配准是图像分析和处理的基本问题。图像配准是图像分析和处理的基本问题。它在它在航空影像自动制图、图像三维重构、航空影像自动制图、图像三维重构、计算机视觉、计算机视觉、遥感融合、模式识别、医学遥感融合、模式识别、医学图像处理图像处理、影像分析、影像分析等领域都有重要应用。等领域都有重要应用。 图像配准参考图像（主图像） 待配准图像（辅图像） 配准图像用词说明n各种图像配准的文献都会出现各种图像配准的文献都会出现“配准、匹配准、匹配、几何校正配、几何校正”三个词，它们的含义比较三个词，它们的含义比较相似。相似。n一般两幅图像之间

13、用一般两幅图像之间用“配准（配准（register, registration）”；寻找同名特征；寻找同名特征(点点) 的过程叫的过程叫“匹配（匹配（match, matching）”; 根据主辅图像之间的几根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做为配准图像的过程叫做“几何校正几何校正（geometric correction）”。配准方法分类n按照配准算法所利用的图像信息，可以分为按照配准算法所利用的图像信息，可以分为基于区域的方法基于区域的方法和和基于特征的方法基于特征的方法 。基于。基于区域的匹配主要是模板匹配和基于

14、相位（频区域的匹配主要是模板匹配和基于相位（频率）的匹配方法；基于特征的匹配包括基于率）的匹配方法；基于特征的匹配包括基于特征点集的匹配和基于线特征（图像中边缘特征点集的匹配和基于线特征（图像中边缘信息）的匹配算法。信息）的匹配算法。n按自动化程度可以分为人工、半自动和全自按自动化程度可以分为人工、半自动和全自动三种类型动三种类型 。模板匹配n模板匹配法是在一幅影像中选取一个的影像模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为窗口作模板，大小通常为55或或77，然，然后通过相关函数的计算来找到它在搜索图中后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板的坐标位置。设模板T

15、放在搜索图放在搜索图S上平移，上平移，模板覆盖下的那块搜索图叫做子图模板覆盖下的那块搜索图叫做子图Si,j，子，子图的中心点在图的中心点在S图中的坐标图中的坐标(i,j)，叫参考点。，叫参考点。 相似性测度n用以下测度来衡量用以下测度来衡量T和和Si,j的相似程度：的相似程度：n根据施瓦兹不等式，根据施瓦兹不等式， 并且在并且在 比值为常数时取极大值为比值为常数时取极大值为1。但实际上两幅不同。但实际上两幅不同图像的图像的P值介于值介于0和和1之间，很难达到理想值。之间，很难达到理想值。根据经验取某个阈值根据经验取某个阈值P0，如果，如果P P0，则匹配，则匹配成功；成功； P P0，则匹配失

16、败。，则匹配失败。MmMnMmMnjiMmMnjinmTnmSnmTnmSP112112,11,),(),(),(),(10 P),(),(,nmTnmSji金字塔模板匹配n为了加快搜索速度，很多影像匹配方法使为了加快搜索速度，很多影像匹配方法使用金字塔影像。用金字塔影像。n对影像进行一次采样率为对影像进行一次采样率为1/n(n=2,3)的重采样，即把影像的每的重采样，即把影像的每nn个像素变个像素变为一个像素，这样就得到一对长、宽都为为一个像素，这样就得到一对长、宽都为原来原来1/n的影像，把它作为金字塔的第的影像，把它作为金字塔的第二层。二层。n再对第二层用同样方法进行一次采样率为再对第二层用同样方法进行一次采样率为1/n的重采样，又得到第三层（顶层）。的重采样，又得到第三层（顶层）。 n原始影像作为金字塔影像的底层。原始影像作为金字塔影像的底层。Moravec算子nMoravec算子是利用灰度方差提取特征点算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最的算子，它在四个主要方向上，选择具有最大大-最小灰度方差的点作为特征点。其步骤为：最小灰度方差的点作为特征点。其步骤为： 1 1 计算各像元的兴趣值（计算各像元的兴趣值（Interest Value）。在以像素为中心）