图像处理第6章 图像校正和修补

本章主要内容图像仿射变换几何失真校正图像修复区域填充第六章图像校正和修补不同位置具有不同灰度的像素构成一幅灰度图像，图像的退化反映在像素的位置及灰度变化上，因此恢复像素的位置和灰度也就是恢复图像。几何失真：像素位置发生改变；图像缺损：像素灰度发生改变。6.1图像仿射变换1、定义：

一个仿射变换是一个非奇异线性变换接一个平移变换。矩阵表达为：{仿射变换可看作对基本坐标变换的扩展}6.1.1一般仿射变换用分块矩阵表达：式中，A是一个2×2的非奇异矩阵；t是一个2×1的矢量；0是一个2×1矢量。一个平面上的仿射有6个自由度，对应6个矩阵元素（4个对应矩阵A的元素，两个对应矢量t的元素）图6.1.1对多边形进行放射变换得到的结果如下图6.1.1，分别表示2、分解放射变换的本质是在一个特定的角度上对两个相互正交的方向上进行放缩，所以可以把A分解成两个基本变换的组合：一个非各向同性放缩和一个旋转,即其中，R(θ)和R(ϕ)分别表示旋转θ和ϕ的角度；D是对角矩阵：(6.1.3)(6.1.4)

所以仿射矩阵A可以看作是先进行一个旋转(ϕ)，然后沿X、Y方向分别放缩λ1和λ2，接着旋转回去(-ϕ)，最后再进行一个旋转(θ)的级联。虚线代表变换前，实线代表变换后。

6.1.2仿射变换的分解结果非各向同性放缩变形旋转R（θ）

仿射变换可以看作是平移、放缩、旋转和剪切变换的一种综合。不考虑平移，矩阵A可分解为旋转、剪切和放缩变换矩阵的级联：放缩剪切旋转(6.1.5)其中参数Sx、Sy、Jx和θ可根据矩阵系数来计算：式中，det(A)是矩阵A的行列式。剪切变换和旋转变换可利用第二章式（2.1.17）的3步剪切变换进行如下修正同时实现：所以，仿射变换可利用上式的剪切变换后加一个放缩变换来计算(6.1.6)3、系数

仿射变换也可直接表示成从（x,y）到（x',y'）的如下变换：如果令D=SxSy-JxJy表示矩阵的行列式，则反变换可写成：图6.1.3

4个系数在仿射变换中的作用示意4、性质仿射变换有如下性质：（1）仿射变换将有限点映射为有限点，即能建立历一一对应的关系；（2）仿射变换将直线映射为直线；（3）仿射变换将平行直线映射为平行直线；（4）当区域P和Q是没有退化的三角形（即面积不为0），那么存在一个唯一的仿射变换A可将P映射为Q，即Q=A(P);（5）仿射变换将导致区域面积的变化。下面对第5个性质给以解释：(说明面积变化是仿射变换的后果之一)

仿射变换可分解为包括剪切变化的多个变换。当正方形受到X方向的剪切作用会变成菱形，如下图：图6.1.4剪切造成的变形

虽然剪切本身不改变面积，但剪切后单方向的伸缩会导致面积变化，一般区域的面积为:S=SxSy-JxJy

图6.1.5剪切和剪切后的正方形图6.1.5显示了一个单位正方形的4个角点坐标是如何受到放射变换的影响。Sx=Sy=1,Jx=0.5,Jy=0.3时，正方形的面积缩小为0.85；如果剪切系数较小，且JxJy<<SxSy,则剪切不会过多地影响面积的变化，面积仍几乎为SxSy；如果图中菱形受到延长对角线方向的压缩，剪切后的形状能被压回到一个正方形的样子，但这个正方形相对于原来的正方形旋转了41°。可见恰当地组合伸缩和剪切系数能产生简单的旋转，当Sx=Sy=cosθ,Jx=sinθ和Jy=-sinθ时，就能得到这样的结果，此时面积变化SxSy-JxJy=1。6.1.2特殊仿射变换1、相似变换相似变换的矩阵表达为（逆时针为正）：或用分块矩阵写成：

式中，s表示各向同性放缩；R表示一个特殊的2×2正交矩阵（RTR=RRT=I,且det(R)=1）,对应旋转。平面上的相似变换有4个自由度，所以可根据两组点的对应性来计算。（6.1.13）

一个相似变换可以保持两条曲线在交点处的角度，解释为保形性，所以相似变换又被称为同形变换。如下图：图6.1.6对区域进行相似变换得到的结果与一般仿射变换相比，这里没有非各向同性放缩，所以相似变换比仿射变换少两个自由度。具体来说就是没有表示放缩方向的角度ϕ和表示两个放缩参数λ1和λ2的比值。左边为原图；1,2,3分别对应s=1.5,θ=-90°,t=[1,0]T;s=1,θ=180°，t=[4,8]T;s=0.5,θ=0°，t=[5,7]T。2、等距变换等距变换的矩阵表达为（逆时针为正）：或用分块矩阵表达为：式中，e=±1,R是一个一般的正交矩阵，det(R)=±1。（6.1.15）（6.1.16）

等距变换保持了两个点之间的所有距离，也就是对任意两点p、q，他们变换前后距离相等。等距变换有四个自由度（与相似变换相比少了各向同性放缩，但e可选正负1），所以可根据两组点的对应性来算。e=1,θ=-90oT=(2,0)Te=-1,θ=180oT=(4,8)Te=1,θ=0oT=(5,6)T由上可见，如果e=1，那么等距变换可以保持朝向；如果e=-1，那么将反转朝向,即此时的矩阵R相当于前一种情况的R与一个镜像表示的组合。3、欧式变换欧式变换的矩阵表达为（逆时针为正）：或分块矩阵为：式中，R是一个特殊的正交矩阵，det(R)=1,这里e固定取了1。

一个欧式运动是先旋转（可看做是特殊的正交变换）后平移的组合，所以欧式变换可表达刚提的运动。平面上的欧式变换有3个自由度，所以可根据两组点的对应性来计算。θ=-90oT=(2,0)Tθ=0oT=(4,6)Tθ=90oT=(2,4)T

若两个区域P和Q是用欧式变换联系在一起的，则可以说着这两个两个区域是全等的或叠合的或同余的。6.1.3变换间的联系1、变换的层次

在最一般的仿射变换下，相似变换、等距变换和欧式变换逐步专门化。相似变换是仿射变换的特例等距变换是相似变换的特例欧式变换时等距变换的特例2、变换的对比表6.1.1变换的对比由于它们的自由度不同，所以要确定变换矩阵所需要对应点的组数也不同，各种变换都可以分解为一些更基本变换的组合。低层次的变换继承了高层次变换的不变量，在高层次上的变换能产生在低层次上的变换所产生的所有结果，并且还可使变换对象的形状产生更复杂的变化。6.2几何失真校正

对图像的几何失真校正是坐标变换的一种具体应用。主要包括两个工作：

1、空间变换：对图像平面上的像素进行重新排列以恢复原空间关系；

2、灰度插值：对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值6.2.1空间变换

几何失真模型：图像f(x,y)受几何形变的影响变成失真图像g(x',y')。可表示为x'=s(x,y)

y'=t(x,y)

其中s(x,y)和t(x,y)代表产生几何失真图像的两个空间变换函数。线性失真时：s(x,y)=k1x+k2y+k3t(x,y)=k4x+k5y+k6非线性失真时：s(x,y)=k1+k2x+k3y+k4x2+k5xy+k6y2t(x,y)=k7+k8x+k9y+k10x2+k11xy+k12y2（6.2.1）（6.2.2）

在输入图（失真图）和输出图（校正图）之间找到一些位置确定知道的点，然后利用这些点建立这两幅图之间其他像素空间位置的对应关系。图6.2.1失真图像和校正图的对应点两个四边形的顶点作为对应点。四边形区域内几何失真过程用一堆双线性等式表示：

四组对应点解八个系数,将一幅图分成一系列覆盖全图的四边形区域的集合，对每个区域都找足够的对应点以计算进行映射所需要的系数。s(x,y)=k1x+k2y+k3xy+k4t(x,y)=k5x+k6y+k7xy+k8带入式(6.2.1)和(6.2.2)，就可得到失真前后两图坐标间关系：x'=k1x+k2y+k3xy+k4y'=k5x+k6y+k7xy+k8(6.2.7)(6.2.8)(6.2.9)(6.2.10)6.2.2灰度插值灰度插值：失真图像g(x',y')是数字图像，其像素值仅在坐标为整数处有定义，所以在非整数处的像素值就要用其周围一些整数处的像素值来计算，这叫做灰度插值。图6.2.2

灰度插值示意图将离（x',y'）最近的像素的灰度值作为（x',y'）的灰度值赋给原图（x,y）处像素原始不失真图失真图1、前向映射和后向映射前向映射：将实际采集的失真图像坐标向原始的不失真图像映射。后向映射：将原始的不失真图像坐标反映射到实际采集的失真图像中。失真图像中像素点映射到不是真图像的四个像素点之间，所以最后灰度由许多失真图的像素之和决定。失真图想中像素点对应到不是真图像的4个像素之间，则先根据插值算法计算出该位置的灰度，再将其映射给不是真图像的对应像素。前向映射和后向映射对比：

前向映射缺点：

1,有一些失真图像坐标可能会映射到不失真图像之外，产生计算方面的浪费；2，不失真图像的许多像素的灰度将由许多失真图像像素的贡献之和决定，需要较多的寻址；3，不失真图像中像素的灰度并不与失真图像中像素的灰度有一一对应关系，不能采用最近邻插值；4，有可能不失真图像中某些像素得不到来自失真图像的赋值（产生孔洞），而有些像素得到来自失真图像的过多赋值。

将像素看成一个正方形，并将不失真图像中像素被失真图像中像素覆盖的面积作为分配权值（左图），后向映射不失真图像是逐个像素得到的，而每个像素的灰度是由一步映射确定的。既可以避免在不失真图像中产生空洞，也不需要重复计算多个失真图像像素的贡献值之和，所以后向映射在实际应用中更为广泛（右图）。图6.2.4前向映射和后向映射对比2、插值灰度的计算

对插值灰度的计算方法有很多种，最简单的是最近邻插值，就是将离（x',y'）点最近的像素的灰度值作为（x',y'）点的灰度值赋给原图(x,y)处像素。这种方法计算量小，但有时不够精确（例图6.2.2）。双线性插值：利用（x',y'）点的4个最近邻像素的灰度值来计算（x',y'）处的灰度值（参考图6.2.5）。1、（x',y'）最邻近像素为A,B,C,D,坐标分别为(i,j),(i+1,j),(i,j+1),(i+1,j+1),灰度值分别为g(A),g(B),g(C),g(D)则E,F两点的灰度值为：g(E)=(x'-i)[g(B)-g(A)]+g(A)g(F)=(x'-i)[g(D)-g(C)]+g(C)则（x',y'）点的灰度值g(x',y')为g(x',y')=(x'-j)[g(F)-g(E)]+g(E)图6.2.5

双线性插值虽然前面的水平插值和垂直插值均是线性的，但在一般情况下，他们的串行使用导致对4个最近邻像素的一个非线性表面拟合。2、

利用（x',y'）点任意3个不共线的邻近像素来计算（x',y'）点处的灰度值。再根据g(C),g(E)就可计算（x',y'）点处的灰度值图6.2.6用三个邻近像素点进行双线性插值三线性插值：

如需更高精度，可采用三线性插值方法。它利用点（x',y'）的16个最邻近像素的灰度值来计算其灰度值。计算公式为：

其中Wx，Wy为横坐标和纵坐标的插值的加权值。右图为计算方法。图6.2.7三次线性插值方法6.3图像修复

图像中部分区域缺损，像素灰度急剧改变，使图像不完整的情况：1、在采集有遮挡的场景图象或扫描有破损的老图片时产生的部分内容的缺失；2、在图象加工中去除特定区域(无关景物)后留下的空白；3、图象上覆盖文字或受到干扰（照片撕裂或有划痕）导致的变化4、对图象进行有损压缩时而造成的部分信息丢失5、在（网络上）传输数据时由于网络故障所导致的象素丢失解决上述问题的方法称为图像修补6.3.1图像修补原理图像修补：基于不完整的图象和对原始图象的先验知识，通过采用相应的方法纠正或校正前述区域缺损问题以达到恢复图象原貌的目的。修补可分为修复（插补）和补全（填充）两种。修复（插补）：修补尺度较小的区域，利用局部结构信息；补全（填充）：修补尺度较大的区域，考虑整图纹理信息。两者均是要将图像中确实信息部分补全和复原，相互之间在尺度上并没有严格的界限。区别是技术上修复多利用图像的局部结构信息而不特别利用区域的纹理信息，填充则常需考虑整幅图像并借助纹理信息；功能上修复多用于图像复原，填充多用于景物移除。如果对图像中信息缺失的部分没有任何先验知识或对缺失的原因不了解，对图像的修补是一个病态的问题，解是不确定的。图像修补的困难来源于三个方面：1、领域复杂性：需修补区域随应用而不相同；2、图象复杂性：性质在不同尺度表现不同；3、模式复杂性：考虑视觉上有意义的模式。图6.3.1模式复杂性示例

图像缺损作为图像退化的一种特殊情况，其中的某些区域有可能完全丢失，但其他的区域有可能完全没有改变。

如果原始图象f(x,y)，其分布的空间区域用F表示；缺失部分为d(x,y)，其空间区域用D表示；待修补图象g(x,y)，其分布的空间区域也是F。所谓修补就是要用保持原状的空间区域，即F-D中的信息去估算和恢复D中缺失的信息。6.3.2图像修补中各区域示意原始图像待修补图像，D是待修补区域源区域：图中F-D部分，代表原图像中可用来修补区域D的部分；靶区域：图中待修补区域D部分。

借助（5.1.1）的退化模型，图像修补模型可表示为：没有发生退化的部分（6.3.1）目标是根据上式来估计和复原{f(x,y)}D。效果上，一方面修补后区域D中的灰度、颜色和纹理等应与D周围的灰度、颜色和纹理等相对应或协调；另一方面D周围的结构信息应可延伸到D的内部。关于图像修补的示例，参考书中例6.3.1。此处不过讲解。6.3.2全变分模型

全变分模型可用于去除划痕或尺寸较小靶区域的修复，它是一种基本和典型的图像修补模型，全变分算法是一种非各向同性的扩散算法，可用于在去噪的同时保持边缘的连续性和尖锐性。这种方法可以很好地保持图像中的线性结构，缺点是不一定能保持图像细节。扩散的代价函数：（6.3.2）式中，▽f为f

的梯度，为去除噪声，还要受到下面约束条件：目标是使待修复区域及其边界部分尽可能平滑式中，||F-D||为区域F-D的面积，σ是噪声均方差。该6.3.3式作用是使修复过程对噪声比较鲁棒。（6.3.3）

借助拉格朗日因子将上两式结合起来将有约束问题转化成无约束问题：引入扩展的拉格朗日因子λD:则泛函数（6.3.4）成为：（6.3.4）（6.3.5）（6.3.6）根据分变原理，得到对应的能量梯度下降方程：式中，代表散度。此式为一个非线性反应扩散方程，扩散系数为1/∣▽f∣。在待修复区域D的内部λD为0，此式退化为纯粹的扩散方程；而在待修复区域D的周围，此式的第二项使方程的解趋于原始图像。对此方程解偏微分就可获得原始图像。 （6.3.7）6.3.3混合模型前面介绍的全变分模型中，扩散只向梯度的正交方向（即边缘方向）进行，而不向梯度方向进行，使得全变分模型可能产生虚假轮廓。将全变分模型中代价函数里的梯度项改为梯度平方项：考虑约束条件并转化成无约束问题，再借助扩展拉格朗日因子得：这样得到一个调和模型。调和模型是一种各向同性的扩散，没有对边缘方向和梯度方向加以区别，所以可以减弱虚假轮廓现象，但可能导致边缘产生一定的模糊。（6.3.8）（6.3.9）两种模型的加权和的混合模型：代价函数里的梯度项取为：式中，h∈（0,1），为加权参数。混合模型的泛函为：结合两种模型的混合模型（P-调和模型）：代价函数的梯度项取为：式中，p∈（1,2）为控制参数。P-调和模型的泛函为：h=1时为全变分模型p=1时为全变分模型，p=2时为调和模型，1<p<2时试图在两个模型间取得一个较好的平衡（6.3.10）6.4区域填充

6.3节介绍的方法对修复尺度小的缺失区域比较有效，但当缺失区域尺度比较大时会出现一些问题。如扩散造成一定的模糊，且程度随缺失区域的尺度增加而增加；还有可能产生内外纹理特性差别较大的问题，导致修复不理想。解决上述问题的基本思路包括以下两种：(1)将图象分解为结构部分和纹理部分，对结构性强的部分用扩散方法进行插补，而对纹理明显的部分则借助纹理合成的技术进行填充；(2)在图象未退化部分选择一些样本块，用这些样本块来替代拟填充区域边界处的图象块（这些块的未退化部分与所选样本块有接近的特性），并逐步向拟填充区域内部递进填充。

基于第1种思路的方法是一种混合的方法，扩散的方法借助了结构信息，但要完全用纹理合成来填补大面积靶区域仍有一定风险和难度；基于第2种思路的方法常称为基于样本的图象填充方法。这类方法直接用源区域中的信息（包括纹理信息）来填补靶区域。与基于偏微分方程的扩散方法相比，基于样本的方法在填补纹理内容方面常可取得更好的结果，尤其是靶区域的尺度比较大时。6.4.1基于样本的方法

基于样本的图像补全方法使用保持原状的空间区域去估计和填充待修补部分中缺失的信息。整个填充过程是迭代进行的，包括以下3个步骤：(1)计算图象块的优先权填充图象块的工作是从外向里进行的，先填充具有较强连续边缘（人对边缘信息更敏感）的区域和其中已知信息较多的区域。以边界点p为中心的图象块P(p)的优先权值的计算：

式中，第一项C(p)也称为置信度项，表示当前图像块中完好像素点所占比例；第二项D(P)也称为数据项，是在点p的等照度线（灰度值相等的线）与单位法向量的内积。(2)传播纹理和结构信息先确定出具有最高优先权的图象块（靶区域），然后从源区域中选图象块数据来填充它，和要使两个图象块中已填充象素的平方差的最小。这样填充的结果可将纹理和结构都从源区域传播到靶区域中。(3)更新置信