数字图像图像复原

图像复原◆5.0概述◆5.1退化模型◆5.2常见退化模型及辨识方法◆5.3图像的无约束恢复◆5.4图像的有约束最小二乘恢复◆5.5几何畸变图像的恢复5.6超分辨率图像复原第5章图象恢复降质举例：宇航、卫星、航空测绘、遥感、天文学中所得照片，由于大气湍流，光学系统的相差及摄像机与物体之间的相对运动等，会使图像降质。

退化图像：由于各种原因，使得原清晰图像变模糊，或者原图像没有达到应有的质量而形成的降质图像。5.0概述

图像恢复（复原）：使退化图像恢复本来面目。

图像恢复过程及其关键：根据图像降质过程的某些先验知识，建立“退化（降质）模型”，运用和退化相反的过程，将退化图像恢复。

图像恢复准则：要用某一客观标准来度量，则为某种准则下的最优估计。5.0概述图像质量的客观评价差值测度第5页

相关测度所以有第6页

数字图像的逼真度均方误差能量归一化均方误差第7页

倒数为均方信噪比峰值归一化均方差峰值信噪比第8页

◘图像恢复与图像增强的异同点相同点：图像增强与图像恢复都是改善给定图像的质量。不同点：（1）图像恢复是利用退化过程的先验知识，来建立图像的退化模型，再采用与退化相反的过程来恢复图像，而图像增强一般无需对图像降质过程建立模型。（2）图像恢复是针对图像整体，以改善图像的整体质量。而图像增强是针对图像的局部，以改善图像的局部特性，如图像的平滑和锐化。5.0概述◘图像恢复与图像增强的异同点（3）图像恢复主要是利用图像退化过程来恢复图像的本来面目，它是一个客观过程，最终的结果必须要有一个客观的评价准则。而图像增强主要是用各种技术来改善图像的视觉效果，以适应人的心理、生理需要，而不考虑处理后图像是否与原图像相符，也就很少涉及统一的客观评价准则。5.0概述基本思路高质量图像退化了的图像复原的图像图像退化图像复原因果关系研究退化模型第12页第13页以后讨论中对降质模型H作以下假设：H是线性的H是空间（或移位）不变的对任一个f(x,y)和任一个常数α

和β都有：

Hf(x-α,y-β)=g(x-α,y-β)

就是说图像上任一点的运算结果只取决于该点的输入值，而与坐标位置无关。5.1图像退化模型5.1图像退化模型其中*表示卷积运算。如果H(·)是一个可分离系统，即则二维运算可以分解为列和行两次一维运算来代替5.1图像退化模型5.1图像退化模型在加性噪声情况下，图像退化模型可以表示为

其中n(x,y)为噪声图像5.1图像退化模型线性位移不变的图像退化模型则表示为：5.1图像退化模型重要结论一个线性系统完全可以由它的点扩散函数h(x,α,y,β)来表征。若系统的PSF已知，则系统在（x，y）点的输出响应可看成是不同坐标处输入函数所产生的脉冲响应在（x，y）处的叠加。而在实际降质过程中，降质的另一个复杂因素是随机噪声，考虑有噪声的图像恢复，必需知道噪声统计特性以及噪声和图像信号的相关情况，这是非常复杂的

Hf(x,y)n(x,y)实际中假设是白噪声——频谱密度为常数，且与图像不相关，（一般只要噪声带宽比图像带宽大得多时，此假设成立的），由此得出图像退化模型。

5.1图像退化模型离散退化模型

对图像及其点扩散函数进行均匀采样就可以得到离散退化模型，由于退化过程是卷积过程，线性卷积后点数变多5.1退化模型w(1)=u(1)*v(1)w(2)=u(1)*v(2)+u(2)*v(1)w(3)=u(1)*v(3)+u(2)*v(2)+u(3)*v(1)...w(n)=u(1)*v(n)+u(2)*v(n-1)+...+u(n)*v(1)...w(2*n-1)=u(n)*v(n)离散退化模型为了方便计算，需要将各函数进行延拓，具体如下所示：5.1退化模型所以线性时不变系统的离散退化模型为：该退化模型也称为变形退化模型，见图5.1.3所示，其中表示循环卷积。5.1退化模型图5.1.3

离散退化模型还可以用矩阵描述其中，f、g和表示MN×1维的列向量，分别是由M×N维的矩阵、和的各行堆积而成，如下所示：5.1退化模型H为MN*MN的矩阵，对于线性移不变系统具有如下特殊结构：可以看出H是一个分块循环矩阵，而其中Hi也是右移循环阵。这是由于在卷积时利用了矩阵的周期延拓性。

5.1退化模型第26页例：设，若忽略噪声，求退化模型。解：周期延拓M＝4，N＝5

第27页其中：

H2=H3=0循环矩阵H的对角化可以证明：任何一个循环矩阵或者分块循环矩阵，总存在非奇异矩阵使其对角化，且这个由循环矩阵的特征矢量构成的非奇异矩阵和循环矩阵的阵元无关。

5.1退化模型循环矩阵H的对角化

根据Hunt的结果，可以对H进行对角化，即W是一个大小为MN×MN维的矩阵，由M×M个大小为N×N的子块构成：

5.1退化模型从而D是一个对角矩阵由以上各式并结合：5.1退化模型式中表示对取整，kmodN表示对N除k取余数。

若，和分别是，和的二维傅立叶变换，则有（5.1.27）

这样整个的求解过程就得到了简化。如果系统是线性移不变的，在空间域中建立的退化模型可通过分块循环矩阵对角化导出频域中的恢复滤波器，将庞大的空域运算转化为相对较少的频域运算。上式对应于我们即将讨论的频域退化模型。5.1退化模型频域退化模型

相对于空域退化模型，在频域可利用DFT的快速算法FFT计算，以加速求解。5.1退化模型图5.1.4

退化函数h(m,n)的先验知识：

(1)h(m,n)是确定性并且非负的。

(2)h(m,n)具有有限支持域。

(3)退化过程并不损失图像的能量,即。

5.2常见退化函数及其辨识方法几种常见的退化模型

1.线性运动退化函数线性运动退化是由于目标与成像系统间的相对匀速直线运动形成的退化。水平方向的线性运动可以用以下退化函数来表示

其中d表示退化函数的长度。对于线性移动为其它方向的情况，也可以用类似的方法进行定义。

5.2常见退化函数及其辨识方法2.散焦退化函数几何光学的分析表明，光学系统散焦造成的图像退化对应的点扩散函数应该是一个均匀分布的圆形光斑，如图5.2.1（f）所能看到的。该退化函数可以表示为其中R是散焦斑的半径。在信噪比较高的情况下，在频域图上可以观察到圆形的轨迹。

5.2常见退化函数及其辨识方法3.高斯退化函数

高斯退化函数是许多光学测量系统和成像系统最常见的退化函数。在这些系统中，由于决定系统点扩散函数的因素较多，其综合结果往往使最终的点扩散函数趋于高斯型。其表达式为其中K是归一化常数，是一个正常数，C是的圆形支持域。由高斯退化函数的表达式可以看出，二维的高斯函数能够分解成两个一维的高斯函数的乘积，这一性质在图像恢复中很有意义。

5.2常见退化函数及其辨识方法5.2常见退化模型及其辨识方法（a）

（b）

（c）

（d）

（e）

（f）

图5.2.1散焦退化示例

（a）、（c）和（e）分别为原图像、线性运动模糊图像和散焦模糊图像；（b）、（d）和（f）分别为相应的频率幅度图。退化函数的辨识方法

1.图像观察法对于一幅模糊图像，首先提取包含简单结构的一小部分图像，然后根据这部分图像中目标和背景的灰度级，就可以构建一幅不模糊的图像，该图像与观察到的子图像具有相同的大小和特性。

假设系统为移不变的，从这一函数特性我们可以推出针对整幅图像的，它必然与具有相同的形状。5.2常见退化模型及其辨识方法2.试验估计法

可以使用与获取退化图像的设备相似的设备，那么利用相同的系统设置，就可以由成像一个脉冲（小亮点）得到退化函数的冲激响应。需要注意的是，这个亮点必须尽可能的亮，以达到减少噪声干扰的目的。这样由于冲激响应的傅立叶变换是一个常量，有其中与之前一样，表示观察图像的傅立叶变换；A为常量，表示冲激强度。

5.2常见退化模型及其辨识方法第40页第4章图像的灰度变换3.数学建模法在图像退化的多年研究中，对于一些退化环境已经建立了数学模型。其中有些是利用引起退化的物理环境来建立退化模型的，例如Hufnagel和Stanley提出的基于大气湍流物理特性的退化模型：其中k是常数，与湍流性质有关。

5.2常见退化模型及其辨识方法第42页第43页

假设理想图像在被记录的过程中经历了平面运动得到了图像；其在x和y方向的运动分别用时间函数x0(t)和y0(t)表示。为了孤立地讨论运动的影响，我们还假设其他可能引起模糊的因素，如快门开、闭时间，胶片冲洗不理想等等均不存在。那么，若曝光时间为T时，由于运动引起的模糊图像模型便是:上式进行傅立叶变换改变积分顺序利用傅立叶变换空间位移的性质F(u,v)与t无关，故令：所以这是已知的退化模型的傅立叶变换式，若x0(t)和y0(t)的特性已知，则传递函数H(u,v)可以求出。因此f(x,y)可以恢复出来。

设图像在x方向匀速运动，。即在快门开启时间T内移动了a距离，且在T内匀速运动。则

当，H(u,v)=0，无法用逆滤波的方法恢复。若图像宽度为L，当在区间0≤x≤L之外，f(x,y)为零或已知时，有可能避免这个问题。并可以对这一区间模糊图像g(x,y)的了解，恢复f(x,y)。

下图中：(a)模糊图像；(b)是用位移为31个象素，角度为11度的滤波器恢复的结果；

是用位移为62个象素，角度为11度的滤波器恢复的结果;(d)是用位移为31个象素，角度为22度的滤波器恢复的结果图像的无约束恢复第52页

在这一节我们要利用线性代数的方法，根据退化模型，在假定具备关于g、H和n的某些知识的情况下，寻求估计原图像f的某些方法。这种方法应在预先选定的最佳准则下，具有最优的性质。

我们将集中讨论在均方误差最小意义下，原图像f的最佳估计，因为它是各种可能准则中最简单易行的（其他准则例如：图像g和原图像f的最大绝对误差max|f-g|最小；平均绝对误差最小；f和g互相关为最大等等。由退化模型g=Hf+n，其中f,g为堆叠向量。如果关于n我们一无所知，那么我们寻找f的一个估计值，使在最小二乘意义上近似于g。在无约束条件下，就是n无条件的小。这一问题等效地看为求准则函数：为最小（注①：若a(x),b(x)为m维列向量，X为n维列向量，那么：

注②：）那么：若H已知，则可根据上式求出。

可以证明，对两边分别取傅立叶变换，可以得出：这就是逆滤波法。所以逆滤波法是无约束最小二乘法的频域解。对取傅立叶反变换，就可求出恢复后的图像。

（根据图像退化模型：两边取傅立叶变换,有由此可得：在噪声未知和不可分离的情况下，可近似取

)对，若H(u,v)在uv平面上取零或很小，就会带来计算上的困难。另一方面，噪声还会带来更严重的问题。若H(u,v)在uv平面上取零或很小，N(u,v)/H(u,v)就会使恢复结果与原图像有较大的差距。实际中，H(u,v)随u，v与原点距离的增加而迅速减小，而噪声N(u,v)却一般变化缓慢。在这种情况下，恢复只能在与原点较近（接近频域中心）的范围内进行。即H(u,v)具有低通滤波的性质：换句话说，一般情况下，逆滤波器并不正好是1/H(u,v)，而是u和v的某个函数，可记为M(u,v)。M(u,v)常称为恢复转移函数。

l第一种常见的方法是取M(u,v)为如下函数：的选取方法是将H(u,v)为零的点除去。这种方法的缺点是恢复结果的振铃效应较为明显。

l

第二种一种改进的方法是取M(u,v)为如下函数：其中k和d均为小于1的常数，而且d选的较小为好。

5.3图像的无约束恢复-反向滤波法（a）

（d）

（c）

（b）

图5.3.1不同滤波半径下反向滤波的结果比较（a）直接由反向滤波恢复的图像；（b）、（c）、（d）分别为半径30、50、70的二阶Butterworth滤波器（代替理想低通滤波器）作用后的结果。

可以看到，逆滤波的结果还是不能令人满意。3.有约束恢复方法

恢复问题的病态性与奇异性由退化模型可知，影响图像恢复的因素包括噪声干扰n，成像系统的传递函数H,后者包含了图像传感器中光学和电子学的影响。先抛开噪声，要恢复原图像f，需要对矩阵H求逆，即：数学上要求这个逆阵存在并且唯一。如果H－1不存在，但还存在和f十分近似的解，这称为恢复问题的奇异性。

事实上，由于在模糊图像上存在非常小的扰动时，在恢复结果的图像中，都会产生不可忽视的强扰动。用公式表示为：

ε为任意小的扰动，δ>>ε。无论是成像系统还是数字化器，对采集到的图像产生一些扰动，几乎是不可避免的。这就是恢复问题的病态性。至于噪声，由于其随机性，造成模糊图像g有无限的可能情况，也导致了恢复问题的病态性。

为克服恢复问题的病态性质，常常需要在恢复过程中对运算施加某种约束，从而在一族可能结果中选择一种，这就是有约束的恢复。●有约束的最小二乘方复原●能量约束恢复●平滑约束恢复●均方误差最小滤波（维纳滤波）

约束复原方法

处理过程

拉各朗日系数

α=1/λ最小二乘方滤波最小二乘滤波也就是维纳滤波，它是使原始图像f(x,y)及其恢复图像f^(x,y)之间的均方误差最小的复原方法具体的数学公式推导过程忽略，直接给出公式Sf(u,v):为

f[x,y]的功率普，Sh(u,v)为n[x,y]的功率普讨论一下上式的几种情况（1）如果s=1，方括号中的项就是维纳滤波器（2）如果s是变量，就称为参数维纳滤波器（3）当没有噪声时，Sn(u,v)=0，维纳滤波器就退化为理想的逆滤波器（4）当Sn(u,v)和Sf(u,v)未知时，用常数K可代替因此必须调节s以满足f^=(HTH+sQTQ)–1HTg逆滤波和维纳滤波恢复比较110100SNR退化图像

傅立叶功率普逆滤波恢复维纳滤波恢复光谱图

原始图像逆滤波恢复模糊和增加噪声约束的最小二乘滤波结果分析（1）=1时，该滤波器称为标准维纳滤波器，但不能说可以利用上式在约束条件下得到最佳估计；=变量时，称为变参数维纳滤波器。（2）无噪声时，即，即变为逆滤波器，即因此，反向滤波器可看作是维纳滤波器的一种特殊情况。

（3）在有噪声存在的情况下，相比于反向滤波器来说，维纳滤波器中由于存在项，会对噪声的放大具有自动抑制作用，同时也不会在H(u,v)为0时出现被0除的情形。

5.4图像的有约束最小二乘恢复（4)在实际应用中，和经常是未知的，但可用一常数k来表示噪声和信号的功率谱密度比，则：5.4图像的有约束最小二乘恢复

该式可以使退化图像得到一定程度的恢复，但不一定是最佳恢复。实际应用中，k可通过已知的信噪比来获得。

5.4图像的有约束最小二乘恢复

(b)(c)(d)(e)(f)(g)(h)(i)（a）被高斯噪声污染的图像；（b）逆滤波恢复图像；（c）维纳滤波恢复的图像；（d）~（f）为相应的由噪声方差比（a）小1个数量级的降质图像得到的结果；（g）~（i）为相应的噪声方差小5个数量级的图像得到的结果。

图5.4.1维纳滤波法和反向滤波法恢复图像的效果比较

由于反向滤波器的病态性质，会导致在H(u,v)的零值附近恢复滤波器的数值变化剧烈，使恢复后的图像产生多余的噪声和虚假边缘。而这些噪声的强弱和虚假边缘的多少可用图像的二阶导数来表示。通过选择合理的Q，并对进行优化，可将这些噪声和虚假边缘降至最小，也就是让该二阶导数降为最小，即使称为Laplacian算子。

在离散情况下，可用下面的差分运算来实现◘约束最小平方滤波法

5.4图像的有约束最小二乘恢复上述运算可用f(m,n)与下面的模板（掩模矩阵）进行卷积来求解。在离散卷积的过程中，为避免交叠误差，可将p(m,n)延拓为pe(m,n)再卷积。若f(m,n)的大小为

,则延拓后的M、N应为:5.4图像的有约束最小二乘恢复可以写成分块循环矩阵：

C中的任一元素Cj是由pe(m,n)的第j行组成的循环矩阵，即5.4图像的有约束最小二乘恢复令Q=C,则有约束恢复的结果就变为:同样可用W矩阵使C对角化，即:式中P(u,v)是pe(m,n)的傅立叶变换。则恢复结果变为：（5.4.23）（5.4.26）5.4图像的有约束最小二乘恢复上式中的各元素可写成如下形式（设M=N）：该滤波器就称为约束最小平方滤波器。（5.4.26）◘约束最小平方滤波法与维纳滤波法比较

它与维纳滤波法相同的是，两者都属于约束恢复，频域的恢复公式类似，但也有本质区别。用约束最小平方滤波器恢复图像时，不需要知道图像和噪声的自相关矩阵Rf和Rn。。

约束最小平方滤波法的恢复效果如下图5.4.2所示，将其与维纳滤波恢复法的结果相比较，可以看出，带有平滑约束的恢复法能得到更加符合人眼视觉效果的平滑图像，并且在噪声较大的情况下比维纳滤波法的效果明显要好。

5.4图像的有约束最小二乘恢复（a）、（b）和（c）是分别由图5.4.1中（a）、（d）和（g）得到的约束最小平方滤波结果，与维纳滤波法恢复结果（d,e,f）比较。（a）（d）（f）（c）（e）（b）5.5几何畸变图形的恢复（c）

（b）

（a）

几何失真举例（d）

图5.5.1几何失真举例（a）原图像；（b）比例变换（缩小）；（c）旋转；（d）扭曲。畸变原因由于成像系统本身的非线性，图像获取视角的变化，拍摄对象表面弯曲等原因，会使获得的图像比例失调、歪斜变形，甚至扭曲。我们把这类图像失真现象称为几何畸变，解决这类失真问题的方法称为几何畸变图像的恢复，或称为几何畸变校正。

恢复方法

一般分为两步：第一步是对畸变图像进行空间坐标变换，使像素点落在正确的位置上，即恢复图像的空间关系；第二步是重新确定空间坐标变换后像素的灰度值，即恢复图像的灰度值。5.5几何畸变图形的恢复5.5图像的几何校正例：从太空中宇航器拍摄的地球上的等距平行线，图像会变为歪斜或不等距；用光学和电子扫描仪摄取的图像常会有桶