图像消噪和恢复

关于图像消噪和恢复第1页，讲稿共48页，2023年5月2日，星期三图像的退化是指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏第2页，讲稿共48页，2023年5月2日，星期三图像复原就是要尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理。第3页，讲稿共48页，2023年5月2日，星期三典型的图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，得到质量改善的图像。图像复原过程如下：找退化原因→建立退化模型→反向推演→恢复图像可见，图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度，体现在建立的退化模型是否合适。第4页，讲稿共48页，2023年5月2日，星期三图像复原和图像增强的区别：图像增强不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果。因此，图像增强可以不顾增强后的图像是否失真，只要看得舒服就行。图像复原就完全不同，需知道图像退化的机制和过程等先验知识，据此找出一种相应的逆处理方法，从而得到复原的图像。如果图像已退化，应先作复原处理，再作增强处理。二者的目的都是为了改善图像的质量。第5页，讲稿共48页，2023年5月2日，星期三

图像退化指由场景得到的图像没能完全地反映场景的真实内容，产生了失真等问题。在图像采集过程中产生的退化常被称为模糊(blurring)在图像记录过程中产生的退化常被称为噪声(noise)模糊用频率分析的语言来说是高频分量得到抑制或消除的过程噪声是一个统计过程，所以噪声对一个特定图像的影响是不确定的。噪声是最常见的退化因素之一，也是图像恢复中重点研究的内容。第6页，讲稿共48页，2023年5月2日，星期三图像中的噪声可定义为图像中不希望有的部分，或图像中不需要的部分。噪声既可能有一定的随机性，也可能比较规则或有规律。很多情况下将噪声看成不确定的随机现象，主要采用概率论和统计的方法来处理。图像中的噪声并不需要与信号对立，它可以与信号有密切的联系。如果将信号除去，噪声也可能变化。在很多情况下，噪声的（随机/规则）特性不很重要，重要的是它的强度，或者说人们只关心它的强度。

信噪比SNR(signal-to-noiseratio)信噪比是一个重要的放大器或通信系统的质量指标。在图像压缩中，信噪比用来作为表示压缩－解压缩的一个客观保真度准则。第7页，讲稿共48页，2023年5月2日，星期三几种常见的噪声

1.热噪声

与物体的绝对温度有关，也称Johnson噪声。指导电载流子由于热扰动而产生的噪声，它可以产生对不同波长有相同能量的频谱，相同频率间隔内的能量相同，也称为高斯噪声或白噪声。2.闪烁(flicker)噪声由电流运动导致的一种噪声，也有人称为粉色噪声，粉色噪声在对数频率间隔内有相同的能量。一般具有反比于频率的频谱，也称1/f噪声。3.发射(shot)噪声

电流非均匀流动，电子运动有随机性的结果，在本该稳定的直流分量里实际上还保留了一个交流分量。也是一种高斯分布的噪声。第8页，讲稿共48页，2023年5月2日，星期三

4.有色(colored)噪声：指具有非白色频谱的宽带噪声。相对白噪声来说，有色噪声中低频分量占了较大比重。白噪声：指功率谱密度在整个频域内均匀分布的噪声，所有频率具有相同能量的随机噪声。是指信号中包含从负无穷到正无穷之间的所有频率分量，且各频率分量在信号中的权值相同。白光包含各个频率成分的光，白噪声这个名称是由此由此而来的。第9页，讲稿共48页，2023年5月2日，星期三高斯噪声、均匀噪声及脉冲（椒盐）噪声的概率密度函数P190第10页，讲稿共48页，2023年5月2日，星期三高斯白噪声：如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。热噪声和散粒噪声是高斯白噪声。所谓高斯白噪声中的高斯是指概率分布是正态函数，而白噪声是指它的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。这是考查一个信号的两个不同方面的问题。高斯白噪声是指信号中包含从负无穷到正无穷之间的所有频率分量，且各频率分量在信号中的权值相同。白光包含各个频率成分的光，白噪声这个名称是由此由此而来的。它在任意时刻的幅度是随机的，但在整体上满足高斯分布函数。时变信号的知识参考《信号与系统》，高斯白噪声参考《通信原理》类书籍第11页，讲稿共48页，2023年5月2日，星期三5.1退化模型和对角化假定成像系统是线性位移不变系统,则获取的图像g(x,y)表示为

g（x，y）=f（x，y）*h（x，y）f(x，y)表示理想的、没有退化的图像，g(x，y)是退化（所观察到）的图像。

第12页，讲稿共48页，2023年5月2日，星期三原始图像f(x,y)经过一个退化算子或退化系统H(x,y)的作用，再和噪声n(x,y)进行叠加，形成退化后的图像g(x,y)。下图表示退化过程的输入和输出的关系，其中H(x,y)概括了退化系统的物理过程，就是所要寻找的退化数学模型。图像的退化模型g(x,y)=H［f(x,y)］+n(x,y)第13页，讲稿共48页，2023年5月2日，星期三数字图像的图像恢复问题可看作是：根据退化图像g(x,y)和退化算子H(x,y)的形式，沿着反向过程去求解原始图像f(x,y)，或者说是逆向地寻找原始图像的最佳近似估计。图像退化的过程可以用数学表达式写成如下的形式：

g(x,y)=H［f(x,y)］+n(x,y) 在这里，n(x,y)是一种统计性质的信息。在实际应用中，往往假设噪声是白噪声，即它的频谱密度为常数，并且与图像不相关。第14页，讲稿共48页，2023年5月2日，星期三在图像复原处理中，尽管非线性、时变和空间变化的系统模型更具有普遍性和准确性，更与复杂的退化环境相接近，但它给实际处理工作带来了巨大的困难，常常找不到解或者很难用计算机来处理。因此，在图像复原处理中，往往用线性系统和空间不变系统模型来加以近似。这种近似的优点使得线性系统中的许多理论可直接用于解决图像复原问题，同时又不失可用性。第15页，讲稿共48页，2023年5月2日，星期三在线性和空间不变系统的情况下，退化算子H具有如下性质:(1)线性：设f1(x,y)和f2(x,y)为两幅输入图像，k1和k2为常数，则由该性质还可推出下面两个结论：①相加性：当k1=k2=1时,式(11-5)变为②一致性：如果f2(x,y)=0，则式（11-5）变为退化系统H的4个性质第16页，讲稿共48页，2023年5月2日，星期三(2)空间不变性:如果对任意f(x,y)以及a和b，有则对于线性空间不变系统，输入图像经退化后的输出为：H是一个轮换矩阵P192块轮换矩阵：轮换矩阵的对角化H＝WDW－1本征矢量，本征值P194

第17页，讲稿共48页，2023年5月2日，星期三点源的概念事实上，一幅图像可以看成由无穷多极小的像素所组成，每一个像素都可以看作为一个点源成像，因此，一幅图像也可以看成由无穷多点源形成的。在数学上，点源可以用狄拉克δ函数来表示。二维δ函数可定义为且满足第18页，讲稿共48页，2023年5月2日，星期三它的一个重要特性就是采样特性。即当α=β=0时第19页，讲稿共48页，2023年5月2日，星期三一幅连续图像f(x,y)可以看作是由一系列点源组成的。因此，f(x,y)可以通过点源函数的卷积来表示。即式中，δ函数为点源函数，表示空间上的点脉冲。在不考虑噪声的一般情况下，连续图像经过退化系统H后的输出为把式1代入式2得第20页，讲稿共48页，2023年5月2日，星期三线性位移不变系统的输出等于系统的输入和系统脉冲响应（点扩散函数）的卷积。第21页，讲稿共48页，2023年5月2日，星期三式中，h(x-α,y-β)为该退化系统的点扩展函数，或叫系统的冲激响应函数。它表示系统对坐标为(a,β)处的冲激函数δ(x-α,y-β)的响应。也就是说，只要系统对冲激函数的响应为已知，那么就可以清楚图像退化是如何形成的。因为对于任一输入f(a,β)的响应，都可以通过上式计算出来。此时，退化系统的输出就是输入图像信号f(x,y)与点扩展函数h(x,y)的卷积，即第22页，讲稿共48页，2023年5月2日，星期三采用线性位移不变系统模型的原由：1）由于许多种退化都可以用线性位移不变模型来近似，这样线性系统中的许多数学工具如线性代数，能用于求解图像复原问题，从而使运算方法简捷和快速。2）当退化不太严重时，一般用线性位移不变系统模型来复原图像，在很多应用中有较好的复原结果，且计算大为简化。3）尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但在数学上求解困难。只有在要求很精确的情况下才用位移可变的模型去求解，其求解也常以位移不变的解法为基础加以修改而成。第23页，讲稿共48页，2023年5月2日，星期三图像退化除了受到成像系统本身的影响外，有时还要受到噪声的影响。假设噪声n(x,y)是加性噪声，这时上式可写成在频域上，可以写成其中，G(u,v)、F(u,v)、N(u,v)分别是退化图像g(x,y)、原图像f(x,y)、噪声信号n(x,y)的傅立叶变换；H(u,v)是系统的点冲激响应函数h(x,y)的傅立叶变换，称为系统在频率域上的传递函数。第24页，讲稿共48页，2023年5月2日，星期三可见，图像复原实际上就是已知g(x,y)求f(x,y)的问题或已知G(u,v)求F(u,v)的问题，它们的不同之处在于一个是在空域，一个是在频域。显然，进行图像复原的关键问题是寻找降质系统在空间域上的冲激响应函数h(x,y)，或者降质系统在频率域上的传递函数H(u,v)。一般来说，传递函数比较容易求得。因此，在进行图像复原之前，一般应设法求得完全的或近似的降质系统传递函数，要想得到h(x,y),只需对H(u,v)求傅立叶逆变换即可。第25页，讲稿共48页，2023年5月2日，星期三5.3无约束复原无约束恢复方法仅将图像看作一个数字矩阵，从数学角度进行恢复处理而不考虑恢复后图像应受到的物理约束。由简单的通用图像退化模型可得逆滤波法是指在对n没有先验知识的情况下，可以依据这样的最优准则，即寻找一个，使得在最小均方误差的意义下最接近g，即要使n的模或范数（norm）最小：第26页，讲稿共48页，2023年5月2日，星期三上式的极小值为如果我们在求最小值的过程中，不做任何约束，称这种复原为无约束恢复。由极值条件可得出一个无约束恢复公式，解出为对上式作傅立叶变换，得第27页，讲稿共48页，2023年5月2日，星期三可见，如果知道g(x,y)和h(x,y)，也就知道了G(u,v)和H(u,v)。根据上式，即可得出F(u,v)，再经过反傅立叶变换就能求出f(x,y)。逆滤波是最早应用于数字图像复原的一种方法。并用此方法处理过由漫游者、探索者等卫星探索发射得到的图像。第28页，讲稿共48页，2023年5月2日，星期三逆滤波恢复法

对于线性移不变系统而言对上式两边进行傅立叶变换得

H(u,v)称为系统的传递函数。从频率域角度看，它使图像退化，因而反映了成像系统的性能。

第29页，讲稿共48页，2023年5月2日，星期三通常在无噪声的理想情况下，上式可简化为则进行反傅立叶变换可得到f(x,y)。以上就是逆滤波复原的基本原理。1/H(u,v)称为逆滤波器。

第30页，讲稿共48页，2023年5月2日，星期三(1)对退化图像g(x，y)作二维离散傅立叶变换，得到G(u,v)；(2)计算系统点扩散函数h(x，y)的二维傅立叶变换，得到H(u,v);(3)逆滤波计算(4)计算的逆傅立叶变换，求得。

逆滤波复原过程可归纳如下:第31页，讲稿共48页，2023年5月2日，星期三若噪声为零，则采用逆滤波恢复法能完全再现原图像。若噪声存在，而且H(u,v）很小或为零时，则噪声被放大。这意味着退化图像中小噪声的干扰在H(u,v)较小时，会对逆滤波恢复的图像产生很大的影响，有可能使恢复的图像和f(x,y)相差很大，甚至面目全非。当u-v平面上的某引起点或区域H(u,v)很小或等于零，即出现了零点时，就会导致不稳定解。

但实际获取的影像都有噪声，因而只能求F(u,v)的估计值。再作傅立叶逆变换得第32页，讲稿共48页，2023年5月2日，星期三一种改进方法是考虑到退化系统的传递函数H(u,v)带宽比噪声的带宽要窄得多，其频率特性具有低通性质，取恢复转移函数M(u,v)为其中，ω0的选取原则是将H(u,v)为零的点除去。这种方法的缺点是复原后的图像的振铃效果较明显。第33页，讲稿共48页，2023年5月2日，星期三消除匀速直线运动模糊：线性运动退化是由于目标于成像系统间的相对匀速直线运动形成的退化。改进的方法：第34页，讲稿共48页，2023年5月2日，星期三维纳滤波在一般情况下，图像信号可近似地认为是平稳随机过程，维纳滤波将原始图像f和对原始图像的估计看作为随机变量。假设Rf和Rn为f和n的自相关矩阵，其定义为式中，E{·}代表数学期望运算。5.4有约束恢复第35页，讲稿共48页，2023年5月2日，星期三

Rf和Rn均为实对称矩阵，在大多数图像中，邻近的像素点是高度相关的，而距离较远的像素点的相关性却较弱。通常，f和n的元素之间的相关不会延伸到20～30个像素的距离之外。因此，一般来说，自相关矩阵在主对角线附近有一个非零元素带，而在右上角和左下角的区域内将为零值。如果像素之间的相关是像素之间距离的函数，而不是它们位置的函数，可将Rf和Rn近似为分块循环矩阵。因而，用循环矩阵的对角化，可写成第36页，讲稿共48页，2023年5月2日，星期三W的第i,m个分块为i,m=0,1,…,M-1其中，WN为一个N×N矩阵，其第k,n个位置的元素为k,n=0,1,…,N-1式中，A和B的元素分别为Rf和Rn中的自相关元素的傅立叶变换。这些自相关的傅立叶变换被分别定义为fe(x,y)和ne(x,y)的谱密度Sf(u,v)和Sn(u,v)。式中，W为一个MN×MN矩阵，包含M×M个N×N的块。M、N的含义见二维离散模型部分。第37页，讲稿共48页，2023年5月2日，星期三定义QTQ=R-1fRn，代入式(11-33)，得进一步可推导出式中，D*为D的共轭矩阵。再进行矩阵变换：第38页，讲稿共48页，2023年5月2日，星期三假设M=N，则式中，u,v=0,1,2,…,N-1，|H(u,v)|2=H*(u,v)H(u,v)。第39页，讲稿共48页，2023年5月2日，星期三对式作如下分析：

(1)如果γ=1，称之为维纳滤波器。注意，当γ=1时，并不是在约束条件下得到的最佳解，即并不一定满足 若γ为变数，此式为参变维纳滤波器。使用参变维纳滤波法时，H(u,v)由点扩展函数确定，而当噪声是白噪声时，Sn(u,v)为常数，可通过计算一幅噪声图像的功率谱Sg(u,v)求解。由于Sg(u,v)=|H(u,v)|2Sf(u,v)+Sn(u,v)，所以Sf(u,v)可通过式求得。第40页，讲稿共48页，2023年5月2日，星期三

(2)当无噪声影响时，Sn(u,v)=0，称之为理想的反向滤波器。逆滤波器可看成是维纳滤波器的一种特殊情况。

(3)如果不知道噪声的统计性质，也就是Sf(u,v)和Sn(u,v)未知时，式(11-39)可以用下式近似：式中，K表示噪声对信号的频谱密度之比。第41页，讲稿共48页，2023年5月2日，星期三有约束最小平方恢复约束最小平方复原是一种以平滑度为基础的图像复原方法。如前所述，在进行图像恢复计算时，由于退化算子矩阵H［·］的病态性质，多数在零点附近数值起伏过大，使得复原后的图像产生了多余的噪声和边缘。约束最小平方复原仍然是以最小二乘方滤波复原公式为基础，通过选择合理的Q，并优化‖Qf‖2，从而去掉被恢复图像的这种尖锐部分，即增加图像的平滑性。第42页，讲稿共48页，2023年5月2日，星期三