第五章数字图像恢复

1、第五章第五章 图像恢复图像恢复1. 图像退化的概念、退化原因，退化模型，图像恢图像退化的概念、退化原因，退化模型，图像恢复的概念；复的概念；2. 代数恢复方法，即无约束最小二乘法方恢复、有代数恢复方法，即无约束最小二乘法方恢复、有约束最小二乘法方恢复；约束最小二乘法方恢复；3. 频率域恢复方法频率域恢复方法 (逆滤波、维纳滤波）；逆滤波、维纳滤波）；4. 匀速直线运动引起的图像模糊的恢复。匀速直线运动引起的图像模糊的恢复。5.1 图像退化5.1.1 图像的退化图像的退化 图像的退化图像的退化是指图像在形成、传输和记录过程是指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使

2、中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏。图像的质量变坏。 图像恢复图像恢复：试图利用退化过程的先验知识，去：试图利用退化过程的先验知识，去恢复已被退化图像的本来面目。恢复已被退化图像的本来面目。 它是沿图像退化的逆过程进行处理。它是沿图像退化的逆过程进行处理。 图像恢复过程如下： 找退化原因找退化原因建立退化模型建立退化模型反向推演反向推演恢复图像恢复图像 典型的图像恢复是根据图像退化的先验知识建典型的图像恢复是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，使图像质量得到改善。化处理方法进

3、行恢复，使图像质量得到改善。 图像恢复和图像增强的区别：图像恢复和图像增强的区别： 图像增强不考虑图像是如何退化的，而是试图图像增强不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果。因此，图像采用各种技术来增强图像的视觉效果。因此，图像增强可以不顾增强后的图像是否失真，只要看得舒增强可以不顾增强后的图像是否失真，只要看得舒服就行。服就行。 而图像恢复就完全不同，需知道图像退化的机而图像恢复就完全不同，需知道图像退化的机制和过程等先验知识，据此找出一种相应的逆处理制和过程等先验知识，据此找出一种相应的逆处理方法，从而得到恢复的图像。方法，从而得到恢复的图像。 如果图像已退化，应先

4、作恢复处理，再作增强如果图像已退化，应先作恢复处理，再作增强处理。处理。 二者的目的都是为了改善图像的质量。二者的目的都是为了改善图像的质量。 图像增强图像恢复技术特点 不考虑图像降质的原因，只将图像中感兴趣的特征有选择地突出（增强），而衰减其不需要的特征。 改善后的图像不一定要去逼近原图像。 要考虑图像降质的原因，建立“降质模型降质模型“。 要建立评价恢复好坏的客观标客观标准。准。主要目的提高图像的可懂度可懂度提高图像的逼真度逼真度方法空间域法和频率域法空间域法和频率域法。空间域法主要是对图像的灰度进行处理；频率域法主要是滤波。 空间域法和频率域法空间域法和频率域法。重点介绍线性代数恢复线性

5、代数恢复方法。增强与恢复的对比增强与恢复的对比图像的降质因素 光学系统中的衍射光学系统中的衍射 成像系统成像系统镜头聚焦不准产生的散焦模糊；镜头聚焦不准产生的散焦模糊； 传感器非线性畸变传感器非线性畸变 光学系统的像差光学系统的像差 摄影胶片的非线性摄影胶片的非线性 大气湍流的扰动效应大气湍流的扰动效应 图像运动造成的模糊图像运动造成的模糊 几何畸变几何畸变 噪声干扰：由成像系统传感器、信号传输过程噪声干扰：由成像系统传感器、信号传输过程或者胶片颗粒性造成的噪声或者胶片颗粒性造成的噪声散焦模糊图像散焦模糊图像传感器非线性畸变传感器非线性畸变几何畸变几何畸变图像运动造成的模糊图像运动造成的模糊噪

6、声干扰噪声干扰1. 受到孔径衍射造成的图像退化受到孔径衍射造成的图像退化 在许多实用的光学成像系统中，孔径衍射效应是造成图像模糊的主要原因。在这种退化模型中，系统是线性空间不变的。其表现如图5.1所示。 相干光的光学成像系统的传递函数由下式给出： 图5.1 小孔衍射造成的模糊22( , )(,)H u vpd ud v5.1.2 几个典型的退化模型几个典型的退化模型小孔衍射造成的模糊小孔衍射造成的模糊系统是线性移不变的系统是线性移不变的 2. 目标相对运动造成的图像模糊目标相对运动造成的图像模糊 在获取图像时，由于景物和摄像机或照相机之间的相对运动，往往会造成图像的模糊(见图5.2)。 因匀速

7、直线运动所造成的图像模糊系统的传递函数：图5.2 目标相对运动造成的图像模糊dttvytuxjvuHT)()(2exp),(000运动形成的模糊示例运动形成的模糊示例3. 大气湍流造成的图像降大气湍流造成的图像降质质 在航空图片、卫星图片、天文图中，由于受大气湍流的影响，使图像产生退化。要全面地考虑每时每刻对退化的影响，是一个相当复杂的问题。在此只给出在长时间作用的情况下，大气湍流降质图像的系统传递函数为：式中C为与湍流性质有关的常数。22( , )exp()H u vC uv剧烈湍流中等湍流轻微湍流4.成像系统中始终存在的噪声干扰成像系统中始终存在的噪声干扰一般假设图象上的噪声是一类一般假设

8、图象上的噪声是一类白噪声白噪声。 图象平面上不同点的噪声是不相图象平面上不同点的噪声是不相关的，其谱密度为常数。关的，其谱密度为常数。 实用上，只要噪声带宽远大于图象带宽，实用上，只要噪声带宽远大于图象带宽，就可把它当作白噪声。虽不精确，确是一就可把它当作白噪声。虽不精确，确是一个很方便的模型。个很方便的模型。几种常见噪声模型几种常见噪声模型 测试图测试图几种常见噪声模型几种常见噪声模型 一、一、 连续退化模型连续退化模型二、二、 离散退化模型离散退化模型5.2 图像退化模型图像恢复关键是建立退化模型。其中：其中：f(x,y)为原始输入图像，为原始输入图像， g(x,y)为退化后的图像，为退化

9、后的图像， n(x,y)为噪声，为噪声， H：降质系统（或降质算子：降质系统（或降质算子)，可理解为综合所有，可理解为综合所有退化因素的函数。退化因素的函数。 5.2.1 连续退化模型连续退化模型2. H 是空间（或移位）不变的。如果系统的输入输出关系满足 ，则对于任意的 f(x,y)，和 都有下列关系： 11221122,H k fx yk fx yk H fx yk H fx yba1. H是线性的 ,H f xa ybg xa yb( , ),g x yH f x y 这就是说，图像上任一点的运算结果，只取决这就是说，图像上任一点的运算结果，只取决于该点的输入值，而与坐标位置无关。于该点

10、的输入值，而与坐标位置无关。 假设：连续退化模型连续退化模型 一幅图像可以看成由无穷多极小的像素所组成，一幅图像可以看成由无穷多极小的像素所组成，每一个像素都可以看作为一个点源，因此，一幅图像也每一个像素都可以看作为一个点源，因此，一幅图像也可以看成由无穷多点源组成的。可以看成由无穷多点源组成的。由由 函数的性质，一幅函数的性质，一幅连续图像可用下式表示：连续图像可用下式表示： ,f x yfxyd d 连续退化模型连续退化模型H为一线性算子 ,f x yfxyd d ,g x yH f x yn x yHfxyd dn x y ,g x yfHxyd dn x y 定义： 称为 H 的冲激响

11、应，它表示系统H对坐标为 处的冲激函数的响应。在光学中，冲激为一个光点， 一般也被称为点扩展函数（Point Spread Function简称PSF）。 , , ,h xy( ,) , , ,h xy, , ,:,h xyHxy连续退化模型连续退化模型若H是空间不变的： , , ,( , )g x yfh xyd dn x y ,Hxyh xy ,( , )g x yfh xyd dn x y 连续退化模型连续退化模型连续退化模型连续退化模型1.假定成像系统是线性位移不变系统，则获取的图像g(x,y)表示为： f(x,y)表示理想的、没有退化的图像，g(x,y)是退化（所观察到）的图像。 在

12、频域上：( , )( , )( , )G u vF u v H u v()()()g xyf xyh xy，连续退化模型连续退化模型2.若受加性噪声n(x，y)的干扰，则退化图像可表示为：这就是线性位移不变系统的退化模型。在频域上：图像恢复实际上就是已知g(x，y)求f(x，y)的问题，或者已知G(u,v)求F(u,v)。关键是求解冲激响应函数h(x,y),一般来说， H(u,v)比较容易获得。),(),(),(),(vuNvuHvuFvuG()()()()g xyf xyh xyn xy，采用线性位移不变系统模型的原由：1）由于许多种退化都可以用线性位移不变模型来近似，这样线性系统中的许多数

13、学工具如线性代数，能用于求解图像恢复问题，从而使运算方法简捷和快速。2）当退化不太严重时，一般用线性位移不变系统模型来恢复图像，在很多应用中有较好的恢复结果，且计算大为简化。3）尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像恢复问题的本质，但在数学上求解困难。只有在要求很精确的情况下才用位移可变的模型去求解，其求解也常以位移不变的解法为基础加以修改而成。5.2.2 离散退化模型离散退化模型1. 一维离散情况退化模型一维离散情况退化模型 设f(x)为具有A个采样值的离散输入函数，h(x) 为具有B个采样值的退化系统的冲激响应，则经退化系统后的离散输出函数g(x)为输入f(x)和冲激响应

14、h(x)的卷积。即 ( )( )( )g xf xh x离散循环卷积是针对周期函数定义的，离散循环卷积是针对周期函数定义的，为了避免上述卷积所产生的各个周期重叠，分别对f(x)和h(x)用添零延伸的方法扩展成周期M=A+B-1的周期函数。10( )( )( )( )()0,1,1Meeeeemgxfxh xf m h xmxM 此时输出：l用矩阵表示为上式写成矩阵的形式：g = H f(0)(0)(0)( 1)(1)(1)(1)(1)(0)(2)(2)(2)(1)(3)(2)(1)(1)(2)(0)(1)eeeeeeeeeeeeeeeefghhhMfghhhMghhhMfg Mh Mh Mhf

15、M (0)(1)(2)(1)(1)(0)(1)(2)(1)(2)(3)(0)eeeeeeeeeeeehh Mh Mhhhh Mhh Mh Mh MhH =lMM阶矩阵H可写为 可以看出，H 为一个循环矩阵，即每行最后1项等于下1行最前1项，最下1行最后1项等于第1行最前1项。上述讨论的一维退化模型不难推广到二维情况。( )( )=()eeeh xh xh xM根据的周期性 如果给出AB 大小的数字图像，以及CD大小的点扩散函数，则首先做成大小为MN 的周期延拓图像：为避免折叠，要求M A+C-1, N B+D-12. 二维离散退化模型二维离散退化模型1100( , )( , )(,)0,110

16、,11MNeeemngx yf m n h xm ynxMyN,g x yf x yh x yg x yf x yh x y系统输出为输入和冲激响应的卷积二维离散退化模二维离散退化模型型 考虑到噪声，离散图像退化模型可以写成如下形式： 写成矩阵形式为： 1100( , )( , )(,)( , )0,1,10,1,1MNeeeemngx yf m n h xm ynn x yxMyNg = H f + n3.图像的离散退化模型图像的离散退化模型fMNHMNMN向量采用行堆叠构造，大小为；为分块循环矩阵，大小为；其中，每个 都是一个NN 矩阵，由延拓函数 第j 行而来：jHjHjH可见， 是一个

17、循环矩阵，H是分块循环矩阵。jH0121101221033012,0,1,2,1,1,0,1,2,2,1,0,3,1,2,3,0MMMMMMjHHHHHHHHHHHHHHHHHh jh j Nh j Nh jh jh jh j Nh jHh jh jh jh jh j Nh j Nh j Nh j ( , )eh x y 上述离散退化模型都是在线性空间不变的前提下得出的，这种退化模型已为许多恢复方法所采用，并有良好的恢复效果。恢复任务：去除图像畸变、补偿图像模糊和减弱噪声效应，以使空间图像恢复。基本思路：由给定的降质图像 g 和对退化模型 H 及噪声 n 的先验了解，寻找一个对原图像 f 的最

18、优估计 ，而使事先确定的最优准则为最小。5.35.3代数恢复方法代数恢复方法f若图像的降质模型为： 对n没有先验知识，对 f 的估计 使得： 取值最小，J称为准则或目标函数。这里：以上形成了一个对 f 无约束的复原问题。gHfnf2J fgH f 2,Txx x x是一个列向量5.3.1无约束最小二乘方恢复无约束最小二乘方恢复常用的最小二乘方准则函数。求极小值：令MN，且H可逆： 111120 TTTTTJfHgHfffH HH gfHHH gfHg上式表明在最小二乘方准则下寻找出的最优估计图像 可由降质图像 和降质系统冲激响应的逆矩阵 求得。 fg1H 约束最小二乘法恢复：除了要求知道系统的

19、冲激响应外，还需要知道噪声的统计特性和噪声、图像的相关情况。 5.3.2有约束最小二乘方恢复有约束最小二乘方恢复2nnfRR ,1、有约束的最小二乘恢复的方法、有约束的最小二乘恢复的方法若图像的降质模型为：令令Q Q为为 f 的线性算子，的线性算子，在约束在约束 下下, , 使使 为最小的原图为最小的原图 f 的最佳估计的最佳估计 。gfnH=+f22gfnH-=2fQ求极小值：( )()()01TffgfffgT1TTTJ2Q Q2 HHH HQ QH-=-=+式中： 可利用拉格朗日乘数法进行处理。 ()0TfffgfgfffTJQQHH222J ffgfnQHa骣骣=+ -桫桫构造辅助函数

20、： 由此可得恢复步骤为：由此可得恢复步骤为： 选取一个选取一个 代入代入 ，把求得的，把求得的 代入式代入式 当结果大于当结果大于 ，减小，减小 ，返回，返回； 当结果小于当结果小于 ，增加，增加 ，返回，返回； 重复上述迭代过程，直到式重复上述迭代过程，直到式 满足满足为止。此时为止。此时 为恢复图像。为恢复图像。 f2n2n22gHfn-=22gHfn-=()fg1TTTH HQ QH-=+之差小于某一阈值f 问题的核心转化为求合适的矩阵Q，不同的选择导致不同的恢复方法。如：QI，能量约束恢复， 维纳滤波图维纳滤波图像恢复。像恢复。nfRRQQ1T2、维纳滤波图像恢复、维纳滤波图像恢复设

21、分别为原始图像f和噪声n的相关矩阵，定义如下：nfRR ,fnffnnTTRERE维纳滤波选择：获得对原图像的均方误差最小的估计。这时：nfRRQQ1T11fnfRR1TTH HH g式中： 1为标准维纳滤波， 不为 1时对应含参数的维纳滤波。 可以通过迭代的方法得到。5.4频率域恢复方法 5.4.1逆滤波恢复法逆滤波恢复法 对于线性移不变系统 对上式两边进行傅立叶变换得 H(u,v)称为系统的传递函数。从频率域角度看，它使图像退化，因而反映了成像系统的性能。 ),(),(),(),(yxnddyxhfyxg),(),(),(yxnyxhyxf),(),(),(),(vuNvuHvuFvuG1

22、、 通常在无噪声的理想情况下，上式可简化为则进行傅立叶反变换可得到 。 ),(),(),(vuHvuFvuG 以上就是逆滤波恢复的基本原理。 1/H(u,v)称为逆滤波器。( , )( , )FG u vH u v( , )f x y11( , ) ( , ) ( , )( , )f x yFF u vFG u vH u v 2、 但实际获取的影像都有噪声，因而只能求F(u,v)的估计值 。再作傅立叶逆变换得),(vuF( , )( , )( , )( , )N u vF u vF u vH u v),(),(),(),(vuNvuHvuFvuG( , )f x y dudvevuHvuNyx

23、fyxfvyuxj)(21),(),(),(),(结论：1.若噪声为零，则采用逆滤波恢复法能完全再现原图像。2.若噪声存在，而且H(u,v）很小或为零时，则噪声被放大。这意味着退化图像中小噪声的干扰在H(u,v)较小时，会对逆滤波恢复的图像产生很大的影响，有可能使恢复的图像和f(x,y)相差很大，甚至面目全非。( , )( , )( , )( , )N u vF u vF u vH u v3、处理方法、处理方法图：图像退化和恢复模型频域表示：vuGvuSvuSvuHvuHvuHvuGvuSvuSvuHvuHvuFfnfn,/,1,/,222*11fnfRRg1TTHHH式 中 ： 与时域对比S

24、f，Sn 和分别为信号和噪声的功率谱H*是系统传递函数的复共轭5.4.2频域维纳滤波频域维纳滤波讨论：A. 1为标准维纳滤波， 不为1时对应含参数的维纳滤波。 可以通过迭代的方法得到。B.在无噪声时，由于 ，就变化成前面的反向滤波。所以维纳恢复方法是为了在噪声存在的情况下提供最佳恢复。C. 在实际应用时，噪声的频谱特性经常很难获得，一般都假定为白噪声，这时噪声的功率谱为常量。D. 当噪声的统计特性不知道时，可做如下近似处理：0,vusnvuGKvuHvuHvuF,2*式中K正比噪声与信号的功率谱密度之比。可通过实验来确定K的值，当然所获得的K值不一定导致最优估计。图图5.4.1将不同噪声水平下

25、的反向滤波恢复图像与维纳滤波恢复图像进行比较。可将不同噪声水平下的反向滤波恢复图像与维纳滤波恢复图像进行比较。可以看出，在强噪声的情况下维纳滤波恢复图像效果明显优于反向滤波，即使在低噪以看出，在强噪声的情况下维纳滤波恢复图像效果明显优于反向滤波，即使在低噪声的情况下，反向滤波的结果也不能令人满意。声的情况下，反向滤波的结果也不能令人满意。 运动模糊的恢复运动模糊的恢复问题在实际中经常会遇到，在照相机曝光期间，物体和相机有相对运动，形成了模糊的运动图像。 5.5运动模糊的恢复5.5.1 匀速直线运动引起的图像模糊的恢复 假设原始图像f(x,y) 在记录过程中有一平面运动，并设 和 分别是景物在x

26、和y方向的运动分量，T为曝光时间，记录媒体（胶片）任何一点所得到的曝光量，是在曝光期间对瞬间曝光进行积分得到。 实际所采集的模糊图像g(x,y)为： 0( )x t0( )y t000( , )( ),( )Tg x yf xx tyy t dt 000,Tg x yfxxtyytdt降质模型 00002200020002020,jux vyTjux vyTjux vyTjuxtvytTjuxtvytG u vg x y edxdyfxxtyytdtedxdyfxxtyytedxdy dtF u v edtF u v H u vH u vedt 进行傅立叶变换传递函数 0002020,0,sin,TjuxtatTjuj uaTatxxtytTH u vH u vedtTedtua euanuH u va例：