第5章 图像复原2

1、数字图像处理数字图像处理电子与信息工程学院电子与信息工程学院第五章第五章 图像复原图像复原恢复降质的图像恢复降质的图像如何实现恢复？如何实现恢复？运动形成的模糊运动形成的模糊复原后图像复原后图像离焦形成的模糊离焦形成的模糊原始图像原始图像图像的降质或者退化图像的降质或者退化产生原因产生原因光学光学系统系统中的中的衍射衍射传感传感器非器非线性线性畸变畸变光学光学系统系统的像的像差差摄影摄影胶片胶片的非的非线性线性大气大气流的流的扰动扰动效应效应图像图像运动运动造成造成的模的模糊糊几何几何畸变畸变亚采样亚采样 第第5章章 图像复原图像复原目的：目的：尽量减少或去除获取图像或处理图像过尽量减少或去除

2、获取图像或处理图像过程中的图像降质程中的图像降质(图像退化图像退化)，恢复其本来面，恢复其本来面目。目。确定损坏过程，并尝试其逆过程进行复原确定损坏过程，并尝试其逆过程进行复原类似于图像增强，但更加客观类似于图像增强，但更加客观图像增强：图像增强：旨在改善图像质量。提旨在改善图像质量。提高图像的可懂度。高图像的可懂度。图像复原：图像复原：力求保持图像的本来面力求保持图像的本来面目，以保真原则为前提，提高图像目，以保真原则为前提，提高图像的逼真度。的逼真度。方法：方法：要弄清楚降质或退化的原因，分析引起要弄清楚降质或退化的原因，分析引起降质或退化的因素，建立相应的数学模降质或退化的因素，建立相应

3、的数学模型，并沿着图像降质的逆过程恢复图像。型，并沿着图像降质的逆过程恢复图像。 图像增强：图像增强：空间域，频率域。空间域，频率域。图像复原：图像复原：空间域，频率域。空间域，频率域。图像复原的关键问题图像复原的关键问题首先建立降质首先建立降质模型，其次进行空间域或频率域上模型，其次进行空间域或频率域上的数值求解。的数值求解。5.1 图像降质的数学模型图像降质的数学模型图像复原的关键是对降质系统图像复原的关键是对降质系统H的基本了解的基本了解系统是某些元件或部件以某种方式构造而成系统是某些元件或部件以某种方式构造而成的整体的整体系统本身所具有的某些特性构成了通过系统系统本身所具有的某些特性构

4、成了通过系统的输入信号与输出信号的某种联系的输入信号与输出信号的某种联系n线性系统：线性系统：()()1212( , ),( , )H f x yf x yH f x yH f x yaa轾轾+=+臌臌多个激励情况下的输出求解简单多个激励情况下的输出求解简单 (,)(,)Hxyh xydabab-=-图像上任一点通过该系统的响应只取决图像上任一点通过该系统的响应只取决于该点的输入值，而与该点的位置无关于该点的输入值，而与该点的位置无关移不变移不变5.1 图像降质的数学模型图像降质的数学模型简单的通用退化复原简单的通用退化复原模型模型(),fx y5.1.1连续图像退化的数学模型连续图像退化的数

5、学模型退化系统或退化系统或降质系统降质系统图像图像f(x,y)降质图像降质图像g(x,y)假设：假设：n系统是线性的；系统是线性的；n噪声不存在该系统中；噪声不存在该系统中；描述一个系统的性能通常用：描述一个系统的性能通常用：冲激响应函数或者传递函数冲激响应函数或者传递函数冲激响应函数冲激响应函数h(x,y)传递函数传递函数H(u,v)傅立叶变换对傅立叶变换对5.1.1连续图像退化的数学模型连续图像退化的数学模型对于非线性、空间变化系统，当输入是对于非线性、空间变化系统，当输入是函数时，有：函数时，有：daba b-=(,)(,)Hxyh x y这类系统，求解、分析都非常困难这类系统，求解、分

6、析都非常困难,图像图像处理常不予考虑。处理常不予考虑。5.1.1连续图像退化的数学模型连续图像退化的数学模型对于一个理想的线性移不变系统对于一个理想的线性移不变系统(全通系全通系统统)，当输入是，当输入是函数时，有：函数时，有：(,)(,)Hxyxydabdab-=-对于一个非理想对于一个非理想(频带频带)的线性移不变系统，的线性移不变系统，当输入是当输入是函数时，有：函数时，有：(,)(,)Hxyh xydabab-=-5.1.1连续图像退化的数学模型连续图像退化的数学模型当输入是图像当输入是图像f(x,y)时，其输出表示为：时，其输出表示为：( , )( , )g x yH f x y=(

7、) ()( , ),f x yfxyd da b daba b- -=-蝌一幅连续的输入图像一幅连续的输入图像f(x,y)可以看作是由一可以看作是由一系列点源表示，即有：系列点源表示，即有：5.1.1连续图像退化的数学模型连续图像退化的数学模型()()() ()()()() (),( , )* ( , )g x yH f x yHfxyd dfHxyd dfh xyd df x yh x ya b daba ba bdaba ba baba b- - - -轾轾犏=-臌犏臌轾=-臌=-=蝌蝌蝌费雷德霍姆积费雷德霍姆积分分5.1.1连续图像退化的数学模型连续图像退化的数学模型线性系统线性系统H可

8、由其冲激响应来表征可由其冲激响应来表征()()() ()()()() (),( , )g x yHfx yHfxyd dfHxyd dfxyd df x ya b daba ba bdaba ba b daba b- - - -轾轾犏=-臌犏臌轾=-臌=-=蝌蝌蝌经过理想线性移不变系统，输出保持不变经过理想线性移不变系统，输出保持不变考虑系统受到噪声考虑系统受到噪声n(x,y)的影响，对于线性的影响，对于线性移不变系统，退化模型数学表达式为：移不变系统，退化模型数学表达式为：( , )( , )* ( , )( , )g x yf x y hx y nx y=+退化或降质退化或降质系统系统h(

9、x,y)图像图像f(x,y)降质图像降质图像g(x,y)噪声信号噪声信号n(x,y)在频率域上，退化模型：在频率域上，退化模型：( , )( , )( , )( , )G uF uH uN uuuuu=+退化过程退化过程 T f g 或或 F G 复原过程复原过程 T-1 g f 或或 G F ?5.1.1连续图像退化的数学模型连续图像退化的数学模型5.1.2几种典型的退化模型几种典型的退化模型一、孔径衍射造成的图像退化一、孔径衍射造成的图像退化小孔衍射造成的模糊小孔衍射造成的模糊系统是线性移不变的系统是线性移不变的 图像退化效果图像退化效果散焦对应的点扩展函数散焦对应的点扩展函数光学散焦系统

10、的传递函数为：光学散焦系统的传递函数为： d是散焦点扩展函数的直径是散焦点扩展函数的直径, J1()是是第一类贝塞尔函数。第一类贝塞尔函数。122()( , )()JdH udupruprru=+由于透镜的有限大小及厚度非均匀性导致图像质量由于透镜的有限大小及厚度非均匀性导致图像质量退化退化二、目标相对运动造成的图像退化二、目标相对运动造成的图像退化运动形成的模糊示例运动形成的模糊示例运动模糊的点扩展函数示例运动模糊的点扩展函数示例图像退化效果图像退化效果假设照相机或摄像机的曝光介质所产生的假设照相机或摄像机的曝光介质所产生的图像退化除受相对运动影响之外，不考虑图像退化除受相对运动影响之外，不

11、考虑其它因素的变化。其它因素的变化。 只研究匀速直线运动造成模糊图像的只研究匀速直线运动造成模糊图像的恢复，非匀速直线运动在一定条件下可以恢复，非匀速直线运动在一定条件下可以看成多段匀速直线运动的合成结果。看成多段匀速直线运动的合成结果。目标相对运动降质的传递函数目标相对运动降质的传递函数设物体设物体f(x,y)在一平面运动，令在一平面运动，令x(t)和和y(t)分分别是物体在别是物体在x和和y方向上的分量，方向上的分量，t表示运动表示运动的时间。记录介质的总曝光量是在快门打的时间。记录介质的总曝光量是在快门打开到关闭这段时间的积分。则模糊后的图开到关闭这段时间的积分。则模糊后的图像为：像为：

12、()( )( )000,Tg x yfxxtyytdt轾=-臌对上述式两边求傅立叶变换：对上述式两边求傅立叶变换：()()()000,exp2 ()( ),( )exp2 ()TG u vFFT g x yg x yjuxydxdyf xx tyy tdtjuxydxdypupu- - -轾=臌=-+禳镲=-+睚镲铪蝌蝌设设: x - x0(t), = y - y0(t)则：则： x =+ x0(t), y = + y0(t) 代入上式，有代入上式，有()000,( ),( ) exp2 ()TG u vf xx tyy tjuxydxdy dtpu- -禳镲=-+睚镲铪蝌()()()()00

13、0000000,exp2 ()exp2 ( )( ),exp2 ( )( ),exp2 ( )( )TTTG u vfjud djux ty tdtF ujux ty tdtF ujux ty tdta bpauba bpuupuupu- -禳镲=-+睚镲铪-+=-+=-+蝌()( )000,exp2( )TH ujuxty tdtupu轾=-+臌令令上式可表示成：上式可表示成：()()(),G uF uH uuuu=匀速直线运动所造成的图像模糊系统的匀速直线运动所造成的图像模糊系统的传递函数，进行反傅立叶变换可得出系传递函数，进行反傅立叶变换可得出系统的点扩展函数。统的点扩展函数。()( )

14、000,exp2( )TH ujuxty tdtupu轾=-+臌如果只有如果只有x方向的匀速运动，在方向的匀速运动，在T时间里时间里物体运动水平位移为物体运动水平位移为a，则在任意，则在任意t时间时间里物体在里物体在x方向上的分量方向上的分量x0(t)=at/T,则图则图像系统的传递函数为：像系统的传递函数为：()0002,exp2( )exp2(1)2TTjuaH u vjux tdtatjudtTjTeuapppp-=-轾=-犏犏臌=-三、大气湍流造成的图像退化三、大气湍流造成的图像退化()()5226,expH uC uuu轾犏=-+犏臌C是与湍流性质有关的常数。是与湍流性质有关的常数。

15、只考虑长时间作用情况下，大气湍流降质图只考虑长时间作用情况下，大气湍流降质图像的系统传递函数像的系统传递函数5.1.3离散图像退化的数学模型离散图像退化的数学模型一、一维离散情况退化模型一、一维离散情况退化模型( )( )( )g xfxh x=*设设f(x)、h(x)分别具有分别具有A个和个和B个采样点。个采样点。若把若把fe(x)、 ge(x) 表示成向量形式：表示成向量形式：循环卷积写成矩阵形式：循环卷积写成矩阵形式： g=HfH是是MM的矩阵。的矩阵。(0),(1),(1)(0),(1),(1)TeeeTeeefff Mggg M=-=-fg则循环卷积为则循环卷积为 1100( , )

16、( , )(,)0,1,2.10,1,2.1MNeemng x yf m n h xm ynxMyN-=-=-=-邋f、g是是MN维向量，维向量，H是是MNMN矩阵，矩阵，H是分是分块循环矩阵。块循环矩阵。0121101221031230MMMMMM-轾犏犏犏犏=犏犏犏犏臌HHHHHHHHHHHHHHHHH矩阵形式矩阵形式 :( ,0)( ,1)( ,2)( ,1)( ,1)( ,0)( ,1)( ,2)( ,2)( ,1)( ,0)( ,3)( ,1)( ,2)( ,3)( ,0)eeeeeeeejeeeeeeeehjhj Nhj Nhjhjhjhj Nhjhjhjhjhjhj Nhj Nh

17、j Nhj轾-犏犏-犏犏=犏犏犏-犏臌HHj是由延拓函数是由延拓函数he(x,y)的第的第j行构成行构成考虑到噪声影响，并设考虑到噪声影响，并设n是是MN 维噪声向维噪声向量，则离散图像的退化模型为：量，则离散图像的退化模型为： g=Hf+n5.2 无约束图像复原无约束图像复原一、无约束代数复原法一、无约束代数复原法二、逆滤波二、逆滤波一、无约束代数复原法一、无约束代数复原法方法：不同的误差最优准则，就得到不同方法：不同的误差最优准则，就得到不同的复原方法的复原方法目的：已知降质图像目的：已知降质图像g以及降质系统的循以及降质系统的循环矩阵环矩阵H，包括对噪声，包括对噪声n的了解或假设，估的了

18、解或假设，估计原始图像计原始图像 , 使得某种事先确定的误差使得某种事先确定的误差最小。最小。f2n使得使得 最小的准则称为最小二乘方准则最小的准则称为最小二乘方准则，此时的复原方法是无约束的图像复原。，此时的复原方法是无约束的图像复原。gHfnngHf=+=-22TTnn ngHfgHfgHf=-=-( )0Jff=( )22JfngHf=-根据范数定义有：根据范数定义有：使得准则函数最小：使得准则函数最小：( )()J f2HgHf0fT= -=H HfH gTT=()11fH HH gH gTT-=XXTaa轾臌=XXTaa轾臌=XA X2 A XXT轾臌=二、逆滤波二、逆滤波 G(u,

19、v)=F(u,v) H(u,v)()()()uuu=,G uF uH uH(u,v)不为0二、逆滤波二、逆滤波()()()()11uuu-轾轾犏=+犏臌犏臌,N ufx yFFTF uFFTH u()()()()11uuu-轾轾犏=犏臌犏臌,G ufx yFFTF uFFTH u考虑噪声：考虑噪声：避免为零值避免为零值, 限制滤波频率限制滤波频率使其接近原点使其接近原点值。值。当退化为零或当退化为零或很小时很小时,N(u,v)/H(u,v)会变得很大会变得很大H(u,v)M(u,v)F(u,v)F(u,v)G(u,v)逆滤波模型逆滤波模型),(1),(vuHvuM令令 ，它是，它是H(u,v)

20、的逆，的逆，代表滤波器的转移函数，代表滤波器的转移函数，该恢复方法取名该恢复方法取名为逆滤波。为逆滤波。逆滤波模型逆滤波模型F(u,v)H(u,v)M(u,v)G(u,v)N(u,v)()u,F u逆滤波图像复原的病态性质逆滤波图像复原的病态性质 当当H(u,v)很小或等于零，即出现了零点，很小或等于零，即出现了零点，会导致不定解。会导致不定解。 即使没有噪声，一般也不可能精确地复即使没有噪声，一般也不可能精确地复原原f(x,y)。如果考虑噪声项。如果考虑噪声项N(u,v)，则出现零，则出现零点时，噪声项将被放大，零点的影响将会更点时，噪声项将被放大，零点的影响将会更大，对复原的结果起主导地位

21、。大，对复原的结果起主导地位。退化系统的传递函数退化系统的传递函数H(u,v)频率逆滤波器传递函数逆滤波器传递函数改进的逆滤波器传递函改进的逆滤波器传递函数数 逆滤波器零点的影响及其改进逆滤波器零点的影响及其改进M(u,v)频率M(u,v)频率考虑到退化系统的传递函数考虑到退化系统的传递函数H(u,v)的带宽的带宽比噪声的带宽要窄的多，其频率特性具有比噪声的带宽要窄的多，其频率特性具有低通性质，取恢复转移函数低通性质，取恢复转移函数M(u,v)为为 ()()222022201,1uvH uMuuvwuuw+= +存在振铃现象存在振铃现象 可以用下式消除振铃现象可以用下式消除振铃现象 ()()(

22、 , ),1,kH u vdM uelseH uuu= 逆滤波逆滤波改进后的逆滤波改进后的逆滤波5.3 有约束图像复原有约束图像复原5.3.1 有约束代数复原方法有约束代数复原方法5.3.2 维纳滤波维纳滤波5.3.3 功率谱均衡复原功率谱均衡复原5.3 有约束图像复原有约束图像复原 逆滤波图像复原是一种无约束复原逆滤波图像复原是一种无约束复原，除了寻找一个最优估计图像，使得准，除了寻找一个最优估计图像，使得准则函数最小外，不受任何其它约束则函数最小外，不受任何其它约束。 只要了解降质系统的传递函数或点只要了解降质系统的传递函数或点扩展函数，就能利用前面分析的方法进扩展函数，就能利用前面分析的

23、方法进行复原。行复原。 由于传递函数存在零点的问题，复原由于传递函数存在零点的问题，复原只能局限在离原点不太远的有限区域内进只能局限在离原点不太远的有限区域内进行，使得无约束图像复原具有相当大的局行，使得无约束图像复原具有相当大的局限性。限性。 有约束图像复原技术指除了要求有约束图像复原技术指除了要求了解关于退化系统的传递函数之外，了解关于退化系统的传递函数之外，还需要知道某些噪声的统计特性或噪还需要知道某些噪声的统计特性或噪声与图像的某些相关知识。声与图像的某些相关知识。 根据所了解的噪声先验知识的不根据所了解的噪声先验知识的不同，采用不同的约束条件，从而得到同，采用不同的约束条件，从而得到

24、不同的图像复原技术。最常见的是有不同的图像复原技术。最常见的是有约束的最小二乘方图像复原技术约束的最小二乘方图像复原技术。 令令Q为为f的线性算子，设法寻找一个最优的线性算子，设法寻找一个最优估计估计 ，使形式为，使形式为 、服从约束条件、服从约束条件 的函数最小化。的函数最小化。( )222J fQfg Hfna骣=+-琪桫5.3.1 有约束代数复原方法有约束代数复原方法2fQf22gHfn-=拉格朗拉格朗日系数日系数求导并使求导并使 为零为零 ，则则()1fH HQ QH gTTTg-=+ 式中式中=1/，这个量必须调整到，这个量必须调整到约束条件被满足为止。约束条件被满足为止。 ( )J

25、 f0f=n求解最优估计求解最优估计 核心就是选择一个核心就是选择一个合适的变换矩阵合适的变换矩阵Q；n不同的不同的Q对应不同类型的有约束的最对应不同类型的有约束的最小二乘法图像复原方法。小二乘法图像复原方法。 f一、能量约束一、能量约束当当Q矩阵为单位矩阵时，即矩阵为单位矩阵时，即()1fH HH gTTIg-=+ 其物理意义是：当有若干个可能的解时，其物理意义是：当有若干个可能的解时，能量最小的解为最佳解能量最小的解为最佳解，此时约束条件，此时约束条件 最小。最小。2fQ二、特征约束二、特征约束 特征约束是以图像空间的滤波特征特征约束是以图像空间的滤波特征为依据确定约束矩阵，如为依据确定约

26、束矩阵，如121242121Q轾-犏犏= -犏犏-臌 上述的上述的Q表示在垂直方向和水平方向都取表示在垂直方向和水平方向都取二阶差分，则此时的解是在所有解中二阶差二阶差分，则此时的解是在所有解中二阶差分最小的解就是该约束条件的解。分最小的解就是该约束条件的解。5.3.2 维纳滤波维纳滤波维纳滤波是一种最小均方误差滤波器；图维纳滤波是一种最小均方误差滤波器；图像像f(x,y)与与 间的均方误差达到最间的均方误差达到最小的准则函数来实现图像复原。小的准则函数来实现图像复原。y)(x,f22emin ( , )( , )Ef x yf x y=-5.3.2 维纳滤波维纳滤波 核心是如何选用一个合适的

27、变换矩核心是如何选用一个合适的变换矩阵阵Q。选择。选择Q形式不同，可得到不同类形式不同，可得到不同类型的有约束的图像复原方法。型的有约束的图像复原方法。 如果选用图像如果选用图像f和噪声和噪声n的相关矩阵的相关矩阵Rf和和Rn表示表示Q可以得到维纳滤波复原方法。即可以得到维纳滤波复原方法。即： QTQ=Rf-1Rn()1fH HQ QH gTTTg-=+ Rf和和Rn分别是图像分别是图像f和噪声和噪声n的相关矩阵的相关矩阵 Rf = Ef fT Rn= EnnT 假设典型的相关矩阵只在主对角线方向上假设典型的相关矩阵只在主对角线方向上有一条非零元素带，而在右上角和左下角的区有一条非零元素带，而

28、在右上角和左下角的区域将为零值。域将为零值。 利用循环矩阵的对角化，可以写成：利用循环矩阵的对角化，可以写成： Rf = W A W-1 Rn = W B W-1 A和和B分别对应于分别对应于Rf和和Rn 相应的对角矩阵，相应的对角矩阵，根据循环矩阵对角化的性质，根据循环矩阵对角化的性质，A和和B中的诸元中的诸元素分别为素分别为Rf和和Rn中诸元素的傅立叶变换，并中诸元素的傅立叶变换，并用用Sf(u,v)和和Sn(u,v)表示表示 ()1*111*1fWDDWWA BWWDW gg-=+()11*1*1W fDDA B DW gg-=+()1fH HH gTTIg-=+括号内括号内都是对都是对

29、角阵角阵()()()()()()()()()()()()*222,1,nfnfHu vF u vG u vH u vSu vSu vH u vG u vH u vH u vSu vSu vgg轾犏=犏轾+犏臌臌轾犏=犏轾+犏臌臌1、如果、如果=1，称为维纳滤波器，称为维纳滤波器 ；为变量为变量，则称为参变滤波器。，则称为参变滤波器。2、无噪声时，、无噪声时，Sn(u,v)=0。退化成逆滤波。退化成逆滤波器。因此，逆滤波器可看成是维纳滤波器。因此，逆滤波器可看成是维纳滤波器的一种特殊情况。器的一种特殊情况。3、不知道噪声的统计性质，即当、不知道噪声的统计性质，即当Sf(u,v)和和Sn(u,v)未知时：未知时：()()()()2,Hu vFu vGu vHu vK*轾犏犏+犏臌5