图像复原基本原理

1、图像复原图像复原 -Image restoration模糊?退化!6.1 图像退化原因与复原技术分类图像退化原因与复原技术分类n图像质量的图像质量的退化（退化（degradation）n由于射线辐射、大气湍流等造成的照片畸变由于射线辐射、大气湍流等造成的照片畸变nA/D过程会损失部分细节，造成图像质量下降过程会损失部分细节，造成图像质量下降n镜头聚焦不准产生的散焦模糊镜头聚焦不准产生的散焦模糊n成像系统中始终存在的噪声干扰成像系统中始终存在的噪声干扰n相机与景物之间的相对运动产生的运动模糊相机与景物之间的相对运动产生的运动模糊n底片感光、图像显示时会造成记录显示失真底片感光、图像显示时会造成记

2、录显示失真n成像系统的像差、非线性畸变、有限带宽成像系统的像差、非线性畸变、有限带宽n携带遥感仪器的飞机或卫星运动的不稳定，以及地球自转等携带遥感仪器的飞机或卫星运动的不稳定，以及地球自转等因素引起的照片几何失真因素引起的照片几何失真n图像复原图像复原n又叫图像恢复，是指在研究图像退化原因的基又叫图像恢复，是指在研究图像退化原因的基础上，以退化图像为依据，根据一定的先验知础上，以退化图像为依据，根据一定的先验知识，建立一个退化模型，然后用相反的运算，识，建立一个退化模型，然后用相反的运算，恢复原始的景物图像恢复原始的景物图像 n图像复原对已知的退化图像进行分析，估计出图像复原对已知的退化图像进

3、行分析，估计出最接近原图像的结果，是一个信号的求逆过程最接近原图像的结果，是一个信号的求逆过程 n图像复原要明确规定图像复原要明确规定质量准则质量准则n衡量接近原始景物图像的程度衡量接近原始景物图像的程度n图像复原的关键图像复原的关键-复原复原模型模型n可以用连续数学或离散数学处理可以用连续数学或离散数学处理n复原模型必须根据导致图像退化的数学模型来对退化复原模型必须根据导致图像退化的数学模型来对退化图像进行处理，具体可通过在空间域卷积或在频域相图像进行处理，具体可通过在空间域卷积或在频域相乘实现乘实现n传统的复原方法传统的复原方法n基于平稳图像、线性空间不变的退化系统、图像和噪声基于平稳图像

4、、线性空间不变的退化系统、图像和噪声统计特性的先验知识已知等条件下进行讨论统计特性的先验知识已知等条件下进行讨论n现代的复原方法现代的复原方法n适合于非平稳图像（如卡尔曼滤波），采用非线性方法适合于非平稳图像（如卡尔曼滤波），采用非线性方法（如神经网络），在信号与噪声的先验知识未知（如盲（如神经网络），在信号与噪声的先验知识未知（如盲图像复原）等前提下开展工作图像复原）等前提下开展工作图像复原与图像增强的关系图像复原与图像增强的关系n联系联系n都可以改善输入图像的视觉质量都可以改善输入图像的视觉质量n区别区别n图像增强（主观）图像增强（主观）n为了视觉系统的生理接受特点而设计的一种改善方法为了

5、视觉系统的生理接受特点而设计的一种改善方法n目的：得到较好的视觉效果目的：得到较好的视觉效果n图像复原（客观）图像复原（客观）n图像自身在某种情况下会退化，致使图像品质下降图像自身在某种情况下会退化，致使图像品质下降n目的：将退化过程用模型描述，并采用相反过程处理，以恢目的：将退化过程用模型描述，并采用相反过程处理，以恢复原始图像复原始图像图像增强图像增强图像复原图像复原对一幅已经退化的图像，通常的做法是先做图对一幅已经退化的图像，通常的做法是先做图像复原，再进行图像的增强处理像复原，再进行图像的增强处理退化模型退化模型n退化过程退化过程通常可以被模型化为一个通常可以被模型化为一个退化函数退化

6、函数和一个和一个噪声噪声),( yxf),(yxg),(yx退化系统退化系统图像复原的过程图像复原的过程n图像复原的目的是利用逆求解方法恢复退化图像复原的目的是利用逆求解方法恢复退化/失真的图像失真的图像n根据根据g(x,y)，获得关于，获得关于f(x,y)的的最佳估计最佳估计f (x,y)n与图像增强的区别与图像增强的区别n图像恢复需要利用已知或可以估计出的退化模型图像恢复需要利用已知或可以估计出的退化模型: 先验知识先验知识 (priori knowledge)nOriginal content and quality Good lookingn“最佳估计最佳估计”而非而非“真实估计真实估

7、计”n由于存在可能导致图像复原的病态性由于存在可能导致图像复原的病态性n最佳估计问题不一定有解最佳估计问题不一定有解n由于图像复原中可能遇到奇异问题由于图像复原中可能遇到奇异问题n逆问题可能存在多个解逆问题可能存在多个解n图像恢复：根据图像恢复：根据g(x,y)，获得关于原图像的，获得关于原图像的近似估计近似估计f (x,y)n恢复的方法：如果我们所知道的恢复的方法：如果我们所知道的退化函数退化函数H和和噪声噪声n的信息的信息愈多，我们就能尽可能准确地估计原始输入图像愈多，我们就能尽可能准确地估计原始输入图像n如果退化函数如果退化函数H是是线性、空间位移不变性系统线性、空间位移不变性系统n空域

8、空域中的退化图像中的退化图像 g(x,y)=h(x,y)*f(x,y)+n(x,y)n频域频域中的表示中的表示 G(u,v)=H(u,v)F(u,v)+N(u,v)n图像复原的分类图像复原的分类n按照退化模型按照退化模型n无约束：仅将图像看做一个数字矩阵，从数学角度处理无约束：仅将图像看做一个数字矩阵，从数学角度处理n有约束：还考虑图像的物理约束有约束：还考虑图像的物理约束n按照是否需要用户干预按照是否需要用户干预n自动式自动式n交互式交互式n按照处理所在的域按照处理所在的域n空间域恢复空间域恢复n频率域恢复频率域恢复噪声模型n噪声：主要源自图像的获取的传输过程噪声：主要源自图像的获取的传输过

9、程n噪声的描述：噪声的描述： Probability density functions(PDF)n噪声模型：通常由噪声的物理来源特性决定噪声模型：通常由噪声的物理来源特性决定n高斯噪声高斯噪声：源于电子电路噪声和由低照明度或高温带来的：源于电子电路噪声和由低照明度或高温带来的传感器噪声。传感器噪声。n瑞利分布瑞利分布：特征化噪声。：特征化噪声。n指数分布、伽马分布指数分布、伽马分布：激光成像。：激光成像。n脉冲噪声（椒盐噪声）脉冲噪声（椒盐噪声）：错误的开关操作。：错误的开关操作。n均匀分布均匀分布：常作为模拟随机数产生器的基础，实践中较少：常作为模拟随机数产生器的基础，实践中较少高斯噪声高

10、斯噪声瑞利噪声瑞利噪声伽马噪声伽马噪声指数噪声指数噪声均匀噪声均匀噪声脉冲噪声脉冲噪声nA=zeros(120,120);nfor i=21:100n for j=21:100n A(i,j)=127;n endnendnfor i=41:80n for j=41:80n A(i,j)=255;n endnendnA=uint8(A);figure;subplot(241);imshow(A,); subplot(245);hist(double(A),10);B=imnoise(A,gaussian,0,0.05);subplot(242);imshow(B,); subplot(246);

11、hist(double(B),10);C=imnoise(A,speckle,0.05);subplot(243);imshow(C,); subplot(247);hist(double(C),10);D=imnoise(A,salt & pepper,0.05);subplot(244);imshow(D,); subplot(248);hist(double(D),10);样本噪声图像和它们的直方图样本噪声图像和它们的直方图n空域滤波复原空域滤波复原n均值滤波器均值滤波器n序列统计滤波器序列统计滤波器n自适应中值滤波器自适应中值滤波器n频域滤波复原频域滤波复原n带阻滤波器带阻滤波

12、器n带通滤波器带通滤波器n陷波滤波器陷波滤波器均值滤波器均值滤波器,( , )1( ,)( , )x ys tSfx yg s tmn 算术均值算术均值算术均值与几何均值滤波算术均值与几何均值滤波器适合处理器适合处理高斯或均匀高斯或均匀等等随机噪声随机噪声,1( , )( , )( , )x ymns tSf x yg s t 几何均值几何均值xyStstsgmnyxf),(),(1),( 谐波均值谐波均值 逆谐波均值逆谐波均值,1( , )( , )( , )( , )( , )x yx yQs tSQs tSg s tf x yg s t谐波均值适合处理脉冲噪声，谐波均值适合处理脉冲噪声，

13、 对于对于“盐盐”噪声效果很好，但不适于噪声效果很好，但不适于“胡胡椒椒”噪声噪声逆谐波均值的效果与逆谐波均值的效果与Q有关：有关： Q0 消除消除“胡椒胡椒”噪声噪声 Q0 消除消除“盐盐”噪声噪声 “胡椒胡椒”噪声干扰图像噪声干扰图像 “盐盐”噪声干扰图像噪声干扰图像Q值取值不当的滤波效果值取值不当的滤波效果33大小，大小，Q=1.5的的 33大小，大小，Q=-1.5的逆的逆逆谐波均值滤波器逆谐波均值滤波器 谐波均值滤波器谐波均值滤波器nA=imread(cameraman.tif);nAn=imnoise(A,gaussian,0,0.06);An=double(An);nfigure;

14、 subplot(231); imshow(A); title(原图);nsubplot(232); imshow(An,);title(噪声图);nAnmean1=imfilter(An,fspecial(average,3);nsubplot(233); imshow(Anmean1,);title(算术均值);nAnmean2=exp(imfilter(log(An),fspecial(average,3);nsubplot(234); imshow(Anmean2,);title(几何均值);nQ=-1.5;nAnmean3=imfilter(An.(Q+1),fspecial(ave

15、rage,3)./imfilter(An.Q,fspecial(average,3);nsubplot(235); imshow(Anmean3,);title(逆谐波1);nQ=1.5;nAnmean4=imfilter(An.(Q+1),fspecial(average,3)./imfilter(An.Q,fspecial(average,3);nsubplot(236); imshow(Anmean4,);title(逆谐波2);不同均值滤波器对不同均值滤波器对高斯高斯噪声污染图像的处理效果噪声污染图像的处理效果不同均值滤波器对不同均值滤波器对椒盐椒盐噪声污染图像的处理效果噪声污染图像的

16、处理效果逆谐波对分别被胡椒噪声和盐噪声污染的图像进行复原的结果逆谐波对分别被胡椒噪声和盐噪声污染的图像进行复原的结果n均值滤波器总结均值滤波器总结n 算术均值滤波器和几何均值滤波器适合于处算术均值滤波器和几何均值滤波器适合于处理高斯或均匀等随机噪声理高斯或均匀等随机噪声n谐波均值滤波器适合于处理脉冲噪声谐波均值滤波器适合于处理脉冲噪声n缺点：必须事先知道噪声是暗噪声还是亮噪声，缺点：必须事先知道噪声是暗噪声还是亮噪声，以便于选择合适的以便于选择合适的Q符号符号顺序统计滤波器顺序统计滤波器对于对于脉冲脉冲（盐和盐和胡椒胡椒）噪声有效）噪声有效.,( , )( , )( , )x ys tSf x

17、 ymedian g s t 中值滤波器中值滤波器在相同尺寸下，比起均在相同尺寸下，比起均值滤波器引起的模糊少值滤波器引起的模糊少Pa =Pb =0.1的脉冲噪声的脉冲噪声 33的中值滤波器的中值滤波器第二次中值滤波器处理第二次中值滤波器处理 第三次中值滤波器处理，第三次中值滤波器处理， 全部噪声消除全部噪声消除最大值滤波器最大值滤波器发现图像中亮点发现图像中亮点用于消除用于消除“胡椒胡椒”最小值滤波器最小值滤波器发现图像中暗点发现图像中暗点用于消除用于消除“盐盐”最小值滤波器处理最小值滤波器处理最大值滤波器处理最大值滤波器处理“胡椒胡椒”噪声干扰图像噪声干扰图像 “盐盐”噪声干扰图像噪声干扰

18、图像n中点滤波器中点滤波器n结合了顺序统计和求平均的特点结合了顺序统计和求平均的特点n对高斯和均匀分布的噪声效果最好对高斯和均匀分布的噪声效果最好),(min),(max21),(),(),(tsgtsgyxfxyxyStsStsn修正后阿尔法均值滤波器修正后阿尔法均值滤波器（Alpha-trimmed mean filter）n假设在假设在Sxy邻域内去掉邻域内去掉 g(s,t)中中 d/2个最高灰度值和个最高灰度值和d/2个最低灰度值个最低灰度值n用用gr(s,t)表示剩余的表示剩余的mn-d个像素。个像素。n0dmn-1nd=0 算术均值滤波器算术均值滤波器nd=(mn-1)/2 中值滤

19、波器中值滤波器xyStsrtsgdmnyxf),(),(1),(处理包括多种噪声混合情况，例如处理包括多种噪声混合情况，例如高斯噪声与椒盐噪声高斯噪声与椒盐噪声混合混合均值为均值为0，方差，方差为为800的噪声的噪声Pa =Pb =0.1的的椒盐噪声叠加椒盐噪声叠加中值滤波器中值滤波器d=5,规格为规格为55的修的修正后的阿尔法均值滤波正后的阿尔法均值滤波器器算术均值滤波器算术均值滤波器几何均值滤波器几何均值滤波器n图像复原的频率域滤波器图像复原的频率域滤波器n带阻滤波器带阻滤波器n带通滤波器带通滤波器n陷波滤波器陷波滤波器n最佳陷波滤波器最佳陷波滤波器n带阻滤波器：阻止一定频率范围内的信号带

20、阻滤波器：阻止一定频率范围内的信号通过而允许其它频率范围内的信号通过，通过而允许其它频率范围内的信号通过，目的在于消除或衰减傅里叶变换原点处的目的在于消除或衰减傅里叶变换原点处的频段频段n理想带阻滤波器理想带阻滤波器n巴特沃斯带阻滤波器巴特沃斯带阻滤波器n高斯带阻滤波器高斯带阻滤波器n理想带阻滤波器理想带阻滤波器 2WD)v ,u(Dif12WD)v ,u(D2WDif02WD)v ,u(Dif1)v ,u(H0000其中，其中，W为所需的频带宽度，为所需的频带宽度，D0是频带中心的半径是频带中心的半径n n阶巴特沃斯带阻滤波器阶巴特沃斯带阻滤波器n高斯带阻滤波器高斯带阻滤波器nDvuDWvu

21、DvuH2202),(),(11),(2W)v ,u(D20D)v ,u(2D21e1)v ,u(H 带阻滤波器透视图带阻滤波器透视图理想理想 巴特沃斯（巴特沃斯（1阶）阶）高斯高斯被正弦噪声污染的图像被正弦噪声污染的图像该图像的傅里叶频谱图该图像的傅里叶频谱图带阻滤波后的图像带阻滤波后的图像1阶巴特沃斯带阻滤波器阶巴特沃斯带阻滤波器n带通滤波器带通滤波器n允许一定频率范围内的信号通过，而阻止其他频率允许一定频率范围内的信号通过，而阻止其他频率范围的信号通过范围的信号通过n与带阻相反与带阻相反nH带通带通(u,v)=1-H带阻带阻(u,v)n带通滤波器不用于直接处理图像，而是用于提取图带通滤波

22、器不用于直接处理图像，而是用于提取图像中的周期噪声模式像中的周期噪声模式n陷波滤波器陷波滤波器n阻止或通过事先定义的中心频率邻域内的频率阻止或通过事先定义的中心频率邻域内的频率n由于傅里叶变换的对称性，陷波滤波器由于傅里叶变换的对称性，陷波滤波器必须以必须以原点对称的形式出现原点对称的形式出现n可以有带通与带阻两种方式，分别实现允许可以有带通与带阻两种方式，分别实现允许/通过给定中心频率范围内的滤波效果通过给定中心频率范围内的滤波效果n理想陷波带阻滤波器理想陷波带阻滤波器.n巴特沃斯陷波带阻滤波器巴特沃斯陷波带阻滤波器n高斯陷波带阻滤波器高斯陷波带阻滤波器逆滤波逆滤波n退化模型：退化模型：n退

23、化的图像为原图像与退化函数的卷积再叠加噪声退化的图像为原图像与退化函数的卷积再叠加噪声n转换至频域：转换至频域：n原图像的近似估计：原图像的近似估计：n逆滤波：退化的逆过程逆滤波：退化的逆过程),(),(*),(),(yxnyxfyxhyxg ),(),(),(),(vuNvuFvuHvuG )v ,u(H)v ,u(G)v ,u(F )v ,u(H)v ,u(N)v ,u(H)v ,u(G)v ,u(F 常见退化模型常见退化模型n运动模糊运动模糊n相机晃动或物体快速移动相机晃动或物体快速移动n空气扰动模糊空气扰动模糊n穿过大气层，长时间曝光穿过大气层，长时间曝光nHufnagel and S

24、tanleyn焦点失调模糊焦点失调模糊:n均匀二维模糊均匀二维模糊10( , )0.aibjh i jotherwise222( , )exp2ijh i jK22221( , )0.ijRh i jRotherwise21/2,/2( , )0.Li jLh i jLotherwise5/622( , )exph i jkij (a)(a)含噪声的模糊图像含噪声的模糊图像; (b); (b)用逆滤波直接恢复的结果用逆滤波直接恢复的结果逆滤波的特点逆滤波的特点n优点：优点：n形式简单，适于极高信噪比条件下的图像复原问题，且形式简单，适于极高信噪比条件下的图像复原问题，且降质系统的传递函数降质系

25、统的传递函数 H H 不存在病态性质不存在病态性质n缺点缺点n计算量较大，对计算量较大，对 ，若，若H(u,v)H(u,v)在在uvuv平面上平面上取零或很小，复原后的图像将无意义，需要人为校正取零或很小，复原后的图像将无意义，需要人为校正n噪声的去除可能会产生更严重的问题噪声的去除可能会产生更严重的问题v)H(u,v)G(u,v)(u,F 维纳滤波维纳滤波n最小均方误差滤波器最小均方误差滤波器n假设假设 f 和和 均为二维随机序列，且不相关均为二维随机序列，且不相关.n目的目的: 最小化最小化n结果：频域逆滤波的选择性尺度变换结果：频域逆滤波的选择性尺度变换2Effn约束最小二乘法复原问题约

26、束最小二乘法复原问题n令令Q Q为为f f的线性算子，要设法寻找一个最优估计的线性算子，要设法寻找一个最优估计n使下面的目标函数为最小使下面的目标函数为最小f）（222)(nfHgfQfJ式中，式中，为拉格朗日乘子为拉格朗日乘子 , f 的最佳估值的最佳估值gHQQHHfTTT1)(式中，式中，=-1 n最小二乘法滤波复原的核心是如何选择一个合最小二乘法滤波复原的核心是如何选择一个合适的变换矩阵适的变换矩阵Q。nQ的形式不同，可得到不同类型的复原方法。的形式不同，可得到不同类型的复原方法。n选用图像选用图像f和噪声和噪声n的自相关矩阵的自相关矩阵Rf和和Rn表示表示Q就可得就可得到维纳滤波复原

27、方法。到维纳滤波复原方法。n将将f和和n近似地看成是平稳随机过程。假设近似地看成是平稳随机过程。假设Rf和和Rn为为f和和n的自相关矩阵。的自相关矩阵。 Rf = Ef f T Rn = EnnTn定义定义QTQ=R-1fRn，代入得，代入得 gHRRHHfTnfT11)( 假设假设M=N，Sf 和和Sn 分别为图像和噪声的功率谱，分别为图像和噪声的功率谱，则则),(),(/ ),(|),(| ),(|),(1),(),(/ ),(| ),(|),(),(222vuGvuSvuSvuHvuHvuHvuGvuSvuSvuHvuHvuFfnfnn如果如果=1，系统函数，系统函数Hw(u,v)是维纳

28、滤波器的传递函数是维纳滤波器的传递函数n如果如果=0，系统变成单纯的去卷积滤波器，系统的传，系统变成单纯的去卷积滤波器，系统的传递函数即为递函数即为H -1n尽管尽管0但无噪声影响，但无噪声影响，Sn(u, v)=0，复原系统亦为理想的逆，复原系统亦为理想的逆滤波器，可以看成是维纳滤波器的一种特殊情况滤波器，可以看成是维纳滤波器的一种特殊情况 n若若为可调整的其他参数，此时为参数化维纳滤波器为可调整的其他参数，此时为参数化维纳滤波器 n若噪声为白噪，且若噪声为白噪，且 Sf (u,v)不知不知22( , )( , )( , )( , )( , )H u vG u vF u vH u vH u

29、vKoriginal, f204060204060degraded: g204060204060Wiener filter, K=0.2204060204060inverse filter204060204060最小均方恢复实例iteration 1, gamma=5.0005204060204060iteration 4, gamma=0.62594204060204060iteration 7, gamma=0.079117204060204060iteration 10, gamma=0.010765204060204060iteration 13, gamma=0.0022206204

30、060204060iteration 15, gamma=0.0028309204060204060n【例例】原始图像如图原始图像如图(a),(a),使用函数使用函数DECONVWNRDECONVWNR对图（对图（b b）所）所示的无噪声模糊图像进行复原重建，观察所得结果，并将示的无噪声模糊图像进行复原重建，观察所得结果，并将不同不同PSFPSF产生的复原效果进行比较。产生的复原效果进行比较。 （a）原始图像）原始图像 （b）无噪声模糊图像）无噪声模糊图像 原始图像及无噪声模糊图像原始图像及无噪声模糊图像 不同不同PSFPSF产生的复原效果比较产生的复原效果比较 （a）使用真实的PSF复原 （

31、b）使用较“长”的PSF复原 （c）使用较“陡峭”的PSF复原n图像在获取过程中，由于成像系统的非线性、飞图像在获取过程中，由于成像系统的非线性、飞行器的姿态变化等原因，成像后的图像与原景物行器的姿态变化等原因，成像后的图像与原景物图像相比，会产生比例失调，甚至扭曲。图像相比，会产生比例失调，甚至扭曲。n以上图像退化现象称之为以上图像退化现象称之为几何失真几何失真n有几何畸变的图像，不但视觉效果不好，而且在对有几何畸变的图像，不但视觉效果不好，而且在对图像进行定量分析时提取的形状、距离、面积等数图像进行定量分析时提取的形状、距离、面积等数据也不准确。据也不准确。几何失真校正几何失真校正 典型的

32、几何失真典型的几何失真n系统失真系统失真n光学系统、电子扫描系统失真而引起的斜视畸变、枕形、光学系统、电子扫描系统失真而引起的斜视畸变、枕形、桶形畸变等，都可能使图像产生几何特性失真。桶形畸变等，都可能使图像产生几何特性失真。(a)(b)(c)(d) 原图像； (b) 梯形失真； (c) 枕形失真； (d) 桶形失真n非系统失真非系统失真n从飞行器上所获得的地面图像，由于飞行器的姿态、从飞行器上所获得的地面图像，由于飞行器的姿态、高度和速度变化引起的不稳定与不可预测的几何失真高度和速度变化引起的不稳定与不可预测的几何失真n这类畸变一般要根据航天器的跟踪资料和地面设置控这类畸变一般要根据航天器的

33、跟踪资料和地面设置控制点办法来进行校正。制点办法来进行校正。n几何畸变校正要对失真图像进行精确的几何校正几何畸变校正要对失真图像进行精确的几何校正n通常是先确定一幅图像为基准，然后去校正另一幅通常是先确定一幅图像为基准，然后去校正另一幅图像的几何形状。图像的几何形状。n第一步：图像空间坐标的变换；第一步：图像空间坐标的变换；n第二步：重新确定在校正空间各像素点的取值。第二步：重新确定在校正空间各像素点的取值。空间几何坐标变换空间几何坐标变换n按照一幅标准图像按照一幅标准图像f(x,y)或一组基准点去校正或一组基准点去校正另一幅几何失真图像另一幅几何失真图像g(x,y)。n根据两幅图像的一些已知对应点对建立起函数根据两幅图像的一些已知对应点对建立起函数关系式，将失真图像的关系式，将失真图像的x-y坐标系变换到标准坐标系变换到标准图像图像x-y坐标系，从而实现失真图像按标准图像坐标系，从而实现失真图像按标准图像的几何位置校正，使的几何位置校正，使 f(x, y)中的每一像点都可在中的每一像点都可在g (x, y)中找到对应像点。中找到对应像点。),(),(21yxhyyxhx几何校正方法几何校正方法nh1、h2已知已知n一般通过人工设置标志，如卫星照片通