CH7 图像恢复

1、 第2页第7章 图像恢复 由于运动而引起的图像模糊由于运动而引起的图像模糊 第3页第7章 图像恢复 图像噪声图像噪声 n本章教学目标：本章教学目标： （1）理解图像恢复的目标和方法，掌握图像退化模型）理解图像恢复的目标和方法，掌握图像退化模型 （2）掌握三种常见的噪声概率密度函数及其特点）掌握三种常见的噪声概率密度函数及其特点 （3）理解空域滤波器对于图像恢复的作用）理解空域滤波器对于图像恢复的作用 （4）掌握逆滤波和维纳滤波的特点、区别和联系）掌握逆滤波和维纳滤波的特点、区别和联系 第4页第7章 图像恢复 第5页第7章 图像恢复 n图像恢复图像恢复: Image Restoration 也称

2、图像复原，是使退化了的图像去除退化因素，并以最也称图像复原，是使退化了的图像去除退化因素，并以最 大的保真度恢复成原来图像的一种图像处理技术。大的保真度恢复成原来图像的一种图像处理技术。 n图像恢复图像恢复vs.图像增强图像增强 相同之处：相同之处： 改进输入图像的视觉质量改进输入图像的视觉质量 不同之处：不同之处： 图像增强借助人的视觉系统特性，以取得较好的视觉结果图像增强借助人的视觉系统特性，以取得较好的视觉结果 （不考虑退化原因，（不考虑退化原因，degrade） 图像恢复根据相应的退化模型和知识重建或恢复原始的图像图像恢复根据相应的退化模型和知识重建或恢复原始的图像 （考虑退化原因，要

3、根据一定的图像退化模型来进行）（考虑退化原因，要根据一定的图像退化模型来进行） 第6页第7章 图像恢复 n图像恢复方法分类：图像恢复方法分类： 技术：无约束和有约束技术：无约束和有约束 策略（是否需要外来干预）：自动和交互策略（是否需要外来干预）：自动和交互 处理所在域：频域和空域处理所在域：频域和空域 n图像恢复的基本思路：图像恢复的基本思路： 找出使原图像退化的因素和使图像质量降低的物理找出使原图像退化的因素和使图像质量降低的物理 过程，建立退化图像的退化模型，并据此采用相反的过过程，建立退化图像的退化模型，并据此采用相反的过 程对图像进行处理，从而尽可能地恢复出原图来。程对图像进行处理，

4、从而尽可能地恢复出原图来。 n图像恢复问题的关键：建立退化模型图像恢复问题的关键：建立退化模型 n要点：要点： 原图像的本来面目未知，原图像的本来面目未知，已知的只是已经退化了的已知的只是已经退化了的 图像图像； 由于建立的退化模型不同，由于建立的退化模型不同，恢复后的图像不唯一恢复后的图像不唯一， 也没有绝对的判别恢复出的哪一幅图像与原图像最也没有绝对的判别恢复出的哪一幅图像与原图像最 相近的标准（因为原图像根本就不知道）；相近的标准（因为原图像根本就不知道）； 图像恢复运算很多都用迭代的方法。图像恢复运算很多都用迭代的方法。 第7页第7章 图像恢复 第8页第7章 图像恢复 7.1 图像退化

5、和噪声图像退化和噪声 7.2 空域噪声滤波器空域噪声滤波器 7.3 组合滤波器组合滤波器 7.4 无约束恢复无约束恢复 7.5 有约束恢复有约束恢复 第9页第7章 图像恢复 图像退化：图像退化： 图像退化指由场景得到的图像没能完全地反映场景图像退化指由场景得到的图像没能完全地反映场景 的真实内容，产生了失真等问题的真实内容，产生了失真等问题 原因原因： 透镜色差透镜色差/像差：光学系统本身的固有缺陷像差：光学系统本身的固有缺陷 聚焦不准（失焦，限制了图像锐度）聚焦不准（失焦，限制了图像锐度） 模糊（图像采集过程中产生的退化，限制频谱宽度，是模糊（图像采集过程中产生的退化，限制频谱宽度，是 一个

6、确定的过程，如运动模糊）一个确定的过程，如运动模糊） 噪声（图像记录过程中产生的退化，是一个统计过程）噪声（图像记录过程中产生的退化，是一个统计过程） 第10页第7章 图像恢复 实例实例7.1：四种类型的退化：四种类型的退化 (a)(a)规则图案变形，非线性退化，胶片冲洗时易发生规则图案变形，非线性退化，胶片冲洗时易发生 (b)(b)边缘模糊，光学系统中的孔径衍射产生退化边缘模糊，光学系统中的孔径衍射产生退化 (c)(c)运动模糊，目标移动或在拍摄过程中相机发生振动运动模糊，目标移动或在拍摄过程中相机发生振动 (d)(d)随机噪声的叠加，可看作是一种具有随机性的退化随机噪声的叠加，可看作是一种

7、具有随机性的退化 在拍摄过程中如果目标运动超过图像平面上在拍摄过程中如果目标运动超过图像平面上 一个以上像素的距离就会造成模糊一个以上像素的距离就会造成模糊 第11页第7章 图像恢复 n基本图像退化模型基本图像退化模型 H：退化过程（退化函数）：退化过程（退化函数） n(x, y)：加性噪声（统计特性已知）：加性噪声（统计特性已知） 图像恢复图像恢复：在给定：在给定g (x, y)和代表退化的和代表退化的H的基础的基础 上得到对上得到对f (x, y)的某个近似。的某个近似。 x, y H()x, yf ()n ()x, yg ),(),( ),(yxnyxfHyxg n通常，通常，H可用一个

8、退化函数可用一个退化函数h(x, y)来表示，而退化过来表示，而退化过 程是其与原图像的卷积，故程是其与原图像的卷积，故 n可写为：可写为： n在频域有：在频域有： 第12页第7章 图像恢复 ),(),( ),(yxnyxfHyxg ),(),(*),(),(yxnyxfyxhyxg ),(),(),(),(vuNvuFvuHvuG 第13页第7章 图像恢复 n噪声噪声(Noise) 最常见的退化因素之一最常见的退化因素之一 图像中不希望有的部分，以及图像中不需要的部分图像中不希望有的部分，以及图像中不需要的部分 如：如： （1）电视上的雪花）电视上的雪花 （2）模糊的纸张打印效果）模糊的纸张

9、打印效果 对信号来说，噪声是一种外部干扰。但噪声本身也对信号来说，噪声是一种外部干扰。但噪声本身也 是一种信号，携带了噪声源的信息。是一种信号，携带了噪声源的信息。 第14页第7章 图像恢复 n常见噪声常见噪声 热噪声热噪声：与物体的绝对温度有关。也称：与物体的绝对温度有关。也称： 白噪声白噪声 （频率覆盖整个频谱）（频率覆盖整个频谱） 高斯噪声（幅度符合高斯分布）高斯噪声（幅度符合高斯分布） 闪烁噪声闪烁噪声：由电流运动导致的。：由电流运动导致的。 具有反比于频率（具有反比于频率（1/f）的频谱）的频谱 也称粉色噪声（在对数频率间隔内有相同的能量）也称粉色噪声（在对数频率间隔内有相同的能量）

10、 发射噪声发射噪声：高斯分布（由于电子运动的随机性）：高斯分布（由于电子运动的随机性） 有色噪声有色噪声：指非白色噪声：指非白色噪声 第15页第7章 图像恢复 n 由于噪声的影响，图像像素的灰度会发生变化。由于噪声的影响，图像像素的灰度会发生变化。 n 噪声本身的灰度可看作随机变量，其分布可用概率噪声本身的灰度可看作随机变量，其分布可用概率 密度函数（密度函数（probability distribution function, PDF） 来刻画。来刻画。 n 3种重要的噪声概率密度函数：种重要的噪声概率密度函数： - 高斯（正态）噪声高斯（正态）噪声：Gaussian - 均匀噪声均匀噪声：

11、Uniform - 脉冲（椒盐）噪声脉冲（椒盐）噪声：Impulse (Salt I为原始图像，为原始图像，type为噪声类型，有高斯噪声为噪声类型，有高斯噪声gaussian 、乘性噪声（均匀）、乘性噪声（均匀）speckle和椒盐噪声和椒盐噪声 salt J=imnoise(I,gaussian); K=imnoise(I,speckle); L=imnoise(I,salt subplot(2,2,1),imshow(I); subplot(2,2,2),imshow(J); subplot(2,2,3),imshow(K); subplot(2,2,4),imshow(L); 第21页

12、第7章 图像恢复 7.1 图像退化和噪声图像退化和噪声 7.2 空域噪声滤波器空域噪声滤波器 7.3 组合滤波器组合滤波器 7.4 无约束恢复无约束恢复 7.5 有约束恢复有约束恢复 第22页第7章 图像恢复 第23页第7章 图像恢复 1.线性滤波器和中值滤波器可以混合串联使用。线性滤波器和中值滤波器可以混合串联使用。 2.根据不同滤波器的特点，当图像同时受到不同噪声根据不同滤波器的特点，当图像同时受到不同噪声 影响时，可以采用选择滤波的方式，在受到不同噪影响时，可以采用选择滤波的方式，在受到不同噪 声影响的位置选择不同的滤波器，以发挥其各自特声影响的位置选择不同的滤波器，以发挥其各自特 点，

13、取得较好的综合效果。点，取得较好的综合效果。 DIP系统演示系统演示 第24页第7章 图像恢复 7.1 图像退化和噪声图像退化和噪声 7.2 空域噪声滤波器空域噪声滤波器 7.3 组合滤波器组合滤波器 7.4 无约束恢复无约束恢复 7.5 有约束恢复有约束恢复 n无约束恢复：无约束恢复： 仅将图像看作一个数字矩阵，没有考虑恢复后仅将图像看作一个数字矩阵，没有考虑恢复后 图像应受到的物理约束，只从数学角度进行处理。图像应受到的物理约束，只从数学角度进行处理。 n有约束恢复：有约束恢复： 考虑到恢复后的图像应该受到一定的物理约束，考虑到恢复后的图像应该受到一定的物理约束， 如在空间上比较平滑，其灰

14、度值为正等。如在空间上比较平滑，其灰度值为正等。 后面两节针对频域的恢复进行阐述。后面两节针对频域的恢复进行阐述。 第25页第7章 图像恢复 n 假定退化图像遵从以下模型假定退化图像遵从以下模型 ),(/ ),(),( ),(/ ),(),( 1 vuHvuGyxf vuHvuGvuF F 在不考虑噪声的情况下在不考虑噪声的情况下 ： 写成写成： ),(),(*),(),(yxnyxhyxfyxg ),(),(),(vuHvuFvuG 第27页第7章 图像恢复 n设设M = N n逆滤波逆滤波（Inverse Filter）：用用H (u, v)去除去除G (u, v) （滤波函数滤波函数H

15、(u, v)与与F(u, v)的乘积是退化图像的乘积是退化图像g(x,y)的傅的傅 立叶变换，因此立叶变换，因此 就是一个逆滤波过程就是一个逆滤波过程） 则恢复后的则恢复后的 图像为：图像为： v)F(u,v)H(u,G(u,v) 1 , , 1 , 0, ),( ),( ),( ),( 11 Mvu vuH vuG vuFyxfFF 1 , , 1 , 0, ),( ),( ),( Mvu vuH vuG vuF ),( ),( vuH vuG 逆滤波：已知退化图像和退化系统的传逆滤波：已知退化图像和退化系统的传 递函数，就可以复原出原始图像。递函数，就可以复原出原始图像。 n逆滤波的基本步

16、骤：逆滤波的基本步骤： （1）对退化图像）对退化图像g(x,y)进行二维傅立叶变换，得到进行二维傅立叶变换，得到 G(u,v)； （2）计算系统冲激响应）计算系统冲激响应h(x,y)的二维傅立叶变换，求的二维傅立叶变换，求 得得H(u,v)； （3）计算）计算F(u,v)： （4）计算）计算F(u,v)的傅立叶反变换，求得的傅立叶反变换，求得f(x,y)。 第28页第7章 图像恢复 1 , , 1 , 0, ),( ),( ),( Mvu vuH vuG vuF 第29页第7章 图像恢复 n问题：问题： （1）H (u, v)在在UV 平面上取零或很小时，平面上取零或很小时，G (u, v)

17、/ H (u, v)就会使恢复结果与预期的结果有很大差距就会使恢复结果与预期的结果有很大差距 （2）噪声带来更严重的问题）噪声带来更严重的问题 H (u, v)常随常随u，v与原点距离的增加而迅速减小，而噪声与原点距离的增加而迅速减小，而噪声N (u, v)却一般变化缓慢。在这种情况下，恢复只能在与原点较却一般变化缓慢。在这种情况下，恢复只能在与原点较 近（接近频域中心）的范围内进行。近（接近频域中心）的范围内进行。 1 , , 1 , 0, ),( ),( ),(),( ),(),(),(),( Mvu vuH vuN vuFvuF vuNvuFvuHvuG 第30页第7章 图像恢复 n解决

18、方案：将逆滤波器视为解决方案：将逆滤波器视为u和和v的某个函数，并不正好是的某个函数，并不正好是1 / H (u, v)，而记为，而记为M (u, v)，称为恢复转移函数，称为恢复转移函数。 图像退化和恢复模型：图像退化和恢复模型： 方法方法1：除去除去H(u, v)为零为零 的点（但振铃明显）的点（但振铃明显） 方法方法2：减少振铃效应，减少振铃效应， k和和d 均为小于均为小于1的常数的常数 fM ()(x, y n()x, y H()u, vf ()x, yg()x, yu, v 2 0 22 2 0 22 1 ),(1 ),( wvu wvuvuH vuM 如 如 其它 如 ),(1

19、),( ),( vuH dvuHk vuM 第31页第7章 图像恢复 n模糊点源以获得转移函数进行图像恢复模糊点源以获得转移函数进行图像恢复 - 有时有时退化系统的转移函数退化系统的转移函数H(u,v)可以用退化图像的可以用退化图像的 傅立叶变换来近似。傅立叶变换来近似。 - 推导：推导： 一幅图像可看作多个点源图像的集合，如将点源图像看一幅图像可看作多个点源图像的集合，如将点源图像看 作单位脉冲函数（作单位脉冲函数（F (x, y) = 1）的近似，）的近似， 则有：则有： G(u, v) = H(u, v) F(u, v) H(u, v) 退化图像的退化图像的 傅立叶变换傅立叶变换 退化系

20、统的退化系统的 转移函数转移函数 第32页第7章 图像恢复 n例例7.4.1：模糊点源以获得转移函数进行图像恢复模糊点源以获得转移函数进行图像恢复 (a)用低通滤波器对理想图像进行模糊得到的模拟退化图像用低通滤波器对理想图像进行模糊得到的模拟退化图像 (b)所用低通滤波器的傅立叶变换所用低通滤波器的傅立叶变换 (c)方法方法1得到的恢复结果得到的恢复结果 (d)方法方法2得到的恢复结果（减少了振铃效应）得到的恢复结果（减少了振铃效应） 第33页第7章 图像恢复 在有些实际应用中，在有些实际应用中，H(u,v)可以解析地得到，如匀速可以解析地得到，如匀速 直线运动造成的模糊。直线运动造成的模糊。

21、 n考虑连续情况下的匀速直线运动考虑连续情况下的匀速直线运动 实际采集到的由于运动而造成的模糊图像实际采集到的由于运动而造成的模糊图像g(x,y)为：为： T ttyytxxfyxg 0 00 d )(),(),( T: 采集时间长度采集时间长度 x方向运动分量方向运动分量 y方向运动分量方向运动分量 n运动模糊运动模糊 第34页第7章 图像恢复 第35页第7章 图像恢复 n傅立叶变换：傅立叶变换： ),(),(de),( d dd )e(),(- dd)e,( ),( 0 )()(j2 0 )(j2 00 )(j2 00 vuFvuHtvuF tyxtyytxxf yxyxgvuG T tv

22、ytux T vyux vyux T ttyytxxfyxg 0 00 d )(),(),( 若已知方向运动分量若已知方向运动分量 和和 ，则可求出，则可求出 )( 0 tx)( 0 ty),( vuH 平移定理平移定理 第36页第7章 图像恢复 n实例实例7.4.2 消除匀速直线运动造成的模糊消除匀速直线运动造成的模糊 （a）模糊图模糊图 （b）取移动距离为取移动距离为3232（ ） （c）取移动距离为取移动距离为24 24 （d）取移动距离为）取移动距离为4040 注：拍摄期间物体水平移动的距离为图像在该方向尺寸的注：拍摄期间物体水平移动的距离为图像在该方向尺寸的1/81/8， 即即323

23、2个像素。个像素。(c-d)(c-d)对运动速度估计不准，故恢复效果不好。对运动速度估计不准，故恢复效果不好。 0 x 第37页第7章 图像恢复 7.1 图像退化和噪声图像退化和噪声 7.2 空域噪声滤波器空域噪声滤波器 7.3 组合滤波器组合滤波器 7.4 无约束恢复无约束恢复 7.5 有约束恢复有约束恢复 n有约束恢复：有约束恢复： 考虑恢复后的图像应该受到一定的物理约束，如考虑恢复后的图像应该受到一定的物理约束，如 在空间上比较平滑、其灰度值为正等。在空间上比较平滑、其灰度值为正等。 n维纳维纳（Wiener）滤波器：滤波器： 逆滤波没有清楚说明如何处理噪声逆滤波没有清楚说明如何处理噪声

24、 维纳滤波器是一种维纳滤波器是一种最小均方误差滤波器，综合考最小均方误差滤波器，综合考 虑了退化函数和噪声的统计特征虑了退化函数和噪声的统计特征。 第38页第7章 图像恢复 第39页第7章 图像恢复 n维纳滤波器维纳滤波器 目标：找一目标：找一 个原始图像个原始图像 f 的估计值的估计值 ，使二者，使二者 之间的均方差最小。误差度量：之间的均方差最小。误差度量： 估计估计 的傅立叶变换为：的傅立叶变换为： f ) ( 22 ffEe ),( ),(/ ),(),( ),( ),( 1 ),( 2 2 vuG vuSvuSvuH vuH vuH vuF fn f 第40页第7章 图像恢复 n其中

25、绿色部分即为维纳滤波器：其中绿色部分即为维纳滤波器： 其中：其中： 如果噪声为如果噪声为0就成为逆滤波就成为逆滤波 ),( ),(/ ),(),( ),( ),( 1 ),( 2 2 vuG vuSvuSvuH vuH vuH vuF fn 换换为为退退化化函函数数的的傅傅立立叶叶变变),(vuH 2 2 ),(),( ),(),( vuFvuS vuNvuS f n 为噪声的功率谱为噪声的功率谱 为未退化图像的功率谱为未退化图像的功率谱 n维纳滤波器的基本步骤：维纳滤波器的基本步骤： （1）对退化图像）对退化图像g(x,y)进行二维离散傅立叶变换，得进行二维离散傅立叶变换，得 到到G(u,v); （2）计算系统冲激响应）计算系统冲激响应h(x,y)的二维傅立叶变换，求的二维傅立叶变换，求 得得H(u,v)； （3）估计噪声的功率谱）估计噪声的功率谱 和输入图像的功率谱和输入图像的功率谱 ； （4）计算）计算F(u,v)； （5）计算）计算F(u,v)的傅立叶反变换，求得的傅立叶反变换，求得f(x,y)。 第41页第7章 图像恢复 ),(vuSn ),(vuS f n维纳滤波