图像工程图像处理章毓晋IE1-I课件

1、章毓晋清华大学电子工程系 100084 北京图象工程第2页第8讲图像工程图像处理章毓晋IE1-I第第8章章 图象恢复图象恢复 8.1 退化及噪声 8.2 退化模型和对角化 8.3 关于恢复的讨论8.4 无约束恢复8.5 有约束恢复8.6 交互式恢复第3页第8讲图像工程图像处理章毓晋IE1-I图象恢复图象恢复也称图象复原，图象处理中的一大类技术图象复原，图象处理中的一大类技术 图象恢复vs.图象增强：相同之处：相同之处：改进输入图象的视觉质量 不同之处：不同之处：图象增强借助人的视觉系统特性，以取得较好的视觉结果（不考虑退化原因） 图象恢复根据相应的退化模型和知识重建或恢复原始的图象（考虑退化原

2、因） 第第8章章 图象恢复图象恢复 第4页第8讲图像工程图像处理章毓晋IE1-I图象恢复方法分类图象恢复方法分类技术：技术：无约束和有约束 策略：策略：自动和交互处理所在域：处理所在域：频域和空域 从广义的角度上来看：从广义的角度上来看：几何失真（退化 ）校正（恢复 ） 投影（退化 ）重建（恢复 ） 第第8章章 图象恢复图象恢复 第5页第8讲图像工程图像处理章毓晋IE1-I8.1 退化及噪声退化及噪声 8.1.1图象退化示例8.1.2噪声及来源8.1.3噪声概率密度函数 第6页第8讲图像工程图像处理章毓晋IE1-I8.1.1 图象退化示例图象退化图象退化图象退化指由场景得到的图象没能完全地反映

3、场景的真实内容，产生了失真等问题w 透镜象差/色差w 聚焦不准（失焦，限制了图象锐度） w 模糊（限制频谱宽度）w 噪声（是一个统计过程）w 抖动（机械、电子）第7页第8讲图像工程图像处理章毓晋IE1-I8.1.2 噪声及来源噪声噪声w 最常见的退化因素之一w 烦人的东西w 图象中不希望有的部分w 图象中不需要的部分 对信号来说，噪声是一种外部干扰。但噪声本身也是一种信号（携带了噪声源的信息）第8页第8讲图像工程图像处理章毓晋IE1-I8.1.2 噪声及来源噪声研究噪声研究w 人们常只关心噪声的强度 w 信噪比（signal-to-noise ratio，SNR）w 能量比（电压平方比） w

4、合成图象时2210log10nsVVSNR22ob噪声均方差灰度对比度CSNR第9页第8讲图像工程图像处理章毓晋IE1-I8.1.2 噪声及来源常见噪声常见噪声w 热噪声：白噪声（频率覆盖整个频谱） 高斯噪声（幅度符合高斯分布） w 闪烁噪声：具有反比于频率（1/f）的频谱粉色噪声（在对数频率间隔内有相同的能量）w 发射噪声：高斯分布（电子运动的随机性） 第10页第8讲图像工程图像处理章毓晋IE1-I8.1.3 噪声概率密度函数1、高斯噪声、高斯噪声噪声灰度随机变量用概率密度来刻画222)(exp21)(zzp第11页第8讲图像工程图像处理章毓晋IE1-I8.1.3 噪声概率密度函数2、均匀噪

5、声、均匀噪声其他0)/(1)(bzaabzp如果2/ )(ba 12/)(22ab第12页第8讲图像工程图像处理章毓晋IE1-I8.1.3 噪声概率密度函数3、脉冲噪声、脉冲噪声w 噪声脉冲可以 是正的或负的w 一般假设a和b 都是“饱和”值w 双极性脉冲噪声 也称椒盐噪声 其他0)(bzPazPzpba如果如果第13页第8讲图像工程图像处理章毓晋IE1-I8.2 退化模型和对角化退化模型和对角化 8.2.1退化模型8.2.2退化模型的计算8.2.3轮换矩阵对角化第14页第8讲图像工程图像处理章毓晋IE1-I8.2.1 退化模型退化模型退化模型H：退化过程n(x, y)：加性噪声（统计特性已知

6、）恢复图象：在给定g (x, y)和代表退化的H的基础上得到对f (x, y)的某个近似 x, yH()x, yf()n()x, yg),(),( ),(yxnyxfHyxg第15页第8讲图像工程图像处理章毓晋IE1-I8.2.1 退化模型退化退化H的性质的性质(1) 线性： (2) 相加性（k1 = k2 = 1 ）： (3) 一致性（f2(x, y) = 0 ）： (4) 位置（空间）不变性： ),( ),( ),(),( 22112211yxfHkyxfHkyxfkyxfkH),( ),( ),(),( 2121yxfHyxfHyxfyxfH),( ),( 1111yxfHkyxfkH)

7、,(),( byaxgbyaxfH第16页第8讲图像工程图像处理章毓晋IE1-I8.2.2 退化模型的计算w 1-D退化过程卷积 f (x)和h(x)：采样 2个数组 A和B为避免卷积周期重叠： M A + B 1 10eee1 , , 1 , 0)()()(MmMxmxhmfxg1010)()(eMxAAxxfxf1010)()(eMxBBxxhxh第17页第8讲图像工程图像处理章毓晋IE1-I用矩阵形式表示用矩阵形式表示根据周期性he(x) = he(x+M) ) 1() 1 ()0( )0()2() 1()2()0() 1 () 1() 1()0() 1() 1 ()0(eeeeeeee

8、eeeeeeeMfffhMhMhMhhhMhhhMgggHfg)0()2() 1()2()0() 1 () 1 () 1()0(eeeeeeeeehMhMhhhhhhhH8.2.2 退化模型的计算轮换矩阵轮换矩阵第18页第8讲图像工程图像处理章毓晋IE1-Iw推广到2-D 扩 展不考虑噪声1101010),(),(eNyBMxAByAxyxfyxf或和1101010),(),(eNyDMxCDyCxyxhyxh或和1 , , 1 , 01 , , 1 , 0),(),( ),(1010eee NyMxnymxhnmfyxgMmNn8.2.2 退化模型的计算第19页第8讲图像工程图像处理章毓晋I

9、E1-I块块轮换矩阵（每块都轮换标注）轮换矩阵（每块都轮换标注） 轮换矩阵轮换矩阵) 1() 1 ()0() 1() 1 ()0( eeeeee021201110MNnnnMNfffMMMHHHHHHHHHnHfg)0 ,()2,() 1,()2 ,()0 ,() 1 ,() 1 ,() 1,()0 ,(eeeeeeeeeihNihNihihihihihNihihiH8.2.2 退化模型的计算第20页第8讲图像工程图像处理章毓晋IE1-I8.2.3 轮换矩阵对角化对角化H来简化运算（M = N = 512，H尺寸为262 144 262 144 ）1、轮换矩阵的对角化、轮换矩阵的对角化 考虑M

10、 M的轮换矩阵 本征矢量 本征值T) 1(2jexp2jexp1)(kMMkMkwkMMhkMMhhk) 1(2jexp) 1 ( 2jexp) 1()0()(eee)()()(kkkwHw第21页第8讲图像工程图像处理章毓晋IE1-I8.2.3 轮换矩阵对角化1、轮换矩阵的对角化、轮换矩阵的对角化H的M个本征矢量组成1个M M的矩阵W： 各w的正交性保证了W的逆矩阵存在W1的存在保证了W的列（即H的本征矢量）是线性独立的D是1个对角矩阵，D(k, k) = (k) ) 1() 1 ()0(MwwwW1WDWHHWWD1第22页第8讲图像工程图像处理章毓晋IE1-I8.2.3 轮换矩阵对角化2

11、、块轮换矩阵的对角化、块轮换矩阵的对角化定义尺寸为MN MN的矩阵W，每个元素为： WN为1个N N的矩阵，其每个元素为： 类似于对轮换 矩阵的讨论： 1WDWH1 , , 1 , 0, 2jexp),(MmiimMmiNWW1 , , 1 , 0,2jexp),(NnkknNnkWNHWWD1第23页第8讲图像工程图像处理章毓晋IE1-I3、退化模型对角化的效果、退化模型对角化的效果（1-D无噪声） + 8.2.3 轮换矩阵对角化1WDWHfDWgW11Hfg 1 , , 1 , 02jexp)(1)(10eMkkiMifMkFMi1 , , 1 , 02jexp)(1)(10eMkkiMi

12、gMkGMi1 , , 1 , 0)(2jexp)()(),(10eMkkMHkiMihkkkDMi1 1 0)()()(MkkFkHMkG, 本征值第24页第8讲图像工程图像处理章毓晋IE1-I3、退化模型对角化的效果、退化模型对角化的效果（2-D有噪声） + F(u, v) N(u, v) H(u, v)对角元素8.2.3 轮换矩阵对角化1WDWHnWfDWgW111nHfg1 , , 1 , 01 , , 1 , 0),(),(),(),(NvMuvuNvuFvuHvuGkikiNkNkHMNikD如如0 mod , ),( 1010ej2 exp ),( 1),(MxNyNvyMuxy

13、xgMNvuG第25页第8讲图像工程图像处理章毓晋IE1-I8.3 关于恢复的讨论关于恢复的讨论 8.3.1有误差时的恢复8.3.2加性噪声信号8.3.3实恢复函数的确定8.3.4无约束和有约束恢复 第26页第8讲图像工程图像处理章毓晋IE1-I先卷积后加噪声设计恢复滤波器h(x)，最优地从测量中估计f (x)，fest (x)：最优的恢复滤波器应能最小化8.3.1 有误差时的恢复)()()()()()(xnxfxdxnxgxm)()()(estxfxfxe)()()()()()(xfxnxfxdxhxexxed)(2)()()()()()(sFsNsFsDsHsE第27页第8讲图像工程图像处

14、理章毓晋IE1-I已知g(x)，通过减法n(x) = m(x) g(x)来得到噪声g(x)：规则n(x)：随机m(x)：随机8.3.2 加性噪声信号第28页第8讲图像工程图像处理章毓晋IE1-I设d(x)是偶的实函数，这样设备的转移函数D(s)是实的，最优恢复函数H(s)也是实的 NN*看作噪声功率谱，GG*看作信号功率谱。G*N/2和 GN*/2可看作交叉（cross）功率谱，它们在零均值噪声的情况下消失8.3.3 实恢复函数的确定TsTsGNNGNNGGGNNGGGDH02/2/1*opt第29页第8讲图像工程图像处理章毓晋IE1-I由退化模型最小均方误差准则无约束有约束（Q为线性操作符，

15、s = 1/l）8.3.4 无约束和有约束恢复Hfgn)()(T2T2fHgfHgfHgnnn2)(fHgfLgHgHHHgHHHf1T1T1T1T)()(222nfHgfQ)f(lLgHQQHHfT1 TT s第30页第8讲图像工程图像处理章毓晋IE1-I8.4 无约束恢复无约束恢复 8.4.1逆滤波 8.4.2消除匀速直线运动模糊 第31页第8讲图像工程图像处理章毓晋IE1-I8.4.1 逆滤波 设M = N 逆滤波：用H (u, v)去除G (u, v) （ 滤波函数H (u, v)与F (u, v)相乘：退化） gWWDgWDWgHf11111)(gWDfW1111 , , 1 , 0

16、,),(),(),(),(11MyxvuHvuGvuFyxfFF1 , , 1 , 0,),(),(),(MvuvuHvuGvuF第32页第8讲图像工程图像处理章毓晋IE1-I8.4.1 逆滤波 分析分析/ /讨论讨论wH (u, v)在UV 平面上取零或很小，N (u, v) / H (u, v)就会使恢复结果与预期的结果有很大差距w噪声带来更严重的问题（知道H也估计不准 f ）H (u, v)常随u，v与原点距离的增加而迅速减小，而噪声N (u, v)却一般变化缓慢。在这种情况下，恢复只能在与原点较近（接近频域中心）的范围内进行1 , , 1 , 0,),(),(),(),(MvuvuHv

17、uNvuFvuF第33页第8讲图像工程图像处理章毓晋IE1-I8.4.1 逆滤波 记M (u, v)为恢复转移函数，并不正好是1 / H (u, v)图象退化和恢复模型图象退化和恢复模型除去除去H(u, v)为零的点为零的点 减少振铃效应减少振铃效应k和d均为小于1的常数 fM()(x, yn()x, yH()u, vf ()x, yg()x, yu, v20222022 1 ),(1),(wvuwvuvuHvuM如如其它如),(1),( ),(vuHdvuHkvuM第34页第8讲图像工程图像处理章毓晋IE1-I模糊点源以获得转移函数模糊点源以获得转移函数将点源图象看做单位脉冲函数（F (x,

18、 y) = 1）的近似则有G(u, v) = H(u, v) F(u, v) H(u, v) 图象退化和恢复示例图象退化和恢复示例 退化图 滤波器 除去零点 减少振铃8.4.1 逆滤波 第35页第8讲图像工程图像处理章毓晋IE1-I匀速直线运动匀速直线运动 8.4.2 消除匀速直线运动模糊 ),(),()d()(j2exp),( d dd )(j2)exp(),(- d)d(j2)exp,( ),(000000vuFvuHttvytuxvuFtyxvyuxtyytxxfyxvyuxyxgvuGTT Tttyytxxfyxg000d )(),(),(T: 采集时间长度采集时间长度x方向运动分量

19、y方向运动分量 第36页第8讲图像工程图像处理章毓晋IE1-I水平方向匀速直线运动水平方向匀速直线运动x0(t) = ct / T ，y0(t) = 0 当n为整数时，H在u = n/c处为零当 f (x, y)在区间0 x L之外为零或已知时 8.4.2 消除匀速直线运动模糊 ucucucTtTctuvuHTjexp)sin(d j2exp)(0,LxftTctxfxgxcxT0)d(d )(0第37页第8讲图像工程图像处理章毓晋IE1-I8.5 有约束恢复有约束恢复8.5.1维纳滤波8.5.2有约束最小平方恢复 第38页第8讲图像工程图像处理章毓晋IE1-I维纳（维纳（Wiener）滤波器

20、）滤波器一种最小均方误差滤波器设 Rf 是 f 的相关矩阵 Rf 的第 ij 个元素是Efi fj，代表 f 的第 i 和第 j 元素的相关设 Rn是n 的相关矩阵8.5.1 维纳滤波 gHRRHHgHQQHHfT1 1TT1 TT nfssTffRfETnnRnE第39页第8讲图像工程图像处理章毓晋IE1-I根据两个象素间的相关只是它们相互距离而不是位置的函数的假设，可将 Rf 和 Rn 都用块轮换矩阵表达，并借助矩阵W来对角化：A中的元素：fe(x, y)的功率谱，记为Sf (u, v) B中的元素：ne(x, y)的功率谱，记为Sn(u, v) 对比（轮换矩阵对角化）D是1个对角矩阵，D

21、(k, k) = (k) 8.5.1 维纳滤波 1WAWRf1WBWRn1WDWH第40页第8讲图像工程图像处理章毓晋IE1-I滤波器推导滤波器推导定义代入得两边同乘以W 1 8.5.1 维纳滤波 gHQQHHfT1 TT s1WDWH1TW*WDHnfRRQQ1TgHRRHHfnfT11T)(sgWWDBWWADWWDf11111*)*(sgWDBADDfW1111*)*(s1WAWRf1WBWRn第41页第8讲图像工程图像处理章毓晋IE1-I只需有关噪声均值和方差的知识就可对每个给定图象得到最优结果（仍需确定变换矩阵Q）建立基于平滑测度的最优准则 f (x, y)在(x, y)处的二阶微分

22、 图6.6.2 8.5.2 有约束最小平方恢复 )1,() 1,(), 1(), 1(),(42222yxfyxfyxfyxfyxfyfxfgHQQHHfT1 TT s第42页第8讲图像工程图像处理章毓晋IE1-I 卷积模板 扩展f (x, y)的尺寸是A B，取M A + 3 1和N B + 3 1最优准则最优准则 8.5.2 有约束最小平方恢复 010141010),(yxp131302020),(),(eNyMxyxyxpyxp或和22222),(),(minyyxfxyxf第43页第8讲图像工程图像处理章毓晋IE1-I矩阵表达矩阵表达分块轮换矩阵子矩阵：轮换矩阵8.5.2 有约束最小平

23、方恢复 021201110CCCCCCCCCCMMM)0 ,()2,() 1,()2 ,()0 ,() 1 ,() 1 ,() 1,()0 ,(eeeeeeeeejpNjpNjpjpjpjpjpNjpjpjC第44页第8讲图像工程图像处理章毓晋IE1-I矩阵表达矩阵表达对角化 E是1个对角矩阵，它的元素为 wP(u, v)是pe(x, y)的2-D傅里叶变换wk / N代表不超过k/N的最大的整数wk mod N代表用N除k得到的余数 8.5.2 有约束最小平方恢复 CWWE1kikiNkNkPikE如如0mod , ),(第45页第8讲图像工程图像处理章毓晋IE1-I约束约束最优解 8.5.

24、2 有约束最小平方恢复 1 , , 1 , 0,),( ),( ),( ),(),(22*MvuvuGvuPsvuHvuHvuFgWDEEDDfW1*1*1)(sgWWDEWWEDWWDgHCCHHf1*11*1*T1TT)()(ss22 nfHg第46页第8讲图像工程图像处理章毓晋IE1-I人机结合控制恢复过程以达到一些特殊的效果正弦干扰模式正弦干扰模式（相关噪声）只有虚分量，代表一对位于频率平面上坐标分别为(u0 / 2, v0 / 2)和( u0 / 2, v0 / 2)，强度分别为 A/2和A/2的脉冲 8.6 交互式恢复交互式恢复 )sin(),(00yvxuAyx2,2 2,2 2j),(0000vvuuvvuuAvuN第47页第8讲图像工程图像处理章毓晋IE1-I正弦