运动模糊的盲修复

1、运动模糊图像盲复原方法研究 多媒体技术读书报告 王素洁 1336280一 选题的背景当今世界随着科学技术的发展以及人民生活水平的提高，图像作为一种直观有效传达信息的载体显示出日趋重要的作用。但是现实生活中不可避免的会出现一些信息缺失的图像，拿生活中的例子来说，当你外出旅游时，拍下的照片因技术问题出现了模糊的情况，或者是你想把在你旁边的干扰目标，路人或建筑移除，从而使画面更加完美，再或者家里存放的老照片褪色模糊了等，这些都是图像损坏的例子。这时候我们就会想到要把这些有缺陷的图像进行修复，从而使得它们恢复到原来的模样，因此促进了图像修复技术的发展。一般来说，有许多因素会引起数字图像上的信息缺损，如

2、：在数字图像的获取、处理、压缩、传输和解压缩等过程中出现的信息缺失或者图像失真等；为了某种特殊目的而移走数字图像上的目标物体或文字后留下的信息空白区；对原本就有划痕或有破损的图片进行数字扫描后得到的图像。为了保证图像信息的完整性，需要对这些受损图像进行填充修复，使其恢复到原来的样子。最早的数字图像处理技术可以追溯到20 世纪20 年代借助于打印设备进行的数字图像处理。而现代意义上的数字图像处理技术是建立在计算机快速发展的基础之上的，它开始于20 世纪60 年代初期，那时第三代计算机的研制成功，快速傅里叶变换的出现，使得某些图像处理算法可以在计算机上得以实现。从此，图像处理领域得到了生机勃勃的发

3、展。计算机程序用于增强对比度或将亮度编码为彩色，以便于解释X 射线成像和用于工业、医学及生物科学等领域的其他图像。地理学用相同或相似的技术从航空和卫星图像中研究污染模式。在物理学和相关领域，计算机技术通常增强如高能等离子和电子显微镜方法等领域的实验图像。随着计算机技术和半导体工业的发展，随着各种实际应用需求的增加，数字图像处理技术迅速发展为一门独立的有强大生命力的学科，也成功地应用在天文学、生物学、核医学、国防及工业等领域中。在获取图像时，很多原因都可以造成图像质量的下降。如果是因为被摄景物和摄像机或照相机之间的相对运动而造成的图像模糊，则称之为运动模糊。运动模糊是成像过程中普遍存在的问题，用

4、照相机拍摄高速运动物体的照片，在宇宙飞行器或是飞机上拍下来的照片，均可能存在这种现象。在对运动模糊图像复原的初期研究工作中，美国喷气推进实验室（JPL）的开拓性工作就是其中一例。他们对航天探测器“徘徊者7 号”在1964 年发回的几千张月球照片，使用计算机以及其它设备，采用了几何校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制了月球表面地图。随后，又对1965 年“徘徊者8 号”发回地球的几万张照片进行了解卷积、去运动模糊等图像复原处理，使图像质量进一步提高。这些成绩引起世界许多有关方面的注意，JPL 本身也更加重视对数字图

5、像复原技术地研究，改进设备，成立专用图像处理实验室IPL，对后来的探测飞船发回的几十万张照片进行了更为复杂的图像处理，以至可以获得月球的地形图，彩色图以及全景镶嵌图。从此，运动模糊图像复原技术在航空、航天领域变得愈发重要。目前图像复原技术的研究现状以及典型的方法可以从图1，即图像复原的体系结构中略知一二。经典的图像恢复方法是利用退化图像的某些先验知识来重建或复原出原始图像，因而图像恢复就可以看成是图像退化的逆过程，是将图像退化的过程加以估计，建立退化的数学模型后，弥补退化过程中造成的失真，从而实现图像的复原。对于图像修复技术，当下主要的修复方法有基于像素操作的方法，主要用于修复小尺度破损以及划

6、痕的修复，还有基于块操作的方法，主要用于大尺度破损及目标移除的修复。其中基于像素操作的修复方法已较为成熟，该方法主要是基于偏微分方程(PDE)的理论，利用热扩散方程，令破损区域周围的完好区域的信息扩散到待修复区域，从而实现由破损区域边界向内部的各项异性扩散来，进而修复破损区域。其代表性的修复模型有BSCB（Bertalmio-Sapiro-Caselles-Bellester）模型、TV（Total Variation）模型和CDD(Curvature-Driven Diffusions)模型。BSCB模型既能保证边缘的连续性，又能保持较为正确的扩散方向，因而具有较好的修复效果，但其缺点是实现

7、过程较复杂、修复效率低。TV模型能修复小尺度的破损情况，修复后的颜色自然，几乎看不出破绽，但是该算法未从全局考虑，故对于大尺度的破损区域修复效果差。而CDD模型在TV模型的基础上进一步考虑了边界曲线的曲率信息，进而改善了图像的修复效果，但该模型也只适用于小尺度破损情况的修复。基于像素操作的算法除了这三种模型外，还有其他改进的方法，如Mumford-Shah模型、Mumford-Shah-Euler模型等。而基于块操作的算法则结合了变分PDE模型和纹理合成的优点，根据破损区域填充前缘的优先值，从大到小，依次修复图像破损区域。其代表性的算法有：基于样本的修复算法、基于纹理合成的修复算法、基于小波变

8、换的修复算法和基于分形理论的修复算法等。图像恢复这一块国内外研究已经比较成熟，运动模糊图像的复原作为其中的主要研究方向之一具有重要的现实意义。因此，本文选取这个着力点对图像恢复这一模块进行系统分析，对实际应用也具有很好的指导作用。图1 图像复原的体系结构二 选题的意义图像恢复和图像修复都属于图像复原问题，它们是图像处理中的一个重要组成部分。图像恢复一般针对的是图像的退化问题，图像退化是指图像在传输、获取以及记录过程中由于各种因素的影响而出现的畸变和失真，它通常研究图像的去噪、反模糊、盲恢复等问题。而图像修复则是从人的视觉角度出发，在一定的原理或算法的引导下，实现对图像中未知破损区域的修复使之恢

9、复原貌，其修复技术针对修复面积的大小一般可分为小尺度的划痕、文字去除等技术以及大尺度的破损、目标移除等技术。二者的共同点都是使观察者察觉不到修改恢复的痕迹，并使复原后图像的视觉效果清晰自然，贴合实际。随着信息技术的飞速发展，较之以前人工修复来说图像复原技术也展示出了前所未有的优点，一方面是方便快捷，现有的图像处理技术借助计算机这一载体以及相应的修复算法，大大缩短了修复时间，节省了人力和物力；另一方面是避免了修复风险，只要把需要处理的图片信息输入计算机内，就可以对其进行反复操作，直至加以复原，避免了以前手工修复由于小失误导致的失败且不可挽回，而且可以保证修复的质量。图像复原技术作为数字图像处理中

10、的一个重要分支，它的主要目的就是尽可能地恢复被退化图像的本来面目。而引起图像退化的因素又很复杂，实际上，在各种具体应用时成像过程的每一个环节都有可能引起退化，而在众多的应用领域中，又需要高质量的清晰图像。运动模糊图像的复原作为图像恢复中的重要课题之一，已经渗透到航空航天、医疗保健、道路交通、军事、科研、安全保障及公安等各个方面，在国计民生及国民经济中发挥着越来越大的作用。因此，研究运动模糊图像复原的技术具有重要的现实意义且该技术具有广泛的应用领域，是数字图像处理中重要而又困难的问题，所以运动模糊图像复原技术的研究已经成为当前研究的热点问题。三 研究的基本内容本文的基本内容主要有六个方面：第一章

11、为绪论部分，重点介绍模糊图像复原研究的背景意义以及应用领域等。第二章介绍了与运动模糊图像复原有关的理论基础，首先介绍了图像的噪声，探讨了图像的连续和离散退化模型，推导出了匀速直线运动模糊图像退化模型，以及如何评价复原图像的质量，包括主观评价方法和客观评价方法。第三章重点论述了如何准确鉴别运动模糊点扩展函数模型中的两个重要参数运动模糊方向角和运动模糊尺度。提出了一种在倒谱域鉴别这两个参数的方法，对多幅不含噪声以及添加了不同程度噪声的运动模糊图像参数的鉴别结果表明：该方法鉴别参数准确、有效，且具有较强的鲁棒性。第四章首先介绍了几种常用的经典图像复原算法，讨论了算法的推导及在运动模糊图像复原方面的应

12、用。在鉴别出运动模糊参数的基础上，对无添加噪声和有添加噪声的运动模糊图像运用逆滤波法、维纳滤波法以及Richardson-Lucy 算法进行运动模糊复原仿真实验，实验结果表明：维纳滤波复原算法要优于其它两种方法，但对于有噪声的运动模糊图像复原效果并不是很理想。第五章针对含噪声的运动模糊图像，提出了一种递进式的复合滤波复原方法。该方法联合了维纳滤波和小波变换。对多幅图像的复原结果表明：该法复原效果明显优于维纳滤波复原。同时，在小波分解中提出了一种非线性的小波系数估计模型，建立了新的小波阈值函数，将小波系数间的线性关系变换为指数形式，减小了重构信号时的误差。第六章为总结和展望。下面对文章中比较重要

13、的内容和几个创新点作简要介绍。退化模型的建立退化模型是图像恢复的基本模型，主要包括连续型退化模型和离散型退化模型，这两个模型是要救所有的退化模型的理论依据。为恢复真实的原始图像需要建立退化模型，由于造成图像退化的原因众多且较复杂，不方便逐一进行分析建模，因此需要建立一个简单且通用的图像退化模型，如图2所示的退化模型则将图像的退化过程简化为一个退化算子（退化系统）H，即纯净图像 f(x,y) 通过一个系统 H 再引进加性噪音 n(x,y) 而退化成图像 g(x,y)。f(x,y)Hn(x,y)g(x,y)图2 图像退化模型图2的输入和输出具有如下关系：gx,y=Hfx,y+n(x,y) （1）连

14、续退化模型为：gx,y=-+-+f,hx-,y-dd+nx,y=fx,y*hx,y+n(x,y) （2）h(x-,y-)为点扩散函数（Point-Spread Function,PSF）。对上式两边同时进行傅里叶变换可得图像退化的频率域表达式：Gu,v=Fu,vHu,v+N(u,v) （3）在利用计算机对图像进行复原时一般将退化图像gx,y、退化系统的点扩散函数h(x,y)、原图像f(x,y)进行均匀采样离散化，从而由连续函数模型引申推理得到离散的退化模型如下。gex,y=fex,y*hex,y=m=0M-1n=0N-1fem,nhex-m,y-n+nex,y （4）用矩阵表示如下g=Hf+n

15、 （5）运动模糊图像点扩展函数的参数鉴别模糊尺度是指原始图像中像素点运动的轨迹范围，运动模糊方向角是指图像像素运动轨迹偏离水平方向的角度。M.Cannon 等根据匀速直线运动模糊图像对应的傅里叶变换频谱图上出现的周期性的零值条纹这一特征，从频谱图中估算出运动模糊方向角和运动模糊尺度，但该方法仅仅适用于由匀速直线运动造成的模糊，不适合加速运动和振动并且抗噪能力比较弱。邹谋炎提出的“误差一参数分析法”，解决了算法抗噪能力较弱的问题，但是从其所给出的鉴别曲线来看，真值附近那段曲线较平坦，不利于运动模糊参数的准确鉴别，且该方法计算量很大。ArshlooShervin Rahimzadeh 等根据模糊图

16、像频谱图上的特征条纹，用最大期望法（EM）去分割这些特征性，进而确定模糊参数。孔维武等结合点扩展函数的频率特性和投影均值最大化方法鉴别模糊方向，利用整列投影最小值提取模糊长度。R.L.Lagendijk，Li Chen 等利用最大似然估计以及自回归滑动平均（ARMA）来鉴别PSF 参数，但该类方法要循环计算，计算量大。Moghaddam.MohsenEbrahimi等利用双频谱鉴别模糊参数，抗噪声能力有所提高，但所有的测试图像都是Matlab7.0 仿真生成的，没有运用到实拍的图像，测试图像的代表性不强。这篇论文提出了一种新的方法来鉴别运动模糊图像点扩散函数两个重要参数运动模糊方向角和运动模糊

17、尺度。这种方法首先计算出模糊图像的倒谱图，接着对分辨率不是很高的倒谱图作灰度变换，最后再采用Canny算子进行边缘检测，进而计算出运动模糊尺度。对Canny算子边缘检测后的图像作Radon变换就能得到运动模糊方向角。一幅图像 gx,y的倒频谱定义如下Cgp,q=F-1logG(u,v) （6）其中，G(u,v)是图像gx,y的傅里叶变换， F-1 表示逆傅里叶变换。即一幅图像的倒频谱就是该图像傅里叶变换的模值取对数后的逆傅里叶变换。忽略噪声影响，模糊图像退化模型的频域表达式Gu,v=Fu,vHu,v，将其代入（6）式可得：Cgp,q=Cfp,q+Chp,q （7）即模糊图像的倒频谱是清晰图像倒

18、谱和点扩展函数（PSF）倒谱之和。递进式复合滤波复原新方法本文提出了一种新方法递进式复合滤波复原，来改进加噪后的运动模糊图像，这种方法的原理是根据已准确鉴别出来的运动模糊方向角和运动模糊尺度，对模糊图像先做维纳滤波，然后再用文章中提出的改进的阈值函数进行小波变换，最后得到复合滤波后的复原图像。实验结果表明：这种方法优于传统的滤波方法，且对噪声具有良好的抑制效果。文章的创新之处在于，即将小波系数间的线性关系变换为指数形式，对小波系数的处理要相对平滑一些，从而减小了重构信号时的误差。改进后的小波阈值函数如下：wj,k'=0, wj,k1sgn(wj,k)(awj,k-1-1)wj,k, w

19、j,k>2 ,1wj,k2 （8）含噪声运动模糊图像递进式复合滤波的复原方法的具体步骤如下： 运用本文提出的方法准确鉴别运动模糊图像点扩展函数的两个重要参数运动模糊尺度L和模糊角度。 根据鉴别出的L和，运用维纳滤波器进行初次滤波。 再进一步对滤波后的图像运用改进后的小波阈值函数进行小波变换。 得到复合滤波后的复原图像。实验结果显示，本文方法复原效果优于维纳滤波复原的效果，对噪声的抑制有了很大的改进。四 研究的方法本文的实验算例都是在MATLAB7.0环境下进行模拟仿真复原得到的，在求解点扩散函数两个重要参数运动模糊方向角和运动模糊尺度主要应用到了灰度变换和Canny算子以及Radon变换

20、。在检验模糊尺度和模糊方向角时应用了经典复原方法逆滤波法、维纳滤波法以及Richardson-Lucy 算法，这三种方法在不加噪音的情况下都具有良好的复原效果，其中维纳滤波的效果优于其他两种，但是在加了噪音干扰之后，虽然维纳滤波的效果仍然比另外两种好，但是其降噪能力明显很弱，抗噪能力差，没有在不加噪音的情况下的恢复效果好。综合传统复原方法降噪能力较弱的原因，第五章提出了一种的新的方法，即递进式复合滤波复原法，采用了小波变换，改进后的方法优于传统的滤波方法，对运动模糊图像具有很好的恢复效果且对噪声具有良好的抑制作用。Canny 边缘检测的算法由于形成图像的系统亮度有限，常出现对比度不足的问题，使

21、人眼观看图像时视觉效果很差，通过灰度变换可以改善视觉效果。为了精确地提取出模糊系统信息，对倒谱图的准确检测是关键。本文采用Canny 算子进行边缘检测，它是优的阶梯型边缘检测算子。Canny 边缘检测的算法步骤如下：1) 首先用 2D 高斯滤波模板与原始图像进行卷积，以消除噪声。2) 利用一阶偏导的有限差分找到图像灰度沿着两个方向的导数Gx, Gx,并求出梯度的大小：G=Gx2+Gy2。3) 利用第二步的结果计算出梯度的方向。4) 求出了边缘的方向，就可以把边缘的梯度方向大致分为4 种（水平、垂直、45°方向和135°方向），并可以找到这个像素梯度方向的邻接像素。5) 遍历

22、图像。若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的，那么将这个像素值置为零，即不是边缘。6) 使用累计直方图计算两个阈值。凡是大于高阈值的一定是边缘；凡是小于低阈值的一定不是边缘。如果检测结果在两个阈值之间，则根据这个像素的邻接像素中有没有超过高阈值的边缘像素，如果有，则它就是边缘，否则不是。Radon变换Radon 变换的作用是计算指定方向上图像的投影，对应于二元函数f(x,y)，则是计算该函数在某一个方向上的线积分。当投影沿任意角度进行时，Radon 变换的定义如下：Rx'=f(x'cos-y'sin,x'sin+y'cos)d

23、y' （9）x'y'=cossin-sincosxy （10） 它的几何关系如图3所示，与投影极大值点所在角度垂直的方向即为检测出直线的方向角 ：图3 Radon 函数的几何关系示意图逆滤波法逆滤波方法被广泛地应用于数字图像复原中开始于二十世纪六十年代。它在频率域的描述为：Fu,v=Gu,v-N(u,v)Hu,v （11）逆滤波复原方法存在的病态问题有：当在u，v空间的某些点或者区域上Hu,v很小或等于零，即出现了零点，就会导致上式存在不定解。如果考虑了噪声项N(u,v)，则出现零点时，噪声项将被放大，零点的影响将会更大，对复原的结果起主导地位。由于逆滤波复原方法存在的

24、普遍病态性，所以在复原模糊图像时要求图像要有很高的信噪比，并且当模糊图像中存在噪声时，这种方法复原效果变的很差。对于运动模糊图像来说，由于其传输函数零点的存在，因此在运用逆滤波方法复原时，往往无法精确复原图像。维纳滤波法维纳滤波，又称最小均方误差滤波。它是由Wiener 首次提出的一个概念并应用于一维信号的处理中，取得了良好的效果。后来该算法又成功应用于二维信号的处理，也取得了比较满意的效果。特别是在图像复原领域，由于维纳滤波效果良好，算法计算量较低，并且抗噪性能优良，因而在图像复原领域得到了广泛的应用。维纳滤波公式为：Fu,v=1Hu,vHu,v2Hu,v2+kG(u,v) （12）维纳滤波

25、器的传递函数即为Hwu,v=1Hu,vHu,v2Hu,v2+k。Richardson-Lucy 算法前两种图像复原方法都是线性的。在过去的20年里，非线性迭代技术已经越来越多地被人们接受。Richardson-Lucy(RL)算法是目前应用较广泛的迭代方法中的一种，它是利用RL算法进行指定次数迭代而得到复原图像的技术。常用的RL迭代公式有：Onewj=OjiPijDiIi/iPij （13）fk+1x,y=fkx,yh-x,-y*g(x,y)hx,y*fkx,y （14） 五 结果呈现与分析运动模糊图像点扩展函数的参数鉴别对于匀速直线运动模糊图像的盲复原问题的关键是求出点扩散函数的运动模糊参数

26、运动模糊方向角和运动模糊尺度，本文提出的鉴别运动模糊参数的方法鉴别效果准确，绝对误差较小。表一 无添加噪声时运动模糊参数的鉴别结果展示由表一的结果显示，当模糊尺度在10到50个像素，模糊方向在0°到180°之间，本文的方法鉴别出的PSF参数准确，绝对误差较小，效果比较好。当有添加噪声时，在同一模糊角度、不同模糊尺度下运动模糊参数的鉴别结果由表2和表3显示：表2 鉴别出的模糊尺度的绝对误差随噪声方差的变化曲线表3 鉴别出的模糊角度的绝对误差随噪声方差的变化曲线表2和表3显示运动模糊尺度的大小以及所添加噪声方差的大小同时影响着鉴别误差。模糊尺度的鉴别绝对误差在大尺度和高噪声方差

27、下，出现较大偏差，其他情况鉴别效果好。总的来说，本文的方法对模糊尺度的鉴别效果比较好。递进式复合滤波复原新方法的实验结果在没有添加噪声情况下，维纳滤波能取得比较好的复原效果，虽然在添加了噪声的情况下维纳滤波抑制噪声的作用也优于逆滤波和Lucy-Richardson算法，但总的来说效果并不是很理想。因为这些传统的低通滤波方法在消除图像噪声的同时，也会消除图像部分有用的高频信息，所以传统的低通滤波方法在对保留图像细节的要求方面没有得到满意的效果。在鉴别运动模糊图像的点扩展函数参数之前运用噪声去除方法不但不会提高参数鉴别的精度，反而会滤掉一些有用的图像成分，影响参数鉴别的准确性。对图像的去噪处理一般要在图像复原处