基于偏微分方程的图像修复_毕业论文

摘要图像复原领域中的数字图像修复技术是近几年来比较热门的一个研究课题，它利用图像中已知的有效信息，按照一定规则对破损的图像进行信息填充，得到连续、完整、自然的图像视觉效果。该技术广泛应用于文物保护、老照片的修复、图像中文本信息的去除以及障碍物的去除、影视特技制作以及图像压缩、增强等方面，具有很高的实用价值。本文所做的工作主要体现在以下几个方面（1）在阅读和查找图像修复算法的相关文献时，基于个人理解的基础上，整理了一些经典的修复模型或算法，详细介绍和描述这些模型和及其算法原理，如基于偏微分的修复模型包括BSCB模型、TV模型、CDD模型、调和模型等，基于样本块的纹理合成算法如CRIMINI算法，最后且对这些模型的优缺点进行比较。（2）在之前的基础上，结合TV、CDD模型优缺点,针对扩散系数进行改进，提出了一个基于偏微分方程的修复模型，它涵盖了TV、CDD、指数曲率模型、对数曲率模型这些子模型，为了仿真实现方便，继而给出了该修复模型及其子模型的离散型模型。通过MATLAB实现该算法，证明该修复模型对于较小区域的图像修复和去噪有很好的效果。（3）最后总结本论文的创新点和不足点，继而提出该论文可以后续研究探讨的内容。关键词数字图像修复；偏微分；纹理合成；ABSTRACTTHEDIGITALIMAGEINPAINTINGTECHNIQUEINTHEFIELDOFIMAGERESTORATIONISAHOTRESEACHTOPICINRECENTYEARS,USINGTHEKNOWNVALIDIMAGEINFORMATION,INPAINTINGTHEMISSEDORDAMAGEDIMAGEINFORMATIONACCORDINGTOSOMERULES,TOMAKETHEIMAGETOTHEEXTENTTHATTHEINPAINTEDIMAGELOOKSCONTINUOUS,INTACTANDNATURALPERCEPTUALLYCURRENTLY,IMAGEINPAINTINGTECHNIQUEHASBEENABROADAPPLIEDINIMAGEPROCESSINGFIELD,SUCHASDIGITALRESTORATIONOFANCIENTPAINTINGSFORCONSERVATIONSPURPOSES,RESTORATIONOFTHEOLDPHOTOS,TEXT,OBJECTREMOVALATIONINIMAGESFORSPECIALEFFECTS,VISIONANALYSIS,DATACOMPRESSIONANDENLARGEMENTANDSOON,WHICHISFULLOFPRATICALVALUETHISPAPERATTEMPTSTORESEARCHONDIGITALIMAGEINPAINTINGTECHNIQUESBASEONTHEENSEMBLELEARNINGTECHNIQUESTHEMAINCONTENTOFTHISDISSERTATIONISDESCRIBEDASFOLLOWS1ONTHEBASISOFPERSONALUNDERSTANDINGOFDIGITALIMAGEINPAINTINGALGORITHMSGOTINTHEPROCESSOFSEACHINGANDREADINGREVELENTINFERENCES,THISPAPERREORGNIZESSOMETYPICALINPAINTINGMODELSORALGORITHMS,INTRODUCINGANDDESCRIBINGTHESEMODELSANDTHEIRALGORITHMPRINCIPLESINDETAILS,LIKEASPARTIALDIFFERENTIALEQUATIONMODELSINCLUDINGBSCB,TV,CDDETC,ANDTHETEXTURECOMPLETIONEXEMPLARBASEDINPAINTINGMETHODSUCHASCRIMINI,ATTHELASTMAKINGACOMPARATIONBETWEENTHESEMODELS2ACCORDINGTOTHEPREVIOUSDISCUSSION,COMBININGWITHTHEADVANTAGESANDDISADVANTAGESOFTV,CDD,COMINGUPWITHIMPROVEMENTAMODELBASEDONPARTIALDIFFRENTIALEQUATION,WHICHINLCUDSTVMODEL,CDDMODEL,THEEXPONENTCURVATUREFUNCTIONMODEL,THELOGARITHMCURVATUREFUNCTIONMODELTOMAKETHEALGORITHMCOMETRUEEASILY,THENDISCRETEMODELSOFTHOSEMODELSAREGIVENTHROUGHMATLBASIMULINK,WHICHPROVESTHISINPAINTINGMETHODHASAGOODINPAINTINGEFFECT,ALSOINIMAGE3ATTHEENDOFTHEPAPER,ONTHEBASISOFSUMRIZINGUPTHENAVIGATIONSANDDISADVANTAGES,ITHASCOMEUPWITHSOMEPROBLEMSFORSUBSEQUENTRESEARCHKEYWORDSDIGITALIMAGEINPAINTING；PARTIALDIFFERENTIALEQUATION；TEXTURESYNTHESIS目录第一章绪论111数字图像修复技术的背景、目的和意义112数字图像修复技术国内外研究现状2第二章数字图像修复算法综述421图像的数学描述422图像修复的相关理论6221变分法6222梯度和散度8223卷积9224纹理合成923数字图像修复算法10231BSCB模型10232PLAPLACE图像修补模型13233基于样本的纹理合成算法2024各种修复模型算法比较2325本章小结24第三章TV模型改进及其实现2431预备知识2432连续型模型2633离散型模型2734模型的仿真3135模型的评价3136本章小结32第四章展望32参考文献33致谢40第一章绪论11数字图像修复技术的背景、目的和意义一般情况下，一幅完整的图像是没有任何破损和杂质的。但在经历了时间、等外在因素影响，就会导致图像发生退化，图像就会产生破损，对破损区域的修复就是需要进行修复和补全。欧洲文艺复兴时期，为了恢复美术作品中丢失或缺损的部分，保持作品的整体效果，人们开始对中世纪美术作品进行修复，主要是填补美术作品上所出现的裂痕。而这局限于手工修复，手工修复面临着一个致命的缺点，即直接在原始作品上修改容易造成的微小失误会破坏珍贵的原作。随着美术博物馆的数字化，作品被扫描到计算机里，通常只需要简单的人际交互工作就可完成修复。数字图像修复技术相应地带来了极大的自由，比如可避免直接在原作上进行修复，出现错误的时候或逐步增强修补效果的时候，不会破坏珍贵的原画。毫无疑问，数字图像修复技术为修补古老的艺术作品提供了安全便捷的途径。数字技术的发展带动了数字图像技术在数字产品中如扫描仪、数码相机等的广泛应用，而在获取数字图像的过程中，会有诸多因素造成数字图像局部范围或大块信息的缺损11原本有缺损的图片经过扫描得到的图像；2基于某种特殊目的对图像进行一些处理而留下的空白区，如移走图像上的目标物或文字信息；3在数字图像的获取、处理、压缩、传输和解压过程中，因信息丢失而造成的信息缺损区。所谓图像修复是对根据图像已有信息对图像上信息缺损区域按照一定规则进行填充的过程，其目的是为了恢复有缺损的图像，使其接近或者达到原图像的视觉效果。由于没有足够的信息可以保证唯一正确地修复破损图像，因此图像修复是个病态问题。因此人们从视觉心理学的角度出发，提出各种假设限定来解决这个问题。随着科学技术的发展及待修复作品客观因素的要求，图像修复也从手工修复发展到如今的数字图像修复。随着数字图像技术的发展，越来越多的领域期望能够对图像进行一定的修改，因此数字图像修复技术成为当前计算机图形学和计算机视觉中的一个研究热点，在文物保护、影视特技制作、多余目标物体移除、图形缩放、图像的有损压缩、视频通信的错误隐匿等方面有重大的应用价值。目前的一些图像处理软件虽有专业的特效处理和图像修复处理，但这要求用户掌握必要的图像处理知识。因此简单、自动、快速的修复算法正被人们热切期望着。BERTALMIO等在2000年的一次学术会议上，首次提出数字图像修复技术这个术语。现在，数字图像修复技术正被广泛研究，基于不同原理提出了各种不同修复算法，这些算法致力于简单实用，只要求用户简单选择要修复的区域，剩下的工作则由计算机自动完成。12数字图像修复技术国内外研究现状目前存在两大类图像修复技术一类用于修复小尺度缺损的图像修补技术（IMAGEINPAINTINGTECHNIQUE），也可称为基于变分PDE的图像INPAINTING算法。一类用于填充图像中大块丢失信息的图像补全技术（IMAGECOMPLETIONTECHNIQUE）,这一技术包含两种方法基于图像分解（结构部分和纹理部分）的修复技术和基于块的纹理合成技术。如图11所示。DIGITALIMAGEINPAINTING（数字图像修复）IMAGEINPAINTING（图像修补）IMAGECOMPLETION（图像补全）VARIATIONANDPDE（变分和偏微分）IMAGEDIVISION（图像分解）TEXTURESYNTHESISBASEDONBLOCK（基于块的纹理合成）TOTALVARIATION（全变分）PDE（偏微分）STRUCTUREPART（结构部分）SYNTHESISPART（纹理部分）图11数字图像修复方法（METHODOFDIGITALIMAGEINPAINTING）小尺度破损图像目前主要使用变分PDE方法，其主要思想是利用待修补区域的边缘信息，确定扩散信息和扩散方向。这种基于PDE方法的思想首先由BERTALMIO,SAPIRO,CASELLES,BELLESTER2提出，他们利用带修补区域的边缘信息，采用一种由粗到精的方法来估计等照度线的方向，并采用传播机制将信息传播到待修补的区域内，以便得到较好的修补效果。本质上，他是一种基于偏微分方程（PARTIALDIFFERENTIALEQUATION,PDE）的INPAINTING算法，该类方法的主要思想是利用物理学中的热扩散方程将待修补区域周围的信息传播到修补区域中，其典型的方法包括BSCB2（BERTALMIO,SAPIRO,CASELLES,BELLESTER）模型用三阶PDE来模拟平滑传输过程及CHANSHEN提出的用三阶PDE来模拟CDD3（CURVATUREDRIVENDIFFUSION）等。在这类方法中，还有一种是基于几何图像模型的变分修补技术，该类算法的主要思路是模仿修补师手工修复图像的过程，该类算法认为修补一幅缺损图片主要依赖于以下两个因素1如何观察并读懂图片的现存部分，其用数学语言表达，也就是如何建立图像的数据模型（DATAMODEL）；2原始图片I属于哪类图像，其用数学语言表达就是，也就是如何获得图像的先验模型（IMAGEPRIORMODEL），即通过建立图像的先验模型和数据模型，将修补问题转化为一个泛函求极值的变分问题。这类算法主要包括全变分（TOTALVARIATION,TV）模型4、EULERSELASTICA模型5、MUMFORDSHAH模型6,7、MUMFORDSHAHEULER模型8等。由于偏微分方程与变分法是可以通过变分原理相互等价推出的，因此，可把这一类方法统称为基于变分PDE的图像INPAINTING算法。另外一类是用于填充图像中大块丢失信息的图像补全技术（IMAGECOMPLETION）。基于图像分解的技术将图像分解为结构部分和纹理部分，其中结构部分用INPAINTING算法修补，纹理部分用纹理合成方法填充。基于块的纹理合成技术填充丢失的信息，该种算法的主要思想，首先从待修补区域边界选择一个元素，以其为中心，根据图像纹理特征，选择大小合适的纹理块。再在待修补区域的周围寻找与之最相配的纹理块，来替代该纹理块。目前的数字图像修复算法也可以分为基于非纹理结构的修复算法和基于纹理结构的图像修复算法。变分和偏微分方法都属于非纹理结构性的算法。由于数字图像修复技术是近几年发展起来的一个课题，国外的研究正处于初步发展阶段，国内也随后进行相关的研究，逐渐成为国际的热点研究课题。13图像修复算法的客观评价一幅的原灰度图像，为受损图像，其复原后图像质NM,YXI,0I,YXI量的评价测度有1均方差测度MSE21,MXNYYXISE2信噪比测度SNR21,LG0MXNYXYYXISR3峰值信噪比测度PSNR212,5LG10MXNYYXIPSNR4改进信噪比测度ISNR210,LG0MXNYXYYXIIISR图像修复较常用的客观评价测度为峰值信噪比测度PSNR和改进信噪比测度ISNR，它们的值越大时，表示修复效果越好。本文仿真实验中用到的是峰值信噪比测度PSNR。第二章数字图像修复算法综述21图像的数学描述数字图像修复技术隶属于图像复原的研究领域。图像复原是试图利用退化现象的某种先验知识进行重建或复原被退化的图像。一般图像复原的数学表达式如下210IKN式中，为最初观察得到的图像，为原图像,为退化函数，为加性白噪0IIKN声，“”表示卷积。退化过程即一个退化函数和一个加性噪声项，图像复原的目的是获得关于原始图像的近似估计值，后面文章中也同时代表修复II后的图像。图像退化复原整个过程模型的示意图见图2。图21图像退化/复原过程模型10一幅数字图像都是二维离散图像用表示，简记为。一幅缺损图片,IXYI可由两个因素来描述数据模型和图像先验模型（也称图像模型）。数据模型用来描述图像现存部分,图像模型用来描述原图的类型。图3是一幅图像修补示意图，表示整个图像区域,D表示息丢失需要修补的区域,表示已知信息D区。已知DI0|待修复区域DD图22图像修复示意图对于大多数图像修补问题来说，数据模型可以描述为220|DDIKIN假设图像只考虑噪声，即，NIYXIYX00,也可简记为其中为具有零均值，方差为的高斯白噪声，即有。N22,EN数据模型的能量函数E，可常用最小均方误差定义92300|2DIIDX由于待修补区域无任何可用的数据，因此，图像先验模型对图像修补算法来说，比其他传统的复原问题如去噪，去降晰变得更为重要。图像模型可以从图像数据中经过滤波、参数或非参数估计以及熵方法得到，这些统计方法虽对具有丰富纹理图像的修补很重要，然而，对大多数的修补问题来说，修补区域常常丢失的是图像的重要几何信息如边缘，为了重建这些几何信息，图像模型要事先解决这些几何特征，而多数传统的概率模型则均缺乏这种特征。幸运的是，在很多文献中，由几何信息激发的“能量”形式的确存在，如RUDIN，OSHER和FATERMI模型4副以及MUMFORDSHAH模型6,7。这就是所谓的变分法。在变分方法中，图像修补问题转化为一个约束最优化问题2402MIN|EIST其中，为图像先验模型的能量形式，表示高斯白噪声的方差，它可EI2以用适当的统计估计器来估计。用LAGRANGE乘子法可将该约束问题转化为以下无约束问题250MIN|EII通常，用于均衡匹配项与正则化项。对于正则化项，即图像|EIEI的先验模型，常由“能量”泛函实现。比如SOBOLEV范数；RUDIN等的全变分模型4MUMFORDSHAH模2|EID|ID型67，其中表示1维HAUSDROFF测度，21,|DIIDH则为图像的边缘集。（以上积分表达式中的积分实际为二重积分，）。DXY22图像修复的相关理论图像修复问题就是根据数据模型和图像先验模型，建立和求解能量泛函问题，其修补后的图像就是该能量泛函的极值。变分法研究的是一个函数的极大值和极小值问题，因此它可看成是一个变分问题。由于变分法和偏微分法可以相互等价表示，下面先介绍相关的一些概念和定理。221变分法1泛函设YX为已知的类函数，如果对于这类函数的每一个函数YX,变量V都有一个值和它对应。则变量V称为这类函数YX的泛函。记为VVYX2泛函的变分定义，其中为的近似值。0XYFFUUYX在泛函极值的曲线上，它的变分0V变分预备定理设为某平面区域，它的边界为，函数，DD,FXYCD以及对任意函数，且，都有,则,XYC,|0DXY,0FD在区域上，。,0F求解变分问题可以化为微分问题11进行求解泛函，函数对于都是二次连续可导，也1,BAJYXFYDXF,XYY是连续的。设的增量为，变为，则泛函的值变化为26,BAJYFXYYFXYDD上式称为泛函的变分，记为。泛函取极值的必BAJYXYDX要条件是。由分部积分法，0BAFJYXYDX27BBAABABAFDXFYYDXDX必要条件成为。280BAFYDXYD由变分预定理知，相应的欧拉方程即为290FY泛函取决于两个函数的情况，变分问题2,YXZ的欧拉方程为,0BAJFZD0,FDYXZ210泛函取决于及其高阶导数的情况。例如变分问题3YX的欧拉方程为,0BAJFD21123DFYXYX泛函取决于多元函数的情况。变分问题4,U,0XYJFD的欧拉方程为（212）XYFUU附加条件下的变分问题。用欧拉方程解这类问题，可以仿照函数的条件极值5问题，运用LAGRANGE乘子法。222梯度和散度1方向导数设二元数量函数在点的某邻域内有YXF,0,YXP20RPU定义，为从点出发的射线，为上且含于内的任一点，以表N0PN示与两点之间的距离，若极限存在，则称此极000LIMLINFF限为函数在点沿方向的方向导数，记作。F0PN0|,PNF定理若函数在点可微，则在点处沿任一方向的方向导数都F0,YXF0存在，则有，为方向的方向余弦，COSCOS00FYXNCOS,N有。1COS222梯度若存在对所有自变量的偏导数，则称向量为函YXF,0,PFYX数在点的梯度（GRADIENT），记作。引进符号F0P0,FPFGRADYX（称为哈密顿算符），则。YX,F设为单位向量，则，由梯度和方向导数的定义和定理知，NCOS,NFGRADF3散度设空间区域上的向量函数，对上每一点VYXQPYXF,V，定义数量函数，称它为向量函数在的散度YX,QPYXD,F,（DIVERGENCE），记作。由散度和梯度的定义可知，YXDIV,。DIVF拉普拉斯算符数量函数，算符的内积常记YXF,22YFXF作，则有，称为拉普拉斯算符。F223卷积两个函数,由这两个函数的积分生成第三个函数FTH称为的卷积，记作ZTD,FTH。FTFT224纹理合成在一般的计算机图形图像的研究中，纹理出现在图像的边缘区域范围大的图像中或图像的边缘线有规律的图像中。JAIN12给纹理下的定义如下纹理一般是指图像的基本纹理元素纹元的重复。而纹元一般是由几个像素构成，纹元的位置多数是呈现出周期性的、类似周期性的或随机性的。日常研究中，自然纹理常常表现为随机性的，人造纹理多为确定性或周期性的。纹理和图像的区别在于纹理出现在图像上，但图像不一定都会含有纹理，也就是说纹理图像是一种特殊的图像。如图23所示，纹理图像大致可分为三种1314（1）结构性纹理图像。指包含有机构纹理局部特性的最小纹理块，整个纹理图像是由一系列的纹理块及摆放规则决定。（2）随机性纹理图像。指没有规则的纹理图像。（3）半结构性纹理图像。介于结构性纹理和随机纹理图像之间，大多数图像是属于这一类。（A）机构性纹理（B）随机性纹理（C）半结构性纹理图23纹理的表现形式其中，纹理单位用T表示是指一幅图像中具有相似视觉表现的像素或像素的集合。对于随机性纹理图像，具有相同颜色C的像素可以看作为同种纹理单位；当CT整个纹理由不同颜色构成，则可区分多种纹理单位，表达为12,NC。纹理合成目标是生成的图片要以一个给定样本纹理为基础，12,NCT形成新的且满足视觉要求的纹理图像。由于全局性是纹理的基本特征，通过对图像纹理的描述可以了解图像上全部或局部区域所对应景物的表面性质。所以可以得出，图像的纹理特征所描述的不仅仅是基于单个某个像素点的特征，而是对含有图像中的区域块进行统计和计算得出的。现有的纹理合成技术主要有三种算法纹理映射的纹理合成算法、过程纹理合成算法和基于样本的纹理合成算法。通常，常用的两种纹理合成的算法主要是过程纹理合成算法和基于样本的纹理合成算法。过程纹理合成直接通过对物理过程的仿真在曲面上生成纹理，属于物理模拟过程，如应用在毛发、云雾、木纹等。这种方法的优点是避免了纹理映射的纹理合成所带来图像的失真，同时可以获得非常逼真的纹理。但是在面对自然界形形色色的大量纹理时，就会可能无法得到有效的参数，导致不能有效的进行纹理合成。基于样本的纹理合成算法是一给定小块纹理的基础上，生成大量相似的纹理块。该算法可以有效的克服了过程纹理的缺点，目前的基于纹理合成的算法多采用基于样本的纹理合成方法。基于样本的纹理合成主要依据相似性，从一小块纹理来反映整体纹理特点，从而生成在视觉上连续的大面积纹理图像。相对于基于变分PDE的修复算法，基于纹理合成的图像修复算法比较简单，运行速度较快，并且对待修复区域破损面积较大时有较好的修复效果。23数字图像修复算法以下介绍几种经典的图像修复模型和算法BSCB，TV,CDD模型，调和模型，基于样本的纹理合成算法。231BSCB模型图像修复主要依赖于修复人员的主观感觉，没有一种标准的方法，一般存在以下几种观点2。1图像的整体决定了如何修复破损处，修复的目的就是为了恢复图像的完整性。2修复区域中的不同区域是由等照度线来划分的，各区域的颜色和边缘外的颜色一致。3通过延伸边缘处的等照度线进入修复区域，实现修复区域和完好区域边缘处的连续。4细节部分必需添加，也即添加纹理。基于以上原则，BSCB模型就是利用偏微分方程，模拟手工修复的过程，实现归数字图像的自动修复。其算法主要体现了2和3原则。算法通过延伸边界区域的等照度线进入修复区域而实现修复，是各向异性扩散。等照度线是指图像中灰度在同一等级上的一系列点所组成的线。如图24所示图24图像修复延伸方向N其中，表示待修补区域，为其边界，为信息的延伸方向。L为图像修复的扩散过程中传输的信息量，表示所传输信息L在方向上的变化。LNN表示图像在单位时间的变化量，则BSCB模型的信息传输过程表达式为IT213ILTN用来表示待修复的离散的二维图像，表示修复过程中的离散图像，0,IXY,IXY同时也表示图像灰度函数，从手工修复技术描述，采用迭代算法，则算法可描述为。2141,NNNTIXYIIXY式中，表示修复迭代次数，表示像素坐标，表示修复时间步长，T表示图像在时间下的的修复，方程只作用在修补区域内。当,NTIXYT,NIXY增大到一定程度时，有时，有，则算法停止。1,0NTIXY根据公式213，且为的离散表达式，为的离散,NTIXYIT,NL表达式，称为离散梯度。有215,NNNTIXYLXYN图像修复希望信息平滑延伸，即为信息平滑的估算因子。通过简单离散拉普拉斯算子可得，216,NNNNXYYIIXIXY等照度线与平行，的最好选择就是等照度线的方向。对于某等照度线上任N意一点，离散梯度方向表示灰度变化最大的方,XY,NNIXYIXY向。由其旋转后得到的表示边界的方向即等照90,NNII度线的切线向量，即有217,NNNXYXY由公式213、214、215、216、217，BSCB模型可表示为（218）IIT表示信息量在方向上的变化量。I该模型为了使修复过程更加清晰，并且能够保持修复边界的光滑性和噪声鲁棒，使用各向异性扩散，该方程表示为219,IGXYKTIXYTT其中，是修补区域内的以为半径的圆域扩展。是光滑函数，,GXY表示等照度线的欧式曲率。其中，。,KXYT1,0,BSCB模型是将待修复区域外部的信息沿等照度线方向扩散至修复区域，该模型对较小破损区域可以达到较好的修复效果,如图25。但是，BSCB修复模型的缺点缺乏稳定性，当待修复区域面积较大时，或是图像背景为纹理图案时，容易产生模糊的现象,如图26。A原图像BBSCB修复结果图25A原始破坏图像BBSCB修复结果图26232PLAPLACE图像修补模型文献15定义了PLAPLACE算子为,相应图像修复的PIDIVIPP2LAPLACE方程为定义如下220上在内在0,1,IP其中，为含加性噪声的图像模型。其相对应的能量泛函方程为NI0221DPDIDIIJ201对进行讨论，可得到几个比较经典的图像修复模型。P1时，为TV模型。1TONYCHAN等人于2002年提出了整体变分法16（TOTALVARIATION,TV），TV模型4的主要思想是在保持图像边缘的同时，向异向进行扩散，最终达到图像信息补全的效果。基于整体变分模型的图像修复方法，即TV模型，其本质是将图像看成一个分段平滑函数，在有界空间上对图像建立模型。由于该模型能够起到延长边缘的作用，从而很适合图像破损面积较小的修复。CHAN等人建立的全变分图像修复模型为22220MINDJIUDID式中，为拉格朗日乘子，上式为二重积分，的简写。XY根据变分原理，可求得EULERLAGRANGE方程2230,DIXYI式中，其中,1,DXYXY。,1,0,因此求解泛函236的最小值，等价于求解偏微分方程式237。相对应的最速下降方程为2240,DIIXYIT由上式可以看出，当时，就可以求出能量代价最小的。考虑到可0ITI能很小，有可能会接近于0，所以224式中的为扩散项，扩散系数I，可用代替，其中为一个很小的正数。它使扩1I21II散强度在梯度大的地方小,梯度小的地方大,这表明扩散是各项异性的,能按照与梯度垂直的方向即等照度线方向进行信息扩散。该模型修复时仅依赖于图像的几何特征,具有形态学不变性,可以在抑制噪声的同时平滑图像边缘，即保持边缘和数值PDE实现方便，具有很好的修复效果，如图27去除目标物。相对于BSCB模型，其稳定性和鲁棒性也更好。A原图BTV修复图图27TV模型的主要缺陷在于它会引入阶梯效应，破坏视觉连通性原理，如图28。当破损区域长度大于待修复物体宽度时不能完成修复,TV模型修LW复结果如图28B所示,而满足连通性原理的修复结果如图28C所示。对于A、B、C、D四个角点处曲率,修复时应使此处曲率减小,等照度线尽可能平滑拉伸。A原图BTV修复图C连通性原理DCDD修复图图28为了使TV模型更具视觉连通性，文献3对TV模型进行了修改，提出了CDD模型。将TV模型的扩散系数修改为，其中1IGVI，为非递减函数，一般可选00G大于零的有限数，此处可选，它可使扩散在大曲率出变强，小曲率处变1,0AS1A弱，相应的CDD模型为225。其IGIITID为增函数，0修复结果佳于TV模型，如上图28所示。欧拉在研究外力的作用下,首先提出了曲线的能量概念17，已知曲线的两端点A和B,曲线长度为，则曲线量方程为，CHAN等人DDSDEAB2则将弹性能量引入到TV模型当中,提出了TVEULER模型6226002|DEIDII其中，。当时，则返回到TV模型。2,DIVI,1图29C、29D为TVEULER修复结果图，可见其修复效果较TV模型好，其中N为迭代次数，迭代次数不同，造成修复结果也不同。A原图BTV修复图CN2000DN5000图29因为TV模型破坏了视觉连通性原理，为此，有不少学者提出了一些TV改进模型，如文献24,25,262时，为各项同性扩散的调和HARMONIC模型18。2P模型为，用变分法可推导出相应的EULERDIDIIJD021方程为22700III3时，称为PHARMONIC模型19。21P其中可以根据图像是否含噪声，建立相应的能量泛函模型。模型I（无噪声模型）DIPIJ11228模型II（含噪声模型DYXYXYXDIDIPIJDD,0,1,202229先讨论含噪声模型II,该模型的能量泛函为230DXYIYXFDIYXFIJYX,其中，20222020,1,1YXIYXIXIPYIYIIPDPDP该泛函属于变分理论中的类型，根据公式212，相应的EULER方程为，0YXIIFIF其中231IIIFPYPXDI220,将上式代入式212，化简得2320IIDP所对应的最速下降方程为IIIITIDPP00233从而，修补后的图像是以下偏微分方程的解I234上在内在DIITIDP0同理模型I的的修复图像，为以下偏微分方程的解I235上在内在ITP0其和TV模型的修复结果见图210，ISNR是评价图像复原质量的改进信噪比测度，值越大表示修复效果越好。A原图BTV修复图ISNR186DBC该算法修复图ISNR1950DB图2104混合模型上述讨论的TV模型，相应的EULER方程为DIDIJD02，用同样的方法可以推导出扩散项，只0III在边缘方向扩散，一般而言，图像的每个像素点处都有一个梯度方向和边缘方向，而在平坦区域得到的边缘方向并不真实存在，此时仍仅沿边缘方向扩散，无疑会导致在平坦区域的噪声抑制不充分，甚至产生阶梯效应。上述讨论的调和模型，用变分法可推导DIDIIJD021出其EULER方程为。扩散项反应了调和模0型的去噪性能，令为梯度方向的单位向量，为与垂直即边缘II方向的单位向量,有计算过程可见IIYIXI222第三章31节中的预备知识因为梯度方向和垂直向量的扩散系数一样，即为同性扩散，因此该模型在去噪的同时也使边缘模糊了。正确的做法是在图像的平坦区域的边缘方向和梯度方向的扩散系数均应较大；在图像的边缘区域，沿边缘方向应当具有较大的扩散系数，而梯度方向的扩散系数则较小。因此，根据以上分析，为了克服上述两种模型的缺点，保留其优势，可建立如下混合模型236DIDIIIJD021其中，是控制参数，时为调和模型，时为TV模型。该混,01合模型的EULER方程为23701III同样在坐标下，混合模型的扩散项变为,II1。显然，该混合模型沿边缘方向和梯度方向都有扩散，II11并且边缘扩散系数依赖于图像局部特征，梯度方向扩散系数较小。含噪图像中，边缘处本身含有噪声，在边缘处若有个较弱的沿梯度方向扩散，可以消弱阶梯效应的产生，从而，混合模型能够得到更优的滤波效果，如图211所示，同样PNSR是评价图像复原质量的峰值信噪比测度，值越大表示修复效果越好。A原图B加噪图PNSR72520C0为调和模型PNSR153125D50PNSR166490E，1为TV模型，PNSR152058图211233基于样本的纹理合成算法之前介绍的图像修补INPAINIING技术，可以利用待修补区域的邻域信息来填充缺损区域的像素值，只适合修补小尺度缺损。目前使用最广泛的纹理合成算法为基于样本的纹理合成图像修复技术，它不但可以填充任意大小的丢失块，还可以修复破损部分的细节。它的基本思想是在图像丢失块的边界上任选一像素点，以该点为中心，设定一定大小的模板，然后在整个已知区域内按照某种准则，寻找一个与该模板最为匹配的块最后用最优匹配块填充模板即可。CRIMINISI20等采用一种基于样本的图像修补算法，实际上是直接结合结构传输和纹理合成的方法，来去除照片中的大物体。这种纹理合成主要由三部分组成优先权计算、最优块搜索和复制。计算优先权是为了决定填充的次序，以保证在纹理填充之前，图像的线性结构先被传播，这样就可以保证目标边界连通搜索就是根据纹理的相似性在原始区域找到最为匹配块；复制就是将所选择的最优匹配块复制到目标区域内的适当位置。（1）计算修复块的优先级优先级的计算是整个算法的关键和特色所在，图像中的每个像素，除了修补的区域外，都有各自的颜色信息置信度（CONFIDENCE），修补的区块则根据包含的像素有不同的优先级（PRIORITY）。修补区域的优先权决定了以后的修补优先顺序，优先权越高，越先处理修补区域。在计算优先权大小时，应考虑几个因素修补区域内像素的置信度大小；待修补区包含的线性结构信息能否与周围形成一个连续的线性结构，即待修补区的邻域是否是闭合的。优先级计算示意图如图29所示。图29信息扩散方向示意图其中为待修补区域，也称为目标区域，为目标区域的边缘轮廓线。在填充过程中，边缘轮廓线会向待修补目标区域不断收缩，因此又称填充边缘。代表整幅图像除去目标区域以外的部分，提供填充过程中需要的样本资源，又称样本区域。是以点为中心的待补全块。为边缘线上点的PPNP法向量，为点梯度方向的垂直方向，即点的光照线（同色线）方向。PIP计算待补全块的优先权，为置信度，表示中包PDCPPP含的已知信息量，为数据项，表示中包含的结构信息量。他们分别定DP义为238PQDCPNI其中为补全快的面积，即像素点的个数；为归一化因子，的PPQC初始化定义如下。QC,10（2）最优匹配块和复制找到具有最大优先权值的目标模板中心点，寻找一个最优匹配块，PQ匹配度公式为，其中为之间的距离，即QPQDQ,MINARGQD,QP,这两个像素块中对应的已知像素点的颜色值之差的平方，定义为239QPPQPQPQQPPBPGRD,222,其中为目标块中中某未知像素点的三基色值，,BGRRG为匹配块中中对应像素点的三基色值。最后用,QQQ中相应点替代中的未知点。P（3）更新置信度最高优先权的目标块修补完成后，块中原来的边界点变成已知点，区域内中的点变为已知点或者边界点，这时需重新计算已知点的置信度，以及边界点的优先权。对于新加入到待修补区域块内的像素点，都将它们设为与像素点有相P同的置信度。设为刚刚填充好的修补块，则其像素点的置信度更新按公式P。重复上述3个步骤，直至修复所有的破损区域。CP,（4）图像补全的整个步骤用户选择需去除并填充的目标区域。计算块的优先权。寻找和复制最优匹配块。更新优先权。得到新的边缘后，若边缘上的像素点不为零，则重复步骤,直到整个目标区域填充完毕。A原图BCRIMINI修复图图210CRIMINISI给出的大量比较实验表明，该算法在时间和视觉效果上都优于其它的算法。接着，就有大量的研究者开始研究CRIMINISI等的算法21,22,23国内，浙江大学的唐峰等21分析了CRIMINISI算法的不足，提出了一种新颖的基于纹理合成的图像修复算法。该算法首先缩小了寻找匹配块的搜索范围，给出了一种选择最优匹配块的准则以避免误差的传播，得到了相当好的修复效果文献22分析了CRIMINISI算法中的优先权计算，发现，随着填充过程的进行，置信度值迅速下降到零，使优先权的计算不可靠，导致错误的填充次序，进而影响修补效果。为了克服这一不足，他们给出了一个更合理的优先权函数，来保证图像结构和纹理的正确填充，取得了一定的效果。在上述的这些算法中，由于CRIMLNISI算法及其改进算法实现简单、快速、效果好，故得到了广泛的应用。但对于基于样本的纹理合成图像修复技术，现有的算法在寻找匹配块时，大多采用的是一种全局搜索方法。这种搜索方法不但容易产生错误的匹配，还很耗时，很少有人研究自然图像中纹理的特性。由于人眼对边缘等线结构特征最为敏感，在对自然图像进行修复时，图像中的边界结构部分修补的好坏，直接影响到整幅图像的修补效果。若能对规则纹理的方向特性进行研究，找到图像中纹理的大致走向，然后沿这一走向寻找匹配块，不但会减少搜索空间，还会提高修补的视觉效果。因此，对自然图像中规则纹理特性的研究，可以减少修补时间，提高修补质量，是一个很有意义的研究方向。24各种修复模型算法比较表21各种修复算法比较正则化项图像修复模型优缺点BSCBITI优点较好修复图像，可避免边缘模糊；缺点对于丰富纹理图像，效果不佳。TVDIIIITD0优点保持边缘和数值实现方便。缺点破坏视觉连通原理，可能引起阶梯效应。CDDIGIITID为增函数，0优点曲率扩散，异性扩散缺点计算复杂度较高TVEULERDI002|,DEIDID优点含有TV模型的优势，弥补其缺陷HARMONICDI2IIT0缺点各项同性扩散，在去噪的同时使边缘模糊化。PLAPLACEDIP11212220PIPIITPPD权衡TV和PARMONIC模型利弊，扩散速度更快，修补效果好。25本章小结本章分别对图像修复中的几个典型算法模型的优缺点以及相应的算法做了详细的理论基础、模型介绍和分析。主要从基于非纹理合成的图像修复算法和基于纹理合成的图像修复算法两个角度出发，分别介绍了其主要的算法模型。基于非纹理合成的图像修复算法的修复模型有BSCB模型、TV模型、CDD模型、调和模型，混合模型。这些模型在图像去噪，去除文字等较细的图像划痕等小面积的图像破损有比较好的修复效果。但是对大面积的图像破损的修复效果并不理想，修复结果常常出现模糊的现象。基于纹理合成的图像修复算法则是针对大面积的图像破损区域的修复，其主要的修复算法为基于样本的图像修复算法。这些算法都是在图像纹理的基础上考虑图像修复，这样可以保持图像的纹理特征，对大面积的图像破损区域的修复效果明显优于基于非纹理合成的图像修复技术。第三章基于TV改进的偏微分修复模型及其实现31预备知识图像处理中，为二维灰度图像，简记为，表示,YXIIIYX,梯度方向向量；，表示边缘方向向量，即等照度线方向向量；II,表示梯度的模。将像素灰度信息的传播分解为两个始终相互垂直2YXI但随图像内容变化的方向。为了较好地恢复边缘结构信息，我们令其中一个传播方向与图像的等照度线方向即垂直于梯度的方向一致，沿这个方向的传播强度保持不变而沿着与等照度线垂直的方向即梯度方向的传播强度根据图像内容有所变化。如图31所示，建立局部坐标系，其中为等照度线方向的单位向量，为梯度方向的单位向量，即有II,，同时可解得。YXIIYX1XYIX1图31直角坐标系和局部坐标系曲率描述了图像等照度线局部弯曲程度,表述为等照度线切线转角对弧长的微分,因梯度方向与等照度线切向的方向垂直,所以曲率也可以用梯DS度方向的转角对弧长的变化率表示,单位梯度反映了梯度的方向,因此曲率I可以表示为单位梯度的散度。IIDIVIIIYXIIYIXIYXXYX,0。同样继续求二阶偏导，2222222222200IIIIIIIYIYIXYIXIYXIXIXYXYXYYXYXXYY，同理，就有，22IIYYXXYXII。32IIIDIVXYXYX32连续型模型TONYCHAN等人于2002年提出了整体变分法16，TV模型的主要思想是在保持图像边缘的同时，向异向进行扩散，最终达到图像信息补全的效果。基于整体变分模型的图像修复方法，即TV模型，其本质是将图像看成一个分段平滑函数，在有界空间上对图像建立模型。由于该模型能够起到延长边缘的作用，从而很适合图像破损面积较小的修复。CHAN等人建立的全变分图像修复模型为3120MINDJIUDID相应的最速下降方程为32IIITD00在图像边缘处灰度值发生突变，因此梯度的绝对值较大。为了避免产生边缘模糊现象，在灰度突变处沿梯度方向传播信息的强度应减小相反，由于在平滑区中梯度的绝对值较小，因此沿梯度方向的传播强度可以较大。总之，我们使得沿梯度方向的传播强度与梯度的绝对值成反比，这样可以提高图像修复的