（通信与信息系统专业论文）基于偏微分方程（pde）的图像修复.pdf

硕士论文 基于偏微分方程( p d e ) 的图像修复 摘要 数字图像的修复是图像处理中一个重要的部分，主要是利用一定的算法针对产生 划痕和有缺损的图像进行修复，或者从图像中去除指定的物体和文字，以达到特定的 目的。 目前图像修复大致可以分为两类：基于偏微分方程( p d e ) 的修复模型和基于纹理 合成的修复模型。 基于偏微分方程的修复模型就是将图像修复过程转化为一系列的偏微分方程或 能量泛函模型，从而通过数值迭代和智能优化的方法来处理图像。该算法可以使待修 复区域周围的有用信息沿等照度线自动向内扩散修复图像，在保持图像边缘的基础上 同时平滑了噪声。本文主要研究了偏微分方程修复模型中的几种模型：b s c b 模型，曲 率驱动扩散( c d d ) 模型，整体变分法( t v ) 修复，弹性( e l a s t i c ) 修复和m u m f o r d s h a h 模型修复，对一些模型开展数值模拟，并对比分析了不同模型修复的效果。 基于偏微分方程的修复模型对于小块的破损具有良好的修复效果，但是对于大块 的纹理图像中的破损修复效果不好。因此，必须采用基于纹理合成的修复方法。本文 还研究了几种基于纹理合成的修复算法，其中重点研究了一种结合了基于等照度线修 复思想的纹理匹配修复模型，并提出了自适应算法进行改进，获得了更好的修复效果。 最后编程实现几种纹理修复模型，并比较不同修复模型的修复效果。 关键词：图像修复，偏微分方程，b s c b 模型，c d d 模型，整体变分，纹 理合成，自适应算法 硕t 论文 摹于偏微分方程( p d e ) 的图像修复 a b s t r a c t d i g i t a li m a g ei n p a i n t i n gi sa l li m p o r t a n tp a r to f i m a g ep r o c e s s i n g i ti sm a i n l yu s e dt o r e s t o r i n gt h ed a m a g e di m a g ew i t hs o m ea l g o r i t h m st oa t t a i nt os p e c i a lg o a l s ，w h c hf r o m t h er e s t o r a t i o no fd a m a g e dp a i n t i n g 、) i ，i t hc r a c k sa n ds c r a t c h e st ot h er e m o v a v r e p l a e e m e n t o f o b j e c uo rw o r d s n o wt h ei m a g eh l p a l u t i n gc a l lb ed i v i d e di n t ot w ok i n d s ：t h ei m a g ei n p a i t i n gb a s e do n p a r t i a ld i f f e r e m i a le q u a t i o n s ( p d e s ) a n dt h ei m a g ei n p a i n t i n gb a s e do n t e x t u r es y n t h e s i s p d e - b a s e di m a g ei n p a i n t i n gm o d e l sm a i n 。i d e a li st oc h a n g et h ei m a g ei n p a i t i n g p r o c e s si n t oas e r i e so fp d e so re n e r g yf u n c t i o nm o d e l s ，s ow ec a l ld e a lw i t ht h ei m a g e w i t hn u m e r i c a li t e r a t i o n sa n di n t e l l i g e n to p t i m i z a t i o nm e t h o d s t h i sa l g o r i t h mp r o p a g a t e s t h eu s e f u li n f o r m a t i o nw h i c ha r o u n dt h ei n p a i n t i n gd o m a i ni n t h ed i r e c t i o no f t h ei s o p h o t e s a u t o m a t i c a l l y i ta t s os m o o t h i n gt h en o i s ew h i l ep r e s e r v i n gt h ee d g e s i nt h i sp a p e r , w e m a i n l ys t u d ys e v e r a lt y p e so fp d e - b a s e di m a g ei n p a l t i n gm o d e l s ：b s c bm o d e l ，c u r v a t u r e d r i v e nd i f f u s i o n ( c d d ) m o d e l ，t v - i n p a i n t i n g ，e l a s t i ci n p a i t i n ga n dm u m f o r d - s h a h i n p a i n t i n g w ea l s op r e s e n ts i m u l a t i o n so ns o m em o d e l sa n dc o m p a r et h ei n p a i n t i n ge f f e c t s o f d i f f e r e n tm o d e l s p d e - b a s e di n p a i n t i n gm o d e lw o r k sw e l lt os m a l ld a m a g e db l o c k s ，b u td o e s n th a v e g o o de f f e c tf o rb i gd a m a g e db l o c k si n p a i m i n g s ow em u s tu s e dt h ei n p a i n t i n gm e t h o d b a s e do nt e x t u r es y n t h e s i s t h i sp a p e ra l s os t u d i e sm a n yi n p a i n t i n gm e t h o d sb a s e do n t e x t u r es y n t h e s i s ，an e wi n p a i n t i n gm e t h o db a s e do nt e x t u r es y n t h e s i sw h i c ha l s oi n c l u d e s t h ei d e ao fi n p a i n t i n ga l o n gt h ei s o p h o t e si sp r e s e n t e d a na d a p t i v ea l g o r i t h mi sa p p l i e dt o i m p r o v ei t a n dg e tm o r el y g t $ e re f f e c t a tl a s t , w ep r o g r a mt or e a l i z em a n yi n p a i n t i n g m o d e l sb e s e do nt e x t u r es y n t h s i sa n dc o m p a r et h e f ti n p a i n t i n ge f f e c t s k e yw o r d s ：i m a g ei n p a i n t i n g ，p d e ，b s c bm o d e l ，c d dm o d e l ，t o t a l v a r i a t i o n ，t e x t u r es y n t h e s i s ，a d a p t i v ea l g o r i t h m i l 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除- f j j d 以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名：2 彩年月艿日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：建丝鱼2 瞬钼西日 硕士论文 基于偏微分方程( p d e 】的图像修复 1 绪论 1 1 图像处理技术概述 图像是人类获取外部信息的主要来源，据统计，在人类接受的信息中，视觉信息 占6 0 ，因此，图像信息具有十分重要的价值。 图像处理技术基本可以分为两大类：模拟图像处理和数字图像处理。模拟图像处 理包括光学处理和电子处理，特点是速度快，一般为实时处理，理论上讲可达到光的 速度，并可同时并行处理，缺点是精度较差，灵活性差，很难有判断能力和非线性处 理能力。数字图像处理一般都用计算机或实时的硬件处理，其优点是处理精度高，处 理内容丰富，可以进行复杂的非线性处理，有灵活的变通能力，缺点是对于高分辨率 的图像硬件实时处理速度跟不上。 数字图像处理技术起源于2 0 世纪2 0 年代，当时受条件的限制一直没有取得较大 的进展，直到2 0 世纪6 0 年代后电子技术、计算机技术有了相当大的发展，数字图像 处理技术才开始进入了高速发展时期。经过几十年的发展，数字图像处理技术目前已 经广泛应用于工业、微生物领域、医学、航空航天以及国防等许多重要领域。近几年 由于大量的新算法的引入，使得图像处理技术迅猛发展，这些算法在设计的时候大量 运用了数学、数字信号处理、信息论以及色度学的相关知识，而且不少新算法还充分 吸取了神经网络、遗传算法、人工智能以及模糊逻辑等相关理论的一些思想，开拓了 图像处理的设计思路。 图像处理研究的方向主要有以下几种： ( 1 ) 图像变换图像变换通常是利用正交变换( 如傅立叶变换、余弦( 正弦) 变换、 沃尔什变换、哈达码变换、小波变换等) 的性质和特点，将图像转换到变换域中进行 处理，如由时间域或空间域的图像转换到频率域的变换处理以改善图像的质量，同时 还因为大多数变换都有快速实现的方法，从而大大提高了处理运算的速度。 ( 2 ) 图像增强图像增强是数字图像处理的一个重要内容，主要是指利用各种数学 方法和变换手段提高图像中人们感兴趣部分的清晰度，包括图像灰度修正、图豫平滑、 噪声去除、图像边缘增强等。 ( 3 ) 图像复原在景物成像过程中，由于且标的高速运动、系统畸变、介质散射、 噪声干扰等因素，导致成像后的图像存在降质( 或退化) 。图像复原就是把降质的图像 恢复成原来的景物图像。图像复原要研究的内容包括对图像降质因素的分析和降质模 型的建立，以及针对降质模型的各种处理方法，例如维纳滤波、逆滤波、同态滤波等。 ( 4 ) 图像编码图像编码属于信息论中的信源编码范畴，其主要目的是利用图像信 号的统计特性及人类视觉的生理学和心理学特性对图像进行高效编码，即研究数据压 碗t 论文 摹于偏微分方程( p d e ) 的图像修复 缩技术，以满足传输和存储的需要。目前的标准主要有：j p e g 、h 2 6 1 、h 2 6 3 、m e p g 系列等。 ( 5 ) 图像分割图像分割是将图像细分成构成它的子区域或对象。通常将感兴趣的 图像从背景中分割出来，以便进行处理。通常处理的方法有：边缘检测、门限处理、 区域生长等。 ( 6 ) 形态学图像处理数学形态学建立在集合代数的基础上，用集合论方法定量描 述几何结构，其主要用途是获取物体拓扑和信息结构，通过物体和结构元素相互作用 的某些运算，得到物体更本质的形态。 ( 7 ) 模式识别模式识别的目的就是构造自动处理某些信息的机器系统，以代替人 完成分类和辨识的任务，主要方法可以分为两大类：统计学方法和语言学方法。 i 2 图像修复技术简介 图像修复最早可以追溯到欧洲文艺复兴时期，人们为了恢复美术作品中丢失或被 损坏的部分，同时保持作品的整体效果，人们开始开始对美术作品进行修复，主要是 填补作品上出现的裂纹和划痕，称之为i n p a i n t i n g ( 修复) 。如今，图像修复技术已 成为图像工程领域的一个新的活跃研究方向，其目的就是研究和解决如何更好地实现 检测图像上的受损部分，并根据图像周围的有效信息用图像修补算法自动进行恢复。 目前一些流行的图像处理软件( 如p h o t o s h o p ) 也可以对数字图像进行修复处理，但 是需要有经验的专业人士进行复杂的手工操作，而且修复效果无法控制，更无法达到 计算机自动修复的目的。而图像的修复( i n p a i n t i n g ) 技术就是根据破损区周围的有 用信息向破损区内扩散来填充破损区，达到修复的目的，用户所要做的只是指出待修 复的区域，剩下的工作可由计算机根据算法自动完成，且被修复的图像非常自然，看 不出有人为修复的痕迹。 目前数字图像修复的方法主要有以下几种： ( 1 ) 频域技术：图像信息大部分都集中在幅度谱的低频和中频段，而在较高的频段， 感兴趣的信息常被噪声淹没。因此，一个能降低高频成分幅度的滤波器就能减弱噪声 看得见的影响，但是频域技术不能很好的适合去除人造的空间局部区域。 ( 2 ) 帧间技术：可以依靠图像的运动顺序，利用邻近的帧间顺序把损失的帧插入到 应有的位置，基本想法是从邻近的帧中找到正确的像素点进行修复。但是这种技术不 能应用到静止的图像或跨越很多帧的电影底片上。 ( 3 ) 基于块的纹理修复技术：对于纹理结构的图像修复技术，如木纹、岩石花纹等， 其核心思想是仿真并生成局部纹理进行填充。因为纹理是物质构成成分的分布或特征 的反映，它的局部形状信息能够表现相同纹理的共性。对一张纹理图，任取其中两个 2 硕t 论文基于偏微分方程( p d d 的图像修复 小块纹理部是相似的，所以利用纹理合成的方法修复图像，可以通过：在一个设定 的范围内对每一个像素的颜色信息进行直方图统计；创建权重表，计算相关像素颜 色信息的确定程度；评估选择最匹配的像素进行图像修复；如此循环直至填满受 损图像。这种方法的优点是对于纹理比较丰富的图像修复效果比较好，但是如果修复 区域处于多种纹理背景下，需要选择适当的纹理，难度较大，而且没有选取的区域中 可能会包括有用的控制结构信息，存在一定的局限性。 ( 4 ) 基于偏微分方程( p d e ) 的图像修复模型：其基本思想是利用待修复区域周围 的有用的信息向待修复区域内扩散，这种方法的优势是它非常易于使用，用户只需注 意瑕疵在哪里。但是，这种方法不能用于修复大的纹理区域。 ( 5 ) 结合频域和时域信息：h i r a n i 和t o t s u k a 蚴结合频域和时域信息用人为的方法 填充一个规定的区域这个技术需要有一个与待修复区域类似的区域存在，除了这个 限制外，它能够很好的应用到各个工作领域。 ( 6 ) 基于概率分布的修复方法：l e v i n 。3 等人提出一种基于概率的修复方法，通过 对梯度和夹角的统计得到其概率分布，然后以待修复区域内总体概率最大为准则求取 最优解，对物体的边角有很好的效果，但这种方法在使用前需要先选择训练区域，而 且对训练区域有较高的要求，因此在实际应用中受到一定的限制。 目前数字图像的修复技术在图像处理，视觉分析和电影工业中得到广泛的应用， 主要用于： ( 1 ) 修复珍贵的美术作品和历史照片。由于保管条件或人为等种种因素，一些具 有极高的收藏价值和历史价值的美术作品或老照片出现裂痕和划痕，因此对这些文物 和资料进行修复具有十分重要的意义。通过数字图像修复技术，只需确定待修复的区 域，计算机就可以按照指定的算法进行修复，避免了手工修复耗费的大量时间，而且 修复效果很好。修复效果如图1 2 1 ，1 2 2 所示： 图i 2 1 旧照片划痕的修复 硕士论文基于偏微分方程( p d e ) 的图像修复 图1 2 2 美术作品裂痕的修复 ( 2 ) 文字，遮挡物以及特定目标的去除。由于在一些图片或者某一帧电影画面中 加入了字幕，为了要去除这些字幕，可以利用数字图像修复技术，以所要去除的字幕 为修复区，利用周围信息填充字幕，以达到去除效果。如图1 2 3 ： 图1 2 3 文字去除 另外，在一些对外公布的宣传图片中，由于一些政治或者军事的原因，需要隐藏 图中的某个目标，因此可以利用数字图像修复技术加以去除。如图1 2 4 ： 图1 2 4 目标去除 ( 3 ) 动态图像的修复。对于一些影片中的连续帧，如果某一帧或几帧有污迹或字 幕，可以利用各帧之间的相关信息进行修复，如图1 2 5 ： 4 硕上论文 基于偏微分方程( p d e ) 的图像修复 1 3 本文的主要工作 图1 2 5 连续帧的字幕去除 本文第一章主要介绍了数字图像处理的相关概念及分类，大致介绍了数字图像修 复的背景，各类算法以及应用场合等；第二章主要讨论偏微分方程( p d e ) 修复的理论 基础；第三章主要研究了依赖图像的微观修复机制的仿真系统( 扩散过程) ，其中重点 研究了b s b c 模型和c o d 模型；第四章主要研究了变分模型，其中重点研究了三类模 型：整体变分法( t v ) 修复，弹性( e l a s t i c ) 修复，m u m f o r d s h a h 模型修复；第五章对 各基于p d e 修复算法进行数值分析和编程仿真，同时比较其效果；第六章主要研究了 基于纹理合成的图像修复技术，研究了几种纹理合成的方法，其中重点研究了一种等 照度线驱动下的纹理合成修复方法，并提出改进方法，最后编程仿真各算法，对各修 复效果进行比较与分析；结束语对修复算法进行总结，并对其新的算法以及新的应用 领域提出展望。 硕士论文 基于偏微分方程( p d e ) 的图像修复 2 基于偏微分方程( p d e ) 的图像修复方法论 2 1 图像修复的原则以及理论分析 2 0 0 2 年，t o n yc h a n “1 等人提了的低层次图像修复应当遵循下面三个重要原则： ( 1 ) 局部性修复的图像完全由修复区域附近的信息确定。 ( 2 ) 能够连接断裂的边缘人眼对边缘是十分敏感的，因此边缘是物体识别和图像 分割的重要信息。 ( 3 ) 对噪声具有健壮性在噪声低于一定程度时，人类视觉能够从含有噪声的图像 中提取出于净的图像，并将它们的结构延伸到修复区域里面。 图像恢复的建模过程一般依赖h e l m h o l t z 最佳猜测原理。h e l m h o l t z 基本原理： 在给定传感数据的情况下，我们所感觉到的一切是基于现实世界的状态而做出的最佳 猜测。最佳猜测原理是用统计的方法研究问题，它和贝叶斯理论对现实世界的分析类 似在确定性方法论中，最佳猜测原理通过最优化能量泛函实现。因此它的困难点在 于提出感觉上有意义的能量泛函。 图像恢复就是利用受到污染的图像恢复干净的图像玑根据最佳猜测原理，就 是求b a y e s i a n 最大后验概率，即求使后验概率p r o b ( u i ) 最大的u 。 根据贝叶斯公式： p 川= 怒吲州“) ( 2 1 1 ) 若图像“给定，即p ( u 。) 是固定常数，设其为1 c ，则p ( u l ) = c p ( u ) p ( u 。i “) 因此，图像u 的估计取决于两个条件：p ( “) 和p ( u 。i “) ，这两个条件分别对应于修 复中的两个物理模型： p ( u ) ： 先验模型，即真实的图像应该是什么样子的。 p ( u oi “) ： 数据模型，即观测到的图像是怎样从真实的图像中获得的，也即真实 图像和观测图像存在什么样的关系。 在大多数图像修复的问题中，破损的区域常常“消去”了图像中的一些重要的 几何信息，例如人眼十分敏感的边缘，为了能够重构这些几何信息，就需要图像模型 能够很好的解决这些几何问题，然而大多数概率模型无法解决此类问题。g i b b s 规则 为我们提供了一种很好的解决方案，根据g i b b s 规则我们能够建立概率公式和能量或 变分公式之间的联系，而根据变分公式，我们能加入图像的曲率，梯度等一些几何信 硕士论文 基于偏微分方程( p d e ) 的图像修复 息，从而控制图像按照一定的几何规律演化，以重建丢失的几何信息。 g i b b s 规则：p r o b ( u ) = 二e x p ( 一p e i u ) ( 2 1 2 ) z 其中，e u 是u 的能量，b 表示绝对温度的倒数，z 是分布函数，因此，贝叶斯 公式能写成为： e ( u i u o ) = e ( u o i “) + e ( u ) + c o n s t ( 2 1 3 ) 当求最大的概率p i ) 时，即求最小能量e ( u ) ，因此可以利用变分公式，此时 常数项可以忽略不计。 在图像修复中，数据模型的建立比较简单，可以根据引入的不同噪声建立不同的 模型，一般引入的都是加性噪声，最常见的就是高斯白噪声，即： 嘞i n 、d = 【k ，。0 胛】m d ( 2 1 4 ) 其中，髟是一个线性模糊算子或低通滤波器，玎是加性高斯噪声，q 、d 是完好 的区域，因此数据模型建立为： e ( u o ”) = 号、。( 髟一u o ) 2 d x ( 2 1 5 ) 因此一个有效的贝叶斯变分修补模型，主要依赖于一个好的先验图像模型 e ( u ) 。一般有下面几种方法可以建立先验概率模型，如m a r k o v g i b b s 随机场理论、 基于学习的滤波和熵理论、m u m f o r d - - g i d a s 建立的处理随机化模型的公理化方法、 几何模型方法( 如总体变分、泛函化的弹性模型、m u m f o r d - - s h a h 模型等) 。 2 2 偏微分方程( p d e ) 的应用 近些年来，在图像处理和分析中两个最新的进展是小波分析和偏微分方程在图像 处理中的应用。偏微分方程现己应用于图像处理和计算机视觉的许多方面，包括图像 分割，运动物体跟踪，物体检测，光流，图像恢复，图像锐化，对比度增强，图像量 化等，并取得了很好的结果。用偏微分方程进行图像处理的基本思想是利用偏微分方 程对图像建模，然后求解该方程，方程的解就是所期望的结果。 2 2 1 偏微分方程的导出 基于偏微分方程的图像处理可以追溯到j j k o e n d e r i n k 和a p w i t k i n m 的各自 独立的研究。他们严格地介绍了尺度空间理论，并指出：图像与具有递增方差的高斯 函数做卷积实现低通滤波，等价于求解以原图像为初值的热传导方程： 7 硕士论文基于偏微分方程( p d e ) 的图像修复 詈= 州埘) ( 蟹) 定义多尺度图像“阮，) ：q x 【o ，) 一r ，q c r 2 ，( 功为原图像。求解方程得到： u ( x ，t ) = ( x ) g f ( x ) ， 其中，q ( x ) = c f e x p ( 一是方差盯2 = 2 f 的高斯函数。他们的贡献在很大程度 上构成了偏微分方程进行图像处理的基础。 在8 0 年代末，h u m e l 提出热传导方程并不是唯一可以构成尺度空间的方程，并 提出构成尺度空间的准则。p p e r o n a 和j m a l i k 脚出的各向异性扩散在这个领域最具 有影响力。他们提出了保持边界的异性扩散方程代替g a u s s i a n 平滑滤波，模型为： 詈= 训g ( 1 w , f ) v 珐删= ( 2 _ l3 ) 其中，g ( x ) 为非增光滑函数，模型根据图像梯度模实现有选择的扩散平滑。因为 边缘部分具有较大的梯度模值，这时g ( i v “1 ) 取得较小值，模型在此处实行较弱的平 滑以保护边缘信息。他们的工作引发了许多人开始把偏微分方程应用于图像处理的领 域。 2 2 2 偏微分方程在图像修复中的应用 基于偏微分方程的修复模型就是将图像修复过程转化为一系列的偏微分方程或 能量泛函模型，从而通过数值迭代和智能优化的方法来处理图像。 这种方法的优点是： ( i ) 能够在连续域中分析图像，从而简化问题。 ( 2 ) 可以直接处理图像中视觉上的几何特征，如梯度、切线、曲率和水平集。 ( 3 ) 可以有效的模拟具有视觉意义的动态过程，如各向同性扩散，各向异性扩散 以及信息的传输机制。 ( 4 ) 可以采取成熟的数值计算方法，也可以采取智能优化算法，如模拟退火，遗 传算法等。 基于偏微分方程的修复一般又可以分为两类：( 1 ) 依赖图像的微观修复机制的仿 真系统( 扩散过程) ，如b s c b 模型和曲率驱动扩教( c d d ) 模型等。( 2 ) 变分模型：如 整体变分法( t v ) 修复，弹性( e l a s t i c ) 修复，m u m f o r d s h a h 模型修复和 m u m f o r d - s h a h - e u l a r 模型修复等。 依赖图像的微观修复机制的仿真系统主要是利用图像的几何信息，比如曲率、梯 3 硕士论文 基于偏微分方程( p d e ) 雕 n i 像修复 度等，来控制图像的等照度线的扩散方向，使它们按照一定的要求扩散入破损区，从 而完成修复。 利用整体变分法修复主要是把修复问题归纳为一个求能量泛函最小的问题，一般 公式为： a r g m i n e u ( x ，y ) ( 2 2 2 1 ) 其中，u ( x ，y ) 表示一个图像函数，e u ( x ，y ) 定义了一幅图像的能量。令fe u 代 表e u 的e u l e r 微分，使式( 2 2 2 1 ) 可得极小值的必要条件是： f l u = o( 2 2 2 2 ) 一般可用如下的梯度下降法方程来求解： 笔；= 一f “( x ，y ，f ) 】 ( 2 2 2 3 ) 研 其中，t 是人为引入的一个时间维度，表示了图像的演化过程，用这种方法获得偏微 分方程在计复机视觉和图像处理中己经使用了很久。 2 2 3 偏微分方程的计算 但是求解类似于式( 2 2 2 3 ) 的方程是一个相当复杂的过程。对于离散化的图 像，先要把微分方程离散化，在进行数值求解时，还要考虑算法的收敛性，复杂度等。 比如式( 2 2 2 2 ) 是一个非线性的方程，很难直接求解，一般可以用梯度下降法或共 轭梯度法，变成式( 2 2 2 3 ) 的形式，然后进行迭代求解。用数值方法求解偏微分方 程的许多问题现在仍然很不完善，一些解法的收敛性仍然还没有得到证明，只能在实 践中来检验它的正确性。 9 硕士：论文 基于偏微分方程( p d e ) 的图像修复 3 依赖图像的微观修复机制的仿真系统( 扩散过程) 依赖图像的微观修复机制的仿真系统主要是利用图像微观部分的几何性质，通过 图像的等照度线按照一定的规律向破损区内传递扩散，同时可以利用一些规则来控制 扩散的方向，以达到较好的修复效果。 该扩散过程可以利用扩散方程来描述。扩散方程作用于图像时有一定的物理意 义可以将图像看作是特殊小球的密度函数，扩散方程作用于图像时会产生一个流场 ( f l u xf i e l d ) ，修补区域外的图像可以看作是一个小球的固定源泉。微分方程修补 图像的物理过程解释为：在流场作用下小球通过边缘切线流到区域里面，最终达到平 衡因此可以使用许多偏微分方程修复图像，其形式可以表达为： f 处理图像的偏微分方程，x d 【去噪方程x e d 。其中，d 为待修复区域，d c 为完好的区域。 目前典型的方法主要有b s c b 模型和c d d 模型。 3 1b s c b 模型及其数值计算方法 图像修复是一个十分主观的过程，主要是依赖修复专业人员的主观感觉，因此没 有一种标准的方法，但是一般存在以下几种潜在的观点：( 1 ) 图像的整体决定了如何 修复破损处，修复的目的就是要恢复图像的完整性。( 2 ) 通过延伸边缘处的等高线进 入修复区域，实现了修复区域与完好区域边缘处连续。( 3 ) 修复区域中不同的区域是 由等高线来划分的，各区域的颜色是和边缘外的颜色一致。( 4 ) 细节部分必须添加， 也即必须添加纹理。 2 0 0 1 年，b e r t a l m i o ，s a p i r o ，c a s e l l e s 和b a l l e s t e r 【8 】一起提出了著名的基于偏 微分方程的修复模型：b s c b 模型。该模型就是模拟手工修复的过程，反复进行上述 的( 2 ) 和( 3 ) 步，通过延伸边界区域的等照度线进入修复区域而实现修复。 3 1 1b s c b 模型理论 一般的修复过程就是都是各向同性扩散，因此忽略了等照度线，使撂边缘结构失 真，而b s c b 模型是各向异性扩散，使得等照度线延长时保持了它与边界的交角，因 此修复效果更接近人的视觉感受，具体示意图如图3 1 1 1 。 嗣一 破损原图 一般方法的备向同。睦扩散修复 b s c b 的各向异性扩散修复 图3 1 i 1 修复效果比较示意图 硕 论文 基于偏微分方程( p d e ) 的图像修复 修复算法的数学模型：假设初始的待修复图像为i o ( i ，_ ，) ： 0 ，m x 0 ，n - r x r ，且 0 ，m 【0 ，n c n n ，l o ( i ，j ) 是二维的灰度图像。图像的修复过程就是构建一个图像 序列i ( i ，j ，n ) ： 0 ，m 0 ，n n r ，使得i ( i ，j ，0 ) j1 0 ( i ，j ) 并且 。l i m 。，( f ，工胛) = 厶( 1 ，力，厶( f ，力是最后的修复结果因此，修复过程的数学模型可以 写成如下的迭代方程： i n + l ( f ，j ) = ，”( f ，) + 钟( f ，n v ( i ，j ) q ( 3 1 1 1 ) 指数n 表示修复的次数，( i ，j ) 表示像素点的坐标，出表示迭代步长，f g ，) 表示每 次对图像，( f ，力的修正。当n 增加时，我们就能得到一步步修复后的图像，随着n 趋向于无穷大，p ( f ，) 趋于稳定，即j ”1 ( f ，) = ，”( f ，) ，此时迭代停止，一般可以设 定一个门限g ，当迭代后的i n + l “，) 与j “( f ，) 差值小于这个门限的时候，迭代停止， 以后介绍的基于偏微分方程的数值计算方法都是基于这个数学模型。 假设q 表示待修复区，o 2 表示代修复区域的边界，o 是破损区域外围完好的区 域，如图3 1 1 2 ： 图3 1 1 2b s c b 修复模型不惹图 b s c b 模型原理是修复区域外的等照度线向内扩散完成修复，因此假设k ( i ，j ) 表示将 要延伸的信息，丙”( f ，力表示延伸的方向，因此我们可以写成： 1 7 ( i ，力= d l ( i ，j ) o 4 ( f ，) ( 3 1 1 2 ) 其中，万孑( f ，d 表示r ( f ，力变化的度量。该方程表示图像信息r ( f ，d 沿着矿( f ，j ) t y 向变化，当迭代稳定时，”( f ，) = j “( f ，_ ，) ，即r ( f ，力= o ，此时配”( f ，) ”( f ，力= 0 ，表示信息l 已经沿着矿o ，) 方向延伸了。 1 1 硕十论文 基于偏微分方程( p d e ) 的图像修复 如果我们选择方向丙”( f ，_ ，) 表示的是等照度线的方向，那么该修复模型就是b s c b 模型。等照度线是指灰度相同的构成的一条曲线，即i ( i ，j ) = c ，如果w ( i ，) 表示图像 的离散梯度，即图像灰度变化最大的方向，也就是等照度线的法线方向，那么垂直于 该梯度方向的方向v 1 1 ( f ，) 就表示等照度线的方向，即”( f ，_ ，) = v 1 ，”( f ，) 。同时， 由于v l l ( i ，_ ，) 的模和v ，( f ，_ ，) 一样，因此我们把方向归一化为丙”( f ，j ) i n ”( f ，j ) l 以及模 1 w ( i ，力i 。r ( f ，力是图像的平滑算子，一般取拉普拉斯算子，即 r ( f ，d = 恐( f ，) - i - 碍( f ，) 为了确保方向场的正确演化，将图像修复过程与扩散过程交叉进行。每隔若干步 的修复，进行几步反复扩散，扩散是为避免曲线交叉。为了在修复过程中达到不丢失 清晰度的目的，使用各向异性扩散，各向异性的扩散能够保持边缘的光滑，保证对噪 声的鲁棒性。这里使用的各向异性扩散方程为： 0 ：1 _ ( x ，y ，r ) = g 。( x ，y ) r ( x ，y ，r ) lv l ( x ，y ，f ) l ，v ( x ，j ，) q ( 3 1 1 3 ) o r 其中q 是q 以f 为半径的圆域扩展，k 是等照度曲线的欧几里得曲率，& ( y ) 是 q 5 上的平滑函数，同时满足：g o ( x ，j ，) = 0 在a 饼上，( x ，y ) = 1 在q 中( 这是为式 ( 3 1 1 3 ) 引入d i r i c h l e t 边界条件的前提) 。 在进行修复之前，预先先对全部图像进行一次各向异性的光滑扩散”，目的是 为了消除噪声的影响，此后再进入修复循环，每次执行几次修复后就进行几次扩散， 保证了对噪声的鲁棒性。一直到图像趋于稳定后，修复结束。 图像的修复模型为：，“( f ，) = ，”( f ，) + 心( f ，力，v ( i ，) e q ，其中： 删卜r 加号鲁黜w w | ， 否可( f ，) = ( f ( 1 ，) 一m ( i 一1 ，- ，) ，r ( f ，_ ，+ 1 ) 一r ( f ，一1 ) ) ， r ( f ) = 珐( f ，) + _ ；o ，_ ，) ， 丙( f ，j ，”) ( 一班f ) ，r ( f ，埘 = 一= ；= = = = = = = = = = = = = 一 n ( i ，_ ，珂) i ( c ( f ，川2 + ( f ( f ，川2 ( 3 1 1 5 ) ( 3 1 1 6 ) ( 3 1 1 7 ) 1 2 硕士论文 基于偏微分方程( p d e ) 的图像修复 f l ( i ，_ ，) ：面( f ，加墨! ! 丛生， i ( f ，j ，_ ，) l 且iv 以“净 唑垒兰：! 垒21 垒! ：! 垒二当 0 l ( ) 2 + ( ) 2 + ( 昂。) 2 + ( 强) 2 ，当 w 时，却得到 了第二种错误的修复结果，因为t 、r 修复的原理就是连接最短的直线，而a b 线段要比 b d 线段短，因此优先连接a b 线段。 因此，针对上述缺点，c h a n 和s h e n “”提出了新的扩散模型，该模型的传导系数 取决于等照度线的曲率，因此称为曲率驱动扩散( c d d ) 模型。 3 2 1c d d 模型理论 ( 1 ) 待修复的图 ( 2 ) 1 ，自句修复结果 j 。 。_ 6 图3 2 i1 v 修复的结果依赖于修复区域的比例 式( 3 2 1 ) 是一个各向异性的扩散方程，扩散强度为d = i 击，它的大小依赖于 iv “j 各点的梯度，即等照度线的强度变化，不依赖其它几何信息分析知道，在图3 2 1 的( 3 ) 中，拐角处a ，b ，c ，d 四点的曲率为而在理想的输出图( 2 ) 中，边缘 上各点的曲率为0 因此可用曲率调节扩散强度，使得达到图( 3 ) 状态时，处于不 稳定状态，即使得扩散强度较大，因此扩散强度可以定义为：6 = 高等其中 儡) 2 气菱产籼蟊 f o ，j = 0 g ( j ) = 0 0 ，s = 0 0 【之间的值，to s o ，p l 从上式可以看出，在曲率大的地方，扩散强度也大； 硕士论文基于偏微分方程( p d e 】的图像修复 当曲率小时，扩散强度变小因此这个模型克服了上面的两个缺点，使处于图( 3 ) 状态时，图像没有达到稳定状态，因此继续演化图像。因此，c d d 的修复模型为： f o u ：v f 盟v u 工d t 3 tlv u i j l u = “o工e 其中，d 为破损区域，e 为破损区域周围完好的区域，q 为整个区域。 一般来说，图像在修复的同时也会要求去噪，因此可以利用t v 的去噪模型： - t = v * 暖v u i j l + a ( u - u o ) “e 将两个方程结合起来，得到修复和去噪的方程； 坠a t v 篱v uv 甜卜o ) u 。l ii j ” 。 其中扩散系数g ( x ，lk1 ) 和拉格朗日乘子满足： 酬如也蛐：三五= 譬 x e 工d 该模型在对破损区域d 修复的同时，可以对完好区域e 进行去噪。 本文仅是实现修复作用，不考虑去噪的功能，因此主要用到的方程是： 垒：v 量盟v 西 ll v u ij 简写觌詈珈伽妒2 篙v “= 概 因此根据上节介绍的迭代方程有：“”1 = “”+ a t v 矿”，其中血是迭代时间步长，也 可以看作是扩散的程度，行表示迭代的次数。 c d d 是三阶的偏微分方程，因此可以采用半点中心差分法求解。对于目标像素点 ( ，力，假设妒= ( 矿1 ，伊2 ) = ( d 虬，d ) ( ，加，则 脚：鱼+ 鱼 慨z ， 因此需要用到中间点的梯度和曲率，这些点为( i + k ，y + 1 ) ，其中： k = 0 ，l k i + i ，i - 妄 硕 论文基于偏微分方程( p d e ) 的图像修复 以点( f + j 1 ，j ) 舯t j ： 吃，- ( d u ) 。( g l ( v i k 丌1 ) 蚝l 姒，+ 扣= 坐等业， 姒咖，：竿1 掣型1 兰! ! ! 1 2 ! 尘! ! ! ! 一些f ! ! = 1 2 些垡! ! 二! ! ：j l j 2 一 ：u ( i + 1 , j + 。l ) + u ( i , j + 1 ) - u ( i + l , j - 1 ) - u ( i , j - 1 ) - v k j ) - - ( 收( f + j l ，力，( f + j 1 ，) ) ， u ( i + l ，_ ，+ 1 ) + “( f ，j + 1 ) - u g ! ! 二! ! 二! ! ! ! 二! ! 怡v 隔h 矧+ 旦砂l l v u 加2 - l of iv , 刈i 。，如+ 叭af iv u , 川i 咖 m 捌一f 嗡l j ) _ 胤棚 黼寺，2 胤扣州一胤知 “，( m ，) = u ( i + 2 , 万j ) - 一u ( i , j ) b ( ，+ 圭，+ 。) ：! ：二1 王! ：掣1 ： 兰! ! ：垄! 垡! ! 垄一! ! i 2 ! 垒! ：! ：u ( i , j + 2 ) + u ( i + 1 ，, j + 2 ) - u ( i , j ) - u ( i + l , j ) 4 对于属于破损区的每一个像素，按照式( 3 2 1 2 ) 迭代，根据所用的半点中心差 分法可知将会利用到破损区外部的有用信息，因此符合外部信息向内部扩散的修复原 理。 硕士论文基于偏微分方程( p d e ) 的图像修复 3 2 2 实验结果 本试验的开始的模板图像的准备工作和b s c b 模型一样，迭代算法只是针对破损 区，算法的执行流程如下： ( 1 )读入原来的破损图像和模板图像； ( 2 ) 对于破损区域的每一个像素，根据( 3 2 1 4 ) 和( 3 2 1 5 ) 计算出v u 和k ， 转入( 3 ) ： ( 3 )根据( 3 2 1 3 ) 计算出v 妒，然后乘以缸后加上上一次迭代的图像，转入 ( 4 ) ： ( 4 )如果迭代后的图像与上一次迭代的图像之差小于给定的阈值，迭代结束， 输出修复后的图像；否则转入( 2 ) 进行新的迭代。 本实验所采用的是2 5 6 x 2 5 6 的灰度图，修复参数是a t = l ，循环次数t = 1 5 0 0 ， 修复效果如图3 2 2 1 ： 破损的l e n a 图 修复后的l e n a 图 图3 2 2 1 破损的l e n a 图的c d d 模型修复效果 如图3 2 2 2 ，我们以l e n a 图中帽子边缘处的破损为例，观察它在多次迭代后 的效果。可以看出，帽子边缘的等照度线得到了很好的连接，在迭代到5 0 0 次的时候 边缘基本已经修复好，但是边缘