（信号与信息处理专业论文）基于小波和偏微分方程的图像超分辨率重构.pdf

基于小波和偏微分方程的图像超分辨率重构 摘要 图像的分辨率一直是衡量图像质量好坏的一个重要标准。图像的分辨率越高，反映 的细节越丰富，提供的信息也越多，因此获取高分辨率图像一直是人们追求的目标。然 而通过提高采集设备传感器的密度的方法提高图像分辨率，成本高，难度高，技术也己 接近饱和。因此，通过获得的低分辨率图像重建出高分辨率图像的重建技术是提高图像 分辨率的一种行之有效的方法。由于超分辨率重建技术不涉及硬件，成本低，因此该技 术在军事、医疗、工业、公安、交通与民用等领域都存在着广阔的应用前景。 首先，本文宏观地介绍了多种超分辨率重建方法，并对各种算法的优缺点进行了详 细地阐述和分析。深入介绍了传统插值方法、小波方法、变分和偏微分方程( p d e ) 的 相关理论知识及其在图像超分辨率重构中的应用。 其次，本文从偏微分方程扩散后处理图像放大模型出发，介绍了几种常见的扩散模 型，并对其优缺点进行了分析。同时，提出一种极小曲面的泛函模型。为了实现图像在 放大过程中可以同时兼顾平坦区域和边缘区域的重建效果，本文提出一种基于极小曲面 的四阶偏微分方程扩散模型。通过与其它偏微分方程扩散模型进行比较，表明本文算法 既可以发挥各向异性扩散模型的优点，保护图像的边缘，同时将极小曲面引入构造控制 函数可以获得很好的平坦区域重建效果。 最后，本文从另一个角度对变分和偏微分方程进行分析，并结合小波算法，提出了 一种基于小波和改进的p d e 插值相结合的图像超分辨率重构算法。针对传统的p d e 插 值算法无法精确区分图像的平坦区域和边缘区域，而导致出现虚假边缘的不足，本文提 出一种数据加权拟合的p d e 插值算法，对图像边缘实现较好的定位。然后针对传统的 小波重建算法的缺点，本文将原始图像幅值增加2 倍作为重建的低频分量，并对小波分 解获得的高频成分调整系数，最后进行小波逆变换获得高质量的重建图像。实验结果表 明：本文所提算法充分结合了两种算法的优点，即能较好的保持图像细节边缘特征又能 避免图像亮度变暗等现象，主观视觉效果以及客观实验数据都优于传统的超分辨率重建 方法。 关键词：超分辨率重构；小波变换；p d e 算法；数据拟合；极小曲面 基于小波和偏微分方程的图像超分辨率重构 a b s t r a c t t h er e s o l u t i o no f 协ei m a g ei sa l 、v a y sa ni n l p o n a 嘶s 伽坩2 u r do fm e a s u r i l l gi i n a g eq u a l i t y s t a n do rf a l l n er e s 0 1 u t i o no ft h ei 嫩g ei s1 1 i 曲e r ，t 1 1 ed e t a i li sr i c h e r2 u l dt h ei 幽n n a t i o ni s m o r e s og 甜i 1 1 9m g hr e s o l u t i o ni m a g ei s 也eg o a lo fp u r s u “f o rp e o p l e h o w e v e r ，也ei m a g e r e s o l u t i o ni se 1 1 1 1 a n c e dt h r o u g ht h em e m o d so f 血p r o v i i l gt 1 1 ed e n s i 够o fs e n s o ro fa c q u i s i t i o n d e v i c e t h ec o s ti sh i 曲，d i 街c u h yi sm 曲a n dt e c l l l l o l o g ya l s oh a sc l o s et oc a p a c 咄7 r h e r e f o r e ， a ne 丘- e c t i v em e t l l o do fi m p r o v i i 塔t h er e s o l u t i o no ft l l ei m a g ei sm er e c o n s 订u c t i o nt e c l u l i q u e o f 1 1 i 曲 r e s o l u t i o n i i n a g e 也r o u 曲o b t a n n g m e1 0 wr e s 0 1 u t i o n洫a g e b e c a u s e s u p e r i r e s o l u t i o nr e c o n s 仃u c t i o nt e c l l i l o l o g yd o e sn o ti n v 0 1 v et 1 1 eh a r d 、v a r ea n d t h ec o s ti sl o w ， n l et e c l l n o l o g yh a v ea j li m p o n a 吡tp r o s p e c ti 1 1m i l i t a 】吼m e d i c a l ，i n d u s t r i a l ，p u b l i cs e c u r i 吼 戗m s p o r t a t i a n ，c i v i l 锄ds oo n f i r s t ，v 撕o u ss u p e r r e s o l m i o nr e c o n s t n l c t i o nm e m o d s2 u r ei n 拄o d u c e d t h ea d v a n t a g e s a n dd i s a d v a n t a g e so fa l lk i l l d so fa l g o r i t h mi si l l u s t r a t e da n da n a l y z e di 1 1d e t a i l t h e n ，t 1 1 e r e l a t e d 也e o r yo fk n o w l e d g ea n dt 1 1 ea p p l i c a t i o ni nt h ei m a g es u p e rr e s 0 1 m i o nr e c o n s t r u c t i o n o f 啪v e l e tm 咖o d ，v 撕a t i o m la n dp a i t i a ld i 毹r e n t i a le q 嘣i o n ( p d e ) a r ed e e p l yh 1 仃o d u c e d s e c o n d l y ，t h i s s e c t i o ns 切n s舶m i m a g ez o o m 吨 m o d e lo fp d ed i 瓶s i o n p o s t - p r o c e s s i l l g s e v e r a lc o m m o nd i 筋s i o nm o d e l sa r ei n 仃o d u c e d a n dt 1 1 e i ra d v a n t a g e s a i l dd i s a d v a l l t a g e sa r ea n a l y z e d a t 也es 锄et i i n e ，am i i l i i n a ls u 血c e 矗m c t i o n 2 l lm o d e l i s p r e s e m e d i no r d e rt oc o n s i d e rt l l er e a l i z er e c o n s t m c t i o ne 丘色c tb o mi i n a g er e g i o n a l2 u l de d g e a r e ai nt h ei m a g ez o o m i l l g a ni m p r o v e df o u ro r d e rp a r t i a ld i 丘、e r e n t i a le q u a t i o nd i f m s i o n m o d e li sp r o p o s e d ，c o m p a r e dw i mo m e rp a r t i a ld i 丑融r e n t i a le q u a t i o n sd i 觚s i o nm o d e l t h e i m p r o v e da l g o r i t h mc a nf m l yp l a ya na d v a n t a g eo fl l r rm o d e la n dp r e s e r v ei m a g ee d g e a t t 1 1 es a m et i m e ，m i n i m a ls u r f - a c ei sl e a d e di na sc o i 灯0 1f u n c t i o n ，w m c hc a ng e tg o o d r e c o n s 仃u c t i o ne f r e c ti nn a ta r e a f i n a l l y ， v 撕a t i o na n d p a r t i a l d i 虢r e n t i a l e q u a t i o n s a r e a 1 1 a l y s i e d 舶ma n o 也e r p e r s p e c t i v e w 打e l e t a n d i m p r o v e d p d ei n t e 印o l a t i o no f i m a g es u p e r - r e s 0 1 u t i o n r e c o n s t m c t i o na l g o r i m mi sp r o p o s e d 1 1 1v i e wo fn l e 舰d i t i o n a lp a n i a ld i 虢r e n t i a le q u a t i o n a l g o r i 衄c a nn o ta c c u r a t e l ye s t i m a t et h ei m a g es m o o me d g e 。a r e a ，h o w e v e rl e a dt of a l s ee d g e a n di n l a g eb 1 硼血g n l i sp a p e rp r e s e n t i n gd a t aw e i g h t e d6 t t i n gp d en e 叩o l a t i o na l g o r i t h m i sp r o p o s e d ，w 1 1 i c hc a na c l l i e v eb e t t e rp o s i t i o l l i n gf o ri m a g ee d g e a i m i n ga td e f e c to f 也e 仃a d l n o n a lw a v e l e tr e c o n s t n j c t i o na l g o r i t ，也ee 血a n c e d 锄p l i t u d e 铆ot i m e s o fo r i g i n a l 1 m a g e1 sa st 1 1 el o w - 6 e q u e n c y a n d1 1 i g h - 五q u e n c yc o m p o n e n t sw h i c ha r eg o tb vw a v e l e t 仃a n s f o r n l a t i o na u r ea 由u s t e dm e i rc o e 伍c i e n t a tl a s ta 1 1 i g hr e s o l u t i o ni m a g ei sa c h j e v e db v w a v e l e tt r a n s f o 吼a t i o n t h ee x p e 血1 e n t a l r e s u l t ss h o wm a tt h i sm e 也o d c a j lg i v e 如1 lp l a vt o m ea d v a n t a g eo ft 1 1 et w oa l g o r i n 吼s n o t0 1 1 l yi m p r o v e sp i c t u r er e s o l u t i o na n de f r e c t i v e l v k e e p st 1 1 ed e t a i li n f o m a t i o no ft h eo r i g i m li m a g e ，b u ta l s oi m p r o v e s 恤ed e f i l l i t i o na i l d b r i 曲_ 缸l e s so fz o o m e di m a g e k e yw o r d s ： s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ；w a v e l e t 仃a n s f o 衄；p d ea l g o 珊吼；d a t a 龟s i o n ： m i n i m a ls 嘣- a c e s 第1 章绪论 第1 章绪论 1 1研究背景 随着计算机技术和图像处理应用的飞速发展，人类对图像的质量要求也越来越高， 然而图像的分辨率一直是衡量图像质量的一个重要标准，图像分辨率越高，则反映的细 节越丰富，所提供的信息越多。通过改变采集设备传感器的密度是改善图像分辨率的最 直接办法【，但是由于价格相当昂贵，高密度图像传感器( 如c c d ) 在实际应用中受到了极 大的限制；同时，由于成像系统自身传感器排列密度的限制，目前该项技术也已接近极限。 另外，通过提高芯片尺寸也是改善图像分辨率的一种有效方法，但这种方法会导致电荷转 移速度的下降及电容的增加2 】【3 】。解决此问题的一个行之有效的方法就是利用超分辨率 重建技术对图像的空间分辨率进行改善和提高。 图像的超分辨率重建技术的优点是成本低，不涉及硬件等其他设备只需更新算法即 可在原有的成像系统下获得高分辨率图像【4 。即可实现在改善图像视觉效果的同时，便 于计算机对图像进行分析、处理和识别等后续处理。毫无疑问超分辨率重建技术在军事、 公安、医疗、工业、民用与交通等方面都存在着广泛的应用。因而，超分辨率重建技术 在未来图像处理及相关领域都中有着极其广阔的应用前景。 1 2 研究现状 图像超分辨率重建技术是通过某种算法在一幅或多幅低分辨率图像中获取有用信 息，然后重建出高分辨率图像。重建技术主要分为单帧图像的重建和多帧图像的重建。 而本文主要是对单帧图像的超分辨率重建算法进行研究。单帧图像重建是指在放大图像 的同时并呈现出更多的场景细节信息，关键在于有效的保持图像的边缘和重要细节信 息。6 0 年代，由h a m s 【5 】将该理论应用于单帧图像的复原中。最常用和简单的图像重建 算法是基于插值的算法，传统的插值方法有最近邻插值法、双线性插值法、双三次插值 法等等【6 】，这些插值算法的优点是比较直观且计算复杂度较低。但是由于插值算子的低 通特性，导致图像插值后常常出现方块效应或细节退化等现象。随后分段三次多项式插 值、曲面插值、n e 叭o n 插值 7 】等非线性插值算法应运而成。选取不同的插值函数和插值 方法可以得到不同的图像重建效果。这些非线性插值方法都统一利用一定的光滑性要 求，通过逼近一些已知的光滑的函数或结构获得放大图像。由于这种逼近方式的局限性， 经常会引起放大图像形成斑点或明暗区域偏移的现象。 一方面针对插值方法本身的不足，人们提出许多改进的插值算法。2 0 0 8 年，仵冀颖 哈尔滨工程大学硕士学位论文 提出双层约束下基于局部和全局信息的图像插值新模型【8 j 。2 0 0 9 年，詹毅提出梯度角约 束的图像插值模型【9 j ，提出一种梯度角约束条件，使图像插值过程中保持水平线的连续 性从而获得光滑的物体轮廓。2 0 1 0 年，夏海宏提出局部自适应非线性图像放大算法【1 ， 用线性和二次拟合来拟合像素之间的相关性，再沿相关性最大方向插值，有效改进了 s b a t t i a t o j 等人提出的边缘保持局部白适应插值算法。 另外，小波变换是在图像处理领域发展起来的重要的数学工具，由于小波具有多分 辨分析和逐渐局部细化等特点，将图像小波分解后进行处理比直接对图像进行处理要更 加有效。随着n g u y e n 和m i l a n f 缸【i2 j 将小波插值算法运用到低分辨率图像的重建中，越 来越多的人注意到这一算法的优势。2 0 0 4 年，倪伟提出分形插值和小波变换的图像放大 算法【l 引。2 0 0 8 年，刘馨月提出小波与改进的加权抛物线加权相结合的插值算法【l 4 1 。2 0 0 9 年，程光权对双线性插值算法进行加权自适应拟合，提出基于小波的方向自适应插值u 引， 并对插值图像后处理，重建图像保持了良好的视觉效果，图像整体更加真实自然。 近几年来偏微分方程理论在图像处理领域得到了广泛的应用前景。偏微分方程在图 像处理领域中具有如下几方面优越性：第一，由于偏微分方程是连续的，通过连续的微 分算子表征离散的滤波运算，因而使得局域非线性滤波及网格的划分易于实现；第二，通 过偏微分方程算法合成的图像十分自然清晰；第三，偏微分方程方法理论基础扎实，具有 良好的稳定性，可根据具体的不同需要来建立相应的偏微分方程模型，并且为图像重建 方程的数值计算提供了灵活多样的解决方案，易于实现。1 9 9 0 年，p e r o n a 和m a l i k 【2 8 】 提出了保持边缘的扩散模型，从此p d e 法在图像重建领域表现出了巨大的优势。2 0 0 2 年，h a oj i a j l 酽州将插值问题描述为变分问题，提出一种p d e 插值算法；2 0 0 4 年， a b d e l m o i l l l i t nb e l a l u l l i d i 等人【3 0 j 提出来一种非线性偏微分方程模型；2 0 0 5 年，朱宁等 人提出将图像的像素看作是物体表面的温度的图像放大的偏微分方程方法【3 ，利用p d e 理论中的热传导数学模型，计算各点像素值，实现图像放大。2 0 0 7 年，付树军提出一种 双向耦合扩散的自适应图像插值算法【3 2 1 ，沿着梯度方向实施反向扩散以增强图像边缘， 沿着切线方向实施正向扩散以去除人工锯齿。2 0 0 8 年，冯象初和姜东焕提出了将变分和 小波变换相结合的图像放大算法【33 | ，由b e s o v 范数给出图像正则性的能量泛函，在小波 域中求解该最小化能量泛函，最终得到放大图像。 多帧图像重建是指利用不同帧图像之间的相关信息，重建出一幅高分辨率图像。8 0 年代初期，t s a i & h u a n g u6 j 首先将频域逼近算法引入到多帧和序列的s r 图像的超分辨率 重建中。目前，多帧图像的重建算法层出不穷，主要的方法包括非均匀间隔样本插值方 法【1 7 】、集合论方法( 如凸集投影：p o c s ) 【1 8 、迭代反向投影法【1 9 】、随机方法( 如最大后验 第1 章绪论 概率：m a p ) 【2 0 】、正则化方法【2 1 1 和m a p p o c s 混合方法【2 2 1 等。 k e r e n 和u r l 2 3 】提出了非均匀采样插值超分辨率重建，即对低分辨率序列图像进行运 动估计，再利用插值算法生成单幅高分辨率图像，并将该幅图像作为初始迭代图像，采 用l a n d w e b e 迭代算法来重建高分辨率图像。i r a n i 【1 8 j 提出了迭代反向投影超分辨率重建算 法，该算法由模拟低分辨率图像和观测低分辨率图像的误差进行反投影迭代，直到误差 的能量达到最小为最优。s t 破【2 4 j 利用p o c s 算法在多帧图像超分辨率重建模型的求解 空间中引入一些非线性约束条件，该算法不仅简化了重建模型同时适用性更加广泛。 s c h u h z 等【2 5 j 提出了基于m a p - h m r f 的超分辨率重建技术，采用h u b e r 寸以a r k 0 v 模型作为 图像的先验信息。h o n g 等【2 6 j 提出了基于t i l ( 1 l o n o v 正则化的图像重建算法，同时在每次迭 代时动态确定正则化系数，由于超分辨率图像重建是病态问题，应用正则化过程可以使 该问题良性化。苏秉华提出将m a p 与p o c s 结合的混合m a p p o c s 方法【27 1 ，在特定的凸 限制集合的交集空间上求解后验概率最大值，获得高分辨率图像的最佳估计。 1 3 本文主要内容及结构安排 本文主要讨论单帧图像的超分辨率重建技术，详细介绍了相关算法的基本概念、理 论模型和关键技术。主要提出了插值模型、小波、变分和偏微分方程理论在图像重建中 的运用及多种重建方法的实际应用价值。主要研究内容和结构安排如下： 第1 章：绪论部分。 主要介绍了课题的研究背景和意义，图像超分辨率重建技术的相关理论及多种重建 技术的发展现状，给出了本文的基本内容及结构。 第2 章：图像重建技术理论基础。 从传统的插值算法入手，介绍了这些插值算法的原理并对其进行仿真实验。随后介 绍了变分和偏微分方程的数学思想及建模方式。最后详细介绍了小波理论及其应用前 景，将其与传统插值算法相结合对图像放大重建，通过理论分析和实验给出传统插值算 法的不足，总结了插值算法中存在的问题及使用局限性；并给出小波插值算法的优越性 及进一步需要改进之处。 第3 章：基于变分和偏微分方程扩散后处理模型的图像重建算法。 本章首先介绍了热扩散方程，随后介绍了整体变分模型、各向异性扩散模型在图像 超分辨率重建中的应用，由于这些算法的局限性，都无法实现获得图像大量平坦信息的 同时保护图像边缘的要求。最终根据四阶偏微分方程建模理论，本文采用一种新的的四 阶扩散模型对图像进行重建，利用极小曲面能量泛函获得光滑控制函数，实验结果表明 哈尔滨工程大学硕士学位论文 基于极小曲面的四阶偏微分扩散模型重建出的图像要远远由于其他算法。不仅可以和各 向异性扩散模型一样尽可能多的保持图像边缘，改善边缘锯齿现象，同时还能平整图像 的平坦区域，改善斑点现象。 第4 章：小波结合偏微分插值模型的图像重建算法。 本章首先介绍了几种常用的边缘检测算法，并比较其优劣。最终选定在本文算法中 采用c a n n y 边缘检测算法。随后，提出一种改进的小波和偏微分插值相结合的图像超分 辨率重建技术，通过实验验证，该算法优于传统的偏微分插值法，与小波方法相结合， 充分发挥了两种算法的优点。同时，该算法适用于大多数灰度图像，尤其是纹理细节丰 富的图像，因此具备良好的应用价值。 4 第2 章图像重建技术理论基础 2 1引言 第2 章图像重建技术理论基础 本文主要讨论单帧图像的超分辨率重建技术。本章主要介绍了多种重建算法相关的 理论知识。首先介绍了传统的插值算法的原理，并对其优缺点进行了详细的分析。然后 对变分和偏微分模型及小波分析法，进行了深入的理论分析。最后，介绍了小波超分辨 率重建技术模型，并对其优缺点进行分析。 2 2 传统的插值方法 插值是通过某种运算获得某一函数在两个采样值之间的数值。通过输入大量的离散 采样点建立一个连续函数，即利用曲线拟合的方法重建出某一连续函数，并通过该函数 求出任意位置处的函数值。 图2 1 插僵原理图 由图2 1 所示，插值就是求解通过给定胛+ 1 个点的曲线y = 尸( x ) ，并用它近似表示 已知曲线y = 厂( x ) 。 对于二维图像的插值函数可表示为： kl 。 厂( x ，y ) = c ( ，乃涉( 卜一砟i ) 办( 陟一乃1 ) o 0k o ( 2 。1 ) 其中办为插值核，c ( 以，乃) 为权系数。插值核函数是插值算法的主要部分，可以通过在 频率域的特性来评估该插值核函数的性质。理想的插值核是在带阻区有0 增益及在带通 区有单位增益。选取不同的插值核函数会得到不同的插值图像。传统的插值方法主要有 最近邻插值法、双线性插值法、双三次插值法等【6 j 。 图像插值是由粗糙的降质图像的灰度值估计出清晰的高分辨率图像的灰度值。然而 任何像素都不会被凭空捏造而来，这需要将待插值像素映射到原始图像的某个位置。 哈尔滨工程大学硕士学位论文 2 2 1 最近邻插值法 最近邻插值( n e a r e s tn e i g h b o ri n t e 印0 1 a t i o n ) 也称零阶插值， 等于距其最近的邻点像素的灰度值。其插值核函数为： 坼) = 器。鬟芋 即待插值点处的灰度值 ( 2 - 2 ) 如图2 2 所示，最近邻插值计算简单，但当图像中的像素灰度级有细微变化时，该 方法会在图像中产生人工的痕迹，图像的边沿失真现象明显。 2 2 2 双线性插值法 双线性插值( b i l i n e a ri n t e r p o l a t i o n ) 也称双线性内插，即由两个变量的插值函数的 线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。插值核函数为： 办( x ) 5 毛一x 。妻三手1 ，2 3 ， _ p 。a ， i 麓 。热 图2 3 双线性插值不意图 如图2 3 所示，假设p ( x ，y ) 点为待插值点，已知q 1 。( x ，y ) 、 q ：( x ，少) 的像素值。首先在x 方向进行线性插值得到r 1 和r 2 ： 厂( r 1 ) = 立兰厂( q 1 ，) + 三丑厂( q 2 。) 2 一工1工2 一工1 ( r 2 ) = 至兰厂( q 1 ：) + 三王厂( q 2 ：) 工2 一工1工2 一工1 然后在y 方向进行线性插值： q 1 ：( x ，y ) 、q 2 ，( x ，y ) 、 ( 2 - 4 ) 习 第2 章图像重建技术理论基础 厂( p ) ：丝! 厂( r 1 ) + 旦丑厂( r 2 ) y 2 一my 2 一少1 f 2 5 1 得到p ( x ，少) 点像素值。 与最近邻法相比，双线性插值法考虑了待插值点四邻域内像素值的影响，因此基本 克服了最近邻插值法灰度不连续的缺点。但是双线性插值的低通滤波特性会使图像的细 节产生退化，同时双线性插值斜率不连续也会产生不希望的结果。 2 2 3 双三次插值法 双三次插值( b i c u b i cn e 平o l a t i o n ) 也称双立方插值，该插值算法是一种三阶插值 算法，与前两种插值算法比较更加复杂，用待插值点周围邻域内1 6 个像素点的灰度值 利用某种插值核函数来拟合待插值点的灰度值。典型的插值核函数有s i n ( x ) x 、三次样 条函数和1 e g e n d r e 中心函数等【3 4 】。式( 2 6 ) 给出s i n ( x ) x 插值核函数是： 办( x ) = ( a + 2 ) x 3 一( 口+ 3 ) x 2 + 1 ，o x 1 以x 3 5 以x 2 + 8 n x 一4 乜1 2 ( 2 6 ) 对于厂( ，) 周围领域1 6 个点，与双线性插值类似，先在x 方向上内插，对每个 像素点一次处理。根据厂( x 一1 ，y ) 、厂( x ，y ) 、厂( x + 1 ，y ) 、厂( x + 2 ，y ) 计算厂( ，y ) ；再依 据厂( ，少一1 ) 、厂( ，y ) 、厂( ，y + 1 ) 、厂( ，y + 2 ) 四个点计算厂( ，) 每一组4 个像 素点组成一个连续内插函数，这种三次多项式内插过程实际上是一种卷积操作： 厂( i + 甜，+ v ) = 么木b 木c 彳= i 办( 甜+ 1 ) ，办( 甜) ，办( 副一1 ) ，办( 甜一2 ) l b = 厂( f 一1 ，一1 ) 厂( f + o ，一1 ) 厂( i + 1 ，一1 ) 厂( f + 2 ，一1 ) 厂( f 一1 ，j + o ) 厂( f + o ，+ o ) 厂( f + 1 ，+ o ) 厂( f + 2 ，+ o ) 厂( f 一1 ，+ 1 ) 厂( z + o ，+ 1 ) 厂( f + 1 ，+ 1 ) ( f + 2 ，歹+ 1 ) 厂( f 一1 ，+ 2 ) 厂( f + o ，歹+ 2 ) 厂( f + 1 ，+ 2 ) 厂( f + 2 ，+ 2 ) c = 办( v + 1 ) ，办( v ) ，办( 1 ，一1 ) ，办( v 一2 ) 。 r 7 7 、 与双线性插值法比较，双三次插值法不仅考虑邻点的灰度值对待插值点的影响，还 考虑了邻点间灰度值变化率的影响，具有更高的精度，图像插值质量好，边缘更平滑。 但是双三次插值计算量较大，不易于实现。 图2 4 给出了对1 e n a 图像用上述三种插值算法进行放大重建的实验效果图，其中( a ) 图为原始低分辨率图像，大小为1 2 8 1 2 8 ；( b ) 、( c ) 和( d ) 为由不同插值算法重建后的高分 辨率图像，大小为2 5 6 2 5 6 。由于这些插值算法都只考虑了图像邻域内吧 哈尔滨工程大学硕士学位论文 像素点的关联性，没有对图像进行全局考虑，同时，也没有考虑图像本身的结构特性( 如： 梯度、曲率等性质) ，这样会不同程度的导致图像细节信息丢失，图像失真等现象。如 图2 4 的( b ) 和( d ) 所示：最近邻插值和双三次插值都出现了明显的块状和锯齿现象，图 2 4 的( c ) 所示双线性插值则导致图像过度平滑，丢失细节信息。 ( a ) 原始图( b ) 最近邻插值图 ( c ) 双线性插值图( d ) 双三次插值图 图2 4 传统插值图像 2 3 变分和偏微分方程的超分辨率模型 变分和偏微分方程( p d e ) 的超分辨率模型主要分为单独处理和重建后处理两种模 型。单独处理的p d e 模型主要目的是直接获得好的放大重建图像，而超分辨率后处理 模型中，主要目的是对放大后图像进行有针对性的修正，使重构图像更符合人类视觉效 果，更清晰自然。 2 3 1 变分偏微分模型 变分法即是求得泛函的极值的方法。根据变分原理，可将该变分问题转换为求解泛 函极小化问题： e ( “) = f ( x ，y ，“，净砂 ( 2 8 ) e ( 甜) 的极值对应于变分警= o 所对应的函数。解得对应的e u l e r 方程为： 鼍一丢一号一o p 9 ， 锄出ia 蚝j 咖【锄，j 、7 从上述分析可知，求解能量泛函极值问题归结为求解相应的e u l e r 方程。一般而言， e u l e r 方程是非线性p d e ，离散化可得非线性联立代数方程组。引入时间辅助变量，可 以将求解静态非线性p d e 问题转化为求解动态p d e 问题。当获得稳态解时，便是函数 第2 章图像重建技术理论基础 e ( 甜) 的极小值。 若所要求的解“( ，) 随时间而变化，并且其变化到一定程度可使e ( “( ，f ) ) 达到最 小，求解偏微分方程的常用算法是梯度流下降法： 詈= 丢+ 号一芸 p 聊 a ，a ia “，j 矗yia z ，j 锄 、7 式( 2 1 0 ) 中，只有当e ( “) 是凸函数时，有唯一的最小值，可得到与初始条件无关的唯一 解，反之则式( 2 1 0 ) 可能会因为选用不同的初始值而得到不同的局域最小值而并非全 局最小值。 综上所述，由变分法可以推到出p d e 模型，反过来，由p d e 模型也可以推出相应 的变分模型。因此变分方法即为微分方程边值问题转化为等价的泛函极值问题的求解方 法和理论。所以人们将其统称为变分p d e 法【35 1 。 2 3 2 变分偏微分模型的优点 图像放大的偏微分方程模型大致分为以下几种来源：第一，由变分问题导出的 e u l e 卜l a g m g e ，如本文第四章介绍的基于p d e 插值的图像超分辨率重建算法；第二，由 各种线性及非线性滤波器的迭代极限导出的偏微分方程；第三，由尺度空间的公理化体 系导出偏微分方程；第四，由物理、几何原理刻画出的偏微分方程，如本文第三章的基 于高阶阶扩散模型。 偏微分方程在图像处理领域之所以能得到很好的发展，是因为偏微分方程将离散的 滤波由连续的微分算子来描述，建立了图像的连续模型，使得局部非线性滤波容易实现。 另外，变分p d e 可以很好的处理人类视觉比较敏感的信息，如梯度、切线、曲率和水 平集等等。同时，变分p d e 模型可以采取成熟的数值计算方法，及智能优化算法，并 具有一定的稳定性，能够获得较好的图像质量。 2 4 小波分析基本理论 m o r l e t 于1 9 8 4 年在分析地震资料时提出了小波变换。1 9 8 6 年，法国数学家m e y e r 首次提出多尺度分析的思想。1 9 8 8 年，d a u b e c h i e s 【3 6 j 利用多尺度思想构造出具有紧支撑 集的正交小波基，从此小波理论初步建立起来。近几年小波分析在图像处理领域中蓬勃 发展，它与f o u 矗e r 变换相比，能有效的从信号中提取信息，在时域和频域同时具有良 好的局部化性质 3 7 】，对函数或信号通过伸缩和平移等运算方式进行多尺度细化分析。 1 9 9 8 年f o r d 和e t t e r 【3 8 】提出了基于小波的一维信号非均匀采样重建，随后由n g u y e n 和 哈尔滨工程大学硕士学位论文 m i l a n 矗【1 2 】4 哿该方法扩展到二维情形，并取得了良好的重建效果。从此，小波的多分辨率 分析在图像超分辨率重建领域中表现出了强大的应用前景。利用小波变换可以将图像的 高低频信息很好的分离，单独处理实现重建。同时在图像重建过程中，尺度函数和小波 基的恰当选取对重建效果也起着非常重要的作用。 2 4 1 多分辨分析 1 9 8 6 年，m e y e r 由二进伸缩和平移构成的函数系构造出具有一定衰减性的光滑函 数，恰好构成亭( r ) 上的标准正交基。1 9 8 8 年，m a l l a t 3 9 1 在小波建模中引入了计算机视 觉中的多尺度分析理论，构造恰当的小波基，生动地展示了小波的多分辨特性，并给出 正交小波变换的快速算法，这就是著名的m a l l a t 算法。下面本文将介绍由多分辨分析构 造正交小波的一般方法： 假设 巧j 越是r ( r ) 中的一列闭子空间。若满足下列条件： ( 1 ) 单调性： _ c 巧+ l 歹z ； ( 2 ) 逼近性：n 巧= o ，叼= r ( r ) ； ( 3 ) 伸缩性：7 ( x ) 巧当且仅当厂( 2 x ) 一+ 。， z ； ( 4 ) 平移不变性：若厂( x ) 巧则厂( x 一尼) 杉， j i ，z ； ( 5 ) 存在妒( x ) 使得 妒( x 一尼) i 尼z 构成的一个标准正交基； 此时， 巧 越称为f ( r ) 的一个多尺度分析，妒( z ) 为该多尺度分析的尺度函数， 于是， 哆，。( x ) = 2 m 缈( 2 。x 一j ) i 尼z ) 为巧的规范正交基。 假设 巧，缈) 。为正交多尺度分析，由于圪ck 且妒( x ) ，存在 饩) 七z ，2 使得： 缈( x ) = 么缈( x 一尼) 七z 其中，魂= ( 妒，仍，。) = 2e 妒( z ) 石瓦蕊且l 吃| = 1 。由多尺度分析构造小波函数： y ( x ) = g 。缈( x 一后) 七z 其中，繇= ( 一1 ) 8 如一。 对于任一函数( x ) r ( r ) ，在_ 上的映射只表示该函数在j 尺度上的近似，细节 部分就存在于小波子空间嘭中。巧与的关系： 匕+ = 巧。杉 ( 2 - 1 1 ) o ：表示直和。由上式可得r ( r ) = o 哆，( 杉上彬( ，) l ，z ) 。其中眵为小波 子空间，杉中的规范正交基是由单一的小波函数y ( x ) 通过伸缩和平移得到满足式 1 n 第2 章图像重建技术理论基础 ( 2 一1 2 ) ： 髟= 印册 吩， ( z ) = 2 j 少( 2 。x 一后) f 后z ( 2 1 2 ) 由( 2 - 1 1 ) 式将一维信号厂( x ) r ( 尺) 展开成如下形式： 厂( x ) = 哆，。够( x ) + 屯，。y 灿( x )( 2 1 3 ) 奠中 6 z 。5 z z 9 哆，t = j 厂( x 坊，。( x ) 出 色广j 厂( x 矽”( x ) 出 口灿一维信号的低频系数，q ，。妒( x ) 为信号在尺度空间的分解，表征信号的低频 粗略部分；屯，。为高频系数，艺屯，。y 肚( x ) 为信号在小波空间的分解，表征信号的高 频细节部分。 7 v 拒z 由于图像为二维信号，本文将介绍二维信号的小波变换。很容易将一维信号多分辨 率分析推广到二维信号。在二维多分辨率分析中，仍然存在： 巧+ ( 石，y ) = 巧( x ，y ) o 嘭( x ，y ) 。将巧( x ，j ，) 分解成一维空间巧( x ) 和嘭( y ) 的张量乘积， 可得： 巧+ ，( x ，y ) = 巧+ ，( x ) 。巧+ ，( y ) = 巧( x ) 。杉( x ) o 巧( j ，) 。嘭( 少) = 巧( x ) 。巧( 少) 。 巧( x ) 。( y ) 。 杉( x ) 巧( y ) 。 ( x ) o 眵( y ) ( 2 1 4 ) 由上式可得： 纺 ，( x ，y ) = 纺，。( x ) 仍，( y ) ； ( 2 - 1 5 ) y ( x ，y ) = 哆，。( x ) y 川( y ) ； ( 2 - 1 6 ) ”丸，( x ，少) = 少肚( x ) 伤，( y ) ； ( 2 1 7 ) 形( x ，少) = ，。( z ) ，( y ) ； ( 2 - 18 ) 其中，( 2 1 5 ) 式中的纺，。( x ) 和纺，( y ) 都是低通的尺度函数，因此是平滑逼近的低通空间； ( 2 - 1 6 ) ( 2 - 1 7 ) ( 2 - 1 8 ) 式中都至少含有一个带通的吩，。( x ) 或，( y ) 都是带通的，因此它们反 映的是图像的高频细节信息。 因此，设厂( x ，y ) 为r ( r 2 ) 的二维能量有限信号，将其分解为： ( 工，夕) = q ，纺 ，( 工，少) + 够纠y i ( z ，y ) + “蜕刈( x ，j ，) + 够嵋( x ，少) 七，e z，j 量，z j u 七，zj j 女，z ( 2 1 9 ) 其中， q ，= f 厂( x ，y 彷 ，( 石，y ) 蚴 哈尔浜工程大学帧士学位论文 醴= j j 厂( z ，少) 沙_ ( x ，y ) 出方 形 ，= j j 厂( x ，y 砂幺，( x ，y ) 出咖 醪2j j 厂( x ，y 砂：，( x ，y ) 蚴 上述分析表明，二维m a l l a t 算法分为两步进行，首先沿x 方向将厂( x ，y ) 分解为平 滑部分和细节部分，构造尺度函数妒( z ) 和小波函数y ( x ) ；然后对这两部分再沿y 方向 分别用妒( y ) 和少( 少) 进行分析；四路中，经伊( x ) 缈( y ) 获得厂( x ，y ) 的第一级平滑逼近， 其余三路分别为各个方向的细节近似。如图2 5 所示，为可分离情况下的多分辨率分解。 鋈；嘉高篙妒( ，搬分崭 沿y 方向用妒( y 敝分析 图2 5 二维m a l l a t 算法原理图 由于实际处理需要，可对图像进行多级小波分解，以获得更丰富的细节信息，如图2 6 为小波三级分解示意图。 2 4 2 小波函数 h l 3 l l 3 h l 2 h l l l h 3 h h 3 3 3 l h 2 h h 3 l h lh h l 图2 6 图像三级小波分解示意图 由于小波构造的灵活性可以完全适合各类信息处理的要求，因此一直是研究的热 点。由于不同的小波基的时频特性都不相同，因而在分析任一重建问题及处理不同特性 第2 章图像重建技术理论基础 的图像时采用不同的小波基将会产生大不相同的重建结果 4 0 1 。因此，根据实际需要选取 恰当的小波函数就显得尤为重要。小波基的构造是从尺度函数与其对偶的两尺度符号、 小波及其对偶的两尺度符号出发，考虑紧支撑性、对称性、正交或双正交性、消失矩、 正则性等条件来实施的。 紧支撑性：若小波沙( x ) 是紧支撑的，则其对应的滤波器为有限冲击响应滤波器， 当时间或频率趋向无穷大时，它快速衰减或承指数规律衰减。紧支撑宽度越窄，小波的 局部化特性越好，但是一个函数不可能在时域和频域都是紧支撑的，一般希望小波基能 够在时域上具有紧支撑性。 对称性：对称或反对称性在图像处理中对于避免移相十分重要。对图像进行小波变 换时，具有对称性的小波基，重建信号在边缘处不会产生较大失真。然而，d a u b e c l l i e s 已经证明，除了h a a r 小波外，不存在正交的、对称的紧支撑小波基，而对于双正交小 波基可以合成对称的紧支撑小波基。 消失矩：消失矩的大小决定了小波逼近光滑函数的收敛率。消失矩越大，它的支撑 长度就越大，对应的滤波器就越平坦。为了构造一个具有p 阶消失矩的小波基，尺度滤 波器的长度不能小于2 p 。通常，我们都愿意采用消失矩较高的小波函数。 正则性：正则性是对图像光滑程度的一种描述，也是图像频域能量集中度的一种度 量。对于大部分正交小波基正则性越高意味着更高的消失矩。 1 h 跏小波【4 1 h a a r 小波由数学家a h a a r 于1 9 1 0 年提出的一种具有紧支撑性的正交小波函数，其 函数形式为： 沙( z ) = 1 1 o x 二 。 ，、 1 ， 一l - 一x l 。 ， 0 x 1 (