（通信与信息系统专业论文）基于曲波的图像插值算法.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 近几年来，随着人们对高分辨率图像需求量的日益增长，图像插值技术的 应用范畴也越来越广泛，然而传统方法对图像边缘的插值效果总是不尽如人 意。曲波变换由于具有高度的各向异性和边缘表达能力，在图像处理和分析中 有着至关重要的作用。本文以数字图像插值算法为研究对象，主要围绕曲波变 换的性质和图像纹理方向特征等内容进行深入的研究。 本文首先分类讨论了现有的图像插值算法的基本原理，对一些典型的插值 算法进行了详细的介绍，总结了这些算法的优势、应用前景以及存在的问题， 从而为本文算法的提出奠定了基础。 针对传统插值方法无法较好重构图像纹理复杂区域的问题，本文利用曲波 变换能最优的表达图像边缘信息的特点，设计出一种能准确估计图像纹理方向 特征的参数一一方向因子，实验验证了方向因子与纹理方向特征的对应关系。 在此基础上，分别提出了基于曲波的纹理方向自适应2 和3 倍插值算法。该算 法首先计算各个待插值点的多个方向特征，然后根据方向因子的大小选取纹理 最丰富的方向，通过沿该方向进行线性加权完成各像素点的插值重构，并利用 像素误差和平均像素误差来统计比较算法对不同纹理区域的插值重建效果。实 验结果表明：本文算法能够有效地抑制传统插值算法在重建图像时出现的边缘 模糊和锯齿等现象，与现有插值算法相比，重构的图像边缘更清晰，视觉效果 和评价指标都有明显的提高。 基于曲波的纹理方向自适应插值算法是针对图像放大特定倍数提出的，为 扩大算法的适用范围，本文提出了基于曲波的邻域加权任意实数倍图像插值算 法。该算法首先通过曲波变换计算各已知点的四个方向因子，然后利用待插值 点邻域的四个已知点与待插值点之间的距离和相应的方向因子构造权重，并进 行相应加权来完成待插值点的估计。该算法摒弃了双线性插值只能水平垂直方 向插值的约束，可以实现图像多个方向的插值计算。实验结果表明本文算法通 过将图像的方向信息考虑其中，能较准确的定位图像的纹理边缘方向，从而使 插值后的图像能更好的符合原始图像的纹理趋势，边缘部分更加锐利清晰。 关键词：图像插值；曲波变换；纹理方向特征；权重系数 a b s t r a c t w i t ht h e g r o w i n gd e m a n df o rh i g h r e s o l u t i o ni m a g ei nr e c e n t y e a r s ，t h e a p p l i c a t i o no fi m a g ei n t e r p o l a t i o nt e c h n o l o g yi sm o r ea n dm o r ew i d e l y ；h o w e v e r ， t h ee d g ee f f e c ti nt h ei m a g e ，w h i c hi si n t e r p o l a t e d b yt r a d i t i o n a lm e t h o d ，i sa l w a y s u n s a t i s f a c t o r y c u r v e l e tt r a n s f o r mh a sav e r yi m p o r t a n tr o l ei ni m a g ep r o c e s s i n g a n da n a l y s i sd u et ot h ef a c tt h a ti th a sah i g hd e g r e eo fa n i s o t r o p ya n de d g e e x p r e s s i o na b i l i t y t h ei m a g ei n t e r p o l a t i o na l g o r i t h m s ，b a s e do nt h en a t u r eo f c u r v e l e ta n dd i r e c t i o nf e a t u r e so f i m a g et e x t u r e ，a r es t u d i e di nt h i st h e s i s o nt h eb a s i so fa n a l y z i n gs o m et y p i c a l i n t e r p o l a t i o na l g o r i t h m ，t h eb a s i c p r i n c i p l e so ft h ee x i s t i n gi m a g ei n t e r p o l a t i o na l g o r i g h ma r ei n t r o d u c e d t h e a d v a n t a g ea n da p p l i c a t i o np r o s p e c t sa r ea n a l y s e da n dt h ee x i s t i n gp r o b l e m si nt h e e x i s t i n gm e t h o d sa r es u m m a r i z e d i nf a c t ，t h et r a d i t i o n a l i n t e r p o l a t i o nm e t h o d sc a n tr e c o n s t r u c tt h et e x t u r e c o m p l e xr e g i o n a li ni m a g ee x a c t l y t h ec u r v e l e tt r a n sf o r mc o u l de x p r e s st h e c h a r a c t e r i s t i c so ft h ee d g ei n f o r m a t i o ni ni m a g eo p t i m a l l y b a s e do nc u r v e l e t w e d e s i g nap a r a m e t e rn a m e dd i r e c t i o nf a c t o r ，w h i c hc o u l de s t i m a t et h ed i r e c t i o n f e a t u r e so fi m a g et e x t u r ea c c u r a t e l y e x p e r i m e n t sa l s oc o n f i r mt h er e l a t i o n s h i p b e t w e e nd i r e c t i o nf a c t o ra n dt e x t u r ed i r e c t i o n f e a t u r e s a c c o r d i n g t ot h e p a r a m e t e r s ，at e x t u r ed i r e c t i o na d a p t i v ei m a g ei n t e r p o l a t i o na l g o r i t h mf o r2t i m e s a n d3t i m e sa r ep r o p o s e db a s e do nc u r v e l e t t h et h o u g h to fo u ri n t e r p o l a t i o n a l g o r i t h mi s ：f i r s t l ys o m ed i r c t i o nf a c t o r so ft h e i m a g ea r ee s t i m a t e du s i n g c u r v e l e tt r a n s f o r m t h e n ，t h er i c h e s tf e a t u r eo ft e x t u r ed i r e c t i o ni ss e l e c t e dw i t h t h eb i g g e s tv a l u e o ft h ed i r e c t i o nf a c t o n f i n a l l y , t h ei n t e r p o l a t e dp o i n t sa r e c a l c u l a t e da l o n gt h i sd i r e c t i o nw i t hl i n e a rw e i g h t e d w eu s ep e ( p i x e le r r o r ) a n d m p e ( m e a no fp i x e le r r o r ) t oc o m p a r et h ei n t e r p o l a t i o ne f f e c ti nd i f f e r e n tt e x t u r e r e g i o n s e x p e r i m e n t a lr e s u l t ss h o wt h a to u rm e t h o dc o u l dr e m o v et h eja g g ya n d b l u ra tt h ee d g ee f f e c t i v e l y c o m p a r e dw i t ht h et r a d i t i o nm e t h o d s ，t h ei n t e r p o l a t e d i m a g ew i t ho u ra l g o r i t h mh a sac l e a r e re d g ea n dt h es u p e r i o rp e r f o r m a n c ei nb o t h s u b je c t i v eq u a l i t ya n dv i s u a le f f e c t t h ea b o v ea l g o r i t h mi sp r o p o s e du n d e rt h ep r e m i s eo fa p a r t i c u l a rm u l t i p l eo f t h ei m a g e i no r d e rt oe x p a n dt h e s c o p eo fa p p l i c a t i o n ，a ni m a g ei n t e r p o l a t i o n a l g o r i t h mu s i n gn e i g h b o rw e i g h t e di sp r o p o s e db a s e do nc u r v e l e tf o ra n yr e a l m u l t i pl e s f i r s t l y ，t h e d i r e c t i o nf a c t o r so ft h ei m a g ea r ee s t i m a t e du s i n gt h e c u r 、，e l e tt r a n s f o m a se a c hi n t e r p o l a t e dp o i n th a sf o u rk n o w np o i n t sn e a r b y ，w e c o m p u t et h ef o u rw e i g h tc o e f f i c i e n t sw i t h t h ed i r e c t i o nf a c t o r sa n dt h ed i s t a n c e b e t w e e nt h ei n t e r p o l a t e dp o i n ta n dt h ec o r r e s p o n d i n gk n o w np o i n t t h ev a l u e so f t h ei n t e r p o l a t e dp o i n ta r er e c o n s t r u c t e db ym e a n s o fl i n e a rw e i g h t i n g o u r a l g o r i t h md i s c a r d st h ec o n s t r a i n t st h a tb i l i n e a rm e t h o dc a no n l y b ei n t e r p o l a t e di n h o r i z o n t a la n dv e r t i c a l ，a n di ti sp o s s i b l et ob ei n t e r p o l a t e di nm o r ed i r e c t i o n t h e a l g o r i t h mp r o p o s e dt o o ki n t oa c c o u n tt h ed i r e c t i o ni n f o r m a t i o no f t h ei m a g ea n d a sar e s u l tt h ee d g ed i r e c t i o nc o u l db el o c a t e dm o r ea c c u r a t e l y e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ei m a g er e c o n s t r u c t e dw i t ho u ra l g o r i t h mh a sa s i m i l a rt e x t u r e t r e n dw i t ho r i g i n a li m a g e ，a n dh a sas h a r p e re d g ee f f e c ta sw e l l k e yw o r d s ：i m a g ei n t e r p o l a t i o n ；c u r v e l e tt r a n s f o r m ；d i r e c t i o nf e a t u r eo f t e x t u r e ； w e i g h tf a c t o r 西南交通大学硕士研究生学位论文第l 页 第1 章绪论 1 1 论文研究背景和意义 科技的不断进步，计算机的普及以及人民生活水平、文化素质的日益提高， 进一步促进了我们对高质量图像需求的不断增长，尤其是对高分辨图像的需求 越来越大【1 , 2 】。高分辨率的图像是人们研究分析所描述事物的重要依据。以地 质勘探图像为例，它的分辨率越高，则图片越清晰，越便于识别地质中的各种 金属矿物质，以及准确的观察并分析该地区的岩石，地质构造等。同样，高分 辨率的医学图像，也能更好的帮助医生确定病人的病理特征，从而对症下药。 然而，由于现实生活中照相机，医学投影仪器等硬件在质量、性能方面的限制， 导致我们直接得到的图像是低分辨率的，所以如何通过低分辨率的图像获取高 分辨率的图像是我们研究的关键问题p j 。 图像插值技术作为计算机图形图像处理技术中一项重要的组成部分，其目 的就是从一幅低分辨率的数字图像中，分析估计出原始对象拥有的，但由于硬 件限制而缺失的一些高频特征信息，从而恢复出满足人们需要的、同原始对象 误差较小的高分辨率图像。 随着人们对图像质量要求的提高，越来越多的行业需要用到分辨率较高的 ， 图片，因此图像插值的技术也越来越多的应用于工作、生活中的各个领域【4 】： ( 1 )视频监控领域：监控系统存在于各大场所，大到政府、企业、街道， 小到和人们生活息息相关的住宅区、停车场、超市等等，由于监控器离拍摄对 象相对较远，造成画面不很清晰，不利于特殊情况下对目标的识别，而应用图 像插值方法，可以很好的提高录像画面的分辨率，放大图像中感兴趣对象，从 而帮助相关人员识别目标。 ( 2 )医学影像领域：医学中的各项研究都需要建立在大量医学图片资料 的分析上。而各种医学仪器所产生的图片往往达不到我们所需要的高清晰程 度，所以应用图像插值技术，可以更好的帮助医生分析病体的位置以及影像中 黑影与白影的比例等，从而便于后续的诊断和医治。 ( 3 )图像制作领域：手机、计算机、高清电视、l e d 显示屏等各种显示 图像的设备中，都会涉及图像处理的各项软件，也都需要用图像插值的技术来 提高图像质量，满足视觉观感。 ( 4 )卫星遥感领域：卫星拍摄出来的图像，往往蕴含着丰富的信息，例 西南交通大学硕士研究生学位论文第2 页 如大气状况，某地区的森林、土壤分布，地质结构，水资源分布以及军事目标 等，由于硬件成像方面的限制，导致获得图像的分辨率无法实现对图像中特定 区域的判别、分析和定位，而利用插值技术可以重建出高分辨率的图像，从而 提高我们所需影像图片的精度。 由此可见，图像插值技术已经应用到人们工作生活中的多个领域，而且随 着科技的不断发展，也将更多更广泛的应用在人类的各项研究中。因此，本文 研究的主要内容就是数字图像插值。 1 2 课题研究现状 本文根据现有的图像插值方法的特点，将其分为四类【5 】： ( 1 ) 传统的线性插值方法【6 以o 】 这类插值方法是数字图像处理中出现最早、应用较多并且计算方法相对简 单的一类插值方法，也是最为经典的方法。它包括最近邻域插值，双线性插值， 双三次插值以及三次样条插值等，这类方法在对图像中的待插值点进行计算 时，总是对其邻域的已知像素点分配固定的权值来进行加权平均，也就是说无 论待插值点处于平滑区域或者有方向的纹理区域，都会用完全相同的权值分配 来进行插值处理。因此，这种方法往往忽略了图像各个区域的局部差异性，导 致插值后的图像出现失真、边缘模糊等效应。 ( 2 ) 基于边缘的自适应插值【1 1 1 8 】 针对传统线性插值方法的缺点，研究学者们开始根据图像各区域的局部特 征进行插值。由于人眼对图像的边界区域比较敏感，边界区域插值效果的好坏 直接影响到人们对于图像的主观评价，所以人们研究的主要内容集中在如何沿 着图像的边界方向进行自适应插值。h s h i 和r w a r d 利用c a n n y 算子能较准 确检测图像边缘的特点，提出基于c a n n y 算子的边缘放大算法】。该算法首 先对图像进行双线性插值，然后利用c a n n y 边缘检测提取图像的边缘像素，再 对这些像素进行修正，使其能更好的沿图像的边界方向进行插值。这种方法一 定程度上减小了图像边缘处的模糊、块效应，但对纹理比较丰富的图像进行插 值时，却不能很好的减小边界处的伪像【5 1 。x i nl i 等【1 2 】人引入了一种新思想， 利用高、低分辨率图像之间几何对偶的关系来实现图像的插值放大。该方法对 图像中结构单一区域的插值效果较好，而对纹理复杂的图像区域进行插值时边 缘部分会出现模糊混叠现象【1 3 , 1 4 】。随后在这种方法的基础上又衍生出很多基于 边缘的自适应插值方法【1 5 】。这些算法有效的保护了图像边界区域的方向特征， 提高了插值重建图像的视觉效果，但复杂度相对较高，并且大部分算法只能用 于放大倍数是2 n 的图像插值。 西南交通大学硕士研究生学位论文第3 页 ( 3 ) 基于分类的插值【1 9 2 4 】 这类插值方法的中心思想是假设图像各个像素点都属于不同的类( 比如根 据像素变化的快慢可分为平滑类和边界类) ，然后对不同的边界类或是平滑类 应用不同的插值方法来进行处理。文献 1 9 】通过比较j n d 和阈值的大小来进行 分类，将j n d 小于阈值的看作平缓区域，对它进行双线性插值；大于或等于 的作为纹理区域，对其进行6 - t a p 滤波插值。在文献 2 0 中，作者通过t v 模型 将低分辨率图像分成u 层和v 层两部分，通过对u 层进行双三次插值，对v 层进行全变差来进行图像插值。这类方法实际上是第一类和第二类插值方法结 合后的结果，计算复杂度相对降低，但较第二类方法插值效果提升不明显。 ( 4 ) 基于小波域的插值【2 5 3 1 】 由于频域插值方法的理论相对简单、便于计算且易于实现，人们就利用一 些频域变换结合传统的插值方法进行图像重构。诸如将小波变换与分形插值、 双三次插值【2 5 1 、双线性插值算法【2 6 】相结合等。文献【2 7 】通过将传统的小波变换 插值方法与循环平移相结合，提高了图像的插值效果。虽然小波变换在空、频 域都具有较好的局部化性质【2 引，但由于其不能稀疏的描述图像的纹理、边缘等 特征，因此这类插值算法仍然会引起边缘的模糊和振铃效应，还需要进一步的 研究、优化和发展。 除了以上四类插值方法之外，还有基于核回归的插值【3 2 , 3 3 1 ，基于混合的插 值3 4 , 3 s j ，基于学习的插值方法e 3 ”8 1 以及偏微分插值【3 9 训1 等。这些方法都有各自 的特点，一定程度上提高了图像的插值效果，但大都计算复杂，而且对纹理丰 富区域的插值效果不太理想，部分插值方法只适合对图像放大2 n ，这些都是我 们需要解决的问题。 一 1 3 本文组织结构 现有的图像插值算法不能很好的估计图像的纹理方向，从而导致插值后的 图像在纹理边缘区域效果不佳，同时很多插值方法只适用于图像2 倍放大的插 值处理，也限制了这些算法的应用范围。如何利用现有理论提高纹理方向的计 算精度和图像插值质量，并突破2 倍插值的局限以实现图像任意倍的插值放大 是目前实际应用中急需解决的问题。 本论文利用曲波变换 4 2 。4 4 】多尺度、多方向的特点设计了一种能准确估计图 像纹理方向参数的方向因子，为了拓展图像插值的应用范围，在其基础上分别 提出了基于曲波纹理方向白适应的2 倍和3 倍插值算法，以及可以实现任意实 数倍插值要求的基于曲波邻域加权的图像插值算法。本文各章节的具体内容如 下： 西南交通大学硕士研究生学位论文第4 页 第一章首先介绍了本课题的研究背景和意义，然后根据现在图像插值处理 的研究现状对各种插值算法进行分类介绍，最后对论文的主要内容以及章节安 排做了简要介绍。 第二章分别介绍了四类图像插值方法中的一些经典算法，着重阐述了基于 边缘自适应的图像插值算法，对这些插值方法的适用范围和存在的问题做了总 0 士 ；口o 第三章结合曲波多尺度、多方向的特点设计了一种能准确估计图像纹理方 向参数的方向因子，并在其基础上提出了基于曲波纹理方向自适应的2 倍图像 插值算法和3 倍插值算法。这两种方法有其各自的适用范围，通过简单的插值 组合又可以拓宽相应的应用领域。实验结果表明，相比于现有的插值方法，基 于曲波纹理方向自适应的插值算法对平滑区域和纹理丰富区域都有较好的重 构质量，对含丰富纹理信息的图像优势更明显。 第四章在第三章设计的曲波方向因子的基础上，提出了基于曲波邻域加权 的图像插值算法。该算法可以实现图像任意实数倍的插值放大要求，对图像纹 理丰富区域以及边缘部分的重构效果较好，能够有效的减少重建图像的边缘模 糊、锯齿等现象。一 最后对全文的内容做了总结，分析了本文方法存在的问题并探讨了以后研 究的重点和方向。 西南交通大学硕士研究生学位论文第5 页 _ _ | 拿蔓_ | 薯奠_ | 置量| 皇鲁曼曼曼量量量曼量量皇量量曼舅_ 置量量鼍鼍舅i ii 量量皇量冒_ _ 曼喜量_ | 量i 第2 章图像插值算法综述 设z 为m x n 的低分辨率图像，经k 倍插值后得到k m x k n 的高分辨图像y ， 其插值示意图如图2 1 所示。其中所、耶+ 1 ，i ( i d + 1 ) 、l a + 1 , j + 1 ) 分别代表 x 相应坐标处的像素值，待插值点用l ( i + u d + v ) 来表示。我们插值的目的就是 如何根据已知的四个像素值来估计待插值点印+ “扩，其中虬1 ，( 0 ，1 ) 。本 章从四类插值算法中分别选取一些经典的方法进行说明，在实验仿真的基础 上，分析其各自的优点以及存在的问题。 图2 1 图像插值示意图 2 1 传统的线性插值算法 2 1 1 最近邻域插值 + 1 ) 最近邻域插值( n e a r e s t ) 是一种零阶插值，它的原理简单并且计算速度是所 有插值算法中最快的1 1 2 1 。这种插值方法在估计待插值点的像素值时，选取四 邻域中离它距离最近的像素值来作为该点的值，用公式表示为： i ( i + u ，j + d = i ( i ，) ( 2 - 1 ) 其中u ，( - o 5 ，0 5 】，用这种简单的复制替换方法插值后的图像，人眼可以很 清晰的看到马赛克现象，重建图像的效果较差。该方法的精度不高但是计算速 度较快，适用于一些对插值图像的质量要求不高，但对速度要求较高的计算机 图像处理中。 西南交通大学硕士研究生学位论文第6 页 2 1 2 双线性插值算法 双线性插值法( b i l i n e a r ) 的基本思想是：假设图像各像素点之间都是呈线 性变化的，那么在两个相邻像素之间插入一个点，该点的像素值应该满足同这 两个已知像素的线性关系。和最近邻域插值不同，它属于一阶插值方法，用公 式表示为：+ i ( i + u ，j + v ) = w l i ( i ，j ) + w 2 t ( i ，歹+ 1 ) + w s i ( i + 1 ，) 十w 4 i ( i + 1 ，- ，+ 1 ) ( 2 2 ) 其中w l 。w 2 。w 3 和w 4 分别代表相应点的权值，满足如下关系： f mw 21 - 1 - u , u 】r 1 - v , y 】 ( 2 3 ) k w 3 w 4 j 为了方便起见，在实际计算中总是先对低分辨率图像逐行进行线性插值， 然后再对插值后的图像按列进行一阶线性重建。由于引入了线性关系的思想， 双线性插值后的图像不会像最近邻域插值一样，出现相邻像素之间的灰度不连 续现象，但同时也使得它具有低通的性质，经该方法插值后的图像，高频部分 会受到损耗，并造成边缘模糊等现象【2 1 。 2 2 基于边缘的自适应插值算法 2 2 1 基于边缘的插值算法描述 图像中每一点的像素值都与它周围的像素有着密切的联系，而正是这种联 系构成了图像的局部结构特征。一幅图像能够包含多个局部特征，而这些局部 结构特征之间又都彼此有联系，并且低分辨率图像与高分辨率图像之间相应的 局部区域也彼此存在着一一对应的关系。l ix i n 等人正是在这种关系的基础上 提出了基于边缘指导的图像插值方法【1 引( n e we d g e d i r e c t e di n t e r p o l a t i o n ， n e d i ) 。他的主要思想是：低分辨率图像的一个局部区域中，如果能够确定某 点的像素值与周围像素之间的相互关系，就可以通过一一映射得到高分辨率图 像相应区域内各像素之间的相互关系，从而估计出需要插值的像素值。如图 2 2 所示，为n e d i 图像插值示意图。其中黑色点代表低分辨率图像，中的已 知像素，空心圆为需要插值的点，d ，和占代表相应的权值。 西南交通大学硕士研究生学位论文第7 页 2 i - 5 2 i - 3 2 i - 1 2 i 2 i + 1 詹 2 j _ 52 j _ 3 2 j 一12 j2 j + l 图2 2n e d i 插值示意图 n e d i 方法计算原理为：假定待插值点与周围像素满足如下关系： i ( 2 i ，2 j ) =口1 ( 2 i l ，2 j 1 ) + j r ( 2 f l ，2 j + 0 ， + y i ( 2 i + 1 ，2 j - 1 ) + 万i ( 2 i + 1 ，2 j + 1 ) 、7 即待插值点可以由四邻域内的已知像素点通过加权平均来实现，那么现在的主 要问题就是如何计算权值a ，卢，y 和6 。l ix i n 等人利用一个5 5 的窗口，通 过分别将待插值点邻域的已知像素作为中心，按照式( 2 9 ) 的关系联立方程组， 再根据最小均方误差估计求解最优的权值，从而完成图像的插值。假如窗口中 心移动到及2 f 3 ，2 j 3 ) 处，则根据式( 2 9 ) 中各像素之间的结构关系设计方程： i ( 2 i - 3 ，2 j - 3 ) =口i ( 2 i - 5 ，2 j - 5 ) + f l 1 ( 2 i 一5 ，2 j 一1 y ，1n + 厂j ( 2 f l ，2 j 一5 ) + 万，( 2 f 一1 ，2 j 一1 ) l z 。3 ， 同理，对“2 f ，2 j ) 邻域内的所有点进行相同权值的求和，得到若干个方程， 在最小误差估计的约束下，对方程求解即可得出权重a ，和6 的最优解， 再代入式( 2 9 ) 求出待插值点。 基于边缘指导的图像插值算法( n e d i ) 在每估计一组权重系数的同时都要 求解一个四元线性方程组，所以计算复杂度比较高。实验结果表明：n e d i 的 方法对结构单一的图像进行插值时，视觉效果以及客观评价都非常好，而在图 像纹理比较丰富的区域以及边缘部分则会出现涡流模糊现象【5 】。该方法只能对 图像进行两倍插值，这限制了它在图像处理中的广泛应用，但它摒弃了传统方 法通过线性加权来插值图像的思想，利用高、低分辨率图像之间的协方差对偶 关系，提出了一种新的图像插值想法，对以后的插值研究产生了较大的影响。 西南交通大学硕士研究生学位论文第8 页 2 2 2 基于插值细分准则的图像插值 p i 2 p i - 1p ipp i + 1p i + 2 g i 1g ig j + l 图2 - 3i e i s2 倍插值示意图 文献【1 7 】提出的基于插值细分准则的图像插值算法( ( i m a g ee n l a r g e m e n tv i a i n t e r p o l a t o r ys u b d i v i s i o n i e i s ) ，可实现图像任意实数倍的插值放大，基本步骤 是先对图像按行向量进行插值，再估计各列中的插值点。每个插值点都要用到 与它同一行或同一列相邻的5 个已知像素，通过将相邻两已知点的梯度和阈值 进行比较，判断边缘类型并进行相应计算来完成图像的插值。以一维信号2 倍 插值为例进行说明，如图2 3 所示：p i 珈p i 小p f ，刃+ j ，鼽+ 2 为已知点，用黑 色实心圆表示，空心圆p 为待插值点，g i j g f ，g i + 1 分别表示相应两像素点的 梯度。该方法的计算公式为： 11 p = 去( 只+ p i + 1 ) + 吉( 鸭一1 ) ( 2 6 ) zo 其中f = 1 ，2 ，3 ，为信号总长度。m f 按下式计算： 砚= 圭( 取。一m ) ，i i i g , i i r 1 l g , 小r p l - - p l - i - p , ：i 引i i k g , l ”l r 卜叫 b + 一所。一三( 陬：一只一：) ，幽p 将式( 2 1 2 ) 代入( 2 11 ) 即可求出各待插值点的像素值。由于考虑了不同边缘 的特点，插值后的图像在这些区域的值能更好的符合边缘特性，从而使插值效 果更清晰锐利。然而i e i s 方法仅对2 n 倍插值效果好，对其他倍数较差，这是 由于它是以2 n 放大倍数为依托进行插值的，其思想是先把低分辨图像x 放大 2 n 得到高分辨率图像y j ，再对玎进行下采样来达到所需倍数的图像i ，。以3 倍插值为例，该方法首先需要放大4 倍得到新的预处理图像，然后对新图像进 行3 4 下采样得到所需3 倍插值的高分辨率图像，由于在下采样过程中引入了 误差，导致插值后的图像效果较差。因此，这种方法虽然可以实现任意倍的图 像放大，但仅对图像2 n 倍插值有效。 西南交通大学硕士研究生学位论文第9 页 2 3 基于分类的插值 传统的线性插值方法【4 孓5 0 】计算简单，对图像中像素变化缓慢的平滑区域进 行插值，效果较好；而近年来出现的一些基于边缘的自适应插值方法【5 1 。5 6 1 ，对 图像边缘部分有优越的插值效果，但计算复杂。因此学者们开始研究如何更好 的结合这两类插值方法，使其在计算复杂度较低的情况下，提高图像的插值质 量。 文献 2 1 】结合双线性插值和n e d i 算法各自的特点提出基于边缘自适应的图 像插值算法( e d g e a d a p t i v ei n t e r p o l a t i o na l g o r i t h m ，e a i a ) 。该方法首先对低 分辨图像l r 进行传统的双线性插值，然后利用c a n n y 算子对插值后的图像进 行边缘检测；对于被认为是边缘的像素用n e d i 算法进行插值，而对于被检测 出是非边缘的像素则用双线性插值的点来代替。由于先对图像进行双线性插值 再用c a n n y 算子边缘检测，导致插值后的图像在边缘部分出现模糊、不清晰的 现象，为解决这一问题作者定义了一个邻域函数h ( x , y , o ( i - - 1 ，2 ，3 ，4 ) ，其中似纠 代表图像相应的坐标点，i 是该点四邻域中的第f 方向域，分别为上、下、左、 右或者左上、右上、左下、右下四个方向域：h 伍，y , o 的值只有两种：0 或1 ， 即如果( x , y ) 坐标点的四邻域中第i 方向域的点为边缘点时，值为1 ，否则为o 。 作者通过计算日似”砂来对像素进行分类，从而用不同方法插值： 第一种情况： 44 h ( x ，y ，d = ou 日( 工，) ，f ) = 1 ( 2 8 ) 对满足式( 2 1 3 ) 的像素用n e d i 方法进行插值。 第二种情况： 4 h ( x , y ，f ) 一 ( 2 - 9 ) t = l 对满足上式的像素点用四邻域中非边缘的两个像素的平均值来代替。 第三种情况： 4 乏：h ( x ，y ，) = 3 ( 2 1 0 ) 面 对满足第三种情况坐标处的点，其灰度值用四邻域中唯一的非边缘点的像 素值来代替。e a i a 方法的流程图如图2 4 ，实验结果表明：该方法插值的图像 不仅保留了n e d i 在边缘区域的优势，而且降低了运算量，在纹理缓慢区域的 像素更加平滑，视觉效果更好，但仍然不能解决n e d i 边缘混叠的缺陷，在图 像细节部分还是有模糊现象出现。 西南交通大学硕士研究生学位论文第1 0 页 | | 喜曼| 舅量量置| 量量曼量量量量量曼量量量置量量量置置鼍量量皇皇罾量曼量量皇i 量量量皇曼薯 图2 4e a i a 插值方法流程图 2 h 2 4 基于小波域的插值算法 图2 5 小波变换分解示意图 传统空域的插值方法对低分辨率图像进行插值重构时，只注重图像的局部 特征，即仅考虑待插值点的邻域像素的信息，忽略了全局的相关性，导致在纹 理丰富区域的插值效果较差，边界部分出现块效应，模糊等现象瞄引。随着小波 变换的理论不断成熟与发展，其思想也被广泛应用在计算机图像插值领域。小 波变换类似于带通滤波器，经变换后的图像有低频分量也有高频信息。由于小 波变换与人眼视觉系统的特征十分相似，所以用它对图像进行处理时，可以很 好的保持图像的细节纹理等信息，使插值后的图像更加符合人眼需求。人们可 西南交通大学硕士研究生学位论文第1 1 页 以根据需要对图像进行n 层分解，每分解一层都会对应一个低频( l l ) 和三个 高频分量( h l ，l h ，h h ) ，如图2 5 所示。 现有的基于小波域的图像插值，其基本思想就是利用小波变换分频的特点， 结合传统插值方法对频域系数进行插值或者对小波变换后的图像进行频域阈 值处理。这类插值方法将传统的线性插值与小波变换所具有的带通滤波性质有 机的结合起来，有效的保护了图像高频分量的信息，提高了图像的插值效果。 但是小波变换也有很多缺点，比如对高频分量进行插值时容易引入噪声【l 】，计 算复杂度高，不能稀疏的表示图像各个方向的纹理特征等，这一定程度上限制 了基于小波域的插值方法的发展。 2 5 本章小结 本章对现有的图像插值算法进行了分类讨论，详细描述了一些常用的插值 算法并对其各自的优缺点进行了分析。传统的线性插值方法计算简单容易实 现，应用也较为广泛。但由于采用固定的权重系数对待插值点邻域像素进行加 权平均，忽略了图像不同区域之间的局部差异性，导致插值后的图片出现失真、 边缘模糊等现象；为克服这一缺点，学者们研究提出了基于边缘的自适应插值 方法，该类方法在图像边界、纹理等区域的插值效果明显优于传统的线性插值， 但复杂度很高，并且大部分插值方法受限于放大倍数是2 的i i 次幂的图像插值； 空域的插值方法容易造成原图像中高频信息的损失，而基于小波域的插值方法 一定程度上解决了这个问题，但由于它不能较好的描述图像多个方向的特征信 息，使得重建图像在纹理丰富以及边缘部分仍会出现不同程度的模糊现象。针 对现有插值方法不能最优的描述图像纹理区域的多方向特征问题，本文提出了 基于曲波变换的图像插值算法，该算法将在下一章中进行详细讨论。 西南交通大学硕士研究生学位论文第1 2 页 第3 章基于曲波的纹理方向自适应图像插值算法 本章主要介绍两种基于曲波的图像插值算法。该算法利用曲波变换的特 点，设计出了一种描述图像纹理方向信息的参数一一方向因子，然后根据方向 因子的不同，通过构造不同的权重系数来完成对各待插值点的估计。分析比较 了本文与现有插值算法对平滑与纹理复杂区域的插值重建质量，实验结果表明 本文算法能有效抑制传统插值方法重建图像时出现的边缘模糊和锯齿现象，无 论在平滑区域还是纹理丰富区域都有较高的p s n r 值，主观上本文插值后的图 像有更清晰的纹理边缘，实验效果优于传统方法。 3 1 引言 图像插值就是利用低分辨率图像的已知低频信息来估计丢失的高频分量。 传统的线性插值方法r 7 l 主要包括最近邻域、双三次、双线性插值以及三次样条 插值方法等，由于忽略了图像的局部差异性，导致重建后的图像产生降质、失 真等现象。随后，研究者们提出了基于分类【5 7 。6 2 】和小波变换【6 3 棚】等插值方法， 由于这些方法在重建图像时忽略了图像的纹理方向，所以插值后的图像其边缘 部分会存在模糊和锯齿等现象。为了提高图像中边缘部分的插值效果，文献 1 2 】 提出了基于边缘指导的图像插值方法( n e we d g e d i r e c t e di n t e r p o l a t i o n ，n e d i ) 。 该方法的基本思想是：假设低分辨率与高分辨图像之间协方差系数是几何对偶 的，那么我们可以利用低分辨率图像的局部关系来估计高分辨图像，从而完成 图像的插值放大。这种方法对结构单一的图像插值质量较好，而对纹理复杂的 图像进行插值重构时边缘区域会出现混叠、模糊现象【1 3 , 1 4 】。针对这一问题，文 献 2 1 】结合n e d i 和双线性插值的方法，提出了基于边缘自适应的图像插值算 法( e d g e a d a p t i v ei n t e r p o l a t i o na l g o r i t h m ，e a i a ) 。该算法首先利用c a n n y 算 子提取图像的边缘，然后对边缘区域采用n e d i ，而对其它区域采用双线性插 值来完成图像重建。这种方法在抑制图像混叠现象的同时，也带来了细节模糊 的问题。为了有效保护图像的细节部分，赖睿等人提出了空间移变的插值算法 【1 6 】。他通过图像的局部纹理信息来控制插值的强度，同时根据插值点邻域的灰 度估计值来进行图像自适应的插值。随后，文献 17 】改进了传统的四点插值细 分准则【1 8 】，并在其基础上通过与预设阈值的比较，将边缘像素分成四种情况并 进行相应的迭代估计。用这两种方法插值后的图像，边缘效果较锐利，但由于 西南交通大学硕士研究生学位论文第1 3 页 ii i 量量詈曼i 其仅考虑了水平和垂直两个方向的相关性，忽略了其他方向的因素，导致插值 效果不很理想。如果低分辨率重建时能考虑图像各个待插值点的方向特征，从 而对像素点沿该点的纹理方向进行插值，将能有效降低重建图像在边缘和纹理 丰富区域出现的模糊、锯齿现象。因此，能否准确估计图像待插值点的方向特 征，是沿纹理方向重建插值点的前提条件，也是提高图像插值质量的关键因素。 曲波变换【4 2 4 4 】具有高度的各向异性，能够最优的描述图像各个尺度各个方 向的边缘信息。因此本文利用曲波变换估计图像中待插值点的方向特征，并在 此基础上分别提出了基于曲波纹理方向的二倍( 2 x t e x t u r ei n t e r p o l a t i o nb a s e d 0 1 1c u r v e l e t ，t i b c 一2 ) 和三倍插值算法( t i b c 3 ) 。实验结果表明，相比于现有的 图像插值算法，本文算法对平滑区域和纹理丰富区域都有较好的重构质量，对 含丰富纹理信息的图像优势更明显。 3 2 基于曲波纹理方向自适应的二倍插值算法( t i b c 一2 ) 本节算法的思想是：首先将图像经曲波变换后的频域系数划分为四个方 向，通过将相应方向的频域系数逆变换得到图像中待插值点像素的方向因子， 然后根据方向因子构造插值权重系数，并将待插值点分为两类进行自适应地插 值得到高分辨图像。 设x 代表m x r l 的低分辨率图像，经2 倍插值后得到2 m x 2 n 的高分辨图像 y 。根据待插值点的空间位置，本文将待插值点分为两类，如图3 1 所示。实 心圆代表已知点，位于高分辨率图像y 的奇数行和奇数列；实心三角形为第一 类待插值点，位于高分辨率图像y 的偶数行偶数列；第二类插值点用空心圆表 示，分别位于高分辨率图像的偶数行奇数列和奇数行偶数列。由图3 1 可以看 出，对于每一类待插值点，其邻域像素中都有两个方向存在已知点，且这两个 方向互相垂直。因此本文首先计算待插值点在