基于不同图像特征的图像放大算法比较

基于不同图像特征的图像放大算法比较

图像放大是图像处理的基本功能之一。广泛应用于医学图像、遥感图像、网络生产和一些商业数据处理软件中。图像放大即将一幅低分辨率的图像转换为高分辨率图像的一种图像处理技术,对一幅图像进行放大,实质上是对图像插值的过程。图像放大目前已经有了很多实用化的方法,它们有各自的特点、优点和不足。图像放大算法的选择直接影响到放大图像的质量,所以寻找合适的算法是提高放大图像质量的关键。目前主要的图像放大方法大致可以分为两类:第一类是常规插值,包括最临近点插值、双线性插值、拉格朗日插值及三次样条插值等,这类方法是根据离散的点建立一个连续函数,用这个重建的函数求出任意位置处的函数值。第二类是利用图像中包含不同的高、低频成分的特点,经过对图像的数学统计特征的分析,采用不同的方式对图像不同部分进行插值的非线性的、移变的插值方法。1传统插值算法1.1最近领域法i,v点和i,j点粒度值;最临近点插值是最简便的插值算法,它以插值像素点周围离最近的己知像素的灰度值作为插值像素点的灰度值,所以又称为像素复写或零阶保持插值。如图1所示,设(i,j),(i,j+1),(i+1,j),(i+1,j+1)是灰度插值前的一个四点邻域,其灰度值分别为g(i,j),g(i,j+1),g(i+1,j),g(i+1,j+1)。最近领域法是比较(u,v)点和(i,j),(i,j+1),(i+1,j),(i+1,j+1)四点之间的距离,然后以与(u,v)点最近的那点的灰度值作为(u,v)点的灰度值。将两点之间的距离记为D[(u,v),(i,j)],则上述四点与(u,v)点最近距离可由下式求得:D[(u,v),(i,j)]=min{D[(u,v),(i,j)],D[(u,v),(i,j+1)],D[(u,v),(i+1,j)],D[(u,v),(i+1,j+1)]}求得与(u,v)点距离最近的点(i′,j′)后,由最近邻域法确定(u,v)点的灰度为:g(u,v)=g(i′,j′)最近邻插值运算简单快速,能够保持插值图像边缘清晰,但边缘轮廓有显著的锯齿现象,图像背景产生马赛克,形成伪边缘,视觉效果差,重构误差较大。1.2多序列插值算法描述作为对最近邻点法的一种改进,双线性插值算法是“利用周围4个邻点的灰度值在两个方向上做线性内插以得到待采样点的灰度值”,即根据待采样点与相邻点的距离确定相应的权值计算出待采样点的灰度值。其数学表达式为:f(i+u,j+v)=(1-u)(1-v)f(i,j)+(1-u)⋅vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)图2是双线性插值算法的示意图,在图中点(i+u,j+v)为待插值点,点f(i,j),f(i,j+1),f(i+1,j),f(i+1,j+1)是灰度值已知的近邻像素点。先计算A,B两点的灰度值,分别记为f(A),f(B)。则有f(A)=uf(i,j)+(1-u)f(i,j+1),f(B)=vf(i+1,j)+(1-v)f(i+1,j+1)。然后再计算出待插值点的灰度值:f(i+u,j+v)=vf(B)+(1-v)f(A)与最邻近法相比,双线性内插法由于考虑了待采样点周围4个直接邻点对待采样点的影响,因此基本克服了前者灰度不连续的缺点,其计算量有所增大。此方法仅考虑4个直接邻点灰度值的影响,而未考虑到各邻点间灰度值变化率的影响,因此具有低通滤波器的性质,使放大后图像的高频分量受到损失,图像的轮廓变得较模糊。1.3主要结果分析双三次插值是高阶插值算法中常用的方法,它对周围邻近的16个像素点进行插值计算(如图3所示)。这种图像插值算法的优点是可以消除锯齿现象,插值质量高,效果好,与前面两种方法比较边缘阶梯失真现象得到很大程度的抑制,但放大时边缘模糊现象比较严重。该算法的另一不足之处是计算量大,运算时间长,在需要实时性较高的场合很难实现。双立方插值算法与双线性插值算法相比,不仅扩大了影响点的范围,还采用了高级的插值算法。双立方插值能够得到较清晰的画面质量,不过计算量也变大。该算法在现在众多的图像处理软件中最为常用,比如Photoshop,AfterEffects,Avid等。1.4次b样条插值线性插值算法虽然已经考虑了事物之间的连续性,但许多时候,数据之间并不满足线性关系为了进一步改善插值效果,高次插值的思想虽之被引入,三次样条(cubicconvolution)插值就是其中的一种,而三次样条插值中应用最多的又是三次B样条插值。n+1阶B样条插值为:f(x)=+∞∑k=-∞Bk,n+1(x)⋅f(xk)从计算时间上考虑,次数越低,计算越快,但一次和二次B样条插值会使图像产生BLOCK现象,效果不太理想,而三次B样条基本上可以两者兼顾;在此基础上,又有人引入斜投影算子,都达到了很好的效果。B样条处理的最大优势是将对图像的处理(离散)转化在连续函数域(样条域)。三阶B样条函数如下:Bi,3={(x-xi)2(xi+1-xi)(xi+2-xi)‚xi≤x≤xi+1(x-xi)2(xi+1-xi)(xi+2-xi-(xi+2-xi+1)(x-xi+1)(xi+2-xi+1)(xi+3-xi+1)‚xi+1≤x≤xi+2(xi+3-x)2(xi+3-xi+1)(xi+3-xi+2)‚xi+2≤x≤xi+30‚everywhere利用它插值放大的图像较为平滑,无明显的锯齿现象。同时可以通过快速算法极大地缩短运算时间。采用该方法对于彩色图象放大时,必须解决图像出现色偏差,边缘细节保持不足够好的问题。基于三次B样条函数的插值算法,在插值过程中均表现为低通滤波器,在不同程度上抑制了高频成分,当放大倍数较高时,会造成边缘层次模糊和虚假的人工痕迹(锯齿状条纹和方块效应等)。近年来,随着非线性科学理论的蓬勃发展,小波变换、分形等非线性处理手段亦被应用到图像放缩领域,取得了一些不错的成果,但同时计算复杂度也大大增加。2图像自适应插值现在的自适应插值算法有很多,主要有线性空不变图像插值、距离加偏差图像插值等,目前最新的自适应插值技术还有双信道插值、分形插值、小波插值、定向插值、偏微分方程插值和有理插值等。2.1分形放大技术分形插值放大主要的物理性依据是“自相似性”,这是分形的基本特征,它反映了自然界中广泛存在的一种现象:(事物)局部与局部、局部与整体在形态、功能、时空等方面具有统计意义上的相似性。一些自然景物,如蓝天、云彩、烟柱和火焰等,图像具有高度的自相似性。分形插值反映了这种自相似性,因而分形插值在计算机视觉技术中有广泛的应用。分形技术用于图像放大有很多优点,如可“较好保留图像的纹理特征,获得高分辨率图像,而对于曲线的插值计算则其有很高的保形性”,“可以主生高分辨率图像,而能保持原图像的纹理特征”。所以有不少学者研究分形放大于静态图像,医学CT图像等方面的作用。分形分为规则分形和随机分形。规则分形是基于某一种函数或规则,按照一定的约定或法则,进行迭代形成。随机分形的构成原则是随机的,更好地描述了自然现象。随机分形的典型数学模型是分数布朗(Brown)运动,能充分反映图像的统计纹理特性。分形放大的步骤一般可概括为:(1)将原图分割为若干子图;(2)选择IFS算法,对每一个子图进行运算,提取IFS代码(或称分形参数、特征值等;(3)选择重构算法,根据IFS代码,在原图基础上进行分形插值。(4)合并新构造的子图,完毕。2.2小波逆变变换的一般理论小波插值充分利用了图像奇异特征沿小波分解尺度的传播性,能够更准确地重建出高分辨率图像细节。但由于小波系数奇异值的定位涉及精确复杂的边缘检测且小波系数很难跨尺度对准,使得算法实现十分复杂。基于小波插值的算法主要有两种,分别为子带插值和极值外推插值。小波变换本质上是用小波函数作为带通滤波器进行滤波,将原始信号分解为一系列频带上的信号由小波函数簇定义小波变换为:(Wψf)(a,b)=∫∞-∞f(t)ˉψa,b(t)dt=|a|-1/2∫∞-∞f(t)ˉψ(t-ba)dt而小波逆变换则是从分解到各频带的信号进行原始信号的重构:f(t)=1Cψ∫∞-∞∫∞-∞(Wψf)(a,b)⋅ψa,b(t)1a2dadb式中:Cψ=∫∞-∞|ω|-1|ˆψ(ω)|dω<+∞。推广出二维离散小波变换,对数字图像进行重构和插值。如果图像是空间频率有限的二维信号,对图像进行相应频窗的小波反变换得到的图像就可认为是对该图像的插值。子带插值的思想是将原始图像逐级向下拆分成不同分辨率的子图像作为原始图像的小波变换的结果。小波变换用小波函数作为带通滤波器将图像分解为一系列频带上的子图。相应分辨率下3个方向的细节子图分别反映这3个方向上图像的边沿特性,高分辨率下的边沿特性相似于低分辨率下的边沿特性,子带插值算法利用了图像细节沿小波分解尺度的相似性,插值结果的细节清晰。但是,由于采用的相似变换比较粗略,图像插值精度较低。相对于子带插值,极值外推插值采用了更加精确的沿尺度近似变换。它通过考察信号的小波变换系数的极值点的位置和大小沿几个较大尺度的变化,推测出更高分辨率图像的小波变换极值点的位置和大小,从而得到比较精确的更小尺度下的小波分解系数。2.3图像放大算法在图像处理和计算机视觉中采用PDE(偏微分方程)方法是近十几年发展起来的一个新的研究方向,显示出了强大的生命力,并成为信息科学中相对独立的一个分支。偏微分方程插值引入总变分最小原则,使插值像素ˆu满足:ˆu=min(∫x∫y|∇u(x,y)|dxdy)基于偏微分理论实现图像放大的算法根据扩散填补放大后图像对应像素值的着眼点不同,可以分为两类:一类是以线性扩散PDE模型为基础,另一类是以非线性扩散PDE模型为基础。所谓线性扩散模型,就是扩散机制不考虑图像自身的特点,扩散填补放大后图像对应像素的扩散过程中,扩散系数、扩散强度及扩散速度均在图像的放大过程中始终相同。基于非线性PDE模型的图像放大注重图像的内在本质,分析图像像素点之间的关系,考虑图像拍摄的形成机制和图像的自身内容(如边缘梯度变换较强、等照度线应该足够光顺等),认为放大图像中的待填补像素的值应该根据其周围的像素信息延伸得到。线性PDE放大方法具有很多优越的数学性质,在放大图像的同时能够平滑噪声,并且保证放大图像不会出现明显的斑点以及亮暗区域偏移现象。但由于其采用高斯热扩散,造成了放大后图像中物体的边缘不够清晰、图像整体看起来过度光滑和亮度不够等视觉缺陷。非线性PDE放大方法在平坦区域有自然的过渡,比较光滑;在边界处有突变,边缘清晰;不会出现明显的斑点、亮暗区域偏移现象;放大后的图像整体看起来比较清晰、明亮。总的来说,非线性PDE放大方法克服了线性PDE图像放大方法的缺陷,具有更加优秀的放大效果。2.4邻域交换内插法邻域交换内插法于1990年天津大学的王兆华等人提出。邻域内插法通过交换上下左右像素的较好地解决了屏幕显示中的马赛克效应,也减少了图像模糊。但是由于它是在每一方块中的一部分像素和相邻的上下左右的方块中的一部分像素交换位置,利用人眼的低通滤波特性将相邻像素平均,产生内插效果。但是,它会引起如同点噪声的灰度跃变点。这些灰度跃变点在图像和文本的边缘,由于人眼的视觉效应,显得尤为刺眼。另一方面,该交换算法对笔画单薄的线条、文字,特别是只有单个像素宽或高的线条和文字的显示尤其不利,会产生像素混叠。邻域交换内插法的想法很简单,如图4所示。图4(d)为原图,有9个像素。图4(e)内带箭头的方框代表交换框内两像素位置的意思。图4(a)是把原图4(d)用重复放大的方法放大4×4倍的结果。现在先考察位于中央的像素块“e”,在图4(a)中已经用虚线框起,在上、下、左、右4个方向把像素“e”与相邻的像素进行交换,即“e”分别与b,h,d,f进行交换,如图4(b)所示。其结果如图4(c)所示。显然图4(c)中的像素块“e”已经没了在图4(a)中那四方的棱角,克服了方块效应。邻域交换内插法是通过交换算子来描述的。邻域交换内插算子有如下几个特征:(1)交换算子由“0”和“1”组成;(2)如果放大倍数为N×M,则交换算子中“1”的数目等于N×M;(3)进行了交换的“1”的数目必然是偶数,而且呈现中心对称性。邻域交换内插放大算法使每个像素上方的上下左右或对角线上的像素与邻域进行交换,利用人眼的低通滤波特性,将相邻像素平均产生内插效果,从而消除方块效应。它的实现是先插零、再与相应的交换算子卷积。邻域交换放大法会引起如同点噪声的灰度跃变点。利用十字形中值滤波器消除视频信号所携带的点噪声的特性,能消除灰度跃变点,优化邻域交换内插图像放大法。3图像放大算法综上所述,经典插值算法原理基本相同,首先需要找到与输出图像相对应的输入图像点,然后再通过计算该点附近某一像素集合的加权平均值来指定输出像素的灰度值,其他像素都不考虑。对于最近邻插值法来说,输出像素的赋值为当前点的像素点,放大效果较差,其优点就是运算简单;对于双线性插值法来说,输出像素的赋值为其周围4个像素点的值的加权平均,运算比最近邻插值复杂,放大后图像的高频分量受到损失,图像的轮廓变得较模糊;对于双三次插值法来说,输出像素的赋值为其周围16个像素点的值的加权平均,放大效果有一定改善,但运算量较大。对于灰度变化平缓的图像区域,