基于第二代小波的序列图像超分辨率复原算法研究

1、第31卷第2期2010年2月宇航学报Journal of AstronauticsV ol.31February N o.22010基于第二代小波的序列图像超分辨率复原算法研究焦斌亮,宋俊玲(燕山大学信息科学与工程学院,秦皇岛066004摘要:介绍了第二代小波(SG Ws 的基本原理和特点,在此基础上提出了低分辨率采样图像高分辨率(HR 重建算法。它不但具有结构简单,逆变换容易,可扩展性好的优点,并且克服了第一代小波(FG Ws 的不均匀采样和定义在有限区间上的难题,指出了小波变换时数据不规则性的处理方法,并利用硬/软阈值对小波系数降噪,使得重构后的图像具有最佳的PS NR 和最低的重构误差。

2、实验和仿真结果表明,与传统方法相比,该算法在提高了图像的分辨率同时PS NR 最多能提高3dB 左右。关键词:图像超分辨率;第二代小波;插值细分;高分辨率重建中图分类号:TP391文献标识码:A 文章编号:100021328(2010022*DOI :10.3873j.issn.100021328.2010.02.034收稿日期:2009205208;修回日期:2009208222基金项目:河北省教育厅基金资助项目(20071430引言图像的超分辨率复原技术就是在不改变图像观测系统的前提下,利用已有的低分辨率(LR 图像采用某种方法获得较高分辨率(HR 的图像。对于卫星遥感等特殊应用的成像系统

3、,单纯从硬件方面提高成像分辨率将带来巨大的成本和技术压力,因此,研究高效的图像复原算法,从软件方面1-2来提高图像的分辨率有着极大的现实意义和应用价值。早期的单帧图像复原是一个图像退化病态求逆的过程,图像复原和增强效果受到很大限制。多帧序列图像的超分辨率重建技术利用时间带宽换取空间分辨率,使得重建图像的质量比单帧图像有了较大提高,但这种图像的运动或者不规则形变特征往往是非常复杂的,可能存在同一因素多次或者多个不同因素影响相邻帧图像间的亚像素位移。小波理论及其算法避开低分辨率(LR 图像序列的形变和帧间的复杂平移等关联特征,只从粗细不同尺度上考虑每帧图像自身具有的空间特征,具有可控性好,收敛迅速

4、,适应性强等特点,是序列图像超分辨率重建的较为理想的方法之一。近几年中,第一代小波(FG Ws 已经被应用到序列图像超分辨率复原中3。这类小波有许多优点,但也存在若干局限性,它定义在双无限区间上,只能处理均匀采样点,在图像HR 重建过程中是不利的。1994年,贝尔实验室的S weldens 提出了一种不依赖于傅里叶变换的新的小波构造方法提升算法(LiftingScheme 4,这种小波被称为SG Ws 。小波变换的提升算法与传统的Mallat 构造方法相比,是完全基于空间域的构造方法,变换速度更快。本文提出的基于SG Ws 变换的高分辨率图像重构方法,不但克服了FG Ws 由平移伸缩不变性所带

5、来的局限性,而且能够处理不规则采样点,在进行小波变换时小波系数应用硬/软阈值降噪,使获得的图像高频信息丰富并具有较高的峰值信噪比(PS NR 。1基于SG Ws 的图像复原算法1.1SG Ws 的基本原理假设有一个信号序列s n 对其进行第二代小波变换分以下三个步骤进行:(1分裂(S plit 将信号序列按奇样本s o n 、偶样本s e n 分成两个等长的序列s n =s o n +s e n s e n =s 2n s o n =s 2n +1(1(2预测(Predict 保持偶样本不变,由偶样本估计奇样本s on=P(s en(2其中 son为奇样本的估计值,P为预测算子。如果信号具有局

6、部相关的结构,偶样本集合和奇样本集合一定是高度相关的,应该可以以一定的精度,用一个子集估计另一个子集。原值与预测值之差作为小波(或细节系数,表示为dn=s on-P(s en(3(3更新(Update为了保持存在于原信号中的某些尺度特性,引入更新算子U,以得到下一尺度上的尺度系数cn=s en+U(dn(4上面这三步构成一个提升过程,对输出cn重复以上提升过程,可构成一个完整的离散小波变换,得到的尺度系数和小波系数分别为c jn和d jn。从频域角度看,小波系数d表示原始数据的高频成分,逼近系数c表示原始数据的低频成分。基于提升模式的小波变换很容易求逆,将正变换过程倒过来执行,立刻可以得到相应

7、的逆变换。1.2基本算法FG Ws变换通常在函数空间构造一个Riesz基,基于提升算法的SG Ws通过在时域构造预测函数获得期望特性的小波函数。预测函数可以通过插值细分5或平均插值细分的方法构造。本文采用插值细分的方法,其基本思想是在分解和重构过程中采用奇数样本相邻的M(M=2DD为正整数个偶数样本se (n-D+1,se(n,se(n+D插值估计n时刻的奇样本s o(n。在变换过程中所有的插值估计运算服从一个唯一的M-1阶多项式,多项式的系数即为预测算子的系数。通过选取M-1阶多项式来确定M阶插值细分,插值细分的整数M等于对偶小波函数 (x消失矩的数目,原小波函数(x消失矩的数目 M在修正过

8、程中被确定。在实验中 M=M=4。下面分两部分介绍算法:(1(a从一系列含噪LR帧中获得f(x1,x2,其中x1,x2在半规则格网上是离散值(x1,x2R×R。假设,参考的LR帧的每个矩阵或者已知,或者通过摄影机的投影模型得到。(b掌握数据的不规则性,应用提升算法进行二维SG Ws变换,计算结果可以写成一维提升算法的张量积6。(c在上一步中获得的小波系数d jn通过硬/软阈值进行降噪7-8。互有亚像素位移的一系列LR帧HR重建的实质就是在一非规则采样数据形成的高分辨率格网上利用低分辨率图像进行小波变换,重建出分辨率更高的规则采样图像的过程。在SG Ws变换过程中,由于亚像素位移允许H

9、R规则格网点的像素值逼近半规则格网上的计算值,所以为了重建出HR图像,在小波反变换过程中栅格的不规则性可以被忽略。SG Ws变换的小波系数通过硬/软阈值降噪,而基于插值方法的HR重建需要单独对图像降噪,因此, SG Ws具有计算简单,效率高的优点,在没有噪声过滤(阈值仿真和比较高的S NR的情况下,第二代小波变换实现超分辨率复原与基于插值方法的复原效果是可比的。然而,在S NR较低的情况下,SG Ws超分辨率复原方法明显好于传统方法。(2(a假设在(1中计算的小波系数d jn和尺度系数c jn存在于HR规则格网点上。(b利用提升方法实现小波逆变换(小波变换顺序颠倒,从而重构出高分辨率图像。在H

10、R重构过程中,人们经常应用第二代小波的一维变换处理不规则采样数据,而带有降噪的二维小波变换的HR重建常常受限于半规则栅格,但卫星遥感或航空遥感属于远景成像,对这样获得的低分辨率图像进行处理可以避免这一难题。2实验和仿真首先选取40×40像素(产生于80×80像素的原始图像的LR帧进行实验,结果如图1所示。图1(a为被加进高斯白噪声(AWG N的LR采样图像,与原图像相比具有较低的分辨率,我们知道导致图像分辨率低的直接原因是具有较低的峰值信噪比(PS NR。由于人们的视觉系统对边缘附近对称的量化误差较非对称误差更不敏感,图1只是 M =M=4的SG Ws处理后得到的图像,所以

11、不能误认为LR帧具有较低的PS NR就是加性噪声的原因。这样选取滤波器较为平坦,图像恢复效果好,重构图像能更好的保存原图像信息,选取不同的M和 M重构图像边缘部分失真较大不利于获得高质量的重构图像。应用本文的方法不仅可以实现LR帧的HR 重建并且提高了图像的PS NR,基于第二代小波硬/225宇航学报第31卷软阈值降噪并小波重构图像(图1(e (f 的分辨率和PS NR 明显高于Delaunay 三角剖分后进行双线性插值和双三次插值的图像(图1(b (c 。图1(a 40×40像素被加进高斯白噪声,PS NR -6d B ;(b (c DT 之后的插值结果;(d 原图;(e (f 基

12、于SG W 的HR 重建图像Fig.1(a 40×40pixels ,corrupted by AWG N ,PS NR -6dB ;(b (c results using sur face interpolation after DT;(d original image ;(e (f HR reconstruction using SG W为了进一步验证本文算法的优越性,我们对加性噪声干扰较少的同幅LR 帧(LR 帧的PS NR -12dB ;图2和其它的LR 图像(图3分别进行实验,结果表明,利用本文方法重构后的图像分辨率明显提高,不但主观上具有很好的视觉效果,而且客观上具有较高

13、的PS NR 。图2基于SG Ws 和DT 的HR 重建图像Fig.2Original image ,SG W 2based and DT 2based HR reconstructions表1所列文中算法和传统算法PS NS 的比较,从表中可以看出,该算法的PS NR 比双线性插值算法、双三次插值算法最多能提高3dB 左右。表2所列第二代小波与第一代小波图像复原时间的比较,从表中可以看出,第二代小波处理图像复原的速度比传统算法约提高60%左右。3结论理论分析和实验结果表明,文中提出的基于SG Ws 的HR 重建方法是可行和有效的。此方法不仅能保持FG Ws 的许多优势,而且能够处理不规则采样

14、数据,处理速度明显加快,小波重构后的图像具325第2期焦斌亮等:基于第二代小波的序列图像超分辨率复原算法研究有较高的PS NR ,更加逼近原始的HR 图像 。图3(a 40×40像素被AWG N 干扰,PS NR -5dB ;(b (c DT 之后的插值结果;(d 原图;(e (f 基于SG W 的HR 重建图像Fig.3(a 40×40pixels ,corrupted by AWG N ,PS NR 25dB ;(b (c results using sur face interpolation after DT;(d original image ;(e (f HR

15、SG W 2based reconstructions表1几种复原方法的PS NR 比较T able 1C om paris on of PS NR gained by reconstruction alg orithms算法名称LR 图像双线性插值双三次插值硬阈值软阈值LR 图像1PS NR/dB 620.709320.214322.508722.55361226.040825.547528.116028.2578LR 图像2PS NR/dB526.499625.681028.546228.7243表2几种复原方法的时间比较T able 2C om paris on of time gain

16、ed by reconstruction alg orithms复原算法双三次插值/ms双线性插值/ms硬阈值/ms软阈值/ms平均提高速度/%LR 图像1161198582017131060LR 图像22522161362参考文献:1焦斌亮,闫旭辉.基于T DI -CCD 成像像移分析及图像复原J .宇航学报,2008,29(2:675-678.J IAO Bin 2liang ,Y AN Xu 2hui.Image 2m otion analysis and image restoration based on T DI -CCD Imag 2ingJ .Journal of Astron

17、autics ,2008,29(2:675-678(in Chi 2nese .2Ranchin Thierry ,W ald Lucien.Fusion of high spatial and spectral res 2olution images :The ARSIS concept and its im plementationJ .Photo 2grammetric Engineering and Rem ote Sensing (S0099-1112,2000,66(1:49-61.3Ido Ouzieli ,David M endlovic.T w o 2dimensional

18、wavelet process orJ .Applied Optics ,1996,35(29:5839-5846.4Daubechies I ,S weldens W.Factoring wavelet trans forms into liftingstepsJ .F ourier Anal.Appl ,1998,4(3:247-269.5杨博雄.CCD 细分技术及其应用研究D .北京:中国地震局地球物理研究所,2005.Y ANGBo 2xiong.CCD subdivision technol 2425宇航学报第31卷ogy and its application researchD.

19、Beijing:Institute of G eophysics, China Earthquake Adm inistration,2005(in Chinese.6SWE LDE NS W.The lifting scheme:a construction of second genera2tion waweletsJ.SIAM Journal of M athematical Analysis,1997,29(2:511-546.7焦斌亮,胡永刚,赵文蕾.基于多结构元素的遥感图像去噪及边缘检测方法J.宇航学报,2006,27(4:676-679.J IAO Bin2liang,HU Y

20、ong2gang,ZHAO W en2lei.N oise elim ination and edge detection method based on multi2element for rem ote sensing image J.Journal of Astronautics,2006,27(4:676-679(in Chi2 nese.8龚昌来.基于线性混合小波基的图像去噪J.光电工程,2008,35(10:70-75.G ONG Chang2lai.Image denoising method based on linear combined wavelet baseJ.Opto

21、2E lectronic Engineer2 ing,2008,35(10:70-75(in Chinese.作者简介:焦斌亮(1964-,男,教授,博士,光学工程专业,研究方向为成像技术与信息处理。通信地址:河北省秦皇岛市燕山大学信息工程学院光电子系(066004电话:138*E2mail:jblThe R esearch for the Super2resolution R estoration B ased onthe Image Sequence with Second G eneration W aveletsJ I AO Bin2liang,S ONGJun2ling(The C

22、ollege of In formation Science and Engineering,Y anshan University,Qinhuangdao066004,ChinaAbstract:On the basis of theories and characteristics of the second generation wavelet(SG Ws,high2res olution(HRrecon2 struction alg orithm which is from a captured sequence of low2res olusion frames is proposed.I t not only has a sim ple structure,a e