图像超分辨率技术20150401

1、图像超分辨率技术Image Super Resolution12015.4.1一、超分辨率(Super-Resolution)的定义图像超分辨率技术是指由一幅低分辨率图像(LR, low-resolution)或图像序列恢复出高分辨率图像(HR, high-resolution)的技术。超分辨率技术的核心思想就是用时间分辨率(同一场景的多帧图像序列)换取更高的空间分辨率,实现时间分辨率向空间分辨率的转换。目前图像超分辨率技术主要有以下两大类： （1）基于重建的图像超分辨率方法； （2）基于学习的图像超分辨率方法； 2二、超分辨率的应用场景 超分辨率技术应用在现实生活中有十分广泛，应用场景主要有

2、： 1）数字高清 2）卫星成像 3）视频监控 4）虚拟现实 5）生物医学图像分析 3超分辨技术视频监控数字高清生物医学虚拟现实卫星成像三、图像超分辨率技术基本原理1.图像降质退化模型：4运动模糊、光学模糊、散焦模糊等噪声n低分辨率图像y欠采样高分辨率图像x变形（平移旋转等）MBD图像降质过程数学表达式为 ： y= DBMx + n 其中x为高分辨率图像，y为低分辨率图像，M为几何运动矩阵，B为模糊矩阵，D为亚采样矩阵， n为附加噪声。三、图像超分辨率技术基本原理2.图像超分辨率技术原理： 图像超分辨率实现过程就是图像降质退化模型的逆过程， 其一般流程和模型如下图所示：5多帧低分辨率图像图像插值

3、图像运动估计图像重建高分辨率图像需要重建的图像低分辨率图像序列插值后图像序列重建后的高分辨率图像序列插值运动估计去模糊去噪声融合数据超分辨率重建图像超分辨率的主要实现方法基于重建的超分辨率方法基于学习的超分辨率方法频域算法空域算法迭代反投影法（IBP）凸集投影法（POCS）混合MAP/POCS方法统计复原方法基于分类的方法基于重构的方法基于回归的方法基于拉普拉斯金字塔（LP）的超分辨率复原算法基于小波变换的超分辨率复原算法基于稀疏表示的超分辨率复原算法基于特征脸的人脸超分辨率复原算法局部线性嵌入(LLE)的基于学习的超分辨率算法基于独立分量分析（ICA）的人脸图像超分辨率算法基于支撑向量回归（

4、SVR）的超分辨率复原算法消混叠重建方法 最大后验概率方法（MAP）最大似然估计方法（ML）非均匀插值法6四、图像超分辨率的主要实现方法五、相关论文1郭伟伟, 章品正. 基于迭代反投影的超分辨率图像重建 J. 计算机科学与探索, 2009, 3(3): 321-329.【摘要】提出了一种结合频域运动估计和迭代反投影的超分辨率图像重建算法。根据输入低分辨率序列图像各帧之间的傅立叶变换相位差,估计出每幅低分辨率图像相对于参考低分辨率图像的子象素位移;依据所得的子象素位移并结合迭代反投影算法,实现了超分辨率图像重建。实验结果表明,该算法是一种有效的超分辨率图像重建方法。2 Su H, Zhang X

5、, Wei S. Resolution enhancement of SAR image using the modified IBP methodC/Signal Processing Systems (ICSPS), 2010 2nd International Conference on. IEEE, 2010, 2: V2-486-V2-489.Abstract： Super resolution (SR) technique can produce a high-resolution (HR) image from a set of low-resolution (LR) image

6、s with complementary information. This paper proposes a modified iterative back projection (IBP) method for SAR image resolution enhancement. In this method, a SR image is assumed and modification which contains the different high frequency information of LR images is back projected to it to get an

7、ideal HR image. Compared with the originalIBP, the modifiedIBPmethod is simpler and the modification is more accurate to speed up the iteration. Both simulated and real SAR images are used to verify the validity of the method. The results show that details and definition of the LR image processed wi

8、th the method are effectively improved.3庞亚红, 毛幼菊. 一种基于凸集投影 (POCS) 的数字图像超分辨率重建算法J. 计算机工程与应用, 2005, 41(4): 69-71.【摘要】该文研究了一种基于凸集投影(POCS)算法的超分辨率图像重建方法,分析了POCS方法恢复图像的理论算法,通过仿真对比了其与双线性插值方法恢复超分辨率图像的差异,仿真结果表明,该方法明显地提高了超分辨率图像的恢复质量。4 Wei B, Hui W. POCS-embedded MAP method for image super-resolution restorati

9、onC/Industrial Electronics and Applications, 2009. ICIEA 2009. 4th IEEE Conference on. IEEE, 2009: 3791-3794.Abstract： In this paper, aPOCS-embedded MAP based super-resolution image restoration algorithm is proposed, which incorporatesPOCS constraints and MAP algorithm. Experiments demonstrate thatP

10、OCS-embedded MAP algorithm can achieve a better restoration result than traditional MAP andPOCS approach.7五、相关论文5 Wan X, Yang Y. Super-resolution image reconstructionC/2010 International Conference on Computer Application and System Modeling (ICCASM 2010). 2010, 8.Abstract：Super-resolution image rec

11、onstruction is a technique to reconstruct high resolution image or video from a sequence of low resolution images. The super resolution method is summarized in this paper. The frequency domain method, non-uniform interpolation, POCS method, iterative back projection method, Bayesian approach, regula

12、rization method are both discussed for super-resolution image reconstruction.6 Yi Z, Quan Z. An improved method for POCS super-resolution image reconstructionC/Electronics, Communications and Control (ICECC), 2011 International Conference on. IEEE, 2011: 4150-4153.Abstract：Based on the analysis of t

13、he POCS restoration algorithm, a new method which could reduce the calculation quantity is proposed. The simulation results show that the new method has short runtime and keeps the same reconstruction quality compared with the original algorithm.7 Shen H, Li P, Zhang L, et al. A MAP algorithm to sup

14、er-resolution image reconstructionC/Multi-Agent Security and Survivability, 2004 IEEE First Symposium on. IEEE, 2004: 544-547.Abstract：The algorithm is based on theMAPframework, solving the optimization by proposed iteration steps. At each iteration step, the regularization parameter is updated usin

15、g the partially reconstructed image solved at the last step. The proposed algorithm is tested on synthetic images, and the reconstructed images are evaluated by the PSNR method. The results indicate that the proposed algorithm has considerable effectiveness in terms of both objective measurements an

16、d visual evaluation.88郑丽贤, 何小海, 吴炜, 等. 基于学习的超分辨率技术J. 计算机工程, 2008, 34(5): 193-195.【摘要】基于学习的超分辨率算法使用一个图像训练集来产生一个学习模型,运用该模型为输入的低分辨率图像创建更多的高频信息,获得比基于重建算法更好的结果。该文介绍了基于学习的超分辨率技术的相关工作、理论基础和主要算法,提出基于学习的超分辨率算法中仍需解决的关键问题,展望其在未来的研究发展方向。9裴仁静. 基于拉普拉斯金字塔的图像细节增强J. 计算机光盘软件与应用, 2012 (3): 168-168.【摘要】拉普拉斯金字塔被广泛地运用于到多

17、尺度的图像分解和图像分析中,但由于拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的,它被认为是不适合于应用到边缘保持平滑的感知操作中。为了解决这些问题,许多方法已被提出。虽然这些方法被证明是成功的,但他们常伴有较高的计算成本或是需要后期处理。我们算法是运用边缘像素值来区分大型边缘上的小规模细节。在这个结果的基础上,我们提出了一套图像过滤器,以实现图像的细节增强,我们做法的优势是算法的简单性和灵活性,并且不会降低边或引进光晕。10宋俊玲. 基于小波变换的图像超分辨率重建算法研究D. 燕山大学, 2010.【摘要】分析了第一代小波变换有不均匀采样和定义在有限区间上的难题,得出一种新的重构方法-

18、基于第二代小波变换的超分辨率重建算法,并对小波变换后的小波系数利用硬/软阈值降噪,通过模拟仿真分别利用不同的小波算法对图像序列进行了重构,并对实验结果进行了分析,比较。通过本文的研究,最终表明基于第二代小波的图像超分辨率重构算法保留了丰富的细节信息,提高了图像的分辨率,确认了该算法的可行性。11王宇, 吴炜, 严斌宇, 等. 基于 SVR 的人脸图像超分辨率复原算法J. 四川大学学报 (自然科学版), 2013, 4: 013.【摘要】本文针对目前大多数基于学习的超分辨率算法由于分类算法造成的量化误差的问题,提出了基于SVR的人脸图像超分辨率算法.算法首先分别提取训练库中高低分辨率图像块的高频

19、信息和中频信息(差分高斯特征,DoG)作为建立回归关系的特征,依据它们的关系(并考虑人脸的特殊性)使用SVR建立起回归模型.在复原时,将待复原的低分辨率图像的中频特征输入已经建立的SVR回归模型得到需要的高频信息.通过对亚洲人脸库(亚洲人为主)IMDB和Yale人脸库(欧美人为主)的实验结果表明,本文提出的方法对亚洲人脸和欧美人脸都能取得了较好的复原效果,复原的图像在主观的视觉效果和客观的峰值信噪比上都取得较好的结果.9五、相关论文12曹昆. 基于 Contourlet 变换的图像超分辨率重建算法研究D. 西安电子科技大学, 2010.【摘要】本论文的主要工作如下:(1)提出了基于Contou

20、rlet变换和SAI(Soft-decision adaptive interpolation)算法的单帧图像超分辨率重建方法。该方法利用Contourlet变换在图像处理中对图像的边缘信息和细节信息良好的捕捉特性,以及SAI算法在图像分辨率的增强过程中对图像细节信息良好的保持特性。实验仿真表明提出的算法具有较好的效果。通过对提出算法的分析,文章提出另一种基于Contourlet变换和SAI算法的单帧图像重建方法,低频修正的方法,仿真实验结果同样证明了该算法的合理性和可行性;(2)提出了基于Contourlet变换和POCS(Projection Onto Convex Set)相结合的序列图

21、像超分辨率重建方法。POCS是序列图像重建技术中的经典算法,该方法的优点是:可以方便地加入物体的先验信息,也可以很好地保持高分辨率图像的边缘和细节。因此提出的算法结合POCS的特点以及Contourlet变换在图像处理过程中的良好特性进行序列图像重建。通过实验仿真分析并与其它的算法进行对比可以看到提出的算法在主观视觉效果以及PSNR方面都具有较好的效果;(3)提出了基于Contourlet变换和图像融合技术相结合的序列图像超分辨率重建方法。图像融合是将两个或者两个以上的传感器获取的关于某个具体场景的图像信息加以综合,以生成一个新的有关此场景的解释,其主要目的是减少图像信息的不确定性,通过对多幅

22、图像间互补信息的处理来提高图像的清晰度。在此基础上提出了与Contourlet变换结合的序列图像重建方法。仿真实验结果并与其它算法的对比证明提出算法的合理性和可行性。13乔建苹. 基于独立分量分析的人脸超分辨率重建J. Computer Engineering, 2011, 37(3).【摘要】提出一种基于独立分量分析(ICA)的人脸超分辨率重建算法。该算法利用ICA从高分辨率训练图像中提取出独立分量,并对ICA系数进行先验估计。对于给定的低分辨率图像,结合最大后验概率估计求出ICA系数,进行ICA反变换得到高分辨率图像的近似估计,并利用局部结构张量对图像进行精化处理得到重建图像。仿真结果表明

23、,该算法在实现人脸超分辨率重建的同时保持了人脸整体结构特征,且对光照、表情、姿态等具有一定的鲁棒性,将重建结果用于人脸辨识,有效提高了辨识效率。14曹明明, 干宗良, 朱秀昌. 一种改进的局部线性嵌入超分辨率重建算法J. 南京邮电大学学报: 自然科学版, 2013 (1): 10-15.【摘要】提出了一种改进的局部线性嵌入超分辨率重建算法。该算法着重对局部线性嵌入超分辨率重建算法三个方面做了改进:特征选取,用图像块的DCT系数来取代图像块的1阶、2阶梯度作为图像块的特征描述,可以减弱噪声的影响;邻近块的数目,根据图像块与周围图像块的关系自适应的选取邻近块的数目,可以避免将距离较远的块选为邻近块

24、;样本库的训练过程,用高分辨率图像与低分辨率图像的残差图像作为高分辨率图像的训练样本,这样既可以避免低频分量的干扰,又可以减少在计算过程中的平滑次数。实验结果表明这种改进的算法比原算法的重建效果有了较大程度的提高:PSNR提高4.07 dB,SSIM提高0.065 4;比稀疏重建算法PSNR提高0.62 dB,SSIM提高0.006 6,而且用DCT系数作为图像块的特征表示,每一个图像块所需要提取的特征数比用1阶、2阶梯度减少了四分之三,降低了算法的复杂度。10五、相关论文六、基于重建和学习的超分辨率方法对比处理方法处理方法优点优点缺点缺点基于重建的超分辨率方法发展比较成熟，主要针对图像空间信息的增强和重建，在一些情况下取得了不错的效果（1）需要建立符合实际成像系统和成像条件的降质模型并对图像序列进行精确的亚像素运动估计，这在实际处理中都是非常困难的；（2）没有充分利用图像的先验信息；基于学习的超分辨率方法不仅可融入机器学习与模式识别的现有算法,还能通过选择学习模式有针对性地对目标类别进行恢复,使计算量减少,也使恢复结果更适合需要（1）需要大量学习样本；（2）学习训练时间相对较长；11七、频域和空域超分辨率方法对比处理方法处理方法算法算法机理机理可扩展性可扩展性运动模型运动模型退化模型退化模型先验