第12组题_图像超分辨率_第七组汇报

1、图像(t xin)超分辨率技术Image SuperResolution小组(xioz)成员： 20132112 任万盛 20132216 周子轩共十六页 图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。 图像超分辨率技术分为超分辨率复原和超分辨率重建(zhn jin)。 目前， 图像超分辨率研究可分为 3个主要范畴: 基于插值、 基于重建和基于学习的方法.概述(i sh)共十六页 图像(t xin)超分辨率示意图共十六页基于插值的超分辨率技术： 基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。这类方法首先估计各帧图像之间的相对运动信息，获得HR图像在非均匀间距采样点上

2、的像素(xin s)值，接着通过非均匀插值得到HR栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括：Rajan和Chaudhuri通过分解、插值和融合3个步骤实现的通用插值方法；TAOHJ等提出的小波域的双线性插值；Lertrattanapanich和Bose提出的使用基于光滑性约束的Delaunay三角化插值算法等。这类方法的优点是算法快速易行，适合并行计算，基本可以满足实时要求，但因为不能引入额外有用的高频信息，因而很难在SR图像中得到锐化的效果，同时，也没有考虑到LR图像的像素值并不是HR图像的理想采样值，而是对HR图像像素值的空间平均和卷积效应这一事实。共十六页

3、理想(lxing)插值最近邻插值四点三次插值六点双三次插值共十六页基于重建的超分辨率技术： 基于重建的超分辨率方法的基础是均衡及非均衡采样定理。它假设低分辨率的输入采样信号(图像) 能很好地预估出原始的高分辨率信号(图像)。绝大多数超分辨率算法都属于这一类，其中主要包括频域法和空域法。 频率域方法是图像超分辨率重建中一类重要方法，其中最主要的是消混叠重建方法。消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原，最早的研究工作是由 Tsai 和 Huang在 1984 年进行的。在原始场景信号带宽有限的假设下，利用离散傅立叶变换和连续傅立叶变换之间的平移、混叠性质，给出了一个由一系

4、列欠采样观察(gunch)图像数据复原高分辨率图像的公式。多幅观察(gunch)图像经混频而得到的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来，方程组的解就是原始图像的频率域系数，再对频率域系数进行傅立叶逆变换就可以实现原始图像的准确复原。共十六页 在空域类方法中，其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样等内容。空域方法具有很强的包含空域先验约束的能力(nngl)，主要包括非均匀空间样本内插、迭代反投影方法、凸集投影法、最大后验概率以及混合 MAP/ POCS 方法、最优和自适应滤波方法、确定性重建方法等。共十六页频

5、域方法通过在频率域消除频谱而改善图像的空间分辨率。基于傅里叶变换的移位(y wi)特性； (Tsai andHuang)考虑光学系统的点扩展函数和噪声的影响；（Tekalp）估计帧间整体平移参数的解算方法；(Kaltenbacker and Hardie)用递归最小二乘对对Tsai公式中的混叠矩阵进行求解。由于频率域方法只能应用于全局平移和线性空间不变降质模型，并且它对空间域先验的能力不足，缺少灵活性，所以目前这类方法已经不再是研究的热点。共十六页空域方法非均匀样本内插法（Non-uniform interpolation）；迭代反投影方法（Iterative Back Projection

6、, IBP）;凸影投影法（Projection onto Convex Set, POCS）;最大后验概率估计（Maximum a Posteriori ,MAP）;混合Map/POCS方法；自适应(shyng)滤波方法；共十六页基于学习的超分辨率技术 基于学习的方法是近年来超分辨率算法研究中的热点，它采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得(hud)的先验知识，以得到图像的高频细节，获得(hud)较好的图像恢复效果。 基于学习的超分辨率方法中关键是建立学习模型，获得先验知识。常用的学习模型有马尔科夫随机场模型、图像金字塔模型、神经网络模

7、型、主成分分析模型等。基于学习的方法充分利用了图像本身的先验知识，在不增加输入图像样本数量的情况下仍能产生高频细节，获得比基于重建方法更好的复原结果，并能较好的应用于人脸和文字等图像的复原。共十六页具体步骤为：（1）将高分辨率图像按照降质模型进行降质，产生(chnshng)训练集。（2）根据高分辨率图像的低频部分和高频部分对应关系对图像分块，通过一定算法进行学习，获得先验知识，建立学习模型。（3）以输入的低分辨率块为依据，在建立好的训练集中搜索最匹配的高频块。共十六页(1)生物医学成像: 核磁共振成像等；(2)卫星成像：遥感、遥测、军事(jnsh)侦察等；(3)视频监控(4)视频格式转换(5)

8、视频增强和复原：老旧电影的翻制等；(6)显微成像、虚拟现实等超分辨率重建技术(jsh)应用共十六页存在(cnzi)的问题 目前，图像超分辨率重建的研究比较成熟，但距离实用还有较大差距。未来研究方向主要集中在以下几个方面： 发展和寻求新的退化模型，使成像模型更加精确和全面，实现对点扩散函数和噪声的精确估计。图像超分辨率增强的成功依赖于准确的、符合实际成像系统特性和成像条件的降模型，而要获得符合实际成像过程的降质模型是十分困难的，通常采用简单、确定的降质模型进行近似，这样的近似模型与实际成像过程差距较大。 压缩域的超分辨率重建。传统的超分辨率算法都是针对图像序列，而实际中最常见的图像序列是视频文件

9、。因而下一步的工作可以针对不同的视频压缩格式和编解码技术，在超分辨率算法中综合考虑成像模型和压缩算法带来的图像降质效果，以及运动补偿(bchng)和编码传输机制，实现压缩域的超分辨率重建。共十六页 效率和鲁棒性问题。目前的超分辨率算法具有很高的计算复杂度，如何减少计算量，提高算法速度，是下一步值得研究问题。同时，在目前很多算法中都做了各种假设，如照度变等，这在实际应用中是很难满足的，因此需要研究稳健的算法满足实际应用的需要。 模糊图像和三维图像的超分辨率研究。模糊一直是图像处理中的一个难点，如何对模糊图像进行超分辨率需要进一步研究。目前针对三维图像的超分辨率研究还很少，如何对三维图像进行建模也是一个值得研究的课题。 超分辨率客观评价标准研究。目前对于图像超分辨率结果主要依靠人的主观评价，缺少一种客观的评价标准，现有的PSNR、MSE等并不能很好的反映超分辨率效果(xiogu)，需要发展一种客观的评价机制。共十六页 谢 谢 ！共十六页内容摘要图像超分辨率技术。TAOHJ等提出的小波域的双线性插值。Lertrattanapanich和Bose提出的使用基于光滑性约束的Delaunay三角化插值算法等。基于重建的超分辨率方法的基础是均衡