计算机视觉应用开发课件：超分辨率重建技术

超分辨率重建技术基于传统的超分辨率技术01任务基于深度学习的超分辨率技术02任务学习目标掌握基于传统的图像超分辨率技术了解基于深度学习图像超分辨率技术1基于传统的超分辨率技术1基于传统的超分辨率技术图像超分辨率技术的主要任务是生成真实、清晰且人为痕迹尽可能少的高分辨率图像，根据输入输出的不同，其定义有所区别，主要可分为三类：1、多图像超分辨率：多图像超分辨率方法利用多幅LR（低分辨率）图像得到一幅真实且清晰的HR（高分辨率）图像，主要采用基于重建的算法，即试图通过模拟图像形成模型来解决LR图像中的混叠伪像问题。多图像超分辨率重建算法根据重建过程所在域不同可分为频域法和空域法。2、视频超分辨率：视频超分辨率输入的是一个视频序列，该技术不仅可以提高视频中每一帧的分辨率，还可以利用算法在时域中增加图像帧的数目，从而达到提高视频整体质量的目的。视频超分辨率方法可以分为以下两大类：一是增量视频超分辨率方法；二是同时视频超分辨率方法。1基于传统的超分辨率技术3、单图像超分辨率：单图像超分辨率输入的是一幅LR图像，仅利用一幅LR图像来重建得到HR图像。目前传统的单幅图像超分辨率方法主要分为三类，即基于插值的图像超分辨率算法、基于重建模型的图像超分辨率算法和基于学习的图像超分辨率算法。其次还有一些基于深度学习的图像超分辨率方法也取得不错的重建效果。本单元主要对单图像超分辨率重建技术进行介绍，下面将对其方法进行简要介绍。1基于传统的超分辨率技术基于传统的超分辨率技术大致课分为三类：（1）基于插值的超分辨率重建：基于插值的单图像超分辨率算法利用基函数或插值核来逼近损失的图像高频信息，从而实现HR图像的重建。将图像上每个像素都看作是图像平面上的一个点，那么对超分辨率图像的估计可以看作是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。但是在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。1基于传统的超分辨率技术（2）基于退化模型的超分辨率重建

从图像的降质退化模型出发，假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的方法包括迭代反投影法、凸集投影法和最大后验概率法等。（3）基于学习的超分辨率重建

基于学习的方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码方法。2基于深度学习的超分辨率技术2基于深度学习的超分辨率技术超分辨率的研究工作中，传统超分辨率重建方法主要依赖于约束项的构造以及图像之间配准的精确度达到重建效果，但其不适用于放大倍数较大的超分辨率重建。随着放大因子的增大，人为定义的先验知识和观测模型所能提供的用于超分辨率重建的信息越来越少，即使增加LR图像的数量，亦难以达到重建高频信息的目的。深度学习的出现解决了传统超分辨率技术中的许多瓶颈问题，在近几年取得了巨大的成功。目前，越来越多具有深度学习功能的超分辨率模型被提出，根据是否依赖于LR图像和对应的HR图像训练网络模型，可以粗略地将其分为有监督的超分辨率和无监督的超分辨率，由于有监督的超分辨率技术能够取得较好的重建效果，是目前研究的主流方向。2基于深度学习的超分辨率技术基于深度学习的超分辨率方法中关键是建立学习模型，即神经网络框架。常见的基于深度学习的超分辨重建技术有SRCNN，在SRCNN基础上改进的FSRCNN，ESPCN，VDSR等。对于上一单元提及的对抗生成网络，不仅仅可以将其用作图像的风格转换