图像超分辨率重建文献综述课件

图像超分辨率重建文献综述图像超分辨率重建文献综述2012-12-19武汉大学图像处理与智能系统实验室2报告内容超分辨重建（SRR）的概念研究背景和意义超分辨重建的分类超分辨重建的方法人脸超分辨率重建下一步的研究计划2012-12-19武汉大学图像处理与智能系统实验室2报告内2012-12-19武汉大学图像处理与智能系统实验室3超分辨率重建由一幅低分辨率图像或图像序列得到高分辨率图像2012-12-19武汉大学图像处理与智能系统实验室3超分辨2012-12-19武汉大学图像处理与智能系统实验室4研究背景和意义图像获取的过程中受到几种典型因素的制约:①相机和摄影机的空间分辨率受成像光学系统和传感器制造工艺及成本的限制；②图像成像过程受到大气模糊、光学模糊、运动模糊、传感器模糊、干扰噪声、光学透镜扭曲变形、不满足奈奎斯特采样条件引起的频谱混叠等因素的影响；③图像在进行A/D转换和D/A转换时，不可避免地会带来失真和不同程度的退化。这些限制条件和影响因素导致获取的图像质量较差、分辨率不高。通过改造成像系统来提高系统的信息获取能力，受到工艺水平和硬件成本因素的限制，在实际应用中受到制约。图像超分辨率重建方法在保留现有硬件设备的基础上通过软件的方法达到提高图像分辨率的目的，是一种经济实用并且切实可行的方案，具有重要的应用价值和广阔的应用前景。2012-12-19武汉大学图像处理与智能系统实验室4研究背2012-12-19武汉大学图像处理与智能系统实验室5SRR分类Generic

SingleFramesImageClassImageNumberMethodDomainSpecificInterpolationbasedLearningbasedMultiFrameReconstructionbasedSpatialdomainFrequencyDomainFaceSRR2012-12-19武汉大学图像处理与智能系统实验室5SRR2012-12-19武汉大学图像处理与智能系统实验室6超分辨重建（SRR）的方法观测模型SRR方法基于重建的方法基于学习的方法2012-12-19武汉大学图像处理与智能系统实验室6超分辨2012-12-19武汉大学图像处理与智能系统实验室7图像失真模型2012-12-19武汉大学图像处理与智能系统实验室7图像失2012-12-19武汉大学图像处理与智能系统实验室8图像失真的数学描述移动模糊降采样观测模型（退化模型）2012-12-19武汉大学图像处理与智能系统实验室8图像失2012-12-19武汉大学图像处理与智能系统实验室9超分辨率重建的方法超分辨率的概念，最早于上个世纪60年代由Harris提出用于单张影像的复原，并奠定了超分辨率的数学基础。1984年，Tsai和Huang首次提出了利用多帧低分辨率退化图像进行超分辨率重建的问题，随后许多学者对图像超分辨率重建进行了研究，不仅在理论上说明了超分辨率重建的可能性，而且还提出和发展了很多具有实用价值的方法。从目前的研究和应用成果来看，超分辨率重建算法主要分为频域方法、传统空域重建方法、基于学习（leaning-Based）的方法。早期的研究工作主要集中在频域中进行，但考虑到更一般的退化模型，后期的研究工作几乎都集中在空域中进行。基于学习的超分辨率重建方法是最近十年发展起来的，不仅克服了基于重建的方法在分辨率提高倍数方面的局限性，而且可以实现单幅图像的超分辨率重建。基于重建的方法基于学习的方法2012-12-19武汉大学图像处理与智能系统实验室9超分辨2012-12-19武汉大学图像处理与智能系统实验室10基于重建的方法频域方法非均匀插值法迭代方向投影(IBP)凸集投影(POCS)法基于概率的方法正则化方法自适应滤波方法盲超分辨率重建2012-12-19武汉大学图像处理与智能系统实验室10基于2012-12-19武汉大学图像处理与智能系统实验室11频域法1984年，Tsai和Huang首次提出了序列图像的超分辨率重建问题，并给出了基于频域逼近的图像重建的方法，其观测模型是基于傅立叶变换的移位特性。该类方法主要是通过频域消混叠重建来恢复图像的高频分量。频域法的优点是理论简单，可并行处理。然而运动模型只考虑到全局运动，局限性大，并且很难引入图像的先验知识来进行高分辨率图像的重建。2012-12-19武汉大学图像处理与智能系统实验室11频域2012-12-19武汉大学图像处理与智能系统实验室12非均匀插值法2012-12-19武汉大学图像处理与智能系统实验室12非均2012-12-19武汉大学图像处理与智能系统实验室13处理流程图像运动估计图像合并像素映射到高分辨率格点进一步的去噪、抗糊化处理非均匀插值方法的计算负荷较小，需要假定所有低分辨率图像的噪声和模糊特征都是相同的，而且在图像复原阶段忽略了插值阶段的误差，因此重建效果不佳2012-12-19武汉大学图像处理与智能系统实验室13处理2012-12-19武汉大学图像处理与智能系统实验室14迭代方向投影法（IBP）迭代反向投影算法由Irani和Peleg于1991年提出，其基本思想是：将退化模型生成的低分辨率图像与输入的低分辨率图像之间的差值反向投影到高分辨率图像上,随着误差收敛,可以得到相应的超分辨率重建图像。IBP算法可以用如下公式来表示：该方法的特点是：直观、简单、收敛快；但没有惟一的解，难以利用先验知识，而且选择投影算子HBP是困难的2012-12-19武汉大学图像处理与智能系统实验室14迭代2012-12-19武汉大学图像处理与智能系统实验室15凸集投影算法(POCS)

凸集投影法是解决超分辨率问题的一类典型算法。Stark和Oskoui首次（1989）将POCS应用于超分辨率重建，但其采用的运动模型却假定图像获取时仅存在整体平移，且没有考虑运动模糊的效果。Patti等人（1997）提出了同时考虑混叠、传感器模糊、运动模糊和加性噪声的POCS方法。POCS方法中，超分辨率解空间中可行解的每一个限制条件（如非负性、能量有界性、观测数据一致性、局部光滑性等），都被定义为一个约束凸集，通过对代表高分辨率图像性质的约束集求交，即可迭代解得解空间。POCS的优点是可以方便地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节。缺点是解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高POCS算法收敛的稳定性，可以采用松弛投影算子，但松弛投影算子不利于保持图像的边缘和细节。2012-12-19武汉大学图像处理与智能系统实验室15凸集2012-12-19武汉大学图像处理与智能系统实验室16凸集映射符合条件2所有可能重构结果集合重构结果落在符合各个条件的集合交集符合条件1所有可能重构结果集合符合条件3所有可能重构结果集合凸集凸集对应的映射算子2012-12-19武汉大学图像处理与智能系统实验室16凸集2012-12-19武汉大学图像处理与智能系统实验室17基于概率的方法包括最大后验概率估计法(MAP)和最大似然估计法(ML)Schultz和Stevenson（1994）提出的MAP方法是典型的概率论方法，他们把高分辨率图像和观察得到的低分辨率图像当作两个不同的随机过程。根据MAP准则：使用条件概率对上式进行变形、取负对数并舍弃常数项，可得其中，高分辨率图像的先验模型可以由图像的先验知识确定，通常采用的MRF模型使图像的局部在光滑性和边缘保持上同时获得了比较好的效果，条件概率密度则由系统的噪声统计量确定MAP方法的优点在于有惟一解，如果有合理的先验假设可以获得非常好的图像边缘效果。但是其显著的缺点就在于计算量相对比较大。2012-12-19武汉大学图像处理与智能系统实验室17基于2012-12-19武汉大学图像处理与智能系统实验室18基于概率的方法Schulz和Stevenson（1994）使用了具有边缘保持能力的Huber-Markov先验来完成超分辨率的MAP估计。而Hardie等人（1997）首先考虑了图像配准参数和HR图像的联合MAP估计问题。ML方法可以看作没有先验知识的特殊MAP估计，但由于SR问题本身是病态的，通常应优先选择MAP估计。Tom和Katsaggelos（1995）提出了同时估计LR图像的亚像素位移、噪声方差和HR图像的ML方法，并通过EM算法求解。Schultz和Stevenson（1995）最早将MAP优化与投影约束相结合。Elad和Feuer（1997）提出了一种通用的最大似然估计／凸集投影（ML/POCS）超分辨率方法等。混合方法结合了各自的优点，能够充分利用先验知识，并且收敛的稳定性也有改善。

2012-12-19武汉大学图像处理与智能系统实验室18基于2012-12-19武汉大学图像处理与智能系统实验室19正则化方法

超分辨率重建本质上是一个病态的反问题，正则化方法利用先验信息对其进行约束，使超分辨率病态问题变成良态问题。确定性正则化方法最常见的是约束最小二乘法,它的基本思路就是寻找一个X来最小化拉格朗日算子,并且使得这个X尽可能接近原始高分辨率图像。其表达式如下：正则化算法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外，该算法的边缘保持能力不如凸集投影方法，由这类方法获得的高分辨率图像的细节容易被平滑掉。2012-12-19武汉大学图像处理与智能系统实验室19正则2012-12-19武汉大学图像处理与智能系统实验室20正则化方法

代表性的正则化超分辨率方法包括Hong等（1997）最早提出的基于Tikhonov正则化的超分辨率重建方法。Nguyen等人（2001）运用广义交叉有效算法更新正则化参数。Park等人（2004）把正则化方法用于基于DCT变换的压缩图像的超分辨率的重建。He等人（2007）同步进行图像配准和图像的超分辨率重建，引入基于总变分的正则化方法来解决高分辨率图像重建问题。

Capel等（2000）提出基于连续全变差模型(TotalVariation；TV)的文本序列图像SRR算法。Farsiu等人（2004）提出了一种结合Bilateral滤波和TV正则化的改进BTV正则化算子。此外，Kim等（2003）提出一种基于扩散张量的边缘增强和各向异性扩散变分SRR算法。2012-12-19武汉大学图像处理与智能系统实验室20正则2012-12-19武汉大学图像处理与智能系统实验室21Elad等（1999）首先提出了基于递归最陡下降法（R-SD）和递归最小均方法（R-LMS）的空域自适应滤波法的方法实现超分辨率重建。Alam等（2000）针对维纳滤波进行改进，采用了一种加权最近邻域结合维纳滤波的超分辨率方法。Hardie（2007）提出了基于自适应维纳滤波的方法,使用相邻的低分辨率图像像素的加权和来获得高分辨率图像。Callico等（2005）则实现了一种基于Philips多格式编解码平台的实时超分辨率重建方案，对内存要求很低。自适应滤波方法

自适应滤波方法的缺点是最优滤波方法不能包含先验知识,而且该方法不能包含非线性先验知识。2012-12-19武汉大学图像处理与智能系统实验室21El2012-12-19武汉大学图像处理与智能系统实验室22盲超分辨率重建

目前大部分超分辨率算法是假设已知模糊过程，然而在很多情况下，模糊过程至少是部分未知的。一个实用的超分辨率系统应该把模糊辨识融入到重建过程中，即盲超分辨率重建。Harikumar和Bresler（1999）在不考虑噪声的情况下,引入基于子空间和似然估计的方法求得模糊方程及其大小,最后通过盲去卷积方法重建原始高分辨率图像。Nguyen等人（2001）提出了基于GCV（GeneralizedCross-validation）和高斯积分的参数化模糊辨识和规整化方法。但是，将模糊函数假定为单参数的高斯函数不符合应用中的实际情况。乔建萍（2008）对盲超分辨率图像复原分别提出了基于矢量量化的模糊参数辨识方法以及基于支持向量机的方法。2012-12-19武汉大学图像处理与智能系统实验室22盲超2012-12-19武汉大学图像处理与智能系统实验室23基于学习的方法NN算法K-NN算法（Example-based方法）流形学习方法基于稀疏表示的方法幻想脸方法图像类推方法其他方法2012-12-19武汉大学图像处理与智能系统实验室23基于2012-12-19武汉大学图像处理与智能系统实验室24基于学习的超分辨率模型基于学习的超分辨重建方法的主旨思想是通过一定数量的训练样本图像，研究低分辨率图像和高分辨率图像之间的统计关系，并把它运用到从低分辨率图像到高分辨率图像的重建过程中。典型的基于学习的超分辨率模型可定义为：从高低分辨率样本图像中提取图像块作为训练样本库，其中是图像块的向量表示。超分辨率重建过程中，从输入低分辨率图像提取图像块，根据训练样本库，估计其高分辨率图像块。2012-12-19武汉大学图像处理与智能系统实验室24基于2012-12-19武汉大学图像处理与智能系统实验室25NN算法最近邻（NearestNeighboring，简称NN）搜索是最简单的算法，其基本思路是从样本库中穷举找出与输入低分辨率图像块最相似的图像块，并将其对应的作为的高频分量，这种方法相当于最大似然估计（Maximum-Likelihood，简称ML）问题，假设图像块满足正态分布，，则从低分辨率输入图像中提取的图像块，其最大似然估计可表示为下列目标函数的最小化问题：（1）这种方法简单、直接，但只考虑到样本图像块本身的局部特征信息，稳定性很差。2012-12-19武汉大学图像处理与智能系统实验室25NN2012-12-19武汉大学图像处理与智能系统实验室26K-NN算法（Example-based方法）

为提高NN算法的鲁棒性，Freeman等(2002)提出一种马尔可夫网络（MarkovNetwork）模型，采用马尔可夫网络学习样本库中低分辨率图像块与高分辨图像块的对应关系，再利用学习到的关系估计图像的细节信息，该方法开创了基于学习的超分辨率重建研究的先河。该算法将图像块作为马尔可夫网络上的一个节点，并假定节点间在统计量上相互独立，生成训练库，最终应用传播算法求解马尔可夫网络问题，这种模型相当于最大后验概率问题，在公式(1)基础上加入先验约束，加强相邻图像块间匹配约束，其目标函数为：（2）其中表示图像块与其相邻快的重叠区域2012-12-19武汉大学图像处理与智能系统实验室26K-2012-12-19武汉大学图像处理与智能系统实验室27K-NN算法（Example-based方法）Example-based方法是较早提出使用学习的方法实现超分辨率，相对于之前的基于插值和基于重建的方法，这种方法可以获取丰富的高频信息，在放大4倍时，仍能获得较高的图像质量。但缺点也比较明显，训练样本的选择要求比较高，并且对于图像中的噪声极为敏感。2012-12-19武汉大学图像处理与智能系统实验室27K-2012-12-19武汉大学图像处理与智能系统实验室28流形学习（邻域嵌入）方法相对NN算法，K-NN提高了最终估计值的鲁棒性，但它只是从K个样本中选取一个作为最终估计值。Chang等人(2004)对此进行了改进，将K个优选结果进行加权组合：并采用局部线性嵌入（LocalLinearEmbedding，简称LLE）的流形学习（ManifoldLearning）算法对加权系数进行估计，假设图像中频分量m和高频分量h有相同的局部相关性，高频图像块的估计可以从低分辨率图像块估计的加权系数进行计算：加权系数的优化问题可表示为：（3）当考虑重建误差时，公式(3)的估计结果并不是最优的；同时LLE算法性能受K个优选样本质量的影响，并且没有充分利用其它样本中所包含的先验信息。相对于K-NN的方法，邻域嵌入的方法需要较少的训练样本，并且对于噪声的敏感度不是非常强，重建结果具有块效应。2012-12-19武汉大学图像处理与智能系统实验室28流形2012-12-19武汉大学图像处理与智能系统实验室29基于稀疏表示的方法根据稀疏信号表示理论，设是一个包含K个原子的过完备字典，信号可表示为基于字典D的稀疏线性组合，记作，其中，矢量是一个列向量，仅含有少数（）非零元素。这种方法克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基的个数将同时通过线性规划求解得到。然而，目前该方法的缺陷就在于过完备词典的选择，随机的选择只能实现特定领域的图像的超分辨率，对于通用图像的超分辨率效果较差。outputhigh-reslutionpatchhigh-resolutiondictionaryforsomewithTheinputlow-resolutionpatchsatisfies2012-12-19武汉大学图像处理与智能系统实验室29基于2012-12-19武汉大学图像处理与智能系统实验室30幻想脸方法在人脸超分辨率重建方面，知名学者Baker和Kanade(1999)第一次提出幻想脸（FaceHallucination）的思想，通过利用以金字塔形式组织的正面人脸图像的梯度分布先验，在最大后验概率的框架下完成超分辨率重建。由于重建过程是逐像素进行的，因此容易缺失一些人脸的全局性约束，如对称性和亮度的一致性等。2012-12-19武汉大学图像处理与智能系统实验室30幻想2012-12-19武汉大学图像处理与智能系统实验室31图像类推方法Hertzmann等人(2001)提出了一种图像类推(imageanalogies)的超分辨率算法，该方法分为两个阶段：在“设计”阶段需要提供一个图像对作为训练数据，其中一幅被看作另一幅的滤波版本；在“应用”阶段，从设计阶段中学习到的滤波器被运用到新的图像上，从而得到一个相似的滤波结果。图像类推实际上是基于一个多尺度自回归模型的。AA‘BB’

程倩倩等（2011）提出了一种自类推的单幅图像超分辨重建方法，摆脱了一般方法对训练集合的依赖性。2012-12-19武汉大学图像处理与智能系统实验室31图像2012-12-19武汉大学图像处理与智能系统实验室32其他方法Karl等（2007）和Nguyen（2010）提出支持向量回归（SupportVectorRegression，简称SVR）的超分辨率方法。他们通过加入一些额外的约束条件把kernel学习由半正定规划问题转化为二次规划问题求解。对于测试数据，则先对图像patch进行内容分类，再在其所属的类中做支持向量回归，得到高分辨率patch。SVR方法可实现对样本的自动选择，训练集较小，并且该算法在频域中同样适用。但是从实验结果来看，图像的对比度有所下降。Kim等（2010）将稀疏回归（SparseRegression）模型应用于单帧图像的超分辨率重建，结合稀疏编码和核岭回归（KernelRidgeRegression，简称KRR）的方法，更好地对高、低分辨率图像样本进行组织，取得了比较好的效果。2012-12-19武汉大学图像处理与智能系统实验室32其他图像超分辨率重建文献综述图像超分辨率重建文献综述2012-12-19武汉大学图像处理与智能系统实验室34报告内容超分辨重建（SRR）的概念研究背景和意义超分辨重建的分类超分辨重建的方法人脸超分辨率重建下一步的研究计划2012-12-19武汉大学图像处理与智能系统实验室2报告内2012-12-19武汉大学图像处理与智能系统实验室35超分辨率重建由一幅低分辨率图像或图像序列得到高分辨率图像2012-12-19武汉大学图像处理与智能系统实验室3超分辨2012-12-19武汉大学图像处理与智能系统实验室36研究背景和意义图像获取的过程中受到几种典型因素的制约:①相机和摄影机的空间分辨率受成像光学系统和传感器制造工艺及成本的限制；②图像成像过程受到大气模糊、光学模糊、运动模糊、传感器模糊、干扰噪声、光学透镜扭曲变形、不满足奈奎斯特采样条件引起的频谱混叠等因素的影响；③图像在进行A/D转换和D/A转换时，不可避免地会带来失真和不同程度的退化。这些限制条件和影响因素导致获取的图像质量较差、分辨率不高。通过改造成像系统来提高系统的信息获取能力，受到工艺水平和硬件成本因素的限制，在实际应用中受到制约。图像超分辨率重建方法在保留现有硬件设备的基础上通过软件的方法达到提高图像分辨率的目的，是一种经济实用并且切实可行的方案，具有重要的应用价值和广阔的应用前景。2012-12-19武汉大学图像处理与智能系统实验室4研究背2012-12-19武汉大学图像处理与智能系统实验室37SRR分类Generic

SingleFramesImageClassImageNumberMethodDomainSpecificInterpolationbasedLearningbasedMultiFrameReconstructionbasedSpatialdomainFrequencyDomainFaceSRR2012-12-19武汉大学图像处理与智能系统实验室5SRR2012-12-19武汉大学图像处理与智能系统实验室38超分辨重建（SRR）的方法观测模型SRR方法基于重建的方法基于学习的方法2012-12-19武汉大学图像处理与智能系统实验室6超分辨2012-12-19武汉大学图像处理与智能系统实验室39图像失真模型2012-12-19武汉大学图像处理与智能系统实验室7图像失2012-12-19武汉大学图像处理与智能系统实验室40图像失真的数学描述移动模糊降采样观测模型（退化模型）2012-12-19武汉大学图像处理与智能系统实验室8图像失2012-12-19武汉大学图像处理与智能系统实验室41超分辨率重建的方法超分辨率的概念，最早于上个世纪60年代由Harris提出用于单张影像的复原，并奠定了超分辨率的数学基础。1984年，Tsai和Huang首次提出了利用多帧低分辨率退化图像进行超分辨率重建的问题，随后许多学者对图像超分辨率重建进行了研究，不仅在理论上说明了超分辨率重建的可能性，而且还提出和发展了很多具有实用价值的方法。从目前的研究和应用成果来看，超分辨率重建算法主要分为频域方法、传统空域重建方法、基于学习（leaning-Based）的方法。早期的研究工作主要集中在频域中进行，但考虑到更一般的退化模型，后期的研究工作几乎都集中在空域中进行。基于学习的超分辨率重建方法是最近十年发展起来的，不仅克服了基于重建的方法在分辨率提高倍数方面的局限性，而且可以实现单幅图像的超分辨率重建。基于重建的方法基于学习的方法2012-12-19武汉大学图像处理与智能系统实验室9超分辨2012-12-19武汉大学图像处理与智能系统实验室42基于重建的方法频域方法非均匀插值法迭代方向投影(IBP)凸集投影(POCS)法基于概率的方法正则化方法自适应滤波方法盲超分辨率重建2012-12-19武汉大学图像处理与智能系统实验室10基于2012-12-19武汉大学图像处理与智能系统实验室43频域法1984年，Tsai和Huang首次提出了序列图像的超分辨率重建问题，并给出了基于频域逼近的图像重建的方法，其观测模型是基于傅立叶变换的移位特性。该类方法主要是通过频域消混叠重建来恢复图像的高频分量。频域法的优点是理论简单，可并行处理。然而运动模型只考虑到全局运动，局限性大，并且很难引入图像的先验知识来进行高分辨率图像的重建。2012-12-19武汉大学图像处理与智能系统实验室11频域2012-12-19武汉大学图像处理与智能系统实验室44非均匀插值法2012-12-19武汉大学图像处理与智能系统实验室12非均2012-12-19武汉大学图像处理与智能系统实验室45处理流程图像运动估计图像合并像素映射到高分辨率格点进一步的去噪、抗糊化处理非均匀插值方法的计算负荷较小，需要假定所有低分辨率图像的噪声和模糊特征都是相同的，而且在图像复原阶段忽略了插值阶段的误差，因此重建效果不佳2012-12-19武汉大学图像处理与智能系统实验室13处理2012-12-19武汉大学图像处理与智能系统实验室46迭代方向投影法（IBP）迭代反向投影算法由Irani和Peleg于1991年提出，其基本思想是：将退化模型生成的低分辨率图像与输入的低分辨率图像之间的差值反向投影到高分辨率图像上,随着误差收敛,可以得到相应的超分辨率重建图像。IBP算法可以用如下公式来表示：该方法的特点是：直观、简单、收敛快；但没有惟一的解，难以利用先验知识，而且选择投影算子HBP是困难的2012-12-19武汉大学图像处理与智能系统实验室14迭代2012-12-19武汉大学图像处理与智能系统实验室47凸集投影算法(POCS)

凸集投影法是解决超分辨率问题的一类典型算法。Stark和Oskoui首次（1989）将POCS应用于超分辨率重建，但其采用的运动模型却假定图像获取时仅存在整体平移，且没有考虑运动模糊的效果。Patti等人（1997）提出了同时考虑混叠、传感器模糊、运动模糊和加性噪声的POCS方法。POCS方法中，超分辨率解空间中可行解的每一个限制条件（如非负性、能量有界性、观测数据一致性、局部光滑性等），都被定义为一个约束凸集，通过对代表高分辨率图像性质的约束集求交，即可迭代解得解空间。POCS的优点是可以方便地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节。缺点是解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高POCS算法收敛的稳定性，可以采用松弛投影算子，但松弛投影算子不利于保持图像的边缘和细节。2012-12-19武汉大学图像处理与智能系统实验室15凸集2012-12-19武汉大学图像处理与智能系统实验室48凸集映射符合条件2所有可能重构结果集合重构结果落在符合各个条件的集合交集符合条件1所有可能重构结果集合符合条件3所有可能重构结果集合凸集凸集对应的映射算子2012-12-19武汉大学图像处理与智能系统实验室16凸集2012-12-19武汉大学图像处理与智能系统实验室49基于概率的方法包括最大后验概率估计法(MAP)和最大似然估计法(ML)Schultz和Stevenson（1994）提出的MAP方法是典型的概率论方法，他们把高分辨率图像和观察得到的低分辨率图像当作两个不同的随机过程。根据MAP准则：使用条件概率对上式进行变形、取负对数并舍弃常数项，可得其中，高分辨率图像的先验模型可以由图像的先验知识确定，通常采用的MRF模型使图像的局部在光滑性和边缘保持上同时获得了比较好的效果，条件概率密度则由系统的噪声统计量确定MAP方法的优点在于有惟一解，如果有合理的先验假设可以获得非常好的图像边缘效果。但是其显著的缺点就在于计算量相对比较大。2012-12-19武汉大学图像处理与智能系统实验室17基于2012-12-19武汉大学图像处理与智能系统实验室50基于概率的方法Schulz和Stevenson（1994）使用了具有边缘保持能力的Huber-Markov先验来完成超分辨率的MAP估计。而Hardie等人（1997）首先考虑了图像配准参数和HR图像的联合MAP估计问题。ML方法可以看作没有先验知识的特殊MAP估计，但由于SR问题本身是病态的，通常应优先选择MAP估计。Tom和Katsaggelos（1995）提出了同时估计LR图像的亚像素位移、噪声方差和HR图像的ML方法，并通过EM算法求解。Schultz和Stevenson（1995）最早将MAP优化与投影约束相结合。Elad和Feuer（1997）提出了一种通用的最大似然估计／凸集投影（ML/POCS）超分辨率方法等。混合方法结合了各自的优点，能够充分利用先验知识，并且收敛的稳定性也有改善。

2012-12-19武汉大学图像处理与智能系统实验室18基于2012-12-19武汉大学图像处理与智能系统实验室51正则化方法

超分辨率重建本质上是一个病态的反问题，正则化方法利用先验信息对其进行约束，使超分辨率病态问题变成良态问题。确定性正则化方法最常见的是约束最小二乘法,它的基本思路就是寻找一个X来最小化拉格朗日算子,并且使得这个X尽可能接近原始高分辨率图像。其表达式如下：正则化算法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外，该算法的边缘保持能力不如凸集投影方法，由这类方法获得的高分辨率图像的细节容易被平滑掉。2012-12-19武汉大学图像处理与智能系统实验室19正则2012-12-19武汉大学图像处理与智能系统实验室52正则化方法

代表性的正则化超分辨率方法包括Hong等（1997）最早提出的基于Tikhonov正则化的超分辨率重建方法。Nguyen等人（2001）运用广义交叉有效算法更新正则化参数。Park等人（2004）把正则化方法用于基于DCT变换的压缩图像的超分辨率的重建。He等人（2007）同步进行图像配准和图像的超分辨率重建，引入基于总变分的正则化方法来解决高分辨率图像重建问题。

Capel等（2000）提出基于连续全变差模型(TotalVariation；TV)的文本序列图像SRR算法。Farsiu等人（2004）提出了一种结合Bilateral滤波和TV正则化的改进BTV正则化算子。此外，Kim等（2003）提出一种基于扩散张量的边缘增强和各向异性扩散变分SRR算法。2012-12-19武汉大学图像处理与智能系统实验室20正则2012-12-19武汉大学图像处理与智能系统实验室53Elad等（1999）首先提出了基于递归最陡下降法（R-SD）和递归最小均方法（R-LMS）的空域自适应滤波法的方法实现超分辨率重建。Alam等（2000）针对维纳滤波进行改进，采用了一种加权最近邻域结合维纳滤波的超分辨率方法。Hardie（2007）提出了基于自适应维纳滤波的方法,使用相邻的低分辨率图像像素的加权和来获得高分辨率图像。Callico等（2005）则实现了一种基于Philips多格式编解码平台的实时超分辨率重建方案，对内存要求很低。自适应滤波方法

自适应滤波方法的缺点是最优滤波方法不能包含先验知识,而且该方法不能包含非线性先验知识。2012-12-19武汉大学图像处理与智能系统实验室21El2012-12-19武汉大学图像处理与智能系统实验室54盲超分辨率重建

目前大部分超分辨率算法是假设已知模糊过程，然而在很多情况下，模糊过程至少是部分未知的。一个实用的超分辨率系统应该把模糊辨识融入到重建过程中，即盲超分辨率重建。Harikumar和Bresler（1999）在不考虑噪声的情况下,引入基于子空间和似然估计的方法求得模糊方程及其大小,最后通过盲去卷积方法重建原始高分辨率图像。Nguyen等人（2001）提出了基于GCV（GeneralizedCross-validation）和高斯积分的参数化模糊辨识和规整化方法。但是，将模糊函数假定为单参数的高斯函数不符合应用中的实际情况。乔建萍（2008）对盲超分辨率图像复原分别提出了基于矢量量化的模糊参数辨识方法以及基于支持向量机的方法。2012-12-19武汉大学图像处理与智能系统实验室22盲超2012-12-19武汉大学图像处理与智能系统实验室55基于学习的方法NN算法K-NN算法（Example-based方法）流形学习方法基于稀疏表示的方法幻想脸方法图像类推方法其他方法2012-12-19武汉大学图像处理与智能系统实验室23基于2012-12-19武汉大学图像处理与智能系统实验室56基于学习的超分辨率模型基于学习的超分辨重建方法的主旨思想是通过一定数量的训练样本图像，研究低分辨率图像和高分辨率图像之间的统计关系，并把它运用到从低分辨率图像到高分辨率图像的重建过程中。典型的基于学习的超分辨率模型可定义为：从高低分辨率样本图像中提取图像块作为训练样本库，其中是图像块的向量表示。超分辨率重建过程中，从输入低分辨率图像提取图像块，根据训练样本库，估计其高分辨率图像块。2012-12-19武汉大学图像处理与智能系统实验室24基于2012-12-19武汉大学图像处理与智能系统实验室57NN算法最近邻（NearestNeighboring，简称NN）搜索是最简单的算法，其基本思路是从样本库中穷举找出与输入低分辨率图像块最相似的图像块，并将其对应的作为的高频分量，这种方法相当于最大似然估计（Maximum-Likelihood，简称ML）问题，假设图像块满足正态分布，，则从低分辨率输入图像中提取的图像块，其最大似然估计可表示为下列目标函数的最小化问题：（1）这种方法简单、直接，但只考虑到样本图像块本身的局部特征信息，稳定性很差。2012-12-19武汉大学图像处理与智能系统实验室25NN2012-12-19武汉大学图像处理与智能系统实验室58K-NN算法（Example-based方法）

为提高NN算法的鲁棒性，Freeman等(2002)提出一种马尔可夫网络（MarkovNetwork）模型，采用马尔可夫网络学习样本库中低分辨率图像块与高分辨图像块的对应关系，再利用学习到的关系估计图像的细节信息，该方法开创了基于学习的超分辨率重建研究的先河。该算法将图像块作为马尔可夫网络上的一个节点，并假定节点间在统计量上相互独立，生成训练库，最终应用传播算法求解马尔可夫网络问题，这种模型相当于最大后验概率问题，在公式(1)基础上加入先验约束，加强相邻图像块间匹配约束，其目标函数为：（2）其中表示图像块与其相邻快的重叠区域2012-12-19武汉大学图像处理与智能系统实验室26K-2012-12-19武汉大学图像处理与智能系统实验室59K-NN算法（Example-based方法）Example-based方法是较早提出使用学习的方法实现超分辨率，相对于之前的基于插值和基于重建的方法，这种方法可以获取丰富的高频信息，在放大4倍时，仍能获得较高的图像质量。但缺点也比较明显，训练样本的选择要求比较高，并且对于图像中的噪声极为敏感。2012-12-19武汉大学图像处理与智能系统实验室27K-2012-12-19武汉大学图像处理与智能系统实验室60流形学习（邻域嵌入）方法相对NN算法，K-NN提高了最终估计值的鲁棒性，但它只是从K个样本中选取一个作为最终估计值。Chang等人(2004)对此进行了改进，将K个优选结果进行加权组合：并采用局部线性嵌入（LocalLinearEmbedding，简称LLE）的流形学习（ManifoldLearning）算法对加