图像超分辨率重建和插值算法研究

图像超分辨率重建和插值算法研究

超分辨率重建的背景和意义

图像的高分辨率是指着图像含有的像素密度高，能提供丰富的细节信息，对客观场景的描述更准确细致。

高分辨率图像在信息时代的需求非常广泛，诸如卫星遥感图像、视频安全监控、军事侦查航拍领域、医学数字影像和视频标准转换等领域都具有十分重要的应用。

上世纪70年代，CMOS和电荷耦合元件CCD（Charge-coupleddevice）做为图像传感器已广泛用于获取数字图像。通常情况，图像传感器均能获得较好的质量，但在特殊场合，受到诸多因素影响，导致图像质量下降。如图像采集获取过程中：成像环境、成像距离、传感器形状和大小、光学系统的误差、空气扰动、物体运动、镜头散焦的影响。

图像数字化处理过程中：成像、转换、编码、压缩、存储都会影响到图像的分辨率。另外，还有成像噪声、电气噪声、系统噪声的叠加。所以实际应用中，无法按照理想状况实现，存在的这些因素，必然影响图像的质量，获得较高质量的图像分辨率也是相当困难的。理论上，获得高分辨率只要增加成像系统的个数，最直接的方法是，通过传感器制造技术减小像素尺寸，增加单位面积的成像点阵就可以解决问题。

综上，由于技术水平和经济条件的限制，使得成像传感器和光学器件的性能指标可能无法满足应用的需要，因此，需要采用信号处理方法提高图像分辨率。经典图像插值算法可以提高图像分辨率，包括最近邻插值、线性插值、双三次插值、样条插值，但只是可以增加图像的像素尺寸，改变图像的视觉效果，不能突破原有的信息量。因此，需要有一种新的方法来克服信息量不足的问题。

近年来，根据所观测到的多幅低分辨率的图像，运用软件技术手段，通过信号处理方法，提高图像分辨率的技术已成为图像研究领域的热点之一，显示出极大的现实意义和应用价值。这个信号处理过程通常包括两个步骤：首先图像配准，即估计低分辨率图像之间亚像素级别的相对位移；其次图像融合，将多幅低分辨率图像融合成一幅高分辨率图像。这种解决图像分辨率提高问题的有效办法被称为图像超分辨率重建（Super-resolutionReconstruction,SRR）。

超分辨率重建过程中，由于低分辨率图像序列往往受光学模糊、运动模糊、噪声以及混叠因素的影响，所以超分辨率重建技术涵盖图像复原技术。二者的区别是图像复原技术是在不改变图像尺寸的情况下恢复一幅图像，所以图像复原技术和图像超分辨率重建具有相当紧密的联系，可认为图像超分辨率重建是在理论上的第二代图像复原问题。研究图像超分辨率重建技术一方面理具有重要的理论意义，推动图像复原技术的进一步发展；另一方面具有重要的实践意义，克服光学成像系统硬件方面的局限性，某些场合下仍然可以继续使用原有的低分辨率成像系统，在较小数据量传输的情况下，获得满足特定分辨率要求的图像。超分辨率重建的综述和现状

国外，近20多年来，在众多科研工作者的不断探索与研究下,形成了几种较为成熟的图像SRR算法理论，研究主要是在降质过程模型、运动估计、算法性能等方面，图像SRR也在实际中得到应用。

欧洲航天局的“火星快车”探测器携带的立体照相机拍摄到了高清晰的火星峡谷图片。

美国宇航局的火星勘测轨道器携带的高分辨率成像科学实验摄像仪拍摄了数千张火星表面奇特、迷人而又壮观景象的照片，以供科学研究。下一代火星探测机器人“好奇者”将于2011年发射升空，总部设在圣地亚哥的马林空间科学系统（MalinSpaceScienceSystems）正在研制的3D摄影机，预计将挂载在机器人头顶上。

另外，TopazLabs已经将图像和影像的增强技术软件商业化应用。LCAV（AudiovisualCommunicationsLaboratory）开发了在MAC和XP操作系统下的SRR程序。其他一些视频网站已公开出售增强视频流分辨率的软件插件等。

国内，中科院自动化研究所、武汉大学、哈尔滨工业大学、香港中文大学等在SRR领域的研究上比较活跃，为图像重建相关领域的研究和发展做出了巨大贡献，其中一部分是关于图像频谱外推、混叠效应消除的研究；另一部分是关于SRR算法的改进，例如MAP算法和POCS算法的改进，对小波域隐马尔可夫树

（HMT）模型SRR方法的改进，对SRR插值方法的改进，以及对SRR重构方法的改进。超分辨率的概念最早出现在光学领域，是指复原衍射极限以外数据的过程。第一次超分辨率概念的提出是在1955年ToraldodiFrancia关于光学成像的雷达文献中。

图像SRR的研究要始于上世纪80年代，Tsai和Huang[4]首先提出了基于序列或多帧图像的SRR问题，他们分析并证明了：彼此间互相有平移的图像序列中获取分辨率增强的静态图像的可能性，而且给出了在频域里解决问题的方法。

1982年，H.Webb和D.C.C.Youla在总结前人的基础上，提出了凸集投影图像复原（POCS）方法。

1986年，S.E.Meinel提出了服从泊松分布的最大似然（Possion-ML）复原方法。

1991年，B.R.Hunt在贝叶斯理论的基础上，提出

了泊松最大后验概率（Possion-MAP）复原方法，并且在1993年对超分辨率的定义和特性做了分析，提出物体的空间限制、噪声和采样间隔决定图像超分辨率的能力。

2006年，P.Vandewalle与S.Süsstrunk提出了图像间存在旋转的解决方法，将空域的旋转参数估计通过频域积分方法转换到频域的平移估计。频域方法进行去混叠处理虽然直观简单，但是只能处理具有全局位移的情况，因为它们的前提条件是线性空间不变模型为基础的全局位移。频域中难以考虑先验知识，缺乏数据间的相关性。频域方法对模型误差极为敏感，图像序列配准步骤处理稍有偏差便会导致重建图像质量极大的降低，应用范围因此受到很大限制。在空域内实现分辨率增强是另一种提高图像分辨率的方法。Ur和Gross利用改进的多通道采样理论，

对具有相互位移的低分辨率图像序列进行非均匀插值处理，然后对插值的重建图像进行去模糊处理。随后凸集投影法出现了。最早是由Stark和Oskoui提出将解的先验知识融入到重建过程中迭代求解，从多个约束集合的交集中求解高分辨率图像。针对SRR中依赖配准精度的问题，出现了基于卡尔曼（Kalman）滤波的自适应滤波SRR算法，该算法的优化目标是最小化均方误差，具有较强的对配准误差的鲁棒。Elad和Feure对包含任意图像运动的超分辨率恢复进行了研究，但是基于动态低分辨率图像序列的该算法的缺点是容易造成迭代过程中积累误差效应。通常，SRR算法中需要求解一个维数很大的方程组，计算量大，解空间的维数也不小，非常复杂。于是正则化方法在SRR中得以广泛的发展和应用，利用不适定性问题的逆问题求解SRR方程组。确定性正则化方法主要有：基于L1范数加双边滤波估计（L1+BTV）、约束最小二乘法估计（CLS）。

随机性正则化方法主要有：最大似然估计（ML）、最大后验概率估计（MAP）等。MAP方法的优点是结合空域先验信息的能力强，结合有效的最优化方法进行求解利于扩展和改进，因此得到广泛应用。MAP方法可以加入不同的图像先验模型，在解中加入先验约束，能够保证解的唯一存在性。虽然空域方法的缺点是计算量大，代价高。为减少计算复杂度，又产生了针对空间模糊不变和平移运动情形的快速SRR算法。

美国加州大学Milanfar等提出了的大量实用超分辨率图像复原算法，Chan等从总变差正则方面，Nagy等从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面，对超分辨率图像恢复进行了研究。此外，Rajan和Wood等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法；韩国Pohang理工大学对各向异性扩散用于超分辨率。图像超分辨率重建技术的研究如火如荼，带动了视频超分辨率重建的研究，但是仍然还有许多实际问题需要有待解决。

三.超分辨率重建中的插值插值技术概述

工程实践和科学实验等实际问题的解决过程中，通常需要研究某些变量之间的函数关系，这些函数关系常常隐含在观测数据中，能否找到变量之间相对准确的函数关系就成为解决问题的关键。如对实践中的某个物理量进行观测，在若干个不同的地方得到相应的观测值，需要从观测数据(xi,yi),i=1,....,n中找出自变量与因变量间的函数关系，用近似函数y=f(x)来表示。近似函数的产生办法多种多

样，通常可采用数据拟合与函数插值两种办法实现。数据拟合主要考虑受随机观测误差的影响，寻求整体误差最小能反映观测数据的近似函数，并不要求所得到近似函数满足yi=f(xi),i=1,...,n。函数插值要求相反，近似函数必须满足yi=f(xi),i=1,...,n。这就要求观测数据相对准确，不考虑观测误差的影响。拉格朗日（Lagrange）插值法是以十八世纪法国数学家约瑟夫·路易斯·拉格朗日命名的一种多项式插值方法。Lagrange插值法可以找到一个多项式，其恰好在各个观测的点取到观测到的值。

这样的多项式称为Lagrange插值多项式。数学上，Lagrange插值法可以给出一个恰好穿过二维平面上若干个已知点的多项式函数。图像插值方法多种多样，应用较多的是基于多项式函数的内插，如Lagrange内插和样条内插等。这些方法均假设图像的各局部区域能用多项式函数表征，用已知各像素点拟合出连续函数并对其进行重采样以获得高分辨率图像。优点是速度快，缺点是不精细，有较严重的边缘锯齿和细节模糊现象。不少学者从不同方面对插值方法进行了比较，提出了多种解决方案，如多分辨率小波插值方法，基

于图像统计特征自学习的插值方法，以及基于最佳重建的插值方法等。虽然这些方法一定程度上提高了插值图像的质量，但是所需的计算量较大，复杂度高。Farsiu等从线性插值方法出发，提出了平移相加（ShiftandAdd）法，该方法仅仅需要将核函数进行最佳平移，就能使图像的清晰度大大提高，但是同时强化了边缘锯齿现象，限制了该算法的应用范围。经典插值算法最近邻插值

最近邻插值，又叫零阶插值（NearestNeighborInterpolation），是最简单的插值方法。它是用原始图像中的特定像素点的像素值去填充缩放后的图像，容易实现，对于灰度图像，即将原始图像进行逐点处理，把每一个像素点的灰度值进行插值倍数次复制。它采用的插值函数是一个常量函数，是矩形函数如下：

最近邻插值的优点是简单易实现计算量很小，使得这种方法在很多场合得以应用。它的缺点是插值后的图像质量不高，常常出现方块效应和锯齿效应。线性插值

线性插值，又叫双线性插值（BilinearInterpolation），也是一种简单的插值方法，广泛在图像重建领域中使用，主要是由于线性插值较低的计算量和优于邻域插值的图像质量，因为它是二阶代数拟合。它被称为双线性插值是因为在对图像的插值是分两次对行、列像素分别线性插值处理得到的。

线性插值的基本思想是：在原始离散信号的两点A、B间插入若干个点，这些点的灰度值使A、B之间的灰度值呈线性过渡。其基本思想就是把目标点附近的原始点的灰度值按一定的权值相加，其权值一般取为目标点和原始点之间的距离。其所采用的采样函数是一个三角函数：

线性插值放大产生的图像比最近邻域插值产生的图像平滑，不会出现灰度值不连续的的情况。由于线性插值具有低通滤波器的性质，使高频分量受损，当放大倍数增大时，放大后的图像也会出现明显的块状现象，使图像轮廓一定程度上变得模糊。具体，对于一个插值像素点，假设通过反变换得到的浮点坐标为(i+u,j+v)，其中i、j均为非负整数，u、v为[0,1)区间的浮点数，则该像素点的像素值f(i+u,j+v)可由原始图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素点值决定，即：

f(i+u,j+v)=(1-u)*(1-v)*f(i,j)+(1-u)*v*f(i,j+1)+u*(1-v)*f(i+1,j)+u*v*f(i+1,j+1)三次插值

三次插值（CubicInterpolation），又叫双三次卷积值，它是在线性插值基础上的改进，基本思想是增加邻域像素点获得更佳的插值函数，利用卷积算子表达插值方法，卷积过程可以用下式表达：

其中,h(x)是对sin(πx)/x的逼近，参数α的值可以取值：-1,0.25,或0.75。

具体，对于像素点(i+u,j+v)周围邻域16个点，与双线性内插类似，先在某个方向上内插，对每个像素点依次处理。如先在i方向上求出f(i,j+1)、f(i,j)、f(i,j+1)、f(i,j+2)，再依据该4个像素点的计算结果在j方向上内插，得到f(i+u,j+v)。每一组4个像素点组成一个连续内插函数，这种三次多项式内插过程实际上就是一种卷积操作，故称为三次卷积插值。

双三次插值的优点是图像插值质量好。它的缺点是计算量大，并且对选取的像素点(x,y)的均匀性要求高。样条插值

上述三种插值属于传统的多项式插值，为了处理更多数据点，更好的逼近，必须增加了多项式阶数，则应用上受到很多限制。多项式插值的问题：第一、多项式插值受数据点位置的影响大。若出现杠杆点则影响更大。第二、多项式插值受输入点变动的影响大。多项式插值没有局部性，它的形式由所有的数据点决定的。一点变动，整个多项式都要变动。

多项式插值在数据点间震荡被称为龙格现象，可以通过样条插值（SplineInterpolation）来解决问题。样条是特殊函数，多项式分段定义。样条插值比多项式插值好用，低阶样条插值能达到高阶多项式插值效果，还能避免龙格现象，且样条插值具有保凸特性。样条插值在插值点一阶连续可导，与期望函数的均方误差最小。

只有B样条可以写出闭合表达式。B样条曲面是B样条曲线的二维拓广。B样条曲线由控制多边形定义，而一张B样条曲面则需要一组控制多边形定义,被称为多边形网格或控制网格。 给定参数轴u和v的节点矢量u=[u0,u1,...,um+p]和v=[v0,v1,...,vn+q],p×q阶B样条曲面的数学表达式为：

Cij(i=1,2,...,m;j=0,1,...,n)是给定的空间(m+1)(n+1)个点列，构成一张控制网格。Bik(u)和Bjl(v)是B样条基，分别由节点