超分辨率图像的总则化重建

超分辨率图像的总则化重建

0超分辨率重建算法对于军事、医疗、遥感和测绘等应用，图像分段重建是为了获得具有高分辨率的图像，具有重要的应用价值。重建算法的依据为多幅低分辨率图像之间存在着像素内位移,从而每幅低分辨率图像含有原始高分辨率图像的不同信息,重建算法为对这些信息的融合,以尽可能重建出接近原始高分辨率图像的超分辨率图像。超分辨率重建算法主要有频域法、投影凸集方法、迭代反投影法、概率重建法、Tikhonov正则化法、滤波器重建法以及总变分重建方法;对于概率重建法、Tikhonov正则化法、滤波器重建法以及总变分最小化,在某种意义上来说均为正则化重建算法,在重建的过程中均需要加入图像的先验知识进行病态的正则化。在图像的重建过程中引入正则化后,重建得到的图像将会引入两类错误:1)由于正则化,重建算子将偏离图像获取算子的逆算子而引入重建误差;2)由于噪声,图像获取算子频谱零点以及正则化引入的重建误差。这两类误差均与图像的局部统计特性相联系。本文的主要工作是在超分辨率重建过程中引入图像的局部统计特性,在图像的平滑区域相对加强正则化减弱重建约束,在图像的棱边区域相对减弱正则化加强重建约束,从而从整体上减少重建误差。1求解自适应的加权矩阵超分辨率的观察模型如下:Y=Hf+n(1)p表示一共有p幅低分辨率图像参与重建;f为原始高分辨率图像向量,尺寸为[MN,1];yi为参与重建的第p幅低分辨率图像向量,尺寸为[MLNL,1];ni为第p幅图像获取过程中的噪声向量,尺寸为[MLNL,1];Ei为相应的图像运动算子矩阵,尺寸为[MN,MN];Fi为降晰算子矩阵,尺寸为[MN,MN];D为下采样算子矩阵,尺寸为[MLNL,MN];水平方向和垂直方向下采样因子均为L,即M/ML=N/NL=L。根据文献中建议的正则化,相应的超分辨率重建图像为以下约束解:{∥yi-Ηif∥≤εi,i=1,⋯,p∥Cf∥≤E(2)其中:εi的选取决定于获取低分辨率图像的噪声能量;C为正则化算子,E取决于正则化图像的能量。由于图像的正则化重建的两类错误均与图像的统计特性有关,故本算法在重建过程中引入空间自适应性。引入加权矩阵将式(2)进行修改如下:{∥yi-Ηif∥Ri≤εi,i=1,⋯,p∥Cf∥S≤E(3)其中:加权矩阵Ri的主要作用在于对图像中的棱边区域,采用较小的rij值,增强图像的重建约束;加权矩阵S的主要作用在于对图像中的平滑区域,采用较大的sij值,加强正则化算子的作用。这样通过这两种加权矩阵,以减少重建图像的误差。组合式(3)中的不等式得:JW(f)=p∑i=1(yi-Ηif)ΤRi(yi-Ηif)+α(Cf)ΤS(Cf)≤2p∑i=1ε2i(4)其中,α=(p∑i=1ε2i/E2),最小化式(4)得:(p∑i=1ΗΤiRiΗi+αCΤSC)f=p∑i=1ΗΤiRiyi(5)由于实际获取的低分辨率图像之间存在着旋转,以及加权矩阵的存在,对于式(5)采用VanCittert方法进行迭代:fk+1=fk+β(p∑i=1ΗΤiRiyi-(p∑i=1ΗΤiRiΗi+αCΤSC)fk)(6)本文采用文献的方法计算式(6)中的加权矩阵Ri及S:rij=11+(μmax[0,σ2yi(i,j)-σ2yiw])-1sij=11+μmax[0,σ2f(i,j)-σ2fw](7)其中:μ决定加权矩阵的变化范围,通常取为0.5左右;σ2yiw为获取的低分辨率图像平滑区域的方差,也即对应于噪声方差,σ2yi(i,j)为在点(i,j)的局部方差,这样rij在获取低分辨率图像的平滑区域取相对小的值,在棱边区域取相对大的值;σ2fw在本文中取迭代过程中重建图像平滑区域的方差,σ2f(i,j)为迭代过程中重建图像在点(i,j)的局部方差,这样sij在重建图像的平滑区域取相对大的值,在棱边区域取相对小的值。由于图像的灰度值在一定的区间内,故迭代过程中,还需要将图像的灰度值投影到灰度凸集上。Ρfk={255,fk>255fk,0≤fk≤2550,fk<0(8)算法总结如下:1)对低分辨率图像进行配准;2)计算矩阵Ri(i=1,…,p);3)上采样参考低分辨率图像,作为迭代初始超分辨图像f0,并选取一个α;4)迭代处理k=0,…,l①根据fk计算矩阵S;②根据式(6)进行迭代更新;③根据式(8)进行投影凸集处理;④If‖fk+1-fk‖2/‖fk‖2<εStop;ElseGoto①;end2实验结果及分析实验采用大小为256×256的Lenna灰度图像作为原始的高分辨率图像,将图像进行平移、旋转、下采样、加高斯噪声得到相应的低分辨率图像。本实验中只考虑下采样带来的降晰,首先对于低分辨率图像进行配准,其算法采用文献基于泰勒级数展开的迭代配准算法,参与重建的低分辨率图像为4幅,重建过程中正则化算子采用拉普拉斯算子,局部方差的计算窗口为5×5,重建图像质量采用峰值信噪比(PeakSignaltoNoiseRatio,PSNR)进行评估,并与双线性插值、无空间自适应的正则化算法,即S和Ri均为单位矩阵,以及总变分重建模型进行参考比对,实验分以下三部分。实验1不同噪声方差,重建中的正则化参数α通过实验方法均选取最优值,相应的信噪比见图1。从图1中可以看出,在不同的噪声方差下,本文的空间自适应正则重建优于无自适应正则重建1dB左右,更优于传统的双线性内插,原因在于采用空间自适应正则重建算法后减少了重建误差。实验2在各种正则化参数下,相应的信噪比见图2,该图所采用的噪声方差为40。最优正则化参数的获取通常是一个比较困难的任务,由图2可以得出,即使在非最优的正则化参数α的情况下,空间自适应正则重建效果从统计上也远优于非自适应的正则化重建,且同双线性内插相比较,均能得到一定程度的改善。实验3各种典型重建算法的比较。低分辨率图像的噪声方差为40,参与重建的低分辨率图像4幅,分别采用非自适应正则化、总变分重建模型,以及本文提出的空间自适应算法进行超分辨率图像重建,结果见图3。其中非自适应正则化重建得到的峰值信噪比为31.0520dB,总变分重建模型得到的峰值信噪比为31.1799dB,本文空间自适应重建算法得到的峰值信噪比为31.9973dB,可见本文提出的算法具有更好的信噪比。3正则化权重在超分辨率重建处理中,本文提出引入图像的局部空间结构特性来自适应正则化重建,采用图像的局部方差识别图像的棱边及平滑区域,针对不同的图