空间变化psf图像复原技术综述

空间变化psf图像复原技术综述

0成像过程与图像的预处理自20世纪50年代开始，全球空间研究开始研究多段空间图像，并逐步开发图像重建技术。由于成像链路的种种缺陷,比如光学系统和成像器件本身设计的局限性和加工装校的误差,工作温度的变化,平台振动,传播介质如水流、气流的实时变化等环境因素的不稳定,物空间景物层次的复杂三维结构,都会造成图像的模糊,即像质退化。为了找回损失的图像细节信息,人们作了诸多努力。为了简化问题,人们将成像过程视为一个线性退化的过程,并且假设整个物空间的退化是相同的,于是成像过程可描述为式中:S是物体,P是系统的退化函数,I是输出图像,u,v是物面坐标,x,y是像面坐标。根据这个式子,我们很容易推知图像的复原就是一个反卷积的过程,人们先后提出了逆滤波,最小二乘维纳滤波,功率谱滤波,最大熵复原算法,空间自适应限制复原算法,盲目反卷积算法等方法来进行图像复原,取得了良好的效果。然而,如果图像中包含运动物体,则该物体的退化和静止背景的退化是不同的;若景物在垂直光轴方向有多个平面,每个物平面的离焦量也是不同的;而传播介质局部的剧烈变化也将造成物空间各点退化的不同;再加上光学系统各视场像差的不同,事实上物空间中随位置的变化退化函数发生变化这一问题是不可回避的。其实早在上世纪60年代Lohmann和Pairs就曾对图像各视场退化不同这一现象进行了讨论;90年代柯达公司的Hsien总结了成像过程的一系列步骤,参与成像的各个部件如光学镜头,快门,胶片的退化模型,以及衍射极限和离焦情况下OTF的表达;而IftachKlapp针对转动模糊图像,综合了成像系统像差,物体的运动模糊,物体三维方向上的离焦模糊等SVPSF的作了十分详尽的讨论和分析。将物空间坐标加入到式(1)中,则图像被表示为除了一些特别设计的SVPSF系统,这些系统因其体积小,重量轻,反应速度快等一系列原因而特别适用于动态视觉,一般成像系统的应用都希望去除这种空间变化的退化。目前进行此类图像复原的主要方法包括:空间坐标转换法,分块复原法,以及直接复原法。这三类方法将在下文中详细介绍,它们各有其应用范围和优缺点。1空间坐标转换法对于一些呈特殊分布的空间退化函数,例如线性运动模糊,径向对称模糊等,可以尝试寻找一个坐标空间,物空间中随视场发生变化的PSF在该坐标空间内各点的PSF是相同的,于是可以在该空间使用各种SIPSF图像复原算法完成图像复原,之后再转换回原图像空间,这就是空间坐标转换法的基本思路。Alexander和Gregory在1972年先后发表论文阐述了利用空间坐标变换法来重建空间变化PSF图像,前者针对线性运动造成的空间PSF变化,后者则针对光学系统彗差。之后Alexander又讨论了光学系统场曲和像散造成的空间PSF变化,并且撰文总结了空间坐标转换法的各类应用。他认为如果PSF可以表示成某些形式,就可以解析的进行坐标变换,如:式中:P代表PSF,(u,v),(x,y)分别代表物空间和像空间坐标,α(x,y),β(u,v),cI1(x,y),bI1(u,v),cI2(x,y),bI2(u,v)是一对一连续可逆函数,且在整个空间内α(x,y)≠0,β(u,v)≠0,PI(·)是可作傅里叶变换的函数。或式中各参数含义同式(3),更详细的内容请参看作者原文。空间坐标转换法是一种直接而简单的图像复原,在计算上很有效。只是该方法的使用前提是退化函数的空间变化规律可以解析表达,能够寻找到转换后PSF不变的坐标空间;其另一缺点是在两次坐标变换的过程中,包含了非均匀采样和插值运算,这导致了信息的丢失和附加的模糊及噪声;此外,坐标变换改变了原图像的噪声分布,可能会使得平稳噪声变得非平稳。2图像分块和边缘振铃将图像划分为块,每一块图像的PSF近似认为不变,在该图像块中完成图像复原,然后把复原后的图像块拼接起来得到最终图像,这就是图像分块复原法。对于运动图像,则找出运动部分区域;对于离焦图像,则分离出不同离焦量的物体;对于由光学系统像差造成的径向对称PSF,可用矩形或环形分块的等晕区来处理;而对于传播介质局部扰动造成的退化不同,单独分离出该区域对图像复原也是极有利的。Trussell和Hunt于1978年提出了基于图像分块的复原算法,之后Thomas详细讨论了图像分块的方式,图像块以及重叠区域的大小对图像复原质量的影响(仅考虑光学系统造成的退化)。他将图像分为光轴附近的近似等晕区1和远离光轴的区域2,区域2再按图像类别进行平行,对角或其它类型块的划分。依其讨论结果,图像块过大则计算量很大,且各部分PSF没有得到有效利用;图像块过小,复原造成的边缘振铃波纹将严重影响拼接后的图像质量。Guo等在图像分块之后使用期待最大化(Expectation-Maximization,EM)算法估计图像块内的PSF,然后利用空间自适应限制最小二乘法完成图像复原,在图像轮廓和细节较多的部分使用较松的规整化以及较快的收敛速度,而在图像相对平坦的部分使用较严格的规整化参数及较慢的收敛速度,以此来抑制边缘振铃效应;而Kim和Leah等针对局部模糊图像先使用交替最小化方法寻找模糊图像边界,然后利用抑制边缘振铃波纹的Mumford-Shah规整化方法复原图像,也取得了很好的实验效果。分块复原法的优点是明显的,它可用于处理任何SVPSF图像,且能与现有的任何SIPSF图像复原算法结合使用。然而区块的有效划分,各区块内PSF的提取,复原后图像块的无缝拼接仍是需要为之努力的方向。本实验室也对图像分块法进行了探索,后文将详细讨论我们的实验结果。3psf图像复原直接复原法,即从全局来考虑图像退化,将大量的PSF数据分解、整理、压缩成较小的存储量,和可接受的计算复杂度,用迭代或非迭代的方法完成复原。1974年Jain和Angel都提出用共轭梯度法(ConjugateGradientMethod,CGM)解决SVPSF图像复原问题,以31×31的图像进行实验,就图像复原计算而言,其复杂度仍然较高。1977年John提出卡尔曼滤波法,并且在79年和81年对其进行修正和改进;Tekalp等也尝试对彩色图像使用卡尔曼滤波法;虽然一度有降阶的卡尔曼滤波法(Reduced-OrderModelKalmanFilter,ROMKF)被提出,然而其复杂的构造模型和繁琐的递归限制了它在工程实际中的应用。随后,Mehmet等将凸集投影法(ProjectionOntoConvexSets,POCS)用于SVPSF图像复原;Fish等改进了奇异值分解法(Singular-Value-Decomposition,SVD),加快了其运算速度;而James等人关于哈勃空间望远镜(HubbleSpaceTelescope,HST)图像复原的系列文章,如文献使用线性插值的方法处理PSF;文献中综合运用总变分最小化(TotalVariationMinimization,TVM)算法,基于分割的预处理方法,最小残量共轭梯度法(MinimumResidualConjugateGradient)等,有效减小了运算复杂度,并且分割后的图像平滑区块的并行运算一方面提高了图像复原的准确性,同时也为加快运算速度提供了可能;当PSF是由Toeplitz块组成的Toeplitz矩阵时,使用文献中的矩阵分解法降低维度,大大减少了PSF矩阵存储量和计算量,都有极高的参考价值;Thomas等在分析了光学系统衍射极限情况及含像差情况下的SVPSF后,使用Gauss-Seidel迭代法完成图像复原;Martin等使用非凸的Perona-Malik规整化方法提高算法的鲁棒性。特别提出的是,Lauer等人在2002年提出的PSF正交分解法是一种新颖而有吸引力的方法。其思路是将PSF的物空间和像空间的参数分离,分解为一组正交分量的加权和:式中:pi(x,y)就是正交的PSF分量,ai(u,v)是带有物空间PSF分布信息的系数。那么观测图像可表达为从式(6)中可以看出,图像空间是由每一个PSF正交分量与带加权系数的物空间卷积形成的。于是SVPSF图像复原的问题转变成了SIPSF反卷积的问题,便可以利用傅里叶变换来简化计算。由于涉及多个甚至是海量PSF的提取,存储和运算,与传统的SIPSF图像复原相比,SVPSF图像复原的计算十分复杂,除了对上述三类方法不断改进外,利用多幅图像的信息进行复原的方法也被提出来;而Mohammad更是利用多台计算机并行处理的方法来从硬件上提高运算速度。此外,专门针对平动、转动、离焦模糊的图像的复原研究也有很多,并且常常与分块复原法结合使用,感兴趣的读者可以参看相关文献。SVPSF图像复原的问题在国内的研究则相对较少。上海理工大学的徐伯庆等在使用仪器测量出一幅图像180个PSF后,使用相应的180个逆滤波器完成图像复原。重庆大学李平所在的研究小组将空间各点PSF的傅里叶变换在零频处进行泰勒展开,再将展开式与模糊图像频域表达式的乘积进行傅里叶反变换到空间域,由此得到复原图像的表达式是模糊图像各阶导数的线性组合,该方法有效的降低了运算复杂度,也取得了较好的图像复原效果。4tv重建的实验结果本实验室就SVPSF图像的分块复原法进行了探索,提出了结合GRM图像质量评价方法的总变分最小化分块复原法,较好的克服了分块复原法拼接缝振铃波纹的缺点。总变分(TotalVariantion,TV)最小化方法是一种很好的复原图像的同时保留图像轮廓信息,并且抑制振铃波纹的方法。1992年Rudin发现,定义总变分为图像梯度幅值之和,被噪声污染的图像的总变分比无噪图像的总变分要大。于是限制总变分即可限制噪声,然而对这一规整参数的限制并不会使得图像解过于平滑而失去细节信息。即总变分最小化复原法可以在提高图像清晰度的同时消除伴随复原过程产生的振铃波纹(这些波纹对于图像来说也属于噪声,具有梯度的不连续性)。使用该算法处理分割的图像块对于消除分块图像复原法的拼接缝有很大的帮助。GRM评价法是本实验室提出的针对图像复原振铃波纹的一种图像质量评价方式。图像的梯度信息表达了图像的平坦区域和轮廓细节区域,复原图像的振铃波纹一般出现在图像轮廓附近的平坦区域,呈周期性分布。对比复原前后图像的梯度矩阵,就可以在图像清晰度和迭代寄生的振铃波纹寻找到一个平衡点。根据实验结果,GRM方法对大多数图像有很好的单峰性,而少数单调递增的曲线末端有极低的斜率,如10-4∼10-5。由于GRM的取值范围是0到1,当其变化小于10-4∼10-5时,人眼几乎不能分辨图像质量的差别,可将该值作为前后GRM差值的阈值加入到复原算法中作为收敛条件。这一迭代收敛条件考虑了振铃波纹对像质的影响,与常用的对比迭代前后两幅图像差值的收敛条件相比要准确。结合了GRM振铃波纹评价的总变分最小化方法可以为随后的拼接寻找到像质更好的图像块。如图2所示,图2(a)是原图;图2(b)给出了作为示例的3×3矩形分块的SVPSF模糊图,其中块5,块2、4、6、8和块1、3、7、9分别使用了不同的退化函数PSF1,PSF2和PSF3,模糊程度依次递增;图2(c)是使用Lucy-Richard算法无重叠区的复原图;图2(d)是重叠区宽度与PSF大小相同的RL算法复原图;图2(e)是结合GRM评价的TV算法无重叠区的复原图;图2(f)是重叠区宽度与PSF大小相同的结合GRM评价的TV算法复原图。对比图2(c)和图2(d),可以看到重叠分块可以某种程度上消除块间波纹,但是拼接仍然不够平滑,比如块3和块6间隙的帽沿,块5和块6间隙的眼睛,块6和块9间隙的头发存在明显的瑕疵;而图2(e)虽然没有使用重叠分块,拼接缝也要小得多,显示了TV算法的优越性;像质最好的显然是图2(f),与图2(d)相比,除了块7,其它图像块的清晰度均有提高,而块间的瑕疵也没有了,块7的清晰度不如图2(d)的原因则是由于GRM对振铃的评价阻止了TV算法的进一步迭代。对于块7这类细节十分丰富的图像也可根据需要修正收敛条件。5图像的分割、拼接、psf无论是空间图像,航拍图像,水下或医学图像,还是一般的摄影图像,都不可避免的存在物空间各点退化函数不尽相同的情况,这一类的图像复原相对复杂,学者们对此的研究也一直在深入当中。结合上文对多种算法的总结,我们仍需加以关注并为之努力的包含多个方向:1)图像的分割与拼接:图像按照不同的退化分割成不同区域,尤其对于局部模糊的图像有非常重要的意义,找出模糊部分的边缘,在其内外进行不同的复原相较于全局的复原效果要好的多;而对于全局渐变模糊类的