基于重叠区域的图像去模糊算法

基于重叠区域的图像去模糊算法

0运动模糊技术运动的模糊性通常由相机和相机场景之间的相对运动引起。如果光线不好，光就容易发生。随着数字摄影摄像的逐渐普及,去运动模糊也成为了计算机视觉领域面向画质增强的一个热点研究方向。近年来,也有许多研究人员在此领域取得了较好的研究成果。数字图像处理中的模糊通常分为失焦模糊和运动模糊两大类。失焦模糊是指在数字摄像过程中,由于目标物所处的位置不在光学镜头的焦距附近,导致物体的成像不清晰。失焦通常是因为摄像器材聚焦错误或是目标物体的厚度超过设备景深所致。而运动模糊是指在数字摄像过程中,摄像器材与拍摄目标之间的相对运动造成的成像不清晰。造成运动模糊的原因通常是在曝光时间内,摄影器材的抖动或是景物的快速移动所致。本文主要研究去运动模糊技术,对于失焦模糊不予讨论。运动模糊的数学模型为清晰图像与模糊核进行卷积运算之后再加上随机噪声。因此,去运动模糊的问题可以简化为一个求解图像的反卷积过程。卷积操作通常需要耗费大量的计算,但经过傅里叶变换后,时域中的卷积操作可以变换为频域中简单的矩阵点乘,大大减少了计算量,所以不少算法都通过傅里叶变换及反变换来求解反卷问题。图像的反卷积分为盲卷和非盲卷两大类。非盲卷即假设模糊核已知或通过一定的计算可以得出。因此在非盲卷中只需要根据模糊图像和模糊核估算出清晰图像即可。盲卷即模糊核未知,需要根据模糊图像估算出模糊核并复原出清晰图像。根据模糊核的性质,又将去运动模糊技术分为空间不变和空间可变两大类,其数学模型分别称为单核模型和多核模型。空间不变算法假设模糊核对于图像是全局不变的,即每个像素的移动轨迹是类似的,是对去运动模糊问题的一种简化。而空间可变去模糊算法认为图像中的每个像素,其对应的点扩散方程是不同的。在摄像的过程中如果摄像器材相对于拍摄目标有旋转运动,那么每个像素的变换就是不同的。事实上,空间不变算法的前提假设是十分有局限性的,实际应用中基本不存在摄像器材与所拍摄运动场景间的相对运动与两者平面完全平行的情况。但是空间可变的去运动模糊算法又相对复杂,做起来难度比较大。本文的主要贡献在于提出了基于图像分割的去运动模糊方法,利用图像各区域内部模糊核一致,而相邻区域模糊核相似的性质求解各区域及重叠区域的模糊核。本文方法的另一关键在于利用重复区域整合拼接分区域去运动模糊结果,使得拼接结果自然流畅。图1所示为本文方法的一个样例。1基于深度信息的模糊估计非盲卷技术中最著名同时也是最广泛使用的是Richardson在1972年提出的方法。该方法通过假设像素强度符合泊松分布来求解原清晰图像。但是该方法通常因为强边周围的水纹效应而失效。许多研究人员针对这一问题进行研究,但这些方法都以假设模糊核不存在误差为前提。Shan等人引入了一些空间参数加强自然图像统计分布,通过加入mask图来抑制噪声和水纹效应。其最大的贡献是提示人们并不是所有的图像区域都适合用于提炼必要的信息。近年来,盲卷技术取得了很大的进展。大多数盲卷算法利用图像和卷积核先验信息约束,求解模糊核和清晰图像。但是这些算法通常需要很大的计算量,即使对于较小的图像也需要花费大量时间去估算点扩散方程(PSF)。Jia通过图像透明度信息获取物体运动线索,并结合图像alpha通道的先验知识在图像的alpha图上进行反卷积计算。但是,该方法十分依赖alpha图的准确度,并不适用于模糊程度较大的场景。Cho等人提出利用双边滤波来检测强边缘。但是正如其文中所提到的,该方法在模糊核较大的情况下会失效。Chen等人提到可以在估算模糊核前先对输入图像进行梯度增强并抑制平滑区域的噪声。Xu等人发现,强边缘不一定正确指导核估计,有时甚至干扰了核估计。为此设计了二阶段精炼模糊核的算法。Fergus等人提出了一种在变形的贝叶斯架构里利用自然图像梯度先验信息恢复模糊核的方法。其主要贡献在于首次提到了梯度域先验知识。该方法的主要缺点在于需要用户手动划出部分图像区域,该区域不能发生饱和现象,以便用于估计模糊核。因为用户划定的区域会不同,所以从经验上来说他的方法更适用于有一定图像处理知识的研究者。而且,局部区域的模糊核不一定能够代表全局模糊核。除了基于单幅图像的去运动模糊方法,也有许多研究人员致力于多图像去运动模糊或基于硬件的去运动模糊[11,12,13,14,15,16]。Zhuo等人通过额外拍摄一张闪光图像来矫正模糊图。Rav-Acha等人提出了利用具有不同模糊方向的两幅模糊图像来复原清晰图像的方法。Yuan等人提出通过额外拍摄一张短曝光时间的较暗且带噪声的图像来配合复原模糊图像。Tai等人开发了一种能够同时捕捉高帧率视频和一张模糊图像的复合相机。通过计算视频帧之间的光流向量,来辅助估算模糊核。这种方法需要额外的复合相机的协助,并且本身受到光流计算误差的影响。Tai等人对曝光时间进行编码,进而产生物体运动的频闪观测图像,估算运动单应性,之后结合用户交互获取离散运动图。这部分工作依赖于用户交互,并且要求从图像中的模糊区域获取未覆盖纹理信息。Joshi等人提出一种利用已有清晰图像来恢复模糊图像的方法。此外,Xu等人首次尝试使用深度信息来分层估算点扩散方程,并且提出了regiontree的概念来解决分层后某些区域过小,信息量不足无法正确估算模糊核的问题。但是深度信息的获取需要基于两张不同角度的图片。在处理空间可变类型模糊方面,近年来同样有许多成果。Dai等人同样利用alpha通道估计空间可变模糊核。该方法强依赖于预处理阶段得到的alpha图,并假设前景物体移动通过静止的背景。Shan等人提出了一种适用于处理旋转的去模糊方法。这种方法要求用户提供旋转线索,并且也同样依赖于图像的alpha图。以上都是基于PSF模型,有一些算法使用了其他模型解决去模糊。Gupta等人提出了运动密度函数的概念(motiondensityfunction)。他将相机的运动分为3种旋转和3种平移,每种运动都理解为在该6维空间中的一条路径。相机在某个位置上的曝光时间理解为该路径上对应点的密度。任何由相机运动造成的模糊效果都可以通过运动密度函数来描述。Agrawal等人将去模糊和超分辨率联系起来。2重复区域模糊核去模糊本文方法框架如图2所示,主要包含以下几个步骤:分离输入图像中的光照、颜色和纹理信息;分割图像;分区域估算模糊核并计算重复区域模糊核,根据计算出的模糊核进行区域单核去模糊;利用重复区域整合拼接去模糊结果并还原光照和颜色信息。基于图像分割的去运动模糊算法利用图像各区域内部模糊核一致,而相邻区域模糊核相似的性质,使得本文方法结果优于仅仅使用全局单核算法的结果,其难点是区域之间有明显的分界线,故需要使用其他方法消除。尝试使用重叠区域求平均值的方法,消除区域之间的分界线。2.1图像的表面形貌由于原清晰图像与模糊图像在光照和颜色信息上差异很小,而在纹理信息上差异较大。因此首先分离输入模糊图像中的光照,颜色和纹理信息。采用文献中提到的图像分解方法。首先将图像分解为强度图I和色彩图(r,g,b)。强度图的计算并没有采取传统的RGB三通道直接相加的方式,而是根据他们的权重进行线性组合,即Ι=R2+G2+B2R+G+B(1)I=R2+G2+B2R+G+B(1)色彩图的表示就是相应的RGB通道值与强度的比值,即r=R/I,g=G/I,b=B/I。强度图I经由双边滤波器可得到光照图L,而纹理图T可由T=1/L计算得出。为简单起见,令L代表输入图像的光照层,T代表输入图像的纹理层,而(r,g,b)代表输入图像的颜色层。2.2画面模糊核的处理运动模糊的产生来源于摄像机与所拍摄景物之间的相互运动。除去摄像机有可能由于拍摄者缺乏经验而造成位移之外,所拍摄的景物自身在摄像机曝光期间也有可能存在运动。例如航行中的帆船,飞翔中的海鸥,随风摆动的树枝等。在这种情况下,画面中背景的模糊是由于摄像机的运动造成的,但是画面中物体的模糊则是由摄像机的运动和物体自身的运动共同造成的,当然不能用单一的模糊核对整幅图像进行去模糊处理。另外也有可能画面中同时存在多个物体,一些相对静止,另一些存在运动且彼此相互独立,这种情况下更应该对画面中的物体分别考虑。即使假设所拍摄的景物自身没有运动,画面中不同物体距离摄像头的距离通常也是不同的,对其分别求解模糊核在一定程度上是对文献中提到的方法的一种简化。首先对输入模糊图像进行初步分割。主要基于Mean-Shift算法对输入模糊图像进行初步分割。画面中不同的物体之间颜色通常有所不同,画面背景一般颜色相对单调而画面中的物体颜色相对复杂。因此,主要利用输入模糊图像中的颜色特征,即颜色层(r,g,b)。初步分割结果如图3所示。初步分割后的图像中会含有一些面积较小的区域,因此需要对分割后的结果进行精化。这些区域由于信息量太少而无法进行有效的模糊核估算,但其中又包含有一些重要的细节信息。设计一个算法来处理这些零散区域,使之能够为后续步骤提供有价值的信息。首先按照面积从小到大的顺序遍历分割后的各个区域。对于所有面积小于阈值Min_Area的区域(以下称其为小区域),如果其相邻区域中也有小区域,则将这些区域合并,直到合并后的结果没有相邻的小区域为止。然后进行检查,如果存在区域a包含于区域b中,且二者的面积之比a/b小于阈值Min_Ratio,则将区域a,b合并。如果分割结果中还存在小区域,则将其合并到与其共同边界最长的区域中。初步分割后的图像经精化的效果如图4所示。最后需要根据计算得出的边界信息,构建重叠区域。对于每个分区,将与其边界上的点距离小于d的所有点也归入该区域,这时不同分区就有了重叠的部分,保存这些重叠区域的构成信息,即该重叠区域为哪几个区域的重叠部分。2.3模糊核估计的解E(k)=∑ΤSi,B*ω*∥ΤSi⊗k-B*∥2+E(k)=∑TSi,B∗ω∗∥TSi⊗k−B∗∥2+β‖k‖2(2)式中,ω*是图像每阶偏导对应的权重系数;β是Tikhonov正则项系数;TSi和B*对应梯度增强图像与模糊图的一阶和二阶偏导图,具体定义为(ΤSi,B*)∈{(∇ΤSix,∂xB),(∇ΤSiy,∂yB),(∂x∇ΤSix,∂xxB),(∂y∇ΤSiy,∂yyB),((∂x∇ΤSiy+∂y∇ΤSix)/2,∂xyB)}(3)(TSi,B∗)∈{(∇TSix,∂xB),(∇TSiy,∂yB),(∂x∇TSix,∂xxB),(∂y∇TSiy,∂yyB),((∂x∇TSiy+∂y∇TSix)/2,∂xyB)}(3)能量最小化公式的定义与文献中相同。由于共轭梯度法涉及大型矩阵运算,若没有专门的硬件,普通CPU在大矩阵运算上没有任何加速性。所以在文献选择使用快速傅里叶变换来解方程。另外,在文献中提到普通的模糊核估计需要注意图像边缘的截断作用。文献中使用了图像高阶连续性约束,在图像边缘扩展了对应像素。这种方法的确能够避免图像边缘截断效用,但需要花费额外的计算时间。式(3)强调图像高阶偏导的连续性,因此无需十分注意截断作用,在图像边缘选择补零即可。与文献中相同,根据卷积定理,得到了模糊核解k=F-1(∑ΤSi,B*ω*⋅¯F(ΤSi)⋅F(B*)∑ΤSiF(ΤSi)2+β)(4)式中,F()和F-1()分别表示快速傅里叶正变换和反变换。由式(4)获得的模糊核是初始解,其中还包含了不少噪声干扰。因此在初始解的基础上再精化模糊核细节结构。利用模糊核的两个重要性质:稀疏性和连续性。稀疏性是由于相机快门的曝光时间不会很长,所以模糊核内大部分区域都是零值,有值的像素点个数是稀疏的。连通性是指模糊核描述的是摄像机与拍摄画面之间的相对运动路径,因此这条路径必须是连通的,物理意义上来讲不存在时空跳跃。根据稀疏性质,对初始模糊核进行阈值过滤处理。首选搜索这个模糊核,找到最大像素值,然后过滤那些值小于最大像素值的1%的点。那些值过小的点是由计算误差或是噪声造成的。代码只需要循环遍历模糊核两次,所以总的复杂度是O(n)的,n是模糊核的像素个数。根据连通性质,检查模糊核的像素连通性,规定只有和那些最大像素值相连通的像素点被保留下来,否则置零。首先记录下模糊核像素值最大的某一点的引用值,利用泛洪原理,将它压入栈S。然后开始遍历栈中的像素点,直到栈为空为止。如果栈中有元素,弹出栈顶元素,并将该像素点标志为已访问。若该元素的值大于零,将它拷贝到结果模糊核k′,并将它周围的未访问过的像素点压入栈S中。因为该点有值,表明它与最大像素点是连通的,它周围的像素点必须被考察。若该像素点的值为零,表明它已经不属于路径中的一点了,那么没必要考虑它的周围邻居,忽略即可。k′就是需要的精化模糊核结果。各个区域的模糊核估算并精化后,需要借助它们计算重叠区域的模糊核,即k=ω1k1+ω2k2+…+ωnkn(5)式中,ωi为重叠区域各构成部分的权重,与其包含细节多少成正比且总和为1,ki为各分区域模糊核,n为构成该重叠区域的分区个数。尽管图像不同区域的模糊核不同,但从图像的整体性上考虑,这些模糊核在结构上应是相似的。在分割后图像中的某些区域,例如图3(a)中的天空,由于图像比较平滑、缺少细节,所以估算出的模糊核与其他区域相差较大。这一现象对于其自身区域的影响不大,但是却对重叠区域的图像去模糊效果存在不利影响,因为重叠区域通常包含着模糊图像中的强边。因此,赋给包含细节少的区域权重较小,赋给包含较多细节的区域权重较大。计算得出的模糊核也要依据稀疏性和连通性对其进行优化处理。2.4去模糊区域合并区域内去运动模糊的最后一步是将计算得到的估算模糊核与模糊图像进行反卷。使用能量方程,求解清晰图像L。E(L)=∥L⊗k-B∥2+λ∥∇L∥2(6)式中,∇L是清晰图像L的一阶导数,即梯度;λ是正则项系数;∥∇L∥2是用来约束清晰图像平滑度的正则。注意到式(6)与式(2)十分类似,同样可以使用快速傅里叶变换求解。去模糊后的区域合并主要指的是重叠区域的处理。非重叠区域直接保留其非盲反卷积结果;对于重叠区域,将重叠区域的解反卷结果与其组成区域的解反卷结果做线性插值,得出最终结果。计算过程中各个区域的权重应与式(5)中的权值相一致。重叠区域的构建对于各个区域去模糊后的合并具有重要意义,如图5所示。图5(a)中为没有重复区域对各个分区直接进行拼接的结果,可以看出在区域边界有明显的拼接痕迹;图5(b)所示为引入重叠区域后的去模糊效果,可以看出在区域边界处的拼接更加自然流畅。3与传统单晶去模糊方法对比从图6及图7中6组图像的去模糊效果对比可以看出,基于图像分割的去运动模糊算法可以分区域更精确的估算模糊核,尤其是在图像中有多个物体的情况下,可以使得图像中的一些物体得到更好的恢复效果。除了与传统单核算法进行对比之外,还与文献中提出的利用深度信息分层去模