户外图像的去雾算法研究

户外图像的去雾算法研究

针对场景深散射的图像去雾恢复在雨、雾、雪等气候条件下，大气扩散非常严重。获得的自然场景图像的颜色和对比度较低，不利于提取图像特征。而大多数视觉应用包括监控、跟踪、智能导航、智能车辆等都需要充分提取图像特征,从而给户外机器视觉系统的正常工作带来很大困难。因此有效的去除图像中天气效果对提高视觉系统的可靠性和鲁棒性具有重要意义。近年来,自然场景图像去雾恢复逐渐成为图像处理与计算机视觉领域的研究热点。当前,对于图像的去雾恢复算法主要分为两类:一类是基于图像增强的方法,如文献的基于移动模板的直方图均衡化技术。由于图像的质量降低与场景点到成像传感器的距离成指数关系,因此这种假设场景景深不变的图像增强技术不能很好地对雾化图像去雾恢复。另一类是基于大气散射物理模型的方法。这类方法基于大气散射规律,建立了图像退化模型,充分利用了退化的先验知识,具有内在的优越性。不足的是这类方法一般需要求得场景深度或大气条件信息。如果知道精确的场景深度与大气条件信息,可以较容易地恢复出理想图像的色彩与对比度。而现实条件下,获取的降质图像并没有任何附加景深与大气条件的标定信息.由于已知信息量不足,给恢复工作带来了很大的不确定性(under-constrained),图像去雾恢复是个不适定的反问题(ill-posedinverseproblem)。为了消除这种不确定性,许多研究者利用在不同天气条件下的拍摄的同一场景的图像,或多幅利用不同成像原理拍摄的图像进行恢复工作。然而,这些算法对图像采集仍然具有较高的要求。文献基于大气散射物理模型,通过用户交互提供的附加信息,在没有精确的场景深度与大气条件信息情况下,实现了仅从一幅图像的恢复工作。但此算法只能全局的恢复图像,不能够局部修正恢复结果。对于场景深度变化较大的图像,并不能保证每个区域都能很好去雾恢复,部分区域对比度仍然较低,不能很好满足应用要求。对恢复结果较差的区域进行局部修正能够克服此缺点。操纵图像的梯度场,求解关于图像梯度场的偏微分方程可以修正图像,这一方法已经被广泛地应用到图像编辑,自然场景图像景物提取等领域中。本文提出一个新的算法,借助雾形成的物理模型,建立了户外图像全局去雾和局部去雾的能量最优化模型,推导了相应的包含图像梯度和场景景深的偏微分方程。利用用户提供的简单附加信息消除了恢复中的不确定性,实现了仅从一幅降质图像的去雾恢复。由于偏微分方程良好的边界条件,应用局部去雾模型可以局部修正改善恢复效果,并光滑地融合到全局去雾结果中。1大气散射系数d的影响本节引用两个大气散射物理模型,分析了雾天图像的色彩与对比度。这两个散射模型将用于降质图像的去雾恢复,是本文算法的基础。文献给出了彩色大气散射模型,在有雾天气条件下,彩色相机(三个频带:R,G,B)获取的场景点色彩是天空色彩与场景点在良好天气条件下的色彩的线形组合(见图1),其数学表达式为:其中p=Ie-βd,q=E∞(1-e-βd)。式中E为雾天观测到的场景点色彩向量(RGB)T,E∞是天空的色彩向量,I是场景点在良好天气条件下的色彩向量;单位向量Aˆ指示天空色彩在R-G-B颜色空间中的方向;单位向量D代表良好天气条件下场景点的色彩在R-G-B颜色空间中的方向;β是大气散射系数,反映了单位体积大气散射光的能力;d为从场景点到传感器的距离(景深),βd称为光学深度;此模型假设大气散射系数β对光的波长没有选择性,即对于任意波长可见光散射度相同。同时,在几千米范围内,认为散射系数β是不变的,大气是同性的。该模型可用于彩色向量图像的恢复。文献给出了单色大气散射模型:其中,E为雾天黑白相机获取的场景点的亮度,E∞是天空的亮度,I为场景点在良好天气条件下的亮度,β,d的含义同彩色大气散射模型。此模型可用于灰度图像的恢复。为方便叙述,作如下定义:对像素点p(x,y),设其晴天与雾天的灰度值分别为I(x,y)、E(x,y)。p(x,y)点邻域记为RN(p):NR(p)={(i,j)||x-i≤R,|y-j|≤R},R是一个参数,决定其决定邻域大小。下面依据大气散射模型分析雾天场景点的色彩与对比度。1.由大气散射物理模型可知:I=[E-E∞(1-e-βd)]eβd可见场景点的色彩降质同该点的场景深度d成指数关系。2.以N1(p)为例,分析对比度的变化。假设该邻域场景点的光学深度都相同,则区域N(1p)在晴天时的对比度cc定义为:其中|N1(p)|为集合N1(p)的势,即集合N1(p)包含的元素个数。记区域N1(p)在雾天时的对比度为fc,则可表示为:由方程(2),可以证明,两者之间服从如下关系:由上述分析可知:在雾天,色彩与对比度降质同场景点的景深成指数关系。因此,传统假设场景点景深不变的色彩与对比度增强方法,没有充分利用退化的先验知识,不能很好地去除降质图像中坏天气效果。同时,仅从一幅降质图像的去雾恢复,由于用于恢复的信息量不足,具有不确定性(under-constrained)。在下面部分,将分析本文提出的基于上述大气散射物理模型的去雾恢复算法,利用简单的附加信息,算法中构造一个关于场景景深和图像梯度的偏微分方程来恢复理想图像。2基于偏微分方程的全局与局部去雾模型本节基于雾形成的物理模型,构建了一个包含场景景深与图像梯度的能量泛函,将图像去雾恢复形式化为最小化此能量泛函。应用变分法将求解能量泛函的极值转化为求解关于场景景深和图像梯度的偏微分方程,提出了基于偏微分方程的全局与局部去雾模型。利用用户简单的交互操作,估计出场景点的景深,获取了天空色彩,消除了恢复中的不确定性,实现了仅从一幅降质图像的去雾恢复。算法中用户通过可视化接口实现交互操作,简单且易于操作。同时,可局部修正改善全局去雾模型的恢复效果,由于偏微分方程良好的边界条件,可光滑地集成到现有结果中。2.1理想图像的去雾恢复本节将去雾恢复问题形式化求解关于场景景深和图像梯度的偏微分方程,算法由两部分组成:(1)依据大气散射物理模型,近似计算出降质图像对应的理想图像梯度场;(2)构建能量泛函,求解偏微分方程,从该梯度场中恢复理想图像。为了能够获取理想图像的近似梯度场,对单色大气散射物理模型两边取梯度运算:进一步化简,可得:对于彩色图像,分别对R、G、B三个颜色通道求梯度I∇=(∇IR,∇IG,∇IB)T。对于场景景深变化平缓的图像,β(I-E∞)∇d相对于∇Eeβd较小,因此,理想图像的梯度场可近似表达为:由(4)式可知:由于大气散射,理想图像梯度的降质同场景的光学深度也近似成指数关系。为方便叙述,作如下定义:图像中一个像素点记为p(x,y),图像中整个降质区域记为Ω,区域边界记为∂Ω。由上面分析,理想图像的恢复可以转化为最小化下面的能量泛函。相应的边界条件I∂Ω定义如下:采用变分法对上述能量泛函求极值,求解出相应的偏微分方程为:其中拉普拉斯算子∆=(∂x∂2,∂y∂2),div为散度算子。方程(6)即为全局去雾恢复模型。根据边界条件,求解方程(6)即可全局恢复出原图像I。采用有限差分法数值求解上述偏微分方程,本文给出Gauss-Seidel超松弛迭代格式如下:最佳松弛因子w=2,m,n分别为图像I的宽度和高度。其中[div(∇Eeβd)](i,j)的离散差分格式为:边界条件离散为:2.2全局去雾恢复模型通过上面的分析,图像去雾恢复问题转化为求解公式(6)所示的偏微分方程。但方程中场景点的景深d与天空色彩E∞仍然是未知的,给恢复工作带来了不确定性。动态范围有限的传感器(如8位每象素)对大气同性条件下小的场景变化并不敏感。因此,有效地恢复降质图像并不需要十分精确的场景深度信息。通常情况下,利用场景深度的变化趋势即可有效地恢复出理想图像。文献给出了一种通过用户简单的交互操作方式获取场景点深度与天空色彩的方法。用户通过可视化接口实现交互操作,简单且易于操作。具体步骤如下:1.在降质图像中选择一块天空区域获得天空的亮度。如果降质图像为彩色向量图像,则获取了天空色彩向量与色彩方向Aˆ(见图2(a),6(a),7(a)中方框区域)。2.为获取图像深度信息,首先选择降质图像灭点沿景深增加方向的近似位置(如图2(a),6(a),7(a)中圆点),场景点的景深与场景点到灭点的图像象素距离成相反关系。其次,输入场景点近似最大深度dmax与最小深度dmin,并且对其中场景点的景深进行插值,可选用线性、非线性插值。本文采用线性插值方法,具体公式如下:其中,α∈,用于归一化象素点到灭点的图像象素距离。当α=0时d=dmax;α=1时,d=dmin。至此,每个象素点景深d与天空色彩E∞都已获得。通常,在几千米范围内,认为大气条件是同性的,即图像中的每一个象素点的β值保持不变。不同降质图像的场景光学深度如图3所示,这些场景深度信息与大气条件信息消除了恢复工作中的不确定性。图3中色彩由蓝色向深红色渐变,代表场景点的光学深度逐渐变大,其中(a),(b),(c)分别对应于降质图像2(a),6(a),7(a)的场景光学深度,可用于恢复理想图像。根据边界条件,求解方程(6)即可全局恢复出理想图像I。不同大气散射强度,即不同β值将产生不同的浓度的雾(如薄雾、浓雾等),对图像产生不同程度的降质。通过渐进修改β值,也就是调整图像中每个象素点的光学深度βd,重新求解方程(6),可对恢复结果进行整体修正,改善去雾效果(见图2)。全局去雾恢复模型对于场景深度变化小的图像具有较好的恢复效果。当场景深度变化较大时,方程(4)对理想图像的梯度不是一个很好的近似,场景景深梯度β(I-E∞)∇d不能忽略。在下一节,我们提出了局部去雾模型,可对全局去雾结果进行局部修正,进一步改善降质图像的色彩清晰度与对比度。2.3局部去雾仿真与分析在全局去雾模型中,假设方程(3)中项β(I-E∞)∇d为零,当场景点的深度变化较大时,景深梯度β(I-E∞)∇d不能被忽略,理想图像的梯度应取为∇I=∇Eeβd+β(I-E∞)∇d。对于全局去雾模型,估计的场景光学深度∧βd不同,将产生不同的恢复效果,如图4所示。当估计的场景光学深度∧βd小于场景的真实光学深度(βd)*,不能够完全去雾恢复,图像的对比度仍然较低,如图4(c)。而过高估计将会使恢复图像产生色彩失真,见图4(d)。因此,∧βd应当尽可能的接近场景的真实光学深度(βd)*。为改善全局去雾效果,用户可以选择恢复效果较差的局部区域ΩL进行局部去雾恢复,记局部区域的边界为∂ΩL。重新定义局部去雾模型的变分问题如下:此时积分区域变为ΩL,相应的边界条件I∂ΩL的定义如下:IΩ∂L=Ig,Ig是当前全局恢复在局部区域边界∂ΩL的结果。通常,用户选择的局部区域比较小,求解方程能够快速实现局部去雾恢复。同时,利用偏微分方程良好的边界条件,局部改善的去雾恢复结果可光滑地集成到全局去雾结果中,直至满足用户要求。局部去雾模型的另一重要特点是用户可以根据全局恢复的结果,来决定如何对图像的光学深度βd进行局部修正。由第一节可知:雾天图像对比度降质同场景点的光学深度成指数关系,因此当全局恢复图像的对比度仍然较低时,可增加局部区域的光学深度,反之,则降低该区域光学深度。本文对局部区域中每一场景点p的光学深度βd(简记为Op)进行如下修正,其数学表达式为:其中p0为局部区域的中心象素坐标,由(8)式,可将区域中每一象素点p的光学深度由Op调整为O′p。σ与λ,k是用户定义的参数去控制修正区域的大小与修正的强度。当λ大于零时,增加象素点p的光学深度,相反,则降低象素点p的光学深度。3仿真结果与分析上面章节分析了全局去雾模型与局部去雾模型。图像去雾恢复算法的具体流程(见图5)如下:1.获取降质图像的场景景深与天空色彩。2.应用全局模型去雾恢复。3.修正全局恢复效果不满意区域的光学深度,求解局部去雾模型。下面应用本文算法对降质的雾天图像进行恢复。实验结果如图2,6,7所示。通过渐进修改β值,可对全局去雾恢复结果进行整体修正,改善去雾效果(见图2(b-c),图6(b-c))。应用局部去雾模型可对全局去雾恢复结果进行局部修正。首先应用全局模型对降质图像7(a)进行全局去雾恢复,图7(b)给出了全局恢复后的图像。全局去雾恢复后,高速路边的指示牌对比度仍然较低。选择指示牌为局部区域,应用(8)式增加此局部区域的光学深度,降质图像修正后的光学深度如图7(d)所示,并将其用于求解局部去雾模型。图(e)给出了应用局部去雾模型恢复后的图像,对比图b与图e,可以发现图e中指示牌对比度显著提高。指示牌放大后的对比图见7(f)同时,表1列出了全局去雾恢复前后图像的对比度(对比度定义同第一节)。实验结果表明本文算法有效