雾天图像成像理论分析

1、精选优质文档-倾情为你奉上精选优质文档-倾情为你奉上专心-专注-专业专心-专注-专业精选优质文档-倾情为你奉上专心-专注-专业基于大气散射模型的实时视频去雾方法研究 摘 要：近年来，我国空气质量大幅下降，导致雾霾天气日渐频繁。在雾霾天气情况下，大气中存在着很多混浊介质（如，颗粒、水滴等），户外场景的视频图像出现了退化和降质，表现为清晰度和对比度低、色彩失真、细节特征模糊不清等特点。视频图像的降质退化使得户外视觉系统不能正常发挥效用，降低了工作效率及其可靠性。例如，在雾霾天气情况下，能见度降低，航拍视频中目标不可见，且色彩及对比度等特征严重衰减，无法满足航拍工作系统的灾害监测预警等后续要求。因而

2、，在计算机视觉这一领域内，有雾视频的清晰化是一个重要的问题。 本文对雾天视频图像的退化和降质进行了详细的分析，阐述了雾天视频图像降质的原因，研究了国内外研究人员在视频图像去雾方面的成果，分析了各研究人员去雾方法的理论基础和核心技术，在此基础上，详细研究了基于大气散射模型的暗通道先验去雾方法，并且进行改进和完善，作出创新。本文建立基于大气散射原理的视频图像去雾模型，以暗通道先验去雾方法为基础，用导向滤波进行改进，采用VS2013和Opencv编写去雾算法程序，实现单幅图像去雾，然后进行CUDA加速，使对常用的19201080大小的视频图像进行去雾处理的运算速率达到每秒15帧以上，实现实时视频去雾

3、。最后，将本文的去雾算法与其他算法进行比较，对比不同去雾方法得到的恢复图的效果，以及不同方法的利弊，完善细节，将该算法应用于实际待去雾的视频中。关键词：图像降质；图像去雾；暗通道先验；大气散射模型第1章 绪 论1.1 课题研究背景和意义 一般情况下，获得清晰的视频图像是户外视觉系统正常工作和发挥效用的前提，因此，它对于天气情况非常敏感。然而，近年来，我国空气质量大幅下降，多地频繁出现雾霾天气。雾天条件下，户外场景的视频图像受到严重影响，这是由于大气中存在着许多混浊介质，包括颗粒、水滴等，这些介质会吸收和散射部分可见光，使成像设备接收到的光的强度产生衰减，这导致获取的视频图像产生退化和降质。与无

4、雾图像相比，降质图像表现为清晰度、对比度和能见度降低，细节特征模糊不清，色彩产生失真和偏移等特性1。 以上视觉效果较差的降质视频图像丢失了部分有用的信息，这给确定目标和获取视频图像细节信息造成了很大的困难，直接影响户外视觉系统的正常工作，例如公路交通智能监控，军事航空监测，户外目标追踪，航拍工作系统等重要的视觉系统。以灾害监测航拍工作系统为例，在雾天情况下，户外场景能见度低。航拍视频中的目标难以准确追踪锁定，目标颜色和对比度等特征严重衰减，导致航拍灾害监测预警以及后续搜救等工作难以正常进行，情况严重的话可能带来巨大的损失2。因此，如果能对雾霾天气下的降质视频图像进行去雾处理，就能使户外视觉系统

5、适用于各种恶劣的天气，增加其可靠性，获取更加精确和有效的信息，提高视觉系统的工作效率，降低成本。同时，随着计算机技术的发展，计算机视觉系统在人们的日常生活和安全监测方面得到了更加广泛的应用，深入地研究高效的视频图像去雾技术有着很重要的社会价值，也是当前社会所迫切需要的。 视频去雾技术是以图像去雾为基础的，图像去雾即用各种技术和算法去除图像中的雾。现阶段，在计算机视觉领域里，已经有很多图像去雾算法被提出，根据去雾的基本原理不同，将图像去雾算法分为两大类：一种是基于图像增强的方法，一种是基于模型的图像复原的方法。这两种方法都可用于改善降质有雾图像的质量，使其在视觉上有更好的效果，但两种方法的机理不

6、同3。在本文中，重点研究对象是图像复原的方法，主要研究了基于大气散射模型的去雾方法，并在此基础之上做出了某些方面的改进。1.2 本课题国内外研究现状 现阶段，去雾在摄影和计算机视觉领域都是非常需要的。首先，去雾可以显著增强场景的能见度并改善色彩偏移，无雾视频图像能增加人视觉上的愉悦感；其次，大部分计算机视觉算法，通常都假定输入图像获取的是现场实时光照，视觉算法的运行（如：光照度分析，特征监测及滤波）难以避免出现偏差。最后，去雾能产生一些深度信息，使得很多高级图像编辑和视觉算法获益。因此，基于现实需要，很多图像去雾方法被提出来了。L.Bissonnette等研究人员早在1992年就对雨天和雾天条

7、件下的降质图像进行了去雾的研究4；Southerly和John P.Oakley等人1998年对航拍的有雾天气条件下的图像进行去雾处理，最终得到了一些研究成果5。在各研究人员二十多年的研究中，图像去雾的技术取得了非常大的进步。 上一节中提到现阶段有雾图像的处理方法可分为两大类：基于图像增强及基于图像复原的方法。基于图像增强的方法是对图像的对比度、边缘、轮廓等特征进行一些处理，来显示出图像的细节信息，从而使其在视觉上更加清晰，然后应用到去雾领域即在视觉效果方面对图像进行改善6。这种方法虽然适应性较广泛，计算上也比较简单，但它没有考虑图像退化降质的根本原因，只是通过一些处理来使人在视觉上方便查看或

8、者进一步进行处理和分析；另外，图像增强的方法在处理局部的场景深度的变化细节方面存在着不足，并且可能会产生一定程度的颜色失真。由此可知，图像增强的方法只能减轻一定程度的雾的影响，而不能从根本上消除图像中的雾。图像复原去雾方法，则是通过建立雾天图像成像模型，从中还原出无雾图像。由于图像复原方法去雾是根据雾天退化图像成像的根本原理研究出来的，因此，现阶段基于模型的图像复原方法应用得较广泛且取得了不错的成果。1.2.1 基于图像增强的去雾方法 现阶段，图像增强方法中两个主要方法是直方图均衡算法及Retinex（视网膜皮层理论）算法。 直方图均衡化算法的原理是变换和处理雾天图像的直方图，使其趋于均匀分布

9、，因为当数据趋于均值时，图像的对比度会被增强，表现的信息较丰富，清晰度也更强。这种方法是根据图像中像素的个数的分布状况来对图像的直方图进行调整使其分布趋向于均匀7。全局直方图均衡化方法是最先被研究的，这种方法从整体上研究雾天图像的灰度均衡化，它分析处理全局上统计的灰度信息，得到灰度调整函数。然而在很多实际的工程应用中，局部区域才是某些图像处理算法需要处理的。因此，局部直方图均衡化的方法应运而生，即AHE方法，这种方法要先对图像进行分块，然后设置一个局部窗口，将设置的窗口的中心像素点置于待操作的局部块像素点处，对其进行直方图均衡化处理，再把该窗口依次移到其他待处理的像素点处，直到完成整个图像的处

10、理。然而，这种重叠处理运算量非常大。翟艺书在此基础上提出局部重叠的均衡化算法，但这种方法的分块处理比较复杂；J B Zimmerman等提出插值均衡化算法，消除了一部分块效应8；Stark提出广义的均衡化方法，扩大了AHE方法的使用范围9。 Retinex算法是Land以颜色恒定型为基础提出的理论。Retinex表示的是视网膜皮层理论，表明人的视觉系统与视网膜及大脑皮层有关系。该算法有颜色恒常性和动态范围压缩的特点。颜色恒常性指的是，人类在感知外界事物时，无论事物周围的环境如何变化，人的视觉系统都能保持色彩恒定10。对于Retinex算法的研究已经取得了很多的成果，Land等研究人员最早提出自

11、由路径的Retinex算法，但由于运算中路径的个数和长度等难以加以确定，导致这个算法运算复杂。现阶段，中心环绕Retinex算法是该领域的研究重点，该算法认为，周围像素和中心像素的距离变化，会导致周围像素对中心像素的影响产生变化，这个算法在运算上复杂度较低，而且能较好地增强图像对比度。在应用方面，美国国家航空航天局在2004年对航拍的图像进行了单尺度的Retinex实时性增强处理，获得了很好的去雾效果。1.2.2 基于模型的图像复原去雾方法 近年来，越来越多的研究人员对雾天图像的成像机理进行研究，从这个角度入手，建立图像退化降质模型，从中恢复出无雾图像。 最初，Oakley等基于这种机理构造了

12、一个多个参数的退化衰减模型。这个模型考虑设备和场景中多个不确定的因素，去雾效果较好，但它需要测量的参数太多，运算太复杂，实用性不强5。后来Narasimhan S G在此基础上对同一个场景不同天气情况下形成的图像进行研究，运用不同天气情况的图像间的差异获取景深信息，提取该场景的三维结构，然后复原出无雾图像。这种方法的去雾效果取得了一定的进步，但由于条件的限制，一般情况下，获得同一场景不同天气情况下的图像有一定的困难，对于实时系统来说也无法进行实时性的去雾11。 受到条件的限制，研究人员开始对单幅图像的去雾技术进行研究，他们在大气散射模型的基础上，根据先验条件还原出单幅图像的无雾图像。 Tan假

13、定同一个场景的晴天图像的对比度比雾天图像更高，并且随着场景深度增加，大气光的变化趋于稳定。根据这一先验，Tan通过增加雾天图像的局部对比度以达到最大来对图像进行去雾12。然而这种方法可能产生光晕效应，它在视觉上可能是有效的，但在物理上是无效的。Ktatz假定景深和场景辐射在统计上是各自独立的。在此基础上，建立一个重尾先验的幂函数作为场景反射率的模型，具体的场景决定场景深度，依据景物特征，建立一个高斯平滑函数或者分段常数函数的模型，再求最大后验估计13。运用独立成分分析法，Fattal认为在局部上，透射率被与物体深度是无关的，结合局部上的最优解实现图像去雾14。但这种方法在缺乏颜色信息及差异性，

14、或者浓雾天气情况时，是不适用的。Tarel提到对单幅图像快速去雾的算法，他假定在可行区域内，大气耗散函数局部的变化较为平缓稳定且趋向于最大值，然后对中值滤波变化形式，最后估计出大气耗散函数15。Kaiming He等研究人员用暗通道先验对单输入图像进行去雾，他发现无雾户外图像中大部分的局部图像块都包含了一些强度非常低的，至少有一个色彩通道的像素。他将这种先验通道应用于无雾图像模型，可直接估算出雾浓度并恢复高品质的无雾图像，同时高质量的深度图也可以作为其副产品16。1.3 本文研究内容与方法 对于雾天条件下，由于入射到成像设备的目标物体反射的光和环境光被空气中悬浮的大气微粒散射而减弱，导致视频图

15、像发生退化和降质这个问题，本文进行了研究和分析。雾天视频图像清晰度和对比度降低，细节信息模糊，基于这些特性，本文在大气散射模型的基础上解决这些问题，研究分析了基于大气散射模型的图像去雾方法，重点研究了Kaiming He提出的暗通道先验去雾方法，He提出暗通道先验这一概念，在这个概念的基础上，估算透射率和大气光值，得到透射率图，并且用软抠图方法进行细化，本文在此基础之上对He的方法进行了改进，提出用导向滤波的方法代替软抠图的方法来细化透射率图，并用实验结果验证了该方法的效果。最后研究了基于CUDA的实时视频图像去雾，概述了CUDA的基本原理和架构，将CUDA并行方法应用到本文去雾方法中，实现高

16、效率的视频图像去雾，然后将本算法与传统算法的去雾速度进行了比较，验证CUDA并行方法的效率。本文共分为五章，各章安排如下： 第一章 绪论。开头先介绍了视频图像去雾这一课题的背景及意义，然后总结了本课题现阶段国内外的研究现状，将本课题的研究方法分为两大部分，分别总结归纳，并进行比较，最后概括了本文的研究内容与方法，及各章节的内容安排。 第二章 雾天图像成像理论分析。阐述了雾和霾的形成原理，以及大气散射模型，包括其中的环境光模型和入射光衰减模型，重点阐述了有雾图像成像模型，并且分析了雾天降质视频图像的特性，最后对本章进行总结。 第三章 基于大气散射模型的图像去雾。首先对基于大气散射模型的去雾方法进

17、行概述，然后介绍了基于暗通道先验的去雾方法，对暗通道先验去雾方法不足的地方用导向滤波进行改进，并对改进前后的实验结果进行比较分析，最后对本章进行总结。 第四章 实时视频去雾。首先介绍了CUDA的基本原理及架构，然后将CUDA实时视频去雾方法应用到实际视频图像中，分析其结果，最后进行总结。 第五章 总结与展望。对全文内容进行总结，概括了本文所做的主要工作，并且分析了本文的缺陷和不足，对不足的地方进行展望，指出未来的研究工作的方向。第2章 雾天图像成像理论分析2.1 雾和霾的形成原理 雾是在和地面较为接近的大气空间中悬浮着的大量微小的冰晶颗粒物或者水滴，实质上是一种乳白色的气溶胶。雾滴的尺寸通常比

18、较大，一般在1微米到60微米之内，并且其分布较为均匀。由于人的视觉系统能观察到的光波长在380nm到780nm之内，故人眼可以观察到大气空间中的雾滴。霾是由于空气中存在着大量有机碳氢化合物、烟、尘等粒子，而使大气变得混浊的现象。它是由大气中的微小烟粒、尘粒等组成的集合体，当大气的凝结核长大，并且空气中的湿度比较大时，在与地面较为接近的大气空间中会形成细小的水滴悬浮在空中。相对人眼可以感知的光波长来说，组成霾的颗粒非常小，因此肉眼是无法分辨的。当空气中出现霾时，会导致能见度降低，视野变得模糊17。 那么为什么会形成雾霾天气呢？根据研究，雾霾天气形成的原因包括以下几种：一是空气湿度，二是温度的变化

19、，三是大气中颗粒物形成的凝结核。首先，接近地面上方的大气空间中，空气中湿度较大促使大气中的水汽凝结，另外，大气中可以容纳的水汽的数量随着温度的升高会增多，这会使水汽的凝结加速，在一定的温度下，大气中的水汽出现饱和时，多余的水汽就会凝结。同时，大气中存在着很多颗粒物，这些颗粒物形成凝结核，当温度适宜时，颗粒物形成的凝结核就会吸附和凝结水汽，若温度下降，它们又会凝结成悬浮在大气空间的细小的冰晶或者水滴。2.2 大气散射模型光传播时会接触大气中悬浮的颗粒物，有一部分光被颗粒物散射，接收的光会减弱。散射和悬浮颗粒的大小、类型、分布及方向有很紧密的关系。依据Mie米氏散射理论，McCartney在197

20、5年提出大气散射模型18,19。这个模型分析了雾天图像成像降质退化的机理，把散射对光学传感器接受到的光的影响分为两个部分：一部分是目标物体反射的光，反射光在从目标物体传播到传感器的过程中，被大气中悬浮着的大量颗粒物吸收和散射，因此输入成像设备的光产生直接衰减；另外一个部分是周围的环境光，在成像过程中，环境光也作为成像的一部分输入光，同样地，在环境光传播到成像设备传感器的过程中也会被大气中的颗粒物散射，导致环境光的衰减。这两部分可以分别用入射光衰减模型和环境光模型来表述。但大气散射模型要成立，也是需要一定的条件的，首先成像设备与目标物体的距离不能过远，一般在几千公里的范围内；其次，大气中悬浮的微

21、粒的类型及密度是趋向于均匀分布的。接下来，我们将详细分析大气散射模型。如下图2.1就是McCartney的大气散射模型示意图。图2.1 大气散射模型 2.3.1衰减模型 如图2.2所示为入射光的衰减模型。图2.2 衰减模型 由上图，入射光在从目标物体传播到成像设备的过程中，接触到大气中悬浮的微粒，其路径发生改变，从目标物体反射的光本来是直线传播的，遇到颗粒物后，发生散射，改变了其传播方向，有一部分光在这个过程中衰减了，余下部分的光进入成像设备。对这个过程进行数学建模，如下图2.3的平行光衰减模型，假定有一空间，这个空间中与大气相同，有悬浮着的微粒，其横截面积等于单位面积，且其厚度设为dx。图2

22、.3 平行光衰减模型 假设一束光线平行入射通过该空间，那么这束平行光在传播过程中变化的能量dE表述为 （2.1） 设成像设备与目标物体的距离为d，在2.1式两边对x从0到d求积分可以得到 （2.2）2.2式即为求成像设备所接收到的剩余的光照度，简化该式可得： （2.3）其中表示波长，d表示景深，是目标物体的反射光被反射后剩余的到达成像设备的光的强度，表示在x为0时的散射的强度，表示单位体积内大气中的微粒对光线散射的能力，即散射系数，散射能力越强，的值越大。由2.3式可以知道，散射导致的直接衰减为指数型衰减，且其强度与场景深度紧密相关。2.3.2 环境光模型 在雾天图像成像过程中，周围的环境光也

23、参与图像的成像过程，如下图2.4所示，太阳光、地面反射的光、天空散射的光、除了成像的目标物体之外的其他物体反射的光等都属于环境光，这些光线在传播过程中也会与大气中悬浮的微粒接触，改变了原来的路径，使得到达成像设备的环境光被削弱，环境光和目标景物的反射光一起传播到成像装置。与反射光的直接衰减不同的是，环境光的成分随着目标与光学传感器的距离增大而增加，因为当距离越大时，在长距离的传播过程中，会有越来越多的环境光参与进来。图2.4 环境光模型同样地，对其进行数学建模。如下图2.5：图2.5 参与成像的环境光图如图2.5，假设形成的立体角为，距离x处的体积元表示为： （2.4）在该体积元处，大气散射得

24、到的光通量微元表示为： （2.5）环境光经过散射后，成像设备接收到的光的辐照度： （2.6）单位角上的光强度为： （2.7）在上式两边对x从0到d积分，则目标物体到光学传感器的环境光光强为： （2.8）在距离为0时，环境光强度为0，d趋向于无穷大时，光照强度最大，此时，因此，距离为任意的d时，其光照强度为： （2.9）替换得 （2.10）这就是环境光模型。2.3.3 有雾图像成像模型 依据McCartney的大气散射模型，有雾图像成像的原因包括目标物体反射光的散射及环境光的散射导致的图像降质退化。故光学传感器接收到的光的强度包括目标景物反射的光及环境光发生散射后剩余的传播到光学传感器的光的强度

25、的总和，也即： （2.11）为了方便，作出替换，使，得到： （2.12）这就是有雾图像的成像退化模型，I（x）是有雾图像，J（x）是待还原无雾图像，t(x)是透射率，描述到达相机的这部分光透射雾的能力，这种能力越大，t值越大，A是大气光，通常是全局上的常量。去雾就是从I中恢复J。 雾成像方程（1）意味着，几何上，在RGB颜色空间里，向量I（x），A和J（x）的端点是共线的且它们共面。如图2.6所示，透射率t是两个线段的比例： （2.13）其中C R，G，B颜色通道指数。图2.6 有雾图像成像模型 现阶段，有雾图像成像模型是应用得最广泛的基本模型，在此基础上，得到了很多有效的去雾方法，本文要研究

26、的就是在此基础上提出的暗通道先验去雾的方法。2.3 雾天条件下降质图像的特性 根据前面的分析我们了解到，雾天情况下，因为大气微粒的散射，使得雾天视频图像发生了变化，具有了与晴天条件下的无雾图像不同的特性，包括以下几点： 一是由于入射光产生直接衰减，使得灰度值改变，因此图像中的细节被模糊化，特征较难分辨，且图像的清晰度和分辨率降低，信噪比较低，可见度和对比度也非常低，动态范围很小等。 二是可能会产生色彩的偏移或者色差等，或者图像整体呈现出灰白化，视觉上图片色彩饱和度不够等。 三是在频域上，图像中重点体现细节边缘信息的是高频分量，而雾天图像高频分量减少，低频分量增加，因此雾天图像的边缘信息模糊。

27、四是时域上的特性，有雾图像的直方图灰度级趋向于平均值，集中分布，因此其动态范围非常小，视觉上，图像只有较为模糊的细节信息2。 如图2.7即为有雾图像及无雾图像与其各自的直方图的比较。有雾图像(a)中，道路上各种细节都看不清楚，后面一辆车只能看见车灯，路旁的建筑等都被雾模糊了，而无雾图像（c）中，远处的山和树林，草地都清晰可见。对应两幅图像的直方图，有雾图像的直方图中，像素值集中分布于均匀值，无雾图像的直方图分布较分散，范围较大，其动态范围和对比度更大。 （a）雾天图像 （b）雾天图像的直方图 （c）无雾图像 （d）无雾图像的直方图图2.7 有雾与无雾图像及其直方图对比图2.4 图像去雾质量评价

28、指标 本文研究的是对雾天视频图像进行清晰化处理，那么在对视频图像去雾处理后，如何评价其恢复图像的质量呢？在工程实践中，又如何确定去雾后的质量是否满足工程实践的要求呢？为了解决这一问题，本节将讨论评价去雾图像质量的指标。图像去雾质量的评价指标分为主观评价和客观评价两种方法2。2.4.1 主观评价方法 主观评价方法比较直接，这种方法是从人的主观视觉角度来评价去雾图像的质量，其中应用最广泛的是主观质量评分法，这种方法归一化各个观察人员的评价，不同的评价结果对应不同的评价层级，共分为i个评价层级。 主观评价方法的统计结果相对比较可靠，实现的难度也不大，但在工程实践中，这种方法不能满足其实时性，会耗费大

29、量的时间和精力，且影响因素也很多，所以对于实时视频去雾来说，这种方法不太适用。2.4.2 客观评价方法 客观评价方法是通过建立一个模型，来模拟人的视觉系统，用相应的算法对去雾后的图像质量做出评价。客观评价方法中应用得较为广泛的指标有以下几种： 一是均方差。均方差表现图像各像素灰度值与平均灰度值偏离多少，均方差较大时，图像的灰度信息更加丰富，对比度更大，图像质量更好。均方差通过下式获得： （2.14）其中M是行数，N是列数，I（i,j）是像素的灰度值，表示灰度均值。 二是信息熵。信息熵与图像中的信息量有关，可以反映图像中信息是否丰富。信息熵较大时，图像信息量较为丰富，质量较好。其定义如下式： （

30、2.15）其中，L是灰度等级，p(g)表示灰度值为g的像素数和总像素数的比值。 三是平均梯度。平均梯度是用来表现图像的相对清晰度的，它分析图像里细节的变化速率。平均梯度较大时，图像较清晰。其定义如下式： （2.16）其中，M为图像总的行数，N为总的列数，是i行j列的灰度值。 通过上面的分析，我们了解到，客观评价指标也是以主观评价为基础的，客观评价指标能满足实时视频去雾所要求的实时性，能够较好地模拟人的视觉系统，并且效率也较高，在本文中，我们用它们来作为评价图像去雾后的质量的指标。2.5 本章小结 这一章主要分析了雾天图像成像的机理，为后面的讨论分析做出理论基础铺垫。首先分析雾、霾的形成原理，了

31、解下这种天气下大气中微小颗粒的存在，然后研究了McCartney提出的大气散射理论，其中有环境光模型，入射光衰减模型，及最重要的雾天图像的成像模型，了解到雾天图像退化是由于目标物体反射的光及环境光接触到空气中的颗粒物发生散射作用，部分光改变了传播方向，导致传播到成像设备的光强被削弱，这个原理是后面所有研究的基础。然后分析了雾天图像的几个特性，并对有雾图像和无雾图像进行了对比，也对各自的直方图进行了说明和对比，具体地表现了雾图像的特性。最后分析了去雾图像质量评价指标，为后面几章的研究分析打下了基础。第3章 基于大气散射模型的图像去雾3.1 基于大气散射模型的去雾方法概述 基于大气散射模型的有雾视

32、频图像去雾方法，是根据上一章中讨论的大气散射模型得到的有雾图像成像模型，根据降质图像的成像过程，求逆过程，恢复出无雾图像。也就是说，这种方法以有雾图像退化降质的原理为理论基础，分析雾天图像成像的原因及其过程，根据成像模型建立一个回归模型，利用反演这个回归过程得到所需要的返回值。这个方法从图像降质的物理机理出发，优于其他的复原方法，因此现阶段是应用得较为广泛的，并且取得了显著成果。 基于大气散射模型的图像复原方法依据图像降质退化的基本原理及物理特性建立一个数学模型，为得到雾图像的原始本质图像，对这个模型求逆。这个模型在图像去雾领域取得了很好的效果，但这个退化模型参数很多，比较复杂，研究分析中需要

33、掌握大气条件，场景深度以及其他的一些先验信息。在本章中，将对何凯明的基于大气散射模型的暗通道先验方法进行研究分析，并在此基础上进行改进。3.2 基于暗通道先验的去雾方法3.2.1 暗通道先验 暗通道先验是kaiming He等研究人员提出的一种理论16。这个理论是基于以下的关于无雾户外图像的观察统计：在图像的大多数非天空部分中，RGB三通道中至少有一个颜色通道在某些像素上具有非常低的强度，换句话说，在这样一个部分的最低强度应该有一个非常低的值。对于图像J，在形式上定义： （3.1）其中是J的一个色彩通道，是集中于x的局部块，观察表明，如果J是无雾户外图像，除了天空区域，的强度低并趋向于0，即为

34、J的暗通道。 暗通道中的低强度包括以下一些因素：建筑物、汽车等城市景观中的阴影，彩色物体表面的色彩通道上缺乏颜色，或者黑暗的物体表面等。户外图像一般存在很多阴影和色彩，所以这些图案的暗通道非常暗。如下图3.1，展示了无雾的户外图像和有雾户外图像及其对应的暗通道图，可以发现暗通道图大部分区域都呈现出黑色。 （a）无雾户外图像 （b）无雾图像对应的暗通道图 （c）有雾户外图像 （d）有雾图像对应的暗通道图图3.1 无雾和有雾户外图像及其暗通道图 为了验证暗通道先验，He从若干图像搜索引擎中收集了一个户外图像集，挑选了白天的无雾风景图和城市景观图，从中随机选择了5000幅图像，裁剪掉天空区域。它们的

35、大小被重置了，因此最大高度和宽度是500像素，暗通道使用1515的局部区域来计算。图3.2（a）是所有五千个暗通道强度的直方图，图3.2（b）是相应的累积直方图，可以看到，暗通道中，大约75%的像素是零值，90%的像素强度低于25，所以大部分暗通道有非常低的平均强度，这意味着只有一小部分无雾户外图像偏离了我们的先验。 由于雾在一般情况下呈现灰白色，原本较暗的通道由于额外的灰白色的光，强度会变大，因此有雾图像比其无雾版本的图像更加明亮，有雾图像的暗通道在密集的有雾区域会有更高的强度。暗通道的强度在视觉上是雾浓度的粗略近似值，这个特性可以用来评估透射率和大气光。 Kaiming He之前的研究人员

36、大多数是从增加图像的对比度角度来实现图像的清晰化，但He从一全新的角度对图像去雾进行研究，提出了暗通道先验，这种方法简单高效，可直接估算雾浓度并恢复高品质的无雾图像。接下来我们的研究分析就要在此理论基础之上进行。 （a） （b）图3.2 暗通道强度的直方图及累积直方图3.2.2 估算透射率 在这里，先假定大气光A是已经给出的，进一步假设局部区域的透射率是恒定的，设为t（x），在局部区域上对雾天图像成像方程（2.12）两边进行最小值操作得到： （3.2）注意最小值操作在RGB三通道上时独立执行的，上式等价于： （3.3）在RGB三色彩通道上在上述等式中再采取一次最小值操作得到： （3.4）根据暗

37、通道先验，J的暗通道应该趋向于零，即有： （3.5）由于总为正数，因此： （3.6）将方程（3.6）代入方程（3.4），可以简单估算透射率： （3.7）事实上是正常化的雾图像的暗通道，它直接给出了透射率的估量。 正如前面提到的，暗通道先验对天空区域来说不是一个好的先验。好在在雾天图像中，天空的颜色类似于大气光A。在天空区域，有：且天空是无限的，其透射率趋向于0，故方程（3.7）很好地处理了天空区域和非天空区域，不需要预先区分开天空区域。 事实上，即使是在晴朗的日子里，大气中也不是绝对没有任何粒子，故而当我们看远处物体时，雾依然存在。而且，雾是人感知深度的根本线索，这种现象被称为空气透视。假设我

38、们彻底去雾，图像可能看起来不自然而且深度感可能会丧失，所以我们可以通过将一个常数参量 (01) 引入方程（11）来为远处物体随意地保留非常少量的雾： （3.8）这种改动的好处是我们可以自适应地为远处物体保留更多的雾。的值是基于应用的。将文中所有报告的结果都固定到0.95。 虽然这样估算的透射率图大致上是可行的，但是却包含了一些块效应，因为局部上透射率不总是恒定的，因此He接下来用软抠图对透射率图进行改进。3.2.2 软抠图 注意到雾成像方程（2.12）与图像抠图方程有相似的形式，所以将软抠图方法应用于细化传输图。用t（x）表示细化传输图。将t(x)和重写成它们的矢量形式t和，最小化下列价值函数

39、： （3.9）其中L是莱文提出的抠图Laplace矩阵，是正则化参数。前一项为平滑项，后一项为数据项。矩阵L的（i，j）元素被定义为： （3.10）其中，在像素i和j上I的颜色是和，是Kronecker函数，和是平均值和协方差矩阵，是正则化参数，是3x3的单位矩阵，是中的像素数。 t的最优解可以通过解决以下的稀疏线性系统来得到： （3.11）其中U是与L同样大小的单位矩阵，给设置一个小的值，因此t由简单限制了。如图3.3（c）是用3.3（b）作为数据项的软抠图结果，正如所看到的，精细透射率图设法捕捉锋利边沿的间断性和概括物体的轮廓。 （a）有雾图像 （b）透射率估计图 （c）经过软抠图的精细透

40、射率图 （d）最终的无雾图像图3.3 细化透射率图 上述软抠图方法，使用了高精度的插值用稀疏线性系统来求大型稀疏矩阵，因此其运算量非常大。并且虽然软抠图的效果显著，但从图3.3中经细化的透射率图可以看出，仍然存在着一些光晕效应，因此本文后面的部分将在He的软抠图方法上作出一些改进。3.2.3 估算大气光 前面提到，雾图像的暗通道很接近雾的浓度，可以用暗通道来提高大气光估量的准确性。首先选择暗通道中最亮的0.1%的像素，这些像素是最不透明的雾区域。在这些像素里，I中具有最大强度的像素被选作大气光。在整个图像中，这些像素也许不是最亮的。这个简单有效的暗通道方法比“最亮像素”方法更优，用它来自动估算

41、文中展示的所有图像的大气光。3.2.4 恢复无雾图像 通过透射率图，可以根据方程（2.12）恢复无雾图像。但是当透射率t（x）接近于零时，J(x)t（x）可能非常接近于零。直接恢复场景辐射J容易产生噪声。因此，He限制透射率t（x）的下限为，这意味着一定少量的雾被保存在非常密集的雾区域。最后的无雾图像J（x）被恢复： （3.12）的典型值是0.1。因为一般没有大气光那么明亮，故去雾后的图像看起来很暗淡。所以，为了视觉效果，提高了J（x）的曝光。图3.3（d）是恢复的无雾图像。3.3 改进的基于大气散射模型的视频图像去雾方法 由上一节对何凯明提出的暗通道先验算法的分析，我们了解到，暗通道先验方法

42、在图像去雾方面有着显著的效果，操作简单。但这个算法也存在着一些问题，其中最显著的问题就是运用软抠图对透射率图进行细化运算太复杂，这在很大程度上降低了图像去雾的效率。虽然在对透射率图进行细化的过程中，软抠图的效果很好，但是软抠图要求解一个很大的稀疏矩阵线性化方程，这个运算过程耗费了大量的内存和时间。例如，在用软抠图细化一幅750450的图像的透射率图时，要生成一个维数达到（750450）2的矩阵，这个过程耗费的时间超过15秒，并且对内存有很高的要求。由此可见，在暗通道去雾的算法中，全部的运算时间有一大部分就会耗费在软抠图方面，这对于单幅图像去雾来说是一个很大的缺陷。因此本文在这一节中，对这个问题

43、进行改进，用另外一种更高效的方法来对透射率图进行细化，这种方法就是导向滤波法。3.3.1 导向滤波 导向滤波是一种效率较高的算法，它把输入的图像或者是其他图像用作导向图来提取边缘信息或结构信息，然后对输入图像滤波。导向滤波方法可以平滑去噪，并且可以很好地使图像的边缘特性得到保持。导向滤波得到的图像边缘信息特征较显著、清晰，它对透射率图的细化效果和软抠图不相上下，但效率却远比软抠图方法高20。导向滤波的滤波过程的模型用下式表示： （3.13） 其中，q是输出图像，I是导向图，p是输入图像，i、j是像素坐标，是导向图的一个函数，即滤波核，它与p不相关，p和I是给定的。设输出滤波图像q与导向图I的关

44、系表述为： （3.14） 现在问题的关键就是要求出上述线性关系式的两个系数和，是一个窗口，其半径为r，、是在这个窗口中恒定的常数系数。在这个模型中，存在，所以能保证输出图像q的边缘只存在于导向图I的边缘存在的时候。那么线性系数、如何获得呢？它们是通过限制待滤波图像p来获得的，定义过滤输出图像q是待滤波图像p减去不必要的纹理和噪声得到的，如下式： （3.15） 现在，要保持（3.14）线性模型并且使得p和q的差别不大，应该对以下的代价函数做最小化处理： （3.16）其中是一个用来保证不会过大的正则化参数，这是一个线性回归模型，求得： （3.17） （3.18）其中，是中的像素的个数，在窗口中，是

45、导向图I的方差，是导向图I的均值，是内p的均值，有，则滤波输出为： （3.19）其中，（,)的梯度值远小于图I的强边缘，有，在滤波后的图q中，像素变化较大的导向图I中的部分被保持了。 事实上，（3.17）中的可以写为，是以导向图I为依赖的权重，同理： （3.20）有，导向滤波的核的权重表述为： （3.21）通过上式，可以理解边缘保持平滑的属性。，处于边缘同一边时，与符号一致，不在同一边时，符号是相反的。在（3.21）中，对于，不同侧像素比同侧像素该式的值要远小，所以边缘上都是不平均的。3.3.1 运用导向滤波细化透射率图 导向滤波能够使图像边缘更加平滑，更加结构化，并且能够平滑去噪。导向滤波的

46、时间复杂度和滤波核的亮度和尺寸无关，与像素的个数有关，为O（N），所以相比软抠图方法，导向滤波效率大大提高了。运用导向滤波去雾，要先得到雾图像的RGB最小值图，用作导向图，以及暗通道图作为导向滤波的输入图像，通过导向滤波得到细化的透射率图，然后估算大气光，恢复无雾图像。其过程用流程图表示如下图3.4：图3.4 去雾流程图3.4 实验结果与分析 我们将上面讲到的去雾方法应用到实际的图像中，分析改进前后图像的特性及各项指标，分别进行主观评价和客观评价，验证本文方法的去雾效果。3.4.1 主观评价 如图3.5，为了凸显导向滤波图的效果，我们对两幅雾天图像进行操作，对其透射率图分别用软抠图法和导向滤波

47、法进行了细化，细化后的效果比较如图。首先用He的方法估计出粗略透射率图，如图3.5（b），3.5(f)。然后分别用导向滤波和软抠图法进行细化得到如图3.5（c），3.5（d），3.5（g），3.5（h）的结果。 （a）输入雾天图像1 （b）粗略透射率图 （c）软抠图细化的透射率图 （d）导向滤波细化的透射率图 （e）输入雾天图像2 （f）透射率图 （g）软抠图细化的透射率图 （h）导向滤波细化的透射率图图3.5 两方法对透射率图细化效果比较 由3.5，可以看出，本文方法对粗略透射率图的细化效果比He的方法更加良好，相比He的方法，对于粗略透射率图存在的块效应，本文方法能够很好地消除，并且对图像

48、的细节信息能够保持得更完善。 另外，我们对两方法去雾后的图像也做了对比，如图3.6所示： （a）雾天图像 （b）软抠图去雾后图像 （c）导向滤波去雾后图像 图3.6 He方法与本文方法去雾效果对比 由组图3.6，可以看出，本文方法去雾的效果在He方法基础上有了一定的提高，本文方法能更好地增强图像对比度、清晰度，最主要的是本文方法能够平滑去除图像噪声，更好地保持图像的边缘，实验充分验证了本文方法去雾的效果。 由于本文研究的是对于雾天视频的去雾处理，在实际的工程应用中，需要对视频中图像序列里的每一帧图像进行去雾处理，因此，我们下载了一段雾天视频，并在其中截取了第59,96,124帧图像，分别用软抠

49、图和导向滤波的方法对三帧图像进行去雾，以验证导向滤波的效果。结果如图3.7所示。 （a）第59帧图像原图 （b）原始透射率图 （c）软抠图后透射率图 （d）导向滤波后透射率图 （e）软抠图去雾后图像 （f）导向滤波去雾后图像 （g）第96帧图像原图 （h）原始透射率图 （i）软抠图后透射率图 （j）导向滤波后透射率图 （k）软抠图去雾后图像 （l）导向滤波去雾后图像 （m）第124帧图像原图 （n）原始透射率图 （o）软抠图后透射率图 （p）导向滤波后透射率图 （q）软抠图去雾后图像 （r）导向滤波去雾后图像图3.7 视频序列中任意三帧雾图像经过两不同方法去雾后效果图 由以上的实验结果图，可以

50、看出，软抠图方法获得的去雾图像虽然去雾效果较好，但与导向滤波相比仍然稍显逊色，导向滤波的方法能够很好地保持图像的边缘信息，使其边缘细节信息清晰明确、而且能够平滑去噪，色彩恢复得较好，而软抠图方法的图片中仍然有一些细节边缘信息不清晰，主观视觉效果上，导向滤波优于软抠图方法。3.4.2 客观评价 虽然人的主观视觉系统能较好地评价图像的质量，但仍然会受到很多方面的影响，导致判断结果不够准确。在第二章的去雾图像质量评价指标一节中，本文介绍了几个客观评价指标，用客观评价指标效率较高，且能较好地评价图像的质量，为了验证本文算法的效果，我们测算了3.7中图像的三个指标：均方差，信息熵H，平均梯度，并列表进行

51、比较，结果如表3.1所示。表3.1 组图3.7中图像的各质量指标值图像 (a)雾图像 (e)He方法 (f)本文方法 (g)雾图像 (k)He方法 (l)本文方法 (m)雾图像 (q)He方法 (r)本文方法342.24804.131034.20333.08909.491045.70319.61955.161243.90H6.196.706.876.186.816.936.096.726.934.376.977.135.229.409.814.697.578.34由第二章对质量评价指标的介绍，了解到均方差反映图像各像素灰度值与平均灰度值偏离多少，均方差越大，图像对比度越大；信息熵反映图像中的信

52、息量，信息熵越大，图像信息量越丰富，质量越好；平均梯度反映图像的相对清晰度，它分析图像里细节的变化速率。平均梯度越大，图像越清晰。根据对本文测试的图像的计算，本文方法结果图的均方差在He方法基础上约平均提高了218.34，信息熵在He方差基础上约平均提高了0.17，平均梯度在He方法的基础上约平均提高了0.45。根据以上数据以及上述表格中的数据，可以看出He的算法和本文算法都能有效地提高雾天图像的质量，并且本文的方法在He方法的基础上又有一定的提高，验证了本文去雾算法对于图像的处理效果在效率提高的基础上，去雾的效果也并不逊色于软抠图方法。 另外，为了验证本文算法的效率比He的算法更高，我们对不

53、同尺寸的图像用He的软抠图方法和本文的导向滤波方法进行处理，测算去雾过程的耗时，结果如下表3.2所示。表3.2 软抠图算法和本文导向滤波算法耗时 (单位：s)有雾图像图像尺寸He的软抠图算法（s）本文的导向滤波算法（s）3.5（e）51234319.4533.6173.7（a）1920108046.2746.320由表3.2可以看出本文算法在运算速度上较He的软抠图算法相比明显取得了极大提高，能够满足工程应用的实时性。3.4.3 其他分析 由于在实验过程中发现，透射率图对于正则化参数的敏感度不高，因此将固定到，然而，过滤半径在参数为时影响是非常大的。在式（3.13）中可以看出。滤波后的图像在当

54、过滤半径较大时更加和导向图I线性相关，这能够使得结果图的光晕现象大大减弱，因为它使得透射率图中存在的块效应减少了。但是，另一方面，细化的透射率图在过滤半径过大时，会从导向图中得到过多的细节信息，使得滤波结果出现过饱和状态。如图3.8所示，展示了过滤半径不同时，对滤波结果的作用和影响，固定为。图3.8（b）是输入图像的暗通道图，3.8（c）是其透射率图，3.8（d）（e）（f）分别为过滤半径为7,70,700时通过导向滤波得到的无雾结果图。很显然，当半径为7时，图像的光晕效应非常严重，半径过小；当半径为700时，图像饱和度过大，图像显得不真实，半径过大；而当半径为70时，这两种效应都被减轻到适当

55、程度，图像效果非常好。 （a）输入图像 （b）暗通道图 （c）透射率图 （d）半径为7时的恢复图像 （e）半径为70时的恢复图像 （f）半径为700时的恢复图像图3.8 不同滤波半径的去雾效果 以上，我们对Kaiming He的软抠图细化透射率图方法进行了改进，通过导向滤波对透射率图进行细化，在不改变甚至是优化了细化效果的基础上，提高了细化的速度。并且对两种方法的效果进行了实质性的比较，也对导向滤波法不同半径的滤波效果进行了讨论，得到了最佳的导向滤波半径，极大提高了整个图像去雾算法的效果和运算速度。 3.5 本章小结 这一章首先对基于大气散射模型图像去雾算法进行了一个概述，然后详细研究分析了K

56、aiming He提出的暗通道先验去雾算法，暗通道先验去雾算法是基于对无雾户外图像的统计，He发现无雾户外图像中大部分的局部图像块都包含了一些有着非常低强度的，至少有一个色彩通道的像素。将这种先验应用到无雾图像中，可估算雾浓度，恢复品质较好的无雾图像。最终，大量的户外有雾图像验证了提到的先验通道的能力。而且，质量较好的深度图也可以作为其副产品。虽然暗通道先验去雾效果非常显著，但仍然存在着一些缺陷，那就是He对透射率图进行细化的软抠图法运算复杂，耗费时间过多。因此，最后我们对其软抠图法做出改进，改为用导向滤波的方法对透射率图进行细化。这种方法能平滑去噪，细化细节信息，在细化透射率图方面有非常好的

57、效果，更重要的是，它显著提高了去雾算法的运算速率。我们还将两种细化方法进行应用，比较效果图及其质量评价指标，更好地验证了导向滤波法的效果。第4章 实时视频去雾4.1 CUDA基本原理及架构以前,计算工作大部分是由CPU完成的，而GPU是用来处理图像的。近年来，GPU的功能随着计算机技术的高速发展日渐强大。在计算方面，GPU已然超越了普通的CPU。功能这么强大的GPU仅用作显卡，显然没有发挥其作用。同时，在工程应用中，对运算速度的要求越来越高，需要计算的数据量越来越多。如图4.1所示，GPU与CPU的区别在于，CPU的重点在于其控制（control）单元，它还有速率很高的缓存单元，以及小部分的算

58、术逻辑单元，然而其控制单元的功能及条件分支的预测能力不够强。而在GPU的结构中，它利用线程的并行结构来减少对存储器访问发生延迟的问题，其计算执行单元占据了大部分的晶体管。这样的结构很大程度上提高了数据的运算速度21。 CPU GPU图4.1 CPU和GPU的结构 基于GPU的这一结构特性，NVidia推出了计算统一设备架构（Compute Unified Device Architecture）也就是CUDA，CUDA是一种用GPU来处理较为复杂的运算问题的通用并行运算架构，可以用C语言来为其编写程序。4.1.1 CUDA的硬件模型以CUDA为基本架构的GPU程序的执行方式是GPU和CPU协同

59、并行工作。CUDA程序在设备端是用多线程的方式进行并行的执行，主机端运行串行程序。其GPU的体系结构如图4.2。这个结构由Stream Multiprocessor（SM）即流多处理器和其对应的存储器组成。在每一个SM上，都有一个指令单元、八个SP分片式流处理器（Stream Processor）和多种片上存储器。其包含的存储器有以下四种：由同一组线程块里线程共享的共享存储器；寄存器；由所有SM共同使用的只读纹理存储器；由所有SM共同使用的只读常数存储器。在硬件架构中，建立、管理及执行数个并发轻量线程是流多处理器（SM）的主要功能。事实上，CUDA中kernel函数的执行以线程块为执行单位，线

60、程块中的每个线程发送到一对应的SP上来执行。在一个线程块中，如要共享数据，线程必须在同一个SM上执行，但SM可以同时拥有多个等待执行的活动线程。每个SM都有自己的获取、解码、执行单元，及控制单元和发射指令单元，以此来实现用多线程单指令方式进行线程的并行，依据自己的寄存器的状态和指令，每个线程都是独立地运行的。单指令多线程的运行方式只规定了每个线程的行为和其对应的分支行为，却不指定线程的大小及其组织方式。CUDA中，kernel的配置决定了线程的大小和组织方式。图4.2 CUDA硬件模型4.1.2 CUDA的存储模型 CUDA的存储模型如图4.3所示，这个模型由两个部分组成：多个存储单元和其对应