毕业论文-基于图像柔性去雾的火焰视频增强方法研发

HUNANUNIVERSITY毕业设计(论文)设计论文题目：基于单幅图像去雾的火焰视频增强方法仿真研究学生姓名：学生学号：专业班级：自动化四班学院名称：电气与信息工程学院指导老师：学院院长：2015年5月16日页摘要在生活生产过程中，总会遇到在采集需要的图像或者视频时，由于天气原因或者空气质量问题，而导致所采集的资料质量不高。在本篇论文中，首先完成对单一图片进行去雾提高画面质量，然后将其应用到视频资料的单帧上，从而达成提高视频画面增强的目的。在单幅图片增强处理中，论文借鉴了图像处理领域的暗原色先验去雾理论。暗原色先验是指在大部分无雾的图像的各个小区域都存在着部分像素，其颜色通道中起码有一个的强度值非常低。利用这一统计现象，论文先对单幅火焰图像的模糊程度进行投射图估算，再利用大气散射模型对原图进行复原，得到清晰的没有雾干扰的图像，达到图像增强目的。针对对于火焰视频处理问题，论文首先从视频提取关键帧火焰图像，再利用上述方法进行单帧的去雾处理。由于视频前后帧类似，因此对关键帧的前后帧用同样的大气光估计参数进行去雾增强处理算法，以此来提高视频处理的速度。论文最后利用某厂氧化铝回转窑的火焰视频进行的仿真，实验结果表明利用去雾方法对多分陈火焰图像进行增强，可较好地突出火焰去目标，达到较好的视觉效果。关键词：去雾，暗原色先验，复原，关键帧

TheresearchanddevelopmentofflamevideobasedonimagedefoggingalgorithmAbstractIndailylife,wecan’talwaysmeettheneedsinthecollectedimageorvideo,duetoweatherconditionsorairqualityproblemswhichleadtothatthequalityofimagesandvideosarenothighenough.Inthispaper,singleimagedefogwillbedoneatfirst,andthenapplyittoasingleframeofvideodata,soastoaccomplishtheaimofimprovingvideoimageenhancement.Inasingleimageenhancementprocessing,thispaperuseforreferencefromthetheoryofdarkchannelprior.Thedarkchannelpriorillustratesthatmostofhaze-freeimagescontainsomepixelswhoseintensityisverylowinatleastonecolorchannel.Usingthestatisticalphenomenon,thispaperfirstestimatesthefuzzydegreeofsingleflameimage,thenusingatmosphericscatteringmodeltosimulatetheoriginalrecovery,getclearnofoginterferenceimage,toachieveimageenhancement.Forproblemsofflamevideoprocessing,thispaperfirstlyextractthekeyflameframesfromvideo,thenusingthemethodsmentionedaboveforsingleframetodealwiththefog.Becausethekeyframe,thefrontandrearframesaresimilartoeachother,sothesameatmosphericopticalparameterstodealwiththefogenhancedmethodwouldbeusedonthem,soastoimprovethespeedofvideoprocessing.Paperfinallyusingafactory’saluminarotarykilnplantflamevideotosimulate,theexperimentalresultsshowthatusingthedefogmethodtoenhancethedustflamevideocanhighlighttheflameareabetterandachieveabettervisualeffect.KeyWords：Defog,darkchannelprior,restoration;,keyframe

目录摘要 IAbstract II第一章绪论 11.1研究背景 11.2国内外研究状况 11.3课题研究方法 21.4论文构成及研究内容 3第二章暗原色先验规律 32.1简单介绍 42.2理论推导 42.3参数影响 8第三章暗原色先验的改进探索 93.1中值滤波 103.2双边滤波 113.3引导滤波 133.4结合双区域滤波和图像融合 163.4.1结合双区域滤波和图像融合 173.4.2柔性去雾 183.5图片的质量评价 20第四章火焰视频增强 224.1图像增强 224.1.1Retinex算法 224.1.2直方图均衡 234.1.3效果对比 244.2视频增强 254.2.1视频分解 254.2.2单帧处理 274.2.3视频合成 284.3视频增强的方法改进 28第五章工作总结和展望 295.1工作总结 295.2展望未来 29致谢 30参考文献 31第一章绪论1.1研究背景随着计算机技术的发展，计算机视觉系统成为了我们生活中越来越重要的角色，其应用非常广泛，在军事、交通以及安全监控等领域都发挥其特有的作用，能为相关的工作人员获取有效的图像视频信息。然而，在雾、霾之类的恶劣天气或者其他不良条件下采集的图像，会由于大气散射的作用严重影响数据的质量，常常让获取的图像视频偏灰白色，对比度过低，难以辨认物体特征，不仅使所获取数据直观视觉效果变差，还会影响数据的后期处理。像卫星遥感系统、航拍工作、户外监控等等，其拍摄工作都会受到极大影响。因此，许多领域都需要图像去雾技术来增强图像质量或修复图像，以此提高图片的利用率。1.2国内外研究状况与其他图像处理技术相比，图像去雾技术的研究工作开展得较晚，可供参考的文献并不多。发展至今，尽管国内外相关的研究机构已经取得了一定的成就，但仍需完善。国外的研究工作比国内开展更早一些，研究机构也较多。在国外著名的研究机构中，美国国家航空航天局（NASA）的Langley研究中心（LRC）研发了Retinex算法[]，对烟、雾、水下和夜晚图像进行增强，并将其算法嵌入DSP便携式图像增强视觉系统中，处理分辨率为256×256的灰度图像可达到30帧/s，基本满足实时性的要求；哥伦比亚大学的计算机视觉实验室的Narasimhan.S.G和Nayar.S.K[]-[]研究如何利用不同天气条件下同一场景的多幅图像来恢复清晰图像，并建立了不同天气下同一场景的WILD数据库；以色列的联合成像实验室[]研究基于偏振滤波的方法，对大气成像和水下成像适用；曼彻斯特大学电气与电子工程学院的传感、图像和信号处理组在图像对比度恢复方面进行了长期的研究。在国内的研究机构中，华中科技大学的图像与人工智能研究所在这方面作出了开创性的贡献，在1999年桑梓勤等人[]就发表了大气效应对成像影响的论文，随后又从图形学角度进行深入研究[]，从而得出能见距离、图像对比度和图像分辨率之间的关系。解放军理工大学的刘锦峰等人[]-[]对Narasimhan提出的运输方程的数值解进行简化，进而缩减雾天图像复原算法的计算量。微软亚洲研究院和香港中文大学信息工程系的多媒体实验室合作，研究基于数据假设的单幅图像去雾方法，其成果较为显著，但与实际应用仍然存在较大的差距。2009年，何凯明等人[]-[]在基于暗原色先验的知识上，使用最小值滤波对介质传播函数进行粗估计，再借助后期抠图算法对该函数细化，有效解决了单幅图像的去雾问题。对于火焰视频，基于视频的火焰检测已在火灾预防等领域中收到广泛关注。最早于1996年,美国弗罗里达大学的SimonY.Foo[]就开始利用火焰视频的亮度进行火灾探测。之后Yamagishi等人[]提出基于颜色特征和神经网络的彩色图像火焰检测算法。WalterPhillips等人[]对火焰图像进行了颜色和运动特性的分析，在大空间火灾的识别取得巨大成就。Dedeoglu等[]通过研究火焰的运动特征，大幅度减小其他物体对火焰的干扰。国内的发展则比较落后，但也有许多学者在进行研究，卢瑞祥等[]提出了基于红外图像序列目标边缘相似特征的火焰识别算法，冉海潮[]提出了基于烟气浓度等参数的参数特征的识别算法。虽然已有这么多的学者在对火焰视频进行研究，然而对其进行增强的还不多，这也是本篇论文的创新之一。1.3课题研究方法在本文的课题中，主要任务是对图像去雾。针对图像去雾技术是否依赖大气散射模型，一般将去雾方法分为两类：基于物理模型的方法和非物理模型的方法。本文所讨论的方法属于前者，是基于数据假设的单幅图像方法。何凯明等5通过对大量户外无雾图像的进行实验观察总结，提出暗原色先验的简单有效的先验规律，利用这个规律建立去雾模型，可以直接对模糊图像进行雾浓度的估算并且复原得到高质量的去除雾干扰的图像。然而这个方法虽然简单有效，但是限制条件比较明显，在图片有大片区域同色的情况下，该方法的效果十分有限，这也是本课题的难点之一，在课题中将会尝试将这种方法加以改进，以获得更好的处理效果。对于火焰视频，本篇论文采取的方法是，首先将其进行提取单帧的单幅图像去雾处理，再经过程序合成放回到视频中，便完成了对火焰视频的增强。然而这样的效率太低太繁琐，本文中尝试对火焰视频辨别关键帧，即连续的若干帧中，包含前后几帧的特征且模糊程度类似的帧，对其以及其余连续的若干帧都用相同的算法进行单幅图像去雾，以此提高处理效率。1.4论文构成及研究内容本文主要完成的工作包括以下内容：学习图像处理技术[]以及matlab编程仿真[]，利用matlab实验仿真；对暗原色先验编程实验，进行参数修改以及优化，获取多组不同参数的数据；将优化后的算法应用到视频中，并尽可能实现实时性。本论文的大致安排如下：第一章为绪论，介绍了本课题的研究背景、图像去雾的发展现状，暗原色先验的相关概念，最后阐述了论文的主要研究工作及其篇章结构；第二章介绍何凯明等人提出的暗原色先验规律以及大气散射模型的建立；第三章讲不同的算法与暗原色先验进行对比，对暗原色先验的算法进行优化，通过对算法的不断修改来提高其去雾效果；第四章将图像增强的算法与去雾算法进行比较，然后观察去雾算法应用到火焰视频中增强的效果；最后一章是对全文的工作进行总结，并提出今后研究的问题与方向。第二章暗原色先验规律暗原色先验规律是本篇论文的理论基础，是由香港中文大学和微软亚洲研究院联合发布，由何凯明博士等人9-10共同发表。在图像去雾领域，几乎没有人不知道这篇论文，在当时图片处理还刚刚开始研究不久的情况下，给学界带来了新的方法，并且简单有效，于是得到了广泛的推广和研究。本篇论文的去雾方法便是以此为基础，首先学习该方法，再加以改进优化。2.1简单介绍首先，什么是暗原色先验？雾天时，由于空气中大量悬浮粒子的散射和吸收作用，使得光学成像对比度降低，颜色偏灰白色，严重影响视觉效果，这直接限制室外各种视觉系统的作用。因此对图像去雾有着重要的现实意义。暗原色先验是基于户外无雾图像数据库得到的一条简单有效的图像先验规律。该理论的核心是：绝大多数户外无雾图像的每个局部区域里，至少存在一个颜色通道的强度值很低。称之为在暗像素。雾天中，这些暗像素会因为雾光的充斥而强度值变大。因此这些暗像素能够用来评估雾光的透射情况。根据在暗原色先验基础的建立大气散射模型，以及光在雾天传输的物理特性，可以得到较好的去雾原像。2.2理论推导在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数。我们给暗通道一个数学定义，对于任意的输入图像J，其暗通道可以用下式表达：(2.1)式中表示彩色图像的每个通道，表示以像素为中心的一个窗口。暗通道先验的理论指出：我们抛开论文中列举的那些例子，自己从网上找几幅没有雾的风景照，看看结果如下:图2.1无雾图1图2.2暗通道1图2.3无雾图2图2.4暗通道2再看看一些有雾的图的暗通道：图2.5有雾图1图2.6暗通道3图2.7有雾图2图2.8暗通道4上述暗通道图像均使用的窗口大小为15*15，即最小值滤波的半径为7像素。

由上述几幅图像，可以明显的看到暗通道先验理论的普遍性。在何等人9-10的论文中，统计了5000多副图像的特征，也都基本符合这个先验，因此，我们可以认为其实一条定理。有了这个先验，接着就需要进行一些数学方面的推导来最终解决问题。首先，在计算机视觉和计算机图形中，下述方程所描述的雾图形成模型被广泛使用：(2.2)其中，就是我们现在已经有的图像（待去雾的图像），是我们要恢复的无雾的图像，是全球大气光成分，为透射率。现在的已知条件就是，要求目标值,显然，这是个有无数解的方程，因此，就需要一些先验了。将式（2.2）稍作变形，并对两边进行最小值处理，变形为下式：（2.3）上式表示R/G/B三个通道的意思。其中，假设在每一个窗口内透射率为常数，定义他为，并且值已经给定。是待求的无雾图像，根据前述的暗原色先验理论有：（2.4）因此可推导出：（2.5）把（2.5）代入（2.3）中，得到：（2.6）这就是透射率的预估值。在现实生活中，即使是晴天白云，空气中也存在着一些颗粒，因此，看远处的物体还是能感觉到雾的影响，另外，雾的存在让人类感到景深的存在，因此，有必要在去雾的时候保留一定程度的雾，这可以通过在式（2.6）中引入一个在[0,1]之间的因子，则式（2.6）修正为：（2.7）本文中所有的测试结果依赖于：

。上述推论中都是假设全球达气光值时已知的，在实际中，我们可以借助于暗通道图来从有雾图像中获取该值。具体步骤如下：1）从暗通道图中按照亮度的大小取前0.1%的像素。2）在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为值。到这一步，我们就可以进行无雾图像的恢复了。由式（2.1）可知：

现在,,都已经求得了，因此，完全可以进行的计算。当投射图的值很小时，会导致的值偏大，从而使淂图像整体向白场过度，因此一般可设置一阈值，当t值小于时，令t=，本文中所有效果图均以=0.1为标准计算。因此，最终的恢复公式如下：（2.8）当直接用上述理论进行恢复时，去雾的效果其实也是很明显的。根据其理论，可以编写出matlab程序，部分代码如下：[height,width]=size(Org_Img);%********************************************得到每个像素点RGB中的最小值fori=1:heightforj=1:width/3RGB_Min(i,j)=min(Org_Img(i,j,:));endend%**********************************************计算15*15区域中的最小值Ki=15;Ki2=(Ki-1)/2;Ki2_1=(Ki+1)/2;Val_For_15=zeros([Ki,Ki]);Temp_RGB_Min=RGB_Min;Min=RGB_Min;2.3参数影响在调试的过程中，发现公式中因素的大小对去雾效果会有很大的影响。第一：窗口的大小。这个对结果来说是个关键的参数，窗口越大，其包含通道的概率越大，暗通道也就越黑。我们不去从理论角度分析，从实践的效果来看，似乎窗口越大，去雾的效果越不明显，如下图所示：图2.9原图图2.10窗口大小=11图2.11窗口大小=21图2.12窗口大小=121经过多次的反复实验发现，窗口大小在11到51之间去雾效果较好，即半径在5到25之间。第二，公式（2.7）中，具有明显的意义，其值越小，去雾效果越不理想。图2.13原图图2.14图2.15图2.16因此，在去雾过程中要注意这些参数的设定，以此获得更好的去雾效果。第三章暗原色先验的改进探索在进行实验仿真之后发现，虽然何等人7提出的基于暗原色先验的单幅图像去雾虽然简单有效，但是该算法在经过透射率的估算后，采用抠图算法对透射率进行细化，以此来获取完成去雾的恢复图像，这样做耗费时间长，过于复杂，不能达到实时的处理要求。并且该算法对天空部分处理的不好，天空往往会出现较大的面积的纹理及分块现象。究其主要原因，是因为天空部位基本上是不符合暗通道去雾先验这个前决条件的。在本篇论文中，将尝试基于暗原色先验的算法，用其他方式来估算透射率，以及寻求方法弥补该缺陷，来提升算法性能。3.1中值滤波为了提高去雾算法的实时性，越来越多学者提出了多钟改进的方法，Tarel等[]，Gibson等[]提出了用中值滤波代替最小值滤波来估算透射率。中值滤波是在图像处理中，去噪的常用方法，能够有效地对椒盐噪声进行优化。其原理是将一个设定半径范围的领域内的中心像素进行取中值处理，这样虽然能够去掉极端化的像素值，却会导致得到的图片比原图的边缘更加模糊。这种方法不用抠图等方法去细化透射率，减少了耗费的时间，但是代价则是得到的去雾图像质量较差，容易出现黑斑效应。Gibson等8利用中值滤波对暗原色先验函数进行修正：(3.1)其中，即为所提出的暗原色中值。利用这种方法进行实验仿真，得到下图：图3.1原图图3.2中值滤波结果这种算法基于一种前提假设，即假设大气耗散函数在该邻域中逼近最大值，且局部变化平缓。在这种前提条件下，当处理的区域中，有一半以上的强度值比较大，中值滤波又并非是一个好的边缘滤波器，会拉大处理后该像素与邻域像素点之间的强度差值，从而引起黑斑。从仿真结果我们可以看到，由于图片大面积的灰白，得到的结果完全印证了上述理论，大片区域都颜色暗沉。3.2双边滤波估算透射率时，何等人5的方法是第一步相当于是对大气耗散函数进行最小值滤波，然而简单的最小值滤波会产生振铃效应和块效应，从而这种方法需要进行进一步的抠图细化来改善去雾后图像的质量。前文所提到的中值滤波算法中，除了提到的确定外，参数较多，不易调整。在这里我们尝试采用双边滤波的方法来估算大气耗散函数。Tomasi等[]在1998年提出了双边滤波的理论，这一种边缘保持的非迭代平滑滤波方法。这种方法分别由空域S和值域R平滑函数的乘积得到权重。当中心像素的距离和灰度差值变大，领域像素的权重就会变小。在这里我们才去高斯型的双边滤波，空域函数和值域平滑函数都是高斯函数。利用高斯双边滤波对大气耗散函数估算，可以表示为：(3.2)式中，是归一化系数(3.3)其中，和都是高斯函数，为空域的高斯模板，为值域的高斯函数的尺度。对于和中心像素比较近并且灰度差值不大的像素，双边滤波给它较大的权重，但对于比较近却灰度差值较大的像素，赋予较小的权重。从而，双边滤波能够有效地保持图像边缘，并且还能去处之前结果中对视觉效果影响很大的振铃效应。然而双边滤波是一种非线性滤波，空域卷积的快速算法并不适用。若从式(3.2)直接进行双边滤波计算，非常耗费时间。禹等人[]在Paris等[]提出的信号理论基础上，提出一种双边滤波的快速算法，将双边滤波表示为三维乘积空间SXR中线性移不变卷积，再进行低通滤波，最后线性插值到初始分辨率，得到最后的双边滤波结果。将上述算法进行实验仿真：图3.3原图图3.4双边滤波结果从结果中很明显可以看出来比中值滤波的算法优化了很多，由于加入了对像素所在区域的预处理，能够更好的处理像素值比较极端化的区域。3.3引导滤波顾名思义，引导滤波，即需要引导图的滤波器，引导图可以是单独的图像或者是输入图像。当引导图为输入图像时，引导滤波就成了一个边缘滤波的操作，可以用于图像重建的滤波。在提出基于暗原色先验后的去雾算法后，何等人[]又提出了引导滤波的去雾算法，它与双边滤波最大的相似之处，就是同样具有保持边缘的特性。在引导滤波的定义中，用到了局部线性模型，可以用下图简单理解：图3.5局部线性模型图这个模型认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数可以用很多局部线性函数来表示，但需要求该函数某一点的值时，只需要计算所有包含该点的线性函数的值做平均就可以了。引导滤波的流程如下：inputpinputpguideIoutputq图3.6引导去雾流程假设输入图像为p，输出图像为q，引导图为I，q与I在以像素k为中心的窗口中存在局部线性关系：(3.4)窗口半径是，，是线性函数，并且在局部窗口k中是常数。这个模型保证了只有存在边缘的情况下，才会存在边缘。这是因为：，即引导图像有梯度时，输出图像也有类似的梯度，从而保证引导滤波具有边缘保持性。输出图像是去除噪声或者纹理之后的图像，得到，为了确定上式中的线性系数，能够让与的差别最小，转化为最优问题：(3.5)式中，前面的系数用于防止求得的过大，也是调节滤波器效果的重要参数。通过最小二乘法，我们可以得到：(3.6)(3.7)其中，是在窗口中的平均值，是在窗口中的方差，是窗口中像素的数量，是待滤波图像p在窗口中的均值。在计算每个窗口的线性系数时，我们可以发现一个像素会被多个窗口包含，也就是说，每个像素都由多个线性函数所描述。因此，正如前文所说，要具体求某一点的输出值时，只需要将所有包含该点的线性函数值平均即可。当求出和后得到:(3.8)其中，，。当把引导滤波用作边缘保持滤波器时，往往有，如果，显然,是为最小值的解，从上式可以看出，这时的滤波器没有任何作用，将输入原封不动的输出。如果ϵ>0，在像素强度变化小的区域（或单色区域），有近似于（或等于）0，而近似于（或等于），即做了一个加权均值滤波；而在变化大的区域，近似于1，近似于0，对图像的滤波效果很弱，有助于保持边缘。而的作用就是界定什么是变化大，什么是变化小。在窗口大小不变的情况下，随着的增大，滤波效果越明显。在滤波效果上，引导滤波和双边滤波差不多，在一些细节上，引导滤波较好。引导滤波最大的优势在于，可以写出时间复杂度与窗口大小无关的算法，因此在使用大窗口处理图片时，其效率更高。将上述理论进行实验仿真：图3.7原图图3.8引导滤波结果对比于双边滤波的结果，引导滤波出来的结果更加柔和一些，但是仍存在较多的雾，效果不太理想。3.4结合双区域滤波和图像融合这个方法由张等人[]在上述的研究基础上提出，既保证了运算速度，又能够有效去处黑斑效应，提高了整体图像的质量。对于大雾图像在去雾之后容易出现图像暗沉的现象，张等人[25]还定义了一种为去雾图，并且和前文中的去雾结果进行像素级融合，以此实现柔性去雾。3.4.1结合双区域滤波和图像融合双区域滤波是对中值滤波的改进，在选取暗原色中值前，首先判断当前的像素点所在区域，然后根据像素点所在的区域进行不同的处理。将前面的中值函数进行修改，可以得到：(3.9)（17）可以从公式中看出，当像素处于较暗的区域时，该像素的暗原色中值直接取三原色通道中的最小值，如果不是，就取所在领域内三原色通道最小值的中值。从第二章中讨论暗原色先验规律的推导时得到的式（2.7）和式（2.8）可以得知基于双区域滤波的透射率函数和得到去雾图像描述如下：(3.10)(3.11)其中，是一个非常小的常数，通常取0.1，从而避免分母为0。是输入图像的暗原色双区域值：(3.12)其中，是输入图像的暗原色中值。3.4.2柔性去雾从前文的仿真结果可以观察出，利用暗原色中值滤波去雾能有效改善振铃效应，并不需要抠图等复杂算法再加以细化。然而部分雾霾比较严重或色彩非常失真的图像，这个算法处理后常常会产生色彩暗沉的现象。为了更有效的处理图片，调节去雾强度，丰富图像色彩，张等人[25]定义了一种伪去雾图，将其与双区域滤波去雾结果像素级融合，以此打扰柔性去雾的效果。再次之前，需要重新引进大气散射模型公式，如下：(3.13)其中，为场景透射项，为周围物体表面散射项，因此和并不是完全相等的。令，，为常数，通常取的均值。结合上式进行将式（3.11）进行变换，得到：’’(3.14)由于式（3.14）中的常数C并不是场景中物体表面的实际散射值，并没有实际的物理意义，所以我们将定义为伪去雾图。通过matlab算法仿真实现如下：可以看出伪去雾图比较明亮，细节保留得较多，但伪去雾图中的色彩除了几个比较明显的区域外，整体偏向于灰度图，因此还需要利用图像融合技术，将伪去雾图与双区域滤波去雾后的结果按照一定比例融合，调节去雾浓度，并且对色度进行校正。图像融合按融合程度可分为数据级融合、特征级融合和决策级融合。数据级融合又成为像素级融合，是指直接对传感器所采集的原始数据进行处理从而获得融合图像的过程。张等人[11]所采用的像素级融合为了减少运行时间降低算法复杂度，采用加权平均算法进行柔性去雾，公式如下：(3.15)式中，为融合之后的图像，是经过双区域滤波处理得到的去雾图，是张等人[25]定义的伪去雾图，和是前文所提到加权平均算法中的加权系数，满足的约束条件。将式（3.11）和式（3.13）带入式（3.15）整理后得到结合双区域滤波和图像融合的单幅图像去雾算法：(3.16)其中，加权平均算法里面，权值和的选取非常关键。Burt等[]提出了平均和结合的方法，是用一个匹配矩阵来表示两幅图的相似度。如果两幅图非常相似，合成图像时采用两幅图的平均值，也就是权值分别取0.5和0.5；如果两幅图差别很大，就选择去雾效果显著的图像，此时权值分别是0和1。然而结合双区域滤波和图像融合的单幅图像去雾需要融合的图像大小一致，色彩差异较大，还需要考虑融合得到的结果的是视觉效果，经过反复实验得出，采用的权值分别为和的效果比较好。实验仿真的结果如下，可以看出与为融合前的双区域滤波去雾结果相比，色彩更融合明亮。利用上述理论进行实验仿真：图3.9原图图3.10双区域滤波结果图3.11结合图像融合后的结果虽然比起引导滤波的结果来说，整体视觉效果暗了一些，但是从去雾效果上，明显是这个方法的去雾效果更加明显，保留了更多图像原有的细节。3.5图片的质量评价前文中在提及个方法时大概对实验仿真的结果进行了直观的视觉评价，各暗原色先验的参数设定均为。在图像质量的评估中，有对比度，梯度等量化的评价标准，将这四种方法仿真实验的结果与原图进行对比进行质量评估得到下表：表3.1图像质量评价评价指标中值滤波双边滤波引导滤波双区域滤波结合图像融合梯度3.8247.2485.4934.891直方图相似度0.1410.1540.1040.160对比度1.109e+0021.026e+00279.9631.408e+002图像熵3.331e+0004.903e+0005.425e+0004.966e+000标准差4.4223.9873.9724.079平均灰度值96.484e+0021.093e+0021.450e+0021.059e+002梯度：关系到图像边缘的清晰程度，梯度越大，说明图像的边缘越明显。直方图相似度：相似度越高，说明色调还原程度越好。对比度：关系到图像的清晰度、细节表现和灰度层次的表现，对比度值越大，说明图像越清晰。图像熵：这里指图像的信息熵，图像的一维商表示图像中灰度分布聚集特征包含的信息量，但不能反应图像灰度分布的空间特征，所以往往需要结合平均灰度值和灰度标准差来评价。标准差：这里指灰度标准差，反映了相对灰度均值的离散状况，标准差越大，灰度分布越分散。平均灰度值：反映了图像的平均亮度，如果均值适中，则目视效果良好。前三个评价标准都从数值上大概说明图像的优劣程度，而后三个仅仅是说明图像中所包含的信息量以及混乱程度，并没有所谓的越大越好或者越小越好的说法。通过量化的质量评价我们可以看出，中值滤波的效果比较差，双边滤波的结果数值上看还算不错，但是从视觉效果上来说，由于梯度值太大，物体边缘过于刺眼，影响了整体效果。后两种方法从评价数值上来看不相上下，但是从结合视觉效果来说是，还是最后一种方法更好。第四章火焰视频增强随着科技水平的发展，图像增强技术也逐渐应用到了视频上，以此来获取更高质量的视频资料。

在恶劣气象条件下，如雾霾、雨雪、光线昏暗、烟、水气、沙尘等，摄像机产生的视频图像质量会严重下降，图像模糊不清，视频增强技术是通过图像处理算法，对这类劣质视频图像进行有效处理，从而显著改善视觉效果，提高画面清晰度，提高摄像机的探测能力。火焰在燃烧过程中，周围空气中的颗粒较多，与典型的大雾环境比较相似，用火焰视频作为增强算法研发的样本是比较有代表性的一个选择。在这方面，甄成刚等人[]采用了类似于第三章算法的快速中值滤波算法来消除图像噪声，易正明等人[]则尝试了对火焰图像处理与特征提取。目前来，对视频增强的技术还十分有限，主要还是采用对单帧的单幅图像处理来提高视频质量，时间复杂度和实现难度都比较大。4.1图像增强正如前文所说现今对视频增强的技术主要基于对图片的增强技术，所以图像的增强是视频增强的基础。相对于图像去雾技术，图像增强技术的研究起步较早，但是在去雾效果这一块是否能达到更好的效果呢，接下来我们将简单介绍两种典型图像增强算法，将它们应用到大雾图片处理，并且与前文我们的柔性去雾算法对比。4.1.1Retinex算法在第一章介绍国外的研究情况时，我们提到过这个算法。这个算法在1963年由美国科学家E.Land1在俄亥俄州作为一种计算机理论提出。这个方法能够对光照进行有效的补偿和增强，应用的主要对象是环境中光影响较大的图片。其算法核心是将一幅图片分解成照射分量图像与反射分量图像，从而有效的剔除图像中受光源对图像的影响，而且能够分别增强室内图片与室外图片的空间光照变化。由于篇幅限制在这里就不对该算法理论推导了，根据算法在matlab上进行实验仿真，得到如下结果：图4.1原图图4.2retinex增强从这张图片的处理结果来看，并不十分理想。但是该算法将整体的亮度调整了，对比度也有所增强，整个图片的视觉效果的改善还是比较大的。4.1.2直方图均衡直方图均衡也是一种典型的图像增强算法，学校开设的图像处理课程中，还介绍过对灰度图像的直方图增强。对于彩色图像，可以对彩色图像的三个分量RGB分别进行均衡化后再用cat(3,R_histeq,G_histeq,B_histeq)来得到彩色图像。直方图均衡化的主要内容是将图像的灰度值离散化，使其直方图动态范围增大，灰度级减少。将直方图均衡算法在matlab上仿真实验，得到结果如下：图4.3原图图4.4直方图均衡化增强处理的整体效果比较好，图片的整体亮度的提高使得原本暗处的细节更加清晰，地面也能看得出是下过雨而不是会误认为地面原本就是黑色的。4.1.3效果对比在前面介绍这两种算法时，采用的图片都是比较适合该算法处理的对象。然而面对较严重的雾干扰时，这两种图像增强算法是不是仍然有效，我们通过一下结果进行对比：图4.5原图图4.6retinex增强图4.7直方图均衡增强图4.8柔性去雾增强从得到的结果看，retinex算法对灯部分的处理效果明显，然而对于大片的雾干扰却没有办法改善。对于直方图均衡增强，在图片下方雾干扰较小的区域直方图均衡的效果很好，然而对于有较严重雾干扰的上方区域，直方图均衡表现得一般。虽然把图像的整体亮度提高了，但是该算法由于在处理时没有选择性，反而降低了上方区域有用信号的对比度。通过对比可以得出，前文讨论的柔性去雾不仅在去雾算法中比较优秀，同时对比与图像增强算法，也是比较好的选择。4.2视频增强根据前文的比较，我们在火焰视频的增强中，将采用双区域滤波与图像融合相结合的方法来进行去雾。对于视频处理，基本步骤是：视频分解，单帧处理，视频合成。下面进行详细阐述。4.2.1视频分解目前视频的帧率都比较高，一般的帧率都能达到20帧/s到30/s每秒，在本篇论文的实验仿真中由于时间关系，选取了一段30帧/s，时间长度为3秒的火焰视频作为样本。视频的分割比较简单，首先在matlab中有自带的视频读取函数，在读取之后我们只需要计算出该视频中所包含的帧数，利用循环指令将其按照所需要求的大小全部提取出来即可。主要代码如下：video=mmreader('D:\videotest\Video1.avi');nFrames=video.NumberOfFrames;%得到帧数H=video.Height;%得到高度W=video.Width;%得到宽度Rate=video.FrameRate;%Preallocatemoviestructure.mov(1:nFrames)=struct('cdata',zeros(H,W,3,'uint8'),'colormap',[]);%获取每一帧fori=1:nFramesmov(i).cdata=read(video,i);P=mov(i).cdata;%imresize()[]中格式要求：[高宽]Q=imresize(P,[720960]);disp('当前播帧数：'),disp(i);imshow(P),title('原始图片');%显示原始图片ifi<10imwrite(Q,strcat('0000',int2str(i),'.jpg'),'jpg');%写入文件中elseifi>=10&i<100imwrite(Q,strcat('000',int2str(i),'.jpg'),'jpg');elseimwrite(Q,strcat('00',int2str(i),'.jpg'),'jpg');endendend4.2.2单帧处理在分解成单帧之后，将其用第三章中选取出来的结合双区域滤波与图像融合的去雾方法进行处理。同样的，可以利用循环指令将其都进行增强。结果示例如下：图4.9处理前1图4.10处理后1图4.11处理前2图4.12处理后2可以看出，这种算法对火焰图像的增强同样很明显。虽然边缘还是有一些雾化，但是对比原图的雾化程度大大减小，火焰的外形特征在保留的同时更加明显了，并且对于中心火焰的颜色可以辨别，对于火焰成分识别也可以提供有效的资料。然而火焰视频中有些图像如果按照上述算法参数处理，效果非常不理想，例如下图：图4.13处理前3图4.14处理后3在第二章中我们讨论过的取值会对去雾效果产生影响，经过多次仿真，对于有雾污染的生活场景来说，取值为0.95，可以使得在去雾效果比较好的同时，保留一部分远景的雾，让图片看起来更真实。然而经过仿真实验发现，在对火焰视频处理时，并不是取固定值时效果最好，通过修改的值，图像的去雾效果差距远大于生活的有雾场景。仿真示例如图：图4.15原图图4.16图4.17图4.18从结果可以明显看出，这是一个出乎意料的结果，当变小时，得到的效果反而更好。经过多次修改的值，得到当时效果相对令人满意。是否当火焰亮度太高时，反而需要降低的值，会得到更好的结果？通过对多张类似情况图片的处理，验证了这个猜想，在画面太亮时需要将值进行调整。虽然没有之前示例中效果那么好，但是火焰的外形特征得到了保留，外焰与内焰的分解区别明显，视觉效果得到了很好的提升。前文中还