基于图像的火焰识别

1、基于图像的火焰识别摘要： 图像型火灾探测技术是以机器视觉为基础的新型火灾探测技术，它不会受到空间大小、环境恶劣等复杂因素的影响。本文的目的是通过在视频图像中提取信息来判断火灾的发生，这项研究在现实生活中有着很大的实际意义。本文主要通过针对复杂环境下采集到的火灾图像信息，对图像进行分析，采用中值滤波和图像锐化对图像进行预处理，消除掉火灾图像中参杂的噪声。之后采用一种两层组合的图像分割算法对图像进行分割，得到火焰的疑似区域。并在此基础上，对疑似区域的火焰特征进行分析，提取出火焰的面积变化值、圆形度及闪烁频率等特征，为之后的识别做准备。最后运用模糊神经网络建立火灾识别模型，将提取出的火焰特征作为输入

2、量对火灾图像进行分类识别。仿真结果表明，该算法对不同场景的火灾识别具有较高的准确率。关键词:火焰图像;图像分割;特征提取;特征融合;模糊神经网络Flame recognition based on imageAbstract: The image-type fire detection technology is a new detection method, which based on the machine vision. It will not be subject to the complex factors of the space size or the bad environm

3、ents. Collect the fire image information under complex environment. Analyzing the image, and using the median filtering and image sharpening to the image pre-processing, eliminating the noise mixes in the image of fire. With the two-tier combination of image segmentation algorithm to segmentation th

4、e image, in order to get the suspected area of the flame. On this basis, analysis the flame characteristics of the suspected region, to extract the flame area change values, round, and the flicker frequency characteristics for Identification in preparation. Finally, using the fuzzy neural network to

5、 establish the model of fire detection, Flame characteristics will be extracted as the input, in order to classification of the fire image. The simulation results show that the algorithm on different scenarios of fire detection with high accuracy.Keywords: flame image; image segmentation; feature ex

6、traction; feature fusion; fuzzy neural network.1、基于视频图像的火焰识别问题1.1、如何进行火焰图像的预处理和分割？在实际环境中摄像头所处的位置是非常复杂的，一般采集到的图像都会受到天气、光线的变化、阴影、灯光以及随机噪声的影响，而使得图像质量降低监测难度加大。若要能够准确的提取火焰特征就先要对采集到的图像进行预处理，滤除掉图像中参杂的噪声并且利用分割技术找出图像中的火焰目标区域，然后根据目标区域中的火焰特征进行实时的火焰目标识别。这对于基于机器视觉的视频火焰探测技术，是十分重要的。通常大部分情况下采集到的图像都会因为光线太暗、曝光、不足以及噪声

7、太多等缺陷显得不是很完美，影响到火焰的识别。因为无论从客观环境影响或是主观人为因素影响等，我们采集到的图像质量往往没有人们想象的那么满意。例如，因为轮廓过于鲜明使得图像中的物体显得不协调，并且依照被检测物的形状、大小的要求，采集到的图像边缘处产生模糊，而且图像中出现一些不知来源的黑点或白点，更为严重的会出现图像出现失真或者变形等。综上所述，当监测火灾的过程中，检测结果会受到很多复杂环境的影响，所以我们要对火焰图像进行一系列的预处理，使得图像能够更用以提取特征，从而分辨出火灾情况。1.2 ，怎样提取火焰图像的特征提取？在火灾检测系统中，火灾图像中火焰的特征提取的正确与否，对随后的火灾判断起着决定

8、性作用，是重要的组成部分。对检测目标进行火焰的特征提取，它是对火焰识别的重要前提。主要是对火灾图像进行预处理和分割后，通过在火焰目标区域对火焰特征进行提取，进而以某种规则将提取出的特征进行结合，为火灾判断做好准备。1.3， 怎样进行火灾火焰的识别？为了对一事物进行综合评估进而进行判断，需以一定的方法将从计算机获得的直观信息进行综合分析，这种处理信息的技术就是数据融合。而多特征融合就是将同一种事物从不同方面进行信息提取，利用计算机将这些信息以一定的准则进行综合分析，进而准确认识这一事物，多个信息的综合分析比单个信息的独自分析更能全面的了解判断同一事物对采集到的火灾图像进行预处理，并提取火焰图像的

9、静态和动态特征进行分析，将提取出的特征进行融合处理，判断其是否发生火灾。一个较好的火灾识别系统若能够对火灾现场实时监测，必须具备较强的抗干扰能力、较快的反应与检测速度、较准确的识别结果，具有较高的智能化。在本论文中，在对火灾图像进行预处理、分割及特征提取后，设计了一种适合大空间及恶劣环境下的基于多特征融合的火灾火焰识别算法，并在实验中得到实现。2、基于视频图像的火焰识别的实现2.1、火焰图像预处理对火焰图像的预处理主要包括对图像的去噪和锐化从而使图像变得平滑清晰。2.1.1、 对火焰图像进行去噪处理因为在采集到的图片中参杂着如灯光、太阳光等一些干扰物，或者因为在恶劣环境下摄像头的角度或是灰尘浓

10、度高等使得图片不清晰，因此获取的火灾图像或多或少的会引入多种噪声，而这些噪声对后面的图像分割和特征提取有很大的影响，进而使得火灾不能得到正确判断。因此，火灾图像的去噪处理是火灾图像预处理的一项重要任务。中值滤波(Median filtering)是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。中值的定义如下：y=Medx1,x2,x3.xn=xi(n+12) n是奇数12xin2+xin2+1 n是偶数 Y称为序列x的中值。所谓窗口，就是一个点的特定长度或形状的邻域，当滤波器是一维时，移动窗口的长度一般都是奇数，在每个时刻内对窗口内的所有观测值按照其数值大小来进行排列，而中值滤波器

11、的输出值就是中间位置的观测值。在二维中值滤波器中，可以利用某种形式的二维窗口，数字图像各点的灰度值设为xi,j(i,j)I2,w为滤波窗口，则定义二维中值滤波为:yi,j=Medxi+a,j+b(a,b)A,(i,j)I2中值滤波去噪的处理方法主要是找出窗口中各个点的中值，然后对窗口的中心值进行修改，替换为个点的中值，这样图像就会变得平滑，从而对图像完成去噪。邻域像素点的中间值与周围像素灰度值差别较大的像素值，即极限像素值的敏感度不是很强，相对于均值滤波的敏感度小，这样一些孤立的噪声点就可以被消除。一般二维中值滤波器的窗口有:方形、线形、圆形、十字形棱形等等，而若选择不同的滤波窗口就会有不同的

12、滤波效果。不过已经有实验证明，一维中值滤波器没有二维中值滤波器抑制噪声的效果好。因为当滤波窗口采为方形时，图像中特定区域的形状不会受到影响，所以在本节中采用方形窗口的中值滤波方法。通常来说，若是选择了过大的窗口，虽然很好的抑制了噪声，但由于有较强的平均化处理，处理结果明显出现图像边缘模糊、细节不明显的情况。本文对中值滤波分别采用3x3和5 x5模板进行火灾图像滤波处理，实验结果可以看出，窗口越大，边缘细节越模糊。2.1.2、图像锐化处理 火灾图像经过中值滤波处理后会使图像的轮廓模糊、边界不明显，而图像的轮廓在后续的特征提取中非常重要，而通过对图像进行锐化处理，可以将图像的边缘变得清晰。从频谱的

13、角度来看，图像的边缘和轮廓具有灰度突变的特征，对应着高频分量，因此图像锐化滤波器可以使用高通滤波器，使高频分量顺利通过，提升火灾图像的边缘质量，使火焰区域边缘线条变得清晰。频率域内常用的高通滤波器有四种21 ，即理想高通滤波器、巴特沃斯高通滤波器、指数高通滤波器和梯形高通滤波器。本章采用指数高通滤波器(exponential high pass filter,EHPF)来实现。 指数高通滤波器的传递函数为：Hu,v=e-D0IDu,vn式中:n决定指数函数的衰减率。根据以上分析的图像预处理和分割算法进行实验，下面是对同一火灾火焰图像分别进行预处理和分割后的实验结果，如图所示:实验结果表明，原图

14、经过中值滤波处理后，噪声受到很好的抑制图像轮廓得到很大的改善，边缘变的清晰。经过图像的中值滤波及锐化处理后，火灾图像的边缘变得清晰，为下来的图像分割做好准备。2.1.3、火焰图像分割差分法也称为差影图法，它的主要原理是在采集到的视频图像中，首先选取一帧静止图像作为背景帧图像，因此在判断图像中是否含有火灾图像，就可以利用当前帧的像素减去之前所选的背景帧图像的像素，此方法是一种常用于检测运动物体和图像变化区域的处理方法。设定阈值T，当相减后的图像中某一像素的差值大于阈值T时，就认为该像素是前景像素(运动目标)，小于T时认为是背景像素。首先从监控视频中按一定的采样速率抽取帧图像。设帧图像序列为Mi(

15、x,y)。的取值1m,m为连续序列图像的帧数，(x,y)为图像中各像素的坐标。选取一帧无火图像作为基准图像，对于图像序列的当前帧有：Mix,y=Mix,y-M0(x,y)式中Mi(x,y) 为当前需处理帧，M0(x,y)为基准帧。经过差分运算后得到的就是背景相对简单的差值图像，其中包含有位置相对变化的火焰疑似区域。然后设定闽值进行闽值分割，得到二值图像。下面是对不同场景数幅火灾图片进行阈值分割实验。原图像分割后的图像在实际的火灾监测中，可能获取的图像未定义背景图像，这时可以将前后两帧相邻的图像进行差分，这样虽然会使两帧之间重叠的火焰区域滤除掉，但从整体来看绝大部分的火焰区域还是会保留下来，不会

16、影响后续特征提取。2.2、火焰特征值的提取在火灾检测系统中，火灾图像中火焰的特征提取的正确与否，对随后的火灾判断起着决定性作用，是重要的组成部分。根据一般火灾发生的状况，一般都表现为火灾火焰是从无到有，并且持续不断变化发展。通过对火灾初期火焰图像的研究，其主要表现为以下几个特征:火焰面积增大、边缘抖动、形状不规则、位置基本稳定等等。本文主要提取的火焰特征值是火焰的面积变化、形状特性、频闪特性。2.2.1、火焰面积变化特征火灾火焰的面积变化包括面积正的增长和负的增长，无论是面积变大还是变小都属于火焰面积的增长。火焰在一定时间内的面积增长率可以根据当前帧的整体火焰像素数目和这段确定的时间后的另外一

17、帧火焰图像的像素数目的差来计算，结果可作为下一步识别火灾火焰的依据。利用计算火焰区域的区域增长率来表达火灾火焰的面积增长率，而火焰区域增长率又可以用图像区域中的像素变化率来表示。设Yi为第ti时刻目标区域的像素总值，则Yi+1为第ti+1时刻的像素总值，在连续的视频中，时间的划分是以前后帧数来计算的，因此，第i帧的目标区域像素总值可设为Yi，则第i+1帧的像素总值为Yi+1，而令第i帧的区域面积为Si，第i+1帧区域面积为Si+1。因此，下式表示的是在连续视频帧中火焰的面积变化率:B=dYdi=Yi+1-Yii+j-i=dSdti=Si+1-Siti+1-ti其中，j表示第j帧，i+j表示第i

18、+j帧，B表示火焰的面积变化率，它的时间范围为ti到ti+1这一间隔时间段内。根据火焰面积变化率，选取以下四种样本实验组进行实验，其分别为火灾图像组和蜡烛、路灯及车灯干扰图像组，对这四种样本分别计算它们连续6帧图像的面积值，结果如下表所示:从表可以看出，在同一时间内，火灾图像组明显比其他干扰物图像平均面积变化值大，因此可以将火焰面积变化特征作为火灾图像的特征之一。2.2.2、火焰的形状特征由于火灾火焰在燃烧过程中形状是不规则变化的，根据这一特点可以排除大部分形状规则程度较高特点的干扰源，如手电筒、路灯、车灯及太阳光等，因此圆形度可作为火灾的重要判据之一。圆形度指的就是物体边缘与圆相似的程度，可

19、以用来表示存在边缘的物体其边缘轮廓的复杂程度，若知道物体所在区域的面积以及物体边缘的总长度，就可以计算出物体的圆形度值。圆形度代表了物体的复杂程度，根据其概念得圆形度Ci计算公式为:Ci=Li2/(4×Si）其中i=1,2,3,n式中: Si表示第i帧的区域面积;Li表示第i帧的区域周长，即区域边界的长度，可从边界链码中得到。垂直和水平的步幅为单位长度，对角步幅长度为21/2, 两个直角还原成一个对角度，其1/2步幅也为21/2。按上述规则遍历边界链码，即可算出边界长度。圆形度对圆形物体取最小值1，物体形状越复杂其值越大。通过上述所介绍的圆形度算法对上一节的例子分别计算其圆形度。结果

20、如下表所示从表看出，火焰的圆形度值明显大于其他干扰物的圆形度值，所以火焰的圆形度可以作为火焰区别其它物体的特征。2.2.3、火焰频闪特性对火焰的闪烁现象进行长期试验得出火焰的闪烁频率可设定在处于10-20HZ的低频区。火灾发生过程中，火焰无规则的跳跃是火动态变化最显著的特征之一，因此，火焰的闪烁频率也可以作为火焰目标特征提取的一个重要判据。实验发现在跳跃过程中，前后帧图像中必然存在火焰高度的变化，因此就可以将高度与火焰的闪烁频率联系到一起，能够通过高度的变化来确定火焰的闪烁频率。根据火焰高度与火焰的闪烁频率之间存在着的密切联系，因此可以将火焰的高度变化作为火焰闪烁频率的判断条件。在视频中，通过

21、函数来表示每一帧的火焰的高度变化。在前一章得到的疑似火灾区域，对这个区域的高度集合进行一个标记，因为区域内的高度存在高度不一的多个高度值，再将集合内的元素进行描述，最后得出一个高度变化的特征函数，由此特征函数就可以反映出谱内分量的多少。设Gqp为得到的疑似的火灾区域，其中q表示第q帧图像，p表示疑似区域包含p个不同的高度值，将该区域的高度集合设为H，则集合内的元素hqp了表示为：hqp=H（Gqp）上式表示的是一个高度元素的集合，若想得到每一个特定的高度元素，需要对H进行离散傅里叶变换得到傅里叶集合数TP，则可将集合内的元素描述为:tqp=dH=1kq-1khqpe-j2iqlk对上式得到的高

22、度集合中的元素进行积分运算，则得到一个高度变化的特征函数，将傅里叶变换的长度用l来表示，而傅里叶变换时的系数集合表示为Tp。因此，下式表示为高度在确定时间段内的一个变化，可以看出，当谱内分量越多f(Tp)的值越大。fdTp=q=2ntiptipl2-1上图是火焰目标、车灯及路灯的频谱变化图，从图中可以看出火焰的频谱变化有一定的变量值，而车灯、路灯的频谱变化没有明显的变化。而这些值是在一个比较稳定的区域，包含高峰与低谷值，因此可以将这个稳定变化的区域作为火焰跳跃的最高值与回归时的最低值来看待，在每次火焰跳跃时就可以反应火焰本身的一次频率特性。在实验中，由于路灯的固定性，它的像素变化范围始终不变，

23、而车灯由于车的可移动性，像素变化范围处于区域移动中，但是像素的变化遵循一定的变化阂值范围。而在火焰的像素变化试验中，由于火焰的跳跃性，其像素处于变化当中火苗的跳跃高度按照一定的区域范围进行跳跃，但同时像素整体处于一个区域范围内，不会发生移动。2.3、火焰识别2.3.1、模糊神经网络人工神经网络是仿生模型的智能化，是一种非线性动力系统，其主要结构是将大量的神经元进行非线性组合，并且对其进行信息处理的一种算法。模糊逻辑系统的主要内容是包含模糊概念和模糊逻辑的系统，它由四个部分组成，分别为模糊产生器、模糊规则库、模糊推理机和解模糊化器。该系统最适合用到工程应用中，因为它的输入量和输出量都是实变量。模

24、糊系统所运用的一般化模式是以一种对专家组织的模糊" IF-THEN”规则的描述，而且模糊系统四个部分的选择有很大的自由度。模糊系统对于知识的抽取较为方便，在进行不完整信息处理时，可以通过已有的经验和知识来对信息进行处理，而且能够很好的利用专家知识，比较适合用在模糊或定性的知识上。但是模糊系统的自适应能力不强，不能自动更新模糊隶属度函数参数，因为在模糊系统中，主要是人来进操作的，因此它的运算速度不是很快且推理准确性比较低。模糊神经网络(Fuzzy Neural Network-FNN)是模糊理论同神经网络相结合的产物。模糊神经网络很好的利用了二者的优点，让它们有机的结合起来，使得解决问

25、题的方法更完善，所解问题的范围更广。2.3.2、基于模糊神经网络在火灾检测中的工作原理根据模糊神经网络的三层结构，以及每层所要完成的功能可知，在对火灾进行检测时的网络识别步骤如下:Step 1:建立神经网络，其权值是模糊规则中的隶属度函数;Step2:为了能得到更准确的网络结构，从而能够完整的表达火灾现场，主要方法是将训练样本输入到网络中，让网络进行训练，与此同时找到最适合的隶属度函数，对其不断修改。Step3:从神经网络中提取出修改后的隶属度函数和模糊规则，并将其保存，以便作为此火灾现场环境下的模糊推理之用。当在现场真正发生火灾时，将采集到的火焰特征作为输入信号输入时，依据之前训练好的网络结

26、构对数据进行计算这样便可以得到最正确的输出。模糊神经网络的学习算法，可采用最小二乘法与误差反向传播的算法。2.3.3、火灾检测中模糊神经网络的设计基于Takagi-Surgeon模型(简写为T-S)的模糊神经网络，其主要是它的后件是输入语言变量的函数，可以较容易的与优化、自适应方法和PID控制方法相结合，这种模型计算简单，并且在数学分析上也有一定的优势。本文主要采用TS型模糊神经网络来实现火灾探测系统的特征层融合。模糊神经网络的具体结构如下:第一层是输入层，输入分别为火焰的面积变化值、圆形度、闪烁频率，将输入的xij传到第二层。第二层是隶属函数层，在各个论域中，运用高斯模型的隶属度函数来表达输

27、入变量的各个隶属度，其公式如下:Fijxi=exp-(xi-cii)2式中ci为隶属函数的中心; i为高斯型隶属函数的标准差。利用高斯函数对这些输入数据进行模糊化，这是因为在输入变量中，由于每个特征所表达的物理量不同，每个输入量的范围不同，数值也就有很大不同，因此把每个输入变量均变为隶属度函数在om的范围内。运用这种方法不仅使得网络计算变得快速，而且还可以防止小数值被大数值淹没。根据三个特征的物理意义，可设计将每一输入变量用三种语言变量值来表示其分别为Small(小)、Medium(中)、Large(大)。根据火灾发生时的情况和以往的经验可知，当提取出的特征值越小时，Small的隶属度值会越大

28、，而Large的隶属度值会越小，当Medium的隶属度函数处在中间范围时，提取的特征值越大，则Small的隶属度值会越小，Large的隶属度值会越大。因此将三个语言变量的隶属度函数均以高斯函数来表示，会更加符合火灾检测数据的规律。第三层为规则化层，其模糊推理主要是利用神经元的乘积来实现的。将三个输入变量面积变化率x1，圆形度x1，闪烁频率x1，分别模糊化为三层那么会得到最多27条模糊规则。通过对火灾发生时的实际状况进行了解，从而总结出有用的16条模糊规则，以便减少不必要的网络计算，其规则如上表所示。第三层和第四层的结点数相同，其相互关系为:yi4=yi3/j=1nyi3第五层计算一条规则的输出

29、:yi5=yi4P0i+P1ix11+P2ix21第六层输出层的神经元采用求和形式计算网络的输出:y=i=1nyi5下图为模糊神经网络算法流程图，在模糊神经网络中，需要通过学习调整的参数有ci、i和Pji三个向量。2.3.4、学习算法因为本文给定了输入分量的模糊分割数，那么需要学习的参数主要是网络的连接权pijk(j=1,2,n; l=1,2,n; k=1,2,r)以及网络隶属度函数的中心值cisi 及宽度isi(i=1,2,n;si=1,2,mj)。经过我们的推理可以得出：网络的连接权pijkpjlkt+1=pjlkt+(ydk-yk)j xl其中j=1,2,m;l=1,2,r。网络隶属度函

30、数的中心值cisi 及宽度isi2.3.5、结果仿真本文所选用的模糊神经网络训练样本是依据国内外现有的核心期刊中相关的文章，以及在实验室中所做的火灾实验数据。根据上一节分析可知网络的前三层可是对输入数据的归一化，因此网络的输入数据可以直接由提取到的特征数据来得到，而且为了避免网络训练消耗不必要的网络时间，所以在根据每一个特征的物理意义的基础上，对网络权值的初始值选择在一个合理的范围内。选取在各种场合下拍摄的早期火灾及干扰现象的视频序列作为学习样本，限于篇幅，选取40帧图像作为训练样本进行实验，其中5帧为无火样本、13帧为阴燃火样本、22帧为有火样本，40帧图像提取到的特征数据如表4.2所示。初

31、始学习率设定为0._5，根据网络自身运算调整学习率，误差极限设定为0.001，训练步数设定为20000，对训练样本集重复强化训练，直到误差极限达到设定值。利用MATLAB采用表4.2中20组数据作为训练样本集。神经网络的误差收敛状况如图所示，曲线的纵坐标为平方和误差，横坐标为训练步数。从图中二可以判定T-S模糊神经网络算法已达到稳定，几乎不会陷入局部极小或发生震荡。为了测试模糊神经网络模型的识别能力，选取10组样本图像对网络进行测试，图为10组中的4组图像，它们分别为第一组、第六组、第七组和第九组下表为测试输出与期望输出值的对比。对选取的10组测试样本图像进行图像预处理、分割以及特征提取后，得

32、到的火焰三个特征值作为网络的输入量，并对网络的识别能力进行测试，从表中的数据可以看出，所得到的期望输出与实际输出的值相差很小，准确度较高，因此可知基于模糊神经网络的火灾探测模型已建立成功，识别结果令人满意。3、总结本论文研究的主要内容是在复杂环境中，对火灾图像进行预处理及分割的基础上，对火焰图像进行特征提取，采用了利用模糊神经网络对火灾进行识别识别的算法，仿真实验表明，该算法有较高的准确率。致谢 本课程小论文结合模式识别的学习，根据指导老师杨老师的指导意见撰写的。论文中识别技术的发展，结合已有论文提出的基于图像的火焰识别。感谢指导老师杨老师的耐心指导，针对具体问题，热心的点评，使得论文的内容更

33、充实，思路分析的更清楚。感谢杨老师给同学们机会，让我们自己讲解，自由讨论，多角度看待问题。感谢同学们的积极讨论、分享知识，不同思路方法的共享，使得论文思路更清晰。参考文献【1】 贾子若.高等学校学生宿舍火灾风险综合评价研究【j】.北京交通大学，2009 40(2):3_5-42【2】 范华中，张伯虎，冯艳.图像处理技术在火焰目标提取中的应用【f】。电光与控制，2006 13(1): 99-103；【3】 程鑫，王大川，殷栋梁.图像型火灾火焰探测原理.火灾科学J. 2005 ， 14(1):239-244.【4】 Lai C L, Yang J C.Advanced Real Time Fire

34、 Detection in Video Surveillance System C. IEEE International Symposium on Circuits and Systems (ISCAS)，2008: 3542-3545.【5】 Plumb O A, Richard R F. Development of an Economical Video Based Fire Detection and Location SystemD. US Department of Commerce，Technology Administration, National Institute of

35、 Standards and Technology, 2006.【6】 Richards R F, Monk B N Plumb O A. Fire detection, location and heat release rate through inverse problem solution. Part I: Theory J. Fire Safety Journal, 2007，28(3): 23一3 5.【7】 Cheng X F, Wu J H, Yuan X, Zhou H. Principles for a video fire detection system J. Fire Safety Journal, 2009，33 (1):_57一69。【8】 程晓舫，邓志华，沙川等.自由火焰影像发展的测量和分析【j】.应用基础与工程科学学报，2008 6(12): 426-432.【9】 程晓舫，吴建华，徐新宇.CCD影像中高温目标的甄别【j】然科学进展，2007 11(3):293-299.【10】 Yamagishi H, Yamaguchi J. Fire flame detection algorithm using a