智能视频监控系统研究

河北大学2010届本科毕业论文（设计）PAGEPAGE11绪论1.1智能视频监控系统简介近年来，随着国民经济的快速增长、社会的迅速进步和国力的不断增强，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，要求越来越高，视频监控在生产生活各方面得到了非常广泛的应用。虽然监控系统己经广泛地存在于各种公共场所，但实际的监控任务仍需要较多的人工完成，而且现有的视频监控系统通常只是录制视频图像，提供的信息是没有经过解释的视频图像，只能用作事后取证，没有充分发挥监控的实时性和主动性。为了能实时分析、跟踪、判别监控对象，并在异常事件发生时提示、上报，为政府部门、安全领域及时决策、正确行动提供支持，视频监控的“智能化”就显得尤为重要。智能视频监控是利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，能在异常情况发生时及时发出警报或提供有用信息，有效地协助安全人员处理危机，并最大限度地降低误报和漏报现象【1】。1.2研究背景及意义智能视频监控技术投入实际应用已经有数十年的历史，视频监控系统的发展也随之经历了三个阶段：第一代:模拟时代。在20世纪90年代初以前，是以veR(VideoeassetteReeorders)为代表的传统闭路电视监控系统，主要由模拟摄像机、专用电缆、视频切换矩阵、模拟监视器、模拟录像设备和盒式录像带等构成。其缺点是无法进行远程访问、无法与其他安防系统(如门禁、周界防护等)有效集成。在智能化方面，第一代视频监控系统完全由监控人员通过对视频画面的观察，根据关注事件的特征对视频内容进行分类，找出与目标事件相关的镜头，提取信息并给出事件分析报告。第二代：半数字时代。在上世纪90年代中期，以DVR(DigitalVidooReeorder)为代表，得益于数字视频压缩编码技术的发展。DVR使用户可以将模拟的视频信号数字化，并存储在电脑硬盘而不是盒式录像带上。进入二十一世纪后，随着网络技术的发展，DVR系统又进一步发展成为具有网络功能的NvR(NetworkDvR)系统。在智能化方面，第二代视频监控系统可以通过训练得到监控场景中的背景模型和前景运动物体信息，对视频中的运动物体跟踪分析，得到运动物体底层特征，并且对物体按照行为原则描述进行分类，第二代视频监控系统从完全依靠人力分析发展到半自动分析。第三代：全数字时代，即网络化视频监视系统，它基于标准的TCP/IP协议，所以又称为lP监视系统。网络化视频监视系统能够通过局域网、无线网、互联网传输，布控区域大大超过了前两代系统;它采用开放式架构，可与门禁、报警、巡更、语音等系统无缝集成;它基于嵌入式技术，性能稳定，无需专人管理;它的PAGE2灵活性大大提高，监控场景可以实现任意组合，任意调用。数字化视频监控的优点是克服了模拟闭路电视监控的局限性:数字化视频可以在计算机网络上传输图像数据，基本上不受距离限制，信号不易受干扰，可大幅度提高图像品质和稳定性;数字视频可利用计算机网络联网，网络带宽可复用，无须重复布线;数字化存储成为可能，经过压缩的视频数据可存储在磁盘阵列中或保存在光盘中，查询简便快捷。在智能化方面，第三代视频监控系统试图利用计算机视觉技术对摄像机采集的视频信息进行分析、理解和处理，将无关的信息滤除，只将提取出的有用的信息报告给监控人员进行处理，从而实现预警、防范和主动监测的功能，以达到代替人完成监控任务的目的【2】。智能视频监控技术的研究不但有极其重要的实践意义，而且还有重要的理论研究意义。在计算机视觉领域中，一个最根本的问题就是如何从底层原始视频数据得到高层的语义理解，而智能视觉监控的研究正是紧紧围绕这个基本问题，研究范围不是仅局限于某个特定问题，而是涉及到计算机视觉中从底层到高层的许多基本问题。因此，该研究的成果对计算机视觉中其他研究领域有重要借鉴意义。智能视觉监控越来越受到国内外很多学者的密切注意。计算机视觉领域中的权威期刊IJCV和PALML相继在2000年6月和2000年8月出版了关于视觉监控的专刊。由Stevej.Maybank和中科院自动化所所长谭铁牛组织的IEEE视觉监控专题讨论会也已经成功地举办了三届,收录了大量智能视觉监控领域内的最新研究成果。智能视频监控技术的长足发展还得益于计算机处理能力和存储容量的迅速提高，图像处理和网络传输技术的飞速进步，以及各种视频信息处理技术的出现。这些相关技术的进步使得视频监控逐步向全程数字化、网络化和智能化的方向发展，并且越来越具有高度的开放性、集成性和灵活性【3】。2背景模型的方法2.1概述前景检测是视频监控系统的一个基本要求，也是进一步进行目标分析的基础。视频监控系统中前景检测常用的方法是背景相减，而背景相减的关键是如何从视频序列中建立背景模型，针对不同的应用环境，人们已经提出了许多背景建模的方法。常用的如基于单高斯模型的方法，基于混合高斯的方法，基于码本的方法，基于非参数变量的方法等等。本文对若干现有的背景建模方法进行了实现和实验比较，在此基础上，对各种方法的相对性和适用性进行分析和讨论。基于背景建模来提取视频序列中运动前景的主要步骤有三个：（1）训练阶段进行背景建模。（2）检测阶段将检测图像和背景模型进行相减运算得到运动前景。（3）更新阶段更新背景模型参数。2.2高斯建模方法对于摄像机固定的情形，采用高斯背景模型。因为，在摄像机固定的情况下，背景的变化是缓慢的，而且大都是光照，风等等的影响，通过对背景建模，对一幅给定图像分离前景和背景，一般来说，前景就是运动物体，从而达到运动物体检测的目的。高斯建模又包括单高斯建模方法和混合高斯建模方法。2.2.1单高斯建模方法该模型认为像素点的值在视频序列中服从高斯分布，这种模型适合用于较长时间内光照强度无明显变化，同时检测期间运动前景在背景中的阴影小的情况，它对光照强度的变化比较敏感;在场景中有运动前景时，由于只有一个模型，所以不能将其与静止背景分开，有可造成较大的虚景率。该模型将具体来说，就是针对每个固定的像素点（x,y），计算N帧训练图像序列中该点的像素值N个样本的均值和方差。将计算出来的均值（I）和方差（σ）就可以唯一确定该高斯背景模型，也就是说这个均值I和方差σ是该单高斯模型的全部参数，背景相减后的值与预置（取3倍的方差）比较，即根据|I1-I|<=3σ就可以判断前景或者是背景。对于视频图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，该过程可以表示为：（2.1）其中，图像序列，为像素值，和分别为像素点的横坐标与纵坐标，i为序列图像的帧号。单高斯分布背景模型适用于单模态背景，它用单个高斯分布表示每个像素点的颜色值分布，在分布密度函数中下标t表示时间，表示t时刻高斯分布的均值，为高斯分布的协方差。设像素点的当前颜色值为，记若的值大于一定的闭值，则该点被判定为运动前景点，否则认为该点与高斯分布相匹配，为场景背景像素点。单高斯分布背景模型的更新是指描述场景背景的高斯函数参数的更新，引入学习率表示参数的更新速度，则像素点高斯分布参数按如下公式更新：（2.2）其中，为当前背景图像中像素点的灰度值，也是高斯分布的均值，为当前帧像素点的灰度值，为参数更新后背景图像的灰度值。为学习率，当目标被检测为运动前景时，可以取值为0，背景模型参数取经验值，若该值取太小，会使背景模型跟不上实际场景背景的更新速度，若取值太大则可能将速度较慢的运动目标更新成为背景模型的一部分，使运动目标检测出现空洞与拖尾现象，甚至可能丢失运动前景目标。单高斯背景模型能处理有微小变化与慢慢变化的简单场景，当较复杂场景背景变化很大或发生突变，或者背景像素值为多峰分布(如微小重复运动)时，背景像素值的变化较快，这时单高斯背景模型就无能为力，不能准确地描述背景了。2.2.2.混合高斯建模方法混合高斯建模方法是将每个图像按照多个高斯分布混合建模，同时处理多种背景变化。为了克服单高斯建模不能处理背景中有运动目标的问题，可引入混合高斯模型，对背景的多个状态分别建模，根据数据属于哪个状态来更新该状态的模型参数，这样就解决了运动背景下的背景建模问题.不过，当背景中的状态比较多时，该模型在对背景建模时还会遇到一些问题.在许多应用场景，如水面的波纹、摇摆的树枝、飘扬的旗帜等，像素点值都呈现出多模态特性，不能使用单高斯模型估计背景。例如，当树叶在摇动时，它会反复地覆盖某像素点然后又离开，此像素点的值会发生周期性的变化，任何一个单峰分布都无法描述该像素点的背景。为有效地提取感兴趣的运动目标，把摇动的树叶看作背景，可以采用混合高斯背景模型为这些像素点建立多峰分布模型，定义合适的像素级稳态准则，满足此准则的像素值就认为是背景，在运动目标检测时予以忽略。对于特定的应用场景，要想对特定算法的弱点与优势进行评价，必须明确这种像素级稳态准则。基于混合高斯建模的基本方法是依据读取N帧训练图像，每次对每个像素点进行迭代建模。下面设K为每个图像允许的最大模型个数，开始时设个初始值标准差。当读入一幅训练图像时，将它用的像素值来更新原有的背景模型。对一个特定的像素，如果它的像素值与某个高斯模型的均值的差小于2.5倍的标准差，那么认为这个像素与该模型相适应，则用它的像素值更新该模型的均值和方差，如果当前像素值模型个数小于K，则这个像素点建立一个新的模型。如果已经判断了K个模型并且它们都不符合条件，则将权重最小的模型替换为新的模型，新模型均值即为该像素点的值，这时在设定一个初始标准差，如此进行，直到N帧训练图都训练通过。K值越大，处理波动能力越强，相应所需的处理时间也就越长。K个状态中每个状态用一个高斯函数表示，这些状态一部分表示背景的像素值，其余部分则表示运动前景的像素值。若每个像素点颜色取值用变量表示，其概率密度函数可用如下K个三维高斯函数表示：（2.3）上式中是t时刻的第i个高斯分布，其均值为，协方差矩阵为，为第i个高斯分布在t时刻的权重，且有，其中（2.4）上式中d表示的维数。当对灰度图像用混合高斯模型进行背景建模时，取d=1，处理起来比较容易。当对彩色图像建立高斯模型时，为了减少计算量，提高算法的实时性，一般假定每帧视频图像中各像素点的R，G，B三颜色通道相互独立，并具有相同的方差，则协方差矩阵取值为：（2.5）在高斯建模过程中，比较当前像素值与该像素K个高斯模型，如果满足：（2.6）则认为该像素与第i个高斯模型相匹配，更新混合高斯模型;若找不到与当前像素值相匹配的高斯模型，则创建一个新的高斯模型添加到背景模型中。创建高斯模型和更新混合高斯模型的具体方法如下:①创建新的高斯模型将当前像素值作为高斯模型的均值，选取较大的方差和较小的权重，以式（2.3）创建一个新的高斯模型。②更新混合高斯模型假设t时刻的像素值与第m个高斯模型相匹配，更新第m个高斯模型的各参数：(2.7)(2.8)(2.9)对于其它高斯模型，均值和方差不变，只对权重做如式(2.9)的调整：（2.10）其中，模型学习率由用户指定，；参数学习率。混合高斯模型在构建过程中，将各高斯模型按照优先级顺序排列，优先级定义如(2.10)。（2.11）混合高斯建模的流程如图所示是否为背景引入新模型代替排序最低模型模型按W/S排序是否为背景引入新模型代替排序最低模型模型按W/S排序是否有匹配模型初始化当前点为背景当前点为前景当前点为背景当前点为前景更新模型的参数和权重更新模型的参数和权重这就相当于为每个颜色通道各建立了一个一维混合高斯模型。在YUV颜色空间进行混合高斯背景建模，也可以作类似处理，认为Y，U，V相互独立，在每个颜色通道各建立一个一维混合高斯模型。这就是混合高斯背景建模的基本原理。综合以上所有实验结果可得，混合高斯背景建模算法对静态背景或较简单的动态背景有很好的处理效果，但在处理复杂动态场景时并不理想，因此混合高斯背景建模算法在应用中有很大的局限性，主要体现在三个方面。首先，对每个像素点定义了K个状态，这就要求对场景有一定的先验知识，影响了算法的普遍应用。其次，K的取值与算法实时性和准确性有很大的关系，K越大，算法虽然越精确，但实时性会降低，原因是，混合高斯背景模型为视频图像每个像素点的灰度信息都建立了一个包括K个高斯函数的混合高斯模型，K个高斯函数中每个函数又包括w、产和z三个参数，且在每获得一帧新的视频图像后都要对各像素点的高斯函数的w、产和艺参数进行更新，因此混合高斯背景模型的计算量十分庞大，如果不仅仅考虑灰度信息，而是考虑每个像素点的R、G、B三个颜色通道，则需要对视频图像每个像素点的每个R、G、B通道都建立了一个包括K个高斯函数的混合高斯模型，其计算量将更加难以负荷，因此很难满足应用系统对算法实时性的要求，这严重限制了混合高斯背景模型在智能监控系统中的应用，为了保证实时性，K的取值范围一般在3一5之间。第三，对一个复杂的场景而言，每个像素点只有3一5个状态是不太准确的，因为动态的场景中会发生很多变化，一旦多于这个状态个数，则会出现错检，使检测的效果很不理想，这就是算法实时性和准确性之间的矛盾所在。因此，需要一种应用更为普遍的算法，即使在背景很复杂的情况下，仍能对背景进行准确建模，从而很好地分割出前景目标。2.3码书建模方法码书建模方法是通过长时间的观察序列，并利用量化和聚类技术来构建背景模型。基于码书的建模方法中，每个码字代表一个状态通过一个时域滤波器滤除代表运动前景的码字，再通过一个空域滤波器恢复那些被时域滤波器错误滤除的代表较少出现的背景的码字，这样就可以处理静止背景下含有运动前景的背景建模问题和背景下的背景建模问题。它建模的思想是，先根据视频序列产生的最初的码本，借助码字中的一个参数“最长未出现时间”进行时域滤波处理。这样做的目的是滤除码书中可能代表前景图像的那些码字,最后在经空域滤波，将上一步错误的删除的代表较少出现的背景状态的码字恢复到码本中。Codebook算法采用量化技术从长期的观测序列中构建背景模型。对于每个像素，建立一个编码本包括一个或者一组码元。在每个像素点进行抽样，根据颜色扭曲尺度和亮度边界聚类到码本集合，并不是所有的像素点拥有相同数量的码本数量。通过码本表示的聚类子不需要对应单个高斯或者其他的参数分布，而是利用对应那个像素的一些码本。因此背景编码是基于像素基础的。处理全局和局部光照亮度变化诸如阴影和焦点，算法采用归一化颜色子。这些技术在图像的暗色区域性能并不好，灰度级低的像素点相对于亮像素来说有更高的不确定性，因为颜色比率的不确定性与亮度有关。因此比较颜色比率时必须将亮度作为因子考虑进来。这种不确定性使得低灰度级区域不稳定，误检可能聚集在低灰度级区域。光照强度的增加或者减少导致像素值的更低灰度级或者更亮，基于这种考虑，文献[4]通过建立颜色模型来分别估计颜色扭曲度和亮度，而这个模型的驱动是依赖于码元素主轴界定在亮度值高低边界的背景像素值。对于输入像素点和一个码本，并且，存在：，，(1)颜色扭曲度可以由式(2)计算可得。（2）另外，为了适应光照亮度的改变，统计地分配亮度改变的最大最小值分别为和，赋给一个码本，容许亮度的改变在一个特定的范围内限制阴影水平和焦点水平。通过MaximumNegativeRun-Length(MNRL)来表征码本的最大消极事件，可以根据经验设置相应的最大未被访问时间码本条目删除时限，获得接近自适应滤波效果的背景像素检测。最后根据背景像素的实时更新获取当前前景目标的差分图像。具有良好的准确性和鲁棒性。对于每一个像素，建立一个编码本模型。包括一个或者多个码本，其中每一个码本由颜色向量，以及六元组，其中分别代表最小和最大亮度，并且所有像素的初始值界定在这个码元素中；表示码元素出现的频率；表示MNRL，用来定义训练期间码元素未被访问到的最大周期，，分别表示第一次和最后一次访问时间，也就是码元素出现的时间。在初始化Codebook训练过程中，定义为单一像素在训练序列中的N个RGB向量。对于每一个样本值，代表在时刻t的抽样，并与当前码本元素比较，确定哪个码本元素与之匹配，然后利用匹配的码本元素作为样本的编码估计。为了确定码元素的最佳匹配，使用颜色扭曲度和亮度边界作为参考。当像素样本值超过现存的Codebook边界时，将增加一个新的Codebook条目。当这个像素值在现存的边界区域内时，码本元素边界将增大。但是如果一个像素在码本元素的边界距离之外的话，将创建一个新的码本条目，随后将设置一个高低阈值，通过每一个码本条目来检查像素是否在学习的码本边界框内，如果该像素值在所有通道都在学习的边界内，则调整阈值最大值和最小值以使该元素被包括在码本框内，同时设置最后一次更新时间为当前时间，并且统计每个码本条目被访问频率。另外，当长时间马本没有数据访问，则可能是由于噪声或者移动前景目标形成的，随着时间的推移成为陈旧的码本，因此需要更新码本条目删除不需要的码本条目。算法的主要步骤如下所示(1)令（空集）；(2)1．，；2．搜索码本在中匹配样本，满足以下条件：①颜色距离，②亮度边界；3．如果或者没有找到匹配的码本，则,添加一个新的码本条目：；4．否则更新匹配的码本包括和的更新：，；ENDFOR(4)对于每一个码本，设置。Codebook模型具有较好的鲁棒性和准确性，极大地改善了前景目标检测。本文提出了基于背景Codebook模型的前景目标检测方法，选择RGB作为颜色控件模型，分别在三个颜色通道上学习码本，通过码本的辅助因子亮度变化边界值来判定输入像素在RGB值是否匹配马本空间，如果不匹配，则生成新的码本。如果存在则改变码本被访问时间，对于长时间未被访问的码本条目将被删除，从而具有良好的背景更新效果，最终保证前景目标的正确分割。通过实验表明，本文提出的算法相对于背景差分法、背景混合高斯方法鲁棒性更好。本文只是针对算法在亮度变化不是十分剧烈的场景下进行研究，但是对于亮度突然剧烈的变化仍然不够理想，在未来的工作中，还需要融合其他的算法深入研究更加准确、实时、鲁棒性的序列视频前景目标检测方法。2.4非参数变量背景建模我们正面临着以下场景权衡：如果背景模型适应太慢的转变中，我们将建立一个非常广泛的和不准确的模型，将具有检测灵敏度低。另一方面，如果模型适应得很快，这将导致两个问题：该模型可以适应的目标本身，因为他们的速度不可忽视的方面背景的变化，并导致模型不准确的估计参数。我们的目标是能够准确模型的后台进程的非参数化。该模型应适应过程非常迅速变化的背景，目标和检测灵敏度高。在下面的部分，我们描述了一个背景模型，实现上述目标。模型样本保存现场的每个像素，并估计可能有一个新发现的背景的像素值。该模型的目标是捕获序列的图像信息，不断更新这一信息捕捉现场快速变化的背景。一个像素强度分布可以迅速改变。因此，我们必须估计的时间分布密度在任何时刻只给这个函数的最近期的历史信息，如果我们希望得到敏感的检测。3实验结果与分析（进行中）3.13.24总结与展望4.1总结智能视频监控系统根据不同的应用场合发挥着不同的作用，而且其功能要求与设备选取都会有所区别。运动检测、目标识别、目标跟踪以及行为理解，都属于智能视频监控系统应用的范畴。为了使智能视频监控系统继续沿着智能化的方向发展，而且不断提高系统的实时性、准确性和稳定性，必须对各部分的算法深入研究并不断优化。合适的算法也需要硬件平台和软件编程的相应配合。本文主要研究了背景建模的几种方法与图像分割后的处理问题，目的是更有效的提取出复杂场景中的相对应目标。在背景建模部分本文重点对混合高斯背景建模进行了比较全面深刻的分析与研究。本文通过对一些典型背景建模方法的分析比较和实验比较,对它们的优缺点以及适用条件有了一定的把握，为正确使用它们打下了基础。其中，基于码本的统计建模方法既可以处理静止背景下含有运动前景的情况也可以处理运动背景下无运动前景的情况。而且该方法除有较高的检测率外虚景率也较低，有很好的应用前景。基于单高斯模型的方法是各种方法中最简单的，但其适用条件比较苛刻。不过基于单高斯模型方法的提出时很有意义的，它将前景提取的问题划分为了两个阶段，即训练阶段和检测阶段，通过训练阶段对背景建立数学模型，而在检测过程中，利用所建模型中的参数消除检测图像中的背景，获得运动前景。其他方法都是为了克服其局限性而进行的改进。不过这些方法除了单高斯模型外，其他方法的共同缺点是如果需要更新背景则需要重新计算整个背景模型，而不是简单的参数迭代更新，能否在更新背景后避免或部分避免重新计算整个背景模型是一个需要进一步研究的问题。4.2展望随着视觉监控系统的应用越来越广泛，背景建模作为对序列图像的底层处理已经成为提高应用系统性能的瓶颈，国内外学者已经把越来越多的注意力投向应用视觉系统研究的基础性工作中。不断探索理想的背景模型，以便更有效的提取复杂场景中的运动目标，将会是众多研究人员孜孜以求的目标。随着研究工作的深入，一定会找到通用性更好、准确率更高、处理速度更快的算法，使背景建模更有价值的应用到智能视频监控系统中去。智能视频监控看系统有更广阔的应用前景，更高级的功能就会面临着更复杂的问题，这就需要研究人员