智能视频监控(视频敏感区域入侵检测报警)的设计与实现

ABSTRACT摘要ABSTRACTWiththeincreasingdemandforsocialandpublicsecurity,combinedwiththedevelopmentofmoderncomputertechnology,securityproductsaremoreclosertothePC.Intelligentvideomonitoringbasedonimagerecognitionisgraduallyreplacingthetraditionalmonitoringmeasureswithprominentcharacteristics，suchasitshandiness,subsize,strongmovetointegrationandsoon.Thekeytechnologyofintelligentvideosurveillance,intrusiondetectiondependsonthevideocontent.Thissubjectintrusiondetectionbasedonvideocontentanalysis,theintegrationofreal-timealarmmonitoringtechnology.Thisprojectimplementsthesystembasedontheintegrationofintrusiondetectionofvideocontent，theanalysis,real-timealarmmonitoringtechnology.Keywords:IntelligentVideoSurveillanceandAlarmSystem，imagecontrast，RGBcolormode，SMTP目录目录目录第一章引言 11.1 研究背景 11.2 视频监控发展历史和国内外研究现状 11.2.1 视频监控发展历史 11.2.2 国内外研究现状 21.3 论文的主要内容及意义 21.4 论文组织 3第二章需求分析与总体设计 42.1 需求分析 42.2 总体设计 52.2.1 视频监控系统各模块设计 72.2.2 关键数值设定说明 82.3 本章总结 9第三章关键理论及技术 113.1 智能视频监控技术 113.1.1 背景减除(BackgroundSubtraction) 123.1.2 时间差分(TemporalDifference) 123.1.3 光流(OpticalFlow) 133.1.4 运动向量检测法 143.2 RGB色彩模式 143.3 SMTP和名称空间简介 153.3.1 SMTP简介 153.3.2 名称空间简介 163.4 VFW体系结构简介 173.4.1 VFW下AVICap基本功能 183.4.2 常用的数据结构 193.4.3 回调函数 203.5 WindowsAPI简介 213.6 本章小结 22第四章软件实现 234.1 软件总体实现 234.2 软件各模块说明 234.2.1 视频内容捕获实现 234.2.2 视频内容识别实现 274.2.3 报警功能的设计与实现 33第五章测试 425.1 系统测试相关理论 425.2 摄像头监控程序软件描述 435.3 功能测试 445.3.1 启动摄像头功能测试 445.3.2 监控对比图形的设置测试 445.3.3 视频敏感区入侵测试 455.3.4 邮件发送测试 475.4 各项参数性能测试 525.4.1 色差设定测试 525.4.2 限差设定测试 555.4.3 延迟时间设定测试 575.4.4 监控间隔设定测试 575.5 测试结果分析及说明 57第六章总结和展望 58参考文献 59致谢 60外文资料原文 61外文资料译文 63电子科技大学学士学位论文第一章引言第一章引言研究背景一直以来，各类违法违规事件的发生猝不及防。同时随着科技的发展，违法违规的手段也趋于复杂，给正常的维护侦破工作带来诸多不便。社会的进步对安全防范的要求和规范也更高。依赖于传统的侦破人员勘察现场的手段已经不能满足当今社会的发展需求。因此，智能视频监控系统进入了人们的视线，也将是未来安全防范主要依赖的工具和手段。首先认识一下智能视频监控的概念。智能视频监控是利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析、判断目标的行为。随着计算机网络技术、计算机图形技术、多媒体处理技术、通信技术的普及和快速发展，视频监控系统的数字化、网络化、智能化程度得到进一步得加强。也就意味着视频敏感区域的入侵检测也向着多维度的方向发展，并且具备了更多功能。在视频监控系统不断发展的今天，越来越多的视频监控产品向轻、巧、小的方向发展。视频监控发展历史和国内外研究现状视频监控发展历史随着监控行业的飞速发展，视频监控系统的发展大致经历了三个阶段。第一代模拟时代：视频是以模拟方式进行处理，视频信号由同轴电缆进行传输，其控制方式也以模拟信号的形式进行处理；第二代为半数字式时代：则仍采用视频信号由同轴电缆进行传输，而控制主机或硬盘录像机（DVR）则进行数字处理与存储；第三代是全数字式时代：视频信号从采集开始即为数字信号，以网络系统为传输媒介，基于网络TCP/IP协议，采用流媒体计算机控制技术，具有多路复用传输，以网络虚拟矩阵控制方式，实现强大的视频监控管理控制平台。[1]图1-1视频监控系统处理流程国内外研究现状国外的研究主要有[2]：在美国国防高级研究计划局(DARPA)资助下，卡内基梅隆大学、戴维SARNOFF研究中心等几家著名研究机构合作，研制了视频监视与监控系统VSAM。VSAM的目标是为未来城市和战场监控应用开发的一种自动视频理解技术，用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场合下的监控。英国的雷丁大学(UniversityofReading)开展了对车辆和行人的跟踪及其交互作用识别的相关研究；IBM与Microsoft等公司也正逐步将基于视觉的手势识别接口应用于商业领域中；Maryland大学的实时视觉监控系统W4不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，可以检测和跟踪室外环境中的人并对他们之间简单的交互进行监控。国内的研究机构主要有：中科院北京自动化研究所下属的模式识别国家重点实验室，他们对交通场景的视觉监控（基于三维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法）、人的运动视觉监控（基于步态的远距离身份识别）和行为模式识别（提出了对目标运动轨迹和行为特征的学习的模糊自组织神经学习算法）进行了深入研究，取得了一定的成果。此外，国内还有一些高校也进行了这方面的研究，如上海交通大学、北京航空航天大学、北京理工大学等。论文的主要内容及意义智能视频系统要解决的问题有两个：一个是将安防操作人员从繁杂而枯燥的长时间观察屏幕的任务重解脱出来，由机器来完成这部分工作，减少人力投入；另外一个是为在海量的视频数据中快速搜索到想要找的的关键数据，大大降低不报、误报、错报的概率。意义可以从以下几方面来说：一是基于人们对安防产品越来越高的要求。对于愈加复杂的社会环境，人们需要更快速、高效、可靠的手段维护自身、社会的安全。二是在硬件和软件基础越发夯实的条件下，很好地将传统的视频监控和软件设备衔接到一起，发挥两者的长处，触发了视频监控系统性能从根本上提高。三是视频监控的一体化要求，从根本上简化设备，降低成本，减少人力、物力、财力等各方面的投入。本文需着重考虑并解决的问题有以下三个大方面：1.视频内容的获取；2.视频内容的识别；3.报警方式的实现。最终实现小型一体化摄像头监控程序，完成对视频监控中异常行为的智能识别、提前发现和自动报警的目标，将在下面的章节中详细论述。论文组织本文以建立一个基于视频敏感区入侵检测的一体化智能视频监控系统为目标，实现对侵入视频敏感区物体的检测与跟踪，并根据所得到的判断结果启动实时的报警信息。提供单个色差、总色差值两种维度的入侵物体辨识，增加系统针对不同环境的可移植性。本文共分为六章，各章节的主要内容如下：第一章引言。论述了本文的研究背景、目的、意义等，分析了目前国内外的发展和研究状况，并提出了相应的解决方案。随后给出了本文的主要研究内容和各章节的安排。第二章需求分析与总体设计。主要介绍了软件的需求分析与总体设计，以流程图的方式展现了软件相关的实现流程。第三章关键理论技术。主要论述了设计与实现摄像头监控软件涉及到的一些相关理论与关键技术。第四章软件实现。在VFW下，提供视频数据连接、视频内容捕获、并实现从视频上捕获并保存图像文件的功能，完成集监控、识别、报警为一体的小型视频监控系统软件的设计。第五章软件测试及应用。提供关于本系统开发的基本的性能要求、初步设计和系统基本功能需求的信息，以及软件总体测试的依据。第六章总结和展望。第二章需求分析与总体设计第二章需求分析与总体设计需求分析视频监控是一个很广泛的概念，那么其中涵盖的知识点和信息点也是非常丰富的。作为现代安防的主要手段之一，视频监控有着非常良好的发展前景。本视频敏感区域的入侵检测系统只是视频监控中很小的一个部分，实现的功能也相较初级。本系统从最基本的功能入手，在结合现代计算机技术，实现了基于颜色的视频内容入侵检测、识别。因为是基于实时的检测报警，此系统由于时间和能力各方面的限制，暂不提供对视频内容的录制功能。智能化、数字化、网络化是视频监控发展的必然趋势，智能视频监控的出现正是这一趋势的直接体现。智能视频监控分析是计算机视觉领域一个新兴的应用方向和备受关注的前沿课题，结合了计算机科学、机器视觉、图像处理、模式识别、人工智能等多学科。智能视频监控将一改传统监控的被动监视、事后查录像的尴尬境地，可以为用户提供更多高级的视频分析功能，可以极大的提高视频监控系统的能力，并使视频资源能够发挥更大的作用[3]。功能需求传统的视频监控系统仅仅提供了捕获、存储和发布视频的功能，监控的任务大部分是由人来完成的。通常，人工监控是枯燥和乏味的工作，需要安保人员投入比如常工作更高的注意力。如果监控的事件不经常发生，由于人不能长期集中注意力，易疲劳的原因，这种事件往往容易被疏忽。同时，数据资源的存储问题也尤为突出，随着时间的推移，视频数据也与日俱增，存储和查找变得尤为困难。而智能视频监控作为一个新型的监控系统，在传统视频的优势上保持外，还需要克服传统视频监控存在的诸多问题，软件需要考虑的问题如下：1)监控前端：用于采集被监控点的监控信息，并可以配备报警设备。2)管理中心：承担所有前端设备的管理、控制、报警处理、录像、用户管理等工作。各部分功能分别由专门的服务器各司其职。3)监控中心：用于集中对所辖区域进行监控，包括电视墙、监控客户终端群组成。系统中可以有一个或多个监控中心。智能识别入侵对象，大大降低漏报、误报的概率。4)PC客户端：在监控中心之外，也可以由PC机接到网络上进行远程监控。提高设备的可移植性，对复杂环境的适应性，避免多次开发的成本投入。开发环境此次设计在WindowsXPsp2操作系统下采用MicrosoftVisualStudio2010进行开发，所选用的开发语言是C#，并结合MFC进行编程,目标框架是.NETFramework。这种开发工具和开发语言是当今比较流行的[4]。VisualStudio是微软公司推出的开发环境。是目前最流行的Windows平台应用程序开发环境。VisualStudio2010同时带来了NETFramework4.0、MicrosoftVisualStudio2010CTP(CommunityTechnologyPreview--CTP)，并且支持开发面向Windows7的应用程序。除了MicrosoftSQLServer，它还支持IBMDB2和Oracle数据库。支持WindowsAzure，微软云计算架构迈入重要里程碑。VisualStudio2010有如下特点：助力移动与嵌入式装置开发，三屏一云商机无限。实践当前最热门的Agile/Scrum开发方法，强化团队竞争力。升级的软件测试功能及工具，为软件质量严格把关。搭配Windows7，Silverlight4与Office，发挥多核并行运算威力，创建美感与效能并重的新一代软件。开发语言C#：C#是一种安全的、稳定的、简单的、优雅的，由C和C++衍生出来的面向对象的编程语言。它在继承C和C++强大功能的同时去掉了一些它们的复杂特性（例如没有宏以及不允许多重继承）。C#综合了VB简单的可视化操作和C++的高运行效率，以其强大的操作能力、优雅的语法风格、创新的语言特性和便捷的面向组件编程的支持成为.NET开发的首选语言。总体设计研究和分析了目前视频监控系统的特点和针对目前用户对视频监控在功能上的相关需求，本文设计了一款实时视频监控软件。该软件主要实现了视频数据连接、视频内容识别、从视频上捕获并保存图像文件的功能，完成集监控、识别、报警为一体的任务。主要涵盖以下功能：视频显示与控制部分：对视频图片的显示与控制。控制摄像头的开启打开摄像头监控视窗启动摄像头监控视频内容识别：识别视频内容的参数设置，是视频内容识别的主要手段。色差限差监控间隔报警部分：入侵检测报警联动发出警音发送邮件邮件部分：邮件相关设置。设置邮件信息发送入侵邮件系统结构图如下图所示：图2-1系统结构图视频监控系统各模块设计视频监控系统主要分为两个功能模块：视频监控、报警联动。主要由以下四部分组成：1、产生图像的摄像机或成像装置（前端设备）；2、图像的传输与转换设备（传输设备）；3、图像的处理与控制装置（主控设备）；4、终端图像显示记录装置（显示记录设备）。监控端包括PC机、麦克风、摄像头。PC机用于控制采集设备，接受采集信息，编码压缩后传输到服务器，同时接受客户端的控制信息、图像信息，并传送给PC机进行编码后传送给服务器。由于是微型一体化的实时报警系统，图像传输与转换设备就忽略掉了，大大节省了视频监控系统的成本投入。产生图像的摄像机或成像装置是基于笔记本自带的摄像头。服务器为一台连接到Internet网的高性能计算机，用于接受监控端发过来的图片信息、响应客户端的请求，并将监控端的视频截图实时传送给客户端。传输网络为Internet，提供客户及与服务器之间额信息通路。客户端为连接到Internet的普通计算机，通过网络与服务器进行通信，便于用户随时上网查看现场监控的情况。本系统设计应用于无人监管的远程网络监控，具有视频移动报警功能，即在所连接的任何一个摄像头的监控区中，若出现物体的移动变化即可启动报警、发送入侵邮件等报警设备。用户可以获得服务器验证通过后的任何一台联网PC机上进行监控区域的查看，还可以多个合法用户同时查看。当用户在报警结束后查看系统，则可从录像的图片文件中得到异常情况发生时监控区域的状况。图2-2系统处理流程图关键数值设定说明在程序主界面，从提高监控系统的整体性能、提高对环境的适应能力出发，提供了四个参数的设置，分别为色差、限差、监控间隔和监控延迟。下面就这四个数值做简单的分析。色差设定：主要是为了防止因为细微的环境变化而导致误报的现象。因为我们日常所处的情况，很容易受到天气和时段的影响。一天的不同时间段以及不同的天气状况，摄像头内的画面是会在一定范围内波动的。可以根据用户的需要，灵活设定这些参数，能更好地为用户服务。增大色差容差能力，将更模糊外界不可抗因素对视频内容的影响。当图像变化的颜色差值大于该色差值时，判断有可能出现变化，该值越小则要求图像变化越小，即要求越严格。色差是该视频监控系统稳定性和灵敏性的关键指标。因为考究到该系统将会用到各种复杂的环境中，用户可以根据自身的需求设定合适的数值。同时，由0-100的变化指标，对环境变化要求不高的用户就可以将数值调大，避免画面因微小的污染造成误报。而对环境纯度要求较高的用户，对于微小的画面污染也要纠察出来的话，可以适当将数值调小。限差设定：限差用于控制图像中变化比率ratio，当超过该值时开始报警，即当图像出现ratio%的变化时程序认为出现异常，该值越小要求图像变化越小。限差设定主要是用于防止一些细微的变化引发不必要的误报发生。适当提高限差值，能过滤掉一些无关紧要的画面污染。监控间隔设定：即每隔多长时间进行一次监控分析。最小值为100ms，值越小，其监控分析的频率越高，同时CPU使用率越高。用户可以根据自己的需求设定相应的间隔值。延长时间设定：延长时间值表示点击“开始监控”按钮后延长多少时间后开始监控。如果设置延长时间为0，则表示点击“开始监控”按钮后马上开始进行监控。设置该参数主要是用于一些延长监控的情况，如现在开启监控，但是人要出门，出门大概需要30s，则设置延长时间为30s，30s后程序自动进入监控状态。同时在主程序界面还有两个选项需要用户选择：单个色差、总体色差。因为该监控系统主要是基于RGB值来实现对入侵物体的识别。因此就存在两个维度的对比，单个色差指分别比较RGB颜色差值，总色差值指比较RGB的总差值。图2-3相关参数设置本章总结本章研究和分析了视频监控系统的相关需求，对该程序的开发环境做了简单的介绍。本章的重点在于设计和介绍摄像头监控软件的主要功能模块与总体设计。用框图的形式展示了系统的整体结构，并对在设计软件中发挥重要作用的关键数据如色差限定、限差设定、监控间隔设定进行了简单的分析。并针对软件设计过程中遇到的问题，提出了相应的解决方案。基于对此次课题的需求分析重新整合梳理，为下面课题的实现打下了良好的基础。电子科技大学学士学位论文第三章关键理论及技术PAGE64PAGE63第三章关键理论及技术第三章关键理论及技术智能视频监控技术IEEE在图像的智能分析等方面有比较大的成果，比如运动检测、人脸识别、目标跟踪等。运动检测是指在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。早期的运动检测是对编码后产生的I帧进行比较分析，通过视频帧的比较来检测图像变化。目前常用的方法有背景减除(BackgroundSubtraction)、时间差分(TemporalDifference)、光流(OpticalFlow)、运动向量检测法等[5]。智能监控系统各组成部分的说明如下：(1)监控前端：用于采集被监控点的监控信息，并可以配备报警设备。监控前端可分为两类：①普通摄像头+视频服务器。普通摄像头可以是模拟摄像头，也可以是数字摄像头。原始视频信号传到视频服务器，经视频服务器编码后，以TCP/IP协议通过网络传至其他设备。②网络摄像头。网络摄像头是融摄像、视频编码、Web服务于一体的高级摄像设备，内嵌了TCP/IP协议栈。可以直接连接到网络。(2)管理中心：承担所有前端设备的管理、控制、报警处理、录像、录像回放、用户管理等工作。各部分功能分别由专门的服务器各司其职。(3)监控中心：用于集中对所辖区域进行监控，包括电视墙、监控客户终端群组成。系统中可以有一个或多个监控中心。(4)PC客户端：在监控中心之外，也可以由PC机接到网络上进行远程监控。(5)无线网桥：无线网桥用于接入无线数据网络，并访问互联网。通过无线网桥，可以将IP网上的监控信息传至无线终端，也可以将无线终端的控制指令传给IP网上的视频监控管理系统。目前常用的无线网络为CDMA网络[6]。运动目标检测（Moving－ObjectivesDetecting）作为智能视频监控系统重要的组成部分，是指从视频流图像序列中实时提取目标运动变化的区域，检测出图像序列中目标的运动信息，滤除与运动目标无关的背景的过程。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。下面就背景减除(BackgroundSubtraction)、时间差分(TemporalDifference)、光流(OpticalFlow)、运动向量检测法这四种方法做简单的介绍。背景减除(BackgroundSubtraction)背景减除方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响[9]。

首先，为背景中每个像素点进行统计建模。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向、影子、树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以减少动态场景变化对运动目标检测效果的影响。其次，用当前图像与己知背景图像比较，找出在一定阈值限制下当前图像中的背景像素点。定义当前图像为F(i,j,t)，背景图像为B(i,j,t)。则差分图像可以表示为：d(i,j,t)=|F(i,j,t)−B(i,j,t)|最后，对图像进行二值化处理，从而得到前景图像（运动目标）的集合。设x(i,j)为差分图像中任何一点，Th为灰度阀值，二值化过程可描述为：要保证一个视频监控系统长期稳定的运行，背景差分法就要具备很强的鲁棒性。背景差分法的难点在于如何建立背景模型和保持背景模型更新，用以弥补由动态场景中的光线变化等因素带来的不利影响[7]。时间差分(TemporalDifference)时间差分（Temporal

Difference

又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相当程度的变化(及大于设定的阈值时)，我们便确定该像素属于运动目标。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象，只能够检测到目标的边缘。而且，当运动目标停止运动时，一般时间差分方法便失效[8]。光流(OpticalFlow)基于光流方法（Optical

Flow）的运动检测采用了运动目标随时间变化的光流特性，如Meyer

等作者通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在所摄场所运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。

当物体与背景发生相对运动时，运动物体在被观测图像上对应点的亮度模式也在运动，这种像素点运动的瞬时速度场就是光流。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维（2D）瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。对光流的研究成为计算机视觉及其相关研究领域中的一个重要部分。[8]光流法的基本原理可描述如下：赋予图像中的每个像素一个速度矢量，形成一个图像运动场，根据各个像素的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和区域背景速度矢量不同，从而检测出运动物体的位置。运动向量检测法运动向量检测法适合于多维变化的环境，能消除背景中的振动像素，使某一方向的运动对象更加突出的显示出来。但是，运动向量检测法也不能精确地分割出对象。动态视频目标跟踪技术在传统监控系统中，目标跟踪是由监控人员手工操作来完成。由于所有的目标的运动特性是非线性的，其速度和方向都在随时发生改变。即使目标的速度、方向不变，但它与摄像机的距离也在变化，从而引入很强的非线性因素，因而用人工操作的方法来实现控制非常困难。智能化视频监控技术提供有效的目标自动跟踪的工具，在用计算机自动处理视频流的过程中，如发现和跟踪感兴趣的目标，就提示监控人员加以关注，并可以控制灵巧快球摄像机，对移动目标实现自动跟踪。RGB色彩模式在一个典型的多媒体计算机系统中常常涉及到用几种不同的色彩空间表示图形和图像的颜色，以对应于不同的场合和应用。因此数字图像的生成、存贮、处理及显示时对应不同的色彩空间需要作不同的处理和转换。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。RGB色彩模式使用RGB模型为图像中每一个像素的RGB分量分配一个0-255范围内的强度值。RGB图像只使用三种颜色，就可以使它们按照不同的比例混合，在屏幕上重现16777216(256*256*256)种颜色。其中任何参数发生改变，颜色也与之对应的变化。因此可以用RGB模型实现此次入侵检测的功能。人的眼睛通过三种可见光对视网膜的锥状细胞的刺激来感受颜色。这种理论就是使用红、绿、蓝三种基色来显示彩色的基础，称之为RGB色彩空间模型。以R、G、B三个参数为坐标，我们可以得到如下的一个单位立体方体描述RGB颜色模型。红、绿、蓝是相互正交的坐标轴，每个坐标轴都量化为0[9]。图3-1RGB颜色模型SMTP和名称空间简介SMTP简介SMTP（SimpleMailTransferProtocol）即简单邮件传输协议，是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。SMTP协议属于TCP/IP协议族，它帮助每台计算机在发送或中转信件时找到下一个目的地。通过SMTP协议所指定的服务器,就可以把E－mail寄到收信人的服务器上了，整个过程只要几分钟。SMTP服务器则是遵循SMTP协议的发送邮件服务器，用来发送或中转发出的电子邮件。首先，运行在发送端邮件服务器主机上的SMTP客户，发起建立一个到运行在接收端邮件服务器主机上的SMTP服务器端口号25之间的TCP连接。如果接收邮件服务器当前不在工作，SMTP客户就等待一段时间后再尝试建立该连接。这个连接建立之后，SMTP客户和服务器先执行一些应用层握手操作。在这个SMTP握手阶段，SMTP客户向服务器分别指出发信人和收信人的电子邮件地址。彼此自我介绍完毕之后，客户发出邮件消息。SMTP可以指望由TCP提供的可靠数据传输服务把该消息无错地传送到服务器。如果客户还有其他邮件消息需发送到同一个服务器，它就在同一个TCP连接上重复上述过程，否则，它就指示TCP关闭该连接。SMTP通常有两种工作模式：发送SMTP和接收SMTP。具体工作方式为：发送SMTP在接到用户的邮件请求后，判断此邮件是否为本地邮件，若是直接投送到用户的邮箱，否则向dns查询远端邮件服务器的MX纪录，并建立与远端接收SMTP之间的一个双向传送通道，此后SMTP命令由发送SMTP发出，由接收SMTP接收，而应答则反方面传送。一旦传送通道建立，SMTP发送者发送MAIL命令指明邮件发送者。如果SMTP接收者可以接收邮件则返回OK应答。SMTP发送者再发出RCPT命令确认邮件是否接收到。如果SMTP接收者接收，则返回OK应答；如果不能接收到，则发出拒绝接收应答（但不中止整个邮件操作），双方将如此重复多次。当接收者收到全部邮件后会接收到特别的序列，如果接收者成功处理了邮件，则返回OK应答即可。图3-2SMTP使用模型名称空间简介名称空间（Namespace）System.Web.Mail类库里所提供的邮件发送的对象、属性和方法它有三个类：SmtpMail、MailMessage和MailAttachment。（1）MailMessage：提供属性和方法来创建一个邮件消息对象。(Providespropertiesandmethodsforconstructingane-mailmessage.)

（2）MailAttachments：提供属性和方法来创建一个邮件附件对象。(Providespropertiesandmethodsforconstructingane-mailattachment.)

（3）SmtpMail：提供属性和方法通过使用windows2000CDOSYS

的消息组件的联合数据对象来发送邮件消息）。(ProvidespropertiesandmethodsforsendingmessagesusingtheCollaborationDataObjectsforWindows2000(CDOSYS)messagecomponent)

。各个类的属性简介：From发送邮件的地址；To接受邮件的地址；Subject邮件的标题；Priority邮件的优先级（有效值为High,Low,Normal）；Attachments返回一个集合，代表附件；Bcc密送地址；Cc抄送地址；获取或是设置电子邮件消息的内容。BodyFormat获取或是设置MailFormat的枚举值，此值指定消息体邮件的格式（Html格式、Text格式）；Bodyencoding指定消息的编码方式编码(主要有Base64,UUencode)

。SmtpMail类的Send方法，它的目的就是发送邮件，有两个重载方法。

（1）SmtpMail.Send("发送邮件的地址","接受邮件的地址","邮件的标题","邮件消息的内容")这个方法很简单，不适合发送带附件的邮件。（2）SmtpMail.Send(MailMessage)

此方法复杂、灵活，适合发送附件，而且可以设置MailMessage对象的各种属性值。如果我们用ASP.NET写一个邮件发送的程序，那么首先应该如何得到SMTP。有两种方法：第一种方法调用目前知名的邮件服务提供商的SMTP，比如新浪、搜狐、网易的免费电子邮箱的SMTP；第二种方法是自己装一个SMTP虚拟服务器，这个在安装IIS时一起装上去的。VFW体系结构简介与技术在Wondows平台下开发的视频应用程序一般采用两种主要形式：一、基于视频采集卡附带的二次软件开发包SDK（SoftwareDevelopmentKit）进行。这种方式的优点是方便、容易上手，适于初学者；缺点是对硬件的依赖性较强、灵活性差，且功能参差不齐，不能充分满足各种视频应用程序的开发需求。二、另一种基于VFW（VideoforWindows）进行。VFW

是Microsoft公司为开发Windows平台下的视频应用程序提供的软件工具包，提供了一系列应用程序编程接口（API），用户可以通过这些接口很

方便地实现视频捕获、视频编辑及视频播放等通用功能，还可利用回调函数开发比较复杂的视频应用程序。该技术的特点是播放视频时不需要专用的硬件设备，而且

应用灵活，可以满足视频应用程序开发的需要。Windows操作系统自身就携带了VFW技术，系统安装时，会自动安装VFW的相关组件。VFW技术主要由六个功能模块组成，下面进行简单说明。（1）AVICAP32.DLL：包含执行视频捕获的函数，给AVI文件的I/O处理和视频，音频设备驱动程序提供一个高级接口；（2）MSVIDEO.DLL：包含一套特殊的DrawDib函数，用来处理程序上的视频操作；（3）MCIAVI.DRV：包括对VFW的MCI命令解释器的驱动程序；（4）AVIFILE.DLL：包含由标准多媒体I/O（mmio）函数提供的更高级的命令，用来访问.AVI文件；（5）ICM：压缩管理器，用于管理的视频压缩/解压缩的编译码器；（6）ACM：音频压缩管理器，提供与ICM相似的服务，适用于波形音频。图3-3VFW各模块间联系图VFW下AVICap基本功能选择摄像头捕获的画面为视频源，使用AVICap窗口类来实现视频的采集。AVICap窗口类是VFW的一个重要的组成部分，它实现的主要功能是视频的捕获。AVICap提供给应用程序一个简单的、基于消息的接口去访问视频设备和录音设备，并且可以控制处理视频流的捕获，满足了此次课题的需求，并且很容易加入到应用程序中，适于二次开发。AVICap支持实时视频流捕获和单帧捕获。此外，AVICap使程序员可以控制视频源的开始和结束位置，并加入了如序列帧捕获等功能。使用AVICap生成的捕获窗具有以下功能：（1）将音频和视频流捕获到AVI文件；（2）动态地连接或断开音频和视频输入设备；（3）以叠加（overlay）或预览（preview）模式显示输入的实时视频信号；（4）指定捕获所用的文件，并可将捕获文件的内容拷贝到另一个文件；（5）设置捕获速率；（6）显示控制视频源和视频格式的对话框；（7）创建，保存和载入对话框；（8）将图像和调色板拷贝到剪贴板；（9）捕获和保存DIB格式单帧图像。通过检查CAPDRIVERCAPS结构来获取捕获驱动器的能力，并通过AVICap提供的VideoSource,VideoFormat,VideoDisplay对话框来对捕获参数进行设置。AVICap在显示视频时提供的两种模式：预览（Preview）模式：该模式使用CPU资源，视频帧先从捕获硬件传到系统内存，接着采用GDI函数在捕获窗中显示。在物理上，这种模式需要通过VGA卡在监视器上显示。叠加（Overlay）模式：该模式使用硬件叠加进行视频显示，叠加视频的显示不经过VGA卡，叠加视频的硬件将VGA的输出信号与其自身的输出信号合并，形成组合信号显示在计算机的监视器上。只有部分视频捕获卡才具有视频叠加能力。基于VFW实现C#控制摄像头需要手动另起一个线程。定义一个叫AviCapture.cs的类，用于引入avicap32.dll以及相关的内容。在avicap32.dll中，CAPTUREPARMS结构里有一个fYield，表示另起线程标志位，如果为真，则程序重新启动一个线程用于视频流的捕获，默认值是假。在AviCapture这个类的基础上定义一个叫Video的类，实现如打开摄像头、关闭摄像头、开始录像、结束录像、拍照片等操作。常用的数据结构用VFW编写的视频捕捉程序，往往要用到以下四个与视频捕捉相关的数据结构：（1）CAPSTATUS：定义捕获窗口的当前状态，如图像的宽、高等；（2）CAPDRIVERCAPS：设置捕获设备所拥有的功能能，如有无视频叠加能力、有无控制视频源、视频格式的对话框等；（3）CAPTUREPARMS：包含控制视频流捕获过程的参数，如捕获帧频、指定键盘或鼠标键以种植捕获，捕获的时间限制等；（4）VIDEOHDR：定义视频数据块的头信息，在编写回调函数时常用到其数据成员lPData（指向数据缓存的指针）和dwBuferLength（数据缓存大小）。其中，前三种结构都有相应的函数来设置和获取该结构包含的信息。设置视频设备的属性CAPTUREPARMS数据结构包括了视频流的控制参数，通过设置captureParms结构变量的各个成员变量，可以控制设备的采样频率、中断采样按键、状态行为等。它允许完成以下任务：（1）指定帧速度（FrameRate）；（2）指定视频分配的内存大小；（3）关闭或打开音频捕获；（4）设定捕获的时间间隔；（5）指定捕获设备（MCI设备、VCR或者影碟）；（6）指定结束捕获的键盘或鼠标操作；（7）指定使用的视频类型。向视频捕获窗体发送WM_CAP_GET_SEQENCE_SETUP消息或者使用宏函数capCaptureGetSetup，可以获得一个CAPTUREPARMS数据结构的对象，当前连接的视频设备信息就保存在这个结构体对象里面，此对象的成员变量可以根据系统需要进行修改。修改完毕后，发送WM_CAP_SET_SEQUENCE_SETUP消息给捕获窗体，并把这个CAPTUREPARMS对象作为传送参数，或者使用宏capCaptureSetSetup，就可使修改的设置生效。之后还可以用capPreviewScale、capPreviewRate等函数设置预览的比例与速度，直接使用设备的默认值也能满足大部分的系统需求。回调函数对采集的视频数据进行实时处理时需要用到回调函数。在窗口过程、钩子过程、异步过程都需要调用回调函数，在整个回调过程中自始至终地使用回调方法。回调函数是一类特殊的函数，其功能类似于中断函数，其调动过程由系统完成，而回调函数的具体内容则由用户自己设定。开发者可以注册回调函数方法以获得加载/卸载通知，未处理异常通知、数据库/窗口状态修改通知、文件系统修改通知、菜单项选择、完成的异步操作通知、过滤一组条目等。在系统中，当每一回调函数被设定后，并且满足某一特定条件时，系统将自动调用该回调函数。VFW的回调函数主要包括状态回调、错误回调和视频回调。两个宏函数简要介绍如下：（1）capSetCallbackOnFranme(hWnd,fpFrameProc)，注册帧回调函数。只要一启动视频捕获，当一帧结束后它就理科产生同步动作，而究竟是哪一个回调函数响应，则由登记在设置宏函数中的fpFrameProc参数来决定。此响应是一帧一帧地在同一个缓冲区内进行刷新。另外回调函数要提前定义，即在程序头部进行定义。（2）capSetCallbackonVideoStream(hwnd,fpVideoProc)。与capSetCallbackOnFranme不同的是，它要和capCaptureSequenceNoFile(hWnd)或capCaptureSequence(hwnd)配合使用，当其中一个被执行后，回调动作才会产生。此想听同样是一帧结束后边产生回调，但每次数据都追加在上一帧数据的后面，知道所分配的数据缓冲区用完为止。WindowsAPI简介C#开发Windows应用程序的两种主要方法为：使用WindowsAPI(ApplicationProgrammingInterface，应用程序编程接口)函数，利用MFC(MicrosoftFoundationClass，微软基础类库)类库。WindowsAPI就是操作系统留给应用程序的一个调用接口，应用程序通过调用操作系统的API而使操作系统去执行应用程序的命令（动作）。WindowsAPI是一套用来控制Windows的各个部件的外观和行为的预先定义的Windows函数。用户的每个动作都会引发一个或几个函数的运行以告诉Windows发生了什么。API函数包含在Windows系统目录下的动态连接库文件中[10]。应用程序接口为：“‘计算机操作系统(Operatingsystem)’或‘程序库’提供给应用程序调用使用的代码”。其主要目的是让应用程序开发人员得以调用一组例程功能，而无须考虑其底层的源代码为何、或理解其内部工作机制的细节。API本身是抽象的，它仅定义了一个接口，而不涉入应用程序如何实现的细节。WindowsAPI所提供的功能可以归为七类：1. 基础服务(BaseServices)，提供对Windows系统可用的基础资源的访问接口。比如象：文件系统(filesystem)、外部设备(device)、进程(process)、线程(thread)以及访问注册表(Windowsregistry)和错误处理机制(errorhandling)。这些功能接口位于，16位Windows下的kernel.exe、krnl286.exe或krnl386.exe系统文档中；以及32位Windows下的kernel32.dll和advapi32.dll中。2. 图形设备接口(GDI)，提供功能为：输出图形内容到显示器、打印机以及其他外部输出设备。它位于16位Windows下的gdi.exe；以及32位Windows下的gdi32.dll。3. 图形化用户界面(GUI)，提供的功能有创建和管理屏幕和大多数基本控件(control)，比如按钮和滚动条。接收鼠标和键盘输入，以及其他与GUI有关的功能。这些调用接口位于：16位Windows下的user.exe，以及32位Windows下的user32.dll。从WindowsXP版本之后，基本控件和通用对话框控件(CommonControlLibrary)的调用接口放在comctl32.dll中。4. 通用对话框链接库(CommonDialogBoxLibrary)，为应用程序提供标准对话框，比如打开/保存文档对话框、颜色对话框和字体对话框等等。这个链接库位于：16位Windows下的commdlg.dll中，以及32位Windows下comdlg32.dll中。它被归类为UserInterfaceAPI之下。5. 通用控件链接库(CommonControlLibrary)，为应用程序提供接口来访问操作系统提供的一些高级控件。比如像：状态栏(statusbar)、进度条(progressbars)、工具栏(toolbar)和标签(tab)。这个链接库位于：16位Windows下的commctrl.dll中，以及32位Windows下comctl32.dll中。它被归类为UserInterfaceAPI之下。6. Windows外壳(WindowsShell)，作为WindowsAPI的组成部分，不仅允许应用程序访问Windows外壳提供的功能，还对之有所改进和增强。它位于16位Windows下的shell.dll中，以及32位Windows下的shell32.dll中(Windows95则在shlwapi.dll中)。它被归类为UserInterfaceAPI之下。7. 网络服务(NetworkServices)，为访问操作系统提供的多种网络功能提供接口。它包括NetBIOS、Winsock、NetDDE及RPC等。本章小结本章主要介绍了软件设计过程中运用到的相关理论与技术。先是对视频监控系统做了简单的介绍再针对现下较为流行的视频监控技术手段做了简单的介绍，有背景减除法、时间差分法、光流法。并简要分析了这几种算法的优缺点。同时对RGB颜色空间和SMTP邮件的基础知识进行了解，为后面的软件的设计与实现提供了一定的依据。第四章软件实现第四章软件实现第四章软件实现软件总体实现课题主要的任务为开发一套基于视频场景分析的敏感区域入侵检测软件，主要功能包括：检测参数设置、场景图像采集、异常场景元素提取、场景元素判别、异常入侵报警等功能。充分考虑到课题的需求，笔者将分为以下三个环节介绍软件具体的实现过程。1.视频内容捕获的实现；2.视频内容识别的实现；3.报警功能的设计与实现。软件各模块说明视频内容捕获实现视频捕获是指由专用的视频采集卡捕获视频、图像等信息，再将获得的视频数据进行数字化操作，然后可以针对这些数据进行保存、修改、传输、回放等各项操作。视频的捕获并显示是此次课题实现的关键步骤，关系到后续关于视频处理的一系列操作。能否准确有效地捕获指定的监控敏感区，进而实现精确的数据获取、分析和处理。在此次课题中，由于资金有限，将采取在本地直接调用笔记本摄像头的开闭实现视频的捕获[11]。根据不同的应用需求，可以将视频帧采集到文件中或者缓存直接加以处理。利用VFW获取实时视频数据时，通常使用回调机制来获得实时数据缓冲区的首址和长度，从而获得视频数据，实现视频的实时处理。在此次课题中，由于是实现实时的入侵监控和报警，并且提供邮件发送的功能，邮件附带入侵的视频数据截图，那么考虑到文件传输的速度和稳定性，将主要以捕获视频图像为主。图4-1视频捕获软件实现流程具体实现过程如下：（1）创建视频捕获窗口捕获窗口是所有捕获操作的基础，其构造要调用：publicCameraClass(IntPtrhandle,intleft,inttop,intwidth,intheight){mControlPtr=handle;mWidth=width;mHeight=height;mLeft=left;mTop=top;}（2）将捕获窗口与视频捕获驱动相连BOOLfOK;fOK=capDriverConnect(ghWndCap,0);if(!fOK){//无法将指定的视频捕获驱动连接到捕获窗//在此加入错误处理}（3）获得捕获驱动器的能力capDriverGetCaps(hwndCap,&gCapDriverCaps,sizeof(CAPDRIVERCAPS));其中,gCapDriverCaps是由CAPDRIVERCAPSgCapDriverCaps;定义的。CAPDRIVERCAPS结构定义了捕获驱动器的能力，如有无视频叠加能力，有无控制视频源、视频格式的对话框等。执行capDriverGetCaps语句后，gCapDriverCaps中就获得了与当前捕获窗相连的捕获驱动的各项能力，要根据该捕获驱动的能力来实现视频的显示和捕获。（4）显示视频由于叠加模式只被部分视频捕获卡支持，而大部分视频捕获设备都支持预览模式，我们用预览（preview）模式显示视频：capPreviewRate(ghWndCap,66);//设置显示帧率capPreview(ghWndCap,TRUE);//开始预览显示要停止预览可用：capPreview(ghWndCap,FALSE);用叠加模式显示视频的方法相似，只是所用函数应为capOverlay。（5）进行视频捕获视频捕获主要有两种模式，连续视频流捕获和单帧捕获。在进行视频捕获之前要指定捕获文件名并为捕获文件分配存储空间。publicvoidSaveImage(stringpath){IntPtrhBmp=Marshal.StringToHGlobalAnsi(path);SendMessage(hWndC,WM_CAP_SAVEDIB,0,hBmp.ToInt32());}（6）结束，将捕获窗同驱动断开连接publicvoidStop(){SendMessage(hWndC,WM_CAP_DRIVER_DISCONNECT,0,0);bStat=false;}这一步在结束视频捕获程序时是必须的，否则将导致视频驱动无法释放，其它程序将不能使用捕获设备。利用函数capOverlay选择采用叠加模式预览，从而减小系统资源的占用率，加快了视频的加载速度。之后使用capPreview启动预览功能，这时就可以在屏幕上显示出整个界面窗口，并可以看到指示灯亮摄像头被打开，屏幕上显示摄像头摄入的视频内容。一个程序可以为捕获窗口登记多个回调函数，以便在以下几种情况发生时通知程序作出相应的应对操作：（1）状态改变；（2）错误发生；（3）视频框架缓冲区变为可用；（4）应用程序在捕获视频流过程中接收到数据。通过以上几个步骤就可以建立一个基本的视频捕获程序，之后需要使用捕获窗口的回调函数，获取每一帧的视频数据，以供之后进行视频内容的操作处理。至此，视频数据显示、采集功能已基本实现[12]。打开后的视频捕获窗口如下图所示：图4-2启动摄像头监控程序

视频内容识别实现此次课题是基于视频敏感区内容的识别，目标的检测与跟踪就是把物体提取出来，对其进行识别并获取其相关信息的过程。在智能视频监控系统中，物体检测和跟踪是提高系统智能性的关键技术。因此此次课题的重点则是实现视频内容的识别，笔者在综合考虑各方面的因素之后，采取了通过对比视频当前画面和背景画面的颜色变化的方式来判别是否为有害入侵。确定了基于颜色的敏感入侵检测，设定了色差、限差两个参数的维度来判断入侵是否有害，这两个参数取值范围均为0—100区间，用户可以根据自身的需求自定义。（1）设置监控对比图形首先用户需在摄像头开启状态下，通过点击“设置监控对比图形”来设置背景图像。用户可以根据自身的需求设定监控对比图形，这一功能的开放，使得该摄像头监控程序可运用的范围大大增加。图4-3CaptureScreenClass类图CaptureScreenClass类包含三个参数，BitBlt、CreateDC、GetScreenImage。其中GetScreenImage是捕捉当前屏幕图像的关键类，也是设置监控对比图形的基础。publicstaticBitmapGetScreenImage(Pointpoint01,Pointpoint02,boolfull){//创建显示器的DCIntPtrdc1=CreateDC("DISPLAY",null,null,(IntPtr)null);//由一个指定设备的句柄创建一个新的Graphics对象Graphicsg1=Graphics.FromHdc(dc1);BitmapMyImage;intwidth,height;if(full){width=Screen.PrimaryScreen.Bounds.Width;height=Screen.PrimaryScreen.Bounds.Height;}else{width=point02.X-point01.X;height=point02.Y-point01.Y;}//根据指定的宽度和高度创建一个与之相同大小的Bitmap对象MyImage=newBitmap(width,height,g1);//获得屏幕的句柄Graphicsg2=Graphics.FromImage(MyImage);//获得位图的句柄IntPtrdc3=g1.GetHdc();//把当前屏幕捕获到位图对象中IntPtrdc2=g2.GetHdc();//把当前屏幕拷贝到位图中BitBlt(dc2,0,0,width,height,dc3,point01.X,point01.Y,13369376);//释放屏幕句柄g1.ReleaseHdc(dc3);//释放位图句柄g2.ReleaseHdc(dc2);returnMyImage;}设置好监控对比图形之后，程序自动将图形保存在debug文件目录下，命名为BASE。实现语句如下：privatevoid设置监控对比图形button_Click(objectsender,EventArgse){camera.SaveImage("BASE.bmp");}（2）色差、限差、监控间隔、延迟时间等参数设定。设置好监控对比图形之后，可以就自身需求设定参数值，以期达到最佳的监控效果。参数的设定给出了监控的弹性范围，降低系统因过度敏感发生误报，或是敏感度不够造成漏报的现象。①色差设定。为了防止因为细微的环境变化而导致误报的现象，因此需要一定的阈值范围来判断画面是否发生变化。当图像变化的颜色差值大于该色差值时，判断有可能出现变化，该值越小则要求图像变化越小，即要求越严格。stringtempStr;tempStr=ini.ReadValue("Values","色差");inttempInt;if(int.TryParse(tempStr,outtempInt)){LimitedValue=tempInt;colorTrackBar.Value=tempInt;limitedColorlabel.Text=tempInt.ToString();}②限差设定。限差用于控制图像中变化比率ratio，当超过该值时开始报警，即当图像出现ratio%的变化时程序认为出现异常，该值越小要求图像变化越小。tempStr=ini.ReadValue("Values","限差");if(int.TryParse(tempStr,outtempInt)){LimitedRatio=(double)tempInt/100;ratioTrackBar.Value=tempInt;ratiolabel.Text=tempInt.ToString();}③监控间隔设定。监控间隔即每隔多长时间进行一次监控分析。最小值为100ms，值越小，其监控分析的频率越高，同时CPU使用率越高。privatevoidmonitortrackBar_Scroll(objectsender,EventArgse){MonitorTime=monitortrackBar.Value;monitorlabel.Text=monitortrackBar.Value.ToString();if(ini!=null)ini.WriteValue("Values","监控间隔",monitortrackBar.Value.ToString());monitorTimer.Interval=monitortrackBar.Value*100;