城域网数字视频监控系统设计实现及其自适应传输控制策略研究

城域网数字视频监控系统设计实现及其自适应传输控制策略研究华中科技大学硕士学位论文城域网数字视频监控系统设计实现及其自适应传输控制策略研究姓名严德汗申请学位级别硕士专业系统分析与集成指导教师曾致远20040510摘要远程数字视频监控系统广泛应用于各个领域如银行电力水电教育公安大型公共设施大型仓库电信和交通等对于保障工业生产人民生活与社会安全具有重要意义当前随着科学技术的发展和人们生产力生活水平的提高远程数字视频监控系统被越来越多地应用于各个领域且符合当前信息社会中数字化网络化和智能化的发展趋势基于城域网开发一个具有较强功能的远程数字视频监控系统必将有良好的应用前景该课题以数字视频压缩技术网络技术和流媒体技术为基础以视频信息的存储和网络传输为重点设计实现了一套远程数字视频监控系统软件平台整个系统主要由视频服务器视频管理服务器和远程视频监控中心三个子系统组成并利用最新的分布式应用软件实施技术WEBSERVICE技术实现系统的集成为了满足实际应用中网络状态不稳定性的需要以保证实时数据传输QOS课题设计了一种利用RTPRTCP协议携带的控制信息通过QOS监测的自适应调整视频流码率的改进策略并在此策略基础上设计了视频传输子系统较好地解决了视频流在网络状态不稳定时QOS的保证实现了根据网络状态主动进行带宽调整以减少报文丢失减少流的抖动提高流的平稳特性提高系统的性能本文首先阐述了数字视频监控系统的功能特性和理论基础接下来介绍了远程数字视频监控系统硬件总体结构方案软件平台的总体设计思想所用到的各种相关的关键技术解决方案以及开发平台和开发工具的选择论文重点讨论了视频传输及其自适应传输控制策略算法研究设计以及该系统的各个子系统的结构及软件上的详细设计在文章的最后针对该系统的结构和性能做了总结和评价还讨论了下一步要进行的工作对网络数字视频监控系统的发展方向及前景进行了展望关键字数字视频监控系统视频传输QOS保证自适应传输策略IABSTRACTREMOTEDIGITALVIDEOSURVEILLANCESYSTEMISWIDELYAPPLIEDINMANYFIELDSSUCHASBANKELECTRICPOWERHYDROPOWEREDUCATIONETCITHASGREATSIGNIFICANCEFORSECURITYGUARANTYOFINDUSTRIALPRODUCTIONANDLIFEOFPEOPLEATPRESENTREMOTEDIGITALVIDEOSURVEILLANCESYSTEMHASBEENINCREASINGAPPLIEDINMANYFIELDSWITHTHEDEVELOPMENTOFTECHNOLOGIESANDIMPROVEMENTOFSTANDARDOFLIVINGANDPRODUCTIVITYANDITACCORDINGTOTHEDEVELOPINGTRENDOFDIGITALNETWORKINGANDINTELLIGENCEINCURRENTINFOCOMMUNITYSOTHEEXPLOITATIONOFMANBASEDREMOTEDIGITALVIDEOSURVEILLANCESYSTEMPLATFORMWITHPOWERFULPERFORMANCEWILLHAVEGOODOUTLOOKBASEDONDIGITALVIDEOCOMPRESSIONNETWORKFLOWMEDIAAREMOTEDIGITALVIDEOSURVEILLANCESYSTEMPLATFORMHASBEENDESIGNEDANDIMPLEMENTEDWHICHFOCUSONVIDEOSTORAGEANDTRANSMISSIONTHEWHOLESYSTEMISCOMPOSEDOFVIDEOSERVERMANAGERSERVERCLIENTWHICHINTEGRATEDBYWEBSERVICESINORDERTOMEETQOSOFVIDEOTRANSMISSIONAMODIFIEDSELFADAPTIVETRANSMITTEDCONTROLSTRATEGYFORREALTIMEMULTIMEDIAHASBEENDESIGNEDTHESTRATEGYUTILIZESINFORMATIONOFQOSTHATCOLLECTEDBYRTPRTCPTOANALYZETHECONDITIONOFNETWORKREALIZESBANDWIDTHADJUSTMENTAUTOMATICALLYTOREDUCEPACKETLOSSANDTHEJITTEROFSTREAMIMPROVETHESMOOTHCHARACTERISTICOFSTREAMANDTHEPERFORMANCEOFSYSTEMINTHISPAPERFIRSTLYWEILLUSTRATETHEFUNCTIONCHARACTERISTICANDTHEORYELEMENTSSECONDLYINTRODUCETHEHARDWAREFRAMEWORKSOFTFRAMEWORKANDTHESOLUTIONOFALLKINDOFKEYTECHNOLOGYOFREMOTEDIGITALVIDEOSURVEILLANCESYSTEMWESTRESSONVIDEOTRANSMISSIONASWELLASTHESTUDYANDDESIGNOFSELFADAPTIVETRANSMITTEDCONTROLSTRATEGYANDPARTICULARDESIGNOFEACHSUBSYSTEMATTHEENDOFTHISPAPERWEEVALUATETHEPERFORMANCEOFTHESYSTEMDISCUSSFURTHERJOBANDLOOKFORWARDTOTHEDIRECTIONOFREMOTEDIGITALVIDEOSURVEILLANCESYSTEMKEYWORDSDIGITALVIDEOSURVEILLANCESYSTEMVIDEOTRANSMISSIONQOSGUARANTEEADAPTIVETRANSMITTEDSTRATEGYII独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果尽我所知除文中已经标明引用的内容外本论文不包含任何其他个人或集体已经发表或撰写过的研究成果对本文的研究做出贡献的个人和集体均已在文中以明确方式标明本人完全意识到本声明的法律结果由本人承担学位论文作者签名日期年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留使用学位论文的规定即学校有权保留并向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借阅本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索可以采用影印缩印或扫描等复制手段保存和汇编本学位论文保密在_年解密后适用本授权书本论文属于不保密请在以上方框内打学位论文作者签名指导教师签名日期年月日日期年月日1绪论11课题的背景目的和意义视频监控系统123的发展大致经历了三个阶段在20世纪90年代初以前主要是以模拟设备为主的闭路电视监控系统称为第一代模拟监控系统90年代中期随着计算机处理能力的提高和视频技术的发展人们利用计算机的高速数据处理能力进行视频的采集和处理利用显示器的高分辨率实现图像的多画面显示从而大大提高了图像质量这种基于PC机的多媒体主控台系统称为第二代数字化本地视频监控系统90年代末随着网络带宽计算机处理能力和存储容量的快速提高多媒体技术的发展以及各种实用视频处理技术的出现视频监控步入了全数字化的网络时代称为第三代远程网络数字视频监控系统第三代视频监控系统以网络为依托以计算机为中心以数字视频的压缩传输存储和播放为核心以智能实用的图像分析为特色引发了视频监控行业的技术革命受到了学术界产业界和使用部门的高度重视与传统的模拟监控相比网络数字监控具有许多优点A便于计算机处理由于对视频图像进行了数字化所以可以充分利用计算机的快速处理能力对其进行压缩分析存储和显示B适合远距离传输数字信息抗干扰能力强不易受传输线路信号衰减的影响而且能够进行加密传输因而可以在数千公里之外实时监控现场C可以实现分布式监控整个视频监控网络可以和企业计算机网络整合在一起系统前端的摄像信号可以直接进入以太网INTRANET网甚至INTERNET网被授权的用户通过客户端软件或WEB浏览器就可以在任何地方进行现场监控他可以在本地上网也可以通过调制解调器远程入网这样实现了不同地点的多个终端同时监控而且可以设定每台监控终端的监控范围D提高了图像的品质与监控效率利用计算机可以对不清晰的图像进行去1噪声锐化等处理通过调整图像大小借助显示器的高分辨率可以观看到清晰的高品质图像此外可以在一台显示器上同时观看多路视频图像E可以更好的实现了企业监控和企业管理信息系统的整合正是由于远程数字视频监控具有传统模拟监控无法比拟的优点而且符合当前信息社会中数字化网络化和智能化的发展趋势所以数字视频监控广泛应用于各行各业包括金融电力水电教育公安大型公共设施大型仓库电信和交通等部门为这些行业的安全防范和环境监控起到了不可忽视的作用故开发一个具有较强功能的远程数字视频监控系统必将有良好的应用前景在此我们在研究开发某市银行监控系统的基础上以宽带城域网为依托以视频数据的编解码网络传输为核心设计实现网络数字视频监控系统该监控系统支持多用户多摄像机并发处理实现了实时监控无人值守录制历史文件回放等功能本文根据该项目的实际开发经验介绍了系统的视频服务器软件模块视频管理服务软件器模块和客户端软件模块的开发与研究在系统开发过程中建立了自己的软件系统架构并且利用RTCP携带参数信息进行了系统的自适应传输控制策略算法的研究设计实现实时数据传输的自反馈到达更好的拥塞控制一定程度上保证了实时数据传输QOS取得了满意的监控效果12数字视频监控系统的现状数字视频监控系统遍布社会的各个角落生活的方方面面十分广泛目前主要用于以下几个方面456789101银行金融安全系统2宾馆商场等流动人口繁杂场合的保安系统3智能交通数字视频监控系统4智能建筑数字视频监控系统5工业环境数字视频监控系统6无人值班监控系统如电信局无人值守机房电力无人值守变电站无人监测水文站等27智能小区监控系统目前视频监控图像压缩算法基本上是采用MPEGL24MJPEGH26L3等也有个别公司宣称采用专利算法其研究在国外已处于技术先进功能齐全而国内厂家大多处在引进消化国外产品阶段市场上的产品有组织科研力量自主开发的产品这类产品以软件居多硬件则是采用ASIC芯片进行图像压缩开发者着重研究上层应用如武汉开源智能系统有限公司自行开发的采用MPEG1压缩卡进行图像压缩的武汉市交通银行视频监控系统其已稳定投入使用且运行效果很好引进国外产品直接代理或进行二次开发技术引进主要有以色列韩国德国和美国的产品如北京黄金眼科技有限公司引进以色列的技术采用软件H263压缩经过二次开发发展出多种系统如黄金眼远程监控系统黄金眼数字硬盘录像系统黄金眼交通管理系统等另外中国视频服务综合提供商上海汉诺通讯技术有限公司也提供部分远程视频监控解决方案东岛科技有限公司自行研制实时无线视频监控系统北清视通北京公司提供视频监控设备上海景融信息科技有限公司也致力于系统集成和视频监控系统上海易视计算机科技有限公司生产MPEG4网络视频服务器数字监控系统用于远程视频监控等等13本文主要内容与创新点本文对课题的开发过程中系统硬件软件架构的设计进行了介绍和探讨其中主要包括系统硬件组成软件功能模块的划分与设计数据库系统的设计通信协议和数据结构的设计以及各软件模块之间的数据传输和通信控制等另外本文重点研究了视频的传输及其自适应传输控制策略算法本文的第二章介绍了数字视频监控系统的硬件组成结构实时数字音视频编解码技术流媒体技术多线程技术网络编程技术数字图像的存储及检索多媒体网络通信技术等理论基础第三章提出数字视频监控系统的设计思路和系统结构并探讨视频压缩编码技3术计算机网络传输技术传输时带宽控制和组播等关键技术的解决方案以及开发平台和开发工具第四章首先分析了视频传输的特点和现有视频传输QOS保证措施现然后在分析了以前的各种算法后提出了一种改进的基于RTPRTCP的实时多媒体自适应传输控制策略与先前的基于分组丢失率确定网络状态的算法相比该策略利用RTPRTCP收集的QOS信息延时抖动来进一步分析网络状态实现主动进行带宽调整以减少报文丢失减少流的抖动提高流的平稳特性提高系统的性能最后提出了系统传输子系统方案第五章结合在项目的实际开发过程中所从事的工作首先介绍数据库通信协议和数据结构的详细设计与实现然后从视频服务器管理服务器和客户端三个方面分别叙述详细设计与实现由于管理服务器由本组同学设计完成故在文中管理服务器只简单的介绍了其中的接口设计最后介绍了用户界面的实现最后在第六章总结了整个项目取得的成果和系统的特点并且对数字视频监控系统下一步要进行的扩展改进工作和进一步的研究发展方向进行了介绍和展望其中本文创新之处有1自行设计了基于城域网的数字视频监控系统体系结构2研究设计了一种改进的自适应传输控制策略3协助本组同学引进新技术WEBSERVICES实现系统集成42数字视频监控的理论基础数字视频监控系统是建立在数字视频处理技术的基础上的它是以计算机为处理中心利用视频数据压缩编码和解码技术JPEGMPEG1或MPEG4计算机网络技术和多线程技术的一种新型的监控系统本章介绍了数字视频监控系统的硬件组成结构实时数字音视频编解码技术流媒体技术多线程技术网络编程技术数字图像的存储及检索多媒体网络通信技术等理论基础21数字视频监控系统的硬件组成结构3目前的数字视频监控系统的视频获取硬件有两种方案1使用模拟摄像机通过视频压缩编码卡把模拟摄像机获取到的模拟视频图像信号转换为数字视频图像信号一块压缩卡一般支持1路至4路视频采集压缩一台计算机可以插上1块卡或4块卡从而支持1路到16路视频采集视频压缩卡的质量和性能的好坏直接影响到整个监控系统的质量和性能基于PC机的数字视频监控系统采用软件来设计实现摄像机到监视器的视频矩阵切换录像云台和镜头的控制通过串口连接报警设备的报警信息等这种方案能充分利用计算机的资源使视频监控系统随计算机技术的发展而不断进步同时其开放性的结构特性更可使之与其他多种系统如与消防报警系统出入口管理系统楼宇自控系统等实现互动集成并且比较适合升级改造原来的模拟视频监控系统如果使用这种方案旧系统的模拟摄像机还可以继续使用采用模拟摄像机的网络摄像机监控系统大致结构如图21所示5视频压监视器计算机模拟摄像机缩卡计算机网络存储设备图21采用模拟摄像机的网络监控系统结构2直接使用数字的摄像机数字摄像机获取目标场景的图像信息后直接输出经过压缩编码的数字视频图像信号然后通过网络把数字化的视频信号传送到计算机中这种方案比较适合建设全新的数字监控系统从技术的角度来讲这种方案是未来网络视频监控系统的发展方向它具有很高的灵活性和可扩展性其一般过程为首先通过视频获取模块得到数字化的视频信号之后再通过计算机网络传送到计算机视频服务器视频服务器可以对图像进行处理然后在监视器上显示目标景物的实时画面也可以根据实际的需要存储起来采用数字摄像机的网络监控系统大致结构如图22所示监视器数字摄像机计算机计算机网络存储设备图22采用数字摄像机的监控系统结构22实时数字音视频编解码技术11视频的压缩技术是数字化监控系统的核心技术多路高质量的视频的采集转换是系统数字化的第一步高压缩比实时的多路并行压缩技术是保障系统信息存储显示和网络传输的基础目前视频流传输中最为重要的编解码标准国际电联的H261H263运动静止图像专家组的MJPEG国际标准化组织运动图像专家组的MPEG系列标准以及在互联网上被广泛应用的REALVIDEOWMTQUICKTIME等方6面H26X系列标准12H261该标准由CCITT于1988至1990间发展制定使用P64KBPS的传输速率主要应用于视频电话和视频电视会议实际的编码算法和MPEG相似实时压缩需要的CPU资源小于MPEG两种帧编码类型帧内编码INTRAFRAMESIFRAMES和帧间编码INTERFRAMESPFRAMES帧内编码的IFRAMES主要使用JPEG的技术帧间编码的PFRAMES使用与前一帧预测帧PREDICTEDFRAME的差值进行编码因此当前帧依赖于前一帧IFRAME可以作为随机读取点图像分辨率的CIFCOMMONINTERMEDIATEFORMAT和QCIFQUARTERCOMMONINTERMEDIATEFORMAT分别对应大小是352288和176144H263H263是1996年3月发表的针对低码率应用的视频压缩标准和H261一样该标准对帧内压缩采用TRANSFORM编码对帧间压缩采用预测编码改进半象素精度运动补偿无限制运动向量SYNTAXBASEDARITHMETICCODING先进的预测PB帧除了支持CIF和QCIFH263还支持SQCIF4CIF和16CIFG标准13JPEG标准是联合图像专家组JOINTPHOTOGRAPHICEXPERTGROUP为连续色调即灰度级或彩色静态图像压缩制定的通用国际标准该专家组是ISOIEC下属的一个技术委员会它于1991年3月正式提交了ISOIEC10918号建议草案多灰度静止图像的数字压缩编码DIGITALCOMPRESSIONANDCODINGOFCONTINUOUSTONESTILLIMAGES1992年正式通过该草案的主要内容如下基本系统BASELINESYSTE提供顺序扫描重建的图像实现有损的图像压缩而重建图像要达到难以观察出图像损失的要求它采用88像素自适应DCT算法量化以及霍夫曼型的熵编码器扩展系统EXTENDEDSYSTEM选用累进工作方式编码过程采用具有自适应能力的算术编码无失真的预测编码采用帧内预测编码及霍夫曼编码或算术编码可保证重建图像数据与原始图像数据完全相同即均方误差等于零基本系统基于DCT和可变长编码VLC压缩技术由于DCT编码有失真故重建图像不能精确地再现原始图像其图像的失真程度与压缩比密切相关JPEG不仅用7于静止图像数据的压缩也用于视频数据压缩JPEG20003是一个正在制定的标准是准备将现有的JPEG标准进行升级换代的一个新标准根据专家组确定的目标新标准将不仅能够提高对图像的压缩质量尤其是低码率时的压缩质量而且还将得到许多新功能包括根据图像质量视觉感受和分辨率进行渐进传输对码流的随机存取和处理开放结构向下兼容等G系列标准141516MPEG1MPEG1标准于1993年8月公布用于传输15MBPS数据传输率的数字存储媒体运动图像及其伴音的编码视频解析率为CIF352288相当于VCD格式的播放质量对实时数据传播要求较高的带宽不适合实时电视会议一组数据帧是由IINDEPENDENT帧PPREDICTION帧和BBIDIRECTIONPREDICTION帧组成MPEG21994年推出它是扩展的MPEGL标准特点是变比特率相当于数字电视的播放质量不仅支持更高解析率的视频数据而且还支持高音质的音频数据目标传输率是415MBPS和MPEG1比较需要更高的带宽来完成编码和解码过程MPEG4和MPEG7MPEG4与MPEG1和MPEG2有很大的不同MPEG4不只是具体压缩算法它是针对数字电视交互式绘图应用影音合成内容交互式多媒体资料撷取与分散等整合及压缩技术的需求而制定的国际标准场景中的每个对象独立编码用户可以选择性地与其中某几个对象交互具有良好的重用性MPEG7主要用来从互联网上广大的信息源中获取多媒体信息传统的基于关键词或文本的搜索方法不适合于网络上爆炸式增长的多媒体信息的检索MPEG7的正式名称为多媒体描述接口它没有定义一个单一的内容描叙系统而是为多媒体的查询定义了一系列的方法和工具提供了一个灵活可扩展的视听内容AUDIOVISUALCONTENT描述框架23流媒体技术TCPIP协议最初是为提供非实时数据业务而设计的随着网络的发展分布式多媒体应用对网络的资源管理差错控制流量控制速率控制以及服务质量提出8了新的挑战基于GOBACKN重传机制的TCP面向无连接不提供数据次序性的UDP已经不适应新的需求因此为解决IP网络环境中传输实时数据存在的延时抖动包丢失等问题支持网络实时传输服务提供数据传输的实时标准需要采用新的技术流媒体技术媒体的流化技术MEDIASTREAMINGTECHNOLOGY1718是近几年在数字化音视频传输领域采用的主要技术其思想是把压缩的视频数据封装成多个IP包并打上时间戳这些IP包被依次通过TCPIP网络传送到视频的接收端在接收端进行数据包的重新装配然后进行解码和播放一系列打上时间戳的包称为一个流媒体流化技术包括传输媒体的内容如格式编码等和在网络上实时传输媒体两个方面流技术使得用户不用等待把媒体全部下载到本地就可以开始播放传输协议RTPRTCPRTP18是用于INTERNET上针对多媒体数据流的一种传输协议RTP被定义为在一对一或一对多的传输情况下工作其目的是提供时间信息和实现流同步RTP通常使用UDP来传送数据但RTP也可以在TCP或ATM等其他协议之上工作当应用程序开始一个RTP会话时将使用两个端口一个给RTP一个给RTCPRTP本身并不能为按顺序传送数据包提供可靠的传送机制也不提供流量控制或拥塞控制它依靠RTCP提供这些服务通常RTP算法并不作为一个独立的网络层来实现而是作为应用程序代码的一部分实时传输控制协议RTCPREALTIMETRANSPORTCONTROLPROTOCOL和RTP一起提供流量控制和拥塞控制服务在RTP会话期间各参与者周期性地传送RTCP包RTCP包中含有已发送的数据包的数量丢失的数据包的数量包的延时抖动等统计资料因此服务器可以利用这些信息动态地改变传输速率甚至改变有效载荷类型RTP和RTCP配合使用它们能以有效的反馈和最小的开销使传输效率最佳化因而特别适合传送网上的实时数据RTP的具体定义详见参考文献RFC188919传输方式组播组播指的是在INTERNET网上对一组IP站点进行数据发送这一组IP站点是动态形成的每一个IP站点都可以动态地加入或者退出这个组而完成同样的功能9单播要发送多份相同的数据显然由于组播使用较少的网络带宽对于连续媒体流的多点通信它是一种非常高效的方式IP组播协议与传统的点到点协议不同的是在传输层它只使用面向无连接的不可靠的数据报UDP传输组播通过0255的D类地址作为目的地址如有一台源主机发出目的地址是以上范围组播地址的报文在网络中如果有其他主机对于这个组的报文有兴趣的可以申请加入这个组并可以接受这个组而其他不是这个组的成员是无法接受到这个组的报文的WINDOWS环境下组播通信是基于WINDOWSSOCKET程序使用套接字选择项设置函数SETSOCKETOPT来实现组播通信20其中在底层IP包头部有TTLTIMETOLIVE生存时间域用来限制组播数据报的传播范围在组播路由器中设置了一个TTL的阈值TTL小于该阈值的数据报将不被接受这可以将组播限制在一定的范围内服务器发送IP组播数据报时使用SENDTO函数发送地址必须是D类IP地址在客户端要接收数据报首先通知内核它想要加入的群组通过以下套接字操作主机就可以加入一个组播组获得IP组播数据报SETSOCKETOPTSOCKIPPROTOIPIPADDMEMBERSHIPMREGSIZEOFMREG其中IP_MREG的结构如下STRUCTIP_MREGSTRUCTIN_ADDRIMR_MULTIADDR组播地址STRUCTIN_ADDRIMR_INTERFACE客户端IP地址当消息报到来时WINSOCK发生FDREAD事件此时响应这个消息客户端程序可以使用RECVFROM函数获得组播数据当客户端要退出群组时将选项名称设置位IPDROPMEMBERSHIP即可24多线程编程技术在微机操作平台的发展中WINDOWS95的推出提供了多线程机制212223所谓线程是指系统可以调度的最小程序单位它也是代码执行的最小单位CPU通过分时在各个线程间频繁地切换使系统看起来好像是有多道程序同时运行10WINDOWS是多任务的操作系统在WINDOWS的一个进程内包含一个或多个线程32位WINDOWS环境下的WIN32API提供了多线程应用程序开发所需要的接口函数而利用VC中提供的标准C库也可以开发多线程应用程序相应的MFC类库封装了多线程编程的类BORLANDCBUILDER也相应的封装了多线程编程的类用户在开发时可根据应用程序的需要和特点选择相应的工具多线程编程在WIN32方式下和MFC类库支持下包括BCB类库的原理是一致的进程的主线程在任何需要的时候都可以创建新的线程当线程执行完后自动终止线程当进程结束后所有的线程都终止所有活动的线程共享进程的资源因此在编程时需要考虑在多个线程访问同一资源时产生冲突的问题当一个线程正在访问某进程对象而另一个线程要改变该对象就可能会产生错误的结果编程时要解决这个冲突WINDOWS操作系统提供了多种同步对象来同步线程典型的方法是使用信号量事件临界区和互斥量2425261信号量信号量具有互斥量的功能而且比互斥量的功能更强大一个互斥量在同一时刻只允许一个线程获得对它的访问权而信号量有对资源计数的能力它允许指定个数的线程同时获得对它的访问权2事件对象事件对象EVENT是最简单的同步对象它通常用在应用程序访问某一资源前必须等待的情况当事件处于信号状态时所有等待这一事件的线程都可以通过当事件处于非信号状态时所有等待这一事件的线程都会阻塞3临界区临界区是一个特殊的WIN32变量结构它可以使一个代码段以独占的方式执行而不受到其他线程的干扰使用临界区有一个缺点就是只能在同一个进程中使用不同进程中的临界区不能互相访问4互斥量互斥量的作用和临界区相似它们的区别在于互斥量是可以命名的其名字11是一个字符串名互斥量可以跨越进程使用创建互斥量需要的资源更多所以如果只在进程内部使用的话使用临界区会带来速度上的优势并能够减少资源占用量互斥量是跨进程的互斥量一旦被创建就可以通过名字打开它25网络编程技术SOCKET2728是UCBERKELEY大学BSDUNIX提供的网络应用编程接口采用客户机服务器的通讯模式使网络客户端和服务器端通过SOCKET实现网络之间的连接和数据交换SOCKET提供了一系列的系统调用使用这些系统调用可以实现TCPUDPICMP和IP等多种网络协议之间的通讯BSDSOCKET支持非阻塞NON_BLOCKING和阻塞BLOCKING两种工作方式在阻塞方式下工作CONNECTACCEPTREAD和RECV等调用在执行时都处于阻塞状态直到它成功或出错返回在非阻塞方式下工作CONNECTACCEPTREAD和RECV这些调用是立即返回的但是它们是否完成得靠查询才能知道对于WINDOWS这种非抢占多任务操作系统来说这两种工作方式都是很难以接受的为此WINSOCK29在尽量与BSDSOCKET保持一致外又对它作了必要的扩充WINSOCK对BSDSOCKET的扩充主要是在基于消息对网络事件的异步存取接口上WINSOCK编程模型有两种流套接字和数据报套接字流套接字编程模型如果使用流套接字编程模型那么通信前必须创建客户套接字和服务套接字并在它们之间建立连接然后才能进行数据传输流套接字编程的基本流程图如图23所示3012SOCKET服务器BINDLISTENACCEPTSOCKET客户机阻塞等待客户连接建立连接CONNECT请求数据READWRITE应答数据处理服务请求WRITEREADCLOSECLOSE图23流套接字编程的基本流程图数据报套接字编程模型数据报套接字是不可靠的无连接的在发送数据之前无需事先在服务器套接字和客户端套接字之间建立连接因此与流套接字相比它的编程过程要简单一些数据报套接字编程的基本流程如图24所示3013服务器客户机SOCKETSOCKETBINDBINDREADFROM阻塞等待客户数据服务请求SENDTO阻塞等待客户数据服务应答SENDTOREADFROMCLOSECLOSE图24数据报套接字编程的基本流程图26数字图像的存储及检索技术大量的视频图像数据需要将图像处理数据库技术与计算机技术相结合以建立存储和检索系统31在数字视频监控系统中视频数据的存储可分为连续存储流水存储和事件驱动连续存储是在指定时间内不断地存储视频数据如上班期间储蓄所对柜台机的监控流水存盘是指对码流进行分析在保证码流能被正常解码的前提下删除码流的一部分删节后的码流解码后图像连续性降低但保持了监视图像的基本信息同时大大节省了存储空间事件驱动是在监控对象状态发生变化时存储数据如出现违章车辆时进行录像报警录像在监控过程中通常是多路视频数据采集存储同时进行最后获得的视频数据量十分庞大视频存储的最终目的是为了信息的检索和查询因此存储时需要考虑建立有效的索引与查询机制的问题14对视频流进行层次化描述和组织即结构化存储视频方能满足信息查询因此视频的结构化存储是基于视频内容信息检索的重要研究内容视频的结构化存储是指对视频流进行层次化描述和组织以便进行随机非线性查询视频结构化存储的研究思路如下抽取关键对象镜头分割选取代表帧建立视频信息管理系统27多媒体网络通信技术目前3运营的网络有电信网有线电视网计算机网其中电信网为公用电信网络业务类型包括电话网电报网帧中继FRDDN等为用户提供各种通信业务如电话传真会议电视以及数据通信由于是公网所以连接范围最广服务范围也最广通过电信网可以和世界上绝大部分地方进行通信计算机网络实现了计算机互联为计算机之间进行文件传送资料共享提供服务计算机网是范围最小的网一个小部门几台计算机就可以构成局域网构成城域网和广域网需要通过电信网以专线或拨号形式互联有线电视网CATV提供广播业务包括电视图文电视等CATV网采用模拟传输方式是一种模拟网络在电信网计算机网和有线电视网上有着各种各样的多媒体通信业务其中电信网有ISDNHDSLADSL和VDSL等计算机网有FDDI快速以太网和ATM异步传输模式电信网和计算机网的融合等电视网主要有视频点播或称点播电视VIDEOONDEMANDVOD有时也称为交互式电视INTERACTIVETVITV等多媒体通信业务能够支持多媒体业务的通信网实际上就是宽带网络技术既有计算机的组成部分又有通信的组成部分随着电信网有线电视网计算机网都趋向于提供宽带综合业务三种网络间地界限也越来越模糊三种网络将构造信息高速公路的网络基础设施153城域网数字视频监控系统的总体设计本章提出数字视频监控系统的设计思路和系统结构并探讨其关键技术的解决方案及开发平台和开发工具31功能需求分析本文所述的数字视频监控系统是基于数字视频技术计算机网络技术多媒体技术和流媒体技术的视频监控系统我们希望这一系统具有如下所述的一些功能1实时监控指定的目标场景2根据客户端请求把指定摄像机的画面通过计算机网络传送到客户端3根据用户请求或异常事件录制指定的摄像机在指定时段的画面实现无人值守录制4根据用户请求检索和播放已经录制好的视频文件5支持多用户并能够同时响应多个用户的请求6支持多路摄像机同时实时传输画面到多个用户7支持多路摄像机同时录制存储8支持录制数据的备份以及管理9支持用户操作控制编码和摄像头10提供一定的用户管理和安全登录机制11扩展性好系统将来的升级要方便12系统的安装要快捷方便32硬件系统的组成原理远程数字视频监控系统从地理位置上看可分为远程监控中心若干个被监控点16和网络管理中心在网络拓扑图上主要由远程数字视频服务器网络视频管理服务器和网络视频客户端三个子系统组成其系统硬件结构方案如图31屏幕墙客户端视频工作站视频工作站屏幕墙控制器管理注册服务器交换机监控中心防火墙路由器防火墙路由器宽带城域网防火墙路由器视频服务器云台解码器云台解码器移报烟动警感物装带云台摄像机带云台摄像机体置固定点摄像机监控点图31城域网数字视频监控系统硬件结构方案图17其中视频服务器硬件组成是课题的设计重点视频服务器分布在网上的各处每台服务器连接多架摄像机服务器内插有多块压缩卡并连有通信控制器解码器和各种输入输出设备最后通过路由器接入城域网而管理服务器和客户端只需要计算机通过路由器接入城域网即可33软件功能模块的划分出于对整个系统灵活性以及程序性能的考虑把整个系统的软件分为三个部分视频服务器软件管理服务器软件客户端软件采用WEBSERVICES技术实施整个系统的架构的集成如图32软件系统结构各部分功能如下视频服务器客户端管理服务器图32软件系统结构1管理服务器软件管理系统中的视频服务器管理整个系统中的用户及其权限监视并管理系统的运行状态活动的视频流集中实现用户的认证及授权发布系统资源消息系统日志管理功能模块构成如图33管理服务器理管器务服频视理管户用证认限权理管志日理管警报视监态状络网图33管理服务器功能模块图182视频服务器A视音频数据采集压缩编码保存图像数据网络传输视频服务器对来自摄像机的视频进行压缩编码把编码后的码流传送给网上的远程客户端并把码流存储在本地硬盘上同时还要在存盘文件中加入自定义的用户信息加入的用户信息应不影响解码器的正常解码B活动图像检测报警联动视频服务器完成视频监测警报器功能即在监视图像中设定某个区域一旦有目标进入该区域就发出声光报警信号并启动报警存盘报警检测的灵敏度可以调整使得报警器对光照的明暗变化不敏感不致发生误报C现场数据采集及控制视频服务器和远程监控客户端进行交互操作应用户的要求改变压缩编码的参数调整摄像机的状态D系统配置及日志管理E历史视频数据视频存盘文件管理功能模块构成如图34视频服务器码编及集采据输传数频络视网据数频存视保据数频测视检像图动活制控及集采置据配数统场系现器务服频视理管据数频视史历动联警报理管志日图34视频服务器功能模块图3远程监控工作站包括屏幕墙控制器接受网络视频管理服务器的认证及管理管理远程视频服务器远程控制前端云台镜头和其他执行设备包括调整摄像机的姿态图像的亮度对比度等甚至可以改变视频服务器的编码方式确保看到满意的监视图像同时显示多点图像支持同时多画面显示远程图像检索回放即根据用户提出的检索要求如时间摄像机号等找到相应的存盘文件19对存盘文件进行回放提供多种播放控制如快放慢放单帧播放等它可以放大原始图像使用户更容易看清细节亦可以把视频流中特定的一帧图像提取出来单独存储供用户进行分析举证等接收远程报警本地存盘功能模块构成如图35远程监控客户端入登码解像图视监像图制控台云制控码编程远索检件文放回像图图35客户端模块图34系统设计的关键技术的解决方案编解码的方案本系统在设计过程中采用了MPEG4编解码标准3233MPEG组织于1998年发布了MPEG4标准的草稿该标准对压缩算法进行了改进为了达到更好的压缩效果采用了许多新的技术与观念MPEG4引入了对象基表达OBJECTBASEDREPRESENTATION的概念用来表达视听对象AVOAUDIOVISUALOBJECTSMPEG4扩充了编码的数据类型由自然数据对象扩展到计算机生成的合成资料对象采用合成对象自然对象混合编码SNHCSYNTHETICNATURALHYBRIDCODING算法在实现交互功能和重用对象中引入了组合合成和编排等重要概念将不同的数据整合后编码结合起来一起传送译码器收到资料后先将各个不同格式的资料分开依照各自的格式译码再根据时间和空间的关系将各个对象加以组合就可以得到原来的视20音频内容根据不同影像特性可以有5KBITSS到10MBITSS的资料量MPEG4的压缩率可以超过100倍而仍然保有极佳的音质和画质可以用最少的数据获得最佳的图像质量因此满足了低码率应用的需求另外MPEG4还把提高多媒体系统的交互性和灵活性作为一项重要的目标因此它更适合于交互式视频服务以及远程监控先进的MPEG4编译码技术可以达到两个目标低码率下的高清晰度视频内容存储和多工业的交互式多媒体通讯鉴于视频监控系统的实时性我们采用海康威视DS400XM压缩卡其是面向数字监控行业而推出的专用板卡采用了高性能的视频压缩技术标准MPEG4ACE版及G729的音频编码标准完全依靠硬件实现了视频及音频的实时编码CIF格式25帧并精确同步实现了动态码率可控帧率帧模式选择动态图像质量控制音频预览视频丢失报警能独立调整各通道参数性能稳定而且可靠与MPEGI产品相比在保持同等图像质量的前提下能大大节省存储空间并非常适合宽带网或窄带网的传输是新一代数字监控产品的最佳选择带宽控制和组播实现的方案本系统采用流媒体传输协议RTPRTCP19来实现实时媒体数据的传输视频传输作为数字视频监控系统关键技术之一直接影响着监控效果大的延时和抖动就是我们必须解决的问题而网络是一个不稳定的环境当网络QOS降低比如发生网络拥塞大量分组在中间路由器处就被阻塞延时甚至丢弃为了避免QOS继续降低导致网络崩溃应该采取一定的办法减少应用向网络发送分组的数目直至网络QOS恢复正常在传输控制协议RTCP中的SR和RR分组里有些字段携带了对网络QOS监测的一些统计量根据这些字段的值以及对网络QOS的要求可以确定某时刻网络状况是否满足需求如果不满足端系统就应该采取相应措施本文研究设计了一种采用RTCP分组实现反馈控制MPEG4的源编码器输出码率即自适应传输控制的策略这是本文的重点之一将在第四章详细介绍在设计的过程中我们之所以使用UDP作为实时传输协议底层的传输协议主要是考虑到UDP支持组播功能但IP组播的主要问题来自网络中的部分路由器不支持组播为了使用户能够在现有的网络上使用组播功能可以将支持组播的路由21器组成一个个的组播区域这些区域通过隧道TUNNELING技术连接使得各区域之间就像一个大的组播区域即在各个组播区域设置一个组播转发器目前隧道技术是虚拟专用网VPN的关键技术34是一种通过使用互联网络的基础设施在网络之间传递数据的方式当前常用的隧道技术主要有PPTPL2PL2TPIPSECMPLS等本系统计划采用MPLS隧道技术实现跨区域组播353637通信网的选择方案38城域网METROPOLITANAREANETWORKMAN通常使用和LAN相似的技术基本上是一种大型的LAN它可以覆盖一组邻近的公司办公室和一个城市既可能是私有的也可能是公用的MAN可以支持数据和声音其仅使用一条或两条电缆并且不包含交换单元即把分组分流到几条可能的引出电缆的设备这样做可以简化设计把城域网列为单独一类的主要原因是已经有了一个标准并正在实施分布式队列双总线DQDBDISTRIBUTEDQUEUEDUALBUS对于那些习惯于使用数字代号的任务来说就是8026即其定义的IEEE标准号DQDB由两条单向总线电缆组成所有的计算机都连接在上面每条总线都有端点HEADEND这是一个启动传输活动的设备MAN的关键之处是使用了广播式介质8026使用两条电缆所有的计算机都连接在上面宽带IPMAN是互联网在城市的延伸为各种基于IP的网络应用和数据业务提供灵活高效的支持全网采用最先进的宽带IP网络技术直接向用户提供10兆到100兆甚至1000兆的INTERNET接入带宽和互联带宽为用户提供高速上网宽带数据中心VPN虚拟专用网等业务服务对象有企业政府各类数据中心学校信息化小区酒店商务写字楼等宽带IP城域网有很多特点如高传输带宽提供100兆到大楼10兆到桌面的高速接入提供各种多媒体服务视频点播远程教育远程医疗电子商务举行电视会议拨打视频电话等全新的网络结构无需使用电话线结构简单维护方便可靠性和安全性高扩展性强22成方案视频监控系统由三部分组成本文采用WEBSERVICE技术实现整个系统的集成集成方案见本组同学章珉的设计39近期开始蓬勃发展的WEB服务技术WEBSERVICESTECHNOLOGY致力于在现有的各种异种平台的基础上构筑一个通用的平台无关语言无关的技术层这样在各种不同平台之上的应用依靠这个技术层来实施彼此的连接和集成WEB服务是一种基于组件的软件平台是面向服务的INTERNET应用通过对WEB服务的构建可以得到一个可编程的INTERNET这里面有两层含义1就是WEB服务是应用于INTERNET上的2就是WEB服务不仅向人提供服务还需服务于其它的应用系统WEB服务具有以下特点1高度可集成性由于WEB服务采取简单的易理解的标准WEB协议作为组件界面描述和协同描述规范完全屏蔽了不同软件平台的差异无论是DCOMCORBA还是EJB都可以通过这一种标准的协议进行互操作实现了在当前环境下最高的可集成性2好的封装性作为一种部署在WEB上的对象具有对象的良好封装性3开放的标准化协议所有公共的协约均使用开放的标准协议进行描述传输和交换一般而言绝大多数规范将最终有W3C或OASIS作为最终版本的发布方和维护方4松散耦合由于WEB服务使用XML文档来描述服务的调用通信细节因此服务提供者和服务使用者是松散耦合的即服务的实现发生变更时服务使用者无需改变甚至当服务的接口改变时服务调用者也无需改变35开发平台和开发工具的选择本文中系统的操作系统平台采用了MICROSOFT公司的WINDOWS2000因为这一操作系统无论是在系统的稳定性网络兼容性以及速度等性能上都非常的优秀在开发工具上本文的系统采用了MICROSOFT公司的VISUALC60和BORLAND公司23的CBUILDER60VISUALC60是一个非常成熟的开发工具具有强大的功能无与伦比的稳定性和与WINDOWS操作系统非常好的兼容性另外关于VC的开发文档也是非常的齐全因此基于系统稳定性和应用程序性能的考虑采用这个工具来开发系统软件的内核部分但是VC除了上述的优点也还有一些不太方便的地方那就是它的用户界面开发稍有些麻烦需要耗费一些精力而BORLAND公司的CBUILDER因为采用了VCL可视化控件库因此其界面开发能力非常的强大和方便所以本文采用这个开发工具来进行用户界面的开发和VC结合起来组成完成的系统系统相关数据库的开发工具采用MICROSOFT公司的SQLSERVER2000244视频传输及其自适应传输控制策略算法研究设计首先分析了视频传输的特点和现有视频传输QOS保证措施然后在分析了以前的各种算法后提出了一种改进的基于RTPRTCP的实时多媒体自适应传输控制策略与先前的基于分组丢失率确定网络状态的算法相比该策略利用RTPRTCP收集的QOS信息延时抖动来进一步分析网络状态实现主动进行带宽调整以减少报文丢失减少流的抖动提高流的平稳特性提高系统的性能最后提出了视频传输子系统方案41数字视频传输的特点在网络上传输视频数据和传输其他信息相比有许多不同点1抖动实时视频数据实时播放时帧之间由于传输延时出现间隔不一致画面出现抖动如过大就会影响视觉效果故控制必须采取措施控制在一定范围2延迟数字化视频的数据量远远大于文本信息和图形信息这样海量视频数据与视频传输的实时性要求之间存在着矛盾视频流的传输对实时性有较高的要求对端到端的延迟有严格限制如果前端子系统发送的包不能在限定时间内被后端子系统接收到那么就不得不被当作为无用的数据丢弃就会严重影响视觉效果因此必须采取合适的措施来保证视频流传输的实时性控制传输延迟3丢包由于视频流数据经常是爆发式的很容易出现网络拥塞视频流要求丢包率不能太高而后端的缓存是有限的若没有平滑数据流的措施就会导致缓存的上溢出现丢包或者下溢无视频回放4带宽目前的TCPIP网络不能为视频流的传输提供任何服务质量保证一般也不给此类应用提供带宽预留而且传统的路由器并不积极参与拥塞控制过高的通信量会导致拥塞使得难以进行实时视频的传输因而