网络视频监控关键技术课件

第六章网络视频监控关键技术6.1影响视频质量的关键指标6.2视频压缩技术6.3固定码率和可变码率编解码6.4视频封装格式6.5视频传输协议6.6云台控制协议6.7芯片技术与压缩板卡6.8图像传感器技术6.9红外摄像技术6.10设备网管协议6.11安全监控技术6.12时钟同步技术6.1影响视频质量的关键指标

在模拟CCTV系统中，画面质量取决于分辨率，即人眼所能分辨的黑白条纹数，单位是电视线（TV线）。公安部于2002年6月1日开始实施的《视频安防监控系统技术要求》GA/T-367-2001国家标准，对安防行业视频标准提出要求：一级（甲级）项目录像回放清晰度要≥350TV线；二级、三级项目录像回放清晰度要≥300TV。网络和数字监控系统的图像质量需要考虑下列因素：（1）分辨率。（2）压缩算法。（3）帧率。（4）视频延时。6.2视频压缩技术

通过CCD或CMOS感光及BNC输出后的视频称为“模拟视频”，但事实上此时视频信号已经是由一帧帧连续的图像构成了。这种图像的每一幅图像都是由许许多多个像素点组成，其中每个像素点通常具有R、G、B(即红、绿、蓝）三种色彩的分量量化数值。因此，从根本上说，“模拟视频”事实上也是数字化的，只不过这种数字化保留了原始现场所有的光影信息，信息冗余度极大。解决模拟视频信号数字化后数据量庞大的有效办法就是采用视频压缩编码技术，压缩数字视频中的冗余信息，减少视频数据量。数据冗余的情况包括空间、时间、结构、知识、视觉、图像区域的相同性等冗余信息。根据解码后是否能够完全无丢失地恢复原始数据，可分为无损压缩和有损压缩。无损压缩是指压缩后的数据解压时得到的重现图像与原始图像完全相同的压缩方法。无损压缩不丢失任何信息，但其压缩率很小。典型的算法有Huffman编码、Shannon-Fano编码、算数编码等。有损压缩是指解压后得到的图像与原始图像产生误差、去除一定信息的压缩方法。

目前，有损压缩在视频处理中得到广泛应用。在选择视频压缩标准时需要参考以下因素：（1）压缩类别：有损压缩会导致数据损失，过大的压缩比会导致图像质量的下降。（2）压缩比比例：各种压缩方案支持不同的压缩比例，压缩比例越大，压缩和还原需要的时间越多，采用有损压缩时图像的还原效果也越差。（3）压缩时间：压缩算法通常需要较长时间才能完成，有些压缩方案可以通过专用硬件提高压缩速度。为达到低数据率的目标，几乎所有高压缩的算法都采用有损压缩。其中传统压缩编码建立在仙农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，只能去除数据冗余，属于低层压缩编码的范畴。MPEG-1、MPEG-2、H.261、H.263都是第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。这种编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码。

新一代压缩技术编码思想由基于像素和像素块转变为基于内容。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象和基于语义两种，前者属于中层压缩编码，后者属于高层压缩编码。以MPEG-4/H.264为代表的基于模型/对象的第二代压缩编码技术，除了继承第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还充分利用了人眼视觉特行，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。H.264标准的推出，是视频编码标准的一次重要进步，它与现有的MPEG-2、MPEG-4及H.263相比，具有明显的优越性，特别是在编码效率上的提高，使之能用许多新的领域。尽管H.264的算法复杂度是现有编码压缩标准的4倍以上，但随着集成电路的快速发展，H.264的应用已成为现实。目前视频监控中采用的视频压缩编码技术主要为MJPEG、MPEG-1/2、MPEG-4(SP/ASP)、H.264/AVC等几种，其中，MPEG-4和H.264是现在国内流行的两种视频压缩标准，市场上多数的数字视频录像机、视频服务器和网络摄像机都已经能够支持MPEG-4/H.264的压缩方法。另外我国也在积极推进AVS标准。AVS标准是《信息技术：先进音视频编码》系列标准的简约，AVS标准包括系统、视频、音频、数字版权管理4个主要技术标准和一致性测试等支撑标准，是我国具有自主知识产权的第二代信源编码标准。为了保障信息产业的健康发展，原信息产业部科学技术司早就在2002年12月正式发文成立“数字音视频编解码技术标准AVS工作组”，负责数字音视频等多媒体设备与产品中的压缩、解压缩、处理和表示等技术标准的制定工作。6.2.1MPEG-4标准MPEG-4是ISO/IECMPEG制定的标准，它与1998年10月定案，在1999年正式成为国际标准，随后为扩展用途又进行了第二版的开发，于1999年底结束。MPEG-4标准最大的特点是编码是基于对象的，对一帧中的对象进行分割，然后再进行编码，，这样就便于操作和控制对象，也可以利用码率分配方法，对于用户感兴趣的对象多分配一些比特率，得到更好的主观图像质量。如果说，MPEG-1“文件小，但质量差”；而MPEG-2“质量好，但更占空间”的话，那么MPEG-4则很好的结合了两者的优点。MPEG-4是超低码率运动图像和语言的压缩标准，它不仅是针对一定比特率下的视频、音频编码，而且更加注重多媒体系统的交互性和灵活性。MPEG-4标准主要应用于视频电话、视频电子邮件和电子新闻等，其传输速率要求较低.MPEG-4利用很窄的带宽，通过帧重建技术压缩和传输数据，以求以最少的数据获得最佳的图像质量。与MPEG-1和MPEG-2相比，MPEG-4为多媒体数据压缩提供了一个更为广阔的平台。

MPEG-4的特点是其更适合于交互服务以及远程监控。MPEG-4是第一个使观众由被动变为主动（不再只是观看，而且允许观众加入其中，即有交互性）的动态图像标准；它的另一

特点是其综合性，从根源上说，MPEG-4试图将自然物体与人造物体相融合（视觉效果意义上的）。MPEG-4的设计目标还有更广的适应性和可扩展性。MPEG-4标准的占用带宽可调，由占用带宽与图像的清晰度成正比。以目前的技术，一般占用带宽大致在几百kbit/s左右。但MPEG-4系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，另外对于中国企业来说还要面临高昂的专利费问题，目前规定：

(1)每台解码设备需要交给MPEG-LA0.25美元；

(2)编码/解码设备还需要按时间交费（4美分/天=1.2美元/月=14.4美元/年）。6.2.2H.264H.264是ITU-TVCEG与ISO/IECMPEG联合成立的JointVideoTeam(JVT)制定的标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10部分，于2003年3月正式发布。

H.264标准和以往的视频编码标准一样，都是基于帧的。H.264标准的推出，是视频编码标准的一次重要进步，它与现有的MPEG-2、MPEG-4SP及H..263相比，具有明显的优越性，特别是在编码效率上的提高，使之能用于许多新的领域。作为继MPEG-4之后的新一代数字视频压缩格式，在较低带宽上提高高质量的图像传输是H.264的应用亮点，H.264具有低码流、高质量图像、容错力强、网络适应性强的特点。H.264分为四个档次:基本档次为简单版本，应用面广；主要档次采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV、HDTV和DVD等；扩展档次可用于各种网络的视频流传输；高级档次主要应用于高清晰度应用，如HDTV和高清DVD等。档次和等级越高，对应的清晰度越好，相应的速率也越高，解码越复杂。

H.264主要有以下几大特点:(1)高效压缩。与H.263＋和MPEG-4SP相比，减少50%比特率，使存储容量大大降低；

(2)延时约束方面有很多的柔韧性；

(3)容错能力强；（4）编/解码的复杂性可伸缩；（5）高质量应用；（6）在不同分辨率、不同码率下都能提供较高的视频质量；（7）采用“网络友善”的结构和语法，使其更有利于网络传输。对比H.264和MPEG-4标准，在同等码率下，H.264编码重建的图像比MPEG-4明显清晰，信噪比高出2dB以上，抛开运算复杂度，H.264相对于MPEG-4标准，具有明显优势。两者比较见表6-1.6.2.3MJPEG标准

除了应用较多的MPEG-4与H.264，MJPEG（MotionJPEG）标准也由于其每帧图像都比较清晰的特性得到一定应用，伴随网络带宽的稳步提高，MJPEG也将具有更多的用武之地。MJPEG是指MotionJPEG，即动态JPEG，是由JPEG专家组制订的。

MJPEG是监控行业常用的一种编码格式，优点是画质比较清晰，不会出现“马赛克”现象，缺点是压缩率低，占用带宽很大，一般单路占用带宽2Mbit/s左右，录像时需要大量的存储空间。MJPEG的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩，对每一帧进行压缩通常可达6:1的压缩率，正是由于其不使用帧间编码，使用非线性编辑器就很容易编辑。每帧都可任意存取。MJPEG主要应用于对图像清晰程度需求比较高，同时对图像的连贯性要求不高的场合。但由于MJPEG不是一个标准化得格式，各厂家都有自己版本的MJPEG，无法互相识别。与MPEG-4及H.264这两种高度压缩的编码格式相比，MJPEG压缩技术可以获取清晰度很高的视频图像，并可以动态调整帧率、分辨率。6.3固定码率和可变码率编解码

视频编码可以分为可变码率和固定码率两种。如采用VBR，压缩软件在压缩时根据音频数据即时确定使用什么比特率，这是以质量为前提兼顾文件大小的方式。可变码率视频编码算法中不同图像组的平均码率是可变的数值，它可以根据图像的内容而变动，保证解码后重建图像的质量恒定，没有大的起伏。其主要优点是显著的减少了“填充比特”，大大提高了传输带宽或存储容量的利用率，具有巨大的经济效益，其代价是编码器的技术难度大，成本高。

CBR是指编码时从头到尾都采用一种速率。相对于VBR和ABR来讲，它压缩出来的文件体积很大，而且音质相对于VBR和ABR不会有明显的提高。当输入的图像内容有可能使输出的平均码率超出额定值时，不得不以牺牲图像局部的、瞬时的主观质量为代价。另一方面，当图像内容不复杂时，又不得不大量地插入毫无意义的“填充码”，来维持输出的视频码率为预定的恒定值。固定码率的视频编码算法简单易行，但编码效率不高。6.4视频封装格式

编解码标准与视频文件封装格式无特定关系，通常采用一编码标准的文件，为了适应不同的传输条件可采用多种文件封装格式。例如，尽管HDDVD以及BD在编码上都统一采用MPEG-2/VC-1/H.264，可在封装格式上又有所分歧，HDDVD使用的是PS封装，即ProgramStream（节目流）,PS流的后缀名是VOB以及EVO等；BD使用了TS封装，即TransportStream（传输流），TS流的后缀名为TS。TS流相对于PS流来说更容易传输，不过由于其性质，也更易出错，所以在以前一般存储方面都是使用PS流，随着容错/纠错技术的提高，TS的适用范围越来越广，所以TS很快成为了世界标准并广泛应用于电视台数字播放、手机等各个领域。即使采用同一编码算法，同一厂商芯片，由于数据包封装格式的不同，各个厂商的视频压缩码流仍然难以做到兼容。所谓封装格式就是将已经编码压缩好的视频轨和音频轨按照一定的格式也放到一个文件夹中，也就是说仅仅是一个外壳，或者大家把它当成一个放视频轨和音频轨的文件夹也可以，目前主流的视频封装格式如下。

（1）AVI。（2）WMV.。（3）MPEG格式。（4）Matroska。（5）RealVideo或者称RealMedia（RM）。（6）QuickTimeMovie。（7）OggMedia。综上所述，监控系统中采用MPEG-4与H.264编码的文件封装格式可以有多种，包括ISMA格式、存储播放格式、MPEG-2PS或TS格式等，并且能够封装成为VC-1的标准格式。6.5视频传输协议

视频监控系统主流的传输协议包括RTP、RTCP、TCP、UDP等，以上各种传输协议的层次不同，面对的使用对象、数据包的大小和控制方式也不一样。（1）RTP的定义及功能。实时传输协议由IETF的音频/视频传输工作组制定，是针对Internet上多媒体数据流的一个传输协议，RTP被定义为在一对或一对多的传输情况下工作，其目的是提供时间信息和实现流同步，RTP的典型应用建立在UDP上，但也可以在TCP等其他协议上工作。RTP本身只保证实时数据的传输，并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。在网络视频监控应用中RTP主要用于实时流的传送。（2）RTCP的定义及功能。实时传输控制协议负责管理传输质量，在当前应用进程之间交换控制信息，提供流量控制和拥塞控制服务。在RTP会话期间，各参与者周期性传输RTCP包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态的改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，能以有效的反馈和最小的开销使传输效率最佳化，故特别适合传输网上的实时数据。

如图6-1所示，RTP根据应用程序的要求将流媒体数据包封装成RTP数据包并进行发送，在RTP会话期间，每个参与者周期性地向其他参与者发送RTCP控制包，包中含有已发送的数据包数量、丢失的数据包数量等统计资料，流媒体服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型，实验和研究表明，RTP/RTCP协议符合流媒体实时传输的要求，因此，在网络视频监控系统中，首选RTP/RTCP协议。应用程序RTP/RTCPUDPTCPIPv4/IPv6局域网/广域网

（3）实时流协议。RTSP是由RealNetworks和Netscape公同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据，同时提供用于音频和视频流的停止、快进、快退和定位等功能。同时RTSP又是一个应用层协议，用来与RTP等更低层的协议一起，提供基于Internet的整套流化服务，目前支持RTSP的RFC为2326.

如图6-2所示，RTSP位于RTP和RTCP之上，一般来说，RTSP使用TCP完成控制信息的传输，很多情况下还可以用于网络视频监控系统对外开放的标准访问接口。6.6云台控制协议

视频服务器可以通过云台控制协议对摄像机进行云台和镜头的控制，如图6-3所示。部署云台时，需要根据实际情况添加控制解码器，用来实现协议的转换，不同厂家生产的控制解码器与主机的通信协议、编码方式一般都不同，所以控制解码器一般与云台主机同一品牌。目前，控制协议主要有RV800科立解码器通信协议、TOTA120TOTA解码器通信协议、S1601三乐协议、CLT-168保千里协议、TD-500保千里高速球通信协议、银信V1200解码器、ANT中晖协议、CBC高速球通信协议、松下CS850A高速球通信协议、CONCORD2000b、维多B01及美国concord智能快球通信协议、HD600CCVE闭路监控系统通信协议、SAMSUNG641-643高速球通信协议、YAAN高速球控制协议、PIH717解码器通信协议、MG-CS160明景B01通信协议、WISDOM解码器通信协议、PELCOD1D通信协议、PELCOP1P通信协议、Philips高速球通信协议以及NEOCOM耐康姆协议等。6.7芯片技术与压缩板卡

视频监控中用到的芯片主要包括摄像机中捕捉图像信息并进行光电转换的芯片，还有用于数字视频录像机、视频服务器和网络摄像机中进行视频压缩的芯片，视频压缩芯片的处理方式分为两种：一是基于专用处理芯片的硬件处理方式；二是基于DSP的实时软件处理方式。由于ASIC和DSP都能独立承担数字视频的压缩工作不需要PC的参与，因此被称为硬压缩技术。硬压缩芯片的发展有三个推动因素：首先是视频编解码算法得到重大的发展，在取得高压缩比的同时又能保持良好的图像质量；第二是集成电路产业的高速发展，IC集成度的提高使得视频编解码的芯片化得以实现，而且先进的设计方法使设计周期越来越短；第三是视频压缩标准的制定提供了统一的通信平台，导致了大量的应用和市场的出现，

DSP是利用计算机或专用处理设备，以数字形式对信号进行采集、变换、滤波、估值、增强、压缩、识别等处理，以得到符合人们需要的信号形式，如6-4所示。

DSP主要应用于通信的热门产品中。随着视频编解码算法的演进，集成电路技术的发展，DSP芯片在编解码平台中得到了充分的利用。DSP芯片以DSP为核心并集成视频单元和丰富的外围接口，通过软件编程来实现视频解码且能扩展特色化功能。DSP由于采用软件编程，能够获得更大的灵活性和更强的高性能，DSP具有体积小、低功耗、高性能等特性，非常适合运算较大的应用，因此在多种数字视频编解码标准存在的今天占据了安防市场的核心平台地位，但是同时DSP有着开发难度大的缺点。采用DSP技术的压缩板卡包括TiDM642、TMS320C6205/6206、PhilipsTrimedia130x、PNX150x、ADIBlackfin532和EquatorBSP15等，图6-5显示采用了DSP技术的压缩板卡典型方案。高性能的DSP处理器能灵活地配置视频编/解码器，动态设置分辨率、帧率、码率、图像质量等，可以双码流输出，达到本地存储和网络传输分别处理的功能。早期的编解码芯片以ASIC芯片为主，ASIC芯片集成一些外围接口，通过硬件实现视频编解码，采用ASIC芯片的平台结构简单，开发出的产品功能较为单一且具有同质性，整体视频质量有待提高。在芯片技术上，视频监控前端使用的ASIC芯片内部结构专门针对音频及视频应用设计，在多媒体音视频处理方面具有速度快、成本低、功耗低、易于产品设计、方便使用等特点，但由于很多功能以及算法都固化在芯片上，不够