（计算机应用技术专业论文）视频监控中嵌入式解码系统设计与实现.pdf

湖北工业大学硕士学位论文 摘要 随着社会经济的快速稳定发展，人们对生活和工作环境的安全更为关注。视 频监控系统作为安全防范系统的重要组成部分，近年来也得到了长足的发展，在 社会生活中扮演着越来越重要的角色。网络带宽、计算机处理能力和存储容量的 迅速提高，以及各种视频信息处理技术的出现，使得智能视频监控成为视频监控 的最新发展趋势。 嵌入式网络摄像机作为智能视频监控的基础结构框架，本文就嵌入式网络摄 像机系统中的若干关键技术进行了研究和探讨。 文章首先介绍视频监控系统的发展和应用领域，分析智能视频监控系统的基 础技术，在此基础上提出本系统的设计目标。其次介绍系统的硬件组成，采用 d m 6 4 2d s p 嵌入式平台实现视频服务器和硬解码监控端，并详细阐述视频服务器 和监控端的软件架构设计，采用h 2 6 4 视频编码标准，g 7 11 、g 7 2 6 和g 7 2 9 a 音 频编码标准，以及r t p r t c p 数据传输协议实现了软件系统，之后研究了系统音 频接收端自适应解码的实现。 再次，对体现系统的智能性的运动检测与告警技术进行分析，并实现基于帧 差法的运动侦测，研究了监控端软件的告警联动策略，分析了实验结果。接着文 章还针对嵌入式设备的性能特点提出了一种基于d s p b i o s 实时操作系统核心的 多任务调度方法，并对嵌入式设备中有限的内存资源进行精密的分配，实现了硬 监控端在使用单个处理器的情况下实时多路预览，并通过实验证实了该方法是正 确有效的。 最后从用户使用的角度对整个系统进行了测试，并分析总结测试结果。 关键词：网络摄像机，运动侦测，d s p b i o s ，多任务调度 a b s t r a c t a c c o m p a n yw i t ht h ed e v e l o p m e n to fo u rs o c i e t y , p e o p l eh a v eb e e np a y i n gm o r ea n d m o r ea t t e n t i o nt ot h es e c u r i t yo fd a i l y 1 i f ea n dw o r ke n v i r o n m e n t l a t e l y , v i d e o s u r v e i l l a n c es y s t e mh a sb e e np l a y i n gab i g g e ra n d b i g g e rr o l ei no u rs o c i e t y , w i t ht h e i r a d v a n c e df e a n l r e s n e t w o r kb a n d w i d t h c o m p u t e r p r o c e s s i n gp o w e ra n ds t o r a g e c a p a c i t yo ft h er a p i d l yr i s i n g ，a n dav a r i e t yo fv i d e oi n f o r m a t i o np r o c e s s i n gt e c h n o l o g y , m a k e si n t e l l i g e n tv i d e os u r v e i l l a n c eh a sb e c o m et h el a t e s tt r e n d e m b e d d e dn e t w o r kc a m e r ah a sb e e nr e g a r d e da saf u n d a r n e n t a ls t l l l c t l l r eo ft h e i n t e l l i g e n tv i d e os u r v e i l l a n c e i nt h i sp a p e r , o u rr e s e a r c hf o c u s e do ns o m ek e yt h e m e si n a ne m b e d d e dn e t w o r kc a m e r as y s t e m f i r s t l y , t h i sp a p e rs i m p l yi n t r o d u c e st h ed e v e l o p m e n to fv i d e os u r v e i l l a n c e ，a n dt h e f i e l d si ti su s e di n w i t ha na n a l y s i so fi n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mt e c h n o l o g y f o u n d a t i o n ，t h ed e s i g nt a r g e to ft h es y s t e mi sp r e s e n t e d s e c o n d l y , a c c o r d i n gt ot h e c o m p o n e n t so fh a r d w a r eo ft h i ss y s t e m ，t h ev i d e os e r v e ri si m p l e m e n t e dw i t ht h e d m 6 4 2d s p p l a t f o r m t h es o f t w a r es 咖c m r eo ft h i ss y s t e mi si m p l e m e n t e di nd e t a i l w i t ht h eh 2 6 4v i d e os t a n d a r d ，t h eg 7 11 ，g 7 2 6 ，g 7 2 9 aa u d i os t a n d a r d s ，a n dt h e r t p i 盯c pp r o t o c 0 1 a n dt h e nt h ed y n a m i c a la d a p t i v ed e c o d i n gh a sb e e nr e a l i z e d t h i r d l y , t h ep r i n c i p l e so fm o t i o nd e t e c t i o na r ea n a l y z e d ，a n dam o t i o nd e t e c t i o nm e t h o d b a s e do nf r a m e d i f f e r e n c e so fi m a g e si si m p l e m e n t e d 肌a t sm o r e ，t h i sp a p e rp r e s e n t s a ne f f i c i e n tt a s ks c h e d u l i n gs c h e m eb a s e do nd s p b i o sr e a l t i m eo p e r a t i n gs y s t e m k e r n e l t h j sp a p e ra l s om a n a g e st h ec o m p u t i n gr e s o u r c ed y n a m i c a l l y t h e no n l yo n e s i n g l ep r o c e s s o rc o u l dp r e v i e wm u l t i c h a n n e l e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e m e t h o di se f f e c t i v e i nt h ee n do ft h i sp a p e r , aw h o l et e s ti sc a r r i e do u t ，a n ds o m ep o i n t sw h i c hc a nb e i m p r o v e da r es u m m a r i z e d k e y w o r d s ：e m b e d d e dn e t w o r kc a m e r a ，m o t i o nd e t e c t i o n ，d s p b i o s ，m u l t i t a s k s c h e d u l i n g n 湘二棠火謦 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取 得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经 发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律结果由本人承担。 学位论文作者娩縻麦趋 日期 2 0 0 9 亍6 月4 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权湖北工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 学位论文作者签名： 日期：2 0 0 9 年6 月 蠢嫒 4 日 指导教师签名：厂扣伽 日期：2 0 0 9 年6 月。4 日 i 湖北工业大学硕士学位论文 第1 章引言 1 1 课题研究的背景与意义 伴随社会经济高速稳定的发展，人们对生活和自身的安全的关注也逐渐提高。 经过广大调查研究发现，人眼是感知识世界的最重要手段。因此视频监控系统可 以作为安全防范系统的重要组成部分。 从上世纪九十年代初起，视频监控系统主要经历了以下三个阶段u 2 1 ：( 1 ) 模 拟视频监控阶段；( 2 ) 数字化视频监控阶段；( 3 ) 多媒体网络视频监控阶段。在 上述的发展演变过程中，视频监控系统与设备在功能和性能上得到了极大的提高。 将图像摄取后进行远程传输的主要方式除了互联网、光纤还有无线网络等。 采用光纤网络进行远程监控，其视频图像的质量和传输速度要优于网络传输，但 它的昂贵成本和复杂的布线工程让人望而却步。更重要的是，其组网能力相对较 差，不能满足大型监控项目的需求。而网络监控则在此显示出它独有的优势：凡是 有网络的地方就能构建网络监控系统。由于省去了传统的布线和线路维护费用， 使得网络监控系统的安装成本大大降低。对于使用者来说，网络监控还不受时间、 地点限制，即插即用，方便快捷旧3 。 随着网络在社会生活的各个角落的拓展，网络摄像机的存在将有效的减少犯 罪活动的发生，能有效的预防灾害和事故，为保障人民的生命财产安全作出巨大 贡献。 1 2 国内外研究现状 最近十年来，网络带宽、计算机处理能力和存储容量都得到了极大的提高， 各种新的视频处理技术也纷纷涌现，数字化、智能化的视频监控系统也体现出其 特点。智能视频监控则是网络化视频监控领域最前沿的应用模式之一。 从2 0 0 0 年开始计算机视觉领域中的权威期刊“国际计算机视觉期刊( i j c v ， i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) 和“i e e e 模式分析和机器智能汇 刊( p a m i ，i e e et r a n s a c t i o no np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 就已经开始出版了一些视频监控的专利。 i e e e 视觉监控专题讨论会( v s ，i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a l s u r v e i l l a n c e ) 也已经多次成功的举办h 1 ，智能监控系统已经在交通、军事等领域 湖北工业大学硕士学位论文 取得了重大的研究成果，并在近年来广为安装使用。 i b m 公司从2 0 0 6 年开始销售命名为“智能监控系统 ( s 3 ：s m a r ts u r v e i l a n c e s y s t e m ) 的产品，简称“s 3 ”。该产品能够发现所监控区域是否存在潜在安全隐患 在需要时能够报警。该产品通过计算机网络传递信息，能够实施远程监控啼1 。 我国近几年才开展智能视频方面的研究工作。重点集中在高校和国家重点实 验室，开展智能方面的研究的目标是为了实现一个动态场景集成分析演示系统， 并最终将该系统推向市场。从2 0 0 2 年开始我国多次成功举办全国智能视觉监控学 术会议。会议由中国科学院自动化研究所、中国自动化学会、中国图像图形学学 会、国家自然科学基金委员会等单位主办，中国科学院自动化研究所模式识别国 家重点实验室承办。1 6 0 多人与会人员就视觉监控领域的一些问题作了广泛而又深 入的讨论7 1 。 因此可以预见在不久的将来，国内外对智能视频监控的相关研究将会更加广 泛和深入，智能视频监控的应用和市场也将逐步扩大。为此，本文将设计和实现 一种基于嵌入式设备的简单智能视频监控系统，通过详细的介绍该系统的实现过 程，对当前的嵌入式网络摄像机所采用的一般方法做一个归纳。 1 3 本文的主要工作和论文安排 本文的研究内容主要包括以下几个部分： ( 1 ) 研究了t c p i p 、u d p 、r t p 及r t c p 协议，实现了在不考虑带宽限制的 音频自适应解码模式； ( 2 ) 研究了运动侦测中的背景相减法、帧间差分法，了解了光流法。在嵌入 式环境中实现了基于帧差法的运动侦测算法； ( 3 ) 研究了实时操作系统的多任务调度方式，并对嵌入式设备中有限的内存 资源进行精密的分配，使得硬监控端在使用单个处理器的前提下实现了多路网络 音视频数据流的实时解码，并分析了实验结果。 本文各章内容安排如下： 第一章绪论。分析视频监控系统的应用前景及理论研究价值，并介绍目前国 内外对智能视频监控的研究现状。 第二章视频监控系统的结构。介绍本系统的总体设计，分析了视频监控系统 的基础技术，包括音视频编解码技术和数据传输技术。 第三章自适应音频解码的实现。介绍几种常用的通信命令实现方法，分析在 动态切换音频编码格式的过程中存在的问题，提出一种改进的通信命令制定方法 2 湖北工业大学硕士学位论文 并在本系统中实现音频解码的自适应。 第四章运动侦测与告警。分析了几种常用的运动侦测技术，比较了各自的优 缺点。然后结合本系统的软硬件环境，实现了基于帧差法的运动侦测与告警，并 分析了实验结果。 第五章多任务分配策略与多缓冲区的设计。介绍硬解码系统的主要功能模块 并根据模块间的关系以及重要性为各个模块设定优先级，另外介绍了缓冲区设计 对系统的重要性及在本系统中使用的方法。引入基于d s p b i o s 实时操作系统的信 号量机制，改进了解码系统的执行效率并分析实验数据，最后对比优化前与优化 后的实验结果。 第六章系统性能测试与分析。搭建了一个测试环境，从用户使用的角度对本 系统的稳定性、功能和性能进行了测试，并分析了测试结果。 第七章总结与展望。总结本文所作的工作，以及对当前视频监控系统的研究 的推动作用。结合实际应用以及当前发展趋势，指出系统的可以改进的地方。 湖北工业大学硕士学位论文 第2 章视频监控系统的整体设计 本文要设计实现的智能视频监控系统是基于嵌入式技术的网络视频监控系 统，主要由监控前端、嵌入式视频服务器以及监控端( 监控端包括p c 监控端和嵌 入式网络监控端) 组成。 监控前端就是现场采集设备，主要负责采集监控现场的音视频信息。嵌入式 视频服务器是整个监控系统的核心，主要功能包括：接收监控前端传送过来的音 视频数据流并按照指定的编码算法对数据流进行数字编码压缩，之后再使用一定 的网络协议组装成包经t c p i p 网络发送到监控端；接收并响应监控端的控制信息， 经过软硬件转换后对现场设备进行控制等。监控端可以是运行视频监控软件的普 通p c 机或工控机，也可以是运行特制的监控软件的嵌入式设备。监控人员通过监 控端进行实时视频监看和整个系统的配置管理。 整个系统架构设计灵活，具有很强的鲁棒性和适应性。本章将对系统的硬件 组成、软件架构进行介绍，详细阐述实现系统的几种基础技术，包括音视频编解 码技术、服务器与客户端通信命令的实现和通用的网络协议。 2 1 系统总体结构 本系统由监控前端、嵌入式视频服务器以及监控端( 普通p c 机和嵌入式解码 器) 等几部分组成。如图2 1 所示。 嘣二) 嵌入式网络监控端 显示设备 i 嘲i 鼠 回 m 弭1 罩啦骨叠 局域网 图2 1 智能视频监控系统示意图 4 湖北工业大学硕士学位论文 2 1 1 监控前端 监控前端主要是指完成音视频采集的设备以及一些辅助设备，主要包括c c d ( c h a r g ec o u p l e dd e v i c e 电荷耦合器件) 摄像机、云台、镜头、各种安装支架、 协议转换器和人工光源等。云台和c c d 摄像机是其中最重要的组成部分8 1 。 2 1 2 监控端 监控端可以是运行视频监控软件、w e b 浏览器的普通p c 机或工控机，也可以 是运行特制的监控软件的嵌入式设备，多数时候还包括其他一些扩展应用设备如 存储服务器等组成。视频监控软件负责实时视频预览和整个系统的管理：w e b 浏 览器则与a c t i v e x 控件结合，完成与视频监控软件相同的功能。和视频服务器一样， 嵌入式解码器上也带有w e b 功能，通过w e b 浏览器配置解码器访问不同的服务端， 提升了嵌入式解码器的灵活性。 2 1 3 嵌入式服务器 嵌入式视频服务器是智能视频监控系统的设计中最重要的部分。其主要任务 是：将模拟的音视频信号通过a d 转换成没有被压缩的音频和图像数字信号，再 通过d s p 或具有图像处理功能的a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ，专 用集成电路) 芯片进行压缩编码，将压缩编码的音视频数据通过网络传输给远程 的监控端。 按前述视频服务器的功能可归出其具有六个主要模块：图像采集模块、图像 压缩( 编码) 模块、音频采集模块、音频编码模块、数据传输模块及系统控制模 块。就视频服务器的设计重点来看最重要的是图像压缩模块和系统控制模块，它 们是可靠、高效的嵌入式计算平台的核心。图象压缩模块是视频压缩编码算法运 行的载体，而控制模块是视频服务器的控制中心，服务视频服务器的管理和控制 工作。这两个模块的结构一般来说有两种。 ( 1 ) 采用硬件压缩编码，此时控制器模块采用另外一个独立器件，另外有一 个视频编码专用芯片。视频编码专用芯片采用某种固定算法，因此编码效率很高， 一般这样的产品都是成批生产降低生产成本。采用这种编码方案的缺点是，网络 摄像机的可重用性和扩展性很差。 图像编码模块和系统控制模块还可在单块大规模f p g a ( f i e l d p r o g r a m m a b l e g a t e a r r a y ，现场可编程门阵列) 芯片内用固件实现。这种结构的系统性能较高、功 能灵活，但对设计人员要求较高，开发周期较长，且成品的成本较高。 湖北工业大学硕士学位论文 ( 2 ) 采用软件压缩编码方案。图像压缩编码模块与控制模块由单个器件执行。 一般选用适用于多媒体计算的d s p 芯片，d s p 芯片处理多媒体数据能力强，开发 方便，采用这种设计方案能有效缩短研发周期，是现在视频服务器设计的首选方 案。 本系统选用t i 公司的t m s 3 2 0 d m 6 4 2 ( 以下简称d m 6 4 2 ) 型多媒体d s p 作为核 心处理芯片，采用软件压缩编码方案来实现嵌入式视频服务器。 d m 6 4 2 是t i 公司c 0 0 0 系列的一款专门面向多媒体应用的d s p 。该d s p 采用 第二代高性能的超长指令字结构( v e l o c i t i ) ，在6 0 0m h z 的时钟频率下，芯片的峰 值处理速度高达4 8 0 0m i p s 。d m 6 4 2 具有丰富的外围设备接口。d m 6 4 2 最多可以 处理6 路视频采集数据( 不带音频) 、可支持3 路视频输出( 不带音频) 9 , 1 0 】。其功能 图如图2 2 所示。 l i pc a c h e i - | v i d e op 。n 0 - 1 6 k b 。l v i d e o p o a l i v i d e op c l r t 2 l 2 e n h a n c e d c 6 4 x c a c h e m e m o r yd m a 一，i m c a s p d s p 内核 2 5 6 k b c o n t r o l l e r 。l 1 0 1 0 0 mb i t s ： e t h e r n e t l i pc a c h e 6 6 加电p c i 1 6 k b e m i f k s d r a m 图2 2d m 6 4 2 系统体系结构 2 2 视频监控系统的基础技术 2 2 1 视频编码技术 视频服务器从图像采集设备得到的数据是y u v ( 亮度、色度与饱和度) 格式的， 其数据量非常大，在目前的带宽条件下经过网络传输无法达到实时显示，同时对 存储容量也是一个考验，因此必须采用某种算法对采集的音视频数据进行压缩处 理。通过视频数据编码压缩将视频中的数据量降下来。 6 湖北工业大学硕士学位论文 曼皇鼍曼鼍! 曼! ! 曼! ! ! ! ! 皇! ! ! 曼! ! ! ! ! ! ! ! ! ! ! 曼苎鼍曼! ! ! ! 曼! 曼! i ；i ；i - - ! 皇皇曼皇曼鼍 关于视频压缩编码标准的制定主要有两个标准i s o i e c 制定的m p e g x ( m o v i n gp i c t u r ee x p e l sg r o u p ) 和i t u t ( v i d e oc o d i n ge x p e l sg r o u p ) 制定的 h 2 6 x 。i s o i e c 指定的m p e g x 系列标准中m p e g 4 、m p e g 7 和m p e g 2 1 代 表该系列的最新发展。 m p e g 和v c e g 联合开发了一个命名为a v c ( a d v a n c e dv i d e oc o d i n g ) 的标准， 改标准也成为i t u th 2 6 4 建议和m p e g - - 4 的第1 0 部分的标准，简称为h 2 6 4 a v c 或h 2 6 4 。该标准比早期研发的m p e g 和h 2 6 3 性能更好，并于2 0 0 3 年3 月正式 在国际上颁布。 h 2 6 4 标准借鉴了以往视频压缩标准的研究成果，充分考虑了多媒体通信中的 各种问题。h 2 6 4 标准因此也具有比其它h 2 6 x 系列标准更节省码流，同时，它比 m p e g - 4 算法也更简单。因而在网络视频监控领域它更具有优势。作为新一代的压 缩标准，它也得到了更多的运用。 h 2 6 4 具备多种实时网络视频通信的特征：优异的压缩性能，良好的网络亲和 性等。由于视频内容时刻在变化，有时空间细节很多，有时大面积的平坦。这种 内容的多变性就必须采用相应的自适应技术措施；由于信道在环境恶劣下也是多 变的，这就要求采取相应的自适应方法来对抗这种信道畸变带来的不良影响。这 两方面的可变性也带来了自适应编码技术的复杂性。h 2 6 4 就是利用实现的复杂性 获得压缩性能的明显改善【l 。从图2 3 中可以看出，h 2 6 4 的编码过程如下。 ( 1 ) 将图像分成子图像块，以子图像块作为编码单元。 ( 2 ) 当采用帧内编码时，对图像快进行变换，量化和熵编码( 或者是变长编码) ， 消除图像空间的冗余。h 2 6 4 在这部分增加了帧内预测，大大提高了压缩率。 图2 3h 2 6 4 编码器的功能组成 湖北工业大学硕士学位论文 ( 3 ) 当采用帧问编码时，对帧间图像采用运动估计和补偿的方法，只对图像序 列中的变化部分编码，从而去除时间冗余。 由h 2 6 4 的编码过程可知，编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特 流。解码器将h 2 6 4 比特流经熵解码得到最后的一组变换系数x ，再经反量化、反 变换，得到残差d n 。利用从该比特流中解码出的头信息，解码器就产生一个预测 块p r e d ，它和编码器中的原始p r e d 是相同的，当该解码器产生的p r e d 与残差 d n 相加后，就产生u f u ，再经滤波，最后得到重建的f n ，这个就是最后的解码 输出的图像。h 2 6 4 的解码器功能组成如图2 4 所示。 2 2 2 语音编码器概述 图2 4h 2 6 4 解码器功能组成 随着网络用户数量的激增，人们对网络服务质量要求也不断地提高，而相应 的是网络资源增长的速度远远落后，网络带宽显得十分紧张。为了在尽量减少失 真的情况下，高效地对语音信号进行压缩编码，语音压缩编码的研究重点关注在 一定编码速率下，如何采用较低的复杂度和较小的延时去换得好的语音重建效果。 因此，重建语音质量、编码速率、时间延迟、算法复杂度是衡量编码器性能的四 个主要因素 1 2 15 1 。 ( 1 ) 重建语音质量。重建语音质量包括清晰度( 又称可懂度) 和自然度两个方面。 主要是针对语音的字、词和句子的可懂程度及对讲话人的识别。它是衡量编码算 法优劣的重要组成部分，其评定方法有主观评定和客观评定两种。 ( 2 ) 编码速率。编码速率是描述单位时间内数据量的多少，一般用比特秒( 即 b i f f s 或b p s ) 来度量，其大小与采样率和每个样点编码的位数有关。实践证明，编 码速率越高重建语音质量就越好，语音波形或参数量化就越惊喜；相反，编码速 率越低，语音质量越差。我们可以看出编码速率与重建语音质量是相互矛盾的。 湖北工业大学硕士学位论文 因此在选择编码器时要综合考虑语音质量和编码速率两个重要因素。 ( 3 ) 时间延迟。算法延迟一般分为三种类型，它是反映编解码器性能的重要 指标。一是由于编解码过程产生的运算延迟，主要由算法复杂度决定；二是依赖 于硬件处理速度的处理延迟；其三是网络通信中的通信延迟。把这三类延迟的总 和称作“单向系统延迟时间”，在不考虑回声的情况下，根据人对声音的敏感度， “单向系统延迟时间”超过4 0 0 m s 是不能容忍，会感到明显的声音延迟。 ( 4 ) 算法复杂度。目前对算法复杂度的评价标准是每秒需要执行的硬件指令 数( m i p s ) ，在除了算法不同的同等条件下，该指数越高说明算法越复杂；反之说 明算法越简单。算法复杂度决定着系统实现时选择硬件系统的要求，常见的用于 实现语音编解码算法都采用通用d s p 芯片，算法越复杂需要的d s p 芯片速度越快， 功耗也就越高相应的成本也就越高。 2 2 3 数据传输技术 在网络数据的传输中，网络传输协议的选择很重要，它将直接影响到音视频 数据传输的实时性和通过网络传输以后客户端接收的视频图像质量。 1 t c p u d p 在t c p p 网络的传输层通用协议中，主要存在有两种协议，它们分别是t c p 协议和u d p 协议【”】。这两种协议也是编写网络程序的首选协议。t c p 协议和u d p 协议的主要差别是：( 1 ) t c p 协议是面向连接的，使用t c p 协议必须先建立和通 信主机之间的连接关系，然后再进行数据交换，在进行数据交换时还要维持该连 接，在数据交换完成之后要撤销连接。u d p 协议直接向远程目标主机发送数据， 不需要建立连接也不需要目标主机的任何确认信息。( 2 ) t c p 协议提供可靠传输 服务，包括报文序列、流控制、差错检验、优先级等，而u d p 协议是不可靠服务， 它并不负责数据准确完成的传递给目标主机。 在本文所实现的系统中，控制数据对可靠性要求非常高，故需要应用t c p 协 议，来确保控制信息的正确传输，当检测到数据报丢失或错误时，就会要求发送 端重新发送，通过数据重传来恢复丢失的组块并提供有序的数据帧。然而，在目 前丢包率较高、网络状况不好的情况下，利用t c p 协议进行视频或音频实时通信 十分困难。原因在于t c p 协议并不是一种为传输实时的数据报业务而设计的传输 层协议，它的重传机制造成的延迟、它臃肿的报文头结构以及它建立连接时的“三 次握手 的繁琐步骤等，这些特点都决定了t c p 协议不适合用来传输实时视音频 数据。u d p 是一种无连接的数据报传送服务，虽然没有t c p 那么可靠，并且不能 保证实时视音频传输业务的服务质量( q o s ) ，但由于u d p 的传输延时低于t c p ， 9 湖北工业大学硕士学位论文 能与音频和视频流实时性的特点很好的匹配。所以通常选用u d p 协议来传输实时 多媒体数据。 因此，为了保证系统的实时性，本文所实现的系统对这两类数据采用不同的 通信协议：选用t c p 协议用于控制信息的传输，选用u d p 协议用于视音频数据的 传输。 2 r t p r t c p 协议 流媒体技术是为了解决i n t e m e t 上音视频数据流传输问题的一种网络新技术， 它是针对网络带宽、计算机处理能力、协议规范和实时性要求等限制而制定的一 种新型网络协议。目前常用的r t p r t c p 协议是进行实时流媒体传输的关键技术 之- 1 7 】【18 1 。在i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c e ) 发布的文档等中对r t p r t c p 协议做了详细的描述【1 9 1 。 r t p 协议采用应用层组帧( a l f ) 原理，负责数据传输；r t c p 协议主要是负责 数据控制。两者通常配合使用。r t p 协议一般运行在u d p 协议之上，以直接利用 u d p 提供的多点投递等功能。r t p 帧格式如图2 5 所示。 v ( 2 b i t )p ( 1 b i t )x ( 1 b i t )c c ( 4 b i t )m ( 1 b i t )p t ( 7 b i t ) s n ( 2 b i t ) t i m e s t a m p ( 3 2 b i t ) s s r c ( 3 2 b i t ) c s r c ( 3 2 b i t ) p a y l o a d 图2 5r t p 数据帧格式 当应用程序启动一个r t p 会话时将同时占用两个端口，分别供r t p 和r t c p 使用。使用r t p 协议传输多媒体数据的分层模型如图2 6 所示。 1 0 湖北工业大学硕士学位论文 - _ - - - _ _ _ _ _ _ - _ _ _ 一i i _ 一i i | _ i ! ! 曼! 曼曼曼曼 媒体数据层 r r p 层 u d p 层 口层 图2 6r t p 协议层次结构 r t p 并不像t c p i p 协议那样严格和规范，更多的是当作一种建议或者说是思 路。通常r t p 协议作为应用程序代码的一部分来实现，它并不作为独立的网络层 来应用f 2 0 】。 2 3 本系统的设计目标 基于目前数字视频监控系统发展趋势，以及智能视频监控的众多优点，本文 提出并设计实现了一个小型的智能视频监控系统，该系统的设计目标如下。 本系统是一个基于嵌入式视频服务器的视频监控系统，同时实现c s 模式和 b s 模式两种系统结构，实现如下主要功能：支持实时媒体流进行网络传输；支持 音视频实时预览；支持运动侦测与告警联动；支持音视频数据存储为m p 4 格式的 文件并能回放；能够通过监控端查询视频服务器的状态，并对其所有参数进行设 置和管理等。整个系统性价比高，实用性和通用性强，可扩展升级，且方便在特 定的应用环境下组建监控网络。 为了达到上述设计目标，该智能视频监控系统的主要组成部分和技术难点采 用如下方式解决。 ( 1 ) 嵌入式平台。嵌入式视频服务器和嵌入式视频解码器均选用基于t i d m 6 4 2 的d s p 平台进行开发。d m 6 4 2d s p 平台高性能低功耗，是可编程的嵌入 式平台，方便扩展升级，是目前设计开发嵌入式视频服务功能的一个理想平台。 ( 2 ) 网络传输协议。视音频码流数据采用基于u d p 传输协议的r t p r t c p 协议进行传输，这样可以满足媒体数据的实时性和视频与音频实际表现质量之间 的平衡。监控端与视频服务器的交互命令采用t c p 协议传送，可以保证命令的准 确性。 ( 3 ) 视频编码标准。采用h 2 6 4 标准。h 2 6 4 具有很高的编码效率，在相同 湖北工业大学硕士学位论文 的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。且h 2 6 4 的码流结构网 络适应性强，增加了差错恢复能力，能够很好地适应d 网络和无线网络的应用。 ( 4 ) 音频编码标准。音频处理上，采用多种格式的音频编解码，包括q 7 1 l 、 g 7 2 6 与g 7 2 9 a 系列，以适应不同的网络传输环境和语音质量之间的平衡。 ( 5 ) 运动侦测技术。根据本系统的软硬件环境和整体架构，在视频服务器端， 采用帧差法实现了运动侦测与告警，并在监控端实现了告警联动。帧差法简单有 效，尤其适用于计算资源宝贵的平台如本系统。 ( 6 ) 针对嵌入式设备资源的有限性以及系统的复杂程度，嵌入式资源的精一t l , 利用关系到整个系统的成败。根据本系统使用的硬件平台，在嵌入式解码器中提 出了一种基于d s p b i o s 实时操作系统内核的多任务调度的方法，辅以环形缓冲区 的使用，最终成功实现了多路音视频数据实时监控的目标，该方法与传统的多核 共用技术( 通常采用a r m 芯片负责网络及控制信息模块，d s p 负责算法运算) 相 比，降低了成本简化了解码模块的复杂程度。 2 4 本章小结 本章首先介绍了智能视频监控系统的基本架构，随后分析了智能视频监控系 统的几种基础技术：视频编码技术、语音编码技术、数据传输技术，并在此基础 上，提出系统的设计目标，指出了系统实现中的技术难点以及采用的关键技术。 这些关键技术在系统中的实现，将在后面章节逐一介绍。 湖北工业大学硕士学位论文 第3 章自适应音频解码的实现 由2 2 2 的分析可知，编码速率越高，语音波形或参数量化就越精细，语音质 量越好，算法复杂度往往也不高，在实现时，占用的处理器资源也较少，但对传 输带宽或存储容量的要求越高；相反，编码速率越低，对传输带宽或存储容量的 要求越低，但语音质量会有不同程度的降低，算法复杂度也高，实现中占用处理 器资源也多。 对服务端进行网络配置是通过监控端实现的，在监控端与服务端进行网络配 置时，虽然采用的是可靠的t c p 技术，由于网络的复杂环境，为了增强系统的鲁 棒性，从安全的角度出发本系统设计了_ 种基于监控端自适应解码的方式。 在不考虑网络带宽限制的条件下，如果采取监控端预先设置解码的方式，将 有可能会造成监控端调用的解码器和服务端进行数据编码的编码器不匹配，导致 音频数据解码不准确，更坏的可能是造成音频缓冲区溢出导致系统死机。反之， 如果监控端依托从网络上来的数据流来解码，在不考虑网络大量丢包的情况下， 监控端是能够正确获得服务端的音频信息的。 为此，本系统采用了监控端自适应音频解码的方式。具体实现如下。 3 1 主要语音压缩标准简介 目前主要的语音压缩标准有：i t u 的g 系列标准、数字移动通信中的压缩标 准、美国国家安全局m s a ) 的f s 1 0 1 5 和f s l 0 1 6 标准。这些标准在上述的2 2 2 四 个衡量编码器性能的因素的表现中各有侧重。 ( 1 ) g 7 1 1 标准。g 7 1 1 采用p c m 编码方式，它将语音信号作为波形信号处 理，是一种波形编码方法。它的语音质量非常好，主要用于数字p b x i s d n 上的 数字式电话，编码速率为6 4 k b p s 。 ( 2 ) g 7 2 6 标准。1 9 9 0 年为了简化编码技术，i t u 将g 7 2 1 和g 7 2 3 合并，并 将编码速率扩展到1 6 k b p s ，从而形成了一种新的标准，g 7 2 6 。g 7 2 6 标准算法简 单，语音质量高，支持4 种码率格式1 6 k b p s ，2 4 k b p s ，3 2 k b p s ，4 0 k b p s 。由于多次转接 后语音质量还是有保证，在无绳电话系统( 如c t - 2 ，d e c t ) ，网络会议系统，b i s d n 通信以及v 0 口网络通信等方面有着广泛的应用。 ( 3 ) g 7 2 9 标准及其附件。i t u t 于1 9 9 6 年公布了码率为8 k b p s 语音质量与 3 2 k b p s 的g 7 2 1 相同的g 7 2 9 标准。该标准可以满足网络通信的要求，被广泛应用 湖北工业大学硕士学位论文 于个人移动通信、分组语音和卫星通信等领域【2 1 l 。 i t u t 后来又针对g 7 2 9 算法进行了简化，制定了g 7 2 9 a 用于网络多媒体通 信。又为了满足信道资源紧张的场合，i t u t 制定了g 7 2 9 b 。随着i p 电话和可视 电话的发展，i t u t 于1 9 9 8 年对g 7 2 9 算法进行了低速率扩展，制定了g 7 2 9 d 。 此外还制定了g 7 2 9 e 用于高速率扩展，g 7 2 9 c 用于浮点应用场合。 ( 4 ) 其他语音编码标准。此外i t u t 还发布过g 7 2 3 1 ，g 7 2 8 等标准，在不 同的领域有所应用。 3 2 语音通信流程 本系统实现了双向语音通信，即通过嵌入式服务器讲话，可在监控端收听到 语音，同时也可通过监控端讲话，在服务器端收听到声音。 语音通信是一个双方交互的过程，当然就存在着发送端和接收端两方。概括 的讲，发送端的任务是采集语音、编码、发送三个步骤，接收端的任务相应的就 是接收数据、解码、播放三个步骤。在双向语音通信中，服务端和监控端同时既 是发送端，又是接收端。现在以嵌入式服务器作为语音发送端，同时监控端为语 音接受端为例，来说明语音数据在整个系统中的流程。 通过嵌入式服务器向监控端传送语音的具体实现过程是：服务端上的语音输 入设备( 麦克风) 采集语音经过a d 转换生成原始的p c m 音频数据，然后对p c m 数据按照一种或几种格式编码，对编码后的音频数据流封装p t 信息，之后将编码 生成的数据流通过网络传送给监控端；监控端接收到数据流之后，根据解出来的 p t 信息调用对应的解码器进行解码产生p c m 音频数据，然后送给音频输出设备 ( 扬声器) 进行播放。 这个过程可用如图3 1 所示的语音数据流图表示。 1 4 湖北工业大学硕士学位论文 语音发送端 图3 1 语音数据流图 3 3 自适应解码器的实现 语音接收端 为了实现音频各解码器之间无缝隙的自适应切换，语音编码模块按照语音接 收端指定的方式进行编码，再把编码后的数据封装成r t p 包同时，根据r t p 协议 可以在p t 位写入一个特定的数字或者字符来确定该r t p 包是某种音频编码后的 数据，这样语音接收端从网络上收取该u d p 包之后，通过逆过程解出对应的r t 值，按照事先的约定调用对应的音频解码器。具体工作方式如下： 1 语音编码的工作流程： ( 1 ) 初始化一个编码器( 缺省为g 7 1 1 ) ，并指定其为当前可用编码器； 湖北工业大学硕士学位论文 ( 2 ) 若接收到控制消息需要切换至另外某个编码器，则释放掉当前编码器资 源，初始化控制消息指定的编码器并指定为可用编码器，并通知网络发送模块当 前采用的格式，以便其组装r t p 包时指定p t ： ( 3 ) 从语音采集的缓冲区获取固定大小的p c m 数据块，调用当前编码器进 行编码，并将编码后的码流送到网络发送缓冲区； ( 4 ) 若收到控制消息要退出语音编码，则释放当前编码器资源；否则，重复 步骤( 2 ) ( 4 ) 。 语音编码模块的工作过程可用图3 2 表示。 1 6 湖北工业大学硕士学位论文 默认初始化g 7 1 1 编码器，指定 其为当前可用的编码器 r 妒一y - 释放当前编码器，并 初始化指定编码器为 当前编码器 釜磺燃 调用当前编码器进行编码 r 压缩后的音频码流添n r t p 头 r 姒繁醐 陟一n 当前编器雯耗退出语 图3 2 语音编码模块工作流程 2 自适应解码工作流程： ( 1 ) 初始化一个解码器( 缺省为g 7 1 1 ) ，并指定其为当前可用解码器； ( 2 ) 从语音网络接收缓冲区获取固定大小的g t x x 码流数据块，分析该块的 湖北工业大学硕士学位论文 曼! ! ! ! ! 曼曼! ! ! ! ! ! ! ! ! ! ! 曼! ! 曼曼! ! ! ! ! 皇! ! 曼曼! i ；i ；ii；i 。! ! ! ! ! ! 皇 格式信息，若需要切换至不同的解码器，则释放当前解码器，并初始化正确的解 码器为当前解码器：否则，保持当前解码器不变； ( 3 ) 调用当前解码器进行解码，将解码得到的p c m 音频数据送给播放设备； ( 4 ) 若收到控制消息