（电力电子与电力传动专业论文）基于vap与vsp的远程视频系统.pdf

帧内预测模式选择过程的复杂性，并且具有很强的自适应性。 4 、针对传统流媒体协议安全性不高及效率低的缺点，本文改进一组能满足连续 媒体数据实时性、等时性和高吞吐量的v s p 与v a p 协议。v s p 是为了传送音视频流 数据而自定义的一种协议；v a p 为公共前端设备安全管理制定的，用以在各子系统 内部进行交互，外接系统相连的一种通讯协议。理论计算可知，这组协议与传统流 媒体协议相比在传输效率上都有所提高。 综合上面工作，本论文提出的技术方案具有一定的应用价值；实验系统性能稳 定，达到了预期效果，相关工作为相同领域的研究应用提供了有价值的参考。 关键词：视频监控系统；帧间预测；嵌入式l i n u x ；流媒体；视频压缩 i i a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fn e t w o r kb a n d w i d t ha n dv i d e oc o m p r e s sa s w e l la si n t e g r a t e dc i r c u i tt e c h n o l o g i e s ，v i d e os u r v e i l l a n c es y s t e mi sg o i n gt o t h ee m b e d d e d ，d i g i t a l ，n e t w o r k e dd i r e c t i o n t r a n s m i tm e s s a g eo ni n t e m e th a s n o tb e e nl i m i t e di nt e x ta n di m a g et y p e sa n ym o r e ，h o w e v e r , m u l t i m e d i a c o m p r e s s i o n a n dt r a n s m i s s i o nt e c h n o l o g y , c a nb eu s e d t os o l v et h e c o n t r a d i c t i o nb e t w e e ns e c u r i t yo fr e a l t i m em o n i t o r i n gs y s t e ma n dt h e i n s u f f i c i e n to fn e t w o r kb a n d w i d t h o n e ，i tm e e t st h er e a l t i m ea u d i oa n d v i d e od a t at r a n s m i s s i o ns e c u r i t y , t h eo t h e r , i th a sf a r - r e a c h i n gi m p l i c a t i o n so n e n c o d i n g ，c o m p r e s s i o na n dn e t w o r kt e c h n o l o g y t h i st h e s i sd e v e l o p san e wv i d e om o n i t o rs y s t e mb a s e do nt h ea r m a n d d s pd u a l c o r ea r c h i t e c t u r e t h ea r mc o r ei sm a i n l yu s e df o rc o n t r o la n d s m a l la m o u n t so fd a t ap r o c e s s i n gi nt h ee m b e d d e ds y s t e m t h ed s p c o r ei s m a i n l yu s e di ne n c o d i n ga n dd e c o d i n g a n dt h ea r c h i t e c h t u r eo f t h i ss y s t e m c a nm a k ea l la s p e c t so fp e r f o r m a n c eh a v eb e e ng r e a t l yi m p r o v e i nt h i sp a p e r , w eb e g i nw i t ht h ek e yi s s u e so ft h ec u r r e n tr e m o t ev i d e os u r v e i l l a n c es y s t e m n e e dt os o l v e r e s e a r c ho nh o wt ob u i l dl i n u xo p e r a t i n ge n v i r o n m e n ta n d t h ed e s i g no fo p t i m i z a t i o n ，f o c u s i n go nh 2 6 4i n t e ra n di n t r af r a m ep r e d i c t i o n a l g o r i t h mo p t i m i z a t i o na n dt h ek e yp r o b l e m ss h o u l db ep a i d a t t e n t i o no f s t r e a m i n gm e d i at r a n s f e r r i n ga n dc o n t r 0 1 1 t h es c h e m eo fh a r d w a r ea n ds o f t w a r eb a s e do nt h en e t w o r kv i d e o m o n i t o r i n gs y s t e mi sd e s i g n e da n dr e a l i z e d a n db u i l dt h eo p e r a t i n gp l a t f o r m a n dd e b u ge n v i r o n m e n t i nt h em a t e r i a ls e l e c t i o no fh a r d w a r e ，w ec o n s i d e r t h ep r o b l e m sw h i c hb r o u g h ta b o u tb yt h ew e a t h e r p r e s e n th o w t oe n h a n c e t h ev i d e oq u a l i t yb ys o f t w a r e b r i e f l yd i s c u s st h er e l e v a n ti n t e r f a c ec i r c u i t d e s i g no fv i d e od a t as t o r a g e s t u d y i n go nh o wt ot r a n s p l a n tt h ee m b e d d e d l i n u x o p e r a t i n gs y s t e m ，c o m p i l et h eb o o t l o a d e r ，l i n u xk e m e la n d h o wt om a k ef i l es y s t e m 2 a c c o r d i n gt ot h el o wc o m p r e s s i o nr a t i op r o b l e m o ft r a d i t i o n a l i n t e r f r a m ep r e d i c t i o nt i m e d o m a i nc o r r e l a t i o n c a r r y i n go u tt w i c ep r e d i c t i o n i i i e n c o d i n gt ot h em o t i o nv e c t o r so ft h ev a r i o u sb l o c k s ( i n c l u d i n gm a c r o b lo c k ， m a c r o b l o c kp a r t i t i o n s ，m a c r o b l o c ks u b - p a r t i t i o n s ) u s i n gt h ec o r r e l a t i o n b e t w e e nv e c t o r st or e d u c et h ec o d e r a t eo v e r h e a do ft r a n s m i t t i n gv e c t o r t h e m o t i o nv e c t o r so f1 4 、1 8p i x e la c c u r a c yc a nb eo b t a i n e d ，b yi n t e r p o l a t i n g p r e d i c t i o n r e f e r e n c ev a l u ei nt h ei n t e r - p i x e lr e f e r e n c ef r a m e ，a n dt h e n ， i n c r e a s i n g t h e p r e d i c t i o na c c u r a c y a n d c o m p r e s s i o ne f f i c i e n c y t h e p r e d i c t i o na c c u r a c ya n dc o m p r e s s i o ne f f i c i e n c ya r ei m p r o v e d ，b u ta l s ot h e c a p l i t yo fe r r o rr e s i s t a n c ei se n h a n c e d ，b yu s eo ft h es i n g l ea n dm u l t i f r a m e m o d ea l g o r i t h m s t h es i m u l a t i o nr e s u l t so fi n t e r - p r e d i c t i o ns h o wt h a t ，t h e s i g n a lt on o i s er a t i oo fr i d g e ( r s n r ) d e c l i n e sv e r yl o wi nt h ei m p r o v e d i n t e r - p r e d i c t i o na l g o r i t h m b e s i d e s ，t h ei n c r e a s ep r o p o r t i o no fa v e r a g er a t ei s a b o v e3 7 ，e n c o d i n gt i m ew i t hn e a r l y3 9 r e d u c t i o n ，a n dh a v i n gh i g h e r e n c o d i n ge f f i c i e n c y 3 t h ee n c o d i n ga l g o r i t h mo fh 2 6 4i sp r e d i c t e dd i r e c t l yb yt h es p a t i a l d o m a i n i n t r a p r e d i c t i o ni so n eo ft h ei m p o r t a n tc h a r a c t e r i s t i c si nt h es t a n d a r d o fh 2 6 4 t h et r a n s f o n no fd c tf o rm a c r o b l o c ki su s u a l l yc a r r i e do u t d i r e c t l yi nt h ei n t r a m o d e ，t oc o d eo fe n t r o p yf o rt r a n s f o r mc o e f f i c i e n t s ，t od o s o ，i ns o m ee x t e n tw h i c he l i m i n a t e st h ei n t r as p a t i a lr e d u n d a n c y b u tt h e d c tt r a n s f o r mo n l yu s e st h er e l e v a n c eo fi n t e m a ip i x e l sm a c r o b l o c k ， w i t h o u tt a k i n gi n t oa c c o u n tt h ec o r r e l a t i o nb e t w e e nt h ea d ja c e n tm a c r o b l o c k s t h ei n t r a p r e d i c t i o nm o d es e l e c t i o na l g o r i t h mi sp r o p o s e do nc h a p t e rt h r e e ， t h es i m u l a t i o nr e s u l t ss h o wt h a tq u i c ko p t i m i z a t i o ns e a r c ha l g o r i t h mn o to n l y r e d u c e st h ec o m p l e x i t yo fh 2 6 4i n t r a - p r e d i c t i o nm o d es e l e c t i o np r o c e s s i n g ， b u ta l s oe n h a n c et h es e l f - a d a p t a b i l i t y 4 。c o n s i d e r i n gt h es h o r t c o m i n g so f n o th i g hs e c u r i t ya n dl o we f f i c i e n c y f o rt r a d i t i o n a ls t r e a m i n gm e d i aa g r e e m e n t ，t h et h e s i sp r o p o s e sap r o t o c o lo f v s pa n dv a pw h i c hc a nm e e tt h er e a l t i m e ，i s o c h r o n i s ma n dh i 曲t h r o u g h p u t f o rc o n t i n u o u sm e d i ad a t a v s pp r o t o c o lw h i c hi si no r d e rt os e n da u d i oa n d v i d e os t r e a m i n gd a t a a n dv a pi sac o m m u n i c a t i o np r o t o c o lw h i c hi s d e v e l o p e df o rt h ep u b l i cs a f e t ym a n a g e m e n to ff r o n t e n de q u i p m e n t ，c a nb e u s e di nv a r i o u ss u b s y s t e m si n t e r a c tw i t h i na n dc o n n e c tw i t ht h ee x t e m a l t v s y s t e m t h e o r e t i c a lc a l c u l a t i o ns h o w st h a t ，t h i ss e to fa g r e e m e n t sh a sh i g h e r t r a n s m i s s i o ne f f i c i e n c yt h a nt r a d i t i o n a ls t r e a m i n gm e d i aa g r e e m e n t b a s e do na b o v e ，t h et e c h n i c a ls c h e m ep r o p o s e di nt h i sg r a d u a t ep a p e ri s v a l u a b l et oa p p l i c a t i o n ，a n dt h ep e r f o r m a n c eo ft e s ts y s t e mi ss t a b l e s o ，t h i s s y s t e ma c h i e v e st h ee x p e c t e dp e r f o r m a n c e ，a n da f f o r d sv a l u a b l er e f e r e n c ef o r t h er e s e a r c hi nt h ec o r r e l a t e df i e l d k e y w o r d s ：v i d e os u r v e i l l a n c es y s t e m ；i n t e r - p r e d i c t i o n ；e m b e d d e dl i n u x ； s t r e a m i n gm e d i a ；v i d e oc o m p r e s s i o n v 声明尸明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 作者签名：鱼塑日期：鲨坐堕 关于学位论文使用权的说明 本人完全了解太原科技大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件、复印 件与电子版；学校可以采用影印、缩印或其它复制手段复制并保存 学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交 流为目的，复制赠送和交换学位论文；学校可以公布学位论文的全 部或部分内容( 保密学位论文在解密后遵守此规定) 。 作者签名：姿乃簇： 日期：型至：三：! ： 导师签名：日期： 塑2 ：堇：三三 第一章绪论 第一章绪论 1 1 研究背景 近几年来，网络和公共安全显示出前所未有的重要性，网络安全传输、视频监控、 身份认证以及指纹识别技术相继诞生，网络技术和信息化产业的高速发展使得实现 这些技术的难题得到解决并将它们推到一个更新的高度。 随着固网和移动网络增值业务的不断发展，多媒体业务正成为一个新的业务发展 热点，其中通过i p 网络和移动网络为客户提供视频监控业务又是一个新兴的多媒体 业务。视频监控系统作为一种新兴安防领域的高科技数字产品系统，以其实时性监控 性能高、运营价格低廉、便于远程系统管理等优点广泛应用于楼宇监控、工业生产、 银行金融安全、平安城市、远程医疗、交通运输、视频会议等许多场合。利用视频 监控系统多媒体数据实时传输的特点，监控中心能快速了解监控点的真实情况，指挥 事件现场工作，大大提高了管理人员的工作效率。 大型的视频网络监控系统，包括设备前端的视频图像采集、压缩、中心平台的转 发、网络传输和p c 端的数据接收以及多媒体解码。它涉及到音视频解压缩算法，网 络安全，网络传输，图象处理等技术领域，并同现代嵌入式技术研究领域相互交融。 对于视频在安防监控上的应用，人们最关心的是网络带宽对图像传输效果的影响 和信息安全保密问题，这些问题成为制约网络视频监控发展的瓶颈【l 】。虽然视频监控 系统在局域网内应用较为广泛、人性化( 例如车载监控系统和数字硬盘录像机) ，但 广域网的数据传输并不能承载像局域网这样大批量的数据同时传输，在网络带宽不 足的情况下图像会出现马赛克现象，更严重的情况将会产生数据图像的丢失，在一 些特殊的场合，需要确认得到的图像数据的真实性，所以高质量的视频数据压缩算 法和安全可靠的网络传输即引起了研究者的强烈兴趣。加上视频监控系统可以用在 温度传感器、烟雾报警器以及检测画面的移动和对特殊危险环境的录像，同时近年 来由于计算机、嵌入式c p u 和多媒体芯片的高速发展，使其在技术方面有了重大的 突破，相继产生一些优质的视频算法( m p e g 4 、h 2 6 4 、a v s ) 和高效流媒体传输 协议( s i p 、r t s p 、r t p ) ，使得视频监控系统不仅方便携带使用，并且成本也大大 的降低，更将视频监控技术带入了真正的研究阶段，而视频监控也得到了前所未有 的重视。以上诸多原因，使得视频监控技术成为一项极具挑战性的前沿研究课题。 试想一下，网络监控普遍发展，在公司下班前电脑上打开浏览网页，就能够看到哪 段路口有没有塞车，通过3 g 手机就能看到家里的婴儿睡醒了没有，这是多惬意的事 1 基于v a p 与v s p 远程视频监控系统 情。 1 2 主要内容 1 2 1 音视频编解码芯片 编解码芯片是对音、视频数据实时压缩和解压缩。用于对输入模拟视频信号采 集、量化、编码成低容量的数字信号或解码输出为模拟信号。在视频监控方面一直 有d s p 与a s i cs o c 之争，d s p 适用于各种的视频格式开发，也造成了目前众多的 视频监控产品格式不统一，出现了较多的私有视频标准。不同公司提供d s p 的视频 软压缩技术差异性较大，用户难以辨别。这也是限制网络视频监控发展的瓶颈之一【2 1 。 目前，主流视频服务器芯片有v w 2 0 1 0 ，海康威视d s 4 0 0 4 h ，华为海思的h 1 3 5 1 0 。 v w 2 0 1 0 的视频输入为i t u 6 5 6 d 1 格式，所以只需要选择具有基本a d 转换和 编码功能的视频芯片( 如p h i l i p s 公司的s a a 7 1 1 4 、s a a 7 1 1 5 以及r o c k w e l l 公司的 b t 8 2 9 a 等) ，选用s a a 7 1 1 5 完成视频采集，该芯片主要完成将模拟彩色视频信号 转换成符合i t u 6 5 6 标准输出格式的数字视频信号。它不仅能够实现输入信号的幅 度钳位和静态、动态增益自动调整，而且还包含一个可编程的亮度、对比度、饱和度 和色度控制器，可实时地调整采集到的数字图像参数。音频采集则由u d a l 3 4 2 t s 完 成a d 转换。但目前，该款芯片只支持m p e g 4 。 海思h i 3 5 1 0 是硬件编解码h 2 6 4 视频格式s o c 芯片。在编解码质量上，h i 3 5 1 0 采用a r m 9 + d s p + 硬件引擎方式，在3 8 4 k b p s 带宽下就能够达到v c d 的图像效果， 在1 m b p s 带宽下能够达到接近d v d 的效果。这比其他视频压缩格式( m p e g 2 4 ) ， 有不可比拟的优势。在网络、安全保密上，h i 3 5 1 0 集成了3 端口交换，2 个以太网 接口；内置了a e sd e s 、3 d e s 等数据加密引擎。在监控应用上面，该芯片还集成 了单片的多码流处理，百万像素的j p e g 图片抓拍，数字水印，运动监测，帧率、分 辨率可动态调节等技术【引。h 1 3 5 1 0 扩展s a a 7 11 3 或t v 5 1 5 0a d 转换，达到四路c i f 、 2 路h d 1 、单路d 1 的视频及音频实时编码，同时支持g 7 1 1 a 、g 7 1 1 m u 等多种音 频编解码，语音对讲声质清晰，并且亮度、对比度、饱和度和色度可以随意修改， 以达到满意的效果为止。 1 2 2 压缩编码技术 多媒体数据经过采集、量化成数字信号，其数据量十分庞大，网络带宽远远不能满 足未经处理的数字视频数据的实时传输，网络技术以及海量的数字视频数据成为阻 碍视频监控系统发展的一个瓶颈。9 0 年代后，涌现出一批编码算法，通过视频数据 2 第一章绪论 压缩，去除冗余得到一个可以还原的多媒体数据，这种称之为视频压缩编的码技术 有效解决了这种瓶颈问题，最基本的图像视频压缩方法有统计编码、预测编码、变换 编码。从压缩效果来区分可分为有损压缩和无损压缩1 4 】，无损压缩是在视频图像没有 任何失真的前提下使数字视频编码率最小，又能精确地恢复出图像的原始数据，一 般统计编码和无损预测编码都属于无损压缩。有损压缩是允许压缩后产生视频质量 上的误差和降低，原始目标在特定的码率条件下，图像尽可能获得逼真地效果，或 在一个给定地图像逼真度条件下，使码率达到最低。从以上分析有损压缩最大的特 点是可以得到比无损压缩高得多的压缩比，但是只能使用近似的数据代替原始数据。 典型有损压缩编码有损预测编码和正交变换编码。 统计编码【4 】是根据数据消息出现的概率分布特性而进行的压缩编码算法，目的在 于码字和数据消息之间的一一对应，以便在解码时能够准确无误地再现出原始数据。 由于大多数情况下，像素灰度出现的概率并不相等，因此对图像压缩的特点来说， 变长编码通常比定长编码更有利数据的处理。 哈夫曼编码是码字可变字长编码( v l c ) 岭j 的一种，于h u f f m a n 在1 9 5 2 年提出一 种编码算法，这种编码方法的主要思想是根据源数据符号出现的概率进行编码，出 现的概率越高的符号，分配以越短的编码，反之，分配较长的编码，从而达到用尽 可能少的编码符号表示视频源。 正交变换编码是在频域中进行压缩处理的一种编码算法【6 j 。它的基本原理是通过 正交函数把图像从空间域转换为能量比较集中的变换域，然后对变换系数进行量化 和编码，从而达到缩减数据码率的目的。 1 2 3 视频压缩编解码标准 目前在视频编解码技术中，最为流行的编解码标准有国际标准化组织运动图像 专家组的m p e g 系列以及国际电联的h 2 6 x 。 m p e g ( m o v i n g p i c t u r ee x p e a sg r o u p ) 是1 9 9 8 年成立的一个专家组。这个专家组 于1 9 9 3 年制定并公布了一个国际标准，名称是“动态图像和伴音的编码”，用于速率 在1 5 m b p s 以下的数字媒体，也适用于远程通信以及局域网等。该标准通常简称为 m p e g 1 标准，所采用的算法简称为m p e g 一1 算法。由于m p e g 1 的速率仅为 1 5 m b p s ，所以m p e g 组织又逐步制定了m p e g 2 以及m p e g 4 压缩标准。 为了更好地表示编码数据，m p e g - 4 用句法规定了一个层次性结构【7 1 。自上到下 六个层次分别为：图像序列层、图像组、图像、宏块条、宏块、块。按编码图像的 分辨率分为4 个“级( l e v e l s ) ”，按使用的编码工具的集合分为5 个“类( p r o f i l e s ) ”。 3 基于v a p 与v s p 远程视频监控系统 m p e g 4 图像压缩的原理是利用了图像中的空间相关性和时间相关性。去除这种图像 中存在的大量相关性冗余信息，只保留非相关信息进行传输，而接收则是通过这些 非相关信息，按照一定的解码算法，还原一定的图像质量的出原始图像数据。m p e g 4 的编码图像被分为三类，分别称之为i 帧、p 帧和b 帧。i 帧是解码的主要关键帧， 是利用了单帧图像内的空间相关性而没有利用时间相关性。p 帧和b 帧则是同时利 用了图像的空间和时间上的相关性。通常p 帧图像只采用前向时间预测，在解码过 程中，只依赖于i 帧，每一个宏块既可以是前向预测，也可以是帧内编码，因此能够 提高压缩效率和图像质量。b 帧是采用双向时间预测，在解码过程中，依赖i 帧和p 帧，从而大大的提高了视频数据的压缩倍数。 m p e g 4 不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统地的 交互性和灵活性。m p e g 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以 求用最少的数据获得最佳的图象质量。 m p e g 4 具有以下几个主要技术特剧8 】： 1 、视音频对象是对可视的、可听的或视音结合体的一个抽象的对象，不管这些 源信息是自然的、人工合成的，还是二者的再组合。较小、较低层的对象还可以组 成更大更高层的对象。但是，m p e g 4 假设视音频对象已经存在，不提供具体的实现 来得到各种对象。如何得到对象是现在研究的热点。 2 、交互性。通过利用场景的对象层次节点树组织形式和b i f s ( 二进制格式场景 描述) 的命令，可以组织相关对象成为场景。b i f s 命令也可以改变场景，这些改变 由用户端的操作引起，实现了用户和所显示的视听信息之间的交互。 3 、可扩展性。m p e g 。4 希望能实现任何时间、任何地点、任何设备的多媒体应 用。这样，就不得不面对纷繁复杂的终端设备。各种设备的资源配备相差巨大，为 了使一次编码的结果让多个不同的应用有可接受的视听质量，m p e g 4 支持不同时间 分辨率、不同空间分辨率和不同码率的扩展。 h 2 6 4 包括网络抽象层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 和视频编码层( v c l ， v i d e oc o d i n gl a y e r ) 的新特性。v c l 可有效地表示视频内容，n a l 用来对v c l 层 的视频内容进行格式化，并提供头信息。 h 2 6 4 和大部分视频编码标准一样，也是采用“回归基本”的简洁设计，加强了对 各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理。 应用目标范围较宽，以满足不同速率、不同解析度以及不同传输场合的需求。以下 是h 2 6 4 的技术特点： 4 第一罩绪论 1 、相对于以前的视频编码标准( 如：m p e g 2 ) ，h 2 6 4 在提高图像内容的预测 方面进行了很多改进，包括，支持最小4 4 的可变块尺寸运动补偿，四分之一像素 精度的运动补偿，图像边缘的运动矢量，多参考图像运动补偿，解偶参考图像顺序 和显示顺序，解偶图像表示方法和图像参考能力，加权预测，改进的“跳过”和“直接” 运动推理，内部编码的直接空间预测，环路滤波等。 、2 、除了改进预测方法之外，h 。2 6 4 在其他部分针对改善编码效率的设计也得到 增强。 3 、在h 2 6 4 中采用了一些新的设计来保证数据误码和在各种网络环境中操作的 灵活性。 1 2 4 流媒体网络传输 多媒体网络( m u l t im e d i an e t w o r k ) 是一种能提供多媒体服务的网络。它通常包 括多媒体消息的交互性，视频数据流的实时传输等基本特征。一方面它要求有很高 的网络带宽来传输海量的视频流数据，另一方面，需要通信服务质量【9 1 ( q o s ，q u a l i t y o f s e r v i c e ) 来保证多媒体数据传输的可靠性、出错率、传输失败率以及安全性等。 流媒体传输在协议上主要有以下三种：r t c p 、h t t p 。r t c p 通过与r t p 协议 协同工作，实现流媒体数据的实时传输，具有很好的应用性能。也可以独立实现基 于t c p 或者u d p 的实时媒体流的数据传输。h t t p 协议是目前网络环境中使用的最 为广泛的应用层次协议之一，它标准版本的应用范围主要是文本信息的传输，但随 着该协议的不断的扩展和改进，h t t p 协议也能够支持实时的流媒体数据传输。 1 、r t p t l 0 1 传输协议，主要用于对流媒体数据进行封包并实现媒体流的实时安全 传输，每一个r t p 数据报都由r t p 头和数据负载两部分组成，其中头部前1 2 个字 节的含义是固定的，而负载则可以是音频或者视频数据。r t p 协议定义了简单的头 部，同时允许对头部进行扩展。 2 、r t c p 是r t p 控制协议，它基于所有会话参与者之间的周期的一控制包的交 互来实现控制目的，所有的数据包使用相同的发送机制。可以为传送的r t p 数据的 q o s 提供反馈，通信第三方在收到r t c p 反馈包时可以了解目前的网络情况，同时 调试r t p 的发送速度。 3 、h t t p t l l l 是一个属于应用层的面向对象的协议，由于其简捷、快速的方式， 适用于分布式超媒体信息系统。它于1 9 9 0 年提出，随着i n t e r n e t 的发展及其本 身所具有的优势，近几年得到迅速的发展。 流h t t p 协议与标准h t t p 协议的异同：流h t t p 协议为m i c r o s o f t 服务器用来 s 基于v a p 与v s p 远程视频监控系统 在线播放媒体文件。其一般特征与标准h t t p 协议的特征完全一样，例如：都是建立 在t c p i p 协议的基础上传送数据；都使用8 0 端口等等。所不同的是，流h t t p 协议 将在进行数据传输和会话交互时，使用特定的参数值j 数据类型值和包前缀，将其 与标准h t t p 协议相区别。 1 3 本文的研究意义 视频监控系统目前逐步被应用于平安城市、无人值守，交通安全等不同场合。前 端监控设备系统集成化、管理网络化已经成为视频监控系统公认的未来发展方向。 随着嵌入式视频监控系统功能的日益完善，不少基于嵌入式前端设备的视频监控系 统逐步投入市场，嵌入式视频监控系统逐步成为下一代视频监控系统研究热点话题。 远程视频监控系统应用前景十分广阔，与传统的监控设备d v r 相比，远程视频 监控系统有以下的优势：能在广域网上传输、并且方便于平台软件的统管理、上电 视墙、实时性高，监控范围广、交通监控、危险地区的环境探测、建构视频会议系 统。随着视频压缩和编码技术的发展和网络环境的改善，将来可以载入3 d 效果，远 方环境真实模拟，并将进行远程流水线管理等其它用途引入其中。 另外，远程监控系统本身就是一个图像分析、图像处理、数据检测、数据传输系 统，对这些问题深入研究与解决有利于促进图像分析与理解、计算机视觉、计算机 图形学、视频编码与解码算法、流媒体传输协议以及环境3 d 模拟等诸多科学的发展， 因此远程监控系统的研究又具有重大理论与学术研究价值。 1 4 网络监控与传输系统发展状况 网络监控系统是一项既具挑战性又非常有趣的研究课题，以致吸引了来自不同 学科领域的学者。过去的十几年之中，研究者提出了许多的视频压缩算法和流媒体 网络传输协议，有关流媒体，视频监控的学术论文层出不穷。回顾它的发展概况， 视频监控系统大致经历模拟视频监控系统、数字化本地视频监控系统和远程视频监 控系统三个阶段【1 2 j 。 1 、模拟视频监控系统。9 0 年代初以前，主要采用模拟电子电路设备构成，称为 第一代模拟视频监控系统。它被广泛应用于金融安全、生产监控等场合。由于采用 模拟方式传输，视频数据只能进行距离短传输，通常应用于小范围内的监控或者本 地控制中心通过监视器观看。模拟视频监控系统结构复杂，采用的辅助设备较多， 智能化程度不高，信息检索不方便。 2 、数字化本地视频监控系统。9 0 年代中期，随着计算机技术的高速发展，人们 6 第一章绪论 通过其高速数据处理能力进行视频信号采集和量化，大大的提高了图像的质量，这 种数字化监控系统称为第二代数字化本地视频监控系统。它通过量化、压缩、编码 等手段将模拟视频数据数字化，并可以在p c 上实现多画面图像显示以及设备控制， 简化了监控中心的辅助设备的安装，系统功能较为完善。尽管初步实现了信息数字 化，但由于图像数据量大，远程传输监控技术以及多媒体网络带宽方面的不足，使 得这种数字化视频监控产品只能应用于一些特定行业的日常监控。 3 、远程视频监控系统。9 0 年代末，随着多媒体压缩技术、网络传输技术、以及 计算机存储技术的迅猛发展，远程视频监控系统成为主流，它广泛应用于交通安全、 电力水利、平安城市等行业，称之为远程视频监控系统。它最大的特点是网络化和 数字化。视频监控系统将图像编码技术和多媒体网络技术结合起来，通过局域网、 广域网等网络传输发送到远程的客户机，实现自动化无人值守，同时具有移动侦测 防入侵报警，大大提高了监控系统的实时性、可靠性。这种监控系统既能通过广域 网进行设备监控管理，又能记录和存储远程现场的实时情况，引发了视频监控行业 的技术革命，一批优秀的编解码算法同时也孕育而出。受到了学术以及商业界的高 度重视，其有着广阔的应用前景。 1 5 国内外研究现状 远程视频监控系统广泛的应用前景引起了国际上许多著名科研机构以及研究人 员的兴趣，一些重要的学术研究已经将远程视频监控作为主题研究内容之一。同时 不少的原型系统也被研制出来，在9 0 年代末，美国国防部研究计划局资助卡内戴维 s a i 埘o f f 研究中心，联合研制出了智能场景监视与监控系统，用于在未来战争中人 力监控费用昂贵、非常危险或者人力无法实现的场合的监控；美国i s s 公司研制出 的a u t o s c o p e 是一种大区域视频监控系统，已经作为北美铁路运输监视系统实现 了应用。在国内，远程视频监控的研究也已经有了的进一步发展，从2 0 0 2 到目前为 止，“全国智能视觉监控学术会议”在北京召开了四届，并得到广泛的关注。2 0 0 8 年 8 月，随着中国奥运的举行，网络视频监控的应用更是推向一个新的高度，为了北京 的人文安全，中国电信更是开展一系列的视频平台展。此外，中国科学院已经成立 了智能视频监控的研究小组，开展远程智能视频监控系统以及多媒体技术方面的研 究。经过近十年的发展，远程视频监控技术在视频信息编解码、媒体数据存储、多 媒体视频数据流的传输都已经比较成熟。但总体而言，远程视频监控系统技术还远 远达不到国际水平，以下几个方面值得进一步探索和研究【l 3 j ： 7 基于v a p 与v s p 远程视频监控系统 1 、采用并发展新的视频编解码技术。 2 、提高多媒体视频数据流的网络传输的速度和质量。 3 、视频检测以及识别技术的研究，包括移动侦测以及人脸识别。 4 、远程智能视频监控( 如温度、湿度、红外线、烟感、水浸) 。 1 6 本文主要工作与组织结构 1 6 1 本文主要工作 本文主要从学习h 2 6 4 帧间、帧内算法入手，研究编码效率如何提高，从当前流 媒体传输协议r t p 、r t s p 基础上分析音视频数据传送的安全与效率所存在的问题。 分别提出帧间、帧内预测算法的优化，在仿真实验上得以证实优化后视频编码的性 能，并提出一组新流媒体协议，解决了部分流媒体传输的安全系数低的问题。通过 以上的学习与研究，研发了一套基于h i 3 5 1 0 多媒体芯片的远程视频监控系统。以下 是本文工作的重点： 1 、本文研究了l i n u x 操作系统和h i 3 5 1 0 多媒体芯片的地址映射关系，并在此 基础上成功的对l i n u x 的b o o t l o a d e r 、k e r n e l 、以及文件系统进行了移值以 及根据多媒体芯片h i 3 5 1 0 对其f l a s h 空间进行了分配，使在开发板上能正常运行 u c l i n u x 操作系统，搭建了嵌入式软件的调试环境和视频监控系统的运行环境。 2 、本文针对h 2 6 4 帧间编码宏块模式选择计算复杂度较高的缺点，改进了模式 选择快速算法。图像序列信息的相关性可能的编码模式从而缩小搜索范围，采用早 期中止机制减少不必要的运算，将模式判决和运动估计处理融为一体，如果某些模 式不在候选模式之列，就不再对其做运动估计，从而进一步降低模式判决的复杂度。 该算法根据帧间编码宏块的树状分割模式特点，采用了若干简单有效的终止搜索准 则，并采用模式阈值筛选，以进一步加快模式选择的速度。减少了编码器无效遍历 过程，在取得相近p s n r 和比特率条件下，编码速度得到较大提高，适合实时视频 应用。 3 、本文针对h 2 6 4 视频编解码帧内预测进行了深入研究，帧内预测的4 x 4 及 1 6 x 1 6 预测分别有9 种和4 种模式，为了得到最佳计算模式，一般采用全搜索算法， 但是这种算法需要花费极大的计算时间和系统开销量。为了降低帧内预测的复杂度， 本文改进了快速帧内预测算法，该算法降低了h 2 6 4 帧内预测中，模式选择过程时 间复杂度，提高编码的时间效率，并与全搜索方法比较基本保持了相同的p s n r 和 编码位率。 8 第一章绪论 4 、本文通过研究当前流行的r t p 、r t s p 、s i p 以及h t t p 协议与x m l 标记扩 张语言。对其优缺点做了讨论和计算，在考虑安全和效率的基础上，改进了基于多 媒体网络数据传输的v s p 协议与v a p 设备管理协议。 5 、根据网络视频监控的特点，在软件设计上，对某些特定的需求研究，对固定 画面的监控，对几个固定画面进行监控以及非实时监控，本文对应固定画面、多画 面、非实时监控这三种常见的需求，改进监控策略设计，突出监控系统监控的特点， 从某方面达到一定智能程度，更好的达到视频监控效果。 1 6 2 研究思路与组织结构 本文的研究思路如图1 1 所示，以下主要介绍了本文的组织结构。 1 、研究思路 第一章，绪论。简要介绍