（信号与信息处理专业论文）无线多路复用视频传输码率控制技术研究.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 近年来，无线通信技术的发展进入了空前活跃的时期。视频通信作为未来的 一种主流通信业务，目前已经开始受到通信领域的高度重视。呼之欲出的第三代 ( 3 g ) 移动通信不仅能提供现有的各种移动电话业务，还能提供高速率的宽带视 频业务、实时的视频传输。无线网络领域的新发展，使得通过无线网络，传送监 控视频信号成为可能。本文对无线网络中的移动视频监控系统进行了研究。 由于视频业务的数据量大、对误比特率要求高，无线信道又具有易错、时变 和带限的特点，为了保证编码比特流随信道状态进行调整以及可靠的传输，码率 控制是一种关键措施。 本文的重点之一是对码率控制算法的研究。首先针对t e s tm o d e l5 ( t m 5 ) 建议 的码率控制算法不能正确处理场景切换的问题，提出了一种附加运算量很小的检 测场景切换的方法以及相应的自适应码率控制算法，以改善切换点处的视觉质量。 然后在f - v b r 模型的基础上提出了自适应反馈码率控制算法，通过反馈确定视频 编码帧率、编码目标比特率，根据视频图像的内容对编码帧进行选择。本文的另 一重点是在所提出的码率控制算法的基础上，采用b s 模式，设计了无线移动视 频监控系统。 主题词：移动视频监控无线网络码率控制 第i 页 国防科学技术大学研究生院工学硕士学位论文 a b s t r a c t i nr e c e n ty e a r s ，w i r e l e s sc o m m u n i c a t i o nh a se x p e r i e n c e du n e q u n l l e dr a p i dg r o w t h a so n eo f t h em o s ti m p o r t a n tf u t u r es e r v i p ：et r a f f i c ，v i d e oc o m m u n i c a t i o nh a sb e e nt a k e n i n t oh i g hc o n s i d e r a t i o n t h ei n c o m i n g3 gc o u l dn o to n l ys u p p o r tt h ee x i s t i n gm o b i l e v o i c es e r v i c e ，b u ta l s op r o v i d eb r o a db a n dv i d e os e r v i c ea n dr e a l t i m ev i d e o c o m m u n i c a t i o nt r a f f i c t h el a t e s td e v e l o p m e n ti nt h ew i r e l e s sn e t w o r km a k e si tp o s s i b l e t 0t r a n s m i tv i d e om o n i t o r i n gd a t at h r o u g ht h ew i r e l e s sn e t w o r k i nt h i sp a p e r ，w es t u d y t h ew i r e l e s sm o b i l ev i d e om o n i t o r i n gn e t w o r ks y s t e m f o raw i r e l e s sv i d e om o n i t o r i n gs y s t e m , b e c a u s eo ft h eh u g ea m o u n to fd a t a , a n d t h eh i g hr e q u i r e m e n tf orc h a n n e lb i te r r o rr a t e ，a n dt h et i m e - v a r y i n gc a p a c i t ya n d l i m i t e db a n do fw i r e l e s sc h a n n e l ，r a t ec o n t r o lp l a y sac r i t i c a lr o l ei nv i d e oe n c o d e rf o r r e g u l a t i n gt h ec o d e db i ts t r e a mt 0s a t i s f yt h ec h a n n e lc o n d i t i o n sa n dk e e p i n gt h eh i g h q u a l i t yo fc o d e dv i d e om o n i t o r i n gd a t a o n em a i n w o r ko f t h i sp a p e ri st os t u d yt h er a t ec o n t r o la l g o r i t h m f i r s t l y ，f o rt h e c u r r e n tr a t ec o n t r o la l g o r i t h mo ft e s tm o d e l5 ( t m 5 ) ，i tf a i l st oh a n d l es c e n es w i t c h p r o p e r l y t h e r e f o r e a $ c e n es w i t c hd e t e c t i o nm e t h o dw i t l l l e s sc o m p u t a t i o na n da l l a d a p t i v er a t ec o n t r o la l g o r i t h mt oc o m p e n s a t et h ev i s u a ld e g r a d a t i o na ts c e n es w i t c h p o i n ti sp u tf o r w a r d m o r e o v e r , a na d a p t i v ef e e d b a c kr a t ec o n t r o l ( a f r c ) a l g o r i t h m b a s e do nf - v b rm o d e li sp r o p o s e d t h ec o d e df l a m er a t e ，t h ev i d e ob i tr a t ea r e c o n t r o l l e db ys e v e r a lf e e d b a c km e c h a n i s m s ，a sw e l la st h ef r a m e st ob ec o d e da r e c h o s e na c c o r d i n gt ot h ec o n t e n to fv i d e o a n o t h e rm a i nw o r ki st od e s i g naw i r e l e s s m o b i l ev i d e om o n i t o r i n gs y s t e mi nm a n n e ro fb r o w s e r s e r v e r ，u s i n gt h ea f r ca n d c b rr a t ec o n t r o la l g o r i t h mw h i c ha r ep u tf o r w a r db e f o r e k e yw o r d s ：m o b i l ev i d e om o n i t o r i n g w i r e l e s sn e t w o r kr a t ec o n t r o l 第n 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目： 丕堡垒整复题塑麴篮殓翌空撞剑挂盔盟寇 学位论文作者签名：垄：邀日期：，卯6 年月f 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阏；可以将学位论文的全部或部分内容编入有关数据库遘行检索， 可以采用影印缩印或扫描等复制手段保存汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：丕丝垒整复旦塑麴篮捡璺室撞劐盐盔班窥 学位论文作者签名： 作者指导教师签名： 日期：嘭年二月f 日 日期：妒二年f 月，日 国防科学技术大学研究生院工学硕士学位论文 第一章绪论 随着第三代移动通信系统的发展及无线网络技术的日益成熟，无线视频通信 正在成为研究的热点。i n t e m c t 、无线网络、多媒体的融合使得多媒体能在因特网 与无线移动网络之间无缝连接，而基于块的混合视频编解码技术将在这一领域得 到广泛的应用。 i i 第三代移动通信系统概述 随着计算机技术日新月异的发展，人们身处快速变化的社会中，传统的电话 己逐渐无法满足这个分秒必争的社会的需求。个人通信是人类通信的最高阶段， 要实现这个目标必须经过移动通信这一阶段。 过去十年全球移动无线通信得到了很大的发展。无线通信技术经历了为商业 使用的第一代模拟产品到为公众和商业环境而设计的第二代数字无线通信系统。 2 0 世纪9 0 年代初期，工业和运营部门推出了第二代数字移动通信系统，这标志着 无线信息网络时代的到来，完全的无线信息网络将使所有用户能在任意地点经济 地传送任何形式的信息。新的网络建立了与第一代和第二代无绳电话、蜂窝服务 的接口，也包含了其他意义上的有线和无线接入，如局域网( l a n ) 等。在后来的几 年内，可提供宽带多媒体业务的第三代数字移动通信系统【l 】逐渐发展起来。第三代 移动通信系统的一期主频位于2 g h z 频段附近，国际电联正式将其命名为i m t 一 2 0 0 0 【2 】。 第一代模拟和第二代数字系统支持语音通信和有限的数据通信能力。第三代 的目标是提供宽范围的服务，除了一些与移动有关的信息外，大部分是i s d n 业务 的无线扩展，服务质量达到有线网的近似水平。 第三代网络主要集中在服务质量、系统容量、个人和终端的移动性等方面。 系统的容量通过使用更小的小区和地理上有序的频率通道再使用来改善。第三代 系统将按照不同的运行环境使用不同的小区结构。 2 0 0 0 年的c d m a p 】协议及技术进步使第三代无线技术将成为现实，第三代( 3 g ) 无线技术旨在提供接近有线质量的无线话音业务，而且可以支持普通多媒体和高 速数据应用所需的速率和容量，使得高速数据传输、因特网访问、移动视频业务 和多媒体服务成为可能。 第三代移动和个人通信系统的最终目标是将世界上所有的蜂窝系统、无绳系 统，无线本地环路( r l l ) 、无线局域网终端、专用移动广播和寻呼结合在一起，形 成一个功能强大的网络，实现任何人在任何地点、任何时间与任何人都能便利地 第1 页 国防科学技术大学研究生院工学硕士学位论文 通信。第三代移动和个人通信系统2 0 世纪末已成为统一标准。对于第三代移动和 个人通信系统采用t d m a 系统结构还是宽带c d m a 系统结构，各个国家都在研 究和决策之中。 日前的研究显示，c d m a 系统因其有许多优点：固有的抗多径衰落能力，可 以运用话音激活技术增加系统的容量、减少传输功率，具有软切换和软容量的特 性，系统容量大，保密性好并且组网简单等，宽带c d m a 系统结构最有可能成为 第三代移动和个人通信系统采用的系统结构。 与基于第一代、第二代以话音和低速率数据业务为主的移动和个人通信系统 标准相比较，第三代移动和个人通信系统的特点如下： 提供宽范围的业务、多速率和高速率数据业务服务( 位速率高达2 m b i t s ) ； 提供高质量业务服务，即长话质量的语音、位错误概率( b e r ) 小于1 0 - - 6 的 数据业务； 简单的小区结构和易于管理的信道： 在混合小区情况下运行( 宏蜂窝、微蜂窝和微微蜂窝等) ； 在不同的环境下运行( 室内，室外、商业，民用和蜂窝无绳等) ； 需要灵活的频率和无线资源的管理、系统配置和服务设施； 较大的服务容量； 低功率消耗 3 g 系统的应用推动了具有高速数据率的3 ( 3 无线系统的发展。3 ( 3 提供新的应 用主要有如下一些领域：i n t e m c t ，一种非对称和非实时的服务；可视电话，一种 对称和实时的服务；移动办公室，提供e - m a i l 、w w w 接入、传真和文件传递服 务。3 ( 3 系统可以提供不同的数据率，将更有效地利用频谱。另外。3 g 不仅能提 供2 g 己经存在的服务，其新的服务的引入对用户将有更大的吸引力。对于不同 的服务采用多路复用是可以的，同时，在空中接1 3 中也可采用多路复用，3 ( 3 网络 中对不同类型的服务将提供不同的传输承载体。 1 2 无线网络技术 无线网络技术主要包括全口网络技术、移动i p 、蜂窝i p 、无线局域网和移动 自组网等技术。 现有的( 3 s m 的电路交换正在向支持g p r s 的分组交换网过渡。3 ( 3 的应用和 服务将在数据速率和带宽方面提出更高的要求，如果想满足高流量等级和不断变 化的需求，唯一的方法是过渡到全i p 网络，它将真正实现话音和数据的业务融合。 移动碑的目标是将无线话音和无线数据综合到i p 协议这一技术平台上传输。未来 的移动网络将实现全包交换，包括话音和数据都由i p 包来承载，话音和数据的隔 第2 页 国防科学技术大学研究生院工学硕士学位论文 阂将消失。 全i p 网络可节约成本，提高可扩展性、灵活性，并使网络运作更有效。全i p 网络将支持i p v 6 ，解决i p 地址的不足并实现移动i p 。由于i p 在移动通信中的引 入，将改变移动通信的业务模式和服务方式。基于移动i p 技术，为用户快速、高 效、方便地部署丰富的应用服务成为可能。 移动i p 是一个关于移动性的网络层解决方案，可在全球因特网上提供移动功 能，具有可扩展性、可靠性和安全性，可使节点在切换链路时候仍保持正在进行 的通信。移动i p 提供了一种i p 路由机制，使移动节点可以使用一个永久的i p 地 址连接到任何链路上。 蜂窝i p 是一个微移动性管理协议，用于处理小区间切换时的移动性能管理。 蜂窝i p 融合了蜂窝网络提供的能力( 快速切换和对激活和空闲状态的移动用户的 有效位置管理) 和i p 网络固有的灵活性、健壮性和可扩展性，它虽然结合了蜂窝系 统的一些重要特征，但仍然严格基于i p 设计原则。 一般的无线网络需要一些固定的网络设施和集中的管理作为网络运行的先决 条件，而所谓的a d - h o c 无线网络是由无线节点的集中构成的，这些节点都可移动， 无须提供任何网络设施和管理支持就可动态地创建一个无线网络。a d h o c 无线网 络由组成它的移动节点间的交互作用独立地形成网络，而且只有这些交互作用才 能提供必要的控制管理功能，其中的每个节点都是对等的实体，都必须有作为路 由器的功能。当移动节点加入离开网络时或者当节点之间的无线链路不可用时， 网络的拓扑结构会动态改变。一个移动a d - h o c 网络可以独立地由一组无线主机构 成，而不需要任何现有的网络结构支持。 无线局域网( w l a n ) 是一种能支持较高数据传输速率( 2 1 1 m b i t s ) 采用微蜂 窝、微微蜂窝结构的自主管理的计算机局域网络，是计算机网络与无线通信技术 结合的产物。它利用射频技术构成局域网络，提供传统有线局域网的所有功能， 网络所需的基础设施能够按需移动或变化。无线局域网存取构架简单，是相当便 利的数据传输系统。无线局域网络技术大致可分为3 类：窄频微波技术、扩频技 术及红外线技术，目前扩频技术正成为主流。 近年来，随着3 g 的兴起及无线网络带宽的增加激起了在无线i p 网络上进行 实时视频通信的极大兴趣。然而，无线信道存在的带宽波动和高误码率等问题， 使得在无线网络上实时传输高质量的视频是一个富有挑战性的任务。由于无线信 道带宽受限，图像信号必须采用一些有效的图像编码算法( 如h 2 6 3 ，m p e g - 4 ， h 2 6 l 等) 大幅压缩。另一方面，由于无线信道的高误码率，差错控制技术如前向 错误纠正( f e c ) 和自动重传请求( a r q ) 将被加入以保证靠的视频传输。同时，上述 特性也需要一种码率控制系统来动态调节编码端参数，最佳化编码图像的质量同 第3 页 国防科学技术大学研究生院工学硕士学位论文 时保证同步。 1 3 当前的视频编码机制 虽然表示图像和视频信号需要大量的数据，但这些数据往往是高度相关的， 这些相关性会引起信息的冗余，这些冗余可分为：与视频序列电平的近似程度有 关的统计冗余，由同一帧亮度和色度值的近似引起的空间冗余，由连续视频帧间 的近似性引起的时间冗余。视频压缩就是从视频内容中去除这些冗余的过程，从 而减少数据量。从2 0 世纪8 0 年代中期人们就这方面投入了专门的研究，开发出 高效并不易受差错干扰的图像和视频数据压缩技术。 图像和视频编码技术经历了一场变革。从第一代典型的基于像素编码器，到 第二代基于分割的、基于分形和基于模型的编码器，一直到最近出现的第三代基 于内容的编码器，i t u 和i s o 都发布了关于静态图像和视频的编码算法，应用了 基于波形的压缩技术，来均衡压缩效率与重构信号质量。i t u 在1 9 9 1 年发布了第 个静态图像编码标准j p e g ( 也被称为i t ut 8 1 ) 后，1 9 9 3 年又推荐了第一个视频 压缩算法的标准化建议i t uh 2 6 1 ，针对在i s d n 网以p x 6 4 k b p s 的低比特率通信。 此后又投入了更多的工作来开发这个1 1 u 标准的改进版本，得出了一系列视频编 码标准，有应用于视音频数据在c d r o m 存储的m p e g - 1 ，应用于h d t v 的 m p e g - 2 ，以及应用在p s t n 网络上以低比特率通信的1 1 1 jh 2 6 3 ，而后开发了第 一个基于内容的视音频压缩算法，即面向对象的m p e g - 4 ，主要应用于无线网络的 多媒体通信。在2 0 世纪9 0 年代初期，视频技术也得到了很大发展，从单层算法 到可伸缩编码技术，如两层的h 2 6 1 ，两层的m p e g 2 以及1 9 9 8 年1 1 月的多层 m p e g - 4 标准。在过去的几年中，应用了交换模式的算法，在同一个编码过程中组 合了不只一种算法，以实现对给定视频信号的最佳压缩。该领域的研究归结为， 信源和信道联合编码技术可调整输出比特率，从而调整在时变条件下的编码器压 缩率。 另一方面，还改进了一套差错弹性及数据恢复技术，包括零冗余差错隐藏技 术，这些技术被融合到了如m p e g - 4 和h 2 6 3 + 等编码标准中，以减轻信道差错的 影响，提高在易差错环境中的视频质量。现己提出的删h 2 6 l 建议是适用于甚 低速率的新编码算法，它组合了已有压缩技术，如图像差值预测、交迭块运动补 偿和基于小波的压缩，锝到比现有基于像块的技术如h 2 6 3 + 平均提高o 5 1 5 d b 的效果。图1 1 描述了一个视频编解码结构框图。 每个输入帧在完成压缩处理之前要经过一些步骤。首先，抑制或改进输入帧 的一些不理想特征，例如在编码前对输入帧进行噪声过滤等，这样编码器的效率 可得到显著提高。第二步，视频帧经过数学变换，将像素转换成不同的空间区域。 第4 页 国防科学技术大学研究生院工学硕士学位论文 离散余弦变换( d c t ) 、小波变换的目标，是去除视频序列中的统计冗余，这种变换 是视频压缩系统的核心第三步是量化，将每个变换过的像素用有限的输出信号 集表示。因此，变换过的像素可能值范围缩小，但也引入了不能恢复的质量损失。 在解码器端，逆量化过程将信号映射为相应的重构值。接下来的一步，编码过程 再将码字分配给量化后的视频数据。通常，无损编码技术，如h t t f f m a n 编码和算 术编码，是利用每个信号发生概率的不同来编码。由于视频信号的时域活动性， 并且视频压缩采用了变长编码，视频编码器产生的比特率变化很大，为了调整编 码器在实时传输中的输出比特率，在编码器和接收端的网络间使用了平滑缓存器 来控制流量。为了避免缓存器的溢出和流量不足，采用了反馈控制机制，根据缓 存器的占有率来调节编码过程。 图l l 视频编解码基本过程结构图 1 4 编解码方案的选定 对于各种视频应用，为了选择最适用的视频编码算法，需要考虑的因素主要 包括：视频质量和带宽，视频编码算法的复杂性，各种不同业务流之间的同步以 及编码和接收端解码间的延迟。通常，视频质量和带宽是两个最重要的因素。一 般来说，对于一个给定的压缩机制，产生的比特率越高，视频质量越好，而应用 的类型则决定了用户对视频质量的需求。在大多数的多媒体应用中，比特率受限 于传输带宽与( 或) 功率。在实时应用中，要求编码算法低复杂度，延迟要保持最小 量。 到目前为止制定的多种视频编码标准覆盖了很大的视频速率范围和应用领 域，能满足不同要求的应用，但无线网络上的传输速率仍然很有限，且误码率高， m p e g - - 4 标准则具有较好的高压缩效率和强信道容错能力。 m p e g - 4 对视音频信息编码的结果数据率支持在一个带宽范围内可适应性变 第5 页 国防科学技术大学研究生院工学硕士学位论文 化，使总带宽为5 k b p s - - 4 m b p s ；其中超低码率范围5 k b p s - - 6 4 k b p s 适合于c i f 格 式以下分辨率且帧率在1 5 f p s 以下的应用场合，6 4 k b p s - 4 m b p s 适合于其他大多数 场合，且与m p e g - 1 ，m p e g 2 等自然兼容但编码效率有很大的提高，而且编码的 计算量和处理的复杂度增加的很少，易于实现，具有良好的实用性和继承性。其 上限远低于m p e g 2 标准的上限，但图像质量却不低且更能灵活控制。其主要的 应用方向仍然是低码流视频业务，用于无线接入的高误码比的通信环境，因此在 m p e g - 4 中既增加了一些改进编码效率的方法，同时也提高了抗误码性能的能力。 基于m p e g 4 的视频实时传输服务主要集中在连续流媒体应用、远程视频监 控、网络视频新闻以及交互式视频游戏等领域。它通过m p e g - 4 高效视频压缩和 网络传输控制策略，将原始视频压缩后实时传输到接收端，通过较少的缓冲控制， 就能够在远端得到优质的视频服务。故在本论文中，采用的是m p e g - 4 的编解码 标准，以方便进行研究。 1 5 本文的工作 本文的主要工作分为以下三个部分： 首先，在第二章中，以视频监控应用为背景，设计了无线多路复用视频监控 系统，该系统的设计方案分为两部分，设计的特点在于为了解决传输带宽不足的 问题，提出了多路复用的传输方法。接着针对所设计的系统在无线i p 网络中会遇 到的问题进行了分析，得出了在现有无线网络中进行实时视频传输必须在系统终 端进行码率控制的结论。 然后，第三章提出了无线多路复用视频传输的码率控制策略，策略的提出充 分考虑到无线多路复用视频传输的应用特点，其中涉及到反馈控制机制、v b r 信 道中的码率控制、c b r 信道中的码率控制等几个重要问题。这一策略与其他策略 的最大不同之处在于它是针对多路复用的情况设计的。 第四章为第三章提出的码率控制策略设计了具体的算法，针对提出的策略中 涉及到的三个重要问题分别进行了反馈控制算法、v b r 信道中的码率控制算法和 c b r 信道中的码率控制算法的研究和设计。 最后，在第五章中，对无线多路复用视频传输的码率控制技术的研究工作进 行了总结。并为将来的发展提出了展望和规划。 下面，将分章节介绍这些具体的工作情况。 第6 页 国防科学技术大学研究生院工学硕士学位论文 第二章无线多路复用视频传输的码率控制问题 2 1 无线多路复用视频监控系统的设计方案 本文在这一章首先提出了无线多路复用视频监控系统的设计方案。设计的视 频监控系统，属集多媒体信息的综合性、计算机的交互性、通信网络的分布性和 监控的实时性等技术于一体的综合系统 4 1 ，它实时地把被监控对象的视音频信息远 程传输给位于不同地点的监控人员。本文将系统定位成个通用的适合于在无线 网络上实时传输视频监控信息的软件平台。 2 1 1系统总体功能设计 设计的视频监控系统在功能上的具体要求是： 在数据源上，支持实时的数据； 相应地在视频压缩环节，能够对实时视频数据进行压缩； 在传输上，要采用适合视频流传输的协议，并具有一定的流量控制功能： 具有解码和播放的功能； 支持的媒体格式标准是m p e g - 4 。 2 1 2 系统结构 整个系统由移动视频采集工作站和监控中心两大部分组成。如图2 - 1 所示。 ( 1 ) 移动视频采集工作站 作为监控视频图像采集点，通过摄像机实时采集视频，将图像用m p e g - 4 标 准压缩，打包，并根据网络状态对编码数据进行码率调整，使用r t p u d p i p 协议， 完成视频数据从工作站到监控中心的传输。 ( 2 ) 监控中心 监控中心采用基于公众因特网的b r o w s e r s e r v e r 方式，构成一个视频监控流发 布系统。整个中心由视频流发布系统、w e b 发布服务器、用户浏览播放终端以及 媒体流传输网络4 部分组成。其中w e b 服务器提供h r r p 访问服务，向浏览用户 提供操作界面，同时作为信息管理平台，对分布式的各监控视频发布服务器视频 资源信息进行统一管理和资源定位；各个视频流发布系统在接收到由相应的移动 视频采集工作站传输来的实时监控信息后，将其转换成合适的流媒体文件格式， 在流媒体数据库实现监控图像数据的存储，并通过与终端用户建立直接连接，进 第7 页 国防科学技术大学研究生院工学硕士学位论文 行媒体信息流的发布；终端客户通过浏览器登录访问w e b 网站，以获取实时监控 图像浏览、回放、点播等服务：媒体流传输网络可以是局域网、内部专网或i n t e r a c t 。 图2 1 无线多路复用视频监控系统结构示意图 第8 页 国防科学技术大学研究生院工学硕士学位论文 2 1 3 移动视频采集工作站的设计 如图2 2 移动视频采集工作站分为u 1 ( 用户接口) 模块、视频模块和网络传输模 块三部分。分别实现控制、视频的采集编码以及传输的功能。 图2 - 2 移动视频采集工作站端模块 2 1 3 1u i 模块 模块分为主控制面板和视频回放窗口两部分，负责与用户的人机接口交互， 包括网络服务、视频录像的控制、本地录像的回显。 ( 1 ) 主控制面板包括网络服务控制部分、视频采集控制部分、系统消息通知窗 口。主控制面板接受用户的操作，完成网络服务、视频捕捉的启动、关闭，同时 还把系统操作结果显示在系统消息通知窗口。 ( 2 ) 视频回放窗口显示工作站采集到的视频，可与监控中心看到的图像进行视 频质量对比。 图2 - 3 u i 模块 第9 页 国防科学技术大学研究生院工学硕士学位论文 2 1 3 2 视频模块 视频子模块负责视频数据的处理，包括采集、编码形成m p e g - 4 视频数据流， 根据反馈控制信息进行码率控制，将数据流分组打包后传递给网络传输模块。如 图2 - 4 视频模块主要包含三部分； ( 1 ) 视频捕获模块接受u i 模块控制，开启或关闭视频采集，设置图像格式为 c i f 或是q c i f 。 ( 2 ) 视频采集回调函数，该函数由视频捕获模块设置，当视频采集开启时，如 果采集设备采集到一帧图像，w i n d o w s 系统将调用该函数，并把采集到的图像数 据传入到该函数。 ( 3 ) 基于m p e g - 4 的视频压缩模块接收r g b 数据，按照m p e g - 4 标准对数据 进行编码、打包，根据发送缓冲器和网络传输模块提供的反馈控制信息进行码率 控制。 j 视 控 婺据 制 信 令 视颇捕薪樽蚺卜_ 兰兰e 叫 榍桶采肇同调甬髫| 视 基于m p e g - 4 的视频压缩模块 霎 m p e g 4 编码器 流 j l ，n _ 发送缓冲器 反 翁王 馈 据l 控 制 信 息 图2 - 4 视频模块 2 1 3 3 网络传输模块 网络传输模块负责建立网络连接，将接收到的m p e g - 4 视频分组数据用 r t p u d p i p 模式打包，然后通过无线网络发送给监控中心，并且根据接收到的由 监控中心一端发送的反馈信息对网络状况进行判断，按照反馈控制协议为视频模 块中的编码器提供反馈控制信息，进行码率控制。如图2 5 网络传输模块主要由以 下三部分组成： 第1 0 页 国防科学技术大学研究生院工学硕士学位论文 ( 1 ) 网络连接管理模块，该模块一方面接收u i 模块的控制，建立网络连接进 行数据传输，或断开连接结束传输过程，并把连接的状态信息传递给u i 模块。 另一方面，由于目前在大部分地区1 路c d m a l x 信道实际带宽为8 0 k b p s ，l 路g p r s 信道实际带宽为3 0 5 0 k b p s ，无法满足视频监控中传输的实时性要求。 按照带宽为8 0 k b p s 的c d m a l x 信道计算，每秒仅可传输经m p e g - 4 压缩的视频 3 5 帧。但如果同时使用3 个c d m a l x 信道进行捆绑传输，就可以达到2 4 0 k b p s 的总数据带宽，每秒传输视频数量最高可达到1 5 帧，已能满足用m p e g 4 标准压 缩后的视频信息实时传输的要求。由图2 1 可以看到一个移动视频采集工作站同时 使用多个无线信道发送数据，这就是为了能够实时地传送数据，充分利用信道带 宽，使得监控中心能够在传输延时尽可能小的情况下接收到前端采集的视频信号， 在传输过程中，即使某个信道中断，也并不影响其它信道的传输，整个传输过程 也不会受到影响，而且中断的连接马上会重新建立起来，这就是本文提出的多路 复用的传输方法，即同时采用多个无线信道进行数据传输。因此，在传输数据的 过程中，网络连接管理模块将r t p 瓜t c p u d p i p 模块打包后的m p e g - 4r t p 包依 据各无线信道的当前状态动态地分配给各个信道发送，并且根据数据的实时分配 情况生成关于各信道的r 1 陀p 控制信息包，再由对应的各信道发送至监控中心一 端。此外，网络传输模块从各个信道接收监控中心一端的生成的r t c p 反馈控制 包。 ( 2 ) r t p r t c p u d p i p 模块负责将视频模块送来的m p e g - - 4 视频分组数据以 r 1 p ，1 7 d m p 模式打包，先转化成r t p 数据包，再经过u d p i p 打包后送网络连接 管理模块；网络连接管理模块也将收到的接收端r t c p 控制信息送给 r t c p r ，r p ，u - d p h p 模块，解包后的反馈数据送反馈控制协议模块进行反馈控制。 ( 3 ) 反馈控制协议模块接收由i 汀p r t c p u d p i p 模块送来的解包后的网络状 态报告，按照反馈控制算法计算网络带宽，将反馈控制信息送给视频模块进行码 率控制。 第1 1 页 国防科学技术大学研究生院工学硕士学位论文 2 1 4 监控中，b 的设计 图2 - 5 网络传输模块 目前的视频监控系统一般采用基于c l i e n f f s e r v e r 模式构建和发布，由于是针对 性开发，业务变更或改变不够灵活，需要专门的客户端安装程序，通常仅限于局 域网或专用网内部使用。显然，基于公众因特网的b r o w s e r s e r v e r 方式，方便解决 通用性问题。为此，本文在监控中心的设计部分提出了基于b s 模式的分布式视 频监控流发布系统，系统结构如图2 - 1 所示。该系统遵循开放协议、软件管理和播 放控制的标准化，在统一的基于i p 的w e b 框架中提供监控视频流发布服务【5 】1 6 】。 较c s 模式的监控系统更易于集中管理和维护，简化了客户机的工作，屏蔽了监 控视频发布服务内部结构，具有更好的安全和易用性。 在2 1 2 中谈到监控中心主要由视频流发布系统、w e b 发布服务器、用户浏览 播放终端以及媒体流传输网络4 部分组成，在这4 部分之前，监控中心要接收由 移动视频采集工作站发送来的的m p e g - 4 视频数据r t p 包和r t c p 包，并按照反 馈控制协议向工作站发送反馈信息，将失序的打包视频数据重新排序存储，这些 工作由在视频流发布系统前端的网络接口模块完成。因此确切地讲，监控中心由5 部分组成，下面详细介绍各部分的设计。 2 1 4 1 网络接口模块 如图2 - 6 网络接1 3 模块由反馈控制协议、接收端缓存、流媒体数据库服务器三 部分组成。 第1 2 页 国防科学技术大学研究生院工学硕士学位论文 i反馈控制协议 、 jf 髓l r 1 甲，u i ) p ，口模型 静 i i 接收端缓存卜_ 一 i i 流黼库卜 图2 - 6 网络接口模块 ( 1 ) 反馈控制协议，该部分按照一定的反馈控制算法生成r t c p 反馈控制包。 ( 2 ) 接收端缓存，由于移动视频采集工作站同时使用多个信道发送数据，而且 无线传输网络存在延时和抖动，使得监控中心接收到的数据存在延迟和失序的问 题。为此，在监控中心一端使用缓存来弥补网络延时和抖动的影响，对失序的数 据包进行处理，从而使缓存数据能连续有序地输出，不致因为网络暂时拥塞和抖 动使视频播放出现停顿。 接收端缓存采用循环队列结构存储数据包：缓存中的数据包先进先出，前端 按接收端的处理速率即流媒体发布服务器的处理速率从缓存取出已排序的数据， 后端按实际到达的数据速率将接收到的数据读入缓存，通过丢弃已被取出的数据， 可以重新利用空出的缓存空间暂存后继尚未排序或取出的数据。如图2 7 ，对缓存 区失序的数据包进行排序基于以下的方案：接收端对接收到的数据包进行排序的 同时，检查数据包的有效性：如果此数据包的序号小于当前缓存区内的最小序列 号，则认为此包无效，并丢弃：其余情况下，把接收到的数据包在缓存区内按序 号重排。 ( 3 ) 流媒体数据库服务器，该部分存储接收端缓存器排序后的视频数据，作为 历史监控视频记录以备浏览用户点播回放用。 第1 3 页 国防科学技术大学研究生院工学硕士学位论文 图2 - 7 接收端缓存的数据包排序方案 2 1 4 2 流媒体发布服务器 流媒体发布服务器是提供流服务的关键。接收到由接收端缓存排序的视频数 据包后，流媒体发布服务器对其进行流式封装和媒体发布，实现监控图像的现场 实时浏览。当用户点播回放历史记录信息时，首先在流媒体数据库服务器中找到 相应文件，进行数据分离和提取，然后交流媒体发布服务器进行媒体流发布。 实际的视频监控系统监控点数量多、分布范围广，随着媒体流发布规模的扩 大，单一流媒体发布服务器由于带宽和数据处理能力有限，将制约服务能力扩展。 该系统采用分布式流媒体发布技术，流媒体由分布式多服务器发布，监控数据请 求分流到各自对应的发布服务器，系统并发访问能力得到提高。 为浏览用户提供的点对点服务中，数据的发布方式分为单播和组播两种。单 播方式主要用于历史记录信息的点播回放，在收到各用户分别发送的单独请求后， 流媒体发布服务器向每个用户发送申请的数据包拷贝，用户可以控制播放过程， 包括开始、暂停、快进等。进行实时监控信息流的发布时，采取组播方式，所有 发出请求的浏览用户共享同一数据包，以降低网络上传输的数据包总量，减少网 络拥塞和冲突的发生。 第1 4 页 国防科学技术大学研究生院工学硕士学位论文 2 1 4 3we b 发布服务器 通过视频监控信息的w e b 发布，系统可以涵盖多种网络类型，屏蔽内部视频 发布结构。实现分布式流媒体资源的集中管理。w e b 视频发布服务管理的重要特 征还体现在它具有多服务器支持、动态装卸、数据动态存储和代理服务的能力。 该系统在w e b 发布网页中，通过接收w e b 浏览器的服务请求，对服务数据进行检 索和重定向，直接建立用户与相应视频流发布服务器的连接，视频数据流主要限 制在浏览端和相应流媒体发布服务器之间。在流媒体发布服务器的配合下，w e b 发布系统对网络规模的支持具有动态可伸缩性，并且能够充分利用网络资源、提 高数据流并发处理能力，支持多用户的并发访问。针对大部分用户对w i n d o w s 平 台和网络的使用习惯，w e b 发布也可以减少用户使用复杂性。 2 1 4 4 用户浏览播放终端 不同于c s 模式下需要专门的客户端安装程序，基于b s 的流媒体播放终端 可采用普通计算机，安装w e b 浏览器和w i n d o w sm e d i ap l a y e r 媒体播放器等软件 对流信息进行捡索、接收和解码还原。w i n d o w s m e d i a p l a y e r 还可根据用户的网络 带宽，自动地调整图像压缩质量。 2 1 4 5 流媒体发布过程 流媒体发布过程如图2 8 所示。浏览用户通过w e b 服务器提供的连接，选择 某一流媒体服务；w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息， 从原始信息中检索需要传输的实时数据，并重定向到相对应的流媒体发布服务器； w e b 浏览器启动音视频客户程序，使用h t t p 从w e b 服务器检索相关参数对音视 频客户程序初始化，这些参数可能包括目录信息、音视频数据的编码类型或与音 视频检索相关的服务器地址；浏览器客户程序及视频发布服务器建立连接，运行 实时流协议，交换视频传输所需的控制信息，实时流协议提供执行播放、快进、 快倒、暂停及录制等命令的方法；视频发布服务器使用r t p r j d p 协议将视频数据 传输给浏览器客户程序，一旦视频数据抵达客户端，浏览器客户程序即可播放输 出。 一 1w 曲服务器l h n 厂p 厂r c p i l 流去邛妻 l 流文件 l 流黼库巨 l 叫 流媒体发布 i r ：n 叽兀 p l i服辑罂l l 一一 o ：控制信息：i ；r t s p t c p i j d p to 图2 - 8 基于b s 的流式传输发布过程 第1 5 页 国防科学技术大学研究生院工学硕士学位论文 2 2 无线i p 网络中的视频传输 2 1 节中设计的视频监控系统利用无线网络完成视频数据在移动视频采集工作 站和监控中心间的传输，由于无线网络信道环境独有的特性，在无线通信系统开 展视频业务面临许多困难，必须要求视频编解码和传输系统能够克服信道的高误 码比和包丢失。为了使设计的系统能够完成视频数据的实时高质量的传输，这一 节将研究无线网络视频传输中的一些相关问题。 2 2 1 无线l p 网络中影响视频质量的因素 2 2 1 1 无线信道特性的影响 无线网络中影响视频质量的信道因素主要有以下几个1 7 】： ( 1 ) 带宽波动。无线信道的吞吐量会因为多径衰落、同频道干扰和噪声的扰动 而降低，这对于无线网络上的实时视频传输是一个严重的问题。 ( 2 ) 高误码率。与有线连接相比，无线信道一般具有大得多的噪声，而且具有 小尺寸( 多径) 和大尺度( 阴影) 衰落，使得误码率( b e r ) 非常高。误码会对视频演播 质量造成破坏性的影响，因此迫切需要视频在无线信道上的可靠传输。 ( 3 ) 编解码端之间严格的时问同步：一旦解码端的反馈开始，每一编码帧将 有一个严格的时间期限，若某帧到达解码端超过期限，则无效( 除非解码端能动态 调整反馈时间) 。 2 2 - 1 2 口网络特点的影响 传统电信网络的建立是先有业务后有网络，因此有q o s 保证。i p 网络的建立 具有不同的思路，即网络在构造时就是为了开展多种业务。很多业务都可以在i p 上实现，但是每增加一种业务。都要占用一定的网络带宽资源，虽然网络的传输 能力在不断增强，但还是不可能满足大量业务的要求，网络必然会出现拥塞。一 方面，排队时延将造成实时业务质量下降；另一方面，由于排队超时引起的丢包 也将导致质量下降。例如，网络的可用带宽是时变的，若视频流传输速率高于网 络可用带宽时会发生阻塞，导致分组丢失率提高，端到端时延加大，致使视频播 放的流畅性和清晰度受到不同程度的影响，甚至有可能使整个系统发生崩溃。当 网络处于拥塞崩溃状态时，微小的负载增量都将引起网络的有效吞吐量急剧下降， 造成突发的丢包和延时过大。而如果视频流传输速率低于网络可用带宽，就无法 有效地利用网络资源。为了提高网络的服务质量，必须对带宽进行有效管理。 第1 6 页 国防科学技术大学研究生院工学硕士学位论文 2 2 - 2 无线i p 网络视频q o s 的解决方案 针对无线信道的固有特性和无线球网络的特点对实时视频传输造成的影响， 有效的q o s 解决方案能够为给无线i p 网络中的实时视频业务提供服务质量保证。 2 2 2 1 基于网络的q o s 解决方案 根本的解决方案是从网络本身入手。q o s 就是针对这一管理策略的协议，q o s 本身并不增加带宽，只是对带宽进行有效的管理。现有的q o s 主要分为以下两种： ( 1 ) 资源预留管理( 集成业务) 。根据申请q o s 请求进行资源分配，根据带宽资 源进行管理。 ( 2 ) 优先级管理( 区分业务) 。对网络流量进行分类，根据带宽资源管理策略 的准则进行资源分配，对于要求高的业务给与