（电路与系统专业论文）基于IP网络的MPEG4实时视频流的QoS控制研究[电路与系统专业优秀论文].pdf

北京交通大学硕士学位论文 摘要 摘要 随着多媒体技术和网络技术的发展，基于口网络的实时流媒体 应用越来越普遍。实时流媒体的传输对带宽、延迟、丢包和抖动等 都有较高的要求，但目前“尽力而为”型的网络对视频流的传输缺 乏足够的服务质量( q o s ) 保障。q o s 控制问题已成为网络实时流 媒体应用的瓶颈问题，这个问题的解决对于实时流媒体业务的发展 有极大地推动作用。 本文主要研究p 网络中实时流媒体通信的q o s 控制问题，针对 这一问题重点进行了以下几方面的研究： 1 着重阐述了m p e g 一4 的编码思想，重点研究了分层可扩展 性编码这一适合网络传输的视频编码技术。 2 以全局的观点构建了一种端到端的m p e g 4 视频实时传 输的框架，并介绍了该框架中主要模块的功能。 3 从端点的角度出发，详细阐述了应用层o o s 控制技术。 应用层0 0 s 控制拥塞控制和差错控制两大类。拥塞控制机制主要 包括：速率控制、速率自适应编码、速率整形，分别进行了详细 地研究，重点研究了可扩展的二阶率失真模型，并在此基础上提 出了一种m p e g 4 自适应码率控制机制。差错控制主要包括： f e c 、限制时延重传机制、差错弹性编码、差错隐藏，在研究的 基础上，结合f e c 和限时a r q 提出了混合f e c 山嫒q 的差错控 制机制。 4 从网络的角度出发，详细介绍了h l t 锄e t 中提供0 0 s 服务的 i n t s e 、d i f 奄e r v 模型，具体分析了它们各自的体系结构、技术特 点，最终采用了d i f f s e r v h l t s e 相结合的机制作为端到端网络o o s 控制机制。 5 结合前面的一些研究工作，建立了分层结构动态自适应的 北京交通大学硕士学位论文 摘要 q o s 控制模型，并通过实验仿真验证该模型的正确性和可行性。q o s 是一个系统性的问题，并不是网络中某一个体的行为描述，该模型 的建立有助于从系统的观点解决q o s 问题。 关键词：m p e g 4 标准、q o s 控制、拥塞控制、差错控制、 h l t s e ，d i 船e r v 2 北京交通大学硕士学位论文 摘要 a b s t r a c t w i t ht h ed e v e l o p m 觚to fm u n i m e d i 8t e c h n o l o g ya i l dn e t 、o r k t e c h n o l o g y ，t l l ev i d e oc o m m u n i c a t i o nb 踮c do ni pn e h 7 0 r kb e c o m e s m o r ea n dm o r eg e n e r a l t h et r a n s m i s s i o no fr e a l 一t i i n ev i d e 0n e e d s 撕曲c fd e m a n do nb a 工l d w i d t h ，d e l a y j i 豫a i l d1 0 s sr a t ee t c 。h o w e v e r t h ec u f r 饥t b e s t - e 筋n ”i 玎t c m e tl a c k se n o u 曲q u a l 时o fs e r v i c e s ( q o s ) g u a r a n t e e st ov i d e os 仃e 锄i n g t h eq o sp r o b l e mh 蠲舭a d y b e c o m e 山eb o 牡1 e 1 1 e c ko fm er e a l - t i m ev i d e oa p p l i c a t i o n ，s o ，t 1 1 e s e t t l e m e n t so ft h eq o sp r o b l 锄h a v ei m p e t u sf e a t l yt od e v e l o p i n g t h er e a l 一t i i n ev i d e oa p p l i c a t i o n i n 吐虹st h e s i s ，h o wt or e s o l v et l l eq o sp r o b l 锄o ft h er e a l t i m e v i d e oc o 碱u n i c a t i o nb a s e do n 口n e t w o r kb e c o m e s 也ek e yp o i n t ， a i l dm em a i nr e s e a r c hf o c u s e so nt h ef o l l o w i n gf i v ea s p e c t s ： 1 t h er e s e a r c hs t a n sw i t hs t u d y i n gm 【p e g 4s 伽l d 盯d ，a i l dt h e i l h a se x p l a i n e dt h ec o d et h o u 曲to fm p e g 一4e m p h a t i c a l l yt h e1 a y e r s c a l a b l ec o d i n gt e c l l i l o l o g yo fv i d c 0c o d ew h i c hi ss u i t a b l ef o ra 1 1 d u s e di nt h en e t w o r kt r a i l s m i s s i o ni sk e yr e s e a r c hp o i n t ，i nt 1 1 i st h e s i s 2 w i mt h ev i e wo ft h eo v e r a l ls i t i l a t i o n ，m ep r o j e c ts 仇l c t u r c s m e 矗锄et l l a ti su s e df b rt h ee n d _ t o e n dn 孤s m i s s i o ni nr e a l 一t i m e m p e g - 4v i d e o a n dh a si n t r o d u c e dm e 矗m c t i o no f 也em a i nm o d u l e i n m i s 丘j 咖e 3 w i mt h ev i e w o ft l l et e n n i n a l ss i t u a t i o n 。t 1 1 et h e s j sh a s e x p l a i n e di nd e t a i lm eq o sc o n t r 0 1s c h e i n eo ft 锄：i l i n a l s t h em e s i s h a sr e s e a r c h e d 也es c a l l b l eq u a d r a t i cr mm o d e l 蹦讪a t i c “y a n d p u tf o r w a r dal ( i n do fa d a p t i v ee n c o d i i l gr a t ec o n 仃d lm e c h a i l i s mf o r 田e g 一4v i d e oo nm i sb 踮i s t h em e s i sh 孙r e s e a r c h e dm ef e c 姐d a r q ，a i l dp u tf o n 盯dh y b r i df e c 山堰qt e c h n o l o g y 3 4 w i mm ev i e wo fm en e t w o r ks l t l l a t i o n m et h e s i sh a s i n t r o d u c e dh 1 塔e a n dd i s e r vm o d e li nd e t a i l m a k e sac o c r e t e a i l a l y s i so ft h e i rs y s t e ms 饥l c t i l r e ，t e c l l i l 0 1 0 百c a lc h a r a c t c 五s t i c ，a n d f i n a l l y h a s a d o p t e dt h e c o r n b i n e dh l t s e r v d i 船e r vm o d e lt o c n d t o - e n dn e 押酣kq o sc o n 抽胡m e c h a n j s m 5 c o m b i n i i l gt h ep r e c e d i l l gr e s e 耐1w o r k ，也et l l e s i ss t n l c n l r ea h i e r a r c h yd ”a n l i ca d 印t i v eq o sc o n 仃o lm o d e l ，a 1 1 dv 耐毋t h e e x a c 饥e s s 卸df b a s i b i l i 哆o f l em o d e lm r o u g he x p e r i m e n te m u l a t i o n q o si sas y s t e 埘cq u e s “o n ，ta ni n d i v i d u a l s b c h a v i o lt h i sm o d e l c o n 砸b u t e st os 0 1 v i n gq o sp r o b l e m 丘o mt h es y s t e m a t i cv i e w k e yw o r d s ：加e g - 4 ，q o s ，c o n g e s t i o nc o n 仃o l ，e r r o rc o n 仃0 1 h l t s e d i f 搭e n ， 4 北京交通人学坝f + 学位论文第一章 第一章绪论 1 1网络实时流媒体传输现状 现有的i n t e m e t 所提供的是“尽力而为”的服务，在这种服 务模型下，所有的业务流都“一视同仁”地公平地竞争网络资源， 网络设备对所有的数据包都采用“先来先处理”的工作方式，尽 最大努力将1 p 包送达目的地。但对i p 包传递地可靠性、延迟等 不能提供任何保证。这些技术很适合e m a i l 、f t p 、w w w 等业务。 随着i n t e m e t 技术的不断发展，流媒体业务的应用越来越广泛， 流媒体、l k 务的应用必将成为未来网络的重要应用之一。流媒体与 传统的应用媒体存在着重要的特征差别，流媒体的数据量庞大， 对时刈的要求相当苛刻，不可避免地导致网络捌塞，出现丢包、 误码、延迟、抖动等问题，这样的特性差别对传输网络的要求就 存在着明显的不同。 尽管由于网络技术的发展，网络带宽以及网络速度都得到了 极大的提高，但需要通过网络传输的数据却也几乎以与网络发展 速度相同的速度增加，甚至超过网络发展的速度，这使得网络带 宽与网络速度依然是一个严峻的问题。同时，近年来发展起来的 一些新的应用( 如多媒体应用、组播应用等) 不仅增加了网络流 量，更因为这些应用改变了以往互联网上的流量性质，因而它们 需要全新的服务要求。由于不具备q o s 保障特性，不能预留带宽， 不能限定网络时延，因此，目前的因特网无法支持许多新的应用 如远程教育、远程医疗、远程会议等。 北京交通人学坝i ：学位论文 第一帝 1 2 流媒体应用的瓶颈问题 流媒体应用的瓶颈问题是q o s 问题。流媒体技术本质上是一 种数据传送技术，它运用可变带宽技术把客户端要接收的数据变 成一个稳定连续的流，源源不断地送出，使用户在2 8 k b 到1 2 0 0 k b 的带宽环境下都可以在线欣赏到连续不断的高品质音频和视频节 目。流媒体行业产业链的形成必须具备宽带建设、技术支持、网 络运营、内容提供四个市场环节并实现环节间的有序合作。 就国内国外目前流媒体应用状况来看，尽管与流媒体有关的 应用呈增长趋势，但流媒体市场尚未培育成熟。虽然宽带建设已 经具有一定规模，运营商也在基础设施建设方面进行了较大投入， 但至今流媒体应用状况并不尽如人意，运营的巨大投入没有带来 的预期的收益。那么，问题出在哪里昵? 从整个流媒体市场与应 用状况看，用户不够多，内容比较贫乏，没有好的盈利模式，难 以产生收益是当前存在的突出问题。而追根溯源，这些问题又都 产生于一个基本的问题：流媒体应用的o o s 问题没有有效的解 决。流媒体不同于单一的字符信息，它包含有音频、视频以及文 字等多种信息载体，并要实现多种信息载体的有序组织和展现， 用户能够得到完整、流畅、赏心悦目的内容展现就是0 0 s 的目标。 但就目前来看，这样的目标还没有达到，特别是通过公共传输网 络建没的流媒体应用，丢包、延迟、音视频质量抖动等问题是非 常普遍的。 q o s 问题没有解决，用户得不到满足的服务，当然就不会使 用这种业务；没有足够用户，厂商看不到利益，当然内容提供商 便没有兴趣制作好的内容；没有足够好的内容，不能吸引更多的 用户，致使收益变得遥遥无期。q o s 问题是流媒体应用的瓶颈问 题因此， q o s 问题是流媒体应用中的核心问题，现在又成了一 个瓶颈问题。q o s 问题的解决不是宽带建设一个方面的事情，这 北京交通人学坝卜学位论文第一章 个问题的彻底解决需要更多的技术支持。 1 3i n t e r n e t 上流媒体传输关键技术 那么要解决t n t e m e t 上流媒体传输的问题，关键应当解决好 以下几方面的技术： ( 1 ) 流媒体压缩编码技术。流媒体技术的特点要求媒体流的 压缩不仅是高效的，还必须是码率可调整的，即流媒体数据只压 缩一次，但可以以多个帧率、空间分辨率或视频质量进行解码， 从而仅用一个码率可调整的码流就可以支持所有的用户。针对媒 体流发展的需要，2 0 0 0 年m p e g 4 标准增补了视频流应用框架， 提出了f g s 编码方法。目前m p e g 4 中f g s 支持质量s n r 可扩 展，而不支持时问可扩展，无法进行时削分辨率的调整。为此， 研究人员又提出了一种混合时间一s n r 的f g s 编码方案，采用一 个f g s 增强层就可以调整质量和时问分辨率，扩展了增强层的码 率范围；另外提出的p f g s 方法针对f g s 编码效率不高的缺点， 利用多个增强层进行预测以减少预测误差，提高了编码效率，但 同时增加了运算复杂度。近来，人们对f g s 的研究主要集中在提 高增强层的视频质量方面，包括频率加权、对感兴趣区有选择地 增强以提高视频质量、提高增强层的抗误码能力等。研究人员还 提出了一种基于块的精细可扩展( b f g s ) 编码方法，该编码方 法将区域增强从编码中分离出来，可以很好地支持区域级动态码 率分配。 ( 2 ) q o s 控制技术。q o s 控制技术是保证传输质量的有效 手段，它主要目的是在视频传输过程中改善质量。q o s 控制并不 能增加网络带宽，而是通过优化网络、处理、缓存等资源的使用 使网络尽可能满足多种业务的需求。流媒体中的q o s 大致可以分 为两类：基于网络端和基于应用端。基于网络的0 0 s 控制着眼于 通过对网络设备的资源预留、区分服务、排队策略、调度策略等 北京交通人学舰 学位论文 第一帝 来保证o o s ，比如r s v p 、i n t s e r v 、d i 仃s e r v 、m p l s 、流量工程 等。基于应用端的o o s 立足于传输的两端，大致也可以分为两类： 拥塞控制和差错控制。拥塞控制的目的是避免因为网络捌塞导致 包丢失而造成质量下降，包括对网络可用带宽的估计、码率匹配 两个方面。拥塞控制的目的是减少包的丢失，但是无法避免包的 丢失。在这种情况下，可能需要一定的差错控制机制，这包括应 用层和传输层的差错控制。应用层的差错控制包括从视频压缩角 度考虑的抗丢包能力以及客户端的丢包检测与恢复，传输层的差 错控制包括扣包算法的设计以及前向纠错编码等。 ( 3 ) 流媒体传输采用的网络协议 在i n t e m e t 上传输视频流网络传输协议的选择至关重要，它 将直接影1 1 向到视频流传输的实时性能和通过网络传输后客户端接 收到的视频图像的质量。而传输层协议的选择是整个设计和实现 的关键。传输层的任务是根据予网的特性最佳地利用网络资源， 并以可靠和经济的方式为两端主机建立传输连接，以透明的方式 传送报文，在这一层操作系统使用t c p u d p 。在i n t e m e t 上传输 视频信息时需要的传输协议包括：网络层的i p 协议，传输层的 u d p 、r t p 瓜t c p 协议，以及会话层的r t s p 、s i p 协议等。i p 提 供了在i n t e m e t 上传送t c p u d p 数据包的公共平台，t c p ，u d p 是用于传送r t p ，王玎c p ，r t s p ，s 口数据包的低层传输协议。这些协 议结合起来可以提供i n t e m e t 上的视频流服务。 ( 4 ) 媒体间的同步技术 媒体同步机制的核心是在媒体内或媒体间说明时问关系。说 明时间关系的方法包括基于间隔的方法、基于轴的方法、基于控 制流的方法和基于时间的方法。常用的说明连续媒体的方法是基 于轴的说明或时间戳。对于终端系统而言，同步机制包括阻止机 制和纠正机制。前者主要通过减小时延和抖动来减少同步错误， 而后者主要是在发生同步错误之后恢复同步。考虑到1 1 1 t e m e t 传 北京交通人学坝l 学位论义 销一_ 串= 输时延具有随机性，同步错误是不可避免的。因此，在接收方必 须进行错误补偿。一个纠难的机制是采用流同步协议，泼协议使 用期望时延的概念在不同的媒体流之削调整表述时间以恢复网络 时延的变化。 1 4 本文所做的工作 基于m p e g 一4 标准的视频编解码技术应用越来越广泛，计算 机网络也在飞速地发展，网络与视频传输的融合将为多媒体通信 的必然趋势，基于i p 网络的m p e g 一4 视频传输必将成为一大研究 热点。本文从m p e g 4 编解码技术、流媒体网络传输、端到端的 0 0 s 控制技术、网络q o s 控制技术等四个方面做了详细的研究， 本文的具体做的工作如下： ( 1 ) 介绍了m p e g 一4 标准的核心思想以及m p e g 4 标准的 基本部件，着重阐述了m p e g 一4 的编码思想，重点研究了适合网 络传输的视频编码技术，并提出了进一步研究的方向。 ( 2 ) 从当6 # 实时流媒体的网络传输遇到的问题入手，以全局 的观点提出了一种端到端的m p e g 一4 视频实时传输的框架，介绍 了该框架的基本功能模块以及解决这些的关键技术，最终提出了 本文的研究重点o o s 控制技术。 ( 3 ) 从端点的角度出发，详细阐述了应用层q o s 控制技术。 在拥塞控制方面，对速率控制、速率白适应编码、速率整形进行 了研究，重点研究了一种二阶率失真模型，并在此基础上提出了 一种m p e g 一4 自适应码率控制机制。在差错控制方面，研究了 f e c 、限制时延重传机制、差错弹性编码、差错隐藏，结合f e c 、 限时a r q 提出了混合f e c a r q 的q o s 控制机制。 ( 4 ) 从网络的角度出发，详细介绍了i n t e m e t 中提供q o s 服 务的i n t s e r v 、d i 髂e n r 模型，在此基础了提出了d i s e r v h l t s e 相结合的端到端网络q o s 控制机制。 北京交通人学顺l j 学位论文 第一章 ( 5 ) 结合前面的一些研究工作提出了分层结构动念自适应的 q o s 控制模型，该模型的建立有助于从系统的观点看待q o s 问题， 并通过实验仿真确定了浚模型的可行性，同时也验证了前面的一 些理论研究的有效性。 1 5 论文的安排 本文共分六章对整个研究工作进行详细成熟和说明，具体安 排如下： 第一章绪论 通过分析当自u 现状，发现存在的问题，阐述解决问题的关键 技术，最后简要况明了本文所做的工作。 第二章m p e g 一4 编码技术概述 介绍了m p e g 4 的标准的核心思想、基本部件，以及m p e g 一4 的编码思想，重点研究了适合网络传输的视频编码技术。 第三章m p e g 4 在网络中的传输 提出了一种端到端的m p e g 4 视频实州传输的框架，介绍了 该框架的基本功能模块。 第四章应用层的o o s 控制 该章本文的重点研究部分，针对应用的o o s 控制技术进行了 详细的研究，尤其是对于棚塞控制中的自适应速率控镣4 和差错控 制中的f e c 、a r q 技术有深入的研究。 第五章d i f 侣e i n t s e n r 相结合的网络0 0 s 控制 网络中的q o s 问题也是本文的一个研究重点，文中提出了 d i f f s e r v h l t s e r v 相结合的端到端网络o o s 控制机制。 第六章分层结构动态自适应q o s 控制模型 结合前面几章的研究工作，提出了分层结构动态自适应q o s 控制模型，通过实验仿真了该模型的可行性。最后总结了本文的 工作，并对进一步研究工作的开展提出了建议。 北京变通人学埘1 j 学位论旦 第二年 第二章m p e g 一4 编码技术概述 m p e g 4 是i s o 基于对象的视频编码标准，它采用了新一代 视频编码技术，它在视频编码发展史上第一次把编码对象从图像 帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于 像素的传统编码向基于对象和内容的现代编码的转变，因而引领 着新一代智能图像编码的发展潮流。 2 1m p e g 4 标准的核心思想 在m p e g 4 制定之前，m p e g 1 、m p e g - 2 、h 2 6 1 、h 2 6 3 都是采用第一代压缩编码技术，着眼于图像信号的统计特性束设 训编码器，属于波形编码的范畴。第一代压缩编码方集把视频序 列按时间先后分为一系列帧，每帧图像义分成宏块以进行运动 补偿和编码，这种编码方案彳在以下缺陷：( 1 ) 将罔像阎定地分 成十日同大小的块，在高压缩比的情况下会出现严重的块效应，即 马赛克效应；( 2 ) 不能对图像内容进行访问、编辑和回放等操作； ( 3 ) 未充分利用人类视觉系统( h v s ，h u m a nv i s u a ls y s f e m ) 的 特性。m p e g 4 代表了基于模型对象的第二代压缩编码技术，它 充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、 纹理思路出发，支持基于视觉内容的交瓦功能，这适应了多媒体 信息的应用山播放型转向基于内容的访问、检索及操作的发展趋 势。 a v 对象( a v o ：a u d i ov i s u a lo b j t ) 是m p e g 4 为支持基 于内容编码而提出的重要概念。对象是指在一个场景中能够访问 和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、 模型和高层语义为依据。在m p e g 4 中所见的视音频已不再是过 模型和高层语义为依据。在m p e g 4 中所见的视音频已不再是过 北京交通人学坝l 。学位论文 第一章 去m p e g 一1 、m p e g 2 中图像帧的概念，而是一个个视听场景( a v 场景) ，这些不同的a v 场景由不同的a v 对象组成。a v 对象是 听觉、视觉、或者视昕内容的表示单元，其基本单位是原始a v 对象，它可以是自然的或合成的声音、图像。原始a v 对象具有 高效编码、高效存储与传输以及可交互操作的特性，它又可进 步组成复合a v 对象。因此m p e g 4 标准的基本内容就是对a v 对象进行高效编码、组织、存储与传输。a v 对象的提出，使多 媒体通信具有高度交互及高效编码的能力，a v 对象编码就是 m p e g 。4 的核心编码技术。 m p e g 一4 不仅可提供高压缩率，同时也可实现更好的多媒体 内容互动性及全方位的存取性，它采用开放的编码系统，可随时 加入新的编码算法模块，同日- j 也可根据不同应用需求现场配置解 码器，以支持多种多媒体应用。 2 2m p e g 一4 标准的基本构成 ( 1 ) 多媒体传输集成框架( d m i f ) d m i f ( t h ed e l i v e f ym u l t i m e d i ai n t e g r a t i o nf r 锄e w o r k ) 主要 解决交互网络中、广播环境下以及磁盘中多媒体应用的操作问题， 通过传输多路合成比特信息，建立客户端和服务器端的握手和传 输。出于在m p e g 一4 码流中包括许多的a v 对象，一般而言，这 些a v 对象都有各自的缓冲器，而不仅仅是视频缓冲器和音频缓 冲器。通过d m i f ，m p e g 一4 可以建立起具有特殊q o s 的信道和 面向每个基本流的带宽。 北京交通人学坝1 学位论文 第一章 用平广播的l | 遥控d m i f u 语拄应媚 本地d m l fn ( 仿粪) n ( 仿真) 用于本地文千掌u 遥控d 脯瞪l l 莲控应用 的本地d m 限日( 仿囊) f | ( 仿真) 劂 奉地 存储器 燮h 鐾忙俪 的本地d m i fi i 瞎袋| z ，一1 ；忑 信夸j 遥控d m i f 图表iil ( 实际) 固 d n l i ) a i 图2 1m p e g 4 中d m 的功能 ( 2 ) 数据平面 m p e g 一4 中的数据平面可以分为两部分：传输关系部分和媒 体关系部分。为了使基本流和a v 0 在同一场景中出现，m p e g 一4 引用了对象描述( o d ) 和流图桌面( s m t ) 的概念。o d 传输与 特殊a v o 相关的基本流的信息流图。桌面把每一个流与一个c a t ( c h 蛐e la s s o c i a t i o nt a g ) 相连c a t 可实现该流的顺利传输。 寺中古中中申 日拄人单元分鏖 数据流赶朋接口 掣单辛“i n e x m n x 分屡 n w 洲h 接口 也到匕剁 h i p )( p e s )9 u n pm p e g _ 2从比1 1 m 3 d a l m 附于分屠 9 。p 1 鲁a 州0 p s 珊 0 t r s i l 在m l e c 图2 2m p e g 一4 中的数据平面 ( 3 ) 缓冲区管理和实时识别 一 悟雠黻懈 _ 雌1剖划圳刊d 北京交通入学坝l 学位论文 第一章 m p e g 一4 定义了一个系统解码模式( s d m ) ，陔解码模式描 述了一种理想的处理比特流句法语义的解码装置，它要求特殊的 缓冲区和实时模式。通过有效地管理，可以更好地利用有限的缓 冲区空i 刈。 j 至= h 时世：时倒一 复 善圈，囤一匝三矾寸 盘 嚣 删”河面m 而叶册 a l ，一一接入i h ，艺静堪 a v o 1 ) 州一一 v 0 辫码器 e b 一蕊率数据溉缓秤嚣( ：8 蛆裔用鹱存器 图2 3系统解码器的缓存器体系结构 ( 4 ) 音频对象的编码 视频音频的压缩编码仍然是m p e g 4 的核心所在，但与以前 的m p e g 一1 、m p e g 2 不同的是m p e g _ 4 不仅支持自然声音，而 且还支持基于拙述语言的合成声音。m p e g 4 的音频部分将音频 的合成编码和自然声音的编码相结合，并支持音频的对象特征。 ( 5 ) 视觉对象的编码 与音频编码类似，m p e g 一4 也支持对自然和合成的视觉对象 的编码。合成的视觉对象包括2 d 、3 d 动画和人面部表情动画等， 这些合成图像单独编码不仅可以有效压缩，而且还便于操作。 4 北京交通人学坝】学位论义 鹕一帝 m p e g 4 视频流 图2 ，4m p e g 一4 视频编码框图 ( 6 )场景描述 m p e g 一4 提供了一系列工具，用于组成场景中的一组对象。 一些必要的合成信息就组成了场景描述，这些场景描述以二进制 格式b i f s ( b i n a r yf o r m a tf o rs c e n ed e s c r i p t i o n ) 表示，b i f s 与 a v o 一同传输、编码。场景描述主要用于描述各a v 0 在一具体 a v 场景坐标下，如何组织与同步等问题。同时还有a v o 与a v 场景的知识产权保护等问题。m p e g 4 为我们提供了丰富的a v 场景。 2 1 3m p e g 一4 的编码思想 为了支持前面提到的各种功能：高压缩比、基于内容的交互 ( 操作、编辑、访问等) 以及基于内容分级扩展( 空域分级、时 域分绂) ，必然要求m p e g 一4 要以基于内容的方式表示视频数据。 因此，m p e g 4 中引入了视频对象的概念束实现基于内容的表示。 北京交通人学坝| j 学位论立 第一二带 v o 的构成依赖于具体应用和系统实际所处环境：在要求超低比 特率的情况下，v o 可以是一个矩形帧( 即传统m p e g - 1 、h 2 6 3 中的矩形帧) ，从而与原来的标准兼容：对于基于内容的表示要求 较高的应用来说，v o 可能是场景中的某一物体或某一层面；v o 也可能是计算机产生的二维、三维图形等。在m p e g 一4 中，v o 主要被定义为画面中分割出来的不同物体，每个v o 有三类信息 来描述：运动信息、形状信息、纹理信息： v o 的生存期是一个视频会议( s e s s i o n ) 。m p e g 一4 首先对视 频序列进行镜切分，对一个镜头中的每一个帧进行物体分割，得 到各个v o 。 图2 5 为m p e g 一4 的编码器框图。第一步是v o 的形成( v 0 f o m l a t i o n ) ，先要从原始视频流中分割出v o ，之后由编码控制 ( c o d i n 2c o n t r 0 1 ) 机制为不同的v o 以及各个v o 的三类信息分 配码率，之后各个v o 分别独立编码，最后将各个v o 的码流复 合( m u x ) 成一个位流。其中，在编码控制和复合阶段可以加入 用户的交互控制或由智能化的算法进行控制。图2 6 为m p e g 4 的解码器框图，基本上为编码器的反过程。 一鲨卜 哥 解复用 解码广 图2 5m p e g 4 编码器框图 北京交通大学顺i 学位论文 第二幸 解复用 图2 6m p e g 一4 解码器框图 现在的m p e g 一4 包含了基于模型的编码和s p r i t e 技术。在进 行图像分析后，先考察每个v 0 是否符合一个模型，典型的如人 头肩像，如是就按模型编码；再考虑背景能否采用s p r i t e 技术， 如能则将背景生成一副大图，为每帧产生一个仿射变换和个位 置信息既可；最后才对其余的v o 按上述流程编码。 2 4m p e g 4 的数据结构 一般m p e g 一4 可以认为有四个层次的数据结构，它们都以类 的形式定义。 v s ( v i d e os e s s i o n ) ：是包含其他三个类的一个类，一个完整 的视频序列可以由几个v s 组成。 v o ( v i d e oo b i e c t ) ：如前所述，是场景中的某一个物体，它 是有生命期的，由时间上连续的许多帧构成。 v o l ( d e o0 b j e c tl a y e r ) ：v o 的三种属性信息( 运动信息、 形状信息、纹理信息) 编码于这个类中，这个类的引入主要用来 扩展v o 的时域或空域分辨率。 v o p ( d e o0 b j e c tp l a n e ) ：可以看作是v o 在某一时刻的表 象，即某一帧v o 。 以上四个类的关系可以用图2 7 来表示。 北京交通人掌坝l 学位论曼 第二辛 一一一一一一一八一一一 一一一一一一7 气一一一一 一一一一一 一一一卢一一 视频列缘平面 v o p 0v o p l v o p 0v o p l 一 【。一【一 图2 7m p e g 一4 中的数据结构类分缴图 如图2 7 ，每个v s ( 即一段完整的视频) 由一个或多个v o 构成，而每个v o 可能有一个或多个v o l 层次，如基本层、增强 层，每个层就是v o 的某一分辨率的表示。在每个层中，都有时 间上连续的。系列v o p 。 2 5 适合网络传输的编码技术 传统的视频编码技术并不适合在网络中传输，其根本原因是 它们的甘标是将视频压缩成为适合一个或几个固定码率的码流， 也就是l 龅传统的视频编码是面向存储的。但由于网络的异构性而 且缺乏0 0 s 保证，带宽在一个很大的范围内变化，因此面向网络 传输的视频编码的目标是将视频压缩成为适合一个码率的范围。 图2 8 显示了面向了网络传输的视频编码新方法与传统编码 方法的比较。图中阶梯状的曲线对应传统的编码方法，显然当获 得的带宽低于某个固定的码率时，我们得不到任何信息：而当带 宽达到这个码率时，可以得到一定质量的视频；可是当带宽进一 步增加时，视频的质量得不到继续改善。连接几条阶梯状曲线的 拐点，就得到了传统的质量随码率变化的曲线，它是传统编码中 码率控制的基础。为了适应网络带宽的变化，理想的视频编码方 法应该具有可以在任何地点截断的特性，而且解码质量随码率的 北京交通人学坝小学位论义 第一带 增加而增加，如图2 8 中传统的质量码率变化曲线下面的曲线所 示，由于新的编码方法支持了“嵌入”的新功能，因此性能有 些下降的必然。 图2 - 8新编码方法与传统编码方法的比较 2 5 1 分层可扩展性编码 现有网络拓扑结构的复杂、带宽随时间大幅度变化，而且各 个用户的网络环境有很大的不同，这就要求码流能随着可用带宽 的变化而自适应地调整输出码率，分层编码思想就是在这样的背 景下引入到流媒体编码技术中，它也已经被许多国际压缩标准接 纳，如m p e g 。4 平h 2 6 3 + 。 分层可扩展性编码和以前的单层编码方法不同的是把视频信 息分为基本层( e i e m e ml a y e r ) 和增强层( e n h a i l c e m e n tl a y e r ) 两层来压缩编码。基本层中包含了视频晟基本、最重要的信息， 是视频解码的最低要求：增强层中包含了视频中的细节信息，是 视频解码的可选信息。视频在解码时先得到基本层的码流，可重 9 北京交通人学坝l j 学位论文第二帝 建低质量的视频，如果有多余带宽再解码增强层码流，得到高质 量的视频。基本层码流是增强层的基础，基本层码流一旦丢失或 发生误码将导致增强层不能解码。 分层可扩展性编码主要有三种：时域可扩展性、空域可扩展 性、p s n r 可扩展性。 ( 1 ) 时域可扩展性( t e m 口o r a ls c a j a b i l i t v ) 时域可扩展性编码通常是通过在码流中添加b 帧来实现的。 b 帧是使用与它在时阳j 上最邻近的前后两个i 帧或p 帧来预测的， 而自己并不作为任何其他帧的参考图像，因此在传输中丢弃b 帧 并4 i 影响其他帧的质量，而仅仅降低帧率。图2 9 是m p e g 4 中 的时域可扩展性编码的示意图。 l o v o 层 层 图2 9m p e g 一4 中的时域可扩展性编码 ( 2 ) 空域可扩展性( s p a t i a ls c a l a b i l i t v ) 空域可扩展性编码是通过为视频中的每一帧都创建多分辨率 的表示来实现的。当进行空域可扩展性编码时，原始视频首先通 过下采样得到低分辨率的视频，编码得到基本层码流；然后编码 原始视频和基本层视频的差生成增强层码流。不过空域可扩展性 编码在视频传输中应用较少，因为任何一个用户都不能接收在前 北京交通人学坝i 学位论文 第二帝 一个g o p 中观看高分辨率视频，而到下一个g o p 只能获得低分 辨率视频。因此即使增强层在传输中被丢弃，客户端的解码器也 要对低分辨率的图像进行插值，这实际上是一种质量可扩展性的 特殊情形。图2 i o 为空域可扩展性编码的示意图。 增强层 图2 1 0 空域可扩展性编码 ( 3 ) p s n rj q 扩展性( p s n rs c a l a b i l i t v ) p s n r 可扩展性也叫质量可扩展性，因为视频质量通常是用 p s n r 来衡量。质量可扩展性编码的思想和空域可扩展性编码很 相似，只不过这早不需对原始视频进行下采样，而是进行一次很 粗的量化形成基本层码流。然后对原始视频和基本层视频的差再 进行一次量化，生成增强层码流；如果有多个增强层码流则重复 上面的过程。图2 11 是质量可扩展性编码的示意图。 基本层 厂痢一层 增弛层 第二层 l 第三层 图2 1 1p s n r 可扩展性编码示意图 质= 景 低 北京变通人学碗 。学位论文第二章 2 5 2 精细可扩展性编码( f g s ) 传统的分层视频编码技术只提供了粗糙的分级能力，因此困 际标准化组织在m p e g 4 中提出了精细可扩展性编码( f g s ：f i n e g r a n u l a r s c a l a b l e c o d i n g ) 的概念，它提供了非常精细的分层能力。 它的基本思想是将视频编码成一个可以单独解码的基本层码流和 一个可以在任何地点截断的增强层码流，其中基本层码流适应最 低的网络带宽，增强层码流用来覆盖网络带宽变化的动态范围， 而且重构的视频质量与每一帧解码的比特数成正比。也就是说， f g s 提供连续的分层性，使通过i n t e m e t 传输的视频总能获得桐 剥最佳的质量。 如图2 1 2 所示，f g s 包含两层码流：一个码率为兄的基本 层提供最低可接收的视频质量和一个最高码率为矗。的增强层，增 强层采用f g s 技术渐进编码。在编码端只要知道要传输的视频信 息的信道带宽的范围 r 。= 凡，尺。= j r 。+ 兄。 ，而不用了解到底 应该以何种码率传输。因此在传输时可以根据当前带宽r 传输任 一帧部分增强层码流砭，可以通过监测当前网络流量或解码端反 馈信息实时进行，其中 曰= 吃+ 月。月。i 月乜。 而不需要进行复杂的实时码率控制，服务器就可实时处理非常大 量的数据流量并随带宽的变化实时调整。在解码端，f g s 只在任 何标准的基于运动补偿的解码器基础上增加少量的复杂度和内存 要求 北京交通人学坝i + 学位论文 笫二章 i 一一i 6 j i 丽一一一! i 一一石j i 赢一一- li 一一i 舔函蟊j 姜一一一一 编码端视频服务器 解码端 口嚣_ 凝蠹募 图2 1 2f g s 码流示意图( 基本层不包含b 帧) m p e g 一4 的f g s 主要有下面一些特点：( 1 ) 基本层使用基于 分块运动补偿和d c t 变换的编码方式达到网络传输的最低要求； ( 2 ) 增强层使用位平面编码技术对d c t 残差进行编码来覆盖网 络带宽的变化范围；( 3 ) 每一帧的增强层码流可以在任何地点截 断：( 4 ) 解码器重建的视频质量和收到并解码的比特数成正比。 如图2 1 3 所示，f g s 的基本层编码和普通的m p e g 一4 非扩 展性编码相同，都是由运动估计、运动补偿、d c t 变换、标量量 化、变长编码( v l c ：v a r i a b l el e n g mc o d i n g ) 组成。而在增强 层编码时，从原始的d c t 系数中减去基本层逆量化后重建的d c t 系数值获得d c t 残差，然后对每一个8 8 的块按从上到下从左 到右的顺序使用位平面进行编码。 北京交通人学坝l j 学位论文 第二章 ( a ) f g s 编码器框架图 ( b ) f g s 解码器框架图 图2 1 3f g s 编解码框架示意图 基于位平面( b i tp 1 a n e ) 的f g s 编码技术就是对增强层的d c t 系数按照位平面的顺序进行编码。设想每个d c t 系数都是位于 8 8 平面上的一个比特柱，位数是由其中最大系数所用位数决定， 虽高位( m s b ) 在最上方，最低( l s b ) 位在最下方，且所有最 低位处于同一平面并对齐。然后再从即系数绝对值最大( 最高) 北京交湎人学坝| 学位论文 第一市 的那个柱子丌始从上往下依次用平行于底面的平面去截断各个柱 子，每个生成的位平面使用游程编码。由此形成的比特流有个显 著的特点就是使得每一个系数的重要部分( 较高的位) 优先编码， 这样在码流截断时就保证了解码器仍可以获得有关视频的重要信 息，从而提供了精细可扩展的特性。 图2 1 4f g s 与传统编码方法性能对比 从图2 - 1 4 的性能对比可以看出f g s 确实具有优良的可扩展 性，但它也存在致命的弱点，即效率太低。在同等码率下，f g s 的质量要比m p e g 一4 中的非扩展性编码低2 d b 3 d b ，3 个d b 意 味蓑码率要翻一番，这是人们难以接受的。分析f g s 体系结构图 就能得出原因，如图2 1 5 所示，f g s 的基本层和所有增强层都以 参考帧的基本层图像为参考进行运动补偿。这样的好处是f g s 可 以及时恢复增强层出现的错误，因为某一帧增强层的错误不会影 响到后面的图像的解码。但是，因为基本层解码图像的质量比较 低，和原始图像的差别较大，相应生成的码流也就长。传统的非 扩展性编码总是恢复前一帧最佳质量的图像作为参考图像，于是 北京交通人学坝l j 学位沦文 第一带 运动预测和运动补偿都比较准确，因此编码效率高。要想提高f g s 的编码效率，必须改善它用作运动预测和补偿的参