（交通信息工程及控制专业论文）实时视频多播中基于双向驱动的闭环QoS过滤策略研究.pdf

摘要 摘要 随着分布式多媒体应用和网络技术的发展，对实时视频传输的有 效支持日益成为网络的一个基本需求。当前大多数基于网络的实时视 频应用如视频会议、电视广播和视频监控等，均建立在多播传输机 制的基础上。而在异构和动态的i p 网络环境中，这类实时视频多播系 统均要面对一个亟待解决的关键问题：如何在确保t c p 友好的基础 上，灵活适应各种传输链路条件下不同接收用户的带宽需求，实现q o s 过滤达到最大化系统总体q o s 的目的。 针对上述问题，本文重点分析和研究了目前一些解决方案的思路 和关钗| ! 技术，选择了具有带宽自适应特性的精细分层编码( f i n c g r a n u l a r i t ys c a i a b i l i t y ) 技术作为切入点，提出了_ 种基于t c p 友好和 收发两端双向驱动的闭环q o s 过滤策略s r l m 。该策略利用实时 传输控制协议r t c p 中s r 和r r 报文的收发，在视频发送和接收端之 间建立了一个可靠的闭环q o s 反馈通道使发送端能够及时采集和处 理接收端的各种q o s 需求信息并运用自适应优化算法来动态调整 f g s 编码器的视频分层数和各层编码速率等q o s 控制参数。同时，接 收端也可以通过这个反馈通道来对本端的可用接收带宽做一个基于 t c p 友好的估算，然后结合发送端公布的视频编码参数变化情况，对 所预订的视频层数做出相应调整。s r l m 通过这种可控的双向互动来 实现系统整体q o s 的最优化而且由于采用了一种经过优化的多播 q o s 反馈方法，避免了可能出现的反馈信息爆炸。 n s 2 网络仿真实验表明，s 。m 能够有效保证u d p 多播视频流 与t c p 应用流在不同链路条件下共享带宽瓶颈，并显著提升异构和动 北京交通大学硕士学位论文 态网络环境中实时视频多播系统的q o s 过滤性能。s r l m 对视频分层 数要求不高，一般3 5 层即可确保其优越的性能得到充分体现，具有 很高的伸缩性和较小的实现复杂度。 关键词：q o s 过滤t c p 友好，精细分层编码，q o s 公平指数 i i a b s 乜a c t a b s t r a c t w i mt h ed e v e i o p m e n to fd i s t r i b u t e dm u l t i m e d i aa p p l i c a t i o n sa 1 1 d n e t w o r kt e c h n i q u e s ，e 脏c t i v c l ys u p p o r t i n gt h et r 肌s m i s s i o no fr e a l t i m e v i d e oi n c r e a s i n g l yb e c o m e sab a s i cd e m a l l do fi n t e m e t c u r r e m l y ，m o s to f n e t w o r kv i d e oa p p i i c a t i o n s ，s u c ha sv i d e o c a s t ，v i d e o c o n f b r e n c e ，v i d e o s u “e n l a n c ea f l ds oo n ，a r eb a s e do nt h em e c h a n i s mo fv i d e om u j t i c a s t a n dy e t ，j nh e t e r o g e n e o u sa n dd y n a n l i ci pn e t w o r k ，t h e s er e a l - t i m ev i d e o m u j t i c a s ts y s t e m sm u s tf a c es u c hap r i m a r yp r o b l e mo fh o wt oa 出【p t n e x i b l yt oav a r i e t yo f b a n d w i d t hd e m 肌d so v e rd i v e r s m e dt r a n s m j s s i o n l j n k so nt h ec o n d “i o no fe n s u r i n gt c p - 行i e n dj i n e s s ，i m p l e m e n tq o s n l t e r i n ga n da c h i e v et h em a x i m u m o f t o t a lq o s o f s y s t e m a i m e da ta b o v e - m e n t i o n e dp r o b l e m ，t h i sp a p e ra 1 1 a l y z e sa n ds t u d i e s an u m b e ro fm e t l l o d sa n dp i v o t a lt e c h n i q u e so fs o l v i n gt 1 1 i sp r o b j e m ，a n d t h e nm a k eu s eo ff i n eg r a n u l a r i t ys c a i a b i l i t ye n c o d i n gt e c h n i q u ew i t h b a n d w i d t ha d a p t a t i o nt op r e s e n tan e ws t r a t e g yo fq o sf i i t e r i n gn a i l l e d s r l m w h i c hi sb 嬲e do nt c p - 翻e n d l i n e s s ，s e n d e r 柚dr e c e i v e r _ d r i v e n l a ”r e dm u l t i c a s ta 1 1 dc i o s e d1 0 0 pf e e d b a c km e c h a n i s m 1 1 1 i ss t r a t e g yc a n c o n s t r u c taq o sf e e d b a c kc h a 眦e lb e “v e e ns e n d e ra n dr e c e i v e rb y d i s p a t c h i n go fs ra i l dr rr e p o n si nr t c pp r o t o c 0 1 s i u mc a i l m a l ( e s e n d e rg a t l l e ra n dd i s p o s em e s s a g e so fq o sd e m 龃d ，a d j u s td ”a m i c a l l y 也en u m b e ro f v i d e ol a y e r sa n dr a t ea i b c a t i o no f f g se n c o d e rb ya d a p t i v e o p t i 【i i a la l g o r i m m a tt h es 锄et h e ，r e c e i v e ra l s om a ye s t i m a t e a v a i l r e c e i v i n gb a n d 稍d t t ib 越e dt c p 衔e n d l i n e s sv i at i l i sf e e d b a c kc h a r u l e l ， 玎j 北京交通大学硕士学位论文 t h e na d j u s tm en 啪b e ro fv i d e ol a y e r sa c c o r d i n gt oc h a n g eo fv i d e o e n c o d i n gp a r 锄e t e r sc o m b i n e d 、v i ma v a i lr e c e i v i n gb a j l d 、v i d m s r l m r e a l i z e sm a x i m 哪o ft o t a lq o so fs y s t e mb ym i sc o n t r o l l a b l ee x c h a n g eo f f e e d b a c km e s s a g e s f u n h e rm o r e ，e x p l o s i o n0 f f e e d b a c km e s s a g e sc a nb e a v o i d e db yu s i n gao p t i m a lm u l t i c a s tf c e d b a c km e t h o db r o u 曲tf o n v a r db y n o n n e n f n a c h e l t h es i m u l a t i n gr e s u l to fa p p l y i n gn s - 2s h o w st h a tt h i ss t r a t e g yw i t h h j 曲r e t r a c t t ya n ds m a j jc 鲫p 】e x j l yc a ne 行b c l i v e l y e n s u r et h a tu d p v i d e om u l t i c a s ts t r e 咖ss h a r e sb a l l d w i d t hb o t t l e n e c kw i t ht c p 印p l i c a t i o n s t r e a m so v e rd i v e r s i f i e dt r a l l s m i s s i o nl i n l ( s ，a n dp r o m i n e n t l yi m p r o v e p e r f o r m a n c e o fq o s n l l e r i n g f o rr e a l - t j m ev j d e om u i c i c a s ti n h e t e r o g e n e o u sa i l dd y n a m i cn c t w o r k s r l mh a sn oh i g hd e m a n dt ot h e n u m b e ro fv i d e ol a y e r s ，a n dc o m m o n i y ，3 5l a y e r sa r ee n o u g ht oe x h i b i t i t se x c e i i e n tp e r f o m l a n c e k e y w o r d s ：q o sm c e r i n g ，t c p 衔e n d l i n e s s ，f i n eg r a n u l a r i t ys c a l a b i l i t y e n c o d i n g ，q o s f a i m e s si n d e x 绪论 第一章绪论 i p 网络是基于t c p i p 的包交换型通信网，具有“尽力而为”的 特性。随着i p 骨干网速率的提高和接入技术的发展，具有实时性要求 和宽带特性的多媒体业务在i p 网上获得迅速发展，基于i p 网络的实 时视频传输也逐渐成为人们研究的热点。 1 1 本文的研究背景和意义 近十年来，作为多媒体通信研究领域中最受关注的视频压缩技术， 在人们的不懈努力下取得了长足的进步。随着i t u 和i s o 等组织制定的 一系列压缩标准和建议的不断推出，数字视频压缩技术逐步走向成熟 和规范。与此同时。作为数字信息重要传播载体的i p 网络，也以出乎惑 料的速度在全球范围内快速发展。并极大地推动了人们对多媒体通信 业务的迫切需求，使视频压缩技术和计算机网络以及数字通信技术的 紧密结合成为一种必然趋势。 随着网络视频通信应用的不断深入，简单的点对点的视频传输已 经无法适应人们的需求，而以网络电视广播、远程视频会议和视频监 控等为典型代表的分布式实时视频多播应用逐渐进入人们的生活。但 由于实时视频多播传输具有数据量大、实时性要求高、同时在线接收 用户多等特点，对传统i p 网络尤其是当前的i n t e m e t 提出了严峻挑战， 许多亟待解决的问题也随之相伴而来。 由于i p 网络最初并不是为流媒体传输而专门设计的，它所具有的动 态和异构特性很难满足流媒体实时视频数据传输的需要。因此，如何 保障和支持不同接收用户的q o s ，实现q o s 过滤，是基于i p 网络的实时 北京交通大学硕士学位论文 视频多播传输业务所必须解决的关键问题。此外，鉴于实时视频数据 对传输的有效性要求远高予可靠性i p 网中的视频传输通常不是使用 t c p 协议而是使用u d p 协议。但u d p 协议没有拥塞控制机制，当网络资 源紧张出现拥塞情况时，u d p 视频流会持续发送，而t c p 应用流则会把 发送窗口减半，结果会导致u d p 视频流抢占更多的t c p 应用流带宽，这 在以t c p 应用流为主的i p 网络中显然是不甚合理的。所以实时视频多播 传输的q o s 过滤策略应包含t c p 友好的前提，即保障实时视频流对t c p 流的公平性。 在对实时视频传输的有效支持曰益成为i p 网基本需求的背景下，研 究如何通过视频编码和i p 多播等相关技术，为实时视频多播传输的q o s 过滤策略提供解决方案，最大程度地满足所有接收用户的q o s 无疑具 有重要的研究价值。 1 2f p 网络实时视频多播传输模型 i p 网络实时视频多播传输一般采用端到端的实现模型，如图卜l 所 示。而对基于网络中间节点实现的多播传输，因为过多地受制于当前 的网络实际条件而不具有普遍性。图卜l 所示的模型主要由视频编解 码、传输协议、i p 网络及q o s 过滤策略等几个部分组成。 图卜1 ：端到端的实时视频多播传输模型 绪论 如上图所示，发送端原始视频数据经压缩编码后，依次通过 r t p 刖d p i p 协议堆栈进入i p 网络。同时，发送端还收集和处理来自各 接收端的q o s 反馈信息并生成相应的控制策略，然后对视频编码模块作 适应接收端0 0 s 要求的调整。抵达接收端的数据包依次经i p ，u d p 瓜t p 协议堆栈解包后，在视频解码模块中解码和输出。通过对接收到的数 据包进行传输统计特性( 如丢包率、延时等) 的分析，接收端能够向 发送端提交本端的q o s 反馈信息，并能结合发送端报文和估算出来的本 端实际可用带宽来调整接收和解码参数。 在上述模型中，本文研究的重点是山发送端q o s 分析控制模块和接 收端q o s 分析反馈模块所构成的，基于端到端的q o s 过滤策略的主体。 1 3 实时视频多播传输0 0 s 过滤的研究现状 基于网络的实时视频多播传输q o s 过滤一般在网关或网络中问节 点上实现受到数据在协议数据单元( p d u ) 中封装方式的制约而 且方法本身对网络体系结构有着较为严格的要求，网络实际约束条件 过多。目前应用起来还有相当的困难。相比较而言，基于端到端的终 端型q o s 过滤策略则更具有可行性。 终端型q o s 过滤策略下，单一速率的实时视频码流是无法同时满足 异构网络环境中接收终端的各种q o s 要求的，因此，人们提出了多速率 多播的概念【2 】f ”。多速率多播技术作为实时视频传输q o s 过滤最为有效 的控制手段是整个q o s 过滤策略的核心，近几年来一直为人们所密切 关注，其相关研究领域也取得了一些积极的进展。 多速率多播的实现当前较具代表性的有以下三类： 1 ) 流复制 北京交通大学硕士学位论文 这种方法可视为单速率多播和多速率多播的一种折中，主要应用 于接收终端的带宽分布具有群簇性分布的相对稳定的网络环境。该方 法的主要原理是：视频源为同一视频内容生成按照不同码率进行传输 的视频流副本，具有相近带宽条件的接收用户可以得到与其带宽相适 应的视频流副本的服务。由s c h e u n g 等提出的d s g l 2 1 就是一种典型的流 复制型多速率多播方法，因其具有简便易行的显著特点商业方面的 应用较广泛。不足之处是网络动态适应性差传输数据的冗余度高， 带宽占用随簇群数量的增多快速增长。 图卜2 ：流复制型多速率多播 2 ) 累积分层 m p e g 2 中提出了累积分层编码h 1 的概念。该方法将视频压缩数据 分解为重要性依次递减的基本层和若干增强层。基本层包含了视频信 息重构中最为重要和基础的特征信息，是每一个接收端必须的，而增 强层包含的信息可以对基本层信息的重构起到较好的改善和补充作 用。每个接收终端可以根据自身带宽实际在基本层的基础上决定接收 几个增强层。增强层的数量与视频质量成正比。 绪论 图卜3 ：累积分层型多速率多播 累积分层法对于接收带宽具有群簇性分布的多播接收用户同样具 有良好的动态适应性。但固定的分层步长相对于i p 网络的变化来说过于 粗糙，可能会导致接收端图像质量的改变具有很强的突变现象，而在 m p e g 4 中提出的精细分层编码技术f g s 可以在一定程度上对此进行 弥补。 3 ) 非累积分层 在这种方法中视频流被分解为重要等级相同的若干层，这些层 集合的任意子集均可用于视频重构。该方法虽然比累积分层方法具有 更好的灵活性。但数据冗余度较之后者要高，并且发送端没有反馈控 制算法q o s 过滤仅依靠接收端加减视频层数来实现，网络动态适应性 能表现一般。y w a n g 等人【哪曾提出了非累积分层多播的一些实现方法。 图l 一4 ：非累积分层型多速率多播 北京交通大学硕士学位论文 1 4 本文的主要工作 本文针对异构动态的i p 网络环境中实时视频多播传输的q o s 过 滤策略进行了深入研究。在分析和对比该领域当前存在的多种解决机 制的基础上，充分利用精细分层编码技术f g s 所提供的带宽自适应特 性，提出了一种基于t c p 友好和收发两端双向驱动的闭环q o s 过滤 策略s r l m ，并实现了发送端和接收端的具体算法。同时，还通过n s 2 网络仿真实验初步验证了算法的有效性。 1 5 本文的组织 全文主要包括以下几个章节： 第一章绪论。阐述了选题和研究的意义以及该领域的研究现状。 第二章i p 网络实时视频传输的关键技术。从q o s 过滤的角度， 讨论了i p 网络实时视频传输所涉及的视频压缩编码、网络传输协议、 i p 多播和差错控制等几个关键技术。 第三章基于双向驱动的闭环q o s 过滤策略。提出了一种基于t c p 友好和收发两端双向驱动的闭环q o s 过滤策略框架s r l m 。并对其实现 原理做了具体分析。 第四章网络仿真实验及性能评价。对本文所提出的q o s 过滤策略 s r j 。m 进行n s 2 仿真实验通过实验结果验证该过滤策略算法的有效 性，同时还对其性能作了一个对比评估。 第五章总结与展望。对本文所做的工作进行总结，并展望了i p 网 实时视频多播传输q o s 过滤策略的发展趋势。 6 i p 网实时视频多播传输的关键技术 第二章i p 网实时视频多播传输的关键技术 网络技术和视频压缩编码技术是i p 网实时视频多播传输的关键 支撑技术。本章从视频多播传输q o s 过滤的角度，重点分析研究了视 频压缩编码的最新标准h - 2 6 4 w c 、视频一般分层和精细分层编码技 术、实时视频传输适用的相关网络协议、i p 多播技术以及差错控制技 术等。 2 1 视频压缩编码标准 目前i t u 和i s o 等国际组织正式发布的视频编码标准主要有 h 2 6 l ( 1 9 9 0 ) i ”、m p e g 1v i d e o ( 1 9 9 3 ) ”j 、m p e g 2v i d e o ( 1 9 9 4 ) l ”、h 2 6 3 ( 1 9 9 5 ，1 9 9 7 ) 、m p e g 4v j s u a lo r p a r t2 ( 1 9 9 8 ) 1 以及 墁新的h 2 6 4 ，a v c ( 2 0 0 3 ) f ”1 等，这些标准都有其各自适合的运用背 景，反映了各阶段视频编码技术的发展水平。 新标准h 2 6 4 ，a v c 于2 0 0 3 年5 月正式公布，与先前的标准相比， 该标准具有更为优异的性能： 对于超低码率实时通信，具有更高的编码效率和更低的端到端 延时： 编解码器具有较低的实现复杂度，允许软件实现： 具有良好的差错鲁棒性，能满足第三代移动通信网络的需求： 具有自适应码率控制算法。能根据应用的要求灵活控制： 能适应不同类型的应用场景。 对于臼益复杂的应用环境，尤其是动态异构的i p 网络，视频编码传 北京交通大学硕士学位论文 输采用标准h 2 6 4 a v c 无疑最为适合，因此本文仅对编码标准 h 2 6 4 a v c 进行重点介绍。 2 1 1h 2 6 4 a v c 编码标准概述 l 2 6 4 a v c 是i t u 和i s o 组织联合制定的新一代视频压缩编码标 准，由于采用了加权预测、变尺寸方块运动补偿、自适应熵编码等一 些较为复杂的技术，它具有高压缩比、高图像质量以及良好的网络适 应性等优点。按照使用场景的不同h 2 6 4 a v c 编码标准可分为如下 三档： 基本档次( 简单版本，应用面广) ； 主要档次( 采用了多项提高图像质量和增加压缩比的技术措 施，可用于s d t v 、h d t v 和d v d 等) ； 扩展档次( 可用于各种网络的视频流传输) 。 h 2 6 4 a v c 不仅比h 2 6 3 和m p e g 4 节约了5 0 的码率，而且对 网络传输具有更好的支持功能。它引入了面向i p 包的编码机制有利 于网络中的分组传输。支持网络中视频的流媒体传输。h 2 6 4 a v c 具 有较强的抗误码特性可适应丢包率高、干扰严重的无线信道中的视 频传输，并且还支持不同网络资源下的分级编码传输，从而获得平稳 的图像质量。h 2 6 4 a v c 能够适应不同网络中的视频传输，网络亲和 性好。 h 2 6 4 ，a v c 标准压缩系统由视频编码层( d e oc o d i n gl a y e r ， v c l ) 和网络提取层( n e t w o r k a b s t r a c t i o n l a y e r ，n a l ) 两部分组成( 如 图2 1 所示) 。v c l 中包括v c l 编码器与v c l 解码器，主要功能是 视频数据的压缩编码和解码，它包括运动补偿、变换编码、熵编码等 压缩单元。v c l 还可以传输按当前网络状况调整的编码参数。m 地 l p 网实时视频多播传输的关键技术 则用于为v c l 提供一个与网络无关的统一接口，用来适应各种通信网 络，并提供适应于各种传输层或存储媒体的头信息，显著提高网络传 输的抗干扰能力。n a l 对视频数据进行封装打包后使其在网络中传 送，采用统一的数据格式，包括单个字节的包头信息、多个字节的视 频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中 包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考 的帧。类型标志用于指示图像数据的类型。 图2 1 ：传输环境中h 2 “a v c 编码标准的结构层次 2 1 2h 2 6 4 a v c 编码标准的主要技术改进 1 ) v c l 与n a l 分层设置 h 2 6 4 a v c 为达到应用多变性、用户定制性的需求，从功能上分为 两层：视频编码层和网络提取层。这使得在保持相同图像质量的前提 下，h 2 6 4 ，a v c 压缩编码效率显著提高。 2 ) 增强的编码效率 9 北京交通大学硕士学位论文 相对以往的视频编码标准，h 2 6 4 ，a v c 在增强预测编码内容能力的 方法上作了改进，整体上极大的提高了编码效率。其具体改进如下： 场、帧编码的自适应选择 l 帧包含两场，帧中的邻近行空间相关性较强，而场中的邻近行时 间相关性较强，因此帧编码用于运动性较小或静止图像的编码，场编 码用于运动性较大的图像编码。h 2 6 4 ，a v c 根据图像运动性自适应地选 择编码方式，即图像自适应帧场编码( p a f f ) 。如果l 帧中包含一些混 合区域，即有的区域是运动的有的是静止或运动小的，则前一区域 采用场模式编码，后一区域采用帧模式编码。帧场编码的判决由同 一1 9 贞的每一垂直宏块对( 1 6 3 2 亮度区) 做出。这种编码称为宏块自适 应帧场( m b a f f ) 编码，如图2 2 所示。 帧模式下宏：决对场模式下顶底馍块 图2 2 ：帧宏块对到场宏块对的转换 变尺寸方块的运动补偿 h 2 6 4 a v c 采用了尺寸可变的方块运动补偿( m c ) 。例如，平坦 区域可采用1 6 1 6 尺寸块，而细节区可采用8 8 甚至4 4 等。和以 往标准相比，经过变尺寸后m c 的预测精度会进一步提高，灵活性更 好，适应内容不断变化的视频。 1 0 i p 网实时视频多播传输的关键技术 高精度的运动补偿 以往的多数视频编码标准最多采用了1 2 像索的运动矢量精度， 而h 2 6 4 ，a v c 提高到l 4 像素，并进一步减少了内插处理的复杂度 ( 区别于m p e g - 4 采用的l 4 像素精度) 多参考帧的运动补偿 h 2 6 4 a v c 为了提高预测精度。允许编码器选择多个己编码的帧 作为参考，并可用在双向预测中，而以往标准只采用前一已编码帧作 为运动补偿的参考帧进行预测。 加权预测 h 2 6 4 ，a v c 允许运动补偿预测信号被加权这在先前的标准中未 出现过能够极大改善无线信道信号衰落时的编码效率，也可用于其 它某些用途。 帧内编码采用方向空阃预测 h 2 6 4 ，a v c 中，帧内编码参考当前图像的已解码邻域进行有向空 间预测而不采用变换域预测，提高了预测质量。 整数变换 h 2 6 4 a v c 之前的标准，变换和反变换之间只规定一定的误差容 限，不能准确匹配，编码器和解码器的视频质量略有差别。而 h 2 6 4 ，a v c 采用了整数变换使得变换和反变换准确匹配。 自适应熵编码 先前标准的熵编码采用变长的哈夫曼编码，但由于码表统一而不 能适应变化多端的视频内容，影响编码效率。h 2 6 4 ，a v c 根据视频内 容的不同。提供两种熵编码方法，即上下文自适应二进制算术编码 ( c a b a c ) 和上下文自适应可变长编码( c a 、，l c ) ，前者的编码效率更 高。 北京交通大学硕士学位论文 环路去方块滤波 基于方块的视频编码会产生方块效应，自适应的去方块滤波是一 种改进视频质量的有效方法。h 2 6 4 ，a v c 把去方块滤波引入运动补偿 预测环路中，既能去除方块效应，又能保护图像的细节与边缘，同时 还改善了图像的客观和主观质量。 3 ) 提高网络适应性改善数据抗误码的鲁棒性 h 2 6 4 a v c 标准还提供了数据误码损失的鲁棒性和在各种网络 环境下工作的灵活性，主要技术特征如下： 参数集 参数集的设计提供了头信息传输的鲁棒性和有效性。一些关键信 息比特( 如序列和图像的头信息) 的丢失会造成解码的严重负面效应， 而h 2 6 4 a v c 把这些关键信息分离出来传输，使之处在灵活特定的可 非状态中。 序列参数集用于一连串编码视频序列中，图像参数集供一个编码 序列中的一个或多个图像解码用。它们包括图像类型、序列号等解 码时某些序列号的丢失可用来检验信息包的丢失与否。 n a l 单元 每个n a l 单元是一个数据包，包含一个字节的头信息( 用来表示 数据类型) ，以及若干整数字节的负荷数据。n a l 单元的头结构如图 2 3 所示。 | 0 1 2 34567 i t r f 图2 3 ：n a l 单元头结构 1 2 i p 网实时视频多播传输的关键技术 n a l 单元按r 1 下序列号传送。其中，t 为负荷数据类型占5 个字节。r 表示n a l 单元的重要性，占2 个字节。最后的f 为o 。如 n a l 单元错误则置为l 。n a l 单元结构规定了用于面向分组或用于流 的传输子系统的通用格式。在h 3 2 0 和m p e g 2 系统中，n a l 单元的 流应该在n a l 单元边界内，每个n a l 单元前加1 个3 比特的起始前 缀码。在分组传输系统中，n a l 单元由系统的传输规程确定帧界，因 此不需要上述的起始前缀码。 l 组n a l 单元称为1 个接入单元，定界后加上定时信息( s e i ) 形 成基本编码图像。该基本编码图像( p c p ) 由一组已编码的n a l 单元组 成。其后是冗余编码图像( r c p ) 它是p c p 同一视频图像的冗余表示， 用于解码中p c p 丢失情况下恢复信息。如果该编码视频图像是编码视 频序列的最后一幅图像应出现序列n a l 单元的e n d ，表示该序列已 结束。1 个图像序列只有1 个序列参数组并被独立解码。如果该编 码图像是整个n a l 单元流的最后一幅图像，则应出现流的e n d 。上述 严格接入单元的采用，不仅使h 2 6 4 ，a v c 可自适应于多种网络，而且 进一步提高了抗误码能力。序列号的设置可发现丢的是哪一个v c l 单元。冗余编码图像使得即使基本编码图像丢失，仍可得到较“粗糙” 的图像。 片、片组和f m 0 1 幅图像由若干片组成，每片包含一系列的宏块( m b ) 。m b 的排 列可按光栅扫描顺序，也可不按扫描顺序。每个片独立解码，不同片 的宏块不能用于自身片中作预测参考。因此。片的设置不会造成误码 扩散。如图2 4 ( 左图) 所示。 北京交通大学硕士学位论文 图2 4 ：不采用m f 0 的片划分( 左) 和采用m f o 的片划分( 右) 灵活的宏块顺序( f m o ) 允许m b 被分配到不按扫描顺序分布的片 中，如图2 4 ( 右图) 所示。黑白宏块分别属于不同的片当白片丢 失时，利用邻域相关性，黑片宏块的某种加权可用来代替自片相应宏 块。这种掩盖技术可明显提高抗误码性能。 s p 帧和s i 帧 h 2 6 4 ，a v c 引入了两种新的帧类型：s p 帧和s i 帧，它们能替代i - 9 贞的功能，如视频流的切换、拼接、随机接入以及错误恢复等。与i 帧相比，在相近的性能条件下，s p ，s l 帧能够提供更高的压缩效率。 2 2 视频分层编码技术 分层编码是指将视频编码数据分为几层，解码器根据网络带宽能 力或应用的不同，选择其中的一层或几层进行解码，从而获得与所选 择层数相对应的图像质量。作为i p 网实时视频多播传输o o s 过滤的 主要实现手段视频分层编码技术的选择较为关键。如前章所述，累 积分层型算法在数据冗余度和自适应能力方面的表现较流复制型和非 累积分层型算法要优越，因此也得到人们更多的关注。 累积分层型算法要优越，因此也得到人们更多的关注。 i p 网实时视频多播传输的关键技术 2 ，2 1 视频分层编码的分类 从累积分层的角度出发，视频分层编码方法可以划分为空域分层、 时域分层和质量分层三种。 空域分层编码 空域分层实现不同大小图像服务的兼容性。空域分层编码先在原 始图像中用采样方法得到一帧空间上低分辨率的图像，对该图像进行 编码后得到基本层。然后从原始图像减去经过内插处理的抽样图像得 到差值图像再对差值图像进行编码得到增强层。 时域分层编码 时域分层实现不同帧率的视频服务的兼容。时域分层编码的基本 层和增强层具有相同的空间分辨率和p s n r 。基本层的图像进行运动 估计时其参考帧只能从基本层中选取，而增强层的参考帧既可在增 强层也可在基本层选取。由增强层和基本层两部分数据重建的图像帧 率比只有基本层数据重建的要高。 质量分层编码 质量分层编码也称p s n r ( 峰值信噪比) 分层编码它实现不同 质量的视频服务的兼容。p s n r 分层编码的编码器在对d c t 系数进行 量化时，先采用量化级较大的矩阵，得到p s n r 较低的基本层数据。 得到增强层有两种方法：一种是将基本层数据的量化误差用一个量化 级较小的量化矩阵进行量化把第二次量化的结果作为增强层数据： 另一种方法是将解码图像与原始图像的差值再进行d c t 变换并用量 化级数小的量化矩阵进行量化。同时利用增强层和基本层数据可重建 出高p s n r 的图像。 北京交通大学硕士学位论文 2 2 2 一般分层编码算法分析 在精细分层编码( f g s ) 没有被提出来之前，研究者们对于一般 分层编码方法的研究已经有了许多成果，其中比较典型的有如下几个 算法： 三维子带( 小波) 编码 三维子带编码是二维子带编码的扩展。在大部分三维小波变换当 中，通过h a r r 小波变换得到的两个时域的子带分别进行二维小波变 换，小波系数按传统的方法进行编码。 三维小波变换编码的优点是：将计算量大的运动补偿换成了时域 滤波，使得编码器和解码器的计算复杂度对称且复杂度减小；支持多 分辨率的传输和显示：没有空问预测和循环结构，大大减小了传输错 误的蔓延从而具有鲁棒性。 c r p v h 视频分层编码 这是m c c a n n e i ”提出的一种视频分层编码算法。其时域压缩采用 了古老的c r 算法，即只对有变化的块进行编码和传输。虽然在无包 丢失的情况下运动补偿预测比c r 有更好的压缩性能，但是c r 无需 在编码端保留解码器，复杂度低，错误恢复能力强。对不同的终端编 码器，在包丢失时能够使图像质量平滑下降。 在空域压缩上，采用了小波变换与分层d c t 相结合的算法p v h 。 先利用小波变换将图像分成l l 、l h 、h l 、h h 四个子带，对l l 子 带应用8 8d c t 为保持嵌入式码流。对d c t 进行一次一个位平面 编码，与p j p e g 相似，对l h 、h l 子带的系数编码采用简单的位平面 编码。对h h 子带不作编码。 d c t 分层编码 1 6 i p 网实时视频多播传输的关键技术 d c t 视频分层编码”1 通常时域采用c r ，空域采用d c t 嵌入式 分层编码。一个l d c t 编码块由4 个8 8d c t 系数块组成，按与z i g z a g 扫描方式类似的方式扫描，对a c 系数用9 b i t 表示，第8 、7 、6 位平 面作为第一层，5 、4 位平面作第二层。3 、2 作第三层，o 、1 忽略， 再对每一层作与p j p e g 类似的游程长度编码。 2 3 精细分层编码技术( f g s ) 传统的分层编码方法不能有效地满足网络实时视频传输的实际需 要，因为这种传统的固定分层步长相对于异构动态的i p 网络来说太粗 糙了并且这个步长往往是整个增强层的比特数，而网络的状况却要 求视频编码器能够随着网络真实带宽的变化来进行确实有效的码率调 接。因此，人们提出了精细分层编码( f g s ) 方法。f g s 不仅具有精 细的视频编码数据分层能力。能够支持信道特性多变的包交换网络多 媒体应用。还提供了一个固有的错误恢复特性，能很快恢复任何增强 层的错误。此外，f g s 还提供了嵌入式的分层码流，不同的层具有不 同的重要程度。增强层码流能够容忍信道错误，当发生位错误而失去 同步时，解码器只需丢掉这一帧后面的比特，寻找下一个同步标志就 可以了。因此f g s 技术对于动态异构的i p 网络视频应用非常适合。 f g s 的嵌入式特性。使得具有不同带宽和解码能力的终端能够享受到 与之相匹配的视频服务质量。 2 3 1f g s 基本原理 f g s 分层编码框架如图2 5 所示： 1 7 北京交通大学硕士学位论文 f 6 se n n c e m e ml 狮r p r e 谢c t i o n - b a s 酣、，l d e ob a s el 训研 图2 5 ：f g s 分层编码框架 f g s 基本原理：对视频进行编码时产生一个基本层码流和一个 嵌入式的增强层码流。基本层采用常用的基于运动补偿预测的d c t 编码。基本层包含了最重要的、质量较低的视频信号。因此保障基 本层能够安全地在网络上传输需要满足的必要条件为r 。r m ( r 。为基本层速率r 。是网络带宽的下界) 。嵌入式的增强层码流 采用位平面编码技术来对源图像和基本层重构图像之间的差值进行编 码。由于位平面编码技术提供了精细可伸缩的特性，增强层码流可以 被任意地截取，因此这就使得当网络带宽变化时( 码流可能在某处截 断) 视频信号的改变是渐进和平滑的。视频的增强层码流是对参考图 像的基本层做预测的，接收到的增强层码流越多所恢复的图像质量 就越好，视频效果也越好。与传统分层的算法相比。f g s 的增强层无 需对码率进行控制，只要在一定速率范围内即可，也就是说增强层的 分层是连续的，即精细粒度分层。 i p 网实时视频多播传输的关键技术 2 3 2 基于d c t 的f g s 基于d c t 的精细分层”编码器和解码器的框架分别如图2 6 和 图2 7 所示。 图2 6 ：f g s 编码器结构 图2 7 ：f g s 解码器结构 f g s 编码方法采用基于运动补偿预测的d c t 变换对基本层进行 1 9 北京交通大学硕士学位论文 编码，产生一个低质量的基本层，并使得该基本层与网络的最低带宽 相匹配，减少错误和包丢失。然后对源图像和基本层重构图像之间的 差值进行d c t 变换，再进行位平面编码，以获得具有精细粒度分层特 性的嵌入式增强层码流。 位平面编码方法的原理如图2 8 所示： 一个轶的幕披 _ s 8 l s e h ” 之牛盟扫描 t 函涸；圄| 目： 之丰盛h | ，稍时镇的蕞撤( r _ p ) 符号 图2 8 ：位平面编码示意图 首先找到要编码的系数中绝对值虽大的那个系数，并由此确定所 需要的位平面个数，最重要的位平面( m s b ) 将最先编码，次重要的 其次编码，最不重要的位平面( l s b ) 最后编码。对于每个8 8 块的 位平面进行之字形扫描后得到一个6 4 位的数组，再对每个块的每一个 位平面形成( r u n 。e o p ) 符号。阻j n 表示1 前面连续o 的个数，e o p 表示在这个位平面中是否后面还有l 。然后再对( r u n ，e o p ) 进行 变长编码得到输出的码流。这样，在解码端m s b 最先收到，最后是 l s b 。即使由于网络带宽的变化，接收端无法接收完整的码流解码 器也能从己接收的增强层码流中恢复出部分增强的视频。 f g s 的增强层码流可以根据需要被截断成几个码率任意组合的子 层，这一特性弥补了传统累积分层方法中分层步长相对固定所带来的 i p 网实时视频多播传输的关键技术 不足，为灵活适应i p 网络中的各种接收带宽需求提供了很好的解决手 段。 f g s 中，任何要提高编码效率的方法只能是针对基本层来做的。 f g s 的一个特点就是基本层和所有增强层都是利用恢复的参考帧的基 本层来做预测。所有的增强层都由基本层预测得来的好处是一个增强 层的丢失或损害对后续帧没有影响。但是由于预测是基于低质量的基 本层因此f g s 的编码效率甚至还不如传统的p s n r 分层编码。 提高f g s 增强层视频的质量有以下两种方法： 选择增强( s e l e c t i v ee n h a j l c e m e n t ) 对于一个视频序列的某些帧来说，帧的某一部分可能会比其它部 分重要，因此可以利用抬高位平面的方法将重要区域的位平词放在码 流的最前面。 频率加权( 行e n q u e n c yw e i g h t i n g ) 通常低频系数的准确程度比高频系数的更重要，如果低频系数的 比特放在增强层码流的前面将有助于提高视觉效果。因此f g s 中采用 了频率加权方法。引入了加权矩阵，矩阵中元素的值表明该d c t 差值 位平面上移的位数。 f g s 位平面编码方法是在带宽变化时，满足视频质量平滑改变的 一种既简单又有效的方法。有实验表明7 l 。f g s 的编码效率比具有 多个增强层的p s n r 分层编码要好。不具备分层能力的单层编码效率 是所有分层编码的上界，f g s 比它低2 d b 。f g s 在最低和最高码率时， 一般都有较好的编码效果。 f g s 不同于任何不具有分层特性和传统的分层编码技术，它允许 编码和传输的分离，服务器可以在一定范围内以任意速率传输增强层 北京交通大学硕士学位论文 而不需要码流变换。 2 ，3 3 基于小波变换的f g s 基于小波变换的f g s m l 与基于d c t 的f g s 主要区别在于前者增 强层的编码先采用离散小波变换，再进行e z w 或s p i h t 编码和变长 编码。 小波变换具有天然的分层特性，且不具有基于d c t 变换后的块效 应。s h a p i r o 提出的e z w l ”1 编码方法是最常用的基于小波的编码方法。 e z w 还有一些变化形式，如s p i h t ( 2 0 】。在e z w 中每棵树的根位于最 大尺度的子带中，编码效率是来自于这样一个假设：小波系数的能盘 是沿糟树到树根向它的子带递减的。因此如果在节点n 的小波系数是 不重要的，那么它的所有子带也最有可能是不重要的。如采一个树的 根节点和所有子带都是不重要的，那么这棵树被称为零树。如果根不 重要而它的子带中有重要的小波系数，这样的树就称为孤零树。用来 对小波系数的重要性进行编码的过程称为重要性映射编码。s p i h t 也 是利用空间取向树对小波系数进行分组的，与e z w 不同之处在于重 要性映射的编码不同。 虽然小波变换编码由于具有天然的