（通信与信息系统专业论文）h264码流的信道自适应uep方案的研究.pdf

中文摘要 h 2 6 4 码流的信道自适应u e p 方案的研究 专业：通信与信息系统 硕士生：彭伟 指导教师：倪江群副教授 摘要 随着i n t e r n e t 的迅速发展，视频通信业务将成为i n t e r n e t 多媒体通信业务的主流。 视频业务本身有对带宽、延时、丢包等的要求，而i n t e r n e t 本质上属于一个“尽力而为” 的网络，并不提供可靠的业务质量保证，网络连接情况的动态变化将导致网络拥塞和数 据包的无序到达及丢失。所以，i p 网上的视频容错技术的研究具有重要的现实意义和应 用前景。 本文首先介绍了i p 网上视频通信研究现状与存在问题，介绍选题的定位与研究意义。 然后介绍了视频编码标准的发展和i p 网上视频应用的协议环境，对差错复原技术进行了 总结和归纳，为整个论文奠定了研究背景。在此背景之上，在深入研究了h 2 6 4 的网络 抽象层( n a l ) 对码流的两种包封装模式( 即采用数据分割与不采用数据分割两种模式) 之后，提出了一种基于r t p u d p i p 传输框架的综合的信道自适应容错方案。在信道存在 丢包的情况之下采用数据分割结合信道自适应的不等保护方案来抵抗信道差错，取得重 建视频质量与码率的权衡；而在信道无丢包时则采用模式切换为不采用数据分割模式， 以减小打包开销，进一步降低码率。最后为本文的自适应不等错误保护方案建立了仿真 环境，对结果作了分析。 仿真实验表明这种综合信道自适应容错方案具有良好的抗误码性能，在相同重建质 量下能有效降低编码器端的码率，取得码率与质量的很好权衡。 关键词：h 2 6 4 ，数据分割，不等错误保护，容错技术 英文摘要 a d a p t i v eu e ps c h e m er e s e a r c ho fh 2 6 4b i t s t r e a m m 勾o r ：c o 蛐u n i c a t i o na n di n f o r m a t i o ns y s t e m a u t h o r ：p e n gw 萌 s u p e r v i s o r ：p r o f e s s o rn ij i a n g q u n a b s t r a c t w i 出n l er a p i dd e v e b p m e n to fi n t e m 文e c h n o l o 垂e s ，v i d e oc o m m n n i c a t i o ni se r v i s i o n e d o b e c o m et h ed o m i n a n ti n t e m e tm u l t i m e d i ac o r 眦u n i c a t i o ns e r v i c ei nt h en e a rf h n i r e v i d e o s e r v i c e sh a v et h er e s t r i c t i d n so fb a i l d w i d t h ，d e l a y a n dp a c k e tl o s sr 批i o u n f o r t u n a t e l y ，t 1 1 e i i i t e n i c tn o wi na p p l i c a t i o ni se s s e n t i a l l yan e t w o r kw i t h b e s t e f f o r td e l i v e r y ”c h a r a c t e r i s t i c a n dn o tg u a r a n t e e sr e l i a b l eq o s ( q u a l i t yo fs e r v i c e ) ba r i d w i d t hn u c t u a t i o nd y n a l i c a l l yl e a d s t on e t w o r kc o n g e s t i o n ，a n dd a t ap a c k e t sm a ya n j v a ld i s o r d e r l y ，e v e nb el o s t s os t u d yo fe r r o r r e s i l i e n c e 眈h n i q u e sf o r i p b a s e dv i d e od e l i v e r yi ss t i uac h a l l e n g ea n dh a sr e a l i s t i c s i g n i f i c a n c ea n da p p l i c a t i o nf u t u r e i nl i s t t l e s i s ， t h e a c t u a l i t y a n db a s i cr e s e a r c h e sf o rv i d e ot r a 【i s i i l i s s i o na 1 1 d c o m 删n i c a t i o na r ei n t m d u c e df i r s t l y t h e ns o m ek e yt e c h n i q u e si n c l u d et h ec o d e ct e c h n i q u e s ， 山ee r r o r r e s i l i e n c et e c h n i q u e sa n dt h ep r o t o c o le n v i n m e n t so fi p b a s e dv i d e oa p p l i c a t i o na r e s u m m a r i z e d ， w h i c hb u i l d血eb a c k g r o u n do fm es t u d y a f t e r d e e pa n a i y s i s o ft w o e n c a p s u l a t i n g 1 0 d e so ft l l en a l ( n e t w o r ka b s t r a c t i o nl a y e r ) o ft h el a t e s tv i d e oc o d i n g s t a n d a r dh 2 6 4 ，ac o m b i n e dc h a n n e ia d a p t i v ee o rr e s i i i e n c es c h e m eb a s e do nt h et r a d i t i o n a l r t 啪朗pt r 趾s p o r tf h m ei sp r o p o s e d m e nm ep a c k e tl o s sr a t i oi sa b o v eo ，d a t a p a r c i t i o n i n gm o d ec o m b i n e dw i t ha d a p t i v eu e p ( u n e q u a ie r r o rp r o t e c c i o n ) s c h e m ei sa d a p t e d t oe o m b a tc h a n n e 【e r r o r o t h e r w i s e ，m es i n 9 1 es l 王c ep a c k e tm o d ei sa d a p t e dt of u m l e rr e d u c e c h ec o s to fp a c k e te n c 叩s u i a t i o no fe h ef o 响e rs c h e m e f i n a l iy t h ep e 商咖a n c e so ft h e p r o p o s e dc o m b i n e ds c h e m ea r ee v a l u a t e df r o mt h er e s u l t so ft h es i m u i a t i o n t h es i m u l a i o nr e s u l t ss h o wt h a 出ep r o p o s e dc o m b i n e da d a p t i v es c h e 砖h a sg o o d e 盯o r r e s i l i e n c ep e r f 0 肌a n c e ，a i l dh a sag o o db a l a n c eb e t w e e nt h eb i tr a t ea n dr e c o n s t n l c t c d q u a l i t y k e yw b r d s ：h 2 6 4 ，d a t ap a r t i t i o n i n 晷u e p e r r o rr e s i l i e n c e i i 第l 章绪论 第1 章绪论 1 1 论文的选题背景及研究意义 二十世纪九十年代以来，通信技术得到了飞速发展。由多媒体技术和通信技术相结 合面形成的集视频、图像、音频、语音、文字、数据等多种媒体为一身的多媒体通信业 务也得到了迅猛发展，出现了一批成熟的压缩标准和算法，并已成功而广泛地应用于多 媒体通信中。随着宽带网络的发展和用户需求的驱动以及计算能力的提高，多媒体技术 和相关的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。在多媒 体技术中，又以视频的应用最为瞩目，基于i p 的视频应用主要分为三类：交互应用，如 可视电话和视频会议；预编码的视频流下载，如基于i p 的实时视频流；数字电视广播。 应该指出的是：目前i p 网由于下面的一些原因还无法提供稳定可靠的多媒体业务。 首先，视频等连续媒体的传输有对带宽、时延、丢包的要求，但是当前应用中的i p 网络， 无论是网络本身的物理状况还是u d p i p 的数据传送协议与机制都没有提供可靠的业务 质量( q u a l i t yo fs e r v i c e ，q o s ) 保证。i p 数据包在传输的过程中不可避免地会受到 信道差错( c h a n n e le r r o r ) 的影响而出现抖动、i p 数据包丢失、包错误、乱序或者包 延迟等，这些严重影响多媒体通信的业务质量( q o s ) 。其次，网络的带宽总是有限的， 当负载很重时，网络数据流的堵塞会造成网络状况的进一步恶化，甚至会导致整个多媒 体通信系统的完全失效。另外，多媒体通信中数据流突发性大，造成网络带宽变动大， 因此多媒体通信对这种突发状况也需要有很强的适应能力。 另一方面，数字视频本质上具有很高的码率，例如3 5 2 2 8 8 大小、8 比特y u v 4 ：2 ：0 格式、3 0 帧秒的视频，其码率约为3 7 m b s 。因此，视频在传输之前必须经过压缩以减 少数据量。传统的视频编码国际标准，如h 2 6 l 【2 1 、h 2 6 3 【5 1 、m p e g 一1 3 1 ，m p e g 一2 【4 】和 m p e g 一4 【6 j ，以及最新的h 2 6 4 标准均采用基于变换编码与运动补偿预测的混合编码框 架来减少视频数据的时间和空间冗余度，能够将原始数据压缩2 0 5 0 倍以上。为了进一 步的降低统计冗余度，现有的视频压缩算法均使用可变长编码( v a r i a b l el e n g t hc o d i n g ， v l c ) 。这使得压缩后的视频数据对传输错误更加敏感。而时间和空间预测编码的使用， 中山大学硕士学位论文h 2 6 4 码流的信道自适应u e p 方案的研究 使得当前图像中的错误会在时间和空间上扩散，进步降低了后续图像质量。 为了减少传输错误对视频质量的影响，保证通信的正常进行，必须在视频编码端和 解码端采取适当措施，以增强视频通信系统的稳健性即进行差错控制。 差错复原技术一直以来都是研究的热点。早在1 9 9 3 年为了在综合业务数字网( i s d n ) 中可靠地传输会议电视和可视电话，c c i t t ( i t u t 的前身) 制定的h 2 6 1 建议就使用b c h 码进行检错和纠错。在1 9 9 8 年推出的h 2 6 3 第二版中就增加了四个增强抗误码能力的可 选模式：分片结构模式、参考帧选择模式、独立分段模式和数据分割模式。在1 9 9 9 年颁 布的m p e g 一4 标准中也包含了重同步、数据分割、可逆变长编码和n e w p r e d 等差错控制方 法。2 0 0 3 年正式颁布h 2 6 4 标准在继承了之前的标准中部分效率高、技术成熟的抗误码 技术( 如图像分割、参考图像选择等技术) 的同时，对帧内编码、数据分割等抗误码技术 进行了改进，另外h2 6 4 又提出三种新的抗误码技术：参数集、灵活宏块顺序以及冗余 片，进一步增强了码流本身的抗误码能力。 不同的视频通信业务有不同的服务质量要求，如交互式的实时通信对延迟和延迟抖 动非常敏感，而视频流点播业务允许较大的初始延迟。交互式双向通信通常可以利用反 馈信道进行差错控制，而广播通信没有反馈信道。不同的网络，其信道错误特性也不同。 因此必须根据通信业务、通信方式和信道的特点，研究和使用不同的差错复原技术。 综上所述，如何提高视频流抵抗信道差错以及随网络状况自适应的能力，如何根据 不同的应用选择不同的差错控制技术，促进当前应用的更加普遍的推广，仍然具有现实 意义。 本文立足于最新的视频编码标准h 2 6 4 与基本的r t p u d p i p 的传输框架，在深入分 析了h 2 6 4 的网络适配层( n e t w o r ka d a p t a t i o nl a y e r ，n a l ) 的两种封装模式之后，提 出了一种综合的信道自适应容错方案：在信道存在丢包的情况之下采用数据分割结合信 道自适应不等错误保护( u n e q u a le r r o rp r o t e c ti o n ，u e p ) 来抵抗信道差错；在信道丢 包率为o 的情况之下则采用自适应模式切换来进一步降低码率。仿真实验表明，这种综 合的容错方案能取得较好的质量与码率的折中。 1 2 论文主要内容 2 第1 章绪论 本论文主要包括以下内容： 第1 章为绪论，阐述视频通信的现状与存在的问题，介绍选题与研究意义。 第2 章对视频编码标准的发展作了简要介绍，重点介绍了h 2 6 4 标准的一些技术 亮点以及与其它的标准的编码性能对比。并对i p 网视频通信的协议环境做了简 要阐述。 第3 章介绍了视频通信中差错复原技术的分类，讨论了其中具有代表性的一些技 术；最后分析了视频编码标准中的一些差错复原技术与工具，详细介绍了h 2 6 4 中新引入或是对原有的视频编码标准中改进的部分。本章与上一章一起为论文的 研究奠定了技术背景。 第4 章针对h 2 6 4 标准的数据分割方案，对数据分割结合不等错误保护( u e p ) 方法作了理论上的分析，比较了当前该研究领域的一些现状，阐述了各种不等错 误保护方案的优缺点，并针对这些问题提出了一种综合的适合于i n t e r n e t 信道 的自适应码流容错方案，给出了具体实现过程。 第5 章为提出的综合信道自适应容错方案建立了仿真环境，给出了仿真结果，并 对仿真结果做了理论分析。 论文的最后是结束语、有关的参考文献、致谢和原创性声明。 中山大学硕士学位论文 l 2 6 4 码流的信道自适应u e p 方案的研究 第2 章视频编码标准及i p 网上视频应用的协议环境 典型的视频通信系统通常由五部分组成： 道传输、解复用解包信道解码和视频解码。 其它数据 视频源编码、复用包封装信道编码、信 框图如图2 1 所示： 其它数据 重建视频 图2 一l 典型的视频通信系统 要实现视频信号的传输，视频编码器必须首先对视频进行压缩处理。随着多媒体技 术的飞速发展，视频压缩编码技术已经逐渐走向成熟，i t u t 和i s 0 i e c 提出了多个有 关压缩编码的国际标准，各个编码算法标准有其自身的特点，在各自适合的环境中得到 了广泛的应用。 i p 寻址的通信网是基于t c p i p 协议的，因此i p 协议和t c p 协议是i p 网中的一对 重要协议。同时，为了保证实时业务( 如视频会议) 在i p 网中能很好的运行，还需要使 用实时传输协议( r t p ，r e a 卜t i m et r a n s p o r tp r o t o c 0 1 ) 和实时传输控制协议( r t c p ， r e a l ti m et r a n s p o r tc o n t r 0 1p r o t o c 0 1 ) 。 本章的安排如下：首先，对视频压缩编码标准的发展进行了介绍，重点介绍了最新 的视频压缩标准h 2 6 4 ，这也是本文的研究基础。然后介绍i p 网上视频应用的协议环境。 2 1 视频编码标准的发展 目前主要有两个制定视频编码标准的国际组织：i t u t ( 国际电信联盟) ，和i s o i e c ( 国际标准化组织国际电工委员会) 。i t u t 的标准称为建议，以字母排序，视频 电视会议编码的标准在以h 开头的子集里，例如h 2 6 1 、h 2 6 2 和h 2 6 3 。i s 0 i e c 的标 准按序号排列，例如m p e g 一1 相对应的是1 1 1 7 2 、m p e g 一2 相对应的是1 3 8 1 8 、m p e g 一4 相对 4 一黟二 一铲 编一 一警一 j i 频一阻一始一匾 第2 章视频编码标准及妒网上视频应用的西议环境 应的是1 4 4 9 6 等。i t u t 的建议标准h 2 6 x 系列主要用于低码率通信环境下的实时视频 通信，例如视频电视会议、可视电话等。而i s o i e c 的m p e c x 系列标准则主要用于广播 电视、d 阳和视频流媒体。大多数情况下，这两个标准组织独立制定不周的标准，但在 许多方面也有共同之处，例如h 2 6 2 标准和m p e g 一2 的视频编码标准基本上就是同一个标 准。 自1 9 9 6 年制定h 2 6 3 标准之后，i t u t 的视频编码专家组v c e g ( v i d e oc o d i n g e x p e r t sg r o u p ) 开始了两个方面的研究：一个是短期研究计划，在h 2 6 3 基础上增加可 选项，其成果是h 2 6 3 的后继版本h 2 6 3 + 与h 2 6 3 + + ；另外一个是长期研究计划旨在 研制出新的压缩标准，与以前的任何标准相比，效率要提高一倍，同时具有简单、直观 的视频编码技术，网络友好的视频描述，适合交互和非交互式应用( 广播、存储、流煤 体) 。长期研究计划产生了h 2 6 l 标准草案。2 0 0 1 年，国际标准化组织运动图像专家组 ( i s 0m p b g ) 在认识到h 2 6 l 潜在的优势之后，与国际电信联盟视频编码专家组( i t u t v c e g ) 合作形成了联合视频组j v t ( j o i n tv i d e ot e a m ) ，在h 2 6 l 标准草案的基础上共 同开发新一代的视频标准h 2 6 4 a v c ，该标准于2 0 0 3 年正式获得通过。h 2 6 4 是i t u 的 正式名称，其m p e g 正式名称是m p e g 一4p a r t1 0 或i s o i e c1 4 4 9 6 1 0a v c ( a d v a n c e dv i d e o c o d i n g ) 。 图2 2 概括了i t u t 的h 2 6 x 系列和i s o i e c 的m p e g x 系列标准的研究发展阶段和 不同标准之间的关系。 ii t u 丁 ls t 8 n 由r d s h 剐：j 旷 h 2 h 2 6 3 - “娜”爹芦 i 国一匿蜜二矗1 9 a 41 9 8 61 9 8 8 1 9 9 0 1 9 9 21 9 9 41 9 9 6 1 9 9 82 0 0 02 0 0 22 0 0 4 图2 2i t u t 和i s 0 i e c 的视频编码标准的发展 2 i 1m p e g x 系列视频压缩标准 中山大学硕士学位论文h 2 6 4 码流的信道自适应u l 弹方案的研究 m p e g x 系列标准是i s 0m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 工作组提出的视频 压缩标准，其主要包括m p e g 一1 、m p e g 一2 、m p e g 一4 等。 m p e g l m p e g 1 标准( i s 0 i e c1 1 1 7 2 ，c o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i o f o rd i g i t a ls t o r a g em e d i aa tu pt oa b o u t1 5m b i t s ) 是i s om p e g 二作组( i s 0 i e c j t c l s c 2 9 w g l l ，m o v i n gp i c t u r ee x p e r t sg r o u p ) 第一阶段的工作成果。于1 9 9 2 年完 成了系统、视频编码及音频编码的制订。m p e g 一1 主要面向数字存储媒体。和h 2 6 l 相比， m p e g l 的视频压缩编码采用了更为复杂的编码技术，以达到更高的压缩比和满足随机存 取的要求。 m p e g l 定位在与多媒体计算机接口速率为1 5 胁i t s ( 包括视频、音频及控制信息) 。 主要应用于多媒体计算机，教育与训练，演示与咨询服务，电子出版物，特别是基于c d 的数字视听系统，如v c d 。它也可用于d v b ，v o d 以及交互式电视( i t v ) 等广阔的应用 领域。 m p e g 一2 m p e g 一2 标准( i s o i e c1 3 8 1 8 ，g e n e r i cc o d i n go fm o v i n gp i c t u r e sa n d a s s o c i a t e d a u d i oi n f o r m a t i o n ) 是m p e g 工作组第二阶段的工作成果。m p e g 一2 用于对s d t v 和h d t v 的编码，与m p e g l 后向兼容。m p e g 一2 标准相对m p e g 一1 ，在视频编码方面作了重要改进 和扩充。 m p e g 一2 主要应用于数字视频存储，视频广播和通信，如h d t v 、c a t v 、d v d 以及v o d 等。m p e g 一2 支持恒定速率和变速率传输，支持随机存取以及许多特殊功能。m p e g 一2 已成 为“通用”的视频编码标准，并成为从通信、广播到计算机、消费电子产品的全屏幕、 全运动、高质量数字视频的共同关键技术。 m p e g 一4 m p e g 一4 ( i s 0 i e c1 4 4 9 6 ，c o d i n go fa u d i 。一v i s u a lo b j e c t s ) 是m p e g 工作组制订 的第三个国际标准。m p e g 工作组分别在1 9 9 8 年底和1 9 9 9 年底完成了m p e g 一4v e r s i o nl ( 第l 、2 、3 和6 部分) 和v e r s i o n2 的制订。m p e g 一4 是一个用于自然及人工合成的音 频视觉信息编码的标准。作为全新的音像( a v ，a u d i ov i s u a l ) 编码标准， l p e g 一4 具 有高效率的压缩、交互性以及通用的访问性( u n i v e r s a la c c e s s i b i l i t y ) 三大特点。 m p e g 一4 主要应用在数字电视、交互式图形应用和交互式多媒体等方面。m p e g 一4 视频旨在 第2 章视频编码标准及i p 网上视频应用的协议环境 提供多媒体环境下有效存储、传送以及操作视频数据的标准核心技术。 2 1 2h ，2 6 x 系列标准 h 2 6 x 系列视频压缩标准包括h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 等，主要应用于低码 率的视频通信环境，比如视频会议，可视电话等。 h 2 6 1 i t u th 2 6 1 标准( i t u tr e c o m m e n d a t i o nh 2 6 l ，v i d e oc o d e cf o ra u d i o v i s u a l s e r v i c e sa tp 6 4k b i t s ) 是c c i t t ( i t u t 的前身) 于1 9 9 0 年制订完成的，是视频压 缩编码的第一个国际标准。图像视频压缩编码的许多标准如j p e g 、m p e g 和h 2 6 3 等都 是在它的基础上发展起来的。它的制订集中体现了人们在图像压缩编码方面数十年研究 的成果。它所采用的压缩算法经过多年的实际应用，己被证明是高效而且实用的。h 2 6 1 是针对p 6 4 k b p s 传输速率信道的视频压缩编码标准。 h 2 6 3 h 2 6 3 标准( v i d e oc o d i n gf o rl o wb i t r a t ec o m m u n i c a t i o n ) 是i t u t 制订用于低 码率声像服务的压缩标准，是对h 2 6 l 标准的发展和提高，但它主要用于甚低码率 ( s 6 4 k b p s ) 的多媒体通信终端。h 2 6 3 是i t u th 3 2 4 ( t e r m i n a l f o rl 册b i t r a t e m u l t i m e d i ac o m m u n i c a t i o n ) 系列标准所规定多媒体通信终端的视频编码标准。针对低码 率的特点，h 2 6 3 的视频编码算法在h 2 6 l 基础之上作了若干改进并增加了4 个选项( 无 限制运动矢量、基于语法的算术编码、先进预测模式和p b 帧) ，以增强h 2 6 3 的性能， 使之能工作于甚低码率环境下。 h 2 6 3v e r s i o n2 ( h 2 6 3 + ) h 2 6 3v e r s i o n2 ( h 2 6 3 + ) 是对h 2 6 3 的进一步完善和发展，于1 9 9 8 年完成。h 2 6 3 + 对h 2 6 3 做了重大改进，增加了若干个选项以提高压缩效率或改善某方面的功能，如： 非限制运动矢量模式( a n n e xd ) ，高级帧内编码模式( a n n e xi ) ，去块效应滤波模式( a n n e x j ) ，片结构模式( a n n e xk ) ，追加增强信息模式( s e i l o d e ，a n n e xl ) ，改进的p b 帧模 式( a n n e xm ) ，参考帧选择模式( a n n e xn ) ，时间、信噪e e 、空间可伸缩性模式( a n n e x 0 ) ，参考图像再抽样模式( r e f e r e n c ep i c t u r er e s a m p l i n gm o d e ，a n n e xp ) ，简化的分 辨率更新模式( a n n e xq ) ，独立的分段解码模式( a n n e xr ) ，修改的量化模式( a n n e xt ) 。 这些改进和选择项使得h 2 6 3 + 在灵活性和编码效率等方面有了很大的提高，能适应 中山大学硕士学位论文h 2 6 4 码流的信道自适应u e p 方案的研究 更加广泛的应用的要求。 h 2 6 3v e r s i o n3 ( h 2 6 3 + + ) h 2 6 3 + + 在h 2 6 3 + 基础上又增加了3 个选项，其主要目的是为了增强码流在恶劣信道 上的抗误码性能，但同时也提高了编码效率。 这3 个选项为： 选项u 增强型参考帧选择，它能够提供增强的编码效率和信道错误再生能力( 特 别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图像。 选项v 数据分割，它能够提供增强型的抗误码能力( 特别是在传输过程中本地数 据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数据，采用可逆编码 方式保护运动矢量。 选项w 一在h 2 6 3 + 的码流中增加补充信息，保证增强型的反向兼容性。附加信息包 括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、文本、重复的图 像头、交替的场指示、稀疏的参考帧识别。 2 1 3h 2 6 4 标准 2 1 3 1h 2 6 4 的新特性 h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视频压缩编码标 准。从核心技术特征角度上讲，与之前的视频编码标准相比，具有如下特性： 高效的压缩性能。在使用多数编码方法类似的最佳编码器时，可最多节省超过5 0 的码率。 应用的范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合的需 求。对包括低比特率在内的所有比特率，h 2 6 4 都能持续提供较高的视频质量和 基于不同的约束条件来完成不同性质的任务。其中低延时模式包括实时通信的视 频会议等，没有延时限制的应用包括视频存储和以服务器为基础的视频流式应用 等。 强大的容错处理能力。h 2 6 4 不仅提供在包传输网中处理包丢失所需的工具，而 且在易产生误码的无线网中处理比特误码的工具。 “网络友好”的结构和语法。便于将视频信息封装以及进行优先级的控制。 第2 章视频编码标准及i p 网上视频应用的协议环境 2 1 3 2h 2 6 4 的技术亮点 h 2 6 4 a v c 在系统层面上提出了一个新的概念，即在视频编码层( v c l ，v i d e oc o d i n g l a y e r ) 和网络抽象层( n a l ，n e t 釉r k 怂s t r a c t i o nl a y e r ) 之间进行了概念性的分割。 v c l 主要致力于有效地表示视频内容；n a l 格式化v c l 视频表示，提供头部信息，以适合 多种传输和存储媒体。这样的分层结构既便于将编码视频信息进行封装，又可较方便地 实现优先级控制，实现所编码的视频流在当前所有的协议和复合结构中能够无缝播放并 容易组合。一个典型的系统结构如图2 3 所示。 h 2 6 4 腋v cc o e 咖a ll 掣。膊 i 骥鬻羹赫鞴| i | ! ：；j | | 囊熏奠髓蘸i | “4 簪苎：甜忿1 赫茹；嵩1 f t 1 _ 瞧! 熏琶瓣i i li 瓣黧瀵剽羼蓦i ，嘲爵耥峨糍：i隧i 曛瞄i e n c 嗨黪i i 。 】 n a le n c o d 蒜l e 篇8 j |。樾融。d 。m 。懒丰 餍鬻矛筒囊i 辫| | | l 煳阌黼除犏副熏i 誊i ； ；| i | _ i 图2 3h 2 6 4 的分层概念 1 ) 网络抽象层( n a l ) n a l 用于为v c l 提供一个与网络无关的统一接口，它负责对视频数据进行封装打包 后使其在网络中传送，它采用一种称为n a l 单元( n a 叫) 的统一的数据格式，包括单个 字节的n a l u 头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束 信号等。 在h 3 2 0 和m p e g 一2 系统等基于比特流的传输系统中，n a l 单元流应该在n a l 单元边 界内，每个n a l 单元前加一个3 字节的起始前缀码。在分组传输系统中，如r t p i p 系统， n a l 单元由系统的传输规程确定帧界，因此不需要上述的起始前缀码。 n a l 单元的结构以及基于r t p i p 的封装过程更详细的讨论在本文的4 1 节。 2 ) 视频编码层( v c l ) 中山大学硕士学位论文 h 2 “码流的信道自适应u l p 方案的研究 负责对编码视频信息进行有效的描述。v c l 的设计同以前i t u t 和i s o i e c 的视频 编码标准一样，仍然是采用所谓的基于块的混合编码( b l o c k - b a s e dh y b r i dv i “oc o d i n g ) 方法。基本的源编码算法是；利用肘闽统计的相关性，开发帧间预测算法；利用预测残 留变换编码，开发空问统计的相关性。 v c l 先将每个视频帧划分成1 6 1 6 像素的宏块，实现以像素块为单位进行处理视频 帧方式；接着通过对些无帧间相关性的像素块进行变换、量化和熵编码( 即变字长编 码) ，以去除其空间相关性；然后使用运动估值和运动补偿，去除存在于相邻帧相应像素 块之间时间方向的相关性，使得只有相邻帧间两个相应像素块的变化部分( 残差) 才需 要编码。 为了实现下一块或下一个图像的预测，编码器中内建有个解码器，对量化变换系 数进行与解码器解码相同的反量化和反变换过程，导出解码预测残差，解码残参差与预 测相加，结果送到去块效应滤波器，产生解码视频输出。 图2 4v c l 编码框图 图2 4 给出了v c l 编码的主要工作原理，它主要包括i n t r a i n t e r 预测和编码、变 换、量化处理和与熵编码等关键技术。下面我们简单叙述这些关键技术【7 “9 ，1 3 1 。 4 4 整数变换 0 第2 章视频编码标准及i p 网上视频应用的协议环境 以前的标准，如h 2 6 3 或m p e g 一4 ，都是采用8 8 的d c t 变换。v c l 中采用的整数变 换实际上接近于4 4 的d c t 变换，整数变换的引入降低了算法的复杂度，也避免了反变 换的失配问题。另外，采用小的4 4 的块变换可以减小块效应和明显的人工处理痕迹。 在实现上，整个变换无乘法，只需加法和一些移位运算。新的变换对编码的性能几乎没 有影响，而且实际编码略好一些。 量化处理 量化步长是对宏块数据压缩的一个重要组成部分。类似于h 2 6 3 使用3 1 个不同的量 化步长，v c l 提供了3 2 个不同的量化步长，此外，v c l 使用非固定宽度的尺度量化方法 对变换系数进行量化，这些步长的增加按1 2 5 的混合速率增加，通过使用精确的量化步 长，更能改进色度部分的精度。 量化变换的系数对应不同的频率，一个对应d c 值，其余的分别对应不同的频率值， v c l 将所有的变换系数放在一个数组中，通过之字形( z i g z a g ) 扫描和双扫描( 如图2 5 ， 2 6 ) 对数组中的数据进行读取。双扫描只用于使用较小量化级的块内，由于它的步长小， 从而有助于提高编码效率。 o 一1 ，5 。6 i - ，j 。乡 i 9 t 一1 07 1 4 匕二1 5 图2 5z i g z i g 扫描顺序图2 6 双扫描顺序 基于空域的帧内预测技术 视频编码是通过去除图像的空间与时间相关性来达到压缩的目的。空间相关性通过 有效的变换来去除，如d c t 变换、h 2 6 4 的整数变换；时间相关性则通过帧间预测来去 除。这里所说的变换去除空间相关性，仅仅局限在所变换的块内，如8 8 或者4 4 ， 并没有块与块之间的处理。 l2 6 3 + 与m p e g 一4 引入了帧内预测技术，在变换域中根据相临 块对当前块的某些系数做预测。h 2 6 4 则是在空域中，利用当前块的相临象素直接对每 个系数做预测，更有效地去除相临块之间的相关性，极大地提高了帧内编码的效率。 h 2 6 4 基本部分的帧内预测包括9 种4 4 亮度块的预测、4 种1 6 1 6 亮度块的预测 一一 一 ，、| 一一 5 | ，j 一 中山大学硕士学位论文 h2 6 4 码流的信道自适应u e p 方案的研究 和4 种色度块的预测。 运动估计 h 2 6 4 的运动估计具有3 个新的特点：l 4 象素精度的运动估计；7 种大小不同的块 进行匹配；前向与后向多参考帧。 h 2 6 4 在帧间编码中，一个宏块( 1 6 1 6 ) 可以被分为1 6 8 、8 1 6 、8 8 的块，而 8 8 的块被称为子宏块，又可以分为8 4 、4 8 、4 4 的块，如图2 7 所示。 总体而言，共有7 种大小不同的块做运动估计，以找出最匹配的类型。与以往标准 的p 帧、b 帧不同，h 2 6 4 采用了前向与后向多个参考帧的预测。半象素精度的运动估计 比整象素运动估计有效地提高了压缩比，而1 4 象素精度的运动估计可带来更好的压缩 效果。 1 6 x 1 61 6 x 88 x 1 68 x 8 宏块类型 了宏块 类型 口目田田 口目田田 图2 7 用于运动补偿的宏块的划分 编码器中运用多种大小不同的块进行运动估计，可节省1 5 以上的比特率( 相对于 1 6 1 6 的块) 。运用1 4 象素精度的运动估计，可以节省2 0 的码率( 相对于整象素预测) 。 多参考帧预测方面，假设为5 个参考帧预测，相对于一个参考帧，可降低5 1 0 的码 率。以上百分比都是统计数据，不同视频因其细节特征与运动情况而有所差异。 熵编码 h 2 6 4 标准采用的熵编码有两种：一种是基于内容的自适应变长编码( c a v l c ) 与统一 的变长编码( u v l c ) 结合；另一种是基于内容的自适应二进制算术编码( c a b a c ) 。c a v l c 与 c a b a c 根据相邻块的情况进行当前块的编码，以达到更好的编码效率。c a b a c 比c a v l c 压 缩效率高，但要复杂一些。 去块效应滤波器 h 2 6 4 标准引入了去块效应滤波器，对块的边界进行滤波，滤波强度与块的编码模 第2 章视频编码标准及m 网上视频应用的协议环境 式、运动矢量及块的系数有关。去块效应滤波器在提高压缩效率的同时，改善了图像的 主观效果。 2 1 3 3h 2 6 4 与其它视频编码标准的性能比较 7 ”9 】 h 2 6 4 标准不仅针对视频会议系统，而且涵盖了电视广播、网络流媒体、多媒体信 息的数字存储、数字影院等各方面的应用。文献 7 中针对三种不同的应用( 视频流、视 频会议以及娱乐质量的应用) 对各编码标准编码效率进行了详细的比较。我们把视频流 以及视频会议的部分结果阐述如下。图像序列使用q c i f 、c i f 格式，所有编码器都使用 拉格朗日优化技术。编码效率用相同峰值信噪比( p s n r ) 的情况之下比特率的节省来衡 量。 对于视频流的应用，比较了h 2 6 4 a v cm p ( m a i np r o f i l e ) 、m e g e 一4v i s u a l a s p ( a d v a n c e ds i m p l ep r o f i l e ) 、h 2 6 3h l p ( h i g hl a t e n c yp r o f i l e ) 以及m p e g 一2 的 m l 酬p ( m a i nl e v e la tm a i np r o f i l e ) 。图2 8 给出了对c i f 格式的视频序列t e m p e t 在 帧率为1 5 h z 时各编码标准的率失真特性。表2 1 则给出了在不同测试序列以及比特率情 况下的平均比特率节省的情况。 图2 8t e m p e t e 序列帧率= 1 5 h z 下各编码标准率失真特性( 视频流应用) 【9 j 中山大学硕士学位论文 h 2 “码流的信道自适应u e p 方案的研究 表2 一l 平均比特率节省( 视频流应用) 9 】 a v e f a q eb i t 鼬t es a v i n 唾sr e l a t ；、，et o ： c o d e rm p e g - 4a s p辩。2 6 3 鞋l p m p e g 一2 h z 6 4 p a v em p3 7 4 4 4 7 5 8 6 3 5 7 m p e g 一4a s p 一 1 6 6 5 4 2 9 5 h 2 6 3h l p 一一 3 0 6 1 我们可以看到，h 2 6 4 a v c 的编码性能要远好于其它标准，例如h 2 6 4 a v cm p 相对 于m p e g 一2 平均要节省6 3 的码率，相对于m p e g 一4a s p 则要平均节省3 7 的码率。 对于视频会议应用，比较了h 2 6 4 a v cb p ( b a s ep r o f i l e ) ，m p e g 一4s p ( s i p l e p r o f i l e ) ，h 2 6 3b a s e l i n e 以及h 2 6 3c h c ( c o n v e r s a t i o nh i g hc o m p r e s s i o n ) 。图2 9 给出了对c i f 格式的视频序列p a r i s 在帧率为1 5 h z 时各编码标准的率失真特性。表2 2 则给出了在不同测试序列以及比特率情况下的平均比特率节省的情况。 4 图2 9p a r i s 序列在帧率为1 5 h z 时各编码标准的率失真特性( 视频会议应用) 【9 】 第2 章视频编码标准及网上视