（通信与信息系统专业论文）视频编码标准h264及其快速实现算法研究.pdf

摘要 h 2 6 4 a v c 是由i t u t 的v c e g ( 视频编码专家组) 和i s o 的m p e g ( 运动 图像专家组) 共同制定的新的视频编码标准。h 2 6 4 使用很多先进的视频编码方 法，与现有标准相比，它可以获得更高的压缩性能，同时由于其结构上合理的设 计，使得h 2 6 4 具有良好的网络适配性，因此h 2 6 4 在无线和i p 信道上能够得到 更广泛的应用。 然而在实际应用中，特别是当h 2 6 4 应用在一些实时多媒体业务( 如v o d ， 流媒体) 时，由于h 2 6 4 压缩性能高，导致算法运算复杂度较高，这样对其应用 产生很大影响。为了使h 2 6 4 能够更好地应用于实时多媒体通信，就必须使用多 种降低视频编码运算复杂度的快速算法。 本文在详细研究了h 2 6 4 视频编码特点的基础上，分析了h 2 6 4 帧内编码及 变换、量化技术的原理及特点，提出了多种降低视频编码复杂度的算法，这些技 术包括一种新颖实用的帧内预测快速算法，整数变换和量化过程中零块的预先判 决算法，以及使用s i m d ( 单指令多数据流) 技术来提高h 2 6 4 帧内编码的速度 等。 帧内预测快速算法通过充分利用视频信号时间及空间上的相关性，减少帧内 预测的候选模式的个数；整数变换零块预先判决算法通过计算s a d 值来判断是否 为零块，减少了d c t 变换和量化的次数，并且提前终止了位移估值；s i m d 技术 提高了帧内编码程序的并行运行能力。实验表明，通过使用本文提出的帧内预测 快速算法和零块预先判决等方法可使得h 2 6 4 编码速度获得显著的提高。 关键词：h 2 6 4 a v c 帧内预测整数变换零块预先判决s i m d ( 单指令多数 据流) a b s t r a c t h 2 6 4 a v ci st h en e w e s tv i d e oc o d i n gs t a n d a r do ft h ei t u tv i d e o c o d i n g e x p e r t sg r o u p ( v c e g ) a n d t h ei s o i e cm o v i n gp i c t u r e e x p e r t sg r o u p ( m p e g ) t h e m a i ng o a l so ft h eh 2 6 4 a v cs t a n d a r d i z a t i o ne f f o r th a v eb e e ne n h a n c e dc o m p r e s s i o n p e r f o r m a n c ea n dp r o v i s i o no fa “n e t w o r k - f r i e n d l y v i d e or e p r e s e n t a t i o na d d r e s s i n g “c o n v e r s a t i o n a l ( v i d e ot e l e p h o n y ) a n d “n o n c o n v e r s a t i o n a l ”( s t o r a g e ，b r o a d c a s t ，o r s t r e a m i n g ) a p p l i c a t i o n s h 2 6 4 a v c h a sa c h i e v e da s i g n i f i c a n ti m p r o v e m e n ti n r a t e d i s t o r t i o ne f f i c i e n c yr e l a t i v et oe x i s t i n gs t a n d a r d s b u tt h eh i g hc o m p l e x i t yc o m e s w i t ht h e h i i g hc o m p r e s s i o n ，w h i c hm a k e sh 2 6 4h a r d l ya p p l i e di nt h er e a lt i m e s e r v i c e s ( 1 i k ev i d e o o n d e m a n d ，s t r e a m i n gm e d i a ) t h i sa r t i c l e p r o v i d e s a no v e r v i e wo ft h et e c h n i c a lf e a t u r e so fh 2 6 4 a v c ， d e s c r i b e st h et h e o r yo fi n t r ap r e d i c t i o n ，t r a n s f o r ma n dq u a n t i z a t i o ni n d e t a i l ，a n d p r o p o s e sa n o v e lf a s ta l g o r i t h mo fi n t r ap r e d i c t i o na n da na l g o r i t h ma b o u td e c i s i o no f a l l z e r ob l o c k sb e f o r ei n t e g e rt r a n s f o r ma n dq u a n t i z a t i o n m o r e o v e r , w ea l s op r o v i d ea m e t h o du s i n gs i m d ( s i n g l ei n s t r u c t i o nm u l t i p l ed a t a ) t oi n c r e a s et h es p e e do fi n t r a p r e d i c t i o nc o d i n g e x p e r i m e n t a lr e s u l t ss h o w t h a tt h es p e e do f c o d i n gi so b v i o u s l yi m p r o v e dw h e n u s i n gp r o p o s e dt e c h n i q u e s k e y w o r d ：h 2 6 4 a v c i n t r a p r e d i c t i o ni n t e g e rt r a n s f o r m s i m d 创新性声明 x6 9 5 3 6 8 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名司豹p 日期一z 0 0 5 ，- 9 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间，论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。【保密的论文在 解密后遵守此规定) 本人签名：! 鸳室! 坠 导师签名 日期，船f 】。 日期2 j , 0 3 , 2 剖l z 第一章绪论 第一章绪论 1 1 引言 随着信息技术的发展和社会的进步，人们对信息的需求越来越丰富。人们希 望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视频等多种 方式进行通信。视觉信息给人们直观、生动的形象，图像视频的传输更受到人们 广泛地关注。超大规模集成电路( v l s i ) 技术和宽带数字网技术的发展，使人们对 数字视频业务如可视电话、视频会议、视频监控、高清晰度电视( h d t v ) 、视频 点播( v o d ) 、远程教学和远程购物等产生了越来越浓厚咱勺兴趣。 数字化视频信息数据量庞大，给存储器的存储容量、通信信道的传输率( 带宽) 以及计算机的处理速度增加了极大的压力。解决这个问题单纯用增加存储器容量 和通信信道的带宽及提高计算机的运算速度等办法是不经济也是不现实的。视频 数据压缩编码技术是行之有效的方法。采用先进的数字视频压缩技术将数字化的 视频信息的数据量压缩，既节省了存储空间，又提高了通信的传输效率，使得视频 及其通信业务成为可能。 图像压缩编码从1 9 4 8 年电视信号数字化提出以来，已有五十多年的历史，不 仅在理论研究上取得了重大进步，而且在实际应用中也获得了很大成果。近十年 来，图像编解码技术得到了迅速发展和广泛应用，并且目臻成熟，其标志就是多 个关于图像编解码的国际标准的制定，即国际标准化组织i s o 和国际电工委员会 i e c 关于静止图像的编码标准j p e g j p e g 2 0 0 0 ，关于运动图像的编码标准 m p e g 一1 、m p e g 一2 、m p e g 一4 等，以及国际电信联盟i t u t 制定的视频编码标准 h 2 6 x 系列。这些标准采用的图像编码算法融合了各种性能优良的图像编码方法， 代表了目前图像编解码的发展水平。而由i t u t 和i s o i e c 两个组织共同完成的 新的视频编码标准h 。2 6 4 a v c 更是结合了许多种视频编码的先进技术】口j ，从而 获得了比以往各种编码标准效果更好的性能，因而必将获得更加广泛的应用。 h 2 6 4 a v c 提出了许多新的先进技术，例如：h 2 6 4 将视频编码结构上分为 两个独立的层：视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络适配层n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) 。视频编码层的主要任务是用高效的方式表述视频数据，也就是 进行视频数据的压缩；网络适配层则根据网络的特性对数据进行封装打包，使其 适于网络传输；h 2 6 4 仍然采用基于块的运动补偿和变换编码，但它采用了一些 先进的编码技术来提高了压缩效率，例如：运动矢量具有亚像素精度，对于亮度 信号来说可以达到l 4 像素精度。运动补偿使用了块大小可变的运动补偿，允许 西安电了科技大学硕二0 学位论义：视频编t 马标准h2 6 4 发其快速实现算泫研究 使用多个参考帧，帧内编码使用帧内预测，自适应环路滤波，还有自适应于内容 的算术编码和变长编码，这些编码算法大大提高了h 2 6 4 的编码效率。 然而，这些高效的视频编码技术也使得h 2 6 4 的编码复杂度大大增加，这对 现在的硬件设备提出了巨大的考验，尤其是对实时性要求特别高的应用( 如实时 会话业务) ，h 2 6 4 的高复杂度将影响其在这些领域的应用。为此需要使用一些快 速实现算法，在不明显降低h 2 6 4 编码性能下，降低h 2 6 4 的编码复杂度。 1 2 论文的研究工作 1 2 1 论文所完成的研究工作 本文主要做了以下几点研究工作： 详细介绍了h 2 6 4 的编码结构、技术特点及性能复杂度等； 深入研究了h 2 6 4 帧内编码的特点，在此基础上提出了一种新颖实用的帧 内预测编码快速算法。并使用并行指令技术提高帧内编码速度； 在深入研究h 2 6 4 整数变换的基础上，提出了一种提前判断零块来提高编 码速度的方法 1 2 2 论文所使用的开发平台 本论文在配置为p e m i u mi v2 0 g h z w i n d o w s 2 0 0 0 的p c 平台下，分别使用 m i c r o s o f t v i s u a lc + + 6 0 和i n t e lc + + c o m p i l e r8 0 作为开发和编译平台，改进和优 化的性能分析使用了i n t e lv t u n e t mp e r f o r m a n c ea n a l y z e r7 0 ，并使用自主开发的 h 2 6 4 视频编解码器。 1 2 3 论文各章节安排 本论文的各章节内容安排如下： 第二章首先介绍h 2 6 4 视频编码标准的基本结构及主要算法特点，然后详细 给出h 2 6 4 的网络适配层和视频编码层的特点，并给出其性能和复杂度，最后实 验比较了h 2 6 4 与h 2 6 3 + 的性能差别。 第三章首先详细讨论h 2 6 4 帧内预测编码算法，然后提出了一种快速帧内预 测快速算法，最后给出快速算法的实验结果。 第四章首先介绍了h 2 6 4 帧阃预测以及整数变换的特点，然后结合这些特点 提出了一种预先判决零块的方法，最后给出快速算法的实验结果。 第二章h2 6 4 视频编码标准 第二章h 2 6 4 视频编码标准 2 1h 2 6 4 标准简介 h 2 6 4 a v c 是最新的国际视频编码标准，它的制定过程最早是从1 9 9 8 年开始 的。当时，i t u + t 第1 6 研究小组在对h 2 6 3 不断改进的同时，还启动了另一个研 究项目h 2 6 l ，目标是制定一个新的数字视频编码标准，使其编码效率能够比当 时已投入使用的标准提高一倍。这个项目是由视频编码专家组( v c e g i t u t s g l 6q 6 ) 负责，2 0 0 1 年1 2 月，运动图像专家组( m p e g ) 也加入进来，成立 了联合视频小组( j o i n tv i d e ot e a m ：j v t ) ，共同来完成了标准的制订工作。2 0 0 3 年3 月，标准的最终草案公布并改名为h 2 6 4 ，由于h 2 6 4 是由两个组织共同创 建完成，所以它分别被称为i t u t 建议h 2 6 4 和i s o i e c 国际标准1 4 4 9 6 1 0 ( m p e g 一4 第十部分) a v c ( 先进视频编码) 。最终标准于2 0 0 3 年5 月发布j 。 h 2 6 4 编码的标准化范围如图2 1 所示： 图2 1 视频编码标准化范l 弱 图2 ，l 给出一个典型的视频编码解码系统流程和以前的r r u - t 和m p e g 所 制定的编码标准一样，只有视频的解码部分被标准化。通过影响和限制比特流和 语法，定义视频解码过程的语法单元，所有符合标准的解码器在给定一段编码后 的码流经过解码后都会有相同的结果输出。标准的这种范围限制最大可能地提高 了使用各自最适合的方式进行性能优化的自由度。 与以前的视频编码标准不同，h 2 6 4 在结构上分为两层( 如图2 2 所示) ：一 个规定视频编码算法的视频编码层( v c l ) 和一个规定网络传输规范的网络抽象 层( n a l ) 。视频编码层的主要任务是用高效的方式表述视频数据，也就是进行 视频数据的压缩；网络适配层则根据网络的特性对数据进行封装打包，使其适于 网络传输。 一鼢 一流 丽墙j 迥藏 叵叵 制)_葡一 斋 黼 西安电子科技大学硕士学位论文：视频编码标准h 2 6 4 及其快速实现算法研究 h2 6 4 概念层 【 视频编码层 视频编码层 ( v c l )( v c l ) j 1 l v c l - n a l 接h l 网络抽象层网络抽象层 ( n a l )( n a l ) n a l 蝙b 棒口n a l 矗r 碚接口 ll 0传输层l 旧圳雌h 2 6 。4 t o i 懈h 2 6 。4 。t o ii 告搿。? lr 鞴“c | 、j 之1 在i s d n 、以太网、局域网、d s l 、无线网络等不同网络上的会话业务； 在i s d n 、以太网、局域网、d s l 、无线网络等不同网络上的视频点播和流媒 体业务； 在i s d n 、以太网、局域网、d s l 、无线网络等不同网络上的多媒体短信业务 ( m m s ) 。 2 2h 2 6 4 编码的设计特点 h 2 6 4 与以前的视频编码标准相比性能获得了很大的提高，但它仍采用的是 传统的混合编码框架，h 2 6 4 编码效率的提高也不是其中某一种新的编码技术所 产生的决定性的结果，而是多种新算法结合而产生积累效果而致。相对于以前的 视频编码标准，h 2 6 4 具有如下主要特点： 1 提高预测编码部分能力( m c m e ) 的设计： 具有更小的块并且块大小可变的运动补偿：h 2 6 4 标准与已往任何标准相比 在运动补偿块的大小和形状上的选择都更为灵活。其亮度运动补偿块大d , r , j 、可 以是4 4 大小。 四分之一像素精度的运动补偿：以前大多数的标准最多支持运动矢量精确到 第二章h2 6 4 视频编码标准 二分之一象素。而h 2 6 4 标准中通过使用四分之一像素精度的运动矢量，使得运 动补偿更为精确。 可超越图像边界的运动矢量：m p e g 2 及其以前的标准，运动矢量只允许指 向已解码的参考图像内的点。图像边界外延技术，首先被h 2 6 3 作为一个可选项 而采用，在h2 6 4 中也被包含进来，这使得h 2 6 4 的运动矢量可以指向超出图像 边界的点。 多参考帧运动补偿：在m p e g - 2 及其以前的编码方案中，预测帧( 称为p 帧) 只允许用前一帧图像来预测下一帧的图像。而h 2 6 4 扩展了h 2 6 3 + + 中的参考帧 选择技术，允许编码器根据运动补偿原则在大量的已解码并存储在解码器的图像 中选择参考帧，来达到高效编码的目的。h 2 6 4 中同样也对双向预测参考帧的参 考能力根据双向运动补偿作了扩展。 去除显示图像顺序和参考图像顺序的耦合性：在以前的标准中，运动补偿的 参考帧使用顺序严格依赖于图像播放的顺序。h 2 6 4 标准彻底去除了这些限制， 允许编码器灵活选择参考图像的顺序和播放图像的顺序，其灵活性只受到存储器 的总容量必须确保解码能力的限制。同时，这些限制的去除也消除了以前由双向 预测编码带来的附加延时。 去除图像参考能力和图像表示方法的相关性：在以前的标准中，使用某些编 码方法生成的图像( 如：双向预测编码帧) 不能用作预测视频序列中其它图像的 参考帧。去掉这一限制后，新标准的编码器更为灵活，而且在很多情况下，可以 选择与待编码图像更接近的某一幅图像作为参考帧。 权重预测：h 2 6 4 中的又一个创新是允许编码器对运动补偿预测信号加权。这 使得包含淡入淡出效果的图像和其它一些图像在编码效率上有很大提高。 改进的“s k i p p e d ”和“d i r e c t ”模式推断：在以前的标准中，已编码图像中 模式为“s k i p p e d ”的图像区域的场景内容不能运动，这对包含整体运动的图像是 有害的。所以h 2 6 4 对“s k i p p e d ”区域进行运动推断。对双向预测编码区域( b s l i c e s ) ，h 2 6 4 还包含增强的运动推断方法：“d i r e c t ”模式的运动补偿，它进一步 改善了h 2 6 3 + 和m p e g 一4 v i s u a l 中“d i r e c t ”预测的设计。 帧内编码中不同方向的空间预测：在帧内编码的图像中使用了新的空间预测 技术，将当前图像中已编码的部分预先解码，将解码区域边缘的象素用于帧内编 码区域的空间预测。这一技术增强了预测图像的质量，并允许由邻近区域中非帧 内编码的图像预测当前图像。 环路去方块滤波：基于块的视频编码所产生的效应就是块效应，这是源于预 测和重构是在解码过程中是不同阶段。自适应去方块滤波的应用是一种为人所熟 知的改进图像质量的方法，如果设计得当，它对图像的主观和客观质量都有改进。 与h 2 6 3 + 的选项中的去方块滤波不同的是，h 2 6 4 的这一设计是在运动补偿预测 ! 堕茎生王型垫奎兰翌主堂堕笙苎! 塑塑塑型堡垡翌：! 竺墨墨堡堕壅堡簦笙竺壅 环路中提出的，所以它对图像质量的改善也可应用于帧间预测，进而增强预测其 它图像的能力。 2 提高变换和编码部分效率的设计： 小的块变换：以前所有主要的视频编码标准都使用大小为8 8 的块进行变 换，而新的h 2 6 4 的设计主要是采用4 4 的变换。这使编码器可以更好的根据当 时的场景来表现信号，有效减少了振铃( r i n g i n g ) 效应。 块大小灵活可变：在大多数情况下，使用大小为4 4 的较小的块进行变换就 可以了。但有一些信号的相关性很强，这种情况下的变换就可以使用更长的基函 数。 l 2 6 4 标准对这种情况的处理有两种方法：一是通过使用分级变换来扩充有 效的块大小，对频率较低的色度信号，将其组成8 8 的数组；二是通过允许编码 器在帧内编码时选择特殊的编码类型，使得对频率较低的亮度信号的变换长度扩 充到1 6 1 6 的块大小，这与色度信号的处理方法很类似。 短整型字长的变换：所有以前标准的编解码器对变换的计算的设计中，处理 都较为复杂，所以以前的标准中都采用3 2 比特的处理，而在h - 2 6 4 中仅要求1 6 比特的计算。 精确匹配的逆变换：在以前的视频编码标准中，用于表现视频的变换通常被 限定在误差允许的范围内，因为得到精确匹配的理想的逆变换是不现实的。所以， 不同的解码器设计解得的视频图像有微小的差异，产生编解码器所表现的视频信 号的“漂移”，使视频质量下降。h 2 6 4 是第一个达到解码的视频内容精确等价于 编码质量的标准。 算术熵编码：h 2 6 4 包含了一种先进的熵编码方法一算术编码。算术编码作为 l 2 6 3 的可选项出现过，h 2 6 4 中更为有效地利用了这一技术，提出了功能非常强 大的熵编码算法c a b a c ( 基于内容的自适应算术编码) 。 基于内容的自适应熵编码：h 2 6 4 中的两种熵编码方法分别是：c a v l c ( 基 于内容的自适应变长编码) 和c a b a c ，它们都是用基于内容的自适应手段来提 高编码效率。 3 提高抗误码，丢包以及增强在不同网络环境下操作的灵活性的设计： 参数集结构：参数集的设计为头信息的鲁棒性和高效安全性提供了保障。在 以前的标准中如果关键信息丢失了几个比特( 比如序列的头或图像的头信息) 可 能严重影响解码过程，在h 2 6 4 中对这些关键信息用更为灵活的方法单独处理。 n a l 单元语法结构：h _ 2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单 元。与以前的视频标准强制系统使用特定的比特流接口不同，h 2 6 4 的n a l 单元 语法结构允许根据特定的网络白定义合适的方法来传送视频内容a 灵活的s i i c e 大小：与m p e g - - 2 中定义的固定的s l i c e 结构不同，h 2 6 4 中的 第二章h 2 6 4 视频编码标准 s l i c e 大小与早些的m p e g 1 一样是非常灵活的。 灵活的宏块顺序( f m o ) ：提出了一种将图像划分成被称为s l i c e 组的新方法， s l i c e 组中的每一个s l i c e 都可以作为一个单独的解码单位。有效利用了这一点，灵 活的宏块顺序就可以显著增强抗数据丢失的鲁棒性。 任意的s l i c e 顺序( a s o ) ：因为编码图像的每一个s l i c e 基本都可以与图像中 的其他s l i c e 独立地进行解码，所以在h 2 6 4 的设计中，可以以任意顺序发送和接 收图像中的s l i c e 。这种能力可以改善实时应用中端到端的延时，尤其是乱序发送 的网络。 冗余图像：为了增强抗数据丢失的鲁棒性，h 2 6 4 的设计中允许编码器发送图 像某些区域的冗余表示，这样当基本表现部分在传输过程中丢失时，仍可以表现 图像的某些区域。 数据分割：在表现视频内容时，某些编码信息比别的信息更为重要或更有价 值( 如运动矢量或其它预测信息) ，因此，h 2 6 4 允许每个s l i c e 的语法可以按语 法元素的范畴被分为三个不同的部分进行传输。 s p s l 同步切换帧：s p s i 帧是h 2 6 4 设计的两种新的图像类型，通过使用 s p s i 帧就可以在解码端做到与其他解码器正在产生的视频流精确同步，而无需 对所有解码器都传送一个i 帧而造成效率下降。这就使得解码器可以在以不同的 数据传输速率播放的视频内容间进行切换，以及抗数据丢失和数据错误，并且能 够使用t r i c k 模式( 如快进、快倒等) 。 2 3h 2 6 4 网络适配层( n a l ) 网络适配层被设计成提供“友好”网络，使得对于不同的传输系统能够简单 有效的组织和使用视频编码的数据。网络适配层能够方便地将h 2 6 4 视频编码层 的数据影射到不同类型的传输层上( 如图2 t 所示) ，例如： 任何种类实时的有线和无线i n t e r n e t 业务的r t p i p 传输协议层。 文件格式，例如，i s o 用于存储的m p 4 和m m s 等。 应用于有线和无线会话业务的h 3 2 x 。 用于广播业务的m p e g 2 系统等。 2 3 1n a l 单元 编码以后的数据以n a l 单元的形式组织起来，每一个n a l 单元可以是一个 有效的包含整数个字节的分组。每一个n a l 单元的第一个字节包含了对n a l 单 元中数据类型的指示，而剩下的字节包含了相应类型的有效载荷数据。 西安电子科技大学颂l 学位论文：视频编码标准h2 6 4 及其快速实现算法研究 在n a l 单元中的数据为了避免与可能加入到n a l 单元前面的开始码前缀冲 突加入了冲突避免字节，通过加入特定的字节n a l 单元中的数据就不会出现与 开始码前缀一样的码子了。 n a l 单元结构定义说明了一个一般的格式，它可以被使用在面向数据分组和 面向比特流传输的两种不同的系统。一系列由编码器产生的n a l 单元就形成了 n a l 单元流。 2 3 2n a l 单元以字节流格式使用 一些系统( 如h 3 2 0 和m p e g 2 h 2 2 2 0 系统) 需要将整个或者部分n a l 单 元以有顺序的字节流或比特流的形式进行发送，在这些n a l 单元之间的边界位 置就必须通过这些编码后的数据本身来进行识别。 为了在这种系统中进行应用，h 2 6 4 专门定义了一个字节流格式。在字节流 格式中，每个n a l 单元前面放上了3 个字节的开始码前缀。这样n a l 单元的边 界就可以通过在码流中寻找独一无二的开始码前缀部分来识别。通过使用冲突避 免字节( e m u l a t i o np r e v e t i o nb y t e s ) 保证了开始码前缀在每一个n a l 单元中是可 以被独一无二地识别的。 2 3 3n a l 单元以分组传输系统使用 而在一些系统里( 如使用i p r 甲协议的系统) ，编码后的数据按照系统传输 层协议以分组的形式进行传输，并且在这样的系统里n a l 单元的边界的不使用 开始码就可以被识别。因此，为了减少数据冗余，在这样的系统中n a l 单元没 有加入开始码前缀。 2 3 4v c l n a l 单元和非v c l n a l 单元 n a l 单元可以被分为v c l n a l 单元和非v c l - n a l 单元。v c l - n a l 单元 包含了表示视频图像的采样数据，而非v c l - n a l 单元包含任何与附加信息相关 的数据，如参数集( 可以被应用到大量v c l n a l 单元的重要头信息) 和附加信 息域( 如时间信息或者是别的附加信息) 。 2 3 5 参数集 参数集就是包含了一些很少改变的并且被应用到很多v c l n a l 单元进行解 第二章h 2 6 4 视频编码标准 码的一些信息数据。参数集分为两种： 序列参数集：序列参数集被应用在一系列连续的编码后的视频序列中。 图像参数集：图像参数集被应用在一个视频编码序列中一个或更多个图像中。 序列参数集和图像参数集这种机制使得将些不经常改变的信息的传输与编 码后的表示视频图像采样值信息的数据的传输分离开来。每个v c l n a l 单元包 含一个标识用来说明参考相关图像参数集的内容，而每一个图像参数集又包含一 个标识用来说明对相关序列参数集内容的参考。用这种方法，一些少量的数据就 可以用来对大量信息的参考而不用在每个v c l n a l 单元中重复传输这些信息。 序列参数集和图像参数集可以发送在需要使用的v c l - n a l 单元之前。为了 增强抵抗丢失数据的健壮性，序列参数集和图像参数集可以被重复发送。在一些 应用中，参数集可以与发送视频数据的信道一同传输，而在另一些应用中，参数 集还可以通过比发送视频数据所用的信道更可靠的信道进行传输。 2 3 6a c c e s s 单元 一组以指定的形式组合的n a l 单元被称为a c c e s s 单元。通过对每个a c c e s s 单元的解码就可以解出一帧的图像数据。每一个a c c e s s 单元的格式如图2 3 所示 t l a c c e s $ 单元分隔符 l k 一 | f i 附加信息域( s e i ) i r 1基奉编码图像1 。l 1 l冗余编码图像 产一 l序列结束l f l流结束l l 结果 图2 3a c c e s s 单元结构 每个a c c e s s 单元包含了一组v c l - n a l 单元所组成的基本编码图像，而在基 本编码图像前面可以加入一个a c c e s s 单元分隔符用来帮助定位a c c e s s 单元的起 始位置。在附加信息域中包含了一些诸如图像时间信息等一些可能用于对基本编 码图像进行处理的附加信息 西安电子科技大学硕上学位论文：坦颁编码标准h2 6 4 及其侠速实现算法研宄 基本编码图像包含了一组v c l n a i ，单元，而这些v c l - n a ，单元又包含了 表示视频图像采样的s l i c e 和s l i c e 数据分割。 在基奉编码图像后面可以是一些附加的冗余的编码后图像数据的v c l - n a l 单元，当解码端数据丢失或者基本编码图像解码失败后即可以使用这些冗余编码 图像 最后如果编码图像是序列中最后一个图像，那么一个序列结束n a l 单元就可 以被加入其中；如果编码图像在一个完整的n a l 单元流中是最后个编码图像， 那么一个流结束n a l 单元可以被加入其中来说明整个码流的结束。 2 3 7 编码后的视频序列 一个编码后的视频序列包含一系列的由连续n a l 单元组成的a c c e s s 单元， 并且只使用一个序列参数集。每个编码后的视频序列在给定必要的参数集后可以 独立于任何别的视频序列进行解码。在每个编码视频序列的开始是个立即解码 刷新( i d r ) a c c e s s 单元， 个i d r a c c e s s 单元包含一个帧内编码帧。 一个n a l 单元流可咀包含一个或者多个视频编码序列。 2 4h 2 6 4 视频编码层( v c ) 视频编码层被用来高效的表示视频数据。自h2 6 1 标准制定以来，所有以前 的i n j t 和i s o i e cj t c l 视频编码标准中，视频编码的设计都采用基于块的混 合视频编码方法，每幅编码图像都以宏块为单位表示。其基本的编码算法思想是 通过帧间图像预测来减少时间统计相关性：通过对预测残差信号进行变换编码米 减少空间统计相关。虽然h 2 6 4 的每项新技术没有大幅提高编码效率，但是， 诸多小改进组合起来就使h2 6 4 在性能上获得了显著的提高。 图24 说明了h 2 6 4 中基于块的v c l 结构，从图中可以看出一个宏块的所有 的亮度和色度采样都进行了空间上的预测和时间上的预测，并且预测残余信号被 使用变换来进行编码，为了变换的目的，每个预测残余信号被分割成更小的4 x 4 块。每个块使用整数变换，并且对变换后的系数进行量化后使用熵编码。 第二章h2 6 4 视频编码标准 2 4 1 图像，帧和场 图2 4 h2 6 4 编码器基本结构 h 2 6 4 的一个视频序列包含一系列的编码图像。一幅编码图像既可以表示一 个完整的帧( f r a m e ) 也可以表示一个单独的场( f i e l d ) 。 总的来说，一帧视频可以被看作包含两个交错放置的场，一个顶场和一个底 场。顶场包含偶数行，若一帧中有h 行的话，就是第0 ，2 ，h 2 行。底场包 含奇数行( 由一帧的第二行开始) 。如果一帧中的两场是在不同的时间点捕获的， 这一帧被称为隔行扫描帧，否则称为逐行扫描帧。 2 4 2y c b c r 色彩空间和4 ：2 ：0 采样 人类的视觉系统分别感受场景的亮度和色度信息，而且对亮度细节的感受要 比对色度敏感。视频传输系统正是利用这一特点进行设计的。h ，2 6 4 与以前的标 准一样，通过y c b c r 色彩空间传输视频信息，并且减少c b 和c r 色度信息的采 样分辨率。 h 2 6 4 使用的视频色彩空间将对色彩的表达分离成三个成分y ，c b ，c r 。 分量y 被称作l u m a ，代表亮度信息，两个色度分量c b 和c r 被称作c h r o m a ，分 别代表信号中的蓝色和红色分量与亮度分量之差。因为人类的视觉系统对亮度比 对色度更敏感，因此在h 2 6 4 使用的采样结构中，色度分量的采样个数是亮度分 量的四分之一( 在水平和垂直方向上都是二分之一) 。这被称为4 ：2 ：0 采样，每个 采样点的精确度均为8 比特。 西安电子科技大学硕士学位论文：视频编码标准h2 6 4 及其快速实现算法研究 2 4 3 图像的划分s l i c e 和s l i c eg r o u p 当不使用f m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) 时，由一系列宏块按光栅扫描顺 序组成的宏块序列即为s l i c e 。一个图像可以被分成一个或几个s l i c e ( 如图2 5 所 示) 。因此在h 2 6 4 中个图像是一一个或多个s l i c e 的组合。给定有效序列和图像 参数集，s l i c e 就可以从比特流中解析出语法元素，继而对s l i c e 表示的图像区域的 采样值正确解码，而无需使用其它s l i c e 提供的数据。但s l i c e 边界的去方块滤波 可能需要其它s l i c e 的一些信息。 j i i：e0 j l i1 s 1 f 2 图2 5 将图像分成s l i c e ( 未使用f m o ) f m o 通过使用s l i c eg r o u p 的概念改变了把图像分成很多的s l i c e 和很多的宏 块的方式。每个s l i c eg r o u p 是根据宏块到s l i c eg r o u p 的映射图而定义的一组宏块， 它是由图像参数集的内容和s l i c e 头中说明的一些信息指定的。宏块到s l i c eg r o u p 映射图对图像中的每一个宏块都分配一个s l i c eg r o u p 标志数字，标识宏块所属的 s l i c eg r o u p 。每个s l i c eg r o u p 又可以分成个或多个s l i c e ，这样一个s l i c e 就是在 同一s l i c eg r o u p 中的一组宏块，而这些宏块在一个特定的s l i c eg r o u p 中是按光栅 扫描的顺序被处理的。( 不使用f m o 的情况可被看作是整个图像只包含一个s l i c e g r o u p 的特殊情况。) 不考虑是否使用f m o ，每个s l i c e 可以使用如下不同的编码方式进行编码： is l i c e ：s l i c e 内的所有宏块都使用帧内预测进行编码。 ps l i c e ：除了有is l i c e 的编码方式外，ps l i c e 中的一些宏块还可以使用最多有 一个运动补偿预测信号的帧间预测进行编码。 bs l i c e ：除了具有ps l i c e 可使用的编码方式的外，bs l i c e 中的些宏块还可 以使用有两个运动补偿预测信号的帧间预测。 以上的三种编码模式除了对参考图像的使用有所不同夕卜与以前的标准十分相 似。以下是两种新的s l i c e 的编码模式：s p 和s is l i c e 。 s ps l i c e ：切换ps l i c e ，目的是为了在不引起类似于插入i - s l i c e 所带来的比特 率开销的情况下，进行码流间的切换。它的使用可使不同预测编码图像之间的高 效切换成为可能。 第_ 二章h 2 6 4 视频编码标准 s is l i c e ：切换is l i c e ，和s p s l i c e 的用途一样，所不同的是s i s l i c e 的预测使 用帧内预测而不是运动补偿，因此它主要用于从一个码流切换到另一个完全不同 的码流，在这种情况下，因为两个序列之间没有相关性，所以运动补偿将没有帧 内预测的效率高。它可被应用于随机访问和错误掩盖。 2 4 4 帧内预测 如果一个宏块以帧内编码模式进行编码，则可根据已编码重建的块来形成一 个预测块，从而进行帧内预测。就亮度信号来说，预测块可以是1 6 x1 6 的块，或 是4 4 的块。对于1 6 x1 6 的块有4 个可选的预测模式，而对于4 x 4 的亮度块则 有9 个可选的预测模式。 根据s l i c e 编码类型的不同，每个宏块都可以以几种编码类型中的一种进行传 输。在所有s l i c e 编码类型中，h ，2 6 4 支持以下类型的帧内编码：亮度帧内4 x 4 预测模式、亮度帧内1 6 1 6 预测模式、色度帧内8 8 预测模式和ip c m 四种预 测模式。 亮度帧内4 4 预测模式对每个4 x 4 亮度块都单独进行预测，它对图像部分 区域的细节描述效果很好。亮度帧内1 6 1 6 预测模式则对整个1 6 x1 6 的亮度块 进行预测，它更适合于图像中平滑区域的编码。作为帧内亮度1 6 x1 6 预测模式和 帧内亮度4 x 4 预测模式的替代，i - p c m 编码模式允许编码器简单的避免预测和 变换编码过程，直接传输编码采样值。使用ip c m 模式具有以下几个目的： 1 ) 允许编码器精确表达采样值： 2 ) 为精确表示不规则图像内容提供了方法，且数据量没有显著增加： 3 ) 可以给解码器在处理一个宏块时必须处理的比特数作一个硬性限制而不损失 编码效率。 以前的视频编码标准中帧内预测通常在变换域进行，而在h 2 6 4 中，预测通 常用已进行编码的相邻块的采样点预测( 一般是预测块的上方或左方的块) ，在空 间域进行。在存在传输错误并导致帧间编码宏块出错的环境，这种做法可能导致 错误扩散。在这种情况下，可以采取严格的帧内编码模式，要求参与预测的相邻 宏块必须是以帧内模式编码的。 亮度4 4 预测模式根据不同的预测方向共分为9 种预测模式，他们是：模 式0 ：垂直预测模式，模式1 ：水平预测模式，模式2 ：d c 预测模式，模式3 ： 左斜下预测模式，模式4 ：右斜下预测模式，模式5 ：垂直偏右预测模式，模式6 ： 水平偏下预测模式，模式7 ：垂直偏左预测模式，模式8 ：水平偏上预测模式。亮 度帧内1 6 x1 6 预测模式支持四种预测模式。模式o ：垂直预测模式，模式1 ：水 西安电子科技大学碗上学位论文：视频编码标准h2 6 4 驶其快速实现算法研究 平预测模式，模式2 ：d c 预测模式，模式3 ：p l a n e 预测模式。由于色度信号通 常在很大范围内都很平滑，宏块中的色度采样点的预测使用与帧内亮度1 6 x1 6 预测模式相似的预测技术，其预测模式也是4 种分别为：模式0 ：d c 预测、模式 1 ：水平预测、模式2 ：垂直预测、模式3 ：平面预测。( 在第三章本文将进行更详 细的讨论) 为了保证所有s l i c e 之间相互独立，当跨越边界时不使用帧内预测( 及所有其 它形式的预测) 。 2 4 7 帧间预测 1 、ps l i c e 的帧间预测 在ps l i c e 中的宏块除了帧内宏块的编码类型外，还有帧间编码类型的宏块一 p 宏块。对p 宏块类型还定义了各种帧间预测或运动补偿编码类型。每个p 宏块 类型都对应了一种宏块的划分方式，划分出的块可用于运动补偿预测。语法定义 支持亮度信号的每一个宏块( 1 6 1 6 ) 可以有四种划分形式( 如图2 6 ) ：1 6 1 6 ， 1 6 8 ，8 1 6 和8 8 。当选择8 8 的块时还要传送一个附加的语法元素，这个 语法单元说明这个8 8 的块是否进行了进一步的划分。如果采用8 8 模式，则 每一个块还可以进一步的划分为( 如图2 6 ) ：8 8 ，8 4 ，4 8 或4 4 。 1 6 x 1 61 6 x88 1 6r x r 宏块划分 亚宏块划分 图2 6 宏块、亚宏块划分 采取这样的宏块划分和亚宏块划分，在每一宏块内可以为运动预测提供多种 可选的块组合方式。在h 2 6 4 标准中是采用率失真优化的方式来进行划分的，一 般来说，对于帧内较平滑的区域选择比较大的块，而对于细节部分则应选择较小 的块。 每个预测编码的m n 亮度块的预测信号通过置换参考图像的相应区域得 到，它由可译的运动矢量和一个图像参考索引详细说明。这样，如果宏块使用四 个8 8 的块进行