（微电子学与固体电子学专业论文）h264中cavlc解码器的vlsi设计.pdf

中文摘要 中文摘要 摘要：h 2 6 4 是由i t u 和i s o i e c 联合发布的新一代视频编码标准。同以前的编码 标准相比，h 2 6 4 的压缩效率提升将近一倍，而且它具有良好的网络亲和性，能够 适应各种网络的传输。本论文的研究课题是h 2 6 4 中c a v l c 解码器的v l s i 设计。 c a v l c ( 基于上下文的自适应变长编码) 是h 2 6 4 视频编码标准中一种重要的熵 编码技术，它在h 2 6 4 的基本档次、主要档次和扩展档次中均被支持。本论文即 基于h 2 6 4 的基本档次，用v l s i 设计方法去设计一个适用于实时视频通信的 c a v l c 解码器。 c a v l c 不同于一般的变长编码，它能够根据以往编码的数据在若干码表中自 适应的选择，找出与当前编码数据统计特性最相符的一个码表来进行编码。本文 对c a v l c 的编解码原理及过程进行了详细的探讨，并给出具体的c a v l c 编解码 举例。在深入理解c a v l c 解码流程的基础上，本文完成了c a v l c 解码器的v l s i 设计。设计引入首“1 ”检测器来对关键码表进行划分，加快查表解码速度；采用 一个控制器来对所有的解码子模块进行控制。整个设计采用v e r i l o gh d l 进行实 现，解码一个4 x 4 块最多需要6 2 个时钟周期。设计通过了功能仿真以及门级后仿， 能够连续地对输入码流进行正确解码。 本设计采用t s m co 18 u mc m o s 工艺，在s y n o p s y sd e s i g nc o m p i l e r 中进行 综合，综合得到的门级电路运行频率可达4 1 6 7 m h z ，电路规模8 9 k 门，动态功耗 3 2 8 m w 。该设计能够基本满足4 c i f 视频的实时解码要求。 关键词：v l s i 设计；h 2 6 4 ；c a v l c 解码器 分类号：t n 4 7 ；t n 9 1 9 8 1 a b s t r a c t a bs t r a c t a b s t r a c t ：h 2 6 4 ，t h en e x t - g e n e r a t i o nv i d e oc o d i n gs t a n d a r d ，i sj o i n t l y d e v e l o p e db yt h ei t ua n di s o i e c i th a sb e t t e rc o m p r e s s i o ne f f i c i e n c yt h a np r e v i o u s c o d i n gs t a n d a r d s ，a n di ti sa l s on e t w o r k f r i e n d l y , w h i c hm a k e si ts u i t a b l ef o rm a n y k i n d so fn e t w o r k t h i st h e s i si sj u s ta b o u tt h ev l s id e s i g no fh 2 6 4c a v l cd e c o d e r w h i l ec a v l c ( c o n t e x t - a d a p t i v ev a r i a b l e - l e n g t hc o d i n g ) i sa l li m p o r t a n t e n t r o p y c o d i n gm e t h o di nh 2 6 4 ，i ti ss u p p o r t e di nb a s e l i n ep r o f i l e ，m a i np r o f i l ea n de x t e n d e d p r o f i l e t h i st h e s i si sb a s e do nh 2 6 4b a s e l i n ep r o f i l e ，a i m sa td e s i g n i n gac a v l c d e c o d e rf i tf o rr e a l t i m ev i d e oc o m m u n i c a t i o na p p l i c a t i o n su s i n gv l s id e s i g nm e t h o d s d i f f e r e n tf r o mc o m m o nv l c ( v a r i a b l e l e n g t hc o d i n g ) ，c a v l cc a nc h o o s et h e b e s tc o d e w o r dt a b l ea c c o r d i n gt op r e v i o u s l yc o d e ds y m b o l s ，a n dt h u sb r i n g sa b o u tg r e a t c o m p r e s s i o ne f f i c i e n c yf o re n t r o p yc o d i n g t h i st h e s i si n v e s t i g a t e st h ep r i n c i p l e sa n d p r o c e d u r e so fc a v l c e n c o d e ra n dd e c o d e r , a n dg i v e ss p e c i f i ce x a m p l e s b a s e do nt h e s o l i du n d e r s t a n d i n go fc a v l c d e c o d i n gp r o c e d u r e ，av l s id e s i g no fc a v l c d e c o d e r i sa c c o m p l i s h e di nt h i st h e s i s t h ed e s i g na d o p t saf i r s t o n ed e t e c t o rt od i v i d et h e c o m p l e xc o d e w o r dt a b l e s ，a n di m p r o v e st h es p e e do ft a b l el o o k u p ；i na d d i t i o n ，a c o n t r o l l e rt h a tm a n a g e sa l lt h ed e c o d i n gs u b m o d u l e si sa l s op r o p o s e d t h i sd e s i g ni s d e s c r i b e du s i n gv e r i l o gh d l ，a n di tt a k e s6 2c l o c kc y c l e sa tm o s tt od e c o d ea4 x 4b l o c k t h ef u n c t i o n a la n dg a t e l e v e ls i m u l a t i o ns h o w st h a ti tc a nc o r r e c t l yd e c o d es u c c e s s i v e i n p u tb i t s t r e a m t h i sd e s i g no fc a v l cd e c o d e ri ss y n t h e s i z e di ns y n o p s y sd e s i g nc o m p i l e r , u s i n g t s m c0 18u l nc m o st e c h n o l o g y t h es y n t h e s i sr e s u l ts h o w st h a tt h em a x i m u mc l o c k f r e q u e n c yi s4 1 6 7 m h z ，w i t ha na r e ao f8 9 kg a t e sa n dd y n a m i cp o w e ro f3 2 8 m w t h i s d e c o d e rc a nb a s i c a l l ym e e tt h er e a l t i m ed e c o d i n gr e q u i r e m e n to f4 c i fv i d e o k e y w o r d s ：v l s id e s i g n ；h 2 6 4 ；c a v l cd e c o d e r c l a s s n o ：t n 4 7 ；t n 9 1 9 8 1 图清单 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图3 1 图3 2 图3 3 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 图4 1 2 图4 1 3 图4 1 4 图4 1 5 图4 1 6 图4 1 7 图4 18 图清单 邻近像素间的相关性6 锯齿形扫描9 变长编码举例1o h 2 6 4 编码器12 h 2 6 4 解码器13 4 x 4 亮度块预测模式一15 1 6 x 1 6 亮度块预测模式1 5 宏块分割和子宏块分割1 6 h 2 6 4 的三种档次1 7 c a v l c 解码流程图2 6 除拖尾系数外其他非零系数幅值的解码流程图2 8 r u nb e f o r e 解码流程图3 0 c a v l c 解码器的设计框图3 6 缓冲器的结构3 7 缓冲器模块的实现3 8 首“l ”检测器模块的实现3 9 c a v l c 解码状态图4 0 控制器状态转移图4 1 控制器模块的实现4 2 c o e f ft o k e n 解码模块的结构4 4 c o e f ft o k e n 码表划分4 5 c o e f ft o k e n 解码模块的实现4 5 t 1s i g n 解码模块的结构一4 7 l e v e l 解码模块的工作情况一4 8 l e v e l 解码模块的实现4 9 t o t a lz e r o s 解码模块的结构5 0 t o t a lz e r o s 解码模块的实现5 1 r u n 解码模块的结构5 2 r u n 解码模块的实现5 2 l e v e l 和r u n 合并模块的结构5 3 图4 1 9 图4 2 0 图5 - 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 9 北京交通大学硕士学位论文 读指针更新模块的结构5 4 读指针更新模块的实现5 5 验证方案5 7 b i t s t r e a m t x t 中的内容6 0 设计和测试的层次结构6 1 r a m 中的数据6 2 功能仿真总波形6 2 例子1 解码结果6 3 例子2 解码结果6 3 例子3 解码结果6 4 门级仿真波形6 5 表清单 表2 1 表3 1 表3 2 表3 3 表4 1 表4 2 表4 3 表4 4 表4 5 表4 6 表4 7 表4 8 表4 9 表5 1 表5 2 表5 3 表清单 变长编码结果1 0 计算n c 的值一2 1 c o e f ft o k e n 码表选择一2 1 决定是否增加s u 佑x l e n g t h 的阈值一2 4 缓冲器模块的端口描述3 9 首“1 检测器模块的端口描述3 9 控制器模块的端口描述4 3 c o e f ft o k e n 解码模块的端口描述_ 。4 6 l e v e l 解码模块的端口描述4 9 t o t a lz e r o s 解码模块的端口描述一5 1 r u n 解码模块的端口描述5 3 l e v e l 和r u n 合并模块的端口描述5 4 读指针更新模块的端口描述5 5 r a m 模块端口描述5 8 测试文件的端口描述6 1 c a v l c 解码器综合结果6 4 独创性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者躲易俘签字嗍沙7 年月7 日 7 9 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位敝储躲易傍 签字日期：w 。c 7 年月1 1e t 导师签名：磊j 、确产 7 签字日期：矽。c 年月j 髫e l 致谢 本论文的工作是在我的导师袁小龙副教授的悉心指导下完成的，袁小龙副教 授严谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两 年来袁老师对我的关心和指导。 在实验室工作及撰写论文期间，刘金鹏同学对我论文中的设计的逻辑综合部 分研究工作给予了热情帮助，在此向他表达我的感激之情。 另外也感谢我的家人和所有关心我的朋友们，他们的理解和支持使我能够在 学校专心完成我的学业。 引言 1 1 研究背景 1 引言 近年来，随着数字电视的兴起，数字视频技术得到了越来越多的关注，并在 通信和广播领域获得了日益广泛的应用。数字多媒体广播、卫星电视、移动多媒 体通信、便携多媒体播放设备等等，j 下在丰富并改变着人们的生活，而所有这些 都离不开视频压缩技术。随着人们对于更高质量的视频通信及视频回放需求的日 益增长，视频压缩技术成为国际信息领域的热点技术。如何有效压缩视频信息并 保持高质量，成为学者们着力研究的问题。 为此，人们付出了巨大的努力，也奉献出了丰硕的成果。从1 9 8 4 年c c i t t 公布第一个视频编码国际标准以来，至今已有二十多年了。在此期间，r r u t 等国 际标准化组织陆续颁布了近十个视频编码国际标准【l 】，大大推动了视频通信和数字 电视广播的发展。在2 0 0 3 年，i t u 和i s o i e c 组成的联合视频组( j v t ) 发布了 h 2 6 4 视频压缩标准，它既是i t u 的h 2 6 4 标准，也是i s o i e c 的m p e g 4 的第 1 0 部分( m p e g 4p a r t l 0 ) ，官方名字a v c ( 高级视频编码) 【2 】，因此h 2 6 4 也称作 h 2 6 4 m p e g 4p a r t l 0 ，或者h 2 6 4 m p e g 4a v c 引，一般写作h 2 6 4 a v c 。 h 2 6 4 视频编码标准相比以前的标准，获得了将近一倍的压缩效率提升，因此 被称为下一代视频压缩编码标准。另外h 2 6 4 还具有良好的网络亲和性，这对于 实时的视频通信非常重要。h 2 6 4 的应用面非常广泛，一般来说，主要分为三个档 次：基本档次( b a s e l i n ep r o f i l e ，主要用于视频会话) 、扩展档次( e x t e n d e dp r o f i l e ，主 要用于网络视频流，如视频点播) 、主要档次( m a i n p r o f i l e ，主要用于消费电子应用， 如数字电视广播、数字视频存储等) 【4 1 。 关于h 2 6 4 标准的具体描述和讲解，i t u t 有专门的官方标准文档【5 j 。在标准 文档中，j v t 只规定了h 2 6 4 的码流结构和码流的解码方法，而对于具体的编解 码器如何实现则没有规定，这有利于促进开发者之间的竞争，促进更好更高效的 编解码器的诞生。 在视频编码过程中，熵编码是一个非常重要的步骤。所谓熵编码，就是利用 信息符号的统计特性对变换系数进行无损压缩，减少信息量。h 2 6 4 中的熵编码包 含多种技术：e x p g o l o m bc o d e ( 指数哥伦布码) ，c a v l c ( 基于上下文的自适应 变长编码) 以及c a b a c ( 基于上下文的自适应二进制算术编码) 。在条带层之上， 对于压缩码流的语法元素的变长编码采用e x p g o l o m b 编码，在条带层及以下层， 北京交通人学硕士学位论文 根据编码模式的不同，采用c a v l c 或c a b a c 用于量化了的变换系数的编码【6 】。 c a v l c 是一种基于上下文的自适应变长编码，所谓变长码是采用不同的位数 对数据进行编码，对出现概率高的数据用较少的位数表示，反之，用较长的码字 表示。与一般的变长码不同的是，c a v l c 能够根据以往编码的数据在若干码表中 自适应的选择，找出与当前编码数据统计特性最相符的一个码表来进行编码。利 用合适的上下文模型，就可以大大降低符号间的冗余度，从而可以获得更大的压 缩效率。 1 2 研究目的及意义 目前，由于多媒体手持设备、数字视频通信、数字电视广播等视频相关应用 的兴起，使得越来越多的研究者加入到视频编码标准的研究行列中来。而h 2 6 4 视频编码标准，因其优异的压缩效率，获得了前所未有的关注，一时间，h 2 6 4 的 研究和应用成为了数字视频技术的热点话题。然而，h 2 6 4 的压缩效率大幅提升的 同时，也带来了更高的算法复杂度，这使得传统的软件解码有些力不从心，并且 不能满足移动手持设备对于低功耗的要求，因此，对于h 2 6 4 标准的硬件解码研 究显着至关重要。本文就将着力于h 2 6 4 标准中c a v l c 熵解码模块的研究，力图 给出一个能够适用于实时视频通信的c a v l c 解码器设计。 1 3c a v l c 研究现状 目前国内外关于c a v l c 的研究有很多， 7 】- 2 0 】都对此有所涉及。其中 7 】- 1 0 对c a v l c 解码器的硬件设计做了深入探讨。 7 】中w ud i 等人提出了一种c a v l c 解码器的v l s i 实现结构，包括c o e f ft o k e n 解码器，l e v e l 解码器，t o t a lz e l o s 解 码器，r u nb e f o r e 解码器，以及控制器和桶形移位器。该结构能够在每个时钟周期 解码一个语法元素。 8 中c h a n g 等人运用了一些技术改进原有的实现方法，提高 了数据吞吐率。 9 】中q u 等提出了一种新颖的可编程c a v l c 结构，运用四种新技 术来简化结构和提供可编程性。【1 0 中l i n 等对h 2 6 4 标准中的原始解码程序进行 了改进，通过对关键路径的分析和缩短，将l e v e l 解码改进并分成两段，利用流水 线技术大大提高了运行速度，同时采用了低功耗l u t 来减少面积和功耗。总的来 说，对于c a v l c 解码器的设计已比较成熟，人们在完成功能的同时已将目光转向 高性能的设计，利用流水线技术，c a v l c 解码器的频率以及性能得到了大幅度的 提升。但是高频率在带来高性能的同时，必然造成功耗的大幅增加。因此对于 c a v l c 的研究不仅限于对于频率提升的探索，同时也涌现出很多对于算法改进、 2 引言 流程改进以及低功耗设计方法的研究。 对于算法改进的研究例如， 1 l 】中t o n g 等针对遍历查找算法搜索效率不高的 问题，引入了子表法和二叉树子表混合法两种算法来提高解码效率。实验结 果表明，在内存增加不多的情况下，这两种算法比原有参考算法的搜索速度提高 了1 7 倍和3 倍。而关于流程改进方面，如【1 2 】【1 3 】则主要是对于多语法元素 ( m u l t i s y n t a ) 【) 的研究，即如何在一个时钟周期内解码多个语法元素。【1 2 】中的 g e o r g e 等人提出的c a v l c 解码结构，采用多语法元素解码技术，在较低频率下 大幅提升解码效率。【1 3 】中y u 等通过对解码流程的改进，有效跳过一些可能的进 程，在s i g n 和r u nb e f o r e 解码阶段能够解码多个符号，该设计平均解码每个宏块 只需9 0 个时钟周期。 另外，【1 4 1 7 】中对低功耗设计进行了研究。【1 4 提出了一种基于d s p 和f p g a 的软硬件协同处理的h 2 6 4 解码器系统方案，并给出c a v l c 解码模块的硬件实现 结构。 1 5 】中陈光化等人通过对各解码模块和内部寄存器分别采用模块级和寄存器 级的时钟门控，关闭空闲的时钟，有效降低了解码器动态功耗。但门控时钟技术 同时会给设计带来时序偏差和p o w e r g r o u n d 噪声，有待改进。【1 6 中l i n 等人针 对直接查表法对存储器的大量需求所带来的高硬件消耗问题，建立了经过仔细缩 减的查找表，有效减小存储器面积高达8 1 “1 7 中m o o n 等人针对存储器访问所 带来的高功耗问题，利用算术运算代替c o e f ft o k e n 和r u nb e f o r e 解码模块中的存 储器访问，有效降低了功耗，但同时增加了算法复杂度，实现起来比较困难。 对于c a v l c 解码器的研究，不仅能在期刊会议论文中见到，而且在硕士学位 论文中也有很多，如 1 8 - 2 0 】。【1 8 中作者对c a v l c 编解码器进行了a s i c 设计， 但对于各个模块的描述很简略且不完整，文中只侧重描述了l e v e l 编解码器的实现 及仿真结果。 1 9 】中作者对c a v l c 解码过程进行了研究，并对j m 代码做出分析， 然后给出了硬件设计方案，该设计能够实现对v g a 视频的实时解码。但该文描述 非常笼统，没有讲述各个模块的具体实现。 2 0 】研究了h 2 6 4 解码流程中的各模 块的功能，设计了h 2 6 4b a s e l i n e 视频解码芯片，采用s m i c0 1 8 u m 工艺， 综合 结果1 3 万门，其中c a v l c 模块约1 5 k 门，功耗1 1 5 m w 。作者对整个解码器进行 了设计，然而对于每个模块的具体实现描述都很简略。 1 4 主要工作和论文结构 目前，国内外对于h 2 6 4c a v l c 解码器v l s i 设计的研究方兴未艾，研究者 对算法流程进行改进，采用多语法元素技术、流水线技术以及内存访问减少等技 术，获得了非常好的效果，得到了一些高性能低功耗的设计。然而对于实际项目 北京交通大学硕：t 学位论文 设计人员来说，还是应该针对具体的应用，综合应用范围、性能、功耗、实现难 度等各方面的考虑，设计出适合特定应用的c a v l c 解码器。 本文针对上述情况，综合考虑，给出了一种有效的c a v l c 解码器硬件实现结 构，并用v e r i l o gh d l 进行了r t l ( r e g i s t e r t r a n s f e rl e v e l ) 编程，完成了整个c a v l c 解码器的v l s i 设计。该设计解码一个4 x 4 块最多需要6 2 个时钟周期。在t s m c o 1 8 u mc m o s 工艺下，设计的综合面积8 9 k 门，频率4 1 6 7 m h z ，功耗3 2 8 m w ， 能够基本满足h 2 6 4 基本档次4 c i f 视频的实时解码要求。 论文整体结构如下：第1 章引言阐述论文的研究目的及意义，对c a v l c 研究 现状进行综述，并概括介绍论文的主要工作；第2 章对视频编码的关键技术进行 综述，并概略介绍h 2 6 4 视频编码标准的技术特点、档次划分及应用；第3 章则 主要讲解h 2 6 4 视频编码标准中c a v l c 熵编码的基本原理，重点探讨了c a v l c 的编解码过程，并给出具体的编解码举例；第4 章详细描述c a v l c 解码器的硬件 实现结构以及各个子模块的具体实现；然后在第5 章给出验证方法和仿真结果， 并进行设计的性能评估；最后，在第6 章进行总结和展望。 4 视频编码技术 2 视频编码技术 本章介绍视频编码技术的相关背景知识，包含以下内容：( 1 ) 视频编码的意 义，( 2 ) 视频编码的依据，( 3 ) 视频编码技术综述，介绍预测编码、变换编码和 熵编码，( 4 ) 视频编码标准的发展历程，( 5 ) h 2 6 4 视频编码标准。 2 1 视频编码意义 视频信号信息量大，传输网络所需要的带宽相对较宽。例如，会议电视c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ，中间公共格式) 视频( 按2 5 帧秒计算) 总码率 为： 3 5 2 x 2 8 8 x 2 5 x 8 = 2 0 2 8 m b p s 再来看电视信号的总码率：根据电视国际标准，亮度和色度的取样频率为 z ( 】，) = 1 3 5 m h z z ( c b ，c r ) = 6 7 5 m h z 按8 位进行取样量化，可得电视信号总码率为 1 3 5 x 8 + 2 x 6 7 5 x 8 = 2 1 6 m b p s 再比如全高清电视( f u l lh d t v ) 信号，1 9 2 0 x 1 0 8 0 p ( 即分辨率1 9 2 0 x 1 0 8 0 ， 逐行扫描) ，y c b c r 取样格式4 ：2 ：0 ，8 位取样量化精度，每秒3 0 帧，则总码率为： 1 9 2 0 x 1 0 8 0 x 1 5 x 8 x 3 0 = 7 4 6 5 m b p s 不论何种数字电视信号，这些值2 0 2 8 m b p s 、2 1 6 m b p s 、7 4 6 5 m b p s 都是没有 经过压缩的码率。如果直接在现有信道中传输，都需要相当大的带宽，因此对这 些数字视频信号进行压缩编码是非常必要的。 2 2 视频编码的依据 大量统计表明，同一幅图像中像素之间具有较强的相关性。两个像素之间的 距离越短，则其相关性越强，即图像在空间上有很多冗余信息。另外视频序列在 时间上是连续的，一帧图像中的像素点同下一帧中的像素点也具有很强的相关性， 即视频序列在时间上存在冗余信息。这些空间和时间上的冗余，都为视频信息的 压缩编码提供了可能性。 5 北京交通人学硕士学位论文 2 3 视频编码技术综述 一般来说，视频编码主要分为三个压缩步骤：分析预测、变换量化和熵编码。 在分析预测阶段，是对原始数字视频信号进行分析预测求得残差，这个阶段运用 的是预测编码技术；然后在变换量化阶段，对残差数据进行变换量化，该阶段运 用的是变换编码技术；最后，经过量化后的变换系数再此进行熵编码，利用参数 的统计特性，进行无损压缩，进一步减小信息量。下面就对视频编解码中用到的 三种编码技术进行阐述。 2 3 1预测编码 由于视频序列在时间和空间上具有很多冗余信息，因此可以利用预测编码的 技术对数字视频进行压缩。预测编码又称为d p c m 编码( d i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n ，差分脉冲编码调制) ，其预测方法分为两种：帧内预测和帧间预测。 1 帧内预测【2 u 帧内预测利用的是一帧图像中像素之间较强的相关性。以图2 1 为例说明一下 帧内预测的基本原理。当前像素为x ，其左邻近像素为a ，上邻近像素为b ，上左 邻近像素为c 等等。像素间的相关性随距离的增大而变小，即离x 近的像素，如 a 和b ，与x 的相关性就强，而越远相关性就越弱，如c 、d 、e 、f 等像素。根 据已有的几个像素点值对当前像素x 进行预测，即按照离x 距离的不同分配给不 同的权值，然后把这些像素的加权和作为x 的预测值p ，再与实际值x 相减，得 到差值q 。由于邻近像素之间的相关性强，因此差值q 非常小，达到压缩编码的目 的。接收端再把差值q 与预测值p 相加，恢复原始像素值x 。即编码端：x p = q ； 解码端：q + p = x 。 图2 1邻近像素间的相关性 f i g 2 - 1r e l a t i v i t yo fa d j a c e n tp i x e l s 6 视频编码技术 2 帧间预测田j 帧间预测利用相邻帧的相关性，对视频序列的时间冗余进行压缩。一般而言， 帧间预测编码效率比帧内更高。 a ) 单向预测和双向预测 帧间预测按预测方向分为单向预测和双向预测。单向预测即只根据前面或后 面的一帧或几帧图像进行预测，要么是前向预测，要么是后向预测；而双向预测 则指在预测中前面和后面的帧都有用到。 无论是单向预测还是双向预测，其基本原理均为：利用参考帧和当前帧进行 运动估计( m o t i o ne s t i m a t e ，m e ) ，经过搜索、比较得出运动矢量( m o t i o nv e c t o r , m v ) ， 然后利用这些运动矢量进行运动补偿( m o t i o nc o m p e n s a t e ，m c ) ，得到预测帧。接下 来把当前帧同预测帧相减，得到残差帧。 b 1 基于块的运动估计和补偿 进行运动估计和运动补偿，可以是基于像素的，也可以是基于块的。但是， 基于像素的运动估计和补偿，计算量太大，一般不使用。因此，在实际压缩编码 中运用的基本都是基于块的运动估计和补偿。 c ) 块的尺寸 进行运动估计和补偿前，要把图像分割成若干个块，然后寻找各个块的运动 矢量。每个块都有其对应的运动矢量，并必须对运动矢量和块的分割类型进行编 码和传输。块的尺寸并不固定，可大可小，但是人们在块的尺寸选择上要做出权 衡。一般对于细节比较少、比较平坦的区域选择块尺寸大一些，对于图像中细节 比较多的区域选择块尺寸小一些。 d ) 亚像素运动估计和补偿 帧间预测中，每个块的分割，起初是按照整像素来划分的。然而由于自然物 体运动的连续性，相邻两帧之间的块的运动矢量很多时候不是以整像素为基本单 位的，可能真正的运动位移量是以1 4 像素或者甚至1 8 像素等亚像素作为单位的。 因此在进行块搜索匹配的时候，把参考区域通过内插提升到亚像素精度，然后寻 找更精确的运动矢量，从而使最终的残差更小，增加压缩效率。 2 3 2变换编码 绝大多数图像都有一个共同的特征：平坦区域和内容缓慢变化区域占据一幅 图像的大部分，而细节区域和内容突变区域则占小部分。换句话说，就是图像中 大部分是直流和低频信号，而高频信号则只占小部分。这样，把空间域的图像变 换到频域或所谓的变换域后，能够大幅度减少需要编码的信息量。这就是变换编 7 北京交通大学硕士学位论文 码技术【2 3 】。 鸣= 细s 簧产 ( 2 - 3 ) g 佻兰 ， 2 锯齿形扫描和游程编码 d c t 变换以及量化后，变换系数在低频和直流区域有少量较大的值，高频区 域有少量较小的值，其余大部分系数都为零。为了更有效的编码，通常根据该统 计特性采用熵编码进一步压缩码率。在此之前要进行锯齿形扫描和游程编码。 a ) 锯齿形扫描 以8 8 块为例，量化后的变换系数按图2 2 所示顺序进行锯齿形扫描( z i g z a g s c a n ) ，并排成一个串行数据序列。这个过程叫做重排序( r e o r d e r i n g ) 。 视频编码技术 图2 2 锯齿形扫描 f i g 2 2z i g - z a g s c a n b ) 游程编码 重排序之后得到的串行数据序列，通常在开始有一串或几串非零系数，后面 全是零系数。为了简洁的表示这些零，引入游程编码。即采用( r u n ，l e v e l ，l a s t ) 形式来表示重排序后的数据序列，其中r u n 表示非零系数前零的个数( 称为游程) ， l e v e l 表示非零系数值，l a s t 为l 时表示该系数为最后一个非零系数。举例如下： 重排序后的序列为：1 6 ，0 ，0 ，3 ，5 ，6 ，0 ，0 ，0 ，0 ，7 ，0 ，0 ，0 ， 输出值：( 0 ，1 6 ，o ) ，( 2 ，3 ，0 ) ，( o ，5 ，o ) ，( 0 ，6 ，o ) ，( 4 ，7 ，1 ) 2 3 3熵编码 不管是预测编码还是变换编码，编码的最后阶段都要进行熵编码。所谓熵编 码，就是利用信息符号的统计特性进行码率压缩的编码，也叫做统计编码。常见 的熵编码从根本上讲，分为两种：变长编码( 也叫霍夫曼编码) 和算术编码。下 面对这两种熵编码的原理进行探讨。 1 变长编码【2 4 j 变长编码( v a r i a b l e l e n g t hc o d i n g ) 也叫霍夫曼编码，它是1 9 5 2 年由霍夫曼提 出的一种熵编码方法。变长编码将信息符号变成二进制码字，每个符号都对应一 个码字，但是码字的长度可以不同，所以称为变长编码。变长编码对于出现概率 大的符号分配短的二进制码字，而对出现概率小的符号分配长的二进制码字，从 而可以得到符号平均码长最短的码流。其编码步骤如下： a ) 将信息符号按其出现概率从大到小排列； b ) 将两个最小概率组成一组，划成2 个分支域，并标以0 和l ，概率小的标 1 ；再把两个分支合并成1 支，标以两个概率之和； 9 北京交通大学硕士学位论文 c ) 继续找两个最小的概率，重复步骤b ，直到最后概率之和等于1 0 。 d ) 找出概率和1 0 到各信息符号的路径，按照从右到左的顺序，记下各路径 各个分支域的0 和1 ，即得到信息符号相应的码字。 具体编码方法如图2 3 所示。 信符号出现概率 x l x 2 x 3 x 4 x 5 x 6 p 1 = 0 3 2 p 2 - - 0 2 2 p 3 = 0 1 8 p 4 = 0 1 6 p 5 - - 0 0 8 p 6 = 0 0 4 图2 - 3 变长编码举例 f i g 2 - 3 a n e x a m p l eo fv l c 该例的变长编码结果见表2 1 ： 表2 - 1 变长编码结果 t a b l e2 1e n c o d i n gr e s u l t so f v l c 符号x i x l x 2 x 3x 4x 5x 6 码长 222344 码字w 0 0l o1 1o l o0 1 1 00 1 11 从结果中，我们可以清楚的看到，概率较大的符号分配了较短的码字，而概 率较小的符号则分配了较长的码字，从而得到单符号平均码长最短的编码。这种 编码方式在实际硬件实现时，由于硬件的限制，概率不可能精确n 4 , 数点后很多 位，而最小存储单元为1 b i t ，会引起概率匹配不准确及编码效率的下降。 2 算术编码 前面提到的变长编码采用一个码字来代表一个输入信息符号，与此不同，算 术编码( a r i t h m e t i cc o d i n g ) 把一串数据符号序列用一个小于l ，大于等于0 的浮点 数来表示。这个浮点数能够在解码端被正确的唯一的解码，恢复出原符号序列。 算术编码和变长编码这两种熵编码方法，利用信息符号统计特性，对残差变 换系数进行无损压缩，从而进一步降低了码率。 l o 视频编码技术 2 4 视频编码标准的发展历程 前面一节介绍了视频编码中用到的几种编码技术：预测编码、变换编码和熵 编码，这几种编码技术在实际视频编码中应用广泛。一般来说，一个完整的视频 编码结构囊括了这三种编码技术，即包括预测阶段( 有时也叫做d p c m ) ，变换阶 段( d c t 变换) 和熵编码阶段。这种通用结构自从上世纪8 0 年代末期就开始在主 流视频编码标准中采用，它通常被称为d p c m d c t 混合编解码模型( h y b r i d d p c m d c tc o d e cm o d e l ) 2 5 1 。各个主要的视频编码标准均基于这种混合编码框 架，它们的不同在于细节和实现有所不同。本节将简单介绍一下视频编码标准的 发展历程。 视频编码标准主要包括由i s o i e c ( 国际标准化组织和国际电工技术委员会) 制定的m p e g x 和i t u t ( 国际电信联盟电信标准部) 制定的h 2 6 x 两大系列国 际标准。 h 2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可视 电话应用中的视频编码技术，和i s d n 信道相匹配，其输出码率是p x6 4 k b i t s 。 h 2 6 3 按照最初建议只是一个低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩 充，支持码率小于6 4 k b i t s 的应用。但实质上h 2 6 3 以及后来的h 2 6 3 + 和h 2 6 3 + + 已发展成支持全码率应用的建议。 i s o i e c 的m p e g 系列标准始于m p e g 1 ，该标准是为c d r o m 光盘的视频 存储和播放所制定的，其码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) 质 量的图像。m p e g 1 标准视频编码部分的基本算法与h 2 6 1 h 2 6 3 相似，它引入了 帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高 了编码效率。在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字 电视等方面做了一些改进。近年推出的m p e g 4 标准引入了基于视听对象( a v o ： a u d i o v i s u a lo b j e c t ) 的编码，大大提高了视频通信的交互能力和编码效率。 总的来说，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并将逐步在 实际上取而代之，但h 2 6 3 众多的选项往往令使用者无所适从。m p e g 系列标准 从针对存储媒体的应用发展到适应传输媒体的应用，其核心视频编码的基本框架 仍然是基于d p c m d c t 混合编码，其中引人注目的m p e g 一4 的“基于对象的编码” 部分由于尚有技术障碍，目前还难以普遍应用。为此，两大国际标准化组织共同 制定了新的视频编码建议h 2 6 4 ，它在混合编码的框架下引入了新的编码方式，提 高了编码效率，面向实际应用，其应用前景应是不言而喻的。 北京交通大学硕士学位论文 2 5h 2 6 4 视频编码标准 h 2 6 4 是由i t u t 和i s o i e c 联合组成的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的一个新的数字视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的 m p e g 4 的第1 0 部分，官方名字a v c ( a d v a n c e dv i d e oc o d i n g ) 。h 2 6 4 和以前的 标准一样，也是d p c m 加变换编码的混合编码模式。但它采用“回归基本”的简 洁