（信号与信息处理专业论文）高清视频编码器的设计.pdf

哈尔滨理- 1 2 人学丁学硕i j 学化论文 高清视频编码器的设计 摘要 h 2 6 4 是国际标准化组织( i s o ) 和国际电信联盟( i t u ) 共同提出的继 m p e g 4 之后的数字视频压缩格式，它即保留了以往压缩技术的优点和 精华又具有其他压缩技术无法比拟的许多优点。h 2 6 4 之所以有如此高效 率的编码压缩能力，是因其有极度复杂的编码算法。现阶段的编码器面对的 问题是不支持1 0 8 0 p 与1 0 8 0 i 的高清编码。为了解决这些问题，t l 推出了 t m s 3 2 0 d m 6 4 6 7 开发平台。 t m s 3 2 0 d m 6 4 6 7 ( 达芬奇平台) 采用了具有强大的并行处理能力的 c 6 4 x + d s p 芯片，凭借强大的计算能力和大量配套齐全的外围接口，使其成 为现代数字多媒体应用的最合适的平台。本文要完成的工作是研究h 2 6 4 算 法、利用达芬奇平台完成的实现及优化工作。本文主要内容： 1 业界中常见的一些视频编码标准，对h 2 6 4 编码算法、核心技术、原理进 行了深入研究。 2 详尽地分析了达芬奇系列的t m s 3 2 0 d m 6 4 6 7 的构成和特点，重点阐述了 应用达芬奇平台的实现方法之一、d m 6 4 6 7 硬件平台的结构组成以及软件开 发过程。 3 在以分析、应用三大开源编码算法的基本框架上，研究了编码器的设计 原理并设计了具体实现方法。编码算法中计算量最大、最复杂的部分是运动 搜索，是影响编码器编码性能的主要因素，本文主要讨论这一部分。针对这 一问题本文研究了自适应h 2 6 4 运动估计算法，此算法对s k i p 宏块进行了预 判，利用多预测中心法找出最合适的中心点，通过对图像运动矢量特征不同 点的分析，找出相匹配的搜索方式。由实验证明，这种算法可明显的减少搜 索点数并且能够达到理想的匹配效果。 4 详尽地讨论了编码算法移植至i j d m 6 4 6 7 的过程和编码优化过程。充分利 用d s p 的硬件优势和方便的应用编程接口( a p i ) 和若干种优化方法对算法 实施优化，尽可能地提高了代码的运行效率，最后在d m 6 4 6 7 ( 达芬奇) 上 完成对编码器的设计。 关键词h 2 6 4 标准；视频编码；t m s 3 2 0 d m 6 4 6 7 ：运动估计 哈尔滨理t 人学t 学硕l j 学位论义 t h ed e s i g n i n go fh dv i d e oe n c o d e r a b s t r a c t r e l e a s e dj o i n t l yb yi n t e r n a t i o n a l o r g a n i z a t i o n f o rs t a n d a r d i z a t i o na n d i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o na f t e rt h em p e g 一4 d i g i t a l v i d e o c o m p r e s s i o nf o r m a t ，h 2 6 4d o e sn o to n l yr e t a i nt h ea d v a n t a g e sa n de s s e n c eo f f o r m e rc o m p r e s s i o nt e c h n o l o g y , b u ta l s op o s s e s sm a n yn e wf e a t u r e sw h i c ha r e b e y o n do t h e rc o m p r e s s i o nt e c h n i q u e s t h ec u r r e n tp r o b l e m sf a c i n gt h ee n c o d e r a r en o ts u p p o r t 1 0 8 0 p ，1 0 8 0 i h de n c o d i n g ，e t c t os o l v et h i s p r o b l e m ，t i i n t r o d u c e dad e v e l o p m e n tp l a t f o r mf o rt h et m s 3 2 0 d m 6 4 6 7h dc o d e co f f e r sa s o l u t i o n t m s 3 2 0 d m 6 4 6 7 ( d a v i n c ip l a t f o r m ) a p p l i e dt h ec 6 4 x + d s pc h i pt h a ti s p r o v i d e dw i t hp o w e r f u lp a r a l l e lp r o c e s s i n gc a p a b i l i t i e s w i t has t r o n gc o m p u t i n g p o w e ra n dv a r i o u ss u p p o r t i n gp e r i p h e r a li n t e r f a c e s ，t m s 3 2 0 d m 6 4 6 7h a sm a d e i t s e l ft h em o s ts u i t a b l ep l a t f o r mf o rm o d e r nd i g i t a lm u l t i m e d i aa p p l i c a t i o n s w h a tw i l lb ec o m p l e t e di nt h ee s s a yi st h es t u d y i n go ft h eh 2 6 4a l g o r i t h ma n d h o wt oa c h i e v ei m p l e m e n t a t i o na n do p t i m i z a t i o nb yd a v i n c ip l a t f o r m t h ee s s a yi n c l u d e s ：f i r s t l y , s o m ec o m m o nv i d e oc o d i n gs t a n d a r d si nt h i s f i e l da r ei n f o r m e d b e s i d e s ，s o m ei n - d e p t hr e s e a r c h e sh a v ed o n et oh 2 6 4c o d i n g a l g o r i t h m ，t h e c o r et e c h n o l o g ya n dp r i n c i p l e s e c o n d l y , t h e r ei sad e t a i l e d a n a l y s i s o ft h e c o m p o s i t i o na n dc h a r a c t e r i s t i c so ft m s 3 2 0 d m 6 4 6 7p l a t f o r m w h i c hm a i n l yf o c u s e so no n eo ft h ew a y st of u l f i l lt h ea p p l i c a t i o no ft h ep l a t f o r m ， t h es t r u c t u r a lc o m p o s i t i o no fd m 6 4 6 7h a r d w a r ep l a t f o r ma n dt h ed e s i g n i n g p r o c e s so ft h es o f t w a r e t h i r d l y , w i t ht h eb a s i cf r a m eo fa n a l y z i n ga n da p p l y i n g o ft h r e eo p e n s o u r c ec o d i n ga l g o r i t h m ，t h ed e s i g np r i n c i p l e so ft h ee n c o d e ra r e s t u d i e da n dt h ec o n c r e t ew a y so fi m p l e m e n t a t i o na r ed e s i g n e d i nt h i sp a r t ，t h e m o t i o ns e a r c hi sc o v e r e dw h i c hi st h el a r g e s ta n dm o s tc o m p l e xp a r to fi nc o d i n g a l g o r i t h m s ，f o ri ti st h em a i ne l e m e n ti n f l u e n c i n gt h ee n c o d e r sp e r f o r m a n c e t o s o l v et h ep r o b l e m ，m o t i o ne s t i m a t i o na l g o r i t h mw a ss t u d i e di nt h ep a p e rt oa d a p t t ot h eh 2 6 4 t h i sa l g o r i t h md i dap r ee v a l u a t i o nt ot h em a c r ob l o c ko fs k i pa n d f o u n dt h em a t c h i n gw a yo fs e a r c h i n gb yu s i n gm u l t i c e n t e rf o r e c a s t i n gm e t h o dt o i d e n t i f y t h e m o s t a p p r o p r i a t e t h ec e n t e ra n da n a l y z i n g t h ed i f f e r e n t c h a r a c t e r i s t i c so ft h ei m a g em o t i o nv e c t o r i tc a nb ep r o v e di n t h ee x p e r i m e n t t h a tu s i n gt h i sa l g o r i t h mc a ns i g n i f i c a n t l yr e d u c et h es e a r c hp o i n t sa n da c h i e v e t h ei d e a lm a t c h i n ge f f e c t f o u r t h l y , t h ep r o c e s s o f t r a n s p l a n t i n gc o d i n g a l g o r i t h m st od m 6 4 6 7a n dt h ec o d eo p t i m i z a t i o na r ed i s c u s s e dd o w nt ot h el a s t d e t a i l f i n a l l y , t h ed e s i g n i n go ft h ee n c o d e r c a nb ec o m p l e t e do nt h ed m 6 4 6 7b y m a k i n gf u l l y u s eo fd s ph a r d w a r ea d v a n t a g e s ，a p p ly i n g c o n v e n i e n t l y p r o g r a m m i n gi n t e r f a c e ( a p i ) a n du s i n gs e v e r a lk i n d so fo p t i m i z a t i o nm e t h o d st o o p t i m i z et h ea l g o r i t h m s ，w h i c hc a ni m p r o v e t h ee f f i c i e n c yo ft h ec o d ea sm u c ha s p o s s i b l e k e y w o r d sh 2 6 4 s t a n d a r d ，v i d e oc o d i n g ，t m s 3 2 0 d m 6 4 6 7 ( d a v i n c i ) ，m o t i o n e s t i m a t i o n 哈尔滨理t 人学t 学硕l ：学位论文 1 1 选题目的与意义 第1 章绪论 近2 0 年来，随着多媒体技术和互联网技术的发展，互动数字视频i f 在大 踏步地进入人们的工作和生活，各种电子产品和嵌入式应用，由于增加视频功 能而提高了价值。各种基于视频的服务，应用到人们日常生活的各个领域，例 如医疗卫生、远程教育、公共安全、娱乐等方面。与音频、图形和文字相比， 视频的大容量信息、形象、直观等优点更容易被人们所接受。但是，未经过压 缩的数字视频是几乎没有实际价值的。尽管，随着科学技术的发展，在现代通 信系统中的带宽和存储空间不断扩大。但对于视频信息的庞大数据量来说，还 是远远不够的。因此数字视频数据都必须经过极大地压缩才能应用于现实。更 高的压缩比、更快的编码速度、更适用的播放效果一直业界的研发人员不断努 力的目标，在规定标准下不断提高编码质量和效果也是未来的研究方向之一。 在众多的压缩编码标准中h 2 6 4 1 优势明显。在重构相同画质的图像时，h 2 6 4 与其他压缩编码标准相比较能够节省5 0 的码率，抗误码特性非常强，能够很 好地传输卜一1 在丢包率高、干扰严重的信道中。 除了编码标准的研究，现代的网络视频服务还必须提供能够实时处理接 收来的视频数据的硬件平台。实时压缩处理是支持新的视频图像编码的视频处 理技术，一直是业界研究的主要方向之一。要对图像进行实时视频压缩编码可 采取两种办法来实现：借助专用a s i c 硬件电路实现：以软件的方法实现，基 于p c 与基于d s p 均可。以硬件电路实现处理速度会很快，但是不能对算法进 行实时更新，只能通过重新设计芯片完成对其修改的工作，这样成本丌销就会 很大。而可编程多媒体d s p 处理器，则具有灵活性强、容易改动、设计成本 相对较低等特点，而且d s p 能够对复杂算法进行处理，所以利用d s p 对视频 压缩进行处理，是一种非常理想的解决方案。d s p 芯片是现代电子技术、计算 机技术和信息处理技术相结合的产物。由于它可编程、处理能力强、接口灵 活，使它应用于社会发展各个方面与各个领域，更是视频服务器应用的首选。 基于d s p 的视频开发具有如下几方面的优势：可以根据用户的想法做出自由 度更大，个性化十足的丌发，可实现与市场同步，在第一时间为产品提供更 新，使之立足于市场，提高市场竞争力；d s p 强大的运算处理能力和高速的运 哈尔滨理t 人学t 学顾i j 学f t 论文 行速度可以在一个d s p 芯片上同时为多路的视频数据进行压缩处理，而且能 够提供很多视频专属功能；外围接口丰富，极大地节省丌发时间，方便产品的 更新换代；片上功率优化技术能够提供更多的精细控制和更多的省电模式，以 及关于处理器功耗的更完整的信息，提高产品的稳定性。 1 2 视频编码标准介绍 国际化标准组织l s o 国际电工委员会i e c 及国际电信联盟电信标准部 h u t 对视频编码技术的发展做出巨大贡献，针对不同应用领域制定了出了一 系列应用广泛的视频编码标准，i s o 主要推出了包括m p e g 1 ，m p e g 2 ， m p e g 4 等m p e g 系列的标准，i e c 推出了包括h 2 6 1 卜1 ，h 2 6 3 p 1 等h 2 6 x 系 列的标准。 1 h 2 6 x 系列于1 9 9 0 公布的h 2 6 1 标准，在视频编码史上起到了承上 启下的作用，对后后制定的很多编码标准产生了深远影响。h 2 6 1 主要应用于 包括可视电话业务、视频会议业务等，速率要求为6 4 k b s 的倍数。h 2 6 1 只处 理c i f 、q c i f 的图像格式，每帧分成层处理。h 2 6 1 是最早的运动图像压缩编 码标准，其内容包含的一些关键视频编码部分：熵编码；d c t 变换运动补偿 的帧问预测；量化；与适配于固定速率的信道的速率控制等。h 2 6 1 没有详细 规定编码关键问题的技术细节，只是规定了解码的程序和语法，这种做法一直 被沿用到现在。为了应用于低比特率视频，于1 9 9 6 年3 月公布了h 2 6 3 标 准，。它以h 2 6 1 为基础发展而来，可以以s q c i f 、c i f 、q c i f 、1 6 c i f 或者 4 c i f 作为其标准输入图像格式、采用半象素的运动补偿方式，并且在h 2 6 1 的基础上增加了4 种有效压缩编码模式。h 2 6 3 增加了新的视频编码技术：运 动矢量预测、可变尺寸块运动补偿、无限制运动矢量、重叠块运动补偿等技 术，为进一步发展混合编码框架奠定了坚实的基础。 后来出现的h 2 6 3 + 与h 2 6 3 + + ，是h 2 6 3 不同程度上的升级。为了提高压 缩效率和容错能力，新增添了：基于句法的算术编码技术、半象素预测技术、 p b 帧模式技术、二维预测技术等。除此之外，还有i s o i e c 与l t u t 的联合 开发的h 2 6 4 标准，本文将其做为重点在第二章详细介绍。 2 m p e g 系列运动图像专家组( m p e g ) 于1 9 9 3 年制定了主要应用于c d 播放和视频存储的m p e g 1 一标准。1 5 m b i t s 为m p e g 1 的码率上限，其中音 频占用1 2 8 k b i t s 、视频占用1 1 m b i t s ，音频占用1 2 8 k b i t s 。m p e g 1 标准的视 哈尔滨理t 人学t 学顾i ：学位论文 频编码标准在采用了运动补偿的帧间预测、二维d c t 、v l c 编码等技术基础 上，还增添了双向运动补偿技术和1 2 象素精度的运动补偿技术，进一步提升 了编码效率。曾经的v c d 就是采用的m p e g 1 标准。m p e g 2 1 标准主要为有 线电视、广播的提高视音频编码压缩，于1 9 9 5 年推出。m p e g 一2 提供的传输 率在3 1 0 m b i t s s 之问，以高级工业标准的图象质量以及更高的传输率为目 标。m p e g 2 体系完善，应用领域广泛，现在仍然在使用的d v d 就是采用的 m p e g 2 标准。m p e g 4 p 1 标准j 下式公布于1 9 9 8 年，主要应用于电子新闻、视 像电话、视像电子邮件等。m p e g 4 由1 0 部分组成，具体包括视频、音频、 系统、传输多媒体集成框架、一致性测试、基于i p 架构的m p e g 4 、m p e g 一4 上软件、高级视频编码a v c 、参考硬件模式及参考软件模式。本文要重点研究 的h 2 6 4 标准就是其中的a v c 部分。此外，m p e g 4 标准还加入了视听对象 a v o 的概念，以a v o 为中心设计出了大量新功能。m p e g 组织为了制定一系 列描述符标准，用来描述各种多媒体信息间的关系，于2 0 0 1 年发布了m p e g 7 p 1 标准一多媒体内容描述接1 2 1 。m p e g 7 主要应用分为三类：选择和过滤类( 智 能化多媒体表达) 、索引和检索类( 视频数据库的存储检索) 、专业化( 保安监 视) 。m p e g 2 1 w 标准于2 0 0 2 问世。目标是建立一个能使全球不同设备和网络 上的数字资源能被广泛的使用的交互的多媒体框架。 1 3 主要研究内容 本文深入研究h 2 6 4 标准的原理及其技术特点，对达芬奇平台的特点、程 序开发流程、硬件架构进行了剖析。并以d m 6 4 6 7 硬件平台的基础，配合项目 实际应用，提出了本文编码器的设计方案，在利用现有的丌源编码算法的基础 上，实现了在w i n d o w s 环境下的编码器。编码算法中运动估计是计算最复杂也 是计算量最大的部分，本文提出了应用一种自适应快速运动估计算法。按照t i 的x d m 标准，封装了此编码算法后移植到d m 6 4 6 7 平台上，并利用d s p 并行 优化技术对算法实施优化，最终实现了一个能进行c i f 实时压缩的编码器，而 后利用标准的测试序列对编码器进行性能评估。本文的结构安排如下： 第一章通过对国际上现有视频编码标准的分析，阐述选题的目的与意义。 并对论文的主要研究内容及工作安排进行了描述。 第二章深入分析h 2 6 4 的技术特点及原理，对h 2 6 4 技术现状的特点进行 了有针对性的研究。 第三章描述了达芬奇技术的整体架构及d m 6 4 6 7 硬件平台的特点，分析了 哈尔演理r 人学t 学硕f j 学位论文 d m 6 4 6 7 的软件开发流程。分析本课题的实时编码器的设计思想、提出具体方 案，并将自适应h 2 6 4 快速运动估计算法应用于编码器的实现中。 第四章分别对编码算法在d m 6 4 6 7 上的移植过程与优化过程进行了详细阐 述。 最后总结了论文所做的工作，并对后续的工作做出了安排。 哈尔滨理下人学丁学硕l 学位论文 第2 章h 2 6 4 视频标准 2 1h 2 6 4 编码器结构 h 2 6 4 标准同以往的h 2 6 x 一样，采用的都是d p c m 的差分编码结合d c t 变 换编码的混合式编码结构。图像序列中的时域冗余是通过帧间预测编码来消 除、频域冗余是通过变换编码来消除。这是h 2 6 4 的核心思想。h 2 6 4 标准编码 器的结构图用图1 1 1 2 1 表示。 图2 1h 2 6 4 标准的编码器结构图 f i g 2 1h 2 6 4s t a n d a r de n c o d e rs t r u c t u r e 把所选编码图像信息划分为若干个宏块，然后对划分后的宏块群当中的一 个元素进行帧内预测技术或帧间运动估计后，会得到一个残差图像，对此图像 进行变换、量化、熵编码等技术处理后得到h 2 6 4 最终码流。 尽管h 2 6 4 编码标准是以前几代的h 2 6 x 为基础升级演变而来，但还是在很 多方面做了不小的改进，集中体现川在以下几点： 1 多宏块划分模式估计。把一个宏块( m b ) 划分为7 种不同模式的小宏块。 2 小尺寸4 x 4 的整数变换。即缩小了运动物体边缘的衔接误差值，又减轻 了图像变换过程中过量的计算负担。 3 高精度估计。采用1 4 像素精度的运动矢量模式。 哈尔滨理t 人学t 学硕l 学位论文 4 多参数的帧估计。5 个参考帧为允许的最大值。 5 多种类的熵编码方式。以基于上下文的自适应变长编v q ( c a v l c ) 和基 于内容的自适应二进制算术编码( c a b a c ) 为主要内容。 6 更加精确的帧内预测。用1 7 个最接近先前已编码像素的不同加权和帧 内预测每个4 x 4 块中的任何一个像素。 2 2h 2 6 4 的核心技术 2 2 1h 2 6 4 的分层设计 h 2 6 4 可分为网络提取层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 年h 视频编码层 ( v c l ，v i d e oc o d i n gl a y e r ) ，如图2 - 2 1 1 所示。v c l 用以表示高效的视频内 容，n a l 负责数据进行打包与传送以匹配网络所要求的方式。这样，就通过 n a l 与v c l 完成了网络友好性和达到高效编码率的任务。 图2 - 2h 2 6 4 分层结构 f i g 2 - 2h 2 6 4h i e r a r c h i c a ls t r u c t u r e r 一一一i 一一一一。一v - 一 。：n a lh e a d e r ； r b s pn a lh e a d e r l，一一一i一一一一一 r 一r 一 n a l h e a d e r ： r b s p | 。l 一 1 ，j 图2 3n a l 单元序列图 f i g 2 3n a l u n i ts e q u e n c e v c l 数据表示经过压缩编码后的视频数据序列即编码处理输出。编码的 v c l 数据，在没经过传输或v c l 数据存储之日矿，要先被封装或映射到n a l 哈尔滨理t 人学t 学颀i j 学位论文 单元中。n a l 是由段结构信息、实际载荷信息与头部信息这三部分组成。而 一个n a l 单元是由对应于视频编码数据的一组n a l 头信息和一个原始字节序 列负荷( r b s p ) 所组成的。见图2 3 儿1 表示的是n a l 单元序列的结构组成。 2 2 2 运动估计的高精度 h 2 6 3 升级到h 2 6 4 后的运动估计提升了一倍，采用的是1 4 像素甚至是1 8 像素运动估计。也就是说运动矢量位移的基本单位可能是1 4 或是1 8 像素。帧 间剩余误差越小，压缩比卅越高即传输码率越低就代表运动矢量位移的精度越 高。在h 2 6 4 中内插了6 阶f i r 滤波器，以此来获取1 2 像素位置的值。而获取了 1 2 像素值后，又可利用线性内插的手段来获得1 4 像素值。就4 ：1 ：1 的视频格式 而言，1 8 像素的色度部分的运动矢量与1 4 像素精度的亮度信号相对应，这样 就需要进行1 8 像素色度信号的内插运算。从理论上讲，如果想获0 5 b i t s a m p l e 的编码增益就势必要增加一倍的运动补偿精度。但实际上当运动矢量精度超过 1 8 像素时，系统几乎就不会出现明显增益了。所以在h 2 6 4 中，选择了1 4 像素 精度的运动矢量模式，而没选1 8 精度。 2 2 3 灵活的运动补偿 每个( 1 6 x 1 6 像素) 宏块可以分成4 种方式：1 个1 6 x 1 6 ；2 - i - 1 6 x 8 ：4 个8 x 8 ，2 个8 x 1 6 。与其相对应的运动补偿也有4 种。8 x 8 模式的任意一子宏块也有4 种分 割方式：1 个8 x 8 ：2 个4 x 8 ；2 个8 x 4 ；4 个4 x 4 。图2 4 剖表示，由于采用这中分 割方式，宏块与宏块间的关联性被大大的提高了。树状结构运动补偿被定义为 基于此种分割方式的运动补偿卜“。 独立运动补偿是所有的分割或子宏块都要进行的。所有的m v 都必须进行 编码、传输两个步骤，同时分割也一定要被编码到压缩比特流中。分割尺寸小 的，分割选择和表征m v 时需较多的比特运动补偿，运动补偿残差能量低。分 割尺寸大的，需少量的比特用于分割选择与表征m v ，运动补偿残差能量高。 分割尺寸的选择正确与否直接影响压缩性能的原因之一。总而言之，多细节区 域应该分割成小尺寸，平坦区域应该分割成大尺寸。 宏块亮度成分的垂直值和水平值均是相应色度成分的2 倍。亮度块与色度 块分割模式相同，色度块在垂直和水平方向的尺寸变为亮度块的1 2 。 哈尔演理t 人学t 学硕 j 学位论文 m 8 x 8 77 1 6 x 8 田 8 x 8 4 x 4 -t1-i 01 23 图2 4h 2 6 4 中的宏块及子宏块划分方式 f i g 2 4m a c r o b l o c k si nh 2 6 4a n db yw a y o fs u b - m a c r o b l o c k 2 2 4 帧内预测 视频编码常采用i n t r a 或i n t e r 模式把接收到的图像信息分成若干宏块，再分 别对每一个宏块进行编码操作。如工作在i n t r a 模式中，一般情况是对变换系数 进行熵编码，对宏块直接进行d c t 变换。这样做的目的是清除一些帧内的空间 冗余。但是其缺点也很明显，d c t 只是在宏块内部像素之间的相关性方面做了 工作，而忽略了相邻宏块问也存在相关性问题。h 2 6 4 选择了i n t e r 模式，通过 对相邻宏块的相关性的分析后，对待编码宏块执行预测。而消除空间冗余的方 法则是通过对预测残差进行变换编码来实现的。h 2 6 4 是直接预测叫在空问域 中，不同于以往的标准( 变换域中预测) 。 0 ( v e r t i c a l ) m abcde fgh 争； k l ，1 r ， 1 ( h o r i z o n t a l ) ：m ab cde foh ：ij 一 ! j 一i p ! k l - l l 一- 2 ( d c ) m ab cde i fgh l i _ j i k i l 3 ( d i a g o n a ld o w n l e f t ) mabcdefg h i 户 j 户一+ k 户 - 户， 4 ( d i a g o n a ld o w n - d g h l ) m abc defg h i ， j k 工1 1 5 ( v e r t i c a l r l g h l )6 ( h o r z o n t a l - d o w n )7 v e r t i c a l l e f t ) 8 ( h o r i z o n t a l - u p ) m abcde fgh mabcde l fgh + m a b cdefgh 。mabc defgh 争：一一，i ；：“。i ，? ，i 一i ：一一 l c 、 k kk ， 。兰1 1 1 l l ，r ，l 一 图2 54 x 4 亮度块的9 种预测模式 f i g 2 59p r e d i c t i o nm o d el u m ab l o c ko f4 x 4 i l l j 6 1 0 牦 一 8 ililll 仪 8 一 一 4掣叙 。l 哈尔滨理t 人学t 学硕i ：学位论文 帧内亮度块预测分为2 种：1 6 x 1 6 和4 x 4 。下列4 个图表分为亮度4 x 4 、1 6 x 1 6 的块预测模式及描述1 5 1 。 t a b l e 2 1d e s c r i p t i o ni u m abo c kp r e d i c t i o nm o d e so f4 x 4 模式描述 模式0 ( 乖直) 由a 、b 、c 、d 畦直推出相应像素值 模式1 ( 水平) 由l 、j 、k 、l 水平推出相应像素值 模式2 ( d c ) 由a - - - d 及i l 平均值推出所有像素值 模式3 ( 下左对角线)m 4 5o 方向像素内插得出相应像素值 模式4 ( 下右对角线)由4 5 0 方向像素内插得出相应像素值 模式5 ( 右垂直)f l j 2 6 6 0 方向像素值内插得出相应像素值 模式6 ( i - k 平)n q 2 6 6 0 方向像素值内插得出相应像素值 模式7 ( 左乖直)f l j 2 6 6 0 方向像素值内插得l j 相应像素值 模式8 ( 上水甲)由2 6 6 0 方向像素值内插得j 相应像素值 1 6 x 1 6 亮度块的4 种预测模式，详见图2 6 1 5 1 图2 - 61 6 x 1 6 亮度块的4 种预测模式 f i g 2 - 6p r e d i c t i o nm o d el u m ab l o c ko f1 6 x 1 6 色度块的预测模式是有4 种：垂直( 模式0 ) 、水平( 模式1 ) 、d c ( 模式2 ) 、 平面( 模式3 ) 。预测为8 x 8 。 模式描述 模式0 ( 乖直)由上边像素推出相应像素值 模式l ( 水平)由左边像素推出相应像素值 模式2 ( d c )由上边和左边像素平均值推出相应像素值 模式3 ( 平面)利川线形“p l a n e ”函数及左、上像素推出相廊像素值， 适川丁亮度变化平缓区域 二 菖_ 一 ， 山h 珂一 一 户 一 一声 h，u，广广_ 翻。 一 一 哈尔滨理t 人学t 学硕f j 学位论文 2 2 5 整数d c t 变换及量化 h 2 6 4 标准中，残差宏块的基本变换使用4 x 4 的整数d c t 变换，它是针对经 过运动补偿或帧内预测后的含有残差数据的4 x 4 块所做的变换，它即基于d c t 变换，又有别于d c t 。为了方便地运用定点运算方式，h 2 6 4 中使用的是整数 操作而非实数运算。变换的单位不使用8 x 8 块，取而代之的是4 x 4 块。这样做， 不但工作量减少很多，产生的误差也减小很多。 ( 1 6 x 1 6i n t r a m o d eo n l y ) 、1 ， 、 h m a 1 6 1 7 图2 7d c t 变换中宏块的变换块及扫描顺序 f i g 2 - 7d c t t r a n s f o r mb l o c ka n dm a c r o b l o c ks c a no r d e ro ft h et r a n s f o r m a t i o n 图2 7 中，h 2 6 4 中的三种变换的公式分别为：( 2 1 ) 、( 2 2 ) 、( 2 3 ) ，代 表的含义分别为：宏块中的每个4 x 4 亮度块与4 x 4 色度块的d c t 变换；对宏块中 的4 x 4 亮度直流系数进行h a d a m a r d 变换；对宏块中2 x 2 色度直流系数进行 h a d a m a r d 变换。 h 1 = 1l 2l l 一1 12 11 12 11 21 ( 2 一1 ) 哈尔滨删t 人学t 学硕l j 学位论文 h 2 = 11 11 11 11 l1 11 11 11 ( 2 2 ) 一 ( 2 3 ) 图像信息处在高频部分的很少，大多处在低频部分。宏块经过了d c t 变换 后就有必要量化这些经过变换后的系数。把每个样点图像编码映射成相对较小 的数值，这就是量化的概念。 公式( 2 4 ) 表示的是h 2 6 4 1 拘量化器原理： 铲吖击) 弘4 ， 其中，匕是待量化的系数，z 可是输出的量化系数，q s t e p 是量化步长， r o u n d ( ) 为取整函数。q s t e p 的取值与量化参数( q p ) 有关，q p 的范围是o 5 1 ，表2 3 表示的是9 卸与q p 的对应关系。 表2 3q s t e p 与q p 的对应关系 0 p0123 4 5678 o s t e p o 6 2 5 0 6 8 7 50 8 1 2 50 8 7 5l1 1 2 51 2 51 3 7 5 1 6 2 o p1 22 4 - 3 65 1 5 o s t e p 2 51 0 4 02 2 4 公式( 2 5 ) 表不 h 2 6 4 1 拘量化过栏中费i 刘h 处理d c t 焚快中禾处埋元的那 部分： 驴m 谢( 嚣) p 5 ， 其中p f 代表d c t 变换中的缩放矩阵，再转化： z 盯一姗萨m f ) ( 2 - 6 ) 其中： m f = 面p f 2枇(2-7) 哈尔滨理下人学t 学硕i j 学化论文 和i t s 一1 5 + f l o o r ( q p 6 )( 2 8 ) 那么，只要在q p 和p f 之间建立一组对应关系，就能够进行量化系数操 作，从而得出m f 值，h 2 6 4 中的m f 值如表2 4 所示。量化过程中，可由计算 q p 值得出q b i t s ，再根据q p ，找出对应的m f 值，就能够完成对矩阵的量化 工作了。 表2 _ 4h 2 6 4 中的慌 t a b l e 2 4t h em fv a l u eo fh 2 6 4 q p 6 廷鼻位置 ( 0 ，o ) ，( 2 ，o )( 1 ，1 ) ，( 1 , 3 ) ( 2 ，2 ) ，( 0 ，2 )( 3 ，1 ) ，( 3 ，3 ) 其它样点位置 o1 3 1 0 75 2 4 3 ， 8 0 6 6 1 1 1 9 1 6 4 6 6 07 4 9 0 2 1 0 0 8 2 4 1 9 46 5 5 4 39 3 6 23 6 4 75 8 2 5 4 8 1 9 23 3 5 55 2 4 3 5 7 2 8 22 8 9 34 5 5 9 2 2 6 熵编码 多媒体数据压缩有两种压缩方式一种是有损压缩，另一种是无损压缩。熵 编码又叫统计编码，它是一种利用信源统计特性进行对码率压缩的编码。熵编 码是无损压缩编码方式的一种。经此编码生成的码流经解码的手段恢复出原数 据，而且无失真。h 2 6 4 不但提供指数型g o l o m b 码与c a v l c ( 基于上下文的自 适应可变长编码) 的混合编码，还提供了一种基于上下文自适应的二进制算术 编码( a 蛆a c “”) 技术。 c a b a c 技术的特点是算术编码压缩效率高，核心是以0 到1 为区间，用此 区间中的任意一个数值相对应地表示某一个字符输入流。也就是说把一个码字 整体分配给一个输入流整体，而不是给输入流整体中的各个元素都分别分配码 字。c a b a c 技术为输入流寻找对应码字的方法是区问递进法，具体地说就是 在( 0 1 ) 的区| 日j 里定义第一个符号，以此为起点逐个字符地读入输入流。以此类 推地在出现了任意一个新的字符，然后此区间以各个字符的概率为划分原则以 及递归的形式划分。根据相同的划分原则将当日i 区间分成一些子区间。处理下 一个字符时的所用区间等同于所选取的字符对应的子2 区间。以这种方式递推 下去直到把最后的字符处理结束，所得区间为最终的区问，可在此区问中随意 挑选一个数值用来输出。 c a v l c 的核心是以相对较短的码字末表示出现频率高的符号、以较长的 码字来表示出现频率低的符号。使用这种方法可以得剑最小的平均码长。当完 哈尔滨理t 人学t 学顾l ：学位论文 成c a v l c 变换量化，色度残差与亮度残差的编码现实出的几项特性： 1 完成了预测、变换、量化的步骤后，4 x 4 块数据的非零系数大部分处在 低频部分，高频系数则大多为0 。 2 利用z i g z a g 扫描量化后的数据，处在高频段位的非零系数值基本上取 值都为1 或+ 1 ，d c 系数周围的非零系数值相对较大。 3 有多少邻近的4 x 4 块的非零系数是具有相关性的。c a v l c 技术充分在 完成了整数变换、量化的步骤，利用残差并针对数据特性对数据进行压缩，更 好地完成了减少数据冗余信息的任务，对实现大幅度提升编码效率提供了保 障。c a v l c 的复杂度l 匕c a b a c 的复杂度低，在压缩率方面，c a b a c 比 c a v l c 高出1 0 - - - 1 5 左右。所以，c a v l c 在方案简易程度、实现的复杂 度、执行的效率等方面都高于以前的熵编码方案。 2 3h 2 6 4 标准中的档次与级 同以往的h 2 6 x 一样，h 2 6 4 也分成不同的级( k v e l s ) 与档次( p r o f i l e s ) 。每 一个档次都要有与之匹配的限制条件与算法。一个选定的档次同样也分为不同 的级。根据计算机的内存容量和运算能力来决定级的选取，不同的级对映不同 的数据码率与分辨率。 h 2 6 4 可分为3 个档次与1 5 2 个不同的级，每个档次均支持一组特定的 编码功能和一类特定的应用。其档次关系如图2 9 所示。 2 3 1 基本档次( b a s e l i n ep r o f i l e ) 主要在无线通信、会议电视、可视电话等实时视频通信方面应用。其解码 器支持以下几项特性： 1 去块滤波； 2 p 片和i 片类型； 3 c a v l c 熵编码模式； 4 1 4 像素精度运动估计； 5 4 ：2 ：0 的色度块采样率； 6 支持z i g z a g 扫描方式； 7 支持逐行扫描( p r o g r e s s iv e ) ： 8 支持冗余片( r e d u n d a n ts 1i c e ) ； 9 不支持宏块帧场自适应编码； 哈尔滨理t 人学t 学硕i j 学位论文 1 0 支持任意片顺序( a r b i t r a r ys 1 i c eo r d e r ) 编码； 1 1 支持灵活块顺序( f l e x i b l em a c r o b l o c ko r d e r ) 编码方案。 2 3 2 主要档次( m a i np r o f i l e ) 主要在数字视频存储与数字广播电视等方面应用。其解码器支持以下几项 特性： 1 支持b 片； 2 不支持冗余片： 3 支持场编码； 4 支持隔行扫描( i n t e r l a c e d ) 与逐行扫描( p r o