（信号与信息处理专业论文）基于dm642的h264视频编码器优化和实现.pdf

长春工业大学硕士学位论文 摘要 随着数字视频编码技术的发展和成熟，许多视频编码方案不断被提出和应用。在 众多的编码方案中，h 2 6 4 是目前最有效的编解码标准。h 2 6 4 标准是由视频图像编码 组和运动图像编码组共同开发的新一代视频编码标准。在相同的编码图像质量下， h 2 6 4 与i 2 6 3 、m p e p 4 标准相比，分别能节约5 0 和2 0 的码流，而且加强了对f 网络 和流媒体应用的支持。作为目前最高效的视频编码标准，h 2 6 4 的技术特点决定它必然 将在视频传播和视频存储领域赢得更多的应用和商机。但是h 2 6 4 的优越性能是以实 现的高复杂度为代价的，这给其嵌入式应用带来了巨大障碍。d s p 芯片以其超强的处理 速度和较低的资源消耗，在许多应用领域有非常出色的表现。t i 公司的d m 6 4 2 芯片是 专门为图像视频处理应用设计的，是实现h 2 6 4 编解码的理想平台。因此研究利用d s p 芯片实现h 2 6 4 标准的实时编解码算法具有实用价值。 本文详细分析了h 2 6 4 视频编码标准，对标准中使用的一些新技术做了比较详尽 的探讨。例如帧内预测、帧间预测、变换编码、环路滤波、熵编码等编码技术，其中 运动估计是帧间预测技术的重要内容，也是h 2 6 4 编码器的核心内容之一。运动估计 是在参考帧中搜索最佳匹配块，确定运动矢量。主要的搜索方法有全搜索法、二维对 数搜索法、三步搜索法、对偶搜索法、非对称十字形多层次六边形格点搜索法和增强 预测性区域搜索算法( e p z s ) ，其中e p z s 算法的性能最优。在分析和研究增强预测性 区域搜索算法的基础上，结合分级搜索策略，在低分辨率图像帧中根据分割模式的特点 来选用恰当的搜索模板，寻找最佳匹配点确定运动矢量，以该运动矢量作为原图像块 的运动矢量预测值之一，然后进行区域搜索。编码实验显示，该方法与e p z s 算法相比， 在压缩编码图像质量不下降的同时可显著减少编码时间。 同时本文研究了d m 6 4 2 图像处理平台，结合t i 的r e f e r e n c ef r a m e w o r k 软件框架， 以回放显示应用程序为例，建立软件功能框图。在该软件框架下，编写h 2 6 4 基本档 次编码算法库函数，由应用程序调用来完成编码功能。这样的编码算法函数更具有通 用性，可以在同系列不同d s p 芯片上应用。根据对h 2 6 4 基本档次编码算法的研究和 分析，确定编码流程和编码参数，将编码库函数移植到d m 6 4 2 芯片上实现了低帧率时 对图像序列的实时编码。 关键词：视频编码，h 2 6 4 a v c ，运动估计，e p z s ，d m 6 4 2 长春1 = 业大学硕士学位论文 a b s t r a c t 黝t h ed e v e l o p m e n to fd i g i t a lv i d e oc o d i n gt e c h n o l o g y , m a n yc o d i n gs t a n d a r d sh a v e b e e np r o v i d e dt ot h em a r k e t a m o n gt h e m ，h 2 6 4 a v ci st h em o s te f f i c i e n tc o d e cs t a n d a r d u n t i ln o w v i d e oc o d i n ge x p e r t sg r o u pa n dm o v i n gp i c t u r ee x p e r t sg r o u pd e v e l o p e d t h eh 2 6 4s t a n d a r dj o i n t l y u n d e rt h es r n l er e c o n s t r u c t i o nv i d e oq u a l i t y , h 2 6 4 a v cc a n s a v e5 0 a n d2 0 b i t s t r e a m ，c o m p a r e dw i t hh 2 6 3a n dm p e g 一4r e s p e c t i v e l y h 2 6 4 a v ci m p r o v e st h ea b i l i t yt os u p p o r tt h en e t w o r ka p p l i c a t i o na n dt h ev i d e os t r e a m a p p l i c a t i o n a st h em o s te f f i c i e n tv i d e oc o m p r e s s i o ns t a n d a r d ，h 2 6 4w i l lb ew i d e l yu s e di n t h ev i d e ol r a n s m i t i o na n dv i d e oc o m p r e s s i o n b u ti tc o m e sw i 也t h ec o s to fh i g hc o m p l e x i t y a n dt h i si st h eo b s t a c l ef o re m b e d d e d 印p l i c a t i o n sw i mh 2 6 4 d s pc h i p s 谢mt h e i rh i g h f r e q u e n c ea n dl o wr e s o u r c ec o s ta r eu s e di nm a n ya r e a s d m 6 4 2w a sd e s i g n e df o rd i g i t a l v i d e op r o c e s s i n gb yt i ，a n di ti st h eo p t i m a lp l a t f o r mf o rh 2 6 4c o d e c t h i sd i s s e r t a t i o na n a l y s e st h ee n c o d i n gp r i n c i p l eo fh 2 6 4 ，a n dd e s c r i b e ss o m e t e c h n o l o g yi n t r o d u c e db yh 2 6 4 s u c h 嬲i n t r ap r e d i c t i o n ，i n t e rp r e d i c t i o n ，t r a n s f o r m e n c o d i n g ，l o o p - f i l t e r , e n t r o p ye n c o d i n g a n dm o t i o ne s t i m a t i o ni st h ek e yt e c h n o l o g yo f i n t e r p r e d i c t i o n n l ea i mo fm o t i o ne s t i m a t i o ni st of m dt h eb e s tm a t c hp o i n ta n dt h et h eb e s t m o t i o nv e c t o r t h e r ea r es o m es e a r c ha l g o r i t h m s ，s u c ha sf u l l s e a r c h ，2 d l o gs e a r c h , t h r e e s t e ps e a r c h ，c o n j u g a t es e a r c h ，c e n t e rb a s e dt h r e e - s t e ps e a r c ha n de n h a n c e dp r e d i c t i o nz o n a l s e a r c h ( e p z s ) a n de p z si st h em o s te f f i c i e n ts e a r c ha l g o r i t h m b ya n a l y z i n gt h ee p z s a l g o r i t h m ，w ei m p r o v et h es e a r c ha l g o r i t h mw i t hl e v e l s e a r c hs t r a t e g y , a n df u n dt h em o s t m a t c hp o i n ti nt h ec o a r s ei m a g e t h e nb yt h ez o n a ls e a r c ha l g o r i t h m ，w ec a l lf e n dt h eb e s t m o t i o nv e c t o r s i m l u a t i o nr e s u l t ss h o wt h a tt h en e wm e t h o dc o m p a r e dw i t he p z sc a ns a v e e n c o d i n gt i m ew i t h o u td e g r a d a t i o no ni m a g eq u a l i t y m e a n w h i l e ，t h i sd i s s e r t a t i o nm a k e st h er e s e a r c ho nd m 6 4 2a n dt i sr e f e r e n c e f r a m e w o r k w i t ht h el o o p - b a c ka p p l i c a t i o nw ed e v e l o pt h es o f t w a r ef r a m e w o r k t h e nw e b u i l dt h ee n c o d e rp r o g r a ma st h el i b r a r yf u n c t i o n g e n e r a l l yi tc a nb eu s e do nd i f f e r e n td s p p l a t f o r m s a n dt h e na c c o r d i n gt ot h eb a s e l i n ep r o f i l eo fh 2 6 4 ，w et r a n s p l a n tt h ee n c o d e r a l g o r i t h mo nd m 6 4 2p l a t f o r m k e yw o r d s ：v i d e oc o d i n g ，h 2 6 4 a v c ，m o t i o ne s t i m a t i o n ，e p z s ，d m 6 4 2 长春工业大学硕士学位论文 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体己经发表或撰写过 的作品或成果。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本 声明的法律结果由本人承担。 论文作者签名： 日期： 孑瓣 岫年乒月7 日 长春工业大学硕士学位论文 1 1 引言 第一章绪论 数字视频技术在通信和广播领域获得了日益广泛的应用，随着宽带技术和移动通信的迅 猛发展，视频信息和多媒体信息在i n t e r n e t 和移动网络中的处理和传输技术成为了当前我 国信息化的热点。 视频信息具有一系列优点，如直观性、确切性、高效性、广泛性等等。但是视频信息的 信息量太大，例如，一路可视电话或会议电视信号，由于其活动内容较少，所需带宽较窄， 但要达到良好质量，不压缩约需要若干m b i t s ；又如，一路高清数字电视信号，不压缩约 需1 g b i t s ，利用m p e g - 2 压缩后尚需2 0 m b i t s 。因此要使视频得到有效的应用，必须首先解 决视频压缩编码问题，其次解决压缩后视频质量保证的问题。这两者是相互矛盾的，是矛盾 的两个方面。既要有较大的压缩比，又要保证一定的视频质量。 h 2 6 4 a v c 是视频编码专家组( i t u tv c e g ) 和运动图像专家组( i s o i e cm p e g ) 共 同开发的新一代视频编码标准。与以前的编码方法相比，h 2 6 4 具有更高的压缩性能，提高 了存储空间利用率，加强了对网络的支持，面向数据包的编码能更好的支持流媒体的应用。 它具有很强的抗干扰能力，大大提高了视频传输的可靠性；对不同传输环境有适应性，提高 了信道利用率。h 2 6 4 以其良好的网络适应性和高编码压缩效率，灵活的语法配簧，在视频处 理领域较之以往的视频编码标准更加适合视频处理的发展方向，更加适合不同应用环境的对 象。作为目前最高效的视频编码标准，h 2 6 4 的技术特点决定它必然在视频传播和视频存储 领域赢得更多的应用和商机。 h 2 6 4 具有较高的复杂度，在编码端计算的复杂度约是h 2 6 3 的3 倍，约是m p e g - 4 的 4 - 5 倍；在解码端计算的复杂度约是h 2 6 3 的2 倍，约是m p e g - 4 的2 - 3 倍“。可以说h 2 6 4 的高性能是以实现的高复杂度为代价的。但是随着芯片处理能力的不断增强，h 2 6 4 的计算 复杂程度在可以接受的范围之内，使得h 2 6 4 标准的应用越来越广泛。 1 - 2 视频编码原理 视频编码的主要目的是去除相关性，在允许一定图像失真条件下，以尽可能少的比特数 来表征视频信息。虽然高质量视频信源的信息量巨大，但由于视频序列中包含有大量高度相 关的冗余信息，这就给应用先进技术去除信息冗余以实现对视频数据的大量压缩带来可能， 这些冗余包括： 1 ) 空间和时间冗余。图像的空间冗余指的就是图像中相邻像素之间的相关性，而视频 序列中的图像在时间轴上又有极强的相关性。视频压缩的目标就是在保证重构图像质量的前 提下尽量去除图像本身存在的空问相关性和序列间的时间相关性。 长春f 工业大学硕士学位论文 2 ) 信息熵冗余。由信息论的相关原理可知，它为表示图像数据的一个像素点，只要按 其信息熵的大小分配相应比特数即可。然而对于实际图像数据的每个像素，很难得到它的信 息熵，在数字化一幅图像时，由于每个像素是用相同的比特数表示，这样必然存在冗余。信 息熵冗余、空间冗余和时间冗余统称为统计冗余，因为它们都决定于图像数据的统计特性。 3 ) 心理视觉冗余。眼睛所感受到的图像区域亮度不仅仅与区域的反射光有关，这种现 象的产生是由于眼睛并不是对所有视觉信息有相同的敏感度。有些信息在通常的视觉过程中 相对来说不那么重要，这些信息可以认为是心理视觉冗余的。心理视觉冗余的存在与人观察 图像的方式有关，人在观察图像是主要寻找某些比较明显的物体特征，而不是定量的分析图 像中每一个像素的亮度。入通过脑子里分析这些特征与先验知识结合以完成对图像的解释过 程。正是由于以上的原因，图像的数据压缩是可能的。图像数据压缩技术是多媒体技术中十 分重要的组成部分。如果不进行数据压缩，则无论传输还是存储都很难实用化。而采用数据 压缩的好处就在于： ( 1 ) 能很快传输各种媒体的信息源，降低信道占用费用和提高设备吞吐量 ( 2 ) 压缩数据存储容量，降低存储费用 ( 3 ) 可以降低发射机功率，对于多媒体移动通信系统尤为重要，如目前流行的w a p 手 机上网及未来将要开通的3 g 业务等 从图像恢复的角度上，信源编码方式可以分成两大类：无损编码和有损编码“1 。在无损 编码中，原始的信息和信号可以精确地重构，因而信息可以进行任意多次无损编码而不会有 任何退化，但其压缩率有限。有损编码系统依靠量化实现，它的压缩是靠丢弃图像中的一些 有用信息而达到的，由量化去掉的图像细节信息是不可逆的，称为失真。因此在视频编码中 都是将无损编码和有损编码结合使用。 从编码方法上来说，可以把图像视频编码方法划分为熵编码、源编码和混合编码”。等。 熵指的是具体数据的平均信息量，定义为在不丢失信息的前提下，描述该信息内容所需的最 小比特数。熵编码( e n t r o p yc o d i n g ) 是纯粹基于信号统计特性的编码方法，它是一种无损编 码，解码后能无失真的恢复原图像。熵编码的基本原理是分配给出现概率较大的符号一个短 码字，而给出现概率较小的符号一个长码字，这样使得最终的平均码长很小。一个精心设计 的熵编码器，其输出的平均码长接近信源的信息熵，即码长的下限。熵编码把己压缩的数据 流看作是简单的数字序列，而不关心这些数据具体的语义。源编码用于能够把原始数据中的 相关数据与不相关数据区分开的场合。该方法要考虑原始数据的语义，通过消除不相关数据 以达到对原始数据流的压缩。与熵编码不同，源编码常常是有损编码。在有损压缩方法中， 原始数据流与已编码的数据流相似但不相同。混合编码是熵编码和源编码方法的组合。通常 是几种不同的熵编码和源编码方法组织在一起构成一种新的混合编码方法。 1 3 视频编码标准 视频编码国际标准的制定主要由i t 叶t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n 2 长春工业大学硕士学位论文 1 - 3 视频编码标准 视频编码国际标准的制定主要由i t u _ t ( i n t e r n a t i o n a lt e l e c o m u n i c a t i o n u n i o n t e l e c o m u n i c a t i o n)和i s o i e c( i n t e r n a t i o n a l o r g a n i z a t i o n f o r s t a n d a r d i z a t i o n i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 负责。i t u t 相继发布 了h 2 6 x 系列标准，而i s o i e c 推出了m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 系列标准。 2 0 0 3 年m p e g 和v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合公布h 2 6 4 a v c 标准。 与传统的视频编码器一样，h 2 6 4 a v c 也采用的是混合编码器方案，它仍然采用基于像 素块的编码技术，从视频技术发展上来说，它是属于第一代的视频编码方法。但是所谓的基 于语义的第二代视频编码方法( 如m p e g - 4 上的应用) 由于其算法的复杂性，不易实现，尤 其在低码率传输情况下，无法达到满意的性能指标。基于传统视频编码器框架，h 2 6 4 对各 功能模块的基本算法都进行了重大改进，使其编码效率可比现有的视频标准提高5 0 9 6 ，支持 广播视频能在互联网上以小于1 m b i t s 的码率进行高质量传输，因此将使得计划采用h 2 6 4 技术的m p e g - 4 在低码率视频传输上取得突破性进展，其优异的压缩性能也将在数字电视广 播、视频实时通信、网络视频流媒体传递以及多媒体短信等各个方面发挥重要作用。 1 4 论文结构安排 第一章绪论部分简要介绍了视频编码的原理和标准。 第二章首先介绍了h 2 6 4 编码标准的制定发展过程，然后对标准中的主要技术，如帧内 预测编码、帧间预测编码、变换量化、环路滤波、熵编码进行了详细的介绍。 第三章针对编码环节中最耗时的运动估计部分进行了详细分析，介绍了全搜索、二维对 数搜索法、三步搜索法、对偶搜索法、基于中心的三步搜索法。运动估计的块匹配算法是目 前最成功和应用最广泛的帧问预测技术，也是h 2 6 4 编码器的核心内容之一。但对图像块进 行匹配搜索的计算量是巨大的，因此如何在保证一定图像质量条件下进行算法优化，在主客 观质量损伤很小的情况下降低复杂度，以达到处理器的实时编解码，使其具有更强的实用性， 具有重要的研究价值。然后介绍已经被标准采纳的e p z s 算法，并自此基础上进行了改进， 取得了一定的效果。 第四章介绍了t i 公司的适合图像信息处理的d s p 芯片t m s 3 2 0 d m 6 4 2 及数字图像处理平 台，分析了f r a m e w o r k 程序框架。 最后结合d m 6 4 2 图像处理平台的特点，提出针对实现h 2 6 4 基本档次编码的移植实现方 法。 长春工业大学硕士学位论文 第二章h 2 6 4 编码标准概述 2 1 h 2 6 4 编码标准简介 2 1 1h 2 6 4 标准制定和发展过程 1 9 9 5 年i t u - t 推出了针对甚低比特率的压缩标准h 2 6 3 建议。h 2 6 3 最初是针对 1 0 3 0 k b i t s 范围的甚低比特率应用设计的，但实验结果表明，在低速率范围内，h 2 6 3 都 取得了惊入的压缩效果，成为当时最成功的数字视频压缩标准。在比特率( b i t r a t e ) 低于 3 0 k b i t s 的应用中，同样的视频质量前提下，h 2 6 3 的输出码率仅为h 2 6 1 的一半甚至更少。 h ，2 6 3 采用了诸如可变尺寸块运动补偿技术、重叠块运动补偿技术、无限制运动矢量技术和 运动矢量预测技术等一系列新的视频编码技术，为混合编码框架的进一步发展奠定了基础。 v c e g 在h 2 6 3 建议推出之后继续对其进行改进，将各种新技术以附件的形式加入到h 2 6 3 中，并提供相应的测试模型( t e s tm o d e l ) ，使h 2 6 3 不断得到完善。1 9 9 8 年公布的h 2 6 3 + 和其后的h 2 6 3 + + 分别是改进后的版本，两者也是h 2 6 4 标准的前身。 早在1 9 9 5 年，在完成h 2 6 3 标准的最初版本后v c e g 就已经开始着弓三短期( s h o r tt e r m ) ” 和“长期( 1 0 n gt e r m ) ”的研究工作。短期的工作结果是产生了h 2 6 3 + 标准，而长期的工 作目的是形成一个在性能方面与已经存在的视频编解码标准有较大区别的视频编码标准。在 标准的初期制定过程中形成的草案被称为h 2 6 l 。 2 0 0 1 年7 月m p e g 对a d v a n c e dv i d e oc o d i n g 进行招标。同年底在目睹了基于h 2 6 l 标 准的软件编码后的视频流质量远远优于当时基于m p e g - 4 标准编码后的视频流质量后， i s o i e c 的m p e g 就与i t u - t 的v c e g 联合形成j 、c ( j o i n tv i d e oc o d i n g ) 小组来共同研究 这个标准。 2 0 0 2 年5 月，j 、r t 形成委员会草案c d ( c o m m i t t e ed r a f t ) 。 2 0 0 2 年7 月，j v t 形成了最终委员会草案( f i n a lc o m m i t t e ed r a f t ) 。 2 0 0 2 年1 2 月，j v t 形成了最终国际标准草案f d i s ( f i n a ld r a f ti n t e r n a t i o n a l s t a n d a r d ) 。 2 0 0 3 年3 月，标准的最终草案公布，称作h 2 6 4 a v c 或m p e g - 4v i s u m , p a r t1 0 2 0 0 5 年3 月，i t u - t 公布视频编码标准h 2 6 4 建议。 2 1 2h 2 6 4 标准与以往其他视频标准的比较 2 0 0 3 年i t u - t 在国际上正式公布h 2 6 4 a v c 视频编码标准，其目标是为视频编码应用 提供“下一代”的解决方案，提供显著增强的编码效率，同时具有良好的网络亲和性，即可 适用于各种传输网络。 一 h 2 6 4 规定了四个档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。 4 长春工业大学硕士学位论文 这四个档次的关系和主要编码工具如图2 一l 所示： 应竣交换 化矩簿 图2 - 1 h 2 6 4 标准的四个档次和主要编码工具 ( 1 ) 基本档次( b a s e l i n e ) 主要用于“视频会话”，如会议电视、可视电话、远程医疗、 远程教学等，利用i 片和p 片，支持帧内、帧间编码，支持利用基于上下文的自适应变长熵 编码( c a v l c ，c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) 。 ( 2 ) 主要档次( m a i n l i n e ) 主要用于消费电子应用，如数字电视广播、数字视频存储 等。支持隔行视频，采用b 片的帧间编码和加权预测的帧内编码；支持基于上下文的自适应 算术编码( c a b a c ，c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。 ( 3 ) 扩展档次( e x t e n d e d ) 主要用于网络视频流，如视频点播。支持码流之间有效的 切换( s p 和s i 片) 、改进误码性能( 数据分割) ，但不支持隔行视频和c a b a c 。 ( 4 ) 高级档次，即新近扩展的f r e x t ( f i d e l i t yr a n g ee x t e n s i o n s ) 部分，具体细分 为四个档次：h i g hp r o f i l e ，h i g h l op r o f i t e ，h i g h 4 ：2 ：2p r o f i l e ，h i g h 4 ：4 ：4p r o f i l e 。 主要用于专业级的视频应用、高分辨率高保真的视频压缩等。f r e x t 对h 2 6 4 h v c 的改善 主要在：进一步引入一些先进的编码工具，提高了压缩效率；视频源的每个像素的位长 均可超过8 b ，最高可达1 2 b ：增加了4 ：2 ：2 与4 ：4 ：4 的采样格式；更高的比特率， 更高的图像分辨率：可达到图像高保真的要求，支持无损压缩；支持r g b 格式的压缩， 同时避免了色度空间转换的舍入误差。 如图2 - 2 所示为高级档次的主要编码工具，有关f r e x t 部分的特点和详细介绍请参阅文 献 5 o 长春工业大学硕士学位论文 蘸蠢悯豢戮瓣户声) 翳 芒竺) i o p 鲥4 2 2 _ 彳艏4 p 图2 - 2 高级档次的主要编码工具 2 1 3h 2 6 4 码流结构及主要的技术改进 为了更加灵活的适应不同应用领域的要求，h 2 6 4 在设计概念上可以分为两层：视频编 码层( v c l ：v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 。视频 编码层负责高效的视频内容表示，网络提取层负责以网络所要求的恰当的方式对数据进行打 包和传送。在v c l 和n a l 之间定义了一个基于分组方式的接口，打包和相应的信令属于 n a l 的一部分。这样，高编码效率和网络友好性的任务分别由v c l 和n a l 来完成。v c l 层 包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码标准一样，h 2 6 4 没有把 前处理和后处理等功能包括在草案”1 中，这样可以增加标准的灵活性。n a l 负责使用下层网 络的分段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的利用或序列结束信号等。 例如，n a l 支持视频在电路交换信道上的传输格式，支持视频在i n t e r n e t 上利用 r t p u d p i p 传输的格式。n a l 单元包括自己的头部信息、段结构信息和实际载荷信息( 即 上层的v c l 数据) 。如果采用数据分割技术，数据可能由几个部分组成。这些编码的v c l 数据，先被映射或封装进n a l 单元中。每个n a l 单元包括一个原始字节序列负荷( r b s p ， r a wb y t es e q u e n c ep a y l o a d ) 和一组对应于视频编码数据的n a l 头信息。n a l 单元序列的 结构如图2 3 所示： h 2 6 4 a v c 编码器的主体结构如图2 - 4 所示： 6 长春工业大学硕士学位论文 图2 - 4h 2 6 4 a v c 编码器主体结构 其中f n 为当前要编码的帧，它是以宏块为单位进行编码处理的，每个宏块是以帧内或 帧问模式进行编码。f 。是指前面已解码的多个参考帧，在帧间模式下宏块根据参考帧f 。进 行运动估计m e ( m o t i o ne s t i m a t i o n ) 和运动补偿m c ( m o t i o nc o m p e n s a t i o n ) 得到预测值p ， 预测值与当前帧f n 相减得到残差值，再对该残差值进行变换编码t 与量化q ，得到变换 量化系数；最后经熵编码输出到网络提取层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 。f n 为经过 滤波得到的重构图像，它将被放入参考帧存储器作为下一帧或几帧编码的参考帧之一。 从图2 4 的结构来看，h 2 6 4 编码器在总体结构上与以往的编码器并没有太多的变化， 但是在一些局部的编码策略上，h 2 6 4 引入了一些新的算法与特性，从而增强了压缩能力， 也提高了对传输错误的抵抗力，更加适用于现在的无线多媒体和网络多媒体应用。例如：从 过去的d c t 变换发展为整数变换，减少了精度损失；从传统的单一的帧内编码，发展为更 加高效、模式更加多样的帧内预测编码，进一步减少了帧内编码的比特数，等等。这些新技 术都大大提高了h 2 6 4 编码器的图像的压缩效果。另一方面，h 2 6 4 协议从过去的单一的 参考帧，发展为多个参考帧进行帧问编码；以过去使用的i 帧、p 帧、b 帧为基础，扩展引 入了s p 帧、s i 帧等新的编码类型，这些技术都大大提高了h 2 6 4 的压缩码流在信道中传 输的可靠性。 2 2帧内预测 一个像素块的帧内预测编码主要是基于同一图片内其它相邻已编码重构的像素块，不需 要利用图像序列时间轴上的相关性。与其他标准不同的是，h 2 6 4 的帧内编码充分利用了图 像空间上的相关性，利用周围块的像素值来预测本块的像素值，然后对预测后的残差量进行 编码来减小帧内编码的数据量。相对于只有帧间预测的h 2 6 3 初级版本，h 2 6 4 引入帧内预 测编码算法显著的提高了对视频图像的编码效率。h 2 6 4 中提出了三种帧内编码( i n t r a ) 7 长春工业大学硕士学位论文 方式：4 x 4 块的帧内编码，8 x 8 块的帧内编码和1 6 x1 6 宏块的帧内编码。其中对于4 x 4 块的帧内编码，总共有9 种可选预测编码模式。这些模式都是根据相邻4 x 4 像素块的 可用性和相关性来预测当前4 4 中各像素的值，适用于带有大量细节的图像编码。对于 1 6 1 6 像素宏块的帧内编码，共有4 种可选预测编码模式，适用于平坦区域图像编码。8 8 块的帧内编码是在2 0 0 5 年标准的建议版中针对f r e x t 部分提出的，共有9 种可选预测编 码模式，与4 x 4 块的预测模式相似，这些模式也是根据相邻的块来预测当前块各像素的值。 色度块也有4 种预测模式，类似于1 6x1 6 亮度块预测模式。编码器通常选择使预测块与编 码块之间差异最小的预测模式。此外，还有一种帧内编码模式称为ip c m ，在该模式下，编 码器直接传输图像的像素值，而不经过预测和变换。在一些特殊的情况下，特别是图像内容 不规则或量化参数非常低时，该模式比“常规操作”( 帧内预测变换一量化熵编码) 效率更 高。 2 2 1 亮度信号的4 x 4 块帧内预测 斧酽 3 傩b o o 憎i d o 嘲n i e 骞租轴g o n d 蝴q i 嘲 矽黔殿 图2 - 54 x 4 块的9 种帧内预测模式 上图显示了4 x 4 根据周围像素点进行预测的9 种预测方向，a m 是当前4 4 块 相邻的像素点。在9 种预测模式中，模式2 ( d c 模式) 根据a - 矗“中已编码像素进行预测， 而其余模式只有在所需预测像素全部提供后才能使用。表2 1 给出了这9 种模式的描述。 用p r e d 4 x 4 x ，y 】，葛y = o 3 表示4 x 4 亮度块的像素值，以i n t r a 4 x 4 p r e d m o d e 1 u m a 4 x 4 b l k l d x 。2 ， d c 模式为例， 当b d 、的像素值均为有效可用时： p r e d 4 x 4 x ，y 】= ( a + b 十c + d 。卜i + j + k + l + 4 ) 3 ( 式2 - 1 ) 当只有a 加l 的像素值为有效可用时： 8 劳劳辩 长春工业大学硕士学位论文 p r e d 4 x 4 x , y 2 ( a b + c + i h 2 ) 2 当只有i j 的像素值为有效可用时： p r e d 4 x 4 【x ，y 】= ( i + j + k + l + 2 ) 2 当k d 、h 的像素值均无效时： ( 式2 - 2 ) ( 式2 3 ) p r e d 4 x 4 x ，y 】= ( 1 0i jl p 0 q o l ，i p l p o l 和l q l q o f 都小于阈值a 或b 时，开始对块边界两边像素进行滤波处 理。若边界有显著差异，即图像本身特征明显，高于阈值限定，则判决滤波不会发生。由于 阈值受q p 影响，q p 大时意味着边界两边的差异主要是由量化引起的，块效应明显，a 与 1 3 的值就大，所以滤波发生的可能性就大；反之，q p 值小意味着由量化引起的边界差异就 小，其显著的差异很可能是图像的本身特征，a 与p 的值随q p 减小则滤波发生的可能性 就小。这样的设计即考虑到保留图像本身纹理特征，减少滤波失真，又可平滑掉块之间的量 化差异，减少块效应。使用滤波器对图像的客观质量评价影响不大，但从视觉上来说块效应 的减弱可以使图像的主观质量得到显著的提高。 2 6熵编码 h 2 6 4 中，熵编码是针对控制信息以及前面步骤的结果数据( 如运动矢量、残差变化量 化结果等) 进行处理。由于这些数据理论上是不允许有失真的，尤其是控制信息，否则，解 码端无法正确恢复数据。所以，对这类数据只能采用无失真的熵编码方法来进行压缩。 1 9 长春工业大学硕士学位论文 h 2 6 4 中的熵编码有两种： ( 1 )采用基于指数g o l o m b 码的统一变字长编码( u n i v e r s a lv a r i a b l el e n g t h c o d i n g ) 对除了变换系数之外的所有语法流元素进行编码。扫描变换系数采用 更灵活的基于上下文的变长编码( c a v l c ) 。 ( 2 )采用基于上下文的自适应二进制算术编码( c a b a c ) ，这种熵编码方法的复杂度 高，压缩效率也更优，是主要档次( m a i np r o f i l e ) 中使用的熵编码方法。更 详尽的介绍请参阅文献1 2 1 1 朝 2 6 1 基于指数型g o l o m b 码的统一变长编码( u v l c ) 统一变长编码具有简洁规范的特点，编码可以实时完成而无需浪费空间来存储映射码 表。这种设计避免了对每种语法元素定义不同的变长编码表。 指数型g o l o m b 编码码字的构造如下： c o d e _ w o r d = 【m 个0 】+ 【1 】+ i n f o 】( 式2 - 1 4 ) 其中，i n t o 是一个m b “的数据。其编解码过程如下： 编码，输入为待编码的码字c o d en u l n ： m = l 0 9 2 ( c o d e n u m + 1 ) ( 式2 - 1 5 ) i n f o = c o d e n u m + 1 - 2 ” ( 式2 - 1 6 ) c o d e _ w o r d = m 个0 】+ 【1 】+ i n f o 】( 式2 - 1 7 ) 解码： 读入m 个以“1 ”为结尾的0 ； 根据得到的m ，读入接下来的m 个i r f f o 数据； 还原c o d e n u m c o d e n u m = 2 ”+ i n f o 一1 ( 式2 - 1 8 ) 关于各种语法元素采用的具体编码方式的详细说明参见文献【1 4 i 。 2 6 2 基于上下文的自适应变长编码( c a v l c ) 基于上下文的自适应交长编码是用于对变换系数的编解码。变换和扫描后的系数有以下 几个特点： ( 1 ) 变换矩阵中有很多0 存在，因此通过游程编码( r u n - l e v e l ) 可以压缩这些信息。 ( 2 ) 按扫描顺序输出的非0 变换系数中有很大一部分是连续的1 的序列。 c a v l c 中采用了一种特殊的方式来表示这些频繁出现的1 序列( t r a i l i n gl s ) 。 ( 3 ) 相邻子块中的非0 系数的个数往往具有一定的相关性。非0 系数的个数使用查找表 来编码，该查找表是根据相邻块的非0 系数的个数来选择的。 ( 4 ) 越靠近直流系数的系数值往往越大。c a v l c 中利用这个特性实现了根据最近编码的 长春工业大学硕士学位论文 系数幅度值来自适应选择不同的查找表来对相应的数据进行编码。 总的来说c a v l c 中与编码信息相关的参数有3 部分： ( 1 ) n u mt r a i l 代表了t r a i l i n gl s ( o 3 ) 以及4 x 4 块中的非0 系数的个数； ( 2 ) 除了t r a i l i n gl s 信息以外的所有其他非0 系数的幅度： ( 3 ) 行程信息。 采用c a v l c 对一个变换系数块进行编码的过程如下： ( 1 ) 对非0 系数的个数以及连续的l 序列的个数进行