（信号与信息处理专业论文）基于pc的h264视频编码器优化设计.pdf

浙江人学硕l 学位论文 摘要 随着信息时代的到来，人们对现有通信网络条件下的多媒体服务提出了更高的要 求。例如更高质量的可视电话和视频会议，具有更高清晰度的视频存储和播放，无线网 络中的视频通信等。这些应用中一个火键的技术环节是图像的压缩和解压缩。 近年来，图像视频编码技术和编码标准得到了长足的进步。h 2 6 4 是i e o i e c 和 i t u - t 两大国际标准化组织联手制定的视频新标准。作为视频编解码领域的最新标准， h 2 6 4 具有压缩率高、差错恢复能力强、适月j 范围广等优点。为达到理想的数据压缩率， h 2 6 4 编码器采用了很多新的编码算法，这些算法极大地增加了编码器的计算复杂性， 使其目前在p c 环境下的实时应用受到很多限制。要实现h 2 6 4 的实时编解码，必须 对其进行大量的优化工作。但这种优化工作小应该以较大的性能牺牲为代价。 本文以h 2 6 4 的参考代码j m 6 1 e 为实验平台，对其编码器进行了详细的分析和性 能测试。针对其中导致计算复杂度大大增加的主要因素，采用相应方法改进。在并未显 著降低性能的前提下，有效的提高了编码器的效率。 本论文主要包含以下内容： 1 、简要介绍了h2 6 4 协议的技术亮点和目前的发展状况。尤其对h 2 6 4 赖以 获得高压缩性能的视频编码层中的主要技术做了较详细的介绍。 2 、 总结了h 2 6 4 面向网络应用的多种特性和错误恢复方法。 3 、详细分析了h 2 6 4 编码器的性能和算法复杂度，指出影响编码器效率的主 要因素。并提出了一种基 j 率失真最优化准则的快速块匹配算法和基于边缘检 测的- 陨内预测模式选择策略。通过编程实现后，实验显示了改进算法相对于原 始算法效率上的明显提升。 4 、 针对对编码器在p c 上的应用做了基于m m x 指令集的优化，主要是s a d 计算和1 ，2 象素内插部分。 【关键词】视频= f i 缩h2 6 4运动估计帧内预测m m x ：i ：目令集率失真最优化 浙江大学侦【：学位沦文 a b s t r a c t w i t ht h e c o m i n go fi te r a ，p e o p l ep u t f o r w a r dh i g h e rd e m a n do nt h em u l t i m e d i a s e r v i c eu n d e rp r e s e n tc o n d i t i o no fc o m m u n i c a t i o nn e t w o r k f o re x a m p l e ，t h eh i g h e r q u l i t y v i d e o p h o n ea n dv i d e oc o n f e r e n c e ；v i d e os t o r ea n dd i s p l a yw i t hh i g h e r r e s o l u t i o n ；v i d e oc o m m u n i c a t i o ni nw i r e l e s sn e t w o r k ；e t cb u tak e y t e c h n o l o g y i na l l t h e s ea p p l i c a t i o ni sv i d e oe n c o d ea n dd e c o d e m u l t i m e d i av i d e oc o d i n gt e c h o n o g ya n dc o r r e s p o n d i n gc o d i n gs t a n d a r da r e d e v e l o p i n gr a p i d l yt h e s ey e a r s t h eh 2 6 4 i s o u t s t a n d i n go ft h e m a st h el a t e s t s t a n d a r di nv i d e oc o d e cf i e l d ，h2 6 4h a ss u c ha d v a n t a g ea s h i g hc o m p r e s s i o nr a t e ， s t r o n ge r r o er e s i l i e n c ec a p a c i t y h i g h l ya d a p t a b i l i t ya n d s oo n i no r d e rt og a i ng o o d c o d i n gr e s u l t ，h 2 6 4a d o p t ss om a n yn e wa l g o r i t h m st h a tt h ea m o u n to fc a l c u l a t i o n i n c r e a s ed r a s t i c a l l y a sar e s u l t ，i t sa p p l i c a t i o n si np ce n v i r o n m e n ta r er e s t r i c t e d 。i n o r d e rt or e a l i z eh2 6 4r e a l t i m ec o d e c ，m a n yo p t i mi z a t i o nw o r k sh a v et ob ed o n e b u tt h e s eo p t i m i z a t i o ng a i n ss h o u l dn o ta tt h ec o s to fo b v i o u s l yc o d i n gp e r f o r m e n c e d r o p b a s d e do nt h er e f e r e n c es o f t w a r e j m 6 1 eo fh 2 6 4a n dt h r o u g had e t a i l e d a n a l y s i sa n dc a p a b i l i t yt e s to ft h ee n c o d e r 。w ef i n do u tt h em a j o rp a r t st h a ti e a dt o t h eh i g hc o m p u t a t i o na f t e ro p t i m i z e db yc o r r e s p o n d i n gm e t h o dd e s c r i b e di nt h i s t h e s i s ，t h ee f f i c i e n c yo ft h ee n c o d e ri sr e m a r k a b l yi m p r o v e dw i t hl i t t l e p e r f o r m a n c e i o s s t h em a i nc o n t e n t so ft h et h e s i sar ea sf o l l o w ： 1 ab r i e fi n t r o d u c t i o nt ot h et e c h n i c a lh i g h l i g h to ft h eh 2 6 4s t a n d a r da n di t s d e v e l o p m e n ta c t u a l i t y , e s p e c i a l l yf o c u so nt h em a i nt e c h n o l o g yi nv i d e oc o d i n g l a y e rw h i c ht h eh i g hc o m p r e s s i o nr a t eo fh 2 6 4i sa c h i e v e db a s e d o n 2s a m m a r i z e dt h en e t w o r k a d a p t i o n o fh2 6 4a n di t se r r o rr e s i l i e n c e t e c h n o l o g yw h i c h h a v e gr e a t l yi m p r o v e dc o m p a r e d t oo t h e r c o m p r e s s i o n s t a n d a r ds u c ha sh ，2 6 3 3 d e t a i l e d l ya n a l y z e dt h ep e r f o r m a n c ea n dc o m p u t a t i o n a lc o m p l e x i t yo fh 2 6 4 e n c o d e r p o i n lo u tt h em a j o rp ar t st h a ti e a dl ot h eh i g hc o m p u t a t i o n w e a n v a n c e daf a s tb l o c km a t c ha l g o r i t h mb a s e do nr a t e - d i s t o d i o no p t i m i z a t i o n a n daf a s ti n t r a p r e d i c t i o nm o d es e l e c t i o ns t r a t e g yb a s e do ne d g ed e t e c t i o n a f t e rp r o g r a m m i n g ，t h er e s u l ts h o w s g r e a t l yi m p r o v e m e n to fc o d i n ge f f i c i e n c y c o m p a r e t ot h e o r i g i n a la l g o r i t h m 4 f i n dt h ep ar tt h a tf i tt oo p t i m i z a t i o nb vm m xj n s t r u c t i o ns e ta n dr e a l i z a t i o n l h e mf i n c l u d i n gt h es a dc a l c u i a t i o na n d1 2p i x e li n t e r p o l a t i o n ) k e y w o r d s v i d e oc o m p r e s s i o n h ，2 6 4 ，m o t i o ne s t i m a t i o n i n t r ap r e d i c t i o n ，m m x r d o 浙江人学硕卜学位论义 第1 章概述 上个世纪8 0 年代以来，i s o t l e c 制定的m p e g 一和i t u t 制定的h2 6 x 两大系 列视频编码国际标准的推出，丌创了视频通信和存储应用的新纪元。从h2 6 1 1 】视频 编码建议，到h2 6 3 、m p e g 1 2 4 1 2 3 j 4 等部有一个共同的不断追求的目标，即在 尽可能低的码率( 或存储容量) 下获得尽可能好的剧像质量。而且，随着市场对图像 传输需求的增加，如何适成不同信道传输特性的问题也f i 益显现出来。这就是l e o i i e c 和i t u t 两大国际标准化组织联于制定的视频新标准h 2 6 4 所要解决的问题。 h2 6 1 是最早出现的视频编码建议，e i 的是规 匹i s d n 网上的会议电视和可视电 话应用中的视频编码技术。它采用的算法结合了可减少唰问冗余的帧间预测和可减少 空f 自j 冗余的d c t 变换的混合编码方法。和i s d n 信道相匹配，其输出码率是 p x 6 4 k b i t s 。p 取值较小时，只能传清晰度不人高的图像，适合于面对面的电视电话； p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视图像。h 2 6 3 建议的是低 码率图像压缩标准，在技术上是h ，2 6 1 的改进和扩充，支持码率小于6 4 k b i t s 的应用。 但实质上h2 6 3 以及后来的h2 6 3 + 4 1 1h ，2 6 3 + + 已发展成支持全码率应用的建议，从 它支持众多的图像格式这一点就可看出，如s u b q c i f 、q c i f 、c l f 、4 c l f 甚至1 6 c i f 等格式。 m p e g 一1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c l f ( 3 5 2 x 2 8 8 ) 质量的图 像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g - l 标准视频编码部分的基 本算法与h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧问预测、二维d c t 、v l c 游程编 码等措施。此外还引入了帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。在m p e g 1 的基础上，m p e g 一2 标准在提高图像 分辨率、兼容数字电视等方面做了一一些改进，例如它的运动矢量的精度为半像素；在 编码运算中( 如运动估计和d c t ) 区分“帧”和“场”；引入了编码的可分级性技术，如 空坩可分级性、时间可分级性和信噪比可分级性等。近年推出的m p e g 4 标准引入了 基于视听对象( a v o ：a u d i o v i s u a lo b j e c t ) 的编码，大大提高了视频通信的交互能 力和编码效率。m p e g 一4 中还采用了一些新的技术，如形状编码、自适应d c t 、任 意形状视频对象编码等。但是m p e g 一4 的基本视频编码器还是属于和h 。2 6 3 相似的 一类混合编码器。 浙江大学硕l 学位论文 总之，h2 6 1 建议是视频编码的终典之作，h 2 6 3 是其发展，并将逐步在实际上 取而代之，主要应用j 二通信方面，但h2 6 3 众多的选琐往钳一令使用者无所适从。m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用，其核心视频编码的基本 框架是和h 2 6 1 一致的，其中引人注目的m p e g 一4 的“基于对象的编码”部分由于 尚有技术障碍，目前还难以普遍应川。凶此，在此基础上发展起来的新的视频编码建 议h 2 6 4 克服了两者的弱点，在混合编码的框架下引入了新的编码方式，提高了编码 效率。同时，它是两大崮际标准化缁织的共同制定的，其应用前景应是不言而喻的。 1 1j v t 的h 2 6 4 h 2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像 编码专家组) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 丌发的一个新的数字视频编码 标准，它既是i t u t 的h2 6 4 ，又是i s o i e c 的m p e g 一4 的第1 0 部分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第个草案，2 0 0 1 年5 月制定了其测试模式 t m l 一8 ，2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的f c d 板。2 0 0 3 年5 月，i t u - t 和i s o 联合发布了h 2 6 4 ( m p e g 4 的p a r t l 0 ) 。h 2 6 x 和m p e g 两大阵营在h 2 6 4 上完成了统一。图1 1 显示了这两大系列视频压缩标准的发展历程。 固 目珥 lm p e 。 l $ , t a i l d a r d , m p e g d j 嚣一。：。 19 8 41 9 8 619 8 u 9 9 01p ) q 21 9 9 41 q 9 619 9 8 2 0 0 0 ，o n ，2 0 0 4 图1 1h 2 6 x 和m p e g 系列标准的发展历程 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它采用 “回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；加 强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的 处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合 的需求：它的基本系统是开放的，使用无需版权。 在技术上，h 2 6 4 标准中有多个闪光之处，如统的v l c 符号编码，高精度、 浙江大学硕士学位论文 多模式的位移估计，基于4 x 4 块的整数变换、分层的编码语法等。这些措施使得h 2 6 4 算法具有很高的编码效率，f 生t h l 刊的重建图像质量下，能够比h 2 6 3 节约5 0 左右 的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应i p 和无线网络的应h j 。 1 。2h 2 6 4 的技术亮点 分层设计 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v c l , v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示，网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 负责以 网络所要求的恰当的方式对数掘进行打包和传送。h2 6 4 编码器分层结构如图1 2 所 示。在v c l 和n a l 之间定义了一个基于分组方式的接口，打包和相应的信令属于 n a l 的一部分。这样，高编码效率和网络友好性的任务分别由v c l 和n a l 来完成。 0 0 d e d l a c r o b l o c k ) a t ap a r t i t i o n i n g c o d c d 刚i c d p a r t i t i o n 一 ln c 【ul ) 【_ ka b s t r a c t i o nl a 3 r o rl h 3 2 0m p 4 ? 】j 2 3 | 1 ，h 。l l 瞰0e l j c 国1 - 2h 2 6 4 编码器的分屡结构 v c l 层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码标准一 样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加标准的灵活性。 n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定 时信息的利用或序列结束信号等。例如，n a l 支持视频在电路交换信道上的传输格式， 支持视频在i n t e r n e t 上利用r t p u d p i p 传输的格式。n a l 包括自己的头部信息、段 结构信息和实际载荷信息，即上层的v c l 数据。( 如果采用数据分割技术，数据可能 由l 个部分组成) 。 高精度、多模式运动估计 h 2 6 4 支持1 4 或1 8 像素梢度的运动矢量。存1 4 像素精度时可使用6 抽头滤 浙江大学顺l 学位论义 波器来减少高频噪声，划于1 8 像素精度的运动矢量，可使用更为复杂的8 抽头的滤 波器。在进行运动估计时，编码器还可选择“增强”内插滤波器来提高预测的效果。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以被分为不同的子块，形成7 种不 同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实际运动物体的形 状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以包含有1 、 2 、4 、8 或1 6 个运动矢量。 在h2 6 4 中，允许编码器使用多卜一帧的先前帧用于运动估计，这就是所谓的多 帧参考技术。例如2 帧或3 帧刚刚编码好的参考帧，编码器将选择对每个目标宏块能 给出更好的预测帧，并为每一宏块指示是哪帧被用于预测。 4 4 块的整数变换 h 2 6 4 与先前的标准相似，对残差采用基于块的变换编码，但变换是整数操作而 不是实数运算，其过程和d c t 基本相似。这种方法的优点在于：在编码器中和解码 器中允许精度相同的变换和反变换，便于使用简单的定点运算方式。也就是说，这里 没有“反变换误差”。变换的单位是4 4 块，而不是以往常用的8 x 8 块。由于用于 变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计算量比较小，而且在 运动物体边缘处的衔接误差也大为减小。为了使小尺、r 块的变换方式对图像中较大面 积的平滑区域不产生块之间的狄度筹异，。t j 对帧内宏块亮度数据的1 6 个4 4 块的 d c 系数( 每个小块一个，共1 6 个) 进行第二次4 x 4 块的变换，对色度数据的4 个4 x 4 块的d c 系数( 每个小块一个，共4 个) 进行2 x 2 块的变换。 h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控制在1 25 左右，而 不是以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减少计算 的复杂性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 统一的v l c h 2 6 4 中熵编码有两种方法，一种是对所有的待编码的符号采用统一的v l c ( u v l c ：u n i v e r s a l v l c ) ，另一种是采用内容自适应的二进制算术编码( c a b a c ： c o n t e x t - a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 。c a b a c 是可选项，其编码性能比u v l c 稍好，但计算复杂度也高。u v l c 使用一个氏度无限的码字集，设计结构非常有规则， 用相同的码表可以对不同的对象进行编码。这种方法很容易产生一个码字，而解码器 也很容易地识别码字的前缀，u v l c 在发生比特错误时能快速获得重同步。 浙江人学硕t 学位论文 帧内预测 在先前的h2 6 x 系列和m p e g x 系列标准中，都是采用的帧间预测的方式。在 h2 6 4 中，当编码i n t r a 图像时l u 用帧内预测。对于每个4 4 块( 除了边缘块特别处 置以外) ，每个像素都可用1 7 个最接近的先l u 已编码的像素的不同加权和( 有的权值 可为o ) 束预测。显然，这种帧内预测不是在时间上，而是在空间域上进行的预测编 码算法，可以除去相邻块之间的空f 、n j 冗余度，取得更为自效的压缩。 面向i p 和无线环境 h 2 6 4 草案中包含了用于差错消除的工具，便于压缩视频在误码、丢包多发环境 中传输，如移动信道或i p 信道中传输的健壮性。 为了抵御传输差错，h 2 6 4 视频流中的时间同步可以通过采用帧内图像刷新来完 成，空间同步由片层结构编码( s t i c es t r u c t u r e dc o d i n g ) 来支持。同时为了便于误码 以后的再同步，在一幅图像的视频数据中还提供了定的重同步点。另外，帧内宏块 刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编码效率，还可以 考虑传输信道的特性。 除了利用量化步长的改变来适应信道码率外，在h 2 6 4 中，还常利用数据分割的 方法来应对信道码率的变化。从总体上既，数据分割的橛念就是在编码器中生成具有 不同优先级的视频数据以支持网络中的服务质量q o s 。例如采用基于语法的数据分割 ( s y n t a x b a s e dd a t ap a r t i t i o n i n g ) 方法，将每帧数掘的按其重要性分为几部分，这样 允许在缓冲区溢出时丢弃不太重要的信息。还r 口以采用类似的时间数据分割 ( t e m p o r a ld a t ap ar t i t i o n i n g ) 方法，通过在p 帧利b 帧巾使用多个参考帧来完成。 在无线通信的应用中，我们可以通过改变每一帧的量化精度或空间，时间分辨率来 支持无线信道的大比特率变化。可是，在多播的情况下，要求编码器对变化的各种比 特率进行响应是不可能的。因此，小同于m p e g 一4 中采用的精细分级编码f g s ( f i n e g r a n u l a r s c a l a b i l i t y ) 的方法( 效率比较低) ，h 2 6 4 采用流切换的s p 帧来代替分级 编码。 1 3h 2 6 4 的实现 对每个考虑实际应用的工程师向高，在关注h ，2 6 4 的优越性能的同时必然会衡量 其实现难度。从总体上说，h 2 6 4 性能的改进是以增加复杂性为代价而获得的。但是， 浙江大学倾 一学位论文 随着技术的发展，这种复杂性的增加是在我们当前或不久的将来的技术可接受的范围 之内的。实际上，考虑到复杂性的限制，h2 6 4 对一些训算量特别大的改进算法未予 采用，如h 2 6 4 未采用全局运动补偿技术，这在m p e g 一4 的a s p 中是采用的，并增 加了相当的编码复杂性。 h 2 6 4 和m p e g 4 两者都包括了b 帧雨i 比m p e g 2 、h2 6 3 或m p e g - 4 的s p ( s i m p l ep r o f i l e ) 更为精确、更为复杂的运动内插滤波。为了更好地完成运动估计， h 2 6 4 显著地增加了可变块尺、j 的科一类和叫+ 变参考帧的数曰。 h 2 6 4 的r a m 需求主要用于参考帧图像，大多数编码视频使用3 5 帧参考图像。 它对r o m 的需求并不比通常的视频编码器更多，因为h2 6 4 的u v l c 对所有的各类 数据采用了一个结构良好的查找表。 由于h 2 6 4 显著的性能提于| 及其潜在的市场价值，圈内外众多公司对h 2 6 4 投入 了大量人力物力。目前，已有一些成熟的产r 锗面世。在国外，挪威的_ a n d b e r g 作 为国际电联( i t u ) 的h2 6 4 协议制定小组。重要一员，已经率先在视频业首家推出 支持h 2 6 4 的产品，目前包括t 8 0 0 0 t 7 0 0 0 t 6 0 0 0 ，t 2 5 0 0 厂r 1 0 0 0 厂r 8 8 0 f l 5 5 0 在内等 全线终端产品以及t a n d b e r gm c u 和t a n d b e r gg a t e w a y 均己支持h 2 6 4 。现 在t a n d b e r g 的终端产品在h2 6 4 咖议下3 8 4 k b p s 的图象质量可以达到h 2 6 3 下 7 6 8 k b p s 的效果。美国的s a n dv i d e o 公司已经推出了支持h 2 6 4 m p e g - 4 a v c 的解 码器i p 内核“s v - i p 0 1 l p ”。l s il o g i c 公司也推出了类似产品。p o l y c o m 公司更是率 先完成了基于e q u a t o rb s p 1 5 多媒体数字信号处理器的产品研发，使得h2 6 4 产品 的性价比进一步提升。f = | 本的视频业界在h2 6 4 标准的制定过程中发挥了重要的作 用，并在产品研发方面也走在了盼列。在2 0 0 3 年1 1 月1 9h 于日本千叶县幕张m e s s e 会展中心开幕的“2 0 0 3 年国际广播i b 视设备展( i n t e rb e e2 0 0 3 ) ”上，i b p 、n e c 、 大金工业、j v c 等多家公司利用h 2 6 4 m p e g 一4 a v c 编解码器进行了录像播放演示。 编解码器的形态各种各样，从f p g a 等芯片到电脑软件应有尽有。国内，在h 2 6 4 的产品开发方面起步稍晚，目前已有4 j 少公司声称完成了支持h 2 6 4 标准的产品研 发。但在性能和产品的丰富性上都还未得到市场验证。从事该类产品研发的公司和产 品主要有：s u n v i d e o 公司的星辉s v - h 4 1 4 t 视频采集卡，时代互动的g vc o d e c 软 件编解码器，海康威视d s 一4 0 0 x h 系列视音频压缩卡和浙江南望公司目前正在研发的 基于e q u a t o r 平台的视频编解码器。 浙江大学硕f 学位论文 一 1 4 本文任务和目标 从目前来看，h2 6 4 获得优越性能的问时代价是相当高的，其计算复杂度大约是 h 2 6 3 的6 倍。但同时，h2 6 4 具有j 1 。阔的应用前景，例如实时视频通信、因特网视 频传输、视频流媒体服务、异构网上n q 多点通信、压缩视频存储、视频数据库等。 因此，本文在j v t 给出的参考源代码j m 6 1 e 之上剥其进行了详细的性能分析。 指出运动估计和帧内预测部分是造成编码器“算复杂度大大增加的主要原因。对此， 笔者提出了一种基于率失真最优化准则的快速块匹配算法和一种基于边缘检测的帧 内预测模式选择策略。该算法有效降低了编码器的运算复杂度，在并未显著降低编码 性能的情况下提升了编码器效率。同时，通过对程序的分析，找出其中适合进行m m x 指令集优化的部分代码，并对s a di i 算和1 2 象素内插部分进行了基于m m x 指令集 的优化，达到了良好的效果。 【参考文献】： f 1 】j t u _ tr e c o m m e n d a t i o nh , 2 6 1 ：“v i d e oc o d e cf o ra u d i o v i s u a ts e r v i c e s a tpx6 4k b i 讹w g e n e v a 1 9 9 0 ，r e v i s e da th e l s i n k i ，m ar c h1 9 9 3 【2 】i t u _ ta n di s o i e cj t c1 “g e n e r i c c o d i n g o f m o v i n gp i c t u r e sa n da s s o c i a t e da u d i o i n f o r m a t i o n p a r t 2 ：v i d e o ”i t u t r e c o m m e n d a t i o nh 2 6 2 一i s o i e c l 3 8 1 8 2 ( m p e g 。2 ) n o v 1 9 9 4 3 】i t u tr e c o m m e n d a t i o nh2 6 3 ：“v i d e oc o d i n gf o rl o w b i t r a t ec o r n m u n i c a t i o n ”m a r c h19 9 6 4 】i t u t s g l 6 ，g a r y s u l l i v a n ，e d d r a f t t e x to f r e c o m m e n d a t i o n h 2 6 3 v e r s i o n 2 ( - 一h 2 6 3 + ，) f o rd e c i s i o n ，”s e p t e m b e r19 9 7 【5 】i s o i e c j t c l s c 2 9 n v g l ld o c n 3 9 0 8 ，m p e g 4v i d e ov e r i f i c a t i o n m o d e lv e r 1 80 j a n u a r y2 0 0 1 【6 j i s o i e c j t c l ，“c o d i n g o fa u d i o v i s u a l o b j e c t s p a r t 2 ：v i s u a i ”i s o i e c1 4 4 9 6 2 ( m p e g _ 4v i s u a lv e r s i o n 1 ) ，a p r i l 19 9 9 ；a m e n d m e n t1 ( v e r s i o n 2 ) f e b r u a 吼2 0 0 0 ： a m e n d m e n t 4 ( s t r e a m i n gp r o f i l e ) ，j a n u a r y ，2 0 0 1 浙江人学硕 j 学位论文 【7 】7 j o i n tv i d e ot e a mo fi t u ta n di s o i e cj t c1 ，“d r a f ti t u tr e c o m m e n d a t i o na n df i n a l d r a f ti n t e r n a t i o n a ls t a n d a r do fj o i n tv i d e os p e c i f i c a t i o n ( i t u tr e c h2 6 4 i i s o i e c 1 4 4 9 6 1 0 a v c ) ，”j o i n t v i d e o t e a m ( j v t ) o f i s o i e cm p e ga n d i t u t v c e g ，j v g 0 5 0 m a r c h2 0 0 3 【8 】余松煜、张文军、孙军，现代酬像信息压缩技术，科学出版社，1 9 9 8 ，北京 【9 】钟玉琢基于对象的多媒体数据压缩编码国际标准：m p e g 一4 及其校验模型科学出版社， 2 0 0 0 ，北京 【1 0 l h 2 6 4 编解码器兴风f 1 浪，意欲动摇m p e g 一4 的优辨地伉h t t p ：w w w e b n c h i n a c o m 1 1 】何芸 h2 6 4 a v c 怕i 准与市场准备慧聪广【勘萄务网h t t p ：i n f o b r o a d c a s t s i n o b n e t c o m 一 1 2 】h 2 6 3 极低码率窄带电信信道视频编码，朱斌、张春田，电视技术1 9 9 7 年第1 1 期 1 3 】黄贤武等数字图象处理与压缩编码技术电子科技火学出版社 【1 4 t h o m a sw i e g a n d ，g a r yjs u l l i v a n ，g i s l eb j o n t e g a a r d a n da j a yl u t h r a ，“o v e r v i e wo ft h e h ，2 6 4 ，a v cv i d e oc o d i n gs t a n d a r d ”i e e et r a n s a c t l 0 n so nc i r c u i t sa n d s y s t e m sf o rv i d e o 丁e c h n o l o g y j u l y2 0 0 3 【1 5 s w e n g e r ，m h a n n u k s e l a ，a n dts t o c k h a m m e r ，“i d e n t i f i e dh 2 6 la p p l i c a t i o n s ，”i t u t s g16 ，d o cv c e g - l 3 4 ，e i b s e e ，g e r m a n y ，j a n2 0 0 1 【1 6 】s w e n g e ra n dts t o c k h a m m er “h2 6 lo v e ri pa n dh3 2 4f r a m e w o r k ，”i t u tv c e g n 5 2 v c e g ( s g l 6 q 6 ) ，f o u r t e e n t hm e e t i n g ，s a n t ab a r b a r a c a ，s e p t e m b e r2 0 0 1 【1 7 】sw e n g e r ，“h 2 6 lo v e ri p ：t h ei p n e t w o r ka d a p t a t i o nl a y e r ”p r o c p a c k e tv i d e o w o r k s h o p2 0 0 2 ，p i t t s b u r g h ，p y ，a p r i l2 0 0 2 8 浙江人学烦i 学位沧文 第2 章h 2 6 4 中的v c l 层 h 2 6 4 中的v c l 层主要致力r 获得高的压缩效率。与h 2 6 3v 2 ( h 2 6 3 + ) 或 m p e g 一4 简单类( s i m p l ep r o f i l e ) 相比，h2 6 4 在使用与上述编码方法类似的最佳编 码器时，在大多数情况f 最多可节省5 0 的码率。山于h 2 6 4 的参考代码中没有包 含码率控制部分，从标准制定的初衷来看该标准仍主要是为可变码率的低码率视频应 用服务，但事实上h2 6 4 在所有码率1 、都能持续提供较高的视频质量。这与其在v c l 层中采用的优秀编码技术密切相关。刊时，该层中的很多句法结构为包传输网络中处 理包丢失和在易出错的无线网络中处理比特误码提供了极大的便利。 2 1h 2 6 4 编解码器结构 和早期的一些标准( 如m p e g l ，m p e g 2 和m p e g 4 ) 一样，h2 6 4 草案并没有 明确的定义一个编码解码器。更确切地泌，标准定义了经过编码的视频位流的句法以 及解码位流的方法。实际j 二，一个符合标准的编码器和解码器将包括如图2 1 和图2 - 2 所示的功能单元。 编码器包含两条数据流路径，个“前向”路径( 从左至右，用蓝色表示) 和一 “重建”路径( 从右至左，用紫红色表示) ，解码器中的数据流路径从右到左，解释 了编码器和解码器之问的相似之处。 编码器( 前向路径) 当前输入帧为f 。帧以宏块为币元进行处理( 对应于原图象中1 6 x 1 6 像素) 。 每一宏块按帧内或帧问模式进行编码。无论那种模式，都将根据重建帧形成一预测宏 块p 。在帧内模式中，p 甩当前帧中已编码、解码并被重建的部分采样值来预测( 即 图中的f 1 。；注意使用的是未经滤波的采样值) 。在帧间模式中，p 从一个或多个参考 帧的运动补偿预测中获得。在图l _ | _ 】，参考帧表示为已经编码的帧f n - 1 ：但是，每一个宏 块的预测值可能由过去一帧和多帧已经编码和重建的图象中获得。预测值被从当前宏 块中减去，形成残值和差值宏块d 。这个宏块经变换和量化过程后得到x ，经量化的 传输系数集合。这些系数被重新排序然后进行熵编码。熵编码后的系数和一些在解码 宏块的时候需要的边缘信息( 如宏块的预测模式，量化步氏，描述宏块如何进行运动 补偿的运动矢量信息等) 起形成了压缩叟的码流。这个码流被送到网络提取层 浙江大学删l 学位论义 ( n a l ) 进行传输或存储。 编码器( 重建路径) 为了编码随后到来的宏块，最化后的宏块系数x 将被解码以形成重建帧。这些系 数将被反量化( 1 q 、和反变换( 1 t ) 产z l 净直宏块( d 。) 。这个宏块和原始的差值 宏块d 。不+ 致；在量化的过程r t 产生了信。j 邑损失，所以d 。是d 。的扭曲版本。 预测宏块p 加卜d 。生成重建宏块u f 。使用个滤波器来减少块失真效应，在 收到”。系列的宏块u f 。后形成重建帧。 图2 - 1a v c 编码器 解码器 解码器端从n a l 接收经过压缩的码流。数据元素经过熵解码和重新排序后得到 量化后系数集合x 。这些系数再经反量化和反变换后得到d 。( 这和编码器中的d 。 一致) 。运用从数据流中解码出来的头信息，解码器生产一个预测宏块p ，这和在编 码器中形成的原始预测宏块p 一致。p 加 ：d 。生成u f 。，经过滤波后生成解码宏块 f 。 图2 - 2 a v c 解码器 从图中和以上的讨论中可以知道，编码器中使用重建路径的目的是为了确保在编 码器和解码器两端都使用相同的参考帧来牛成预测宏块p 。如果不这么做，编码器和 浙江人学坝： 学位论文 解码器中使用不同的预测宏块p ，将导致编码器和角牟码器之间误差的增加和“漂移”。 2 2 帧内编码宏块的预测 如果一个块或宏块采用帧内编码模式，预测块基于已编码和重建的块。在编码之 前，当前块减去预测块p 的值。对亮度采样术说，p 可能是4 4 的子块也可能是1 6 1 6 的宏块。对4 4 的亮度块来说柏9 种可选择的预测模式；对1 6 x1 6 的亮度块 来说有4 种可选模式；对4 x 4 的色度块只使用一种预测模式。 4 4 亮度预测模式 如图2 3 所示，预测块p 的值通过标记为a q 的采样值计算。注意，在一些情 况中，不是所有的采样值a q 都可以在当前的片断( s l i c e ) 中获得：为了保持片断解 码的独立性，只有当前片断中的采样值可以用来预测。d c 预测( 模式0 ) 根据a q 可获得的情况进行修正；其余模式( 1 8 ) 只有当所需要的采样值都能获得时才被采 用。 模式0 ( 垂直) ：上方的采样值a ，b ，c d 垂直外推。 模式1 ( 水平) ：左方采样值i ，j k l 水平外推。 模式2 ( d c ) ：p 中所有的采样都用ad 和l l 的均值预测。 模式3 ( d i a g o n a