（计算机软件与理论专业论文）h264在多媒体通信中的应用研究.pdf

人连理l 。人学硕+ 学位论文 摘要 近年来，随着宽带网络的普及和多媒体技术的不断发展，人们对数字视频业务产生 了越来越浓厚的兴趣。视频会议系统、视频监视系统、远程教育、视频点播系统( v o d ) 、 高清晰数字电视( h d t v ) 以及网络聊天软件等多媒体实时业务逐渐得到广泛的应用。尽 管网络状况在改善，但是相对于快速增长的视频业务而言，网络带宽资源仍然是远远不 够的。在这种情况下，研究具有高压缩比、高质量的视频编码技术成为当前多媒体领域 的热点问题。 新一代数字视频编码标准h 2 6 4 采用了多模式的帧间预测、1 4 像素精度的运动 估计、基于4 x 4 块的整数变换等关键技术，使得编码性能得到大幅度的提高。实验证明， 在相近的主观质量下h 2 6 4 编码器要比基于h 2 6 3 标准的编码器减少5 0 左右的码率。 但是，在编码性能提高的同时，算法复杂度也大大增加了。这导致了h 2 6 4 参考软件编 码速率非常的低。因此，必须对h 2 6 4 编码器进行编码速率的提高之后，才能应用于多 媒体实时通信中。本文对h 2 6 4 视频编码标准进行深入的研究，重点分析造成编码速率 瓶颈的原因，并在此基础上研究提高编码速率的方法，包括帧内预测模式的快速选择、 帧间预测模式的快速选择以及快速运动估计的应用三方面。实验结果表明本文实现的编 码器同h 2 6 4 参考软件相比，在p s n r 值和压缩比降低较小的情况下，有效的提高了编 码速率，达到视频实时通信的要求。本文同时还将实现的编码器同基于h 2 6 3 标准的编 码器进行对比。对比结果表明，本文实现的编码器在保证了主观质量的同时，降低了约 4 0 一5 0 的码率。 在实现的t t 2 6 4 编解码器的基础上，本文同时实现了一个局域网内的音视频通信软 件a v c h a t 。该软件在局域网之内实现点对点的音频和视频的实时通信。测试结果表明， 本文所实现的h 2 6 4 编解码器在该软件中运行良好，在使用较低视频码率的情况f 能达 到较高的视频主观质量。本文所实现的音视频通信软件，扩展后可应用于视频会议、远 程教育等系统之中。 关键词：h 2 6 4 ：视频压缩：多媒体通信：r t p r t b p 人迎埋f 人。硕十学付沦文 a p p l i c a t i o na n dr e s e a r c ho f t h eh 2 6 4i nm u l t i m e d i ac o m m u n i c a t i o n a b s t r a c t i nr e c e n ty e a r s w i t ht h ep r e v a l e n c eo fb r o a d b a n d ，a n dw i t ht h ed e v e l o p m e n to f m u l t i m e d i ap r o c e s s i n gt e c h n o l o g y ，d i g i t a lv i d e os e r v i c eh a sg a i n e dp e o p l e sa t t e n t i o ng r e a t l y r e a l t i m em u l t i m e d i aa p p l i c a t i o n s ，s u c ha sv i d e o c o n f e r e n c es y s t e m s 、v i d e om o n i t o rs y s t e m s 、 h d t v e t c ，h a v eb e e nw i d e l yu s e d a l t h o u g hn e t w o r ke n v i r o n m e n th a sb e e np r o g r e s s i n gal o t ， t h eb a n d w i d t hr e s o u r c ei ss t i l l l i m i t e da sf a ra st h ef a s tg r o w t ho fm u l t i m e d i aa p p l i c a t i o n si s c o n c e r n e d t h e r e f o r e ，v i d e oc o d i n gt e c h n o l o g i e st h a tc a r lp r o d u c eh i g hc o m p r e s s i o nr a t i oa n d h i g hp i c t u r eq u a l i t yh a v eb e e nah o ts p o ti s s u ei nm u l t i m e d i af i e l d t h eh 2 6 4i st h en e w e s ti n t e m a t i o n a lv i d e o c o d i n gs t a n d a r de s t a b l i s h e da n dr e l e a s e db y t h ei t u ta n di s o i e ct o g e t h e r an u m b e ro fn e wf e a t u r e sh a v eb e e na p p l i e dt ot h en e w s t a n d a r d i n c l u d i n gm u l t i b l o c ki n t e rp r e d i c t i o n 1 4f r a c t i o n a lp i x e lm o t i o ne s t i m a t i o n ，4 x 4 b l o c ki n t e g e rt r a n s f o r m c a b a ce t c a n dt h e r e f o r e i th a se n h a n c e dc o m p r e s s i o n p e r f o r m a n c ee x p e r i m e n t a lr e s u l tr e v e a l st h a tt h eb i tr a t er e d u c e sa b o u t5 0 u n d e rt h es a m e v i s u a lq u a l i t y c o m p a r e dw i t ht h ef o r m e rv i d e o c o d i n gs t a n d a r dh 2 6 3 h o w e v e r ，t h ea l g o r i t h c o m p l e x i t yi n c r e a s e sg r e a t l ya tt h es a m et i m e ，s oi t n e e d sb eo p t i m i z e dw h e na p p l i e di n m u l t i m e d i ac o n m m n i c a t i o ns y s t e m s t h i sp a p e rs t u d i e st h eh 2 6 4s t a n d a r di nd e t a i l a n a l y z e t h eb o t t l e n e c ko ft h ec o d i n gs p e e d ，a n di m p l e m e n ta no p t i m i z e dc o d e c e x p e r i m e n t a lr e s u l t r e v e a l st h a t c o m p a r e dw i t ht h er e f e r e n c ec o d e c t h ep s n ra n dc o m p r e s s i o nr a t i oo ft h e o p t i m i z e dc o d e cf a l l o f fs l i 曲t l y ，w h i l et h ec o d i n gv e l o c i t ya d v a n c e sg r e a t l y ，a n da f f o r d s a t i s f a c t i o nt or e a l t i m em u l t i m e d i aa p p l i c a t i o n s n e e d s b a s e do nt h ei m p l e m e n t e dh 2 6 4c o d e c t h i sp a p e ra l s oi m p l e m e n t sa na u d i o v i d e o c o m m u n i c a t i o ns o f t w a r ea v c h a ti nl a n a v c h a tp r o v i d e sp o i n tt op o i n ta u d i oa n dv i d e o c o m m u n i e a t i o n si nr e a l t i m e e x p e r i m e n t a lr e s u l ts h o w st h a tt h eh 2 6 4c o d e ci m p l e m e n t e di n t h i sp a p e rw o r k ss m o o t h l yi na v c h a i i tp e r f o r m sag o o dv i d e oq u a l i t yw h i l ec o s t sal o wb i t r a t ea v c h mc a nb ee x p a n d e d a n dp u tt ou s eo fr e a l t i m em u l t i m e d i aa p p l i c a t i o n ss u c ha s v i d e o c o n f e r e n c es y s t e m s ，e t c k e yw o r d s ：h 2 6 4 ；v i d e oc o d i n g ；m u l t i m e d i ac o m m u n i c a t i o n ；r t p r t c p 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谓 意。 作者签名：图塑：重：日期： “r 。f 1 f 人连理工大学硕十学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教帅完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，i 司意大连理工大学保留并向国家有关部f 或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。奉人授权大连理1 大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也呵采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名 导师签名： 同j 以 出生 ) 型妻午! 三月_ 日 人近理f 人学硕t 学位论文 1 绪论 1 1 研究背景 近年来随着宽带网络和各种接入技术t z t l x d s l 、混合光纤同轴( h f c ) 和光纤到户的 普及，以及p c 机和各类通信产品的广泛使用，人们对数字视频业务产生了越来越浓厚的 兴趣。可视电话、视频会议系统、视频监视系统、远程教育、高清晰数字电视( h d t v ) 和视频点播系统( v o d ) 等多媒体业务成为个人用户和企业用户共同关注的热点。 多媒体信息主要包括文字、声音、图像、图形和视频等内容。其中视频又是多媒体 信息中最重要的组成部分。这是因为：首先，视频信息极易被人类接受。掘统计人类接 收的信息大约7 0 9 6 来自视觉。其次，视频信息具有直观、形象、准确、高效和应用广泛 等特点。第三，视频的信息容量大，与音频、数据相比，视频具有无与伦比的信息容量。 但与文本、数据和语音相比，未经压缩的数字视频数据量是非常巨大的。实验表明， 1 7 6 x 1 4 4 的y u v 原始视频在1 0 m b p s 的l a n 上传送速率是3 帧秒左右。可见，未压缩 的视频在i n t e m e t 上传输的效果是无法容忍的，而且会很容易地将i n t e r n e t 资源吞没，造 成网络拥塞甚至崩溃。同时多媒体实时应用对视频数据的处理和传输的时延要求非常严 格，因此，研究具有高压缩比、快速、有一定容错能力的视频编码技术，成为多媒体通 信领域的热点问题。 1 2 视频编码标准的发展和现状 目前国际上主要存在三个系列数字视频编码标准：i s o i e c 制定的m p e g x 系列、 i t u t 制定的h 2 6 x 系列和中国自主制定的音视频编码技术标准a v s 。下而对这三种标准 作简单的介绍。 12 1h 2 6 x 标准 h 2 6 1 是第一个获得广泛应用的视频编码标准。目标是在i s d n 上以p + 6 4b p s ( p = l ，3 0 1 的速率丌展视频会议和视频电话业务。h 2 6 l 定义了完整的视频编码算法， 采用了帧内图像编码、帧间误差预测、运动补偿、d c t 、变长编码等技术，使用基于块 的混合编码方案。 h 2 6 3 是i t u t 针对甚低码率( 低于6 4 k b p s ) 的视频会议和可视电话推出的视频编码 标准。h2 6 3 支持更多的图象格式、采用半像素精度运动估计、自适应的宏块( 1 6 x 1 6 ) 运 动估计和块( 8 x 8 ) 运动估计、3 d ( l a s tr u n l e v e l ) 游程编码、可选的无限制运动 矢量、可选的算术编码、可选的重叠运动补偿和四运动矢量高级预测模式和可选的双向 周小兵：h 2 6 4 在多 0 i l 体通信中的府_ l i 研究 预测。h 2 6 3 标准与h 2 6 1 相比性能上有了显著提高。在相同的主观质量下，h 2 6 3 编码 码率仅为h 2 6 1 的一半。 1 2 2m p e g 标准 i v l p e g 1 标准主要是为了视频存贮媒体如v c d 而制定，该标准能够适应变码流的处 理，其主要目的是在1 到1 5 m b i t s 的情况下，提供3 0 帧c i ff 3 5 2 x 2 8 8 ) v h s 的质量的图像。 m p e g 2 是m p e g 制定的第二个国际标准，它在m p e g 1 基础上进行了扩展。目标是 在3 到1 5 m b i t s 传输速率条件下提供广播级的图像，而且能够提供信噪 ：g ( s n r ) 、时间和 空间三种分级编码。 m p e g 一4 是1 9 9 1 年5 月提出并于1 9 9 3 年7 月得到确认的国际标准。支持基于内容的操 作和码流编辑，自然与合成数据的混合编码，增强的时间域随机存耿。具有多个并发流 编码能力，实现对景物的多视角编码。具有通用存储性。提供一种抗误码的鲁棒性，可 以实现基于内容的尺度可变性。对重要的对象用较高的时间或空间分辨率表示，具有自 适应使用可用资源的能力。作为第一个面向对象的视频编码标准，m p e g 4 的出现具有 很重要的历史意义。 1 2 3h 2 6 4 标准 h 2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码专家 组) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 制定和发布的目前国际上最新的数字视频编 码标准。i t u t 在1 9 9 6 年初步完成h 2 6 3 视频编码国际标准的制定工作之后，确定了近期 和长期两个目标。其中长期的目标是制定一种新的视频编码标准，以更好的质量、更高 的压缩比支持视频会议等低比特率应用，因此产生了h 2 6 l 草案。与此同时，i s o i e c 也 在继续进行m p e g 一4 高级视频编码a v c ( a d v a n c e dv i d e oc o d i n g ) 的研究。2 0 0 1 年m p e g 对 h 2 6 l 草案进行评估并认识到h2 6 l 潜在的优越性，于是由i s o i e c 的m p e g $ 1 i t u t 的 v c e g 专家共同组成了联合视频小绢j v t ( j o i n tv i d e ot e a m ) ，进一步完善h 2 6 l 模型，共 同发展新的视频编码国际标准：h 2 6 4 标准，在i t u t 称之为h 2 6 4 ，在i s o i e c 中作为 m p e g 一4p a r t l 0a v c 。 h 2 6 4 标准采用统一的v l c 符号编码、1 4 像素精度的运动估计、多模式运动估计、 基于4 x 4 块的整数变换、分层编码语法等。这些措施使得h 2 6 4 算法具有很高的编码效率， 在相同的重建图像质量下，能够比h 2 6 3 标准减少5 0 左右的码率。同时h 2 6 4 的码流结 构网络适应性强，能够很好地适应i p 和无线网络的应用。 1 2 4a v s 标准 a v s 是中国自主制定的音视频编码技术标准。a v s 工作组成立丁二2 0 0 2 年6 月，并于 2 0 0 3 年1 2 月完成a v s 标准1 o 版本的制订。a v s 视频编码标准主要是为了适应数字电视广 播、数字存储媒体、因特网流媒体、多媒体通信等应用中大尺虬高质量的运动图像压 缩的需要而制定的。a v s 采用与h 2 6 4 类似的技术框架，核心技术包括8 x 8 整数变换、量 化、帧内预测、i 4 精度像素插值、特殊的帧阳j 预测、二维熵编码、去块效应坏内滤波等。 目前只有a v s 会员有权阅读a v s 十h 关技术文档。 1 3 视频通信应用现状 据统计，人类接受的信息大约7 0 足来自于视觉。并且视频信息因具有直观、形象、 准确、高效等特点极易被人类接受。因此，随着网络的飞速发展以及p c 机和各种通信设 备越来越强的处理能力和广泛应用，传统的以文字和语音为丰的信息交流方式已经不能 满足人们的要求，视频通信逐渐成为人们交流的重要方式。各类视频实时应用系统得到 广泛的应用，下面对几种典型的视频实时应用作简单的介绍。 视频会议系统( v i d e oc o n f e r e n c e ) 2 1 。视频会议系统是一种在多参与者之间进行音 频、视频和文本信息的实时交流与共享，展开协同工作的应用系统。视频会议系统最早 出现于6 0 年代，早期的视频会议系统都属于硬件视频会议系统。随着p c 处理器处理能力 的增强和网络环境的改善，9 0 年代，f 始出现纯软件实现的视频会议系统。视频会议系统 主要有以下几种标准： ( 1 ) h 3 2 0 ：用于i s d n 网| 二的视频会议； ( 2 ) h 3 2 3 ：用于局域网一卜的视频会议： ( 3 ) h 3 2 4 ：用于p s t n 上的视频会议； ( 4 ) h 3 1 0 ：用于a t m 和b i s d n 的视频会议； 视频点播系统( v o d ) 。v o d 系统是一种交互式的多媒体信息服务系统，用户可 以根掘自己的需要和兴趣选择多媒体信息内容，并控制其播放过程。v o d 系统由流媒体 服务器系统、网络和客户端组成。其中流媒体服务器是系统的核心，服务端系统主要由 存储设备、高速缓存和控制管理单元组成，其目标是实现对媒体数据的压缩和存储，处 理用户请求以及按请求进行媒体信息的检索和传输。这种新的多媒体信息服务形式被广 泛应用于有线电视系统、娱乐服务系统、数字图书馆系统、远程教育系统以及各种公共 信息咨询和服务系统等。目前被市场热烈追捧1 5 9 1 p t v ，其中最主要的模式之一就是v o d 模式。 周小兵：h 2 6 4 在多媒体通信中的麻刖研究 即时通信( i m ) 软件。即时通信服务在近几年发展迅猛，逐渐成为人们在网上交流 的主要方式。很多网络公司都推出了自己的即时通信软件，女f l a o li n s t a n t m e s s e n g e r 、 m s nm e s s e n g e r 、y a h o o m e s s e n g e r 等等以及国内的腾讯q q 等。早期的即时通信主要以 文字信息为主，随着网络条件的改善和p c 机处理能力的增强，音频视频服务作为特色服 务逐渐被集成到其中。目前，几乎所有的i m 软件都提供视频服务。 以上对一些典型的视频实时应用作了简单的介绍，随着网络和通信没备处理能力的 增强，视频在i p 网络中将得到更加广泛的应用。这些因素都将进一步加速视频编码这一 核心技术的研究和发展。 1 4 论文主要工作 本文针对应用越来越广泛的多媒体实时通信系统，在研究视频编解码标准h 2 6 4 基 础上，对这类实时应用进行分析和实现，丰要工作有以下几个方面： f 1 ) 对h 2 6 4 编码原理、编码标准和编码过程进行深入的分析。 ( 2 ) 为了满足实时编码的需要，重点研究提高编码速度的方法，包括：帧内预测模 式的快速选择、帧间预测模式的快速选择以及快速运动估计算法的应用。 ( 3 ) 结合s o c k e t 网络编程技术、多线程编程技术、以及前面所实现的h 2 6 4 编码器， 实现一个局域网内的音视频通信软件a v c h a t 。 ( 4 ) 对本文实现的视频编码器的p s n r 、主观质量以及在a v c h a t 中的性能进行测 试，并同h 2 6 4 编码器参考软件进行对比分析。 大连理t 大学硕士学位论文 2h 2 6 4 视频编码标准 2 1 视频编码基础 视频数据中存在大量的冗余，视频压缩的主要f 1 的就是消除这些冗余。基本的压缩 技术按照作用主要分为三类：采用变换编码压缩去除窄间冗余；采用运动估计运动补偿 进行压缩去除时间冗余；通常采用墒编码去除统计冗余。近几年来随着编码技术的发展， 出现了基于模型的编码技术、基于对象的编码技术1 3 - 5 1 以及可分级的编码技术【6 】等等。它 们都是以前面所讲的三种基本压缩技术为基础的，下面分别介绍这三种主要压缩方法的 发展和现状。 2 1 1 变换编码 通常采用变换编码消除空间冗余。变换编码的依据是像素之问通常有很强的相关 性，通过变换编码减少相关性达到对数据的压缩。 k l 变换。k l 变换的均方误差最小，通常称为最佳变换。k l 变换的复杂性高，目 前还没有快速的kl 变换算法，因此很难应用于实际。 离散余弦变换| 7 i 。a h m e d 年f l r a o 于1 9 7 4 年提出t d c t 的定义。d c l 通过将像素矩阵变换 剑系数频域实现空问冗余的消除。其性能接近k l 变换，同时又有类似d f l 、的快速算法， 因此在视频和图像处理中得到了广泛的应用。 小波变换【”9 i 。小波变换町以在全局上去除冗余，因此用于压缩图像时性能优于d c t 。 但是小波变换用于压缩视频时，一般要对预测图像进行预处理以消除块效应，或者使用 较为特殊的预测方法( 例如块重叠的运动估计) 【l ，这增加了运算复杂度并且可能降低预 测图像的信息量。所以，d c t 仍然是最广泛使用的变换方法。 除此之外还有，些其它的方法消除空降冗余，例如在h 2 6 4 中采用的多方向宁问预 测技术。它与d c t 变换相结合，有效地去除块间的兀余，弥 b d c t 变换只能去除块内冗余 的缺点，获得较好的编码性能1 。 2 1 2 运动估计运动补偿 运动估计运动补偿技术用于消除视频数据的时间，几余。运动估计设法确定图像的 运动部分相对于参考帧中相应部分的位移量，然后对参考帧进行运动补偿，其结果作为 当前帧的预测。运动估计运动补偿中一项关键技术是划运动矢量m v 的估计，研究具有 低复杂度高效率的快速运动估计【1 2 i 是目前视频压缩领域的研究热点。 周小兵：h 2 6 4 在多媒体通信中的应用研究 早期的视频压缩标准，在运动估计部分多采用了间定的块大小和单参考帧。而较新 的视频压缩标准，比如m p e ( ；4 和h 2 6 4 则采用了多参考帧和多种尺寸块的运动估计和补偿 1 3 - 15 1 ，以获得更高的编码性能。 相对于整像素的运动估计，l 2 像素的运动估计能更精确的描述物体的运动，提高 压缩性能【1 6 1 。在m p e g l 、m p e g 2 中采用了l 2 像素的运动估计。而在r 前最先进的1 1 2 6 4 中采用了l 4 像素的运动估计以更大的提高预测精度。 另外，重叠块( o v e r b l o c k ) 运动补偿技术和全局运动补偿( g l o b m - m o t i o n - c o m p e n s m i o n ) 技术也能有效地提高编码效率。在重叠块运动补偿中，相邻的运动补偿块是重 叠的，最终的像素值由多个预测块的像素通过加权平均的方法计算出来。由于这种预测 会丢失一些细节信息，因此主要在一些低码率的场合使用。令局运动补偿能够有效的描 述整个帧的运动情况，在镜头转动、镜头缩放和旋转等场合使用。在h 2 6 3 和m p e g 4 中采用全局运动补偿和基于块的运动补偿相结合使用的方法【1 7 1 。 m p e g 4 采用基于内容的编码技术，从视频的每一帧巾提取出背景图像，拼成一个 较大的完整的场景，然后分别编码场景和前景图像，可以获得较高的压缩比i l 。但是 由于必须先牛成场景，所以编码延迟较大。 21 3 信息熵编码 信息熵编码用来消除统计冗余。熵编码属于无损编码。熵编码的基本方法有行程编 码、变长编码和算术编码。卜面分别简单介绍这三种熵编码方法。 行稃( r u n l e n g t h ) 编码。行程编码的基本思想是对于连续出现的卡h 同符号，用一 个符号加上符号连续出现的次数来表示该符号。通常在d c t 变换系数量化后，高频部分 分量的0 较多，所以采用行程编码将大大的提高编码效率。 变长编码( v l c ) 。变长编码是目前各个编码算法巾采用最多的方法。著名的霍夫曼 编码就是一种变长编码。v l c 的基本思想是根据概率统计，对出现概率较高的符号赋予 短的码宁，而对出现概率较小的符号赋予较长的码字。行程编码加变长编码的方法，由 于复杂度低，实现简单，在m p e 6 ，m p e g 2 ，m p e g 4 等标准中都使用这样的方法。但是v l c 缺点是，假定了符号的概率是相对固定的，但实际上彳i 同的块之间差别很大，同一块内 小同位置的系数的分布规律差别也很大。在实际应用中，不可能对全部大量的信息进行 概率统计( 时间较长) ，并上土很多符号的概率本身就是变化的。自适应变长编码( c a v l c ) 1 1 9 1 依据上下文信息选择当前待编码符号应使用的码表，也很好地解决了符号概率变化的问 题，虽然编码性能低于自适应算术编码，但是具有复杂度低的优点。 人连理1 人学硕1 。学位论文 算术编码。算术编码可以克服前面所讨论的v l c 的缺点。算术编码可以依据出现的 符号而相应地改变各符号的概率模型，因此可以很好地适应系数的压缩。在信源统计特 性未知的情况下，只要监视- - + 段时间内符号出现的频度，不管统计是半稳的还是非平 稳的，码率总能趋近于信源熵值。在算术编码中，符号用o 到l 之问的实数进行编码。算 术码用到两个基本的参数：符号的概率和它的编码问隔。算术编码的缺点是计算复杂度 较高。自适应二进制算术编码方法( c a b a c ) l z o l ，用查表的方法得出下一个区域，在一定 程度上降低了计算复杂度。 2 2h 2 6 4 概述 h 2 6 4 的基本框架建立在块匹配的混合编码框架之上。这同日u 而所讨论过的h 2 6 1 、 m p e g1 、m p e g2 、h 2 6 3 、m p e g4 等视频编码标准相同。基本的算法仍然是通过运动估 计运动补偿的帧矧预测来消除时间儿余通过d 盯变换消除空问兀余，通过熵编码消除 统计冗余。基本功能模块包括：预测、变换、最化、熵编码。图2 1 为h 2 6 1 的编码框架 图。 幽21h 2 6 4 编码器框图 f i g2 1c o d i n gs t r t l c l u r eo fh 2 6 4 周小兵：h 2 6 4 在多媒体通信中的应_ l j 研究 同先前的视频编码标准( 如h 2 6 3 ) 相比较，1 1 2 6 4 的编码框架并没有根本性的变化， 但是在每一个功能模块都引入了新的技术，使各功能模块的压缩效率大大提高，具体如 下： 在运动估计运动补偿模块中，h 2 6 4 采用了从4 x 4 到1 6 x 1 6 共1 3 种搜索块进行运动搜 索以提高匹配精度，采用1 4 像素精度进行搜索以提高搜索精度。另外根据对编码延时 的不同要求，h 2 6 4 还可以对之前的多个已编码帧进行运动搜索以达到最佳的效果。 在变换编码模块中，h 2 6 4 采用了4 x 4 的整数变换( i c t ) 代替d c t 变换，整数变换的效 果接近d c t ，但是运算量要少而且在反变换过程中0 i 会山于计算精度问题而引入误差。 在熵编码模块中，h 2 6 4 使用单一变长编码( u v i 。c ) 、基于上下文的自适应变长编码 ( c a v l c ) 进行编码和基于上下文的自适应一进制算术编码( c a b a c ) 。 下面将详细介绍h i2 6 4 编码标准并重点讨沦其中所使用的新特性。 2 3h 2 6 4 编码标准主要技术 23 ，1 帧内预测 h 2 6 4 标准的帧内预测在变换编码之前进行，这同m p 肼一4 的1 4 , t 9 62 标准怔l l 不 同。视频序列中通常存在大量的空间冗余，邻近块之问有很强的相关性。帧内预测利用 邻近块已解码重构的像素外推来预测当前块。在画面变化平缓的区域，利用帧内预测可 以取得很好的效果2 2 i 。 为了产生高质量的帧内预测，h 2 6 4 提供了三种帧内预测方式：4 x 4 亮度块帧内予负测、 1 6 x 1 6 亮度块帧内预测和8 x 8 色度块帧内预测。其中4 x 4 亮度块帧内预测有9 种预测模式， 1 6 x 1 6 亮度块帧内预测有4 种预测模式，8 x 8 色度块帧内预测有4 种预测模式。如表2 1 一表 2 3 所示。下面列这几类预测模式及计算方法分别进行详述。 ( 1 ) 4 x 4 亮度块帧内预测 图2 2 中a - q 表示邻近块中已解码重构的像素点，a p 表示将被预测的1 6 个4 x 4 像素 点。用p r e d 4 x 4 d 置纠，置严o ，3 表示被预测的像素a p ，用p 置一1 ，x = o ，7 表示a h ， 用p 一l ，门，v = o ，7 表示i p ，用p 一l ，i 表示q 。 茎堡堡! 堑堡：兰垡堡茎 表2 14 x 4 亮度块帧内预测模式 t a b 2 14 “l u m ab l o c ki n t r ap r e d i c t i o nm o d e i n t r a 4 x 4 p r e d m o d e 1 u m a 4 x 4 b l k l d x 】 n a m eo fi n t r a 4 x 4 p r e d m o d e i u m a 4 x 4 b i k l d x i n t r a 一4 x 4 一v e r t i c a l ( p r e d i c t i o nm o d e ) i n t r a _ 4 x 4 一h o r i z o n t a l ( p r e d i c t i o nm o d e ) i n t r a 4 x 4 ，d c ( p r e d i c t i o nm o d e ) 3 i n t r a 一4 x 4 一d i a g o n a l d o w n l e f t ( p r e d i c t i o nm o d e ) 4 i n t r a 一4 x 4 一d i a g o n a l d o w nr i g h t ( p r e d i c t i o nm o d e ) 5 i n t r a 4 x 4 一v e r t i c a l _ r i g h t ( p r e d i c t i o nm o d e ) 6 i n t r a 一4 x 4 _ h o r i z o n t a l d o w n ( p r e d i c t i o nm o d e ) 7 i n c a 4 x 4 v e r t i c a l l e f t ( p r e d i c t i o nm o d e ) 8 i n t r a 一4 x 4 一h o r i z o n t a l u p ( p r e d i c t i o nm o d e ) 袋2 21 6 x 1 6 亮度块帧内预测模式 t a b 2 21 6 x 1 6l u m ab l o c kl n w ap r e d i c t i o nm o d e n t r a l 6 x 1 6 p r e d m o d e n a m eo f i n t r a l 6 x 1 6 p r e d m o d e n l r a1 6 x 1 6v e r t i c a l ( p r e d i c t i o nm o d e ) i n t r a1 6 x 1 6h o r i z o n t a l ( p r e d i c t i o nm o d e ) i n t r a 一1 6 x 1 6 一d c ( p r e d i c t i o nm o d e ) i n t r a _ 1 6 x 1 6 _ p l a n e ( p r e d i c t i o nm o d e ) 表238 x 8 色度块帧内预测模式 t a b 2 ，38 x 8c h r o m ai n t r ap r e d i c t i o nm o d e i n t r ac h r o m ap r e dm o d e n a m eo fi n t r a _ c h r o m a j r e d m o d e 0 i n t r ac h r o m ad cf p r e d i c t i o nm o d e ) i n t r a _ c h r o m ah o r i z o n t a l ( p r e d i c t i o nm o d e ) i n t r a c h r o m a v e r t i c a l ( p r e d i c t i o nm o d e ) i n t r ac h r o m ap l a n e ( p r e d i c t i o nm o d e ) 9 塑! ：墨!旦：! 坚鱼兰鉴垡望堕主塑壁型婴壅 一 0 abcoe fgh f 1 司 l 。 f g h l l i j 川l l 竺! l 彦 翻p 7c 8 6 图22 帧内预测参考样点 图2 3 帧内预测方向 f i g2 2i d e n t i f i c a t i o no f s a m p l e su s e df o ri n t r ap r e d i c t i o n f i g 2 , 3i n t r ap r e d i c t i o nd i r e c t i o n s 模式0 ：垂直预测 当像素a 、b 、c 、d 可得时使用。 p r e d 4 x 4 l 【x ，y 】= p 【x 一 ，x ，y 2 0 ，3 模式1 ：水平预测 当像素i 、j 、k 、l i u 碍时使用。 p r e d 4 x 4 t x ，】_ p - 1 ，】，z 沙2 0 ，3 模式2 ：d c 预测 当a 、1 3 、c 、d 、i 、j 、k 、l 在图像内日j ： p r e d 4 x 4 x ，y = ( p 【0 ，一1 + p 1 ，- 11 + p 2 ，一1 】+ p 3 - 一1 + p 【一1 ，0 】+ p 【一l ，1 】+ p 一l ，21 + p - l ，31 + 4 ) 3 当只有a 、b 、c 、d 在图像内时： p r e d 4 x 4 l 【x ，y 】= ( p 一1 ，o + p 【一1 ，1 + p 【一1 ，2 】+ p 。1 ，3 】+ 2 ) 2 当只有i 、j 、k 、l 在图像内时： p r e d 4 x 4 d x ，y = ( p 【0 ，一1 + p 【1 ，- l 】+ p 2 ，一1 】+ p 3 ，1 + 2 ) 2 当都不在图像内时： p r e d 4 x 4 “x ，y 】：( 1 2 ( 2 1 、 f 22 ) f 2 3 1 f 2 4 1 ( 25 ) r 2 6 1 ( 2 7 ) 人选理 ：人学硕十学何论文 否则： p r e d 4 x 4 l x ，y = ( p fx + j ，一1 + 2 + p x + j ，+ 1 ，一1 】+ ， x + y + 2 ，一l 】 + 2 ) 2 ( 28 、 模式4 ：下右对角线预测 当a 、b 、c 、d 、i 、j 、k 、l 、q 都在时使用。 当x y 时： p r e d 4 x 4 l x ，y 1 = ( p 【x y 一2 ，一1 】+ 2 + p x y - l ，- l1 + p 【x y ，一1 + 2 ) 2 ( 2 9 ) 当x 2 f 2 1 0 、 当x = = v 时： p r e d 4 x 4 l 【x ，y 】= ( p 【0 ，一1 】+ 2 + p - 1 ，一1 】+ p 1 ，0 + 2 ) 2 ( 21 1 ) 模式5 ：垂直右斜线预测 当a 、b 、c 、d 、i 、j 、k 、l 、q f f g 在图像内时使用。 令变量z v r - 2 + x y 。 当z v r = o ，2 ，4 ，6 时： p r e d 4 x 4 l 【工，y 】= ( p 【工一( y 1 ) 一1 ，一1 】+ p x 一( y 1 ) ，- 1 + 1 ) 1 f 2 1 2 、 当z v r = 1 ，3 ，5 时： p r e d 4 x 4 l x ，y 】- ( p x - ( y 1 ) - 2 ，_ l 】+ 2 + p x ( y 1 ) 一l ，- 1 】 + p 【x 一( y 1 ) ，- l 】+ 2 ) 2 ( 2 1 3 ) 当z v r = 1 时： p r e d 4 x 4 t , 【x ，y 】 当z v r = 一2 ，一3 时 p r e d 4 x 4 l x ，y 】 ( p 一1 ，0 】+ 24 p 【- 1 ，一1 】+ p 【0 ，- 1 】+ 2 ) 2 ( 2 1 4 ) ( p 一1 ，y 一1 】+ 2 + p 一1 ，y 一2 + p 卜1 ，y 一3 】十2 ) 2 模式6 ：水平下斜线预测 当a 、1 3 、c 、1 3 、i 、j 、k 、l 、q 都在时使用。令z z h d = 弘广x 。 当z h d = 0 ，2 ，4 ，6 时： p r e d 4 x 4 l 【x ，y = ( p 卜l ，y 一( x 1 ) 一 当z h d = 1 ，3 ，5 时： p r e d 4 x 4 l x ，y 】= ( p 【一1 ，y - ( x 1 ) 一2 】+ 2 + p - 1 ，y 一( x 1 ) - 1 ( 2 1 5 ) f 2 1 6 1 型! ：墨! ! ：! 竺堡至塑壁望! 童主塑窒型塑室 + p - i ，y 一( x i ) 】+ 2 ) 2f 2 1 7 ) 当z h d = - 1 时： p r e d 4 x 4 l 【x ，y 2 ( p - 1 ，0 】+ 2 + p 一l ，一1 】+ p 0 ，1 】+ 2 ) 2( 2 1 8 ) 当z h d = 2 ，一3 时： p r e d 4 x 4 l x ，y 】2 ( p 【x 1 ，- l 】+ 2 + p x 一2 ，一1 】+ p 【x 一3 ，一1 + 2 ) 2 f 2 1 9 、 模式7 ：垂直左斜线预测 当a 、b 、c 、d 、e 、f 、g 、h 都在时使用。 当