（通信与信息系统专业论文）基于h264视频编码的码率控制方法研究.pdf

浙江工业大学硕士学位论文 基于h 2 6 4 视频编码的码率控制方法研究 摘要 随着信息时代的到来，人们对多媒体信息需求日益增加，单一的语音和数 据通信已不能满足人们的需求，从而对于数字视频及图像传输业务的需求随之 大幅度增加。由于视频通信需要占用更多的带宽资源，而通信带宽又是非常有 限的，所以有效节省带宽开支显得尤为重要。而节省开支最有效的办法就是对 视频源进行大量的压缩。由i t u t 的v c e g ( 视频编码专家组) 和i s o 匝c 的 m p e g ( 活动图像编码专家组) 组成的联合视频组( j i o n tv e d i ot e 锄，t ) 开 发的h 2 6 4 是最新一代的视频压缩标准，也是目前图像通信领域研究的热点。 同时，码率控制是h 2 6 4 中的一个重要的组成部分，若没有码率控制任何视频编 码都难以在实际中获得应用，这就使得作为视频编码关键技术之一的码率控制 技术成为目前研究的热点。 本文首先阐述了h 2 “中的关键技术及其码率控制方法，然后对经典码率 控制及n 呵关于h 2 6 4 中码率控制的几个重要提案进行了深入分析，在此基础上 结合现阶段的一些研究成果讨论了h 2 6 4 码率控制改进方法，最后，针对现有 h 2 “码率控制在剧烈运动场景和场景切换时目标比特数分配和量化参数计算 所存在的缺陷，提出了一种基于帧复杂度的策略对目标比特进行重新分配及对 量化参数重新调整。仿真结果表明该方法在剧烈运动场景和场景切换情况下， 能够使目标比特数更加接近实际编码的比特数，提高了峰值信噪比并减少了峰 值信噪比波动。 码率控制算法的改进方案比较多，本文是利用帧的复杂度来重新调节量化 参数，使码率分配更加趋于合理化。针对不同的应用，码率控制算法可以选择 不同的改进策略，所以码率控制模型的建立也应该结合实际应用做出相应调 整，更多地结合图像序列的特征进行码率控制是很有潜力的一个方向。 关键词：h 2 6 4 ，码率控制，比特率分配，复杂度，量化参数 塑坚三些奎堂堡主兰垡鲨奎一 _ _ _ - _ - _ - - _ 一一 r e s e a r c ho nr a t ec o n t r o l m e t h o do f d e oc o d i n gb a s e do n h 2 6 4 a b s t r a c t w 谶t h ec o m i i l go fn e r a ，坨r e q u n m e n t0 fm u l t i m e d i ai i l f o 锄a ：t i o ni s 妣r e 鹊i n g v o i c ea n dd a t ac o l i 珊i l l i c a t i o nc 觚n o tm e e tp e o p l e si l e e d 锄yn l o r e ， m er e q u h 锄e n t 氨wb u s i i l e s s e so fd i g i t a lv i d e oa n di m a g ei s 洳；r e 懿i i l ge n 0 删l y v i d e 0c o m m u n i c 撕。璐 r e q u i r c m o r cb 锄d 诵d _ t ：h ，h o w e v e r ， c 0 m 倒i h l i c 觚 b a n d 谢d t hi sv e r yl i 时蜘s o ，也ee 腩c t i v eb 锄d w i d mc o s t si se s p e c i a l l yi m p o r t a n t a 帕m em o s te 行c c t i 、，ew a yt 0s a v em eb 柚d 丽d mi st oc o m 】) 】陀s sv i d c os o u r c e l a r g e l y h 2 6 4i san e wg e n e r a t i o nv i d e oc o m p r e s s i o nt e 咖1 0 l o g yf o rl o wb i t - m e v i s u a lc o m m l l i l i c a t i o 璐，w h i c hw 弱d e v e l o p e db yj o 砒v i d i 巳0t e 鼬( d t i s m a d eu po f u - t v i d e oc o d 堍e x p l e n sm u p c e g ) 觚di s 伽e c e g i ti s a l s oh o tt o p i ci n 也ec u r r e i n tr e s e 鲫c ho fi m a g ec o 删姒l n i c a 舶潞：r 丑t ec o n 呐l i s 孤 i m p o r t a u l tc o m p o n e n to fh 2 6 4 i ft h e r ei sn or a t ec o n 臼i o l 锄yv i d e oc 0 出g c a nn o t b ca p p l i e di i lp r a c t 妇s of o rm f f e r e n ts t a 眦a n du ，h 2 “豫t ec o 咖l 讹c h i so n eo fn l ek e yt c c l m o l o g i e sh a sb e c 锄eah o tt o p i ci i lv i d e oc o m p r e s sr e s e a r c h f i r s t l y ，t h i sp 印e r 西v eas c u d y0 nk e yt e c h i l o l o g yo fh 2 6 4a n d r a t ec o n t r 0 1 w l l i c hb a s e do nh 2 6 4 龇l dm ep r o b l e m st ：h a ti ti sf 如e d 、v i t t l t h e na f t e ra n a l y z i i l g s e v e r a li m p o r t a n tr e s o l u t i o n sa b o u t 豫t ec o n 仃o lo fh 2 6 4w 1 1 i c hh a v e b e e np r o p o s e d b y t ，廿1 i sp 印e rd i s c u s s e st h ec 1 懿s i c a lm e m o d 船t ec o n t r o l 趾dt ：h em e m o d m 1 p r o v e m e n t so fr a t ec o n 缸0 lb 嬲e do nh 2 6 4 w i 廿lt h er e s e a r c h i n ga ：b o v e ，t o w a r d s t l 圮s 】h o n c o m i i l g sw h i c hn i ec 伽叩眦a t i o n0 ft a r g e tb i t sa “叩洳庇蛳0 np a r ：a m 鼬贸 i nt l 圮s m l a t i o 璐o f1 1 i g hm o t i o i l sa n ds c e 鹏c h a n g ei nr a t ec o n 缸0 lo fh 2 6 4 灿i s p a p l e rp r 叩o s e sam e 廿1 0 do f 自a 砒一l e v c lt a r g e tb i t sa l l o c a t i o nw h i c hb a s e d0 n 也e u 一 塑垩三些奎堂堡主堂垡望苎 一一 l - _ - _ _ _ _ _ _ _ _ - _ _ _ _ _ _ - - _ _ _ _ _ l _ _ _ _ _ _ _ - 。- _ _ l _ _ 。- _ - - 。_ _ _ 。- 。_ 。- - 。_ 一一 。 妇c o m p l e x 毋t oi m 弘0 v et h ea ：b o v e - 1 n c m i o n e d 伽。咧聊池t h ee x p e r i i 删 他s u l t ss h o wn 础t 1 1 ei n 】【p i 删a 1 9 0 m mc 缸m a ：k et a 】r g c tb i t sc l o s 盯t 0 也ea 删 b i t s ，硫r e a s ep e a l 【s i 则t 0n o i 枷o ，d e i c r e 觞ef l 删0 no f p e 出s i 印a l t 0n o i 棚o t h e r ea r el o t so fm e l o d st 0i i n p r o v em er a t ec o n 仃o la 1 9 0 r i t l l l l l t l l i sp a p e ru s e t l l ec o m p l 嘲t ) ro f 觑i i n et or c - a l l o c a t ct h eq 啪t i z 撕o np a r a m e t e rt 0m a l ( em eb i t s a l l o c a t i o nm o r em t i o i l a l f 0 rd i 丘；e r e n ta p p l i c a t i o n s ，翰：t ec o m r o la l g o r i 廿l mc 觚 c h o o s ed i 彘r e l l ti i n p r o v e ds 仃a t e 爵s 0 ，n l er a t ec o n 们l 删e ls h o m d 址s ob e c o n l b i n e d 砌t h cp 删i c a la p p l i c 撕0 n t h em o r eu s eo fm ei i i 姆c h 删s t i c s i sap o t e n t i a ld i r e c 矗o n k e yw o r d s ：h 2 6 4 ，r a t ec o n 们l ，b i ta l l o c 撕。玛c o n l p l e x 时，q l l a 删o np 娥i m e 储 浙江工业大学硕士学位论文 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江 工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究做出 重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的 法律责任。 储躲、) 璐 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密刚 ( 请在以上相应方框内打“寸) j - 0 1l 作者签名：1 宇嬷芝日期咖p 子年i 月y 日 导师签名： 亨f ；占琴 日期：。嚼年l2 月1 2 日 浙江工业大学硕士学位论文 第一章绪论 1 1 课题背景及研究的意义 二十一世纪是个数字信息飞速发展的时代，数字信息化几乎涉及到世界的 每个角落，它改变了人类的生活和工作的方式。同时，信息技术的发展，使人 们的学习和交流打破了时空界限，给人类的发展带来了新的空间。以多媒体和 网络为依托的信息技术己发展成为拓展人类能力的创造性工具。数字信息化的 一个重要特征就是多媒体技术的广泛应用，随着多媒体业务的不断拓展，多媒 体技术己成为工业界和学术界的一个研究热点。 随着计算机网络技术和无线通信技术的飞速发展，人们对多媒体的需求在 不断增加，由于多媒体内容丰富，包括文字、声音、图像和视频等数据，信息 容量大，表达能力强，它代替单一的语音通信模式已是不可阻挡的趋势，而庞 大的数据量成为多媒体应用的瓶颈，从而视频编码技术成为多媒体通信领域关 注的焦点。 h 2 6 4 是联合视频专家组制定的关于视频编码的新标准，它在吸取了以往 标准的优点，同时又增加了自己的一些新特点，如统一视频编码层的符号编码， 高精度、多模式的位估计，基于4 4 的整数变换，以及分层的编码语法等。这 使得h 2 6 4 的算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的比特率。 若没有码率控制任何视频编码都难以在实际中获得应用，因此，针对不同 的用途，这就使得码率控制技术成为目前研究的热点。事实上，由于h 2 6 4 标 准里仅规定了编解码器的码流结构而并没有规定编码的具体细节，这给码率控 制的优化工作带来了极大的便利，同时由于h 2 6 4 标准的主要精力集中在编码 码流及解码方法上，而并没有很好地研究码率控制，这预示着h 2 “的码率控 制部分潜在着较大提升空间。 浙江工业大学硕士学位论文 1 2 视频编码发展和现状 1 2 1 视频编码发展史 自1 9 4 8 年o l i v e r 等提出p c m 编码理论【1 】以来，图像编码技术迄今已有6 0 年的 历史，已经发展成为一个独立的研究领域。 二十世纪五十年代的图像压缩编码技术由于受到电路技术的制约，仅仅停 留在预测编码、亚采样以及内插复原等技术的研究。到了七八十年代，图像压 缩技术的主要成果体现在变换编码技术上，同时，矢量量化编码技术也有较大 的发展。八十年代末，小波变换理论、分形理论、人工神经网络理论、视觉仿 真理论建立，人们开始突破传统的信源编码理论，图像压缩编码向着更高的压 缩率和更好的压缩质量的方向发展，进入了一个崭新的发展时期。随着c c r r ，i ， i s o ，i t u 等国际组织开始积极致力于图像处理的标准化工作以来，图像压缩 标准己经日益成熟。 由于会议和可视电话的需要，c c i t t 发布了码率为p “k b 矾( 矿l ，2 ， 3 ，3 0 ) 的h 2 6 1 【2 】建议，目的是规范i s d n 网上的会议电视和可视电话应用 中的视频编码技术。它采用的算法结合了帧间预测和d c t 变换的混合编码方 法。通过p 的取值和i s d l n 信道相匹配，当p 取值较小时，只能传清晰度不太高 的图像，适合于面对面的电视电话，当p 取值较大时，可以传输清晰度较好的 会议电视图像。 h 2 6 3 【3 】的视频编码方法与h 2 6 1 类似，不同的是h 2 6 3 的输入有多种格式， 输出为h 2 6 3 的码流。h 2 6 3 建议的是低码率图像压缩标准，传输码率最初定为 低于6 4 k b i 魄，但实际上其应用范围已远远超出低码率图像编码范围，可以说 h 2 6 3 也适用于高速率图像编码。 m p e g - 1 【4 j 标准的码率为1 2 m b i 魄左右，可提供3 0 帧的c i f 质量的图像，是 为c d - r o m 光盘的视频存储和播放所制定的。m p e g - 1 标准视频编码与h 2 6 1 并无太多区别，但需要考虑双向预测编解码，它定义了三种图像类型：i 、p 、 b 图像，从而进一步提高了编码效率。 2 浙江工业大学硕士学位论文 在m p e g 1 的基础上，m p e g - 2 【5 】在提高图像分辨率、兼容数字电视等方面 做了一些改进，例如它的运动矢量的精度为半像素，在编码运算中区分“帧 和“场。为适应信道的变化和扩大应用范围，m p e g 2 引入了编码的可分级 性技术，如空问可分级性、时间可分级性和信噪比可分级性等。这种分级可为 不同的用户提供不同质量的服务。 与前面两个标准相比，m p e g 4 【6 】更加注重多媒体系统的交互性和灵活性， 主要应用于可视电话、视频会议等，包括音视频对象编码工具集合和编码对象 句法语言两个部分。m p e g “提出基于视昕对象( a u d i o v i s u a l0 b j e c t ，a v o ) 的 编码，大大提高了视频通信的交互能力和编码效率。m p e 叫中还采用了一些 新的技术，如形状编码、任意形状视频对象编码等。 h 2 6 4 是i t u 的v c e g ( 视频编码专家组) 和i s o 】 e c 的m p e g ( 活动图像编码 专家组) 的联合视频组开发的一个新的数字视频编码标准。应该说h 2 6 4 的颁布 是视频压缩编码学科发展的一件大事，它优异的压缩性能将在视频实时通信、 网络视频流媒体传递及多媒体短信等各个方面发挥重要作用。h 2 6 4 不仅具有 优异的压缩性能，而且具有良好的网络亲和性，这对实时视频通信是十分重要 的。h 2 “着重解决压缩的高效性和传输的可靠性，因而其应用面十分广泛。 具体来说它支持三个不同档次的应用： ( 1 ) 基本档次：主要用于“视频会话 ，如会议电视，可视电话，远程教学 等； ( 2 ) 扩展档次：主要用于网络的视频流，如视频点播； ( 3 ) 主要档次：主要用于消费电子应用，如数字电视广播，数值视频存储等； 1 2 2 视频编码技术 图像编码压缩技术的基本思想是去除图像数据中各种冗余，视频除了在时 域和空域上存在大量冗余外，还存在信息熵冗余、结构冗余和视觉冗余阴。视 频编码是以s 妣n 信息论为基础的，主要目的是在保证一定重构质量的前提 下，以尽可能用少的比特数来表征视频信息。一般而言，信源编码的方法按照 压缩数据能否被准确恢复分为两大类：无损压缩和有损压缩。其中，无损压缩 浙江工业大学硕士学位论文 虽可以无失真的恢复原始数据，但是压缩效率十分有限。通常，在实际应用中 都是将二者结合使用。 ( 1 ) 预测编码 预测编码方法是较为实用且被广泛采用的一种压缩编码方法，其理论基础 主要是现代统计学和控制论。原理是从相邻像素之间的相关性特点考虑，它不 是对一个像素直接编码，而是用同一帧( 帧内预测编码) 或相邻帧( 帧间预测编码) 中的像素值来进行预测，然后对预测残差进行量化、编码、传输。预测编码实 际是利用了视频信息的时空域冗余。预测编码一般分为线性预测和非线性预测 两种。 通常对视频序列而言，除非发生场景切换，否则相继帧在时间上都是连续 的，在前后两帧往往包含与当前帧相同的背景和对象。因此，视频序列在时域 存在极强的相关性。在得到一个像素点的值后，利用此像素点的值及其和后一 个像素点的差值就可求出后一像素点的值。因此，不传送像素点本身的值而传 送其与前一帧对应像素点的差值，可以有效地压缩码率，这就是预测编码的基 本思想。 ( 2 ) 熵编码 信息论中指出，信源中存在冗余，这些冗余既来自于信源本身的相关性， 又来自于信源概率分布的不均匀性，信息熵编码就是寻求去除或降低相关性或 改变概率分布不均匀性的手段和方法，它属于无损编码。 熵编码的基本思想为：对于一串由很多数值构成的数据来说，如果某些值 经常出现，而另外一些值很少出现，则这种由统计上的不均匀性就构成了统计 冗余度，可以对之进行压缩。具体方法是对那些经常出现的值用短的码组来表 示，对出现次数较少的值用长的码组来表示，因而最终用于表示这一串数据的 总的码位相对于用定长码组来表示的码位而言得到了降低。 ( 3 ) 变换编码 一幅视频图像相邻各点的取值往往相近或相同，具有空间相关性，这就是 空间冗余度。图像的空间相关性表示相邻像素点取值变化快慢。从频域的角度 来看，意味着图像信号的能量主要集中在低频附近，高频信号的能量随频率的 增加而迅速衰减。通过频域变换，可以将原图像信号用直流分量及少数低频交 4 浙江工业大学硕士学位论文 流分量的系数来表示，然后对这些变换系数进行量化、编码。k l 变换是均方 误差下的最佳正交变换，但实现困难。当图像相邻像素间的相关系数接近l 时， k l 变换的基函数接近d c t 变换的基函数，而且d c t 存在快速算法【溯，易于硬 件实现，因此d c t 被广泛应用于多种图像及视频编码的国际标准中。 ( 4 ) 视觉编码 视觉冗余度是相对于人眼的视觉特性而言的。由于人很视觉的非均匀性， 使得人眼视觉对某些空间频率感觉迟钝。因此视频中不同频率成分的内容对于 人眼系统而言其重要性是不同的。同时，人眼对亮度信号比对色度信号敏感， 对低频信号比对高频信号敏感，对静止图像比对运动图像敏感，以及对图像水 平线条和垂直线条比对斜线敏感。因此，一些色度信号，图像高频信号和一些 相对于人眼的清晰度所作贡献较少的运动图像数据被认为是多余的，这就是视 觉冗余，在编码中可以适当的去除。 1 3 码率控制技术及发展现状 压缩视频信息量的可变性使得编码输出的码率也随之可变。不同应用环境 中存在不同传输机制、信道带宽、传输时延等限制。因此，压缩视频码率必须 适应传输的要求。否则，视频信息难以顺利通过，或者其重建视频的质量将受 到很大的影响。保障编码输出码率适应传输要求的方法就是视频编码的码率控 制机制。 码率控制技术包括码率分配和码率实现两个部分，码率分配主要靠各种算 法去估计，实现方法主要靠调整相应的编码参数来完成。在以往参考模型中， 对码率控制技术的研究主要集中在率失真模型上。而h 2 6 4 中，由于采用率失真 优化( r d o ) 的编码方式，产生了对平均绝对误差( ) 互为矛盾的要求，这使 得h 2 6 4 码率控制的实现更为复杂，各种经典的码率控制方法在h 2 6 4 中不能完 全适用。 码率控制大多通过缓冲机制的平滑作用完成。受解码缓冲区大小和延时影 响，编码时除了在控制码率外，还要防止缓冲区溢出带来的视频质量下降。许 多学者和机构在码率控制方面做了大量的研究工作。 5 浙江工业大学硕士学位论文 1 m 5 【1 0 ，j 将码率控制分为二个步骤：目标比特分配，基于缓冲区饱和度的 码率控制和自适应量化。但t m 5 算法是建立在视频源信号为平稳随机过程的基 础上，它存在场景切换适应性和缓冲区一致性问题；v ! 8 【1 2 ，1 3 1 码率控制算法除 了没有宏块级的控制，g o p 级和帧级的码率分配基本和1 m 5 相同，该算法采用 了一个二次的r - q 码率模型，通过统计前面多帧图像，用线性回归方法来为当 前帧估计公式中参数；弧心i 8 【1 4 ，1 5 】贝0 将码率控制分别建立码率量化曲线为二阶 抛物线模型和对数模型的基础上；h e 等人则通过量化后的d c t 系数的非零值比 例和码率之间的统计关系建立j d 域码率失真模型【16 ，1 7 1 。 1 4 本文的结构安排 第一章为绪论，阐述了本课题的背景及研究意义，简单的介绍了视频编码 的现状及发展史。 第二章详细地分析了h 2 6 4 的一些关键技术，着重分析了帧的预测编码， 整数变换，熵编码等h 2 6 4 的关键技术。 第三章对经典的码率控制算法及t 关于h 2 6 4 中码率控制的几个重要提 案进行了深入分析，在此基础上结合现阶段的一些研究成果深入探讨了h 2 “码 率控制改进方法。 第四章针对现有h 2 6 4 码率控制在剧烈运动场景和场景切换时目标比特数 的分配和量化参数计算所存在的缺陷，提出了一种基于帧复杂度的策略进行目 标比特重新分配及量化参数的调整。 第五章为总结与展望，对本人的工作做一总结并对以后的工作做进一步的 展望。 6 第二章视频标准h 2 6 4 关键技术分析 2 1h 2 6 4 结构体系 2 1 1h 2 6 4 分层结构 为了更加灵活的适用于不同应用领域的要求，h 2 6 4 的设计概念上可以分 为两层：视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络提取层( n e t w o r k a b s t r a c t i o nl a y e r ，n a 工) ( 如图2 1 所示) ，在v c l 和n a l 之间定义了一组基于分 组方式的接口【1 引。 图2 1h 2 6 4 编码器的分层结构 ( 1 ) 视频编码层 视频编码层负责高效的视频内容编码，包括基于块的运动补偿混合编码和 一些新特性。每幅编码图像都以宏块为单位，其基本的编码思想是通过帧间图 像预测来减少时间统计相关性，通过对预测残差信号进行变换编码来减少空间 7 浙江工业大学硕士学位论文 统计相关性。虽然h 2 “的每一项新技术没有大幅提高编码效率，但是，很多 小改进组合起来就使h 2 6 4 在性能上获得了显著的提高。 ( 2 ) 网络提取层 早期的视频压缩标准总是集中于比特流的概念，高层语法元素被编码分 割，以允许比特流发生误码时进行重同步。而在h 2 6 4 中，地则是以 n a l u ( n a l 啪i t ) 为单元来支持编码数据在基于包交换技术网络中传输的，它定 义了符合传输层或存储介质需求的数据格式，同时提供头信息，从而提供了视 频编码与外部世界的接口。网络层和传输层的曙封装只针对基于n a l 单元的 本地n a i 接口，且每个n a l 单元都只包含整数个字节。n a l 负责使用下层网络 的分段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的利用或序列 结束信号等，这使得h 2 6 4 能够在基于r 耵m p ，m ，h 3 2 3 m 和h 3 2 0 协议的网络 中使用。n a l 单元包括自己的头信息、段结构信息和实际载荷信息，即上层的 v c l 数据。与前而的视频编码标准一样，h 2 6 4 没有把前处理和后处理等功能 包括在标准中，由此可以增加标准的灵活性。 2 1 2h 2 6 4 编码器结构 图2 2 为h 2 “编码器框架图，输入的帧或场以宏块为单位被编码器处理， 每个单位是以帧内或帧间模式进行编码。f 。是指前面已解码的多个参考帧， 在帧间模式下，宏块根据参考帧f 。一进行运动估计( m 以0 ne s t j m a ：t i o n ，m e ) 和运动补偿( m o t i o nc o m p e n s a t i o n ，m c ) 得到预测值p ，预测值与当前帧e 得 到残差值，再对该残差值进行变换编码与量化，得到变换量化系数，最后经熵 编码输出到网络提取层n a l 。f 。为经过滤波得到的重构图像，它将被放入参 考帧存储器中作为下一帧或几帧编码的参考帧之一。从图2 2 的结构来看，h 2 6 4 编码器在总体结构上还是沿用以往的m c d c t 结构，即运动补偿加变换编码的 混合编码结构，使用基于块的运动估计和补偿、变换编码和熵编码技术。主要 的不同体现在个别功能的细节上。h 2 “引入了一些新的算法与特性，从而增 强了压缩能力，也提高了对错误传输的纠错能力，更加适用于现在的无线多媒 3 浙江工业大学硕士学位论文 体和网络多媒体应用。例如：从过去的d c t 浮点精度运算，发展为整数变换， 从而减少了精度损失；从传统简单的单一帧内编码，发展为更加高效、模式更 加多样的帧内预测编码，进一步减少了帧内编码的比特数；从以往使用的去块 效应滤波器，发展为控制更加灵活的去块效应环路滤波器，极大的提高了图像 的质量。另一方面，h 2 6 4 从过去的单一的参考帧，发展为多个参考帧进行帧 间编码，以过去使用的i 帧、p 帧、b 帧为基础，扩展引入了s p 帧、s i 帧等新的 编码类型的概念，这些技术都大大提高了h 2 6 4 的压缩码流在信道中传输的可 靠性。h 2 6 4 就是利用实现的复杂性来获得压缩性能的明显改善，由于大规模 集成电路技术和工艺的迅猛进步，今天已完全具备了实现的可能性【1 9 1 。 2 1 3 h 2 6 4 解码器结构 图2 2h 2 6 4 编码器 如图2 3 所示，由解码器的n a l 输出一个经压缩后的h 2 6 4 码流，数据经过 熵解码和排序，得到一组经过量化的参数。然后经过反量化和反变换，利用码 流的头信息，解码器重建预测的黠块，从而得到未经平滑处理的图像z 乙， 再经滤波后就得到重建的f 乙。需要注意的是，编码器的重建得到的参考帧和 解码器中的输出帧必须是一样的，否则，会使图像有误差扩大或漂移的现象。 9 浙江工业大学硕士学位论文 2 2h 2 6 4 关键模块介绍 图2 3h 2 6 4 解码器 从上面分析可以看出，h 2 6 4 编解码器的基本模块，如预测、变换、量化 及熵编码都与之前的标准无太大区别，主要的不同体现在于每个模块的细节 上。如在运动补偿中，采用的是l 4 象素和更多尺寸的运动补偿( 1 6 1 6 ，1 6 8 ， 8 1 6 ，8 8 ，8 4 ，4 8 和4 4 ) ；预测模式的判断更加复杂；用整型变换代替常用的 d c t 浮点运算，同时相应的量化模块也有所改变；编解码中都采用基于4 4 的块 滤波器来平滑块与块的之间的边缘，提高图像视觉质量等。 2 2 1 帧内预测【2 0 ，2 1 】 与以前的标准不同的是，h 2 6 4 在编码i 帧时，采用了帧内预测，然后对预 测误差进行编码，这样就充分利用了空间相关性，提高了编码效率。以前的标 准只利用了一个宏块内部的相关性，而忽视了宏块之间的相关性，所以这样编 码后的数据量还是比较大。因此，为了能进一步利用空间相关性来压缩数据， h 2 6 4 引入了帧内预测来提高压缩效率。简单地说，帧内预测编码就是用周围 邻近的像素值来预测当前的像素值，然后对预测误差进行编码。这种预测是基 于块的，对于亮度分量，块的大小可以在1 6 1 6 和4 4 之间选择，1 6 1 6 块有4 l o 浙江工业大学硕士学位论文 种预测模式，4 4 块有9 种预测模式；对于色度分量，预测是对整个8 8 块进行 的，有4 种预测模式。除了d c 预测外，其他每种预测模式对应不同方向的预测。 ( 1 ) 4 4 亮度预测 图2 - 4 为4 4 亮度块的预测像素及预测方向图。图2 - 4 a 中的大写字母j o q 表 示来自邻近块已解码重构但尚未进行解块滤波的像素，小写字母a 叩表示将要 被预测的1 6 个4 4 亮度块像素。图2 - 4 b 为4 4 块9 种预测模式的预测方向图。其 中模式2 为d c 预测，根据6 卜q 中已编码像素进行预测，而其余模式只有在所需 预测像素全部提供后才能使用，不包括在预测方向图中。表2 1 给出了这9 种模 式的描述。 心 | 够一 刁 太 ( 3 1 0 ) 其中，m 为编码模式的集合，r 研删( s ，m ) 为传输运动矢量( ，啊) 所需的 比特数，失真度d ( s ，撒) 由以下2 式之一计算出： 渤= j b ，y ，咀一s h 一致，y 一，f - 】 2 ( 3 1 1 ) i x ，y 芦 姒d = 陬x ，弘小s b 一鸭，y 一鸭，r 一镌】 ( 3 - 1 2 ) j j ，声 在h 2 6 4 视频编码控制模型中，五m 佣0 n 由量化参数确定，如式( 3 1 3 ) 所示： 九嘲= 0 8 5 2 蚪2 7 3 ( 3 1 3 ) 浙江工业大学硕士学位论文 参数k 与气r d 舾和失真度的计算方法有关，对于鼹d ，由式( 3 - 1 4 ) 表示： 女d 力聊2 触d e 对于剿d ，由式( 3 1 5 ) 表示： 删= 厄= 3 4 经典的码率控制算法 ( 3 1 4 ) ( 3 - 1 5 ) 目前已有很多学者和研究机构提出了许多不同的码率控制算法，其中典型 的有m p e g - 2 的t m 5 ，h 2 6 3 的n d n 8 ，m p e g - 4 的v m 8 ，以及基于户域模型的 码率控制算法等，下面对这些算法作一分析。 3 4 1 m p e g - 2 ( r i m 5 ) ( 1 ) 分配目标码率 ( a ) 复杂度估计 五= s q ( 3 - 1 6 ) 其中，r 分别代表i ，p ，b 帧，五为全局复杂度，墨为编码当前帧所得的比特 数，q 为当前帧各宏块量化参数的平均值。 ( b ) 当前帧的目标码率 z = m a x 乙= m a x 6 | x 6 8 ( 3 - 1 7 ) ( 3 1 8 ) 浙江工业大学硕士学位论文 互= m a 】( ( 3 1 9 ) 其中，6 为当前的比特率，厂为当前的帧率，巧，k 分别为p 帧、b 帧中与量 化参数相关的常数，尺为当前g o p 中还未编码的p ，b 帧的帧数。 ( 2 ) 码率控制 ( a ) 在对第- ，个宏块编码之前，先计算虚拟缓存的充满度： 弘n - ( 警) c 3 其中，r 代表i ，p ，b 帧，磊，磊p ，弼6 分别表示i ，p ，b 帧虚拟缓冲区的初始 充满度，嘭p ，哆6 为在开始编码第- ，个宏块时虚拟缓冲区的充满度，马- 为编码前歹一1 个宏块所用的比特数，为一帧图像中所包含的宏块数。 ( b ) 计算第，个宏块的参考量化参数： q ，：型 ( 3 2 1 ) q ，= 一 ( 3 2 1 ) 嘭为上一步计算的虚拟缓冲区充满度，为“反应系数 ，表示为： ，：2 墨 ( 3 - 2 2 ) | ( 3 ) 自适应量化 ( a ) 计算宏块歹的空间复杂度 峭= l + n i h l ( 仿磁，v 6 如，v 6 魄) ( 3 - 2 3 ) 其中，v 6 魄= 去薹( 丑。) 一”? 2 ，栉= 去善足伽) ，丑。为第聆个8 8 块的 第衿像素的值。 ( b ) 归一化宏块，的空间复杂度 、-lili_-、f-tl_lj 生 一8 浙江工业大学硕士学位论文 2 x 口c t t + a c t 哟2 石蒜 ( 3 2 4 ) 其中，历是上一帧各宏块空间复杂度的平均值。 ( c ) 计算量化参数： 鹎= g 口c 0 ( 3 - 2 5 ) 最后通过把鳄限制在【1 - 3 1 】这个范围，得到编码量化参数，殇的计算是 基于以下假设： 失真度d 与量化参数q p 成正比。 为了保证图像质量的稳定，i ，p ，b 帧的量化参数成比例： 盟：堡：盈 ( 3 2 6 ) 1 o 群蚝 编码比特数r 与失真度d 成反比： 尺d = 常数 ( 3 ”) 由式( 3 2 7 ) 可知，该算法采用的是极为简单的r - d 模型，因此该算法的 控制精确度和鲁棒性不是很理想。 3 4 2m p e g - 4 ( v m 8 ) v m 8 码率控制算法除了没有宏块级的控制，g o p 级和帧级的码率分配基 本和t m 5 相同。该算法采用了一个二次的r q 码率模型 r ( q ) = 口q + 6 q 2 ( 3 - 2 8 ) 再结合实际编码帧的活动特征，当前帧的模型改为： r ( q ) = 删b ( q q + 岛q 2 ) ( 3 - 2 9 ) 二次r q 模型基于前提：相邻帧具有强相关性，r d 曲线一致。当一帧图 像编码后，该帧的平均量化参数和整个比特数是可以获得的。通过统计前面多 帧图像的这两个值，用线性回归方法来为当前帧估计参数口，6 。 该算法的不足之处是不适应于宏块级的控制，因此比特数的估计准确度不 浙江工业大学硕士学位论文 够准确。另外，由于该模型成立的前提，在场景变化快的情形非常容易导致 q p 估计不准确。 3 4 3 h 2 6 3 口m n 8 ) h 2 6 3 的t m n 8 码率控制算法主要分为两步： ( 1 ) 结合虚拟缓冲器的充满度确定当前帧目标比特数： 刀：墨一 f 其中 = 等 黔小m 协3 。) 【形一彳m o t h e r 式中，b 为当前帧的目标比特数，足为目标码率，f 为目标帧率，矿为当前 缓冲器充满度，m 为缓冲器大小，常数彳= 0 1 用来防止缓冲器下溢。 ( 2 ) 在宏块级，通过对经典r - d 公式的修改【3 3 1 ，再结合输出码率和图像质量 求解最优量化步长： r ( q ) = 一帧图像的总失真度为： 。= 专姜q 2 鬈 协3 3 ) 其中，为图像中的宏块总数量，q ：f 为第f 个宏块的量化步长，q 为加权系数。 量化步长的决定转化为约束条件下求极值，在所有宏块产生比特数总和 一定的情况下，采用拉格朗日乘子法，使编码重建图像的失真度最小，求解各 宏块的最优量化步长值： q =i = 1 ， ( 3 3 4 ) 3 2 l一知l一知 2 2 z z 矿一酽矿一酽 、 矿一扩 2 ：一： ( 2 r 、一r 匕蜞蔓蟛 叫 ：一2 t 1 日lh 2 上h 浙江工业大学硕士学位论文 与v m 8 码率控制算法相比，删8 可以更精确地估计比特数，而且缓冲器更平 稳。然而，n d n 8 没能较好地控制宏块之间量化参数的波动。此外，该模型估 计的准确度依靠统计前面己编码宏块的信息，所以，在场景切换情形下，容易 导致准确度降低。 3 4 4 基于p 域模型的码率控制算法 夕域的码率控制算法是由h e 等人提出，其中j d 表示变换系数量化后零系数 的个数占所有系数的百分数。大量的实验及理论证明：对于视频信号，p 与纹 理部分编码比特率成线性关系。p 域的码率控制算法已经在h 2 6 3 中表现出了极 好的性能。通过获得变换系数的分布，可得p 与量化参数的一一对应关系。 3 5h 2 6 4 码率控制算法 考虑到h 2 6 4 引入了率失真优化控制进行模式选择，量化参数同时使用于 率失真优化和码率控制之中，也就导致了著名的“鸡蛋悖论：为了计算当前 的量化参数( q p ) 需要当前宏块的运动估计残差，而运动估计残差只有在率 失真优化( i o ) 之后才能得到，如果用预测帧与当前帧的平均绝对误差 ( m a d ) 来表示运动估计残差，则上述的悖论可用可表达为： q p 专r d o 专m a d 专q p ，因此以往各种经典的码率控制方法在h 2 6 4 中并不适 用。下面首先对目前t 关于h 2 6 4 的三个重要提案作了详细的分析，然后在此 基础上结合现阶段部分学者所提出的改进方法，对h 2 6 4 码率控制方法的改进 提出自己的看法，最后对h 2 6 4 码率控制方法的改进进行了展望。 3 5 1j v t d 0 3 0 该提案主要分为以下几个步骤： 浙江工业大学硕士学位论文 ( 1 ) 比特分配 ( 2 ) 第一次r d o ( 3 ) 确定量化参数 ( 4 ) 第二次r d o t - d 0 3 0 【3 q 核心思想还是采用1 m 5 中的码率控制方法，从上面可以发现， t - d 0 3 0 解决“鸡蛋 悖论的方法是采用二次编码的方案，这样就极大地增加 了编码的复杂度，这也是该方案难以应用于实时传输中的主要原因。t - d 0 3 0 中对于帧复杂度的估计与该帧类型有关，且不同类型的帧分别设有独立的虚拟 缓存，这样就再度增加了它的编码复杂度。同时，由于它的率失真模型过于简 单，这就难以得到的精确的码率控制。 3 5 2j v t - g o l 2 由于t - d 0 3 0 中的上述不足，g 0 1 2 【3 5 1 就取代b d 0 3 0 成为h 2 6 4 的标准码率控制的方法。在t - g 0 1 2 中，通过利用了图像的时空相关性取代 二次编码来解决“鸡蛋”悖论，即用线性m a d 模型来估计帧的复杂度，用 e g - 4 的二次r - d 模型来计算量化参数，同时t - g 0 1 2 中提出了宏块单元 的概念，其可以是帧、片或宏块。该提案的主要步骤如下： ( 1 ) 目标比特分配 帧层目标比特分配采用了缓存流传输模型，这里假设一个g o p 的第一帧 为i 帧，其余的为p 帧，缓存流传输模型为： 卜川m ；n m 8 x 卜川，_ 半h 3 5 ， k = 争 浙江工业大学硕士学位论文 ( a ) 初始化目标缓存： 由于第一个p 帧的量化参数是在g o p 层中初始化中得到，所以只需对其 它的p 帧定义初始目标缓存： 乃z ( 玎2 ) = 色( 他) ( 3 - 3 6 ) 其中，乃，( 刀：) 和忍( 坞) 分别是编完第一个p 帧之后的目标缓存和实际缓存占有 度，其它目标缓存定义如下： 嘶沪驯一簪 3 7 ) 其中，砀z ( ) 为目标缓存，以为一个g o p 中p 帧的数量。 ( b ) 计算目标比特： 第j 帧的目标比特霉由目标缓存、帧率、信道带宽和实际缓存占有度共同决定： 霉：鼍竽+ 厂( 乃，( 乃) 一e ( 乃) ) ( 3 3 8 ) 暨 其中，y 为常量，通常设为0 7 5 。 在计算目标比特时，同时需要考虑剩余比特数毒： 霉= 每 协3 9 ) 其中，耳为当前g o p 中剩余的比特数，为当前g o p 中未编的p 帧的数量。 最后的得到目标比特z ： 瓦= + ( 1 一) 霉 ( 3 4 0 ) 其中，为常数，通常设为o 5 。 ( 2 ) 预测m a d 用如下的一阶线形模型预测当前： m a d c = a l m a d p + a 2 ( 3 _ 4 1 ) 3 5 浙江工业大学硕士学位论文 其中，a l ，a 2 为预测系数，初始值分别设为l ，o 。 ( 3 ) 采用御e g _ 4 的二次r d 模型计算量化参数靠： z ：辈+ 半 ( 3 - 4 2 ) 鲸 其中，五，五为率失真模型参数。 为保证视觉的连贯性，对量化参数作调整： 互p 。= mi n q 即+ 2 ，ma x q 即一2 ，西p 。) ) ( 3 - 4 3 ) 其中， 为当前编码帧的前一帧的量化参数。 最后的量化参数还必须保持在1 到5 1 之间： qp c = m in 5l ，max 互p