（计算机应用技术专业论文）h264复杂度分级视频编码技术研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 h 2 6 4 采用了多种新的视频编码技术，大幅度提高了视频编码效率和重建视 频质量。一般而言在相同的编码质量下，i - i 2 6 4 比m p e g - 4 可以节省约1 2 的码 率。然而编码性能的提升是以提高计算复杂度为代价的，h 2 6 4 比m p e g - 4 的编 码复杂度高十倍以上。这种方法只适用于高端设备，对手机等能量有限的低端 设备就不太适合，因此有必要提出一些方法来对计算复杂度进行分级，通过选 取不同复杂度，来得到相应的图像质量和编码时间。 本文的研究着重于复杂度分级的视频编码算法，主要针对h 2 6 4 a v c 编码 的两个计算复杂度较高的部分：帧内预测和帧间块划分模式选择，在充分研究 和了解复杂度可分级的视频编码技术现状的基础上，在h 2 6 4 编码标准框架下 实现了以下两种算法： 1 借鉴了已有的帧内4 4 快速预测模式选择算法，提出了一种复杂度可分级 的快速帧内模式选择算法，试验表明本文方法可以实现帧内预测复杂度的分 级，采用不同的复杂度分级时，可缩短相应的编码时间。 2 对已经提出的复杂度可分级的帧间模式选择算法进行了研究，在已有算法基 础上做了一些改进，并且加入了一种自适应的阈值提前停止模式选择策略， 和原算法相比，在图像质量与码率相当的情况下编码速度有一定提高。 关键词：视频编码，h 2 6 4 a v c ，帧内预测，帧间模式选择，复杂度分级 西南交通大学硕士研究生学位论文第1 i 页 a bs t r a c t t h eh 2 6 4u s eal o to fn e wv i d e oe n c o d i n gt e c h n o l o g y , s i g n i f i c a n t l yi m p r o v e s t h ee f f i c i e n c yo fv i d e oc o d i n ga n dr e c o n s t r u c t i o no fv i d e oq u a l i t y g e n e r a l l ys p e a k i n g ， i nt h es a m eq u a l i t yo fc o d i n g h 2 6 4c a l ls a v ea b o u tl 2b i tr a t et h a nm p e g - 4 h o w e v e r , c o d i n gp e r f o r m a n c ei m p r o v e m e n t sb yr a i s i n gt h ec o s to fc o m p u t a t i o n a l c o m p l e x i t y , h 2 6 4e n c o d i n gc o m p l e x i t yi sm o r et h a nt e nt i m e st h a nm p e g 一4 t h i s m e t h o di s o n l ya p p l i c a b l et oh i g h - e n de q u i p m e n t ，t h ee n e r g yl i m i t e dt om o b i l e p h o n e so nt h el o w - e n dd e v i c e sa r en o tm a t c h ，i ti sn e c e s s a r y t om a k es o m ea p p r o a c h t ot h ec o m p u t a t i o n a lc o m p l e x i t ys c a l a b l e ，b yc h o o s i n gad i f f e r e n tc o m l e x i t yt og e tt h e i m a g eq u a l i t ya n de n c o d i n gt i m e t h i ss t u d yf o c u s e so nt h ec o m p l e x i t ys c a l a b l ea l g o r i t h m t h em a i np u r p o s ei s a i ma th 2 6 4 a v ct h et w oh i g h e s tc o m p u t a t i o n a lc o m p l e x i t yp a r t s ：i n t r a - p r e d i c t i o n ， i n t e r - f r a m eb l o c k - s i z em o d es e l e c t i o n ，i nt h ef u l ls t u d ya n du n d e r s t a n d i n go ft h e c o m p l e x i t yo fs c a l a b l ev i d e oc o d i n gt e c h n o l o g yb a s e do nt h ec u r r e n ts i t u a t i o n ，b a s e d o nt h eh 2 6 4e n c o d i n gs t a n d a r d sh a sb e e na c h i v e dt h ef o l l o w i n gt w oa l g o r i t h m s ： 1 f r o mt h ee x i s to ff a s t4 4i n t r ap r e d i c t i o nm o d es e l e c t i o na l g o r i t h m t h e nw e p r o p o s e dac o m p l e x i t yo fs c a l a b l ef a s ti n t r am o d es e l e c t i o na l g o r i t h m ，e x p e r i m e n t s s h o wt h a tt h em e t h o dc a na r b i t r a r yc l a s s i f i c a t i o nt h ed e g r e eo ft h ec o m p l e x i t yo fi n t r a p r e d i c t i o n ，t h ec o m p l e x i t yo fd i f f e r e n tg r a d e ，t h e y c a l ls h o r t e nt h ee n c o d i n gt i m e 2 h a v eb e e ns t u d i e dt h ee x i s tc o m p l e x i t yo ft h ei n t e r - f r a m es c a l a b i l i t ym o d e s e l e c t i o na l g o r i t h m si nt h i sp a p e r , b a s e do nt h ee x i s ta l g o r i t h mh a sm a d es o m e i m p r o v e m e n t s ，a n da d d i n gat h r e s h o l da d a p t i v em o d e ls e l e c t i o ns t r a t e g yt os t o pm o d e d e c i s i o ne a r l i e r , c o m p a r e dw i t hr e f e r e n c ed o c u m e n t sa l g o r i t h m s ，i nt h ec a s eo fi m a g e q u a l i t ya n db i tr a t ea l m o s tt h es a m e ，c a ni n c r e a s es o m ec o d i n gs p e e d k e yw o r d s ：v i d e oc o d i n g ，h 2 6 4 a v c ，i n t r ap r e d i c t i o n ，i n t e r - f r a m em o d es e l e c t i o n ， c o m p l e xs c a l a b l e 西南交通大学曲南父逋大罕 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密一使用本授权书。 ( 请在以上方框内打“扩) 学位论文作者签名：余篷 日期：哆占 指导老师签名： 日期： 气f 绔 刁 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所 得的成果。除文中已经注明引用的内容外，本论文不包含任何其它个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 借鉴了已有的帧内4 x 4 快速预测模式选择算法，提出了一种复杂度可分级 的快速帧内模式选择算法，试验表明本文方法可以实现帧内预测复杂度的分级， 采用不同的复杂度分级时，可缩短相应的编码时间。 对已经提出的复杂度可分级的帧间模式选择算法进行了研究，在已有算法 基础上做了一些改进，并且加入了一种自适应的阈值提前停止模式选择策略， 和原算法相比，在图像质量与码率相当的情况下编码速度有一定提高。 学位论文作者签名：会盈 日期：矽罗年彳月多日 ， 西南交通大学硕士研究生学位论文第1 页 第一章绪论弟一早三百v 匕 1 1 引言 近年来，伴随着多媒体技术和现代通讯技术的飞速发展，由多媒体技术和 通信技术相结合而成的多媒体通信日益成为人们研究和开发的热点，并逐渐深 入到社会生活的各个方面。我们所说的多媒体通讯业务不是仅仅局限于枯燥的 文本信息和简单的语音对话，而是具有可更多的功能和人性化的服务。除了为 用户提供结合了声音、文字、图像、视频等多媒体信息之外，还可进行诸如视 频会议电话、高清数字电视、手机电视、视频检索等一些高级服务。在未来的 数字通讯领域特别是移动通讯领域中多媒体业务必然会成为一个十分重要的发 展方向，带给我们更加丰富多彩的生活。 文字、声音、和图像是多媒体信息中最重要的几部分。而人类所获取的信 息7 0 来自于视觉。人们要使多媒体应用更加丰富，首先就是要处理视频图像 信息。而视频信息的庞大数据量对通信系统中有限的带宽及存储空间提出了严 峻的考验。因此，数字视频压缩技术是多媒体应用的核心技术，对视频编码的 研究已成为信息技术领域的热门话题。 1 2 研究背景和意义 对于视频数据的压缩，国际上已经出台了许多标准，如i t u - t 针对视频通 信领域的一些应用( 如可视会议，视频电话等) ，分别制定了h 2 6 1 、h 2 6 2 、 h 2 6 3 1 - i 2 6 3 + h 2 6 3 + + 、h 2 6 l h 2 6 4 ：i s o i e c 主要针对视频存储领域( 如 v c d d v d 等) ，相继制定了m p e g 1 、m p e g 2 、m p e g 4 等，两大国际组织在发 展各自的视频压缩标准的同时也注重合作，于2 0 0 3 年共同推出了h 2 6 4 a v c 一吲， 并将其作为m p e g - 4 的第1 0 部分。h 2 6 4 a v c 融入了近些年来在基于块的变换和 预测混合视频编码技术方面的一些最新技术，比如：亚像素的运动补偿，多种 块划分模式，多参考帧预测，环内去块滤波器以及多模式的帧内预测和帧间预 测等。这些新技术的采用极大地提高了压缩性能，在相同的重建图象质量下， 能够比以往的标准节约5 0 左右的码率。但h 2 6 4 a v c 高编码效率的取得是以较 高的计算复杂度为代价的，新引进的多种编码技术虽然大大提高了编码效率， 西南交通大学硕士研究生学位论文第2 页 但计算复杂度却相当高。在标准正式推出后，不少学者对t t 2 6 4 a v c 的编码效 率和计算复杂度进行了评估。评估实验结果表明与以往的视频编码标准相比， 虽然提高了5 0 9 6 的编码效率，但编码的计算复杂度却增加了4 - - 5 倍，解码的计 算复杂度增加了2 倍。 目前，随着互联网和无线移动通信技术的发展和在社会生活各方面的广泛 应用，多媒体技术开始向多平台发展。各种类型终端计算能力的不同和高复杂 度的视频编码正成为其拓展过程中面临的主要矛盾。 例如互联网接入的各种终端设备，包括p c 、p d a 、智能手机、视频电话等， 其计算能力的异构性主要表现在以下三个方面： 1 终端处理能力的差异 不同的终端设备，其处理能力是有差异的。视频通信系统的应用，需要在 它们之间建立有效的视频通信，必须考虑各自视频编解码处理能力的差异。 2 终端显示能力的不同 显示能力包括显示的尺寸和刷新频率。如手机与普通p c ，二者的显示能力 存在较大差异。图像尺寸包括q e i f ( 1 7 6 1 4 4 ) 、c i f ( 3 5 2 x2 8 8 ) 、4 c i f ( 7 0 4 x5 7 6 ) 等等。要建立其间的视频通信，就要求视频编解码系统能够有效地调整图像尺 寸和编解码帧率。 3 有些终端计算能力随时间发生变化 比如移动中的手提电脑手机等，随着电源的消耗，其计算能力亦会有所降 低。要在这个过程中维持与其它终端的视频通信，必须动态调整视频编解码的 复杂度。 低复杂度的视频编码算法曾对特定平台上的视频通信应用发挥了重要作 用，但是这种方案没有自适应性，不同的平台需要不同的视频质量，不同复杂 度的处理算法，随着视频通信终端平台多样化，它不能从根本上解决平台计算 能力与编码复杂度差异的矛盾。此外，低复杂度的视频编码算法的复杂度依赖 于视频内容的变化，缺乏对内容的自适应性。 复杂度可分级的视频编码将使得在计算能力相差悬殊的终端之间建立可靠 的视频通信成为可能。第三代移动通信标准的最鲜明的特点是提供高速无线传 输速率，为多媒体业务提供必要的带宽。复杂度可分级的视频编码将为基于3 g 网络的智能手机等移动终端上的视频通信应用的开发提供技术支撑，使之不受 制于移动终端的低运算能力。它将为移动终端上的视频点播、视频监控以及视 西南交通大学硕士研究生学位论文第3 页 频会议等业务的开展提供保障。 本文复杂度可分级的视频编码的研究目标是：选取相应的复杂度，并得到 合适的图像质量。减少相应编码时间，为用户提供质量尽可能高的视频通信服 务。因此，复杂度可分级的视频编码研究具有十分重要的学术和应用意义。 1 3 研究现状 作为一种新的国际标准，h 2 6 4 a v c 在编码效率、图像质量、网络适应性和 抗误码方面都取得了成功。针对其非常高的计算复杂度问题，人们也展开了大 量的研究，目前，针对视频编码复杂度的研究仍旧集中在低复杂度的视频编码 算法上。如在运动估计、模式选择、d c t 变换等方面已经有了大量的优秀算法出 现阳峭3 。复杂度分级方面目前也有一些研究：对于d c t 的复杂度分级，z h a o 等瞳4 2 5 】 将有反馈机制的d c t 复杂度管理模型应用在编码过程中，通过在编码过程中调 整系数截断位置的阈值，达到复杂度的分级，并对复杂度进行控制以达到一定 的复杂度水平。z h a n g 等控剐提出了i s s a v t4 的d c t 快速算法，并在此基础上设计 了一种复杂度可分级的d c t 算法。朱向军等啦 利用已测试模式下的系数价值来 预测后续模式的相对编码性能，并提出了计算复杂度可调的模式筛选规则，以 略过不必要测试的模式，从而实现复杂度分级及复杂度可调的快速模式选择。 l i u f e n g 等汹3 利用三步法、钻石法等一些运动搜索算法的特点通过改变搜索步长 来达到复杂度分级的目的。 朱光喜等1 提出了一种复杂度可分级的帧内选择算法，虽然提出了分级算 法但在编码效率方面却有所降低。冯镔等。”提出了一种基于空间相关性的复杂度 可分级算法，该算法根据一张概率表来对可能出现的候选模式进行排序，根据 复杂度大小来选择候选模式个数，而实现分级，但是该概率表是固定的，不能 在编码过程中进行调整。 1 4 本文的主要工作及论文的内容安排 本文从视频通信的实时性要求以及其终端异构性的实际问题出发，针对高 级视频编码技术，深入研究了关于帧间模式选择和帧内模式预测的复杂度分级 算法，分析了目前一些算法的不足，在结合原有快速算法基础上提出了两种复 杂度分级算法，同时对提出的算法和文献中算法效果进行了试验比较，全文共 分五章。 西南交通大学硕士研究生学位论文第4 页 论文的内容安排如下： 第1 章主要介绍了研究课题的背景和现状，并对本文的主要工作进行了简 单概括。 第2 章对h 2 6 4 a v c 标准的主要编码核心技术进行了介绍和分析，并以其 测试模型( j o i n tm o d e l ) 为平台分析了主要技术的复杂度分布情况，从而确立 了本文的研究方向。介绍了论文采用的实验方法，并列举了实验中采用的基准 测试序列。 第3 章对h 2 6 4 a v c 标准的帧内模式预测做了分析和研究，研究了参考文 献 2 和文献 2 9 】的算法，并对文献 2 方法进行了改进，结合其帧内4 x 4 快速模 式预测算法提出了一种复杂度可分级的帧内快速模式选择算法。 第4 章对h 2 6 4 a v c 标准的帧间模式选择算法做了分析和研究，对文献 3 的算法做了改进，加入了一种自适应阈值的提前停止策略在算法中，提出了一 种复杂度可分级的帧间模式快速选择算法。 第5 章结束语部分对本文所做的工作进行了简要总结，并对本文需要进一 步努力的方向进行了简单的说明和阐述。 西南交通大学硕士研究生学位论文第5 页 第二章h 2 6 4 a v c 标准与编码模块的复杂度分析 2 1h 2 6 4 a v c 标准的发展与特点 目前主要的音视频压缩的国际标准化组织主要有两个，分别是国际电联 ( r r u t ) 和国际标准化组织( i s o ) 。因此当前视频编码标准主要有以下两个系 列： 1 国际电联( i t u t ) 制定的h 2 6 x 系列标准主要用于网络通信行业，如： 用于p 6 4 k b p s ( p = 1 ，2 ，3 0 ) 速率下的视频编解码标准h 2 6 1 口；面向甚低码 率通信的视频编码标准h 2 6 3 口刳；以及h 2 6 3 的后续版本h 2 6 3 + 3 ；以及最新的 视频压缩标准h 2 6 4 等。 2 国际标准化组织( i s o ) 运动图像专家组( m p e g ) 制定的m p e g x 系列 标准主要应用于媒体业务，如：应用于v c d 业务的m p e g lm 1 ；应用于d v d 业 务的m p e g 2 口引；更高压缩效率与应用范围的m p e g 4 m 3 ；以及多媒体描述标准 m p e g 7 ，m p e g 2 1 等m 1 。 1 9 9 9 年i t u t 以h 2 6 3 为基础，由i t u t 所属的v c e g 和m p e g 组织在 2 0 0 1 年合作成立的j v t ( j o n i t v i d e o t e a m ) 共同制定的。所以，h 2 6 4 在i s o 中被 称作m p e g 4p a r t10a d v a n c e dv i d e oc o d i n g ( a v c ) 。 h 2 6 4 是目前为止最高效的一个视频压缩标准，以其卓越的压缩性能在电 视、h d t v 、卫星电视、存储媒体、无线多媒体应用等方面显示了巨大的应用价 值。 h 2 6 4 的编解码器除了具备以往标准的基本功能要素( 预测、变换、量化、 熵编码) 等外，在每个功能单元中还加入了一些新的技术。图2 1 和2 2 分别是 h 2 6 4 的编码和解码框架： 西南交通大学硕士研究生学位论文第6 页 图2 1h 2 6 4 编码器 图2 - 2h 2 6 4 解码器 2 2h 2 6 4 a v c 关键技术 h 2 6 4 在编码框架上仍沿用以往的m c d c t ( m o t i o nc o m p e n s a t i o n d i s c r e t e c o s m et r a n s f o r m ) 结构，即运动补偿加变换编码的混合( h y b r i d ) 结构因此它保留 了一些先前标准的特点，如不受限制的运动向量( u n s t r i c t e dm o t i o nv e c t o r s ) ，对 运动向量的中值预钡l j ( m e d i a np r e d i c t i o n ) 等。同时，一些新的技术的使用，使得 h 2 6 4 a v c 比之前的视频编码标准在性能上有了很大的提高。应当指出的是，这 个提高不是单靠某一项技术实现的，而是由各种不同技术带来的小的性能改进 西南交通大学硕士研究生学位论文第7 页 而共同产生的，下面介绍一些主要的技术。 2 2 1 帧内预测 帧内预测编码是h 2 6 4 标准中的重要改进之一，其原理是利用当前帧中已经 编码宏块的信息对当前编码宏块进行预测，并且对预测块和实际块的预测残差 进行变换、量化、熵编码，以消除空间冗余。利用帧内预测可以大大提高帧内 编码的效率。 根据亮度和色度信号的不同，h 2 6 4 的帧内预测又有i n t r a 4 x 4 和i n t r a l 6 x 1 6 两种模式。i n t r a 4 x 4 有9 种预测模式，适用于纹理比较复杂的图像区域； i n t r a l 6 x 1 6 有4 种预测模式，适用于纹理变化平坦的区域。色度分量的帧内预 测模式与亮度分量i n t r a l6x1 6 模式比较相近，但在块大小和具体的模式顺序上 稍有不同。 除了两种帧内预测模式外，还有一种帧内编码模式称为ip c m 编码模式。 在该模式下，编码器直接传输图像的像素值，而不经过预测和变换。在一些特 殊的情况下，尤其是当图像内容不规则或者量化参数很低时，该模式比起帧内 预测效率更高。 在h 2 6 4 中，帧内预测模式不仅用于i 帧的编码，p 帧和b 帧的编码时也会 用到。在p 帧或b 帧中，如果其宏块的帧内编码模式下的开销最小，则编码器 会选择对应的帧内编码模式作为该宏块的最佳编码模式。 ( 1 ) i n t r a 4 x 4 帧内预测 在i n t r a 4 x 4 帧内预测模式中，一个宏块分成1 6 个4 x 4 子块，每个子块利 用其相邻的上边和左边已编码重建的像素点来进行预测，当前块及其相邻像素 的分布如图2 3 所示。其中，大写字母a m 代表相邻块中已经重建的像素点， 小写字母a p 表示当前块中的1 6 个待测像素点。 mab( defg h iabcd jefgh - kl j ki lmno p 图2 34 x 4 块中像素及其相邻像素 西南交通大学硕士研究生学位论文第8 页 心侈 衫太： 1 1 ， 图2 4i n t r a 4 x 4 亮度预测的方向 图2 4 中的箭头表明了每种模式预测的方向。其中模式2 ( d c 预测) 是根 据a m 中已经编码像素进行预测，而其余模式则只有在需要利用的像素存在的 情况下才能够使用。模式3 到8 预测像素由a m 取加权平均得到。图2 5 表示 了9 种4 x 4 预测模式。在进行帧内预测时，如果相邻像素点不存在，相邻像素 点的值用1 2 8 代替。 m abc def igh j k l r 1 0 ( v e r t i c a l ) mabcdeifig i hi j k l 。 一 3 ( d i a g o n a ld o w n l e f t ) mabcdefghi 、 j 、 k 、 l 、 m abcd efgh 一 一 j 一 k l 一 一 1 ( h o d z o n t a l ) m a bcdefg i hi 、 j 、 k 、 l 、 4 ( d i a g o n a ld o w n d g h t ) m abcde fig l h f ； j t k li l t 0? m ab cdelfg l h l i ， mi j ，n k v 、 l _ ， l 2 ( d c ) m abcdefgh 。t； j 1i l 、 k ； l 、i、一、 5 ( v e r t i c a l r i g h t ) mab cdefgh ， ， j 膏 k ， l 6 ( h o r i z o n t a ld o w n )7 ( v e r t i c a l l e f t ) 8 ( h o r i z o n t a lu p ) 图2 5i n t r a 4 x 4 帧内预测模式 西南交通大学硕士研究生学位论文第9 页 ( 2 ) i n t r a l 6 1 6 模式 当使用i n t r a l 6 1 6 模式时，宏块中的所有亮度成分都被预测。共有四种 i n t r a l 6 1 6 预测模式。分别称为垂直预测模式( v e r t i c a l ) ，水平预测模式 ( h o r i z o n t a l ) ，均值预测模式( d c ) ，和平面预测模式( p l a n e ) 。与4 4 预测 模式不同的是1 6 1 6 预测模式是用每个边上的1 6 个相邻点来预测1 6 1 6 的宏 块。如图2 6 所示。 1m a 脚1 组n 厂百 图2 6i n t r a l 6 x 1 6 帧内预测模式 ( 3 ) 8 8 色度块预测模式 色度块为8 x 8 大小的块，其帧内预测模式与i n t r a l 6 x1 6 情况类似。只是预 测模式的顺序略有不同：模式0 为d c 预测，模式1 为水平预测，模式2 为竖直 预测，模式3 为p l a n e 预测。值得注意的是，由于两个色度分量( u 和各包含 一个色度块，而色度分量又只能有一个帧内预测模式，因此色度分量的最佳帧 内预测模式选择两个分量中预测误差最小的那个模式。 2 2 2 帧间预测 n 2 6 4 帧间预测与以往标准的帧间预测的区别在于多种块划分模式，高精度 的运动搜索和多参考帧预测。和以往的视频编码标准相似，h 2 6 4 也使用了基 于块的运动补偿帧间预测以消除视频序列的时域冗余。但h 2 6 4 也有自己的特 点：支持低至4 4 的块尺寸范围和优良的亚像素的运动向量。 n 2 6 4 定义了7 种不同尺寸和形状的宏块和亚宏块分割以使得更精确的描述 宏块的运动细节。一个1 6 1 6 的亮度块可以按以下四种方式划分：1 6 1 6 、1 6 8 、8 1 6 、8 8 。而一个8 8 的图像块可以分为：8 8 、8 x 4 、4 8 、4 x 4 。 如图2 7 所示。多种块划分模式可以使得帧间预测时块与块之间的匹配更加准 确，这样可以减小预测误差、提高压缩率。尤其是当宏块中含有多个运动对象 西南交通大学硕士研究生学位论文第1 0 页 的情况下，不同的块划分模式能够更准确的描述各个不同对象的运动情况，大 大的提高了预测的准确性。 宏块的 划分 8 8 块的划 分 1 6 8 8 4 图2 7h 2 5 4 中帧间预测的7 种块划分模式 4 4 采用了多种块划分模式后，在每个宏块内可以为运动预测提供多种可选的 块组合方式。在h 2 6 4 标准中是采用率失真优化的方式来进行划分的。对于帧 内比较平滑的区域通常选择比较大的块，而对于细节多的区域通常选择较小的 块。 h 2 6 4 支持1 4 或1 8 像素精度的运动矢量。在1 4 像素精度时可使用6 抽 头滤波器来减少高频噪声，对于1 8 像素精度的运动矢量，可使用更为复杂的8 抽头的滤波器。 2 2 3 整数变换和量化 h 2 6 4 和以前的标准类似，为了去除图像信号中的相关性及减小图像编码的 动态范围，通常采用变换编码和量化技术汹1 。变换编码将图像时域信号变换成 频域信号。在频域中，图像信号的能量大部分集中在低频区域，相对于时域信 号，码率有较大的下降。与以往不同的是使用了整数d c t 变换。这种方式的优 点在于：在编码器中和解码器中变换和反变换的精度相同，不存在“反变换失 配 。由于用于变换块的尺寸缩小为4 4 ，运动物体的划分更精确。这样，变换 过程的计算量比较小，同时在运动物体边缘处的衔接误差也大为减小。 2 2 4 去块效应滤波 西南交通大学硕士研究生学位论文第1 1 页 h 2 6 4 采用了去除块效应滤波器，应用于所有的宏块之中。通过对宏块边缘 的平滑滤波，减轻视频编码中的块效应。h 2 6 4 根据内容来选择滤波器强度。按 照所处理的当前边缘附近像素值的不同。选取不同强度的滤波器。 2 2 5 熵编码 在完成变换与量化之后，熵编码器就会对这些数据进行熵编码。它的实质 是将最常出现的信息用短码表示，不常出现的信息用长码表示，以使平均码长 尽可能的短，达到无损压缩的目的。h 2 6 4 标准中使用了两种熵编码方法：基于 上下文的自适应变长编码( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ， c a v l c ) 与统一变字长编码( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ，u v l c ) 相结合 的编码；基于上下文的自适应二进制算术编码( c o n t e x t - b a s e da d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ，c a b a c ) 。 2 3h 2 6 4 的档次和级别 视频编码按应用可分为两大类：对称应用和非对称应用。非对称应用主要 面向存储，v o d 等需求，进行离线编码，没有实时性要求，但解码要求实时。而 对称应用要求实时编解码，如视频电话会议，手机电视等。h 2 6 4 支持多种视频 业务，考虑到不同业务之间的互操作性，h 2 6 4 标准定义了档次和级别。每个档 次定义了可供使用的编码工具，具体见图2 8 。 主要档次的应用领域主要集中在数字视频广播和视频存储等方面，需要提 高压缩效率，因此在i 帧、p 帧编码及c a v l c 熵编码的基础上增加了隔行编码、 b 帧编码、加权预测和c a b a c 熵编码工具。扩展档次的最大特点是能够根据信道 带宽的情况在不同码率之间切换码流，适用于流媒体业务。高档次中增加了自 适应块尺寸变换和可变量化矩阵，主要应用在无损或接近无损的视频压缩编码 应用中，如数字电影等对图像质量要求高的地方。 西南交通大学硕士研究生学位论文第1 2 页 l 一，一一j 二i 雪画二、 、 可调宏块颚 芋 j 冗：5 = s j 、 ， 。、；荟赫毒；蔷褡“一。 、：“ 、，。， 图2 8h 2 6 4 标准中定义的p r o f i l e 表2 1 应用需求与p r o f i l e 的对应关系 块尺寸 化矩阵 和4 ：4 ：4 。 ， i 1 l。 ? 应用需求 h 2 6 4p r o f i l e s 广播电视 编码效率，可靠性，隔行， m a i n 低复杂度解码 视频会议编码效率，隔行，低复杂 m a i n 度的编解码 移动视频编码效率，可靠性，低延 b a s e li n e 迟，低复杂度的编解码 视频会议编码效率，可靠性，低延 b a s e li n e 迟，低复杂度的编解码， 低能耗 工作室无损或准无损压缩，隔m a i n h i g h 行，便于转码 西南交通大学硕士研究生学位论文第13 页 2 4 编码模块的复杂度分布 对于编码模块的复杂度分布情况已经有学者对此进行了研究，在不同的 参数配置试验中，帧问预测中需要用到的运动估计始终是计算复杂度最高的部 分。实际的视频通信应用正是要求大幅度地降低运动估计的复杂度，而且运动 估计确实存在较大的优化空间。在一个实时的h2 6 4 编码器中，所有技术按照计 算量大小排序依次为”l 】：运动估计( 约占整个计算量的5 4 8 ) ，4 x 4 的帧内预 测编码( 占2 4 5 ) ，1 4 内插( 占9 9 ) ，d c t 变换( 占52 ) 等等，所占比 例如图2 9 所示。许多帧问模式选择算法之所以大大减少了编码时间就是由于减 少了模式判决的数量。帧内模式判决主要包括9 种4 4 模式和4 种1 6 1 1 6 模 式的预测选优。由于h 2 6 4 的帧间编码允许使用帧内模式，故帧间宏块模式判决 亦要比较帧内模式的编码效率，因此帧内模式判决也占有不少的复杂度比例。 图2 9h2 6 4 中各算法的复杂度百分比示例 所以，在本文中我们主要对帧内模式选择和帧间模式选择这两块占复杂度 锣 西南交通大学硕士研究生学位论文第1 4 页 比较大的模块来进行复杂度分级的研究。 2 5 算法性能测试方法 2 5 1 测试准则 对压缩后的视频质量进行评估是一件困难的工作，目前主要分为主观视频 质量评定和客观视频质量评定两种方式： 1 主观质量评定 主观质量评价主要时靠人眼的观察，根据主观感受来对视频质量进行打分。 由于个人的视觉系统( h v s ) 不尽相同，对视频的熟悉程度也不同，在评价过程中 容易产生许多主观随意性。为了减少主观随意性，在对视频图像进行主观评定 前，挑选若干名专家和“非专家”作为评委，共同利用5 或7 项评分法对同一 视频图像进行压缩编码的图像评定。主要评价标准如表2 2 所示： 表2 - 2 主观评价分数标准 c c i r 五级评分等级评分等级清晰度等级总体评价 测试方法可以用随机的次序请评委观察比较原始图像和压缩编码后的图 像。 2 客观质量评定 最常用的标准是峰值信噪比( p e a ks i g n a ln o i s er a t i o ，p s n r ) ，这种方式计算 简单且快速，因而它在视频压缩和解压缩的质量评估方面也是常用的方法，其 计算式如式2 1 。 咖一1 0 l 0 9 1 ( 三：二1 2 二( 2 - 1 ) 鼢：1 0 l o g l 。专争 其中m s e 的计算式为： 西南交通大学硕士研究生学位论文第1 5 页 m s e ( i , 舻面1 m 刍- i 豺n - i s ( m ) 一s 一。( 聊“力+ 州( 2 2 ) 表示原始和编解码后图像之间的均方误差，( 2 ”一1 ) 2 为图像中最大可能的信 号值平方，n 为表示每个像素比特数。 主观视频质量评价更接近于人的真实视觉感受，但不便于在实际中广泛应 用。客观视频质量评价方法虽然不是特别适合人的视觉感受，但能反映出大体 上的质量情况且便于实际应用。另外由于目前还没有一个公认的可以接受的客 观评价准则可以很好地反映主观质量，考虑到本文中实验的可比较性，本文主 要采用计算p s n r 值的方法对视频质量进行评价。 2 5 2 测试序列 本文测试序列的选择，综合了考虑视频序列的运动特性、摄像机的运动、 内容细节及背景类型等诸多因素。所有视频序列均选自i t u 推荐的测试序列， 涵盖了大多数视频内容的变化特性，下面介绍一下本文试验中主要用到的一些 视频序列： a k y i o 主体为一个女播音员，仅有嘴巴等部分的细节运动，但是背景不运动。 b u s 为街上跑动的汽车，主体部分有汽车剧烈的运动，同时背景部分也存在 不断的变动。 c r e w 为运动着的一群宇航员，他们在不断的做运动，背景部分也有一些运 动。 e r i c 中人物的头部和身体都在做运动。 f o r e m a n 中人物在运动，而背景变动不大。 f o o t b a l l 是一群跑动的运动员，并且背景也在不断的作切换。 这些序列具有较好的代表性，本文的算法试验将主要使用这几个测试序列 来进行有效性验证。 2 6 本章小结 本章主要介绍了h 2 6 4 标准的产生及编码结构为提高性能产生的一些新技 西南交通大学硕士研究生学位论文第1 6 页 术，分析了一个h 2 6 4 实时编码系统的各主要模块的复杂度分布，并介绍了本文 在验证算法时采用的测试准则和测试序列，为下面章节的算法效果验证作准备。 西南交通大学硕士研究生学位论文第1 7 页 第三章复杂度可分级的帧内模式快速预测算法 3 1m 中帧内预测编码模式选择算法 连续的视频图像序列中存在着多种冗余信息，主要是时域和空域冗余。帧 内预测编码是视频编码标准h 2 6 4 中采用的一项新技术。该技术在传统的帧内编 码技术的基础上，充分考虑了图像在局部空间上的高度相关性，并利用这种空 间相关性进行预测，去除图像的空间冗余性。尤其是在变化平坦的区域，利用 帧内预测可以取得很好的效果。去除了冗余信息后再对预测残差图像经行变换 编码，有效的提高了编码效率。 亮度分量的帧内预测分为i n t r a 4 x 4 和i n t r a l 6 x 1 6 两种模式。其中i n t r a 4 x 4 模 式下，整个宏块被等分成1 6 个独立的4 x 4 子块，对每个要编码的4 x 4 子块选择 9 种预测模式中的一种作为它的最佳帧内预测模式进行预测编码。而在i n t r a1 6 1 6 模式下提供了4 种预测，整个宏块作为一个整体利用相邻宏块的像素进行 预测。对于宏块色度分量的帧内预测与i n t m l 6 x 1 6 模式相似，不同的是色度分 量为两个8 x 8 固定大小的块，色度块的d c 编码模式与i n t r a l 6 x 1 6 的d c 编码 模式顺序在各自模式集合中分别定义为模式0 和模式2 ，在对两个色度块( u ) 进行帧内预测时，编码器要选择两个色度分量中预测误差最小的那个模式作为 整个色度分量的最佳预测模式。 i n t r a 4 x 4 模式由于块尺寸小，适合于细节丰富的区域；i n t r a l 6 x 1 6 模式由于 块尺寸大，适合于图像中的平坦区域。帧内预测的基本原理：在对某一图像块 进行处理时，其部分相邻的图像块已经编码，并解码得到重建图像。然后，根 据相邻块重建图像的像素值，对当前块的像素进行预测得到预测图像块。原始 图像块与预测图像块进行相减得到残差图像块。最后对残差进行变换，量化， 熵编码得到码流数据。 j m 算法流程： ( 1 ) 对于1 6 1 6 帧内预测模式建立相应的帧内预测块。 ( 2 ) 计算预测1 6 1 6 块和原始1 6 1 6 块之间的s a d ，以及相应的编码比特率。 ( 3 ) 计算该模式的率失真开销r d c o s t 。 ( 4 ) 重复以上1 3 步，遍历所有的4 种1 6 x 1 6 帧内预测模式。 西南交通大学硕士研究生学位论文第1 8 页 ( 5 ) 选取具有最小率失真开销的模式作为最佳预测模式。 ( 6 ) 按类似的方法遍历9 种4 x 4 宏块的帧内预测模式并计算相应的宏块r d c o s t ， 选取最小的模式为最佳4 x 4 模式。 ( 7 ) 对宏块中1 6 个4 x 4 块重复以上步骤，获得每一个4 4 块的最佳模式和相 应的i m o c s t ，进而获得该宏块的总r d c o s t 。 ( 8 ) 根据5 和7 中最小的宏块r d c o s t ，判断亮度宏块采用4 x 4 或1 6 x1 6 帧内预 测模式。 ( 9 ) 对每一种8 8 色度宏块的帧内预测模式( 两个色度宏块使用相同的模式) 计 算相应的r d c o s t ，并重复以上1 8 ，获得相应的宏块组合r d c o s t 作为该宏块组 合的最佳帧内预测模式。 其中r d c o s t 计算式为： j ( m ，丸嘲) = s a d ( s ，c ( 聊) ) + 厶。咖幸r ( m p ) ( 3 1 ) 其中，j 代表率失真开销；m = ( 聊，m ，) 7 为运动向量，p = ( p ，p ，) r 为中值预 测的运动向量；用于进行矢量的差分编码k 咖为拉格朗日乘数；s ，c 分别代表 原始块和重建块；r ( m p ) 指出运动向量差分编码的比特数，可以通过查表获得。 mn s a d ( i ，) = i f k ( m ，刀) 一五一。( 聊+ f ，n + j ) l ( 3 2 ) 月= ln = l s a d ( s u mo f a b s o l u t i o nd i f f e r e n c e ) 表示误差绝对值，其中当前帧为五，石一i 为参考帧，正( m ，r ) 为当前帧位于( m ，n ) 的像素值，i ，j 分别为水平和垂直方向 的偏移量。 3 2 帧内预测编码的复杂度分析 亮度的帧内预测编码分为4 x 4 ( 简称1 4 ) 和1 6 x1 6 ( 简称1 1 6 ) 两种块模式。其