（信号与信息处理专业论文）h264标准中运动估计的优化与编解码器的dsp实现.pdf

摘要 h2 6 4 是i t u t ( 国际电信联盟) 在阻2 6 3 基础上制定的新的低码率视频编码标准。h 2 6 4 采刚 了整型d c t 变换、先进的帧内预测、基f 上f 文的自适应算术编 i e 5 、1 4 ( u 8 ) 象素精度的运动估计、 7 种不同尺寸的块匹配模式等先进的编码技术。与h 2 6 3 等视频编码标准相比，托相同的码率下， 2 6 4 具有更佳的圈像质量，这使得h2 6 4 在无线通信、网络传输等低码率视频廊用领域得到更为 广泛的应片j 。 论文首先对h 2 6 4 视频编码标准做了详细的介绍，然后着重对h 2 6 4 的运动估计的优化方法进 行了讨论。 h 2 6 4 编码器具有优良的编码性能，但这是以增加编码运算的复杂度为代价的。为加快h2 6 4 编 码器的运行速度，我们对其中的运动估计部分进行了优化。首先介绍了运动估汁的基本方法，然后 洋细讨论了改进的运动估计算法以及所涉及到的各i 女技术。这包括运用快速整象素搜索算注、利用 整象素运动估计的s a d ) ( s u mo fa b s o l u t eo i f f e r e n c e ) 值来预测l 4 象素精腰运动估计的s a d 值 以及通过全零块判断的方法简化匹配块的选择。测试结果表明，在对图像质量影响不犬的条仲h 优化算法提高了h 2 6 4 视频编码程序的运行速度。 接着以闻亭公司的d 1 6 4 1 6 图像处理平台作为开发平台详细讨论了将h 2 6 4 视频压缩标准的 j m 73 实现方案移植到d s p 平台的过程。在该平台上实现了h 2 6 4 算法的b a s e ii n ep r o f i 】e 的编 解码器，同时在d s p 环境下对解码器进行了分析和部分优化。 最后，论文对工作进行了总结，并对f 一步工作提出了建议。 关键词：h 2 6 4 ，视频编码，运动估计d s p ，优化 a b s t r a c t b a s e do nh2 6 3 ，h2 6 4i st h el a t e s ti o w - b i t r - a 抽d i g i t a lv i d e oc o m p r e s s i o ns t a n d a r dc o n s t i t u t e d b yt h ei t u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n ) c o m p a r e dw i t hi t sp r i o ro p p o n e n t sh2 6 4 h a sm u c hb e t t e rq u a l i t yo w i n gt ot h ea d o p t i o no fa d v a n c e dc o d i n gt e c h n i q u e ss u c ha si n t e g r a l d c t , c o n t e x t _ b a s e da d a p t i v ea r i t h m e t i cc o d i n g ( c a b a c ) ，i n t r ap r e d i c t i o n ，1 4p i x e la c c u r a c y m o t i o ne s t i m a t i o na n ds e v e nk i n d so f m a t c h i n gb l o c k s s oh2 6 4 h a sam u c hb r o a d e r f o r e g r o u n di na p p l i c a t i o n ss u c ha sw i r e l e s sc o m m u n i c a t i o na n dv i d e ot r a n s m i s s i o no v e rt h e n e t 、o r k s t h i sd i s s e r t a t i o nf i r s tg i v e sad e t a i l e di n t r o d u c t i o no ft h es t a n d a r dh 2 6 4a n dt h e np u t sg r e a t e m p h a s i so nt h eo p t i m i z a t i o no fm o t i o ne s t i m a t i o n | nh 2 6 4 h2 6 4a c h i e v e sb e t t e rp e r f o r m a n c e sa tt h ec o s to fal a r g e rc o m p u t i n gc o n s u m p t i o nt o i m p l e m e n th2 6 4i nr e a l - t i m ea p p l i c a t i o n sw em u s to p t i m i z et h em o t i o ne s t i m a t i o na l g o r i t h ms oa s t os p e e du pt h ec o d i n gp r o c e s s t nt h i sd i s s e r t a t i o n ，t h eg e n e r a lt e c h n i q u e so fm o t i o ne s t i m a t i o n a r ef o l l o w e db yad e t a i l e dd i s c u s s i o na b o u tt h eo p t i m i z a t i o nm e t h o d sa n dt h er e l a t e d k e y t e c h n o l o g i e s 。i n c l u d i n gi n t e g r a l p i x e lf a s ts e a r c h i n ga l g o r i t h m s 。l 4 - p i x e tf a s ts a d ( s u m so f a b s o l u t ed i f f e r e n c e ) p r e d i c t i o na n dm o d i f i e db l o c k - m a t c h i n gm e t h o d t h et e s tr e s u l t ss h o wt h a t t h eo p t i m z e da l g o r i t h m sh i g h l ys p e e du 口t h eh 2 6 4c o d i n gp r o g r a mw h i l em a i n t a i n i n gt h ev i d e o q u a l i t y b a s e do nw i n t e c hd i g i t a l sd a m 6 4 1 6 ，t h et r a n s p l a n t i n go ft h eh 2 6 4m o d e lj m 7 3f r o mp ct o d s pi st h e nd i s c u s s e di nd e t a i l o nt h i sd s pd e v e l o p i n gp l a t f o r m w eh a v ei m p l e m e n t e dt h e b a s e l i n ep r o f i l eo fh 2 6 4s t a n d a r d a n de m p h a s e sa r ep u to nt h ea n a l y s i sa n dp a r t i a lo p t i m i z a t i o n o ft h ed e c o d e r f i n a l l y , as u m m a r yo ft h ea c c o m p l i s h e dw o r ka n dt h ep r o s p e c t i n go ff u r t h e ro p t i m i z a t i o n sa r e a l s op r e s e n t e di nt h ed i s s e r t a t i o n k e yw o r d s ：h 2 6 4 ，v i d e oc o d i n g ，m o t i o ne s t i m a t i o n 。d s p , o p t i m i z a t i o n 东南大学学位论文独创性声明 本人声嘶i 呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 开究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学何或证f _ 而使用过 的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：立埋空 日期：塑兰生! ! 旦垫日 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：圭堡叁导师签名： 日期： 黑筮塑 丛玺! ! 且! ! 目 旃章结论 1 1 背景与历史 第一章绪论 随着v l s i 、计算机和通信技术的迅猛发展数字化技术越来越深刻地影响着人们的 = j 常生活。 人们对信息的需求已不局限于传统的电报电话业务，甚至连文件传输、电子邮件等数据业务也已不 能满足人们多样化的需求，人们现在j f | 望的是更高品质的集视频、图像、声音、文字为一体的多嫌 体应用服务。然而，数字化在满足人们需要的同时，对数据传输带宽、数据存储容量等提出了更高 的耍求。对于多媒体信息特别是对图像数据和视频数据，这种情况更为严重，例如，按c c i r 6 0 1 建 议，普通质量的电视信号数字视频的码率约为2 1 6 m b i d s ，而高清晰度电视h d t v 则在l2 g b i l j s 以 上。因此，研究和发展新型有效的图像压缩编码方法，以压缩过的形式存储和传输这些数据足最好 的解决选径。 对于视频编码的研究虽然早在二十世纪四十年代就已经开始，但视频编羁技术的实用化t o 产业 化一商到二十世纪丸十年代才得以实现。 这主要有两方面的原因，一方面，视频编码技术由发展到成熟是一个长期的过程，如表i l 所示。 表1 一i视频编码技术的发展 1 9 4 8 年 提出电视信号数字化 5 0 、6 0 年代 对帧内预测、采样复原算法进行研究 1 9 6 8 焦提出变换编码 1 9 6 9 伍进行线性预测编码的实验 7 0 年代对帧间预测进行研究 8 0 年代对运动补偿进行研究 1 9 9 0 年通过h2 6 1 视频编码标准 1 9 9 2 年 通过m p e g l 视频编码标准 1 9 9 4 年 通过m p e g 2 视频编码标准 1 9 9 6 正通过h 2 6 3 视频编码标准 1 9 9 8 证通过m p e g 4 视频编码标准 2 0 0 1 经通过m p e g 7 多媒体内容描述接口标准 2 0 0 3 年 通过h 2 6 4 视频编码标准 另一方面，视频编码技术的发展还受到硬件发展水平的制约，只有在硬件的数字处理功能足够 强的时候，数字视频编码算法才可能由理论变为现实。通常，在一块c p u 芯片上集成的晶体管数目 越多，c p u 芯片的运算处理能力就越强，表1 2 显示了单个芯片上集成的晶体管数目的增k = ， 表1 - 2 集成电路技术的发展 1 9 7 1 年第一块微处理器4 0 0 4 ，大约3 0 0 0 个晶体管 1 9 7 4 焦8 位微处理器8 0 8 0 ，大约9 0 0 0 个晶体管 1 9 7 8 拄 1 6 位微处理器8 0 8 6 ，大约5 万个晶体管 1 9 8 1 年 8 0 2 8 6 ，1 2 ，5 万个晶体管 1 9 8 6 矩 3 2 位微处理器8 0 3 8 6 ，5 0 万个晶体管 1 9 8 9 矩 微处理器8 0 3 8 6 ，1 2 0 万个晶体管 1 9 9 3 年高性能p e n t i u m 微处理器，3 1 0 万个晶体管，包括m m x 指令集 东南大学硕士学位论文 第一蕈锗论 】9 9 7 年p e n t i u m1 i 微处理器，7 5 0 万个晶体管 1 9 9 9 年p e n t u r ni l l 微处理器。2 4 0 0 万个晶体管，包括s s e 指 令集 2 0 0 0 证p e n t i u m 4 微处理器。4 2 0 0 万个晶体管，包括s s e 2 指 令集 2 0 0 3 正 第块? 岛位微处理器a m d a t h l o n6 4 大约1 0 6 0 0 万 个晶体管 到了上世纪九十年代，随着以d c t 变换、帧问预 炙i 、熵编码为特征的混合编码技术逐渐j ，k 熟以 及高性能数字处理芯片的发展，数字视频通信才得以走向实用。 1 2 视频压缩编码技术的基本原理 数字视频信息可以进行压缩，首先是因为视频序列本身在时间、空问上是高度冗余的，去除相 同信息的重复表示可以大大减少信息的发送量从而实现数据压缩。通常，视频数据本身存在这 样几种冗余： ( 1 ) 空间上的冗余：视频图像弼一帧内相邻象素之间存在着根大的相关性，研究表明，图像帧内 的行、列相邻点之间的相关性可以达到0 9 以上： ( 2 ) 时间上的冗余：视频序列前后帧之间存在着较大的相关性，研究表明，活动图像相邻帧尉 位置上前后样值的相关性( 帧间相关性) 也达到0 , 9 以上。有人统计了1 m b p s 的可视电证，发现前 后相邻帧平均只有4 的象素发生变化； ( 3 ) 符号表示上的冗余：根据信息论，使删相同的码长来表示不同概率出现的符号会造成比特数 的浪费、熵的增加。 对数字视频信息进行压缩，还可以利用人眼的视觉特性。在许多情况下，人眼彳芋往是图像信息 的最终接收者而人的视觉系统( h u m a nv i s u a ls y s t e m ，h v s ) 对于某些失真并不敏感。肌么，即使 处理后的图像产生了一定程度的失真，只要人眼对于这些失真并不敏感，那么，这些失真就是可以 接受的。因此，可咀利崩这些特点对图像进行可以获得较太压缩比的有限失真编码。例如，人胀对 颜色的空间分辨率低于对亮度的空间分辨率，就可以利用这一点把输入色度信号的空间分辨率减半， 而不会影响人眼观察到的图像质量；再比如，人眼对于静止图像的分辨率高于活动图像，利用这 特点，在进行帧问帧编码时，量化因子可以适当加大，以增加压缩比，对于由此引起的t 帧问帧的细 微差别，人眼不易察觉。 此外，还可以利用先验知识进行编码，印模型编码，实际上利j j 的是知识的冗余度。利用对象 的先验知识对编码对象建立模型，通过提取模型参数，对参数进行编码而不对图像直接进行编码， 可以得到菲常高的压缩比。在一些语音编码技术中已经采用了模型编码，然而，由于图像对象固有 的复杂性图像编码技术要发展蓼l 模型编码这一步，还有很多的东西需要研究。【1 1 【2 1 一般来说，图像编码的过程就是充分利用视频序列本身的冗余度、人眼的视觉特性进行数据压 缩的过程，可以概括为三个步骤，即映射变换、量化和熵编码。 映射变换的目的在于利用图像数据时间、空间上的冗余度，通过变换改变图像数据的相关特性， 使之有利于压缩编码。例如图像数据褶邻象素之间有很大的相关性相邻象素的灰度差总楚分布存 零值附近，灰度差值的标准差比原始图像的标准差要小得多，圆而，可以通过预测把对灰度值的编 码转换为对灰度差值进行编码，这样所需要的比特数比较少。 量化是利用人眼的视觉特性，综合考虑视觉需求和数码率的限制，对映射变换后的数据进行冉 压缩。量化分为两种，一种是标量量化，就是对映射后的数据逐个进行量化，另一种是矢量量化， 是对映射后的数据成组的进行量化。量化会造成某些信息的丢失，量化器的引入是图像编码产生失 真的根源，进行量化过程以后的编码是有损编码。失真和压缩比是进行图像压缩的一对矛盾。在大 多数情况下，人是图像信息的最终接受者，如果把量化以后的失真控制在主观质量允许的范围以内 东南大学硕士学位论文 第一章鳍论 耶么，这样的量化是可以接受的。 熵编码的作用在于消除最后符号表示时的符号冗余度，它，般刁；产生火真，理想的情况足使输 出码流的平均码长等于量化后数据的信息熵。 以上三个过程是互相联系互相制约的，数据压缩就在于灵活运 三种编码技术，礼：保h i ：一定主 观图像质量的前提下，得到尽可能大的数据压缩比。 i 3 基于视频压缩技术的编码器 综合以上几种编码技术h 2 6 l 虽早提出了基于“d c t 变换+ 块匹配十熵编码”的实片j 的混合编 码框架，原理框图如图l l 所示。以后的许多视频编码标准如h2 6 3 、m p e g l 、m p e g 2 等都是以 h2 6 i 混合编码框架为基础加以改进后形成的。它们的原理框圈与h2 6 1 相比虽然有所m 荆，但基本 框架仍然是以熵编码、块匹配、d c t 为基础的压缩算法。可以说，h 2 6 1 的编码器结构框图具有视 频编码器结构框图的一般性，具有普遍的意义。 图i - lh 2 6 i 编码器原理框图 通常，实际的流程与原理相比，考虑的东西也更多一些。为了有效地进行图像编码，在h 2 6 i 中，把需要处理的视频序列分为1 帧( 顿内帧) 、p 帧( 帧闻帧) 两种，l 帧进行帧内编码，井作为p 帧帧间预测的参考，p 帧则是综合利用了帧内和帧问两种编码技术，对活动图像进行压缩。 对于输入的视频序列，第一帧总是作为i 帧进行帧内编码，目标是去除图像的宅间冗余度，并作 为以后p 帧帧问预测的参考基准。理论上，k - l 变换是最优的正交变换，它可以完全消除图像子块 内部象索间的相关性，然而，k - l 变换的变换基是不确定的，与编码对象的统计特性相关，这使得 k l 变换的实际应用很不方便。同样的，考虑到视频图像实时编解码的需要一些压缩率虽嵩但计 算复杂度高的算法也不宜采用。d c t 变换在相邻数据高度相关时效果接近丁二k l 变换，同时d c t 变换是实数运算，有确定的变换基，具有快速算法。图像数据相邻象素之间恰好具有高度的相关性， 因此d c t 变换广泛应用于图像编码。考虑图像中子块的划分，过小的子块划分，4 ：利于压缩比的提 高，而过大的子块划分，又会使计算复杂，综合以上因素。在h 2 6 1 中，把图像数据划分为1 6 1 6 的宏块，而在进行变换编码时，进一步把一个宏块分割为四个8 x 8 数据块，分别对8 8 数据块进 行d c t 变换。 仅仅依靠帧内编码，压缩比的提高还是有限的，通常，帧内编码的压缩率只有2 0 ：i ，好的情况 东南大学硕士学位论支 第章结论 也只有4 0 ：l ，这样的压缩比对于数据餐庞夫的视频图像仍然是不够的。考虑刘图像序列存在：着很夫 的h , i 间冗余度，i r 以利用前面己知的图像啊j 对后面的图像帧进行预测然后州其尊值编日，这就是 帧问编码。 对于第二帧开始的图像，除了因为积累误差，不能满足图像质鞋要求而没为帧内帧的情况外， 一般设为帧问帧进行帧间编码，以取得最火的压缩比。把经过编码然后重建的数据帧作为参考帧， 将帧间帧划分为1 6 1 6 大小的宏块，然后与参考帧的数据进行比较爿书e 与当前宏块最匹配的数据 块。如果满足当前帧象素是由参考帧象素经过二维平移形成的的假定，那么，只要已知当前帧蒙素 相对参考帧象素的位移大小，就可以由参考帧对肖前帧进行重构。虽然从整个阁像帧米说这样的 假定不容易满足，但对于图像帧内局部的数据块，这样的假设常常是满足的。这样对于满足上述 条件的数据块，只需要传输表征当前数据块与参考帧对应数据块z 闻的运动矢量就可以_ r 。 利用帧阃编码可以有效地对视频序列进行数据压缩，通常，l k 缩比可以达到1 0 0 ：i 。i l l l 2 1 4 低码率视频编码压缩标准的发展与现状 当前制定视频压缩编码标准主要有两个国际标准化组织，一个是国际电信联盟( 1 m e m a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，i t u ) ，它主要进行与通信相关的低码率视频压缩标准的制定，如h2 6 l 、 h2 6 3 、h 2 6 4 等：另一个重要的机构是国际标准化组织( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ， i s o ) ，它主要进行多媒体信息的存储与播放标准的制定，其中既包括对于视频信息的压缩与播放， 也包括对于音频信息的存储与传输，如m p e g ，1 、m p e g 2 、m p e g 4 。 1 4 1h 2 6 l 从1 9 8 6 年起i t u 、i s o 等国际组织就致力1 二制定图像压缩编码的通用标准。最窀玎的标准是根 据特定的应用而制定，例如，1 9 9 0 年1 2 月通过的h 2 6 1 标准主要针对会议电视和可视电话，h2 6 l 标准的全称是“p 6 4 k b p s 视听业务的视频编解码器”，其中，p = 1 3 0 ，也就是说可以实时传输码 率从6 4 k b p s 到i 9 2 m b p s 的视频信号。 h 2 6 1 支持两种y u v 格式( 图像信号用一个亮度分量和两个色度分量进行表示) 的输入图像， 它们分别是c i f 格式和q c i f 格式，具体情况如表l 一3 所示。 表1 3h 2 6 1 支持的视频编码图像格式 c i f q c i f 每行象素亮度分量 3 5 21 7 6 色度分量 1 7 68 8 每帧行数亮度分量 2 8 81 4 4 _ 。h 色度分量 1 4 47 2 帧率 3 0 ，1 5 ，1 0 ，753 0 ，1 5 ，l o ，7 5 宽高比 4 ：34 。3 在h2 6 l 中，一帧图像不是直接划分为宏块进行编码而是首先划分为宏块组( g o b ) ，每个宏 块组包括3 1 1 个宏块。对于c i f 格式，每帧圈像由1 2 个g o b 组成，每个g o b 由3 3 个宏块组成， 如图i 2 、1 - 3 所示。 东南太学硕士学位论文 d 絷章绪论 t 。一 3 5 2 一 l g o b tg o b 2 g o b 3：o 嬲 g o b 5g ( 嬲 谗 g o b 7g 饿琳 g o b 9g o b l o 6 0 1 3 6 0 8 1 2 ，r 圈1 - 2 帧与宏块组的关系 帧图像 、 l f o r tl 国l2345678 l 9 l 1 0ii l 4 8 1 21 31 41 51 61 71 81 9l 2 0 2 l1 2 2 0 2 32 42 , 52 62 72 82 9： of3 ll3 23 3 il 阁l 一3宏块组与宏块的关系 在h ，2 6 l 中，帧间预测采用以1 6 1 6 宏块为基础的块匹配算法，运动估计和运动补偿以1 6 1 6 宏块为单位进行，块匹配算法的精度限制为整象素。 h 2 6 1 视频编码标准的初衷是希望可以用于低码率视频上不过，h 2 6 1 在低码率编码上的实际 应用并不令人满意，现在己完全被h 2 6 3 所取代。 1 】【3 】 1 4 2h 2 6 3 1 9 9 6 年3 月通过的h 2 6 3 标准是在h2 6 1 的基础上加以改进而形成的，可用于甚低码率( 小于 6 4 k b p s ) 的信遭。当然，h 2 6 3 也可以埔于大于6 4 k b p s 的信道，能够获得比h 2 6 l 质量更好的复原 图像。 h 2 6 3 编码的基本框架与h 2 6 l 十分相似不同之处在丁： ( 1 ) h 2 6 1 仅支持q c i f ，c i f 格式，而h 2 6 3 支持更多的圈像格式，包括s u b c 1 f ，q c i f ，c i f ， 4 c i f ，1 6 c i f 五种图像格式，这使得h 2 6 3 的应用范围更加广阔见表1 4 。 袁1 4h 2 6 3 支持的图像格式 s u b c i f q c i f c i f4 c i f1 6 c i f 象素9 7 1 2 81 7 63 5 27 0 41 4 0 8 行数 9 61 4 42 8 85 7 6 1 15 2 ( 2 ) h 2 6 3 的g o b 格式与h 2 6 t 不同。h 2 6 1 中，每个g o b 包括3 1 1 个宏块，而在h2 6 3 中 每个g o b 包括k 1 6 行象素，k 由图像分辨率决定，对于低分辨率的s u b c i f ，q c i f ，c i f 格式 k = t ：对于分辨率较高的4 c i f ，k = 2 ，1 6 c i f ，k = 4 。这样，每帧中的g o b 数，在s u b c i f 中为6 在q c i f 中为9 ，在c i f ，4 c i f ，1 6 c i f 中为1 8 。 东南大学硕士学位论文 第一蕈纬论 ( 3 ) 在h 2 6 3 标准中，町以采用摹r1 6 1 6 宏块和8 8 数据块为基础的运动估计，块匹配算波 可以达到半象素精度，因而具有更佳的匹配精度。 由于采取丁f ：述改进h ，2 6 3 与h 2 6 i 相比，在性能上有较大改进。在小y - 6 4 k b p s 时，h2 6 3 的 f s n r ( 峰值信噪比) 比h2 6 1 要减小3 4 d b 。换句话说，在相同的质量下，所用比特数与h2 6 1 相比减少5 0 以i ：。 h 2 6 3 除了基本模式外，迂可以青选择地使用4 种高级模式( p b 帧模式，贡叠块运动补偿模式 大运动矢量模式，基于上下文的算术编码模式) 选用它们可以进步提高压缩效率、改善斟像质 量，如表i 5 所示。 袭l 一5h2 6 3 的可选模式【3 】【4 】【5 】 可选模式主要内容作用 在h 2 6 3 基本模式下，运动矢量对应的参考块必须定义在参 考帧内，而在此模式中，运动矢量可以指到图像边界以外， 大运动矢量当参考块的象素落在参考帧的边界之外时，就采用参考帧边提高压缩效 模式( 附录界上的象素值进行替代。同时，大运动矢量模式也增加了运率，增强抗 d ) 动矢量的表达范嗣，在基本模式下，运动矢量的表示范围是 错能力 ( 一1 6 ，1 5 5 ) ，而在启用此高级模式后，运动矢量的表示范围 扩大到f 一3 1 5 ，3 1 5 ) 。 义称为先进预测模式，基本模式下，h ，2 6 3 和h 2 6 1 一样， 仅用一个运动矢量来表示一个1 6 1 6 宏块的运动。考虑到 重叠块运动 利用h 2 6 3 处理s u b q c i f 、q c i f 图像时，由于图像较小， 补偿模式( 附 在1 6 x1 6 数据块内往往出现边界，此时，由于块内运动不提高压缩效 一致，使得运动补偿效率下降。而在此模式下，把一个1 6 l 录f ) 1 6 宏块划分为四个8 8 块，使用4 个运动矢量分别表示 宏块中4 个8 8 块的运动，从而提高了运动补偿的效率， 使帧间预测更加精确。 h 2 6 3 中p b 帧模式源于m p e g 标准，但与之相比，做了大 p b 帧模式 量的简化。在此模式r ，使用b 帧对前面和后面的参考帧分 提高压缩效 别进行比较粗糙的前向和后向预测。可以在只增加少量比特 ( 附录g ) 数的情况下，将帧率提高一倍，也就是时间分辨率增加一倍， 但与h 2 6 3 基本模式相比，运算的复杂度增加了不少。 基于语法的 在h 2 6 1 中，符号编码采用h u f f r o l a n 编码，也就是每个符号 算术编码模 采用整比特数编码。而采用算术编码，可以减少符号表示的提高压缩效 冗余，有助于降低比特率。一般情况下，可以降低比特率约 式( 附录e ) 5 。 1 4 3t t 2 6 3 + 和h 2 6 3 + + 为了进一步改善h 2 6 3 的性能，v c e g ( 视频编码专家组) 提出了近期、远期两个目标。近划目 标是通过增加一些可选的操作模式，对h2 6 3 进行局部改进。1 9 9 8 年1 月，i t u t 公布了h2 6 3 视 频编码标准第二版( 又称为h 2 6 3 + ) 。h 2 6 3 + 与h 2 6 3 相比，改进了一个可选模式( 大运动矢璧模 式) ，另外又新增了了1 2 个可选的参考模式，采用这些模式，可以使h 2 6 3 原型编码器在压缩码率， 抗错能力，可扩展性方面获得更佳的性能，如表1 - 6 所示。在2 0 0 0 年1 1 月，i t u t 又公布ri 2 6 3 视频编码标准第三版( 又称为h 2 6 3 + + ) ，与h 2 6 3 + 相比，又新增了3 种可选的高级模式，以进一步 改善性能，如表l - 7 所示。 东南大学硕士学位论文 6 第一摹绪论 表1 - 6h 2 6 3 + 的可选模式 4 1 1 6 1 1 7 1 1 8 1 1 9 】 可选模式主要内容 作用 这是在h2 6 3 标准中就已经存在的一个可选模式，往 h 2 6 3 + 里酝，对此可选模式做了改进。侄h2 6 3 中，采 用大运动矢量模式可以使得所表示运动矢量范围增加 一倍，也就是从 3 1 5 ，3 1 5 ，而且允许运动矢量指向图 提高压缩效 大运动矢量模像外部，此时，落在图像外部的象素值由边界处的象索 式( 附录d )值进行代替。而在h2 6 3 + 中，采用了可逆的可变长编码 率，增强抗错 这样，编码的码流既可以按正常顺序进行解码，也町以 能力 按相反顺序进行解码，这种改进虽然增加了一些比特 数，但是可以有效地控制误码的扩散，提高h2 6 3 码流 传输的稳定性。 图像内部相邻象素之间存在很大的相关性，利用已知的 先进帧内编码 相邻块中的象素对当前块中的象素进行预测，只对预测 的差值进行d c t 变换，将可以得到更多的全零系数。 提高压缩效 模式( 附录i ) 益 如果是帧内宏块较多的情况，此模式将可以显著地减少 需要编码的数据量，提高编码效率。 由于编解码以8 8 块的形式进行，当量化步长较大时， 块与块之间会出现亮度和色度的明显的不连续性，这就 去方块效应滤 是方块效应。此时，如果在4 个亮度块和2 个色度块的 波器模式( 附边缘引入去方块效应滤波器，将有助于改善图像质量， 改善图像质 录j )对于运动比较剧烈的视频。去方块效应模式可以极大地 减少重构图像的方块效应，而对于运动比较迟缓的卒见 频此模式作用有限。 在此模式中，图像中的宏块不再采取g o b 那样的嘲定 子图模式( 附组合，而是根据需要自由地组合在一起，子图的形状可提高抗错能 录k )以是矩形，也可以是其它形状。子阁的信息头具有重同j j 步标志，从而可以提高码流抗干扰的能力。 补充的增强消 在此模式下，编码器传送一些额外的信息给解码器，如 息模式( 附录 果解码器不支持这些信息，可以忽略这些额外的消息。扩展应用范 如果解码器支持这些附加信息，就可以对已经解码的视丽 l ) 频帧进行一些特殊的操作。 也称为i p b 帧模式在基本模式下，b 帧只可以进行般 增强的p b 帧 向预测，这样，当视频序列前后两个p 帧间差别较大时， 就可能引起较大的误差。而在此模式中，b 帧允许作前 提高压缩码 模式( 附录m ) 盎 向、后向、双向预测。这样，b 帧可以选择相对误差较 小的p 帧来进行预测，从而提高预测精度，压缩效率。 在此模式下，可以选择特定的帧来预测当前帧如果祝 参考帧可选模 频序列是在两个差别较大的场景之间来回切换，就町以提高压缩码 选择使用同一场景下最新一帧来预测当前帧，从而提高率，增强抗锚 式( 附录n ) 编码效率，但此模式需要编解码器有足够的缓存区乃保 能力 存格外的图像帧。 空间、时间、编码的分级性有助于改善信号对信道状况的适应能力。 提高编码器 信噪比可分级例如，当信道质量较好时，可以通过传送较多的比特以对信道的适 模式( 附录o )获得更好的图像质量，而当信道质量恶化时，可以丢掉应能力 东南大学硕士学位论文 第晕绪论 增强层码流，只传输基本层码流，这样，系统仍然可以 获得一定质量的图像，而不会产牛图像帧传输的明显的 延时。 在参考帧用于预测以前对参考帧进行一次变换这对丁 参考帧重建模 具有不同格式的视频序列是有用的，特别是当预测对象改善图像质 式( 附录p ) 进行些三维运动或者扭曲变形时，罪可参考帧重建算 法对于保证预测的精度尤其有效。 降低分辨率更 在背景很细致而前景运动很激烈的情况下，这种模式很 新模式( 附录 有用。它允许编码器以较低的分辨率传送运动信息，然扩展戍用范 后在解码端进行合成，这样，在输出端就可以维持较高围 q ) 的分辨率。 在此模式下，图像被分成若干段运动估计只能在段内 段独立解码模 进行，这就大大降低了误码在不同段之间扩散的机会，增强抗错能 式( 附录r )适合应用在干扰强的地方，通常可以与子图模式联台使刀 用。 帧间v l c 选择在此模式下，帧间宏块可以采用先进帧内编码模式中设 提高压缩码 模式( 附录s )计的v l c 表，从而进一步降低码率。 塞 在h 2 6 3 基本框架下，摹本模式下，相邻宏块使用的量 修正量化模式 化步长之差不超过2 ，修正量化模式则突破这个限制， 允许自由调整量化步长。同时，此可选模式提供了更好 改善图像质 ( 附录t ) 量 的色度最化器，可以提高图像颜色质量，扩展丁码字所 能表达的d c t 系数的范围，有助于改善图像质量。 表l - 7h 2 6 3 + + 的可选模式 4 1 1 6 1 1 7 8 可选模式主要内容 作用 增强参考帧可 提高压缩码 选模式( 附录 提供了两个子模式用以减少参考帧选择模式所需要的 格外的内存量。 率，增强抗错 u ) 能力 在此模式下，图像以帧为单位，将其中所有宏块的头信 息集中在一起，接着是所有宏块的运动矢量，晟后是所 有的d c t 系数，这三段数据之间用特殊标记隔离。这 数据分割模式 种做法的好处是：容易确定误码位置及其性质，便于分 ( 附录v ) 级保护数据，一般而言，头信息和运动矢量比d c t 系 增强抗错能力 数更加重要，对于它们采用可逆变长码，可以有效地增 强码流的抗误码能力，而剥丁其它d c t 系数，基于减 少码字的原则仍然可以采用通常的变长码。 附加的增强信 息模式( 附录 在此模式中，h 2 6 3 + + 对h 2 6 3 + 中的增强信息模式做了 一些新的改进。 扩展应用范围 w ) 1 4 4h 2 6 4 随着技术的发展和人们需求的提高，对视频编码的压缩率、容错能力、灵活性、可扩展性、幽 像质量提出了更高的要求为了使h 2 6 x 系列适应新的形势，i t u t 的v c e g 专家组对h 2 6 x 视频 编码标准作了进一步的改进，远期目标就是新的低码率视频压缩标准h 2 6 4 。 东南大学硕士学位论文 第一章铺| 1 9 9 8 年1 月v c e g 专家组提出了h2 6 l 建议，于f _ 始征求“泛的意见；1 9 9 9 年1 ，j v c e g 家组给 rh2 6 l 的第一个测试摸犁t m l 1 ，公开进行测试和改进。2 0 0 0 年6 月，v c e g 家纠给 出rh2 6 1 ，新的测试模型f m l 8 。 随后稚2 0 0 1 年，m p e g 专家组也汲可了h2 6 l 标准的发展潜力，并且与v c e g 台作成讧了联台 视频专家组( j o i n tv i d e ot e a m ，j v t ) 共同致力丁新标准的研制。2 0 0 3 年5 月该新标准正式推出， 定名为h 2 6 4 m p e g 4p a n1 0 ，官方的衅法是先进 见频编码( a d v a n c e d v i d e o c o d i n g ，a v c ) 。f 1 0 l 最初，v c e g 专家组希望在h 2 6 3 基础上发展起来的新的甚低码率视频编解码标准h 2 6 4 具有这 样几个优点： ( 1 ) 低比特率，实时，低延迟： f 2 ) 复杂度低，可用软件实现； ( 3 ) 抗错能力强，可埔于误码率较高的移动网络环境： ( 4 】自适应的码率控制机制： ( 5 ) 信息源格式可变，适庶范围更广。 为了达到上述目标，v c e g 等家组对h 2 6 3 的编码框架进行了一系列的改进，一方面，h2 6 4 把 h2 6 3 + 、h 2 6 3 + + 中一些已经证明行之有效的可选模式作为h 2 6 4 中的基本模式固定下来，如先进帧 内预测模式、基于上f 文的算术编码模式等：另方面，h 2 6 4 又加入了些新的研究成果，例如 可选的1 4 ( 1 8 ) 象素的运动估计、多模式的运动矢量估计、4 4 的整型d c t 运算等，从而使h 2 6 4 在压缩率上具有更佳的牲能。其中，h 2 6 4 视频编码标准与h 2 6 3 基本框架相比主要的改进如下。 f 1 i 4 ( 1 8 ) 象素精度盼运动估计 在h2 6 3 、m p e g l 、m p e g 一2 视频编码标准中，采用的都是1 2 豫素精度的运动估计，而在h 2 6 4 视频编码标准中，可以采用1 4 0 8 ) 象素精度的运动估计，这就使得运动估计和运动补偿更为准确。 或者说在要求精度相近的情况下，h 2 6 4 采用1 ，4 或者l 8 象素的块匹配可以满足对于匹配精度的要 求，而h 2 6 3 采用l ，2 象素精度的运动估计可能就达不到要求，只能进行帧内编码。我们知道，进 行帧内编码一般需要比运动估计编码更多的码字因而，拥有更精确的运动匹配意味着h 2 6 4 在帧 间编码中所需码率更小。 ( 2 ) 7 种不同尺寸块的运动矢量估计 运动估计块匹配算法中，还有一个需要考虑的地方是匹配块的大小，综合考虑数码率的”销以 及运动估计的准确性，一般采用1 6 1 6 的宏块和8 8 的数据块作为运动估计块匹配的基本单元。 在视频编码标准h 2 6 1 、m p e g 1 中，采用1 6 1 6 的宏块作为基本的匹配单元，在h 2 6 3 、m p e g 一2 、 m p e g 4 中，既可以采用1 6 x1 6 的数据块作为块匹配的基本单元，也可以采用8 x 8 的数据块作为 基本的匹配单元。而在h 2 6 4 中，它采用7 种j ：同大小的数据块作为运动估计块匹配的摹本单元， 当视频图像变化简单时，可以和h2 6 1 、h 2 6 3 一样，采用基于1 6 x t 6 的数据块或者8 x 8 数据块的 运动估计就可以了，丽对于运动较复杂以及运动细部较多的视频序列，可以采用基于8 4 的数据块 或者4 4 的数据块作为块匹配的基本单元，从而更好地实现运动补偿，减少数码率。 ( 3 1 整型d c t 运算 在视频压缩编码中。运动估计和d c t 是最耗费计算量的两大部分。在h 2 6 3 算法中采用基丁 8 8 块的d c t 的浮点运算，不仅运算量相当大，而且不利于移植到定点d s p 中。而存h 2 6 4 中， 采用的是基于4 x 4 块的整型d c t 运算，避免了浮点运算，减少了运算量和复杂度，从而有利于实 现实时化和移植到定点d s p 上。d c t 变换的整型化当然会引起一些误差，但d c t 的量化过程中也 存在误差，与之相比，整型化；i 起的误差影响并不大。对于4 4 块的逆d c t 变换在h 2 6 4 中同样 进行了整型化整型化过程与d c t 变换类似。 ( 4 ) 先进的帧内预测 帧内预测可以减少需要编码的数据量，从而达到降低数码率的作用。在h 2 6 4 中，先通过当前宏 块上边和左边的宏块寒预授4 当前宏块值，再用d c t 变换来编码预测宏块与当前宏块的差值。由于差 东南大学硕士学位论文 嚣- 巷锗睦 值一般比当前宏块的实际值小，d c t 变换后会出现更多的全零块，从1 m 可以降低需要编目的数据量， 减少码率。对于帧内编码应用较多的图像序列，帧内预测对于降低码宰十分有效。h 。2 6 4 的帧内预 测包括摹。j ：4 4 的数据块的预测与基丁1 6 x1 6 的数据块预测两种情况。基于4 4 的数据块的帧内 预测是一般情况，基于1 6 1 6 块的帧内预测只用于帧肉象襄变化比较平稳的情况， ( 5 ) 基r 上下文的算术编码 基于tr 文的算术编码也是h 2 6 3 中可选模式之一，而在h 2 6 4 中，基于上卜文的算术编码作为 基本的编码模式得到应用，它可以在运动估计和d c t 变换的基础上进一步压缩码率。般情况下， 基于上下文的算术编码可以提高压缩效率5 ，但计算量会因此增加。 对于h 2 6 4 的上述特点，将在第二章里给予更详细的说明。 1 4 5m p e g - 1 m p e g 一1 制定于1 9 9 2 年，可适用于不同带宽的设备，如c d r o m 、v i d e o - c d 、c d i 。它的目的 是把2 2 i m b i t s 的n t s c 图像压缩到12 m b i t s ，压缩率为2 0 0 ：l 。这是图像压缩的工：业认可标准。 它可针对s i f 标准分辨率( 对于n t