（电路与系统专业论文）基于运动感知模型的码率控制方法.pdf

上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 本论文使用授权说明 期： 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：啦导师签名：磊婶日期：二叫剖 i l l 上海大学工学硕士学位论文 基于运动感知模型的码率控制方法 姓名： 导师： 学科专业： 潘垮雯 石旭利 电路与系统 上海大学通信与信息工程学院 二。一o 年一月 i v 上海大学硕十学位论文 基于运动感知模型的码卒控制方法 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o rt h ed e g r e e o fm a s t e ri nc o m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g r a t eco n t r o lm e t h o db a s e do n a m o t i o n p e r c e p t u a lm o d e l m e n g ca n d i d a t e ：c h e n g w e np a n s u o e r v i s o r ：x u l is h i e r v i s o r 1 1 1入l m a j o r ：c i r c u i ta n ds y s t e m s c h o o lo fc o m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g ， s h a n g h a iu n i v e r s i t y j a n ，2 0 1 0 v 上海火学硕士学位论文 基于运动感知模型的码率控制方法 摘要 视频编解码技术已越来越多地应用于人们的生活和工作中，然而网络带宽和 存储容量仍存在一定限制。如何改进编码压缩算法，在减少数据量的同时保证压 缩后的视频具有较高的感官质量是当前的研究重点。 运用码率控制算法可进行不同区域压缩率的调整，从而提高压缩率。研究发 现只有增加视频中人眼所关注区域的编码比特数，才能有效地提高整个视频的感 官质量。视频是运动的图像，人眼会忽略每帧图像中大部分内容，而把注意力集 中在运动对象上。因此建立运动感知模型，调节相应区域的码率，是解决码率压 缩和视频感官质量这一矛盾的主要研究方法。 本文结合了运动矢量分割图和空间域视频图像分割，配合运动对象跟踪和更 新方法，建立了运动感知模型；并依据此模型改进了h 2 6 4 编码标准中码率控制 算法。主要研究成果可归纳如下： 1 运动模型的提取：由于直接利用视频运动矢量建立的运动感知模型效果 不理想，本文依据人眼对视频中运动对象的关注特性，提出了一种基于时空域运 动感知模型的建立方法。通过实验和观察，探索出了对运动矢量熵值图方向和大 小的选择以及时空域熵值的结合方法。考虑到运动对象的区域一致性，结合空间 域视频图像分割，改善了视频运动对象提取效果。进一步提出运动对象的跟踪和 更新算法，能连续并完整地提取运动感知对象，建立了理想的运动感知模型。 2 基于运动模型的码率控制方法：根据运动感知模型对帧层和宏块层的码 率控制方法进行了改进。帧层中，提出了基于运动模型的i 帧初始量化参数调整 方法和p 帧预分配比特数调整方法。宏块层中，利用运动模型计算运动复杂度， 调整每帧中宏块的量化参数，实现在整体码率不变的情况下提高视频感官质量。 同时，我们利用运动模型来判定场景切换，调整场景切换帧的初始量化参数。 通过以上基于运动感知模型的码率控制算法的调整，使得在低带宽或高带宽 中的解码图像质量都有了相应的提高，减小了运动剧烈区域的失真度。 关键词：视频分割，运动感知模型，码率控制，h 2 6 4 v i a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ed e v e l o p m e n to fs o c i e t y , v i d e oc o d e ca p p e a r si ne v e r y a s p e c t so fl i f e a l t h o u g ht h et e c h n o l o g yo f n e t w o r kd e v e l o p sr a p i d l y , t h el i m i t a t i o no f c h a n n e lb a n d w i d t hs t i l le x i s t s r e c e n t l ym o s to ft h er e s e a r c h e r sf o c u so nh o w t o e f f e c t i v e l yr e d u c et h ec o d e d d a t ao fav i d e ow i t hh i g hq u a l i t y u s i n gt h ev i d e oc o m p r e s s e dm e t h o d ，w ea d j u s te a c hr e g i o n sb i t er a t et or e d u c e t h ec o d e dd a t ao f e a c hf r a m e f r o md o i n gs o ，t h ec o m p r e s s e ds t r e a mc a na d a p tt ot h e l i m i t a t i o no fc h a n n e lb a n d w i d t ha n dm e m o r yc a p a c i t y a c c o r d i n gt ot h er e c e n t r e s e a r c h ，t h ec o m p r e s s e dv i d e oq u a l i t yc a l lb er a i s e db yi n c r e a s i n gt h eb i tr a t eo f t h e i m p o r t a n tr e g i o n h u m a nb e i n g sa l w a y sf o c u so n t h ef o r e g r o u n do ft h ei m a g ei n s t e a d o ft h eb a c k g r o u n d s ow es e tu pam o t i o np e r c e p t u a lm o d e lt of i n do u tt h ei m p o r t a n t r e g i o np e o p l ei n t e r e s t e di n ，a n di m p r o v et h er a t ec o n t r o la l g o r i t h mw i t ht h i sm o d e l t h i si m p r o v e m e n tc a nb a l a n c et h es t r e a m sb i tr a t ea n dt h ev i s u a lq u a l i t y i nt h i sp a p e r , am o t i o np e r c e p t u a lm o d e li ss e tu p w ec o m b i n et h em o t i o nv e c t o r s e g m e n t a t i o nm a pa n dt e m p o r a li m a g es e g m e n t a t i o nm a p ，a n d t h e nd e v e l o pa n e f f e c t i v em o t i o no b j e c tt r a c ka n du p d a t em e t h o d a f t e rt h a t ，t h er a t ec o n t r o la l g o r i t h m i nh 2 6 4i sf i x e da c c o r d i n gt ot h em o d e l 1 、t h ee x t r a c t i o no fm o t i o np e r c e p t u a lm o d e l ：a c c o r d i n gt ot h ec h a r a c t e r i s t i co f h u m a nv i s u a ls y s t e m ，w es e tu pam o t i o np e r c e p t u a lm o d e lb a s e do nt h em o v i n g o b j e c t sb o t hi nt i m ea n ds p a c ed o m a i n a st h ep a s tm o t i o nm o d e lo n l yu s i n gs o m e i n f o r m a t i o ni nv i d e o ，t h er e s u l t sh a v es o m el i m i t a t i o n s i nt h i sp a p e r , w eu s eo ft h e m e a n s h i f ta l g o r i t h ma n dt h er e g i o ng r o w i n gm e t h o dt os e tu pt h es e g m e n t a t i o n m o d e li ns p a c ed o m a i n m e a n w h i l e ，w et a k et h ea d v a n t a g eo ft h em o t i o nv e c t o ri nt h e p r o c e s so f t h ev i d ec o d i n gt os e tu pt h es e g m e n t a t i o nm o d e li nt i m ed o m a i n a f t e rt h a t w ei n t e g r a t et h e s et w om o d e l st oan e wm o t i o np e r c e p t u a lm o d e la c c o r d i n gt ot h e m e t h o dp r o p o s e di nt h ep a p e r t h ef i n i a lm o d e lc a ns e g m e n tt h ev i d e oi m a g ew i t h h i g hq u a l i t y 2 、t h er a t ee o n t r o la l g o r i t h mb a s e do nt h em o d e l ：w ep u tf o r w a r dar a t ec o n t r o l a l g o r i t h mb a s e do nt h em o t i o np e r c e p t u a lm o d e lb o t hi nt h ef r a m el e v e la n di nt h e b a s i cu n i tl e v e l t h ea l g o r i t h md i s t r i b u t e dt h er a t eo ft h ef r a m ea n dc h a n g e dt h eq po f v 玎 t h em bt ot h ev i s u a la t t e n t i o na n dt h ef r a m e sc o m p l i c a t i o nc o m p u t e db yt h em o t i o n m o d e l f r o md o i n gs o ，w ei m p r o v e dt h es e n s o r yq u a l i t yu s i n gt h es a m eb i tr a t ef o r c o d i n gav i d e o a n dw ea l s oa d j u s tt h ei n i t i a lq u a n t i z a t i o np a r a m e t e ro f s c e n ec h a n g e f r a m eb a s e do nt h em o t i o nm o d e l w i t ht h er a t ec o n t r o la l g o r i t h mb a s e do nm o t i o nm o d e l ，t h ev i d e ov i s u a lq u a l i t y h a sb e c o m eb e t t e ru n d e rh i g hc h a n n e lb a n d w i d t ha n dl o wc h a n n e lb a n d w i d t h a n dt h e d i s t o r t i o no fm o t i o nr e g i o nc a l lb er e d u c e d k e y w o r d s ：v i d e os e g m e n t a t i o n ，m o t i o nm o d e l ，r a t ec o n t r o l ，h 2 6 4 v i i i 上海大学硕上学位论文 基于运动感知模型的码率控制方法 目录 s h a n g h a iu n i v e r s i i y 1 摘要v i a b s t r a c t v i i e jj 录i x 第一章绪论1 1 1 选题的背景和意义。1 1 2 国内外研究现状2 1 2 1 视频运动感知对象的检测与分割2 1 2 2 码率控制算法研究进展3 1 3 论文主要工作及研究成果4 第二章视频编码技术及码率控制原理6 2 1 视频编码技术6 2 1 1 视频编码技术标准6 2 1 2h 2 6 4 a v c 编码标准及优点7 2 2 经典码率控制方法介绍。9 2 3 实验结果10 2 4 小结1 1 第三章运动感知模型的建立1 3 3 1 运动矢量图提取1 4 3 1 1 运动矢量的预处理和信息熵1 4 3 1 2 运动矢量图的结合1 7 3 2 空间域视频图像分割2 0 3 2 1 图像分割的引入一2 0 3 2 2m e a n s h i l l 算法2 l 3 2 3 空间域视频图像的分割2 3 3 3 基于时空域的运动对象提取2 7 i x 上海人学 3 5 第四章 4 1 4 1 3 基本单元层码率控制一3 8 4 2 码率控制算法中存在的问题3 9 4 3h 2 6 4 码率控制算法的改进4 l 4 3 1 i 帧码率控制调整方案4 l 4 3 2p 帧码率控制调整方案4 2 4 3 3 宏块级码率控制算法的改进4 4 4 3 4 场景切换检测和q p 值调整4 5 4 4 实验结果4 6 4 4 1i 帧码率控制实验结果4 6 4 4 2p 帧码率控制实验结果4 8 4 4 3 低码率情况下的实验结果5 0 4 4 4 般码率情况下的实验结果5 2 4 4 5 高码率情况下的实验结果5 3 4 5 小结5 4 第五章总结与展望5 6 5 1 总结5 6 5 2 展望5 7 参考文献一5 9 x 上海大学硕士学位论文 基于运动感知模型的码率控制方法 作者在攻读硕士学位期间公开发表的论文6 4 致谢6 5 x l 上海大学硕七学位论文 基于运动感知模型的码牢控制方法 第一章绪论 1 1 选题的背景和意义 随着计算机和网络技术的同趋成熟，视频已融入到人们的生活和工作中。视 频会议、网络电视、车载移动电视、甚至手机电视，视频已无处不在。与此同时， 观看者对视频质量的要求也越来越高。人们希望所观看的画面无论从色彩还是清 晰程度都能够接近真实世界。若要满足以上要求，必须大大增加传输每帧图像的 数据量。而原始高清晰视频有着惊人的数据量，如一路未经压缩的高清数字电视 ( h d t v ) 带宽能达到1 g b i t s s 。如此高的信号带宽和数据量对于现有的网络传 输和存储技术来说是难以承受的。在巨大的数据量中，并非所有数据都对视觉感 官质量有重大贡献。那么如何有效地去除数据中的冗余，使处理后的视频更易于 传输和保存? 解决以上问题是我们研究视频编解码器的重要意义。 经过长时间的发展，在去除视频数据冗余上通过改进编码方式已经有了长足 的进步。现有的国际视频编码标准主要包括国际标准化组织( i s o ) 推出的m p e g 系列1 4 1 和国际电信联盟标准化部( i t u t ) 推出的h 2 6 x 系列【5 6 】。2 0 0 3 年，两 组织合作推出了最新的视频标准h 2 6 4 t 7 1 。h 2 6 4 显著提高了编码效率，在同等 画质下，h 2 6 4 比以往的视频标准减少了一半的比特【8 】；此外，h 2 6 4 还具有很 强的容错性和网络适应性，因此h 2 6 4 在各视频领域得到了广泛的应用。我国也 相应推出了a v s 视频编码标准【9 】。这些编码标准都基于香农信息理论，从时间 和空间上对视频数据进行压缩，有效地减小了视频数据的冗余。 现有视频编码方法在数据压缩上已经很接近香农理论上限，很难有进一步的 改进。目前研究的重点已转移到对于视频图像的感知分析上：找出一个完整反映 观看视频时大脑的感知模型，并结合模型进行数据压缩。因此，各种针对人眼对 视频、图像感知关注的研究应用而生。 根据对人类视觉特性的研究，发现了视觉的空间和时问掩盖效应【1 0 1 。所谓空 e 海大学硕士学位论文基于运动感知模型的码率控制方法 间掩盖效应【1 1 】主要是对比掩盖，指当一幅图像中所接收到的颜色或亮度信号与视 觉掩盖效应所处的频率一致时，人眼对噪声无视的现象。时问掩盖效应是亮度变 化在时间上的不连续所造成视觉阈值的提升或下降。同时一帧视频图像中也可以 找出人眼所特别关注的区域。当人眼将注意力都集中在这些区域时，其余区域上 的噪声感知性会大大下降【1 2 】。 所以我们要找出每帧图像中人眼最为关注的区域，以低压缩率处理，尽可能 地保留这些图像区域的信息。同时，增大那些人眼所不关注图像区域的压缩比率。 那么就可以有针对性地提高视频的感官质量，同时尽可能多地去除视频中的感知 冗余。这也是我们研究的目的所在【1 3 - 1 4 】。 视频是一种时间空间密度模型，是连续变化的，可以说是时变的图像。所 以人们在观看视频时与观看图像时的注意模式有很大不同。人们对视频中随时间 自主变换，自主运动的对象十分感兴趣。因此，本文的研究重点为通过分割出视 频中的自主运动物体【1 5 。1 引，建立运动感知模型。视频分割指的是针对视频图像场 景中运动目标的分割，本文也将运动目标称为视频运动对象。视频图像中的背景 一般是没有自主运动的，这样我们就可以根据运动特征将视频中的内容分割为具 有自主运动的物体和背景两类【l 引。这样的分割不仅可以为编码提供有效的划分， 更体现了一定的视频内容语义特征，为运动感知模型的建立以及其他视频处理功 能的实现打下了良好的基础。本文提出的运动感知模型广泛地适用于各类访谈类 和真人秀节目或是有明显主要运动对象的视频序列。 在视频编码技术上，随着视频压缩技术的不断发展，研究人员越来越注重视 觉感知在视频编码过程中的影响。由于视频中运动对象相较于背景吸引了更多的 注意力，所以应保留更多的运动区域的信息量，减少背景区域的信息量【1 9 。2 1 】。因 此在编码过程中应以此为目标，考虑比特数的分配和码率控制。 1 2 国内外研究现状 1 2 1 视频运动感知对象的检测与分割 为进一步提高视频序列的编码效率，改善低码率视频流的视觉效果，m p e g 2 上海火学硕士学位论文基于运动感知模型的码率控制方法 组织提出了m p e g 4 视频编码标准，引入基于对象编码等新的概念，使之能适应 码率低于6 4 k b p s 的环境，从而可以有效地应用在远程视频监控、目标识别等领 域。但是，按照m p e g 4 校验模型，必须从视频中分割出具有语义的对象，所以 视频对象分割中存在不少问题。 视频对象的检测是在视频图像中找出区别于背景区域的运动前景部分，而视 频对象分割是将所检测到的运动前景部分从背景中完整的分离出来。作为视频处 理领域的一个经典问题，目前已有大量文献对其进行了研究。根据视频是否以压 缩形式提供，分割算法可分为压缩域分割【2 2 。2 6 1 和非压缩域分割【2 7 】。按是否需要人 工参与分割过程，可分为两类：自动方式和半自动方式。根据分割过程中所利用 信息的不同，可分为：时域分割【2 8 。2 9 1 和时空域联合分割【3 0 。3 1 1 。按照用途的不同， 可分为：用于视频压缩编码【3 2 3 3 1 和用于基于内容的交互式多媒体应用【”。 虽然提出了很多算法，并且有不同的分割过程。但是基本的分割策略都有相 同之处。一般步骤如图1 1 所示，包括对视频数据的分析，确定待分割区域以及 采用不同的分割方法。由于视频对象本身内容复杂，同时人工智能技术的现状决 定了当前计算机仍然不具有人的观察、识别、理解图像的能力。因此，目前还不 存在一种通用、有效的解决方法。当前视频分割算法的研究趋势是寻找更好的基 于时域信息的运动分割和时空域信息联合的分割方法。 视频数据 视频数据 1分析万仍 确立待分割 区域 分割视频 图像 图1 1 视频对象分割流程图 1 2 2 码率控制算法研究进展 图像分割 数据 视频压缩需要考虑视频图像的数据量与带宽、存储的矛盾，观众对视频质量 要求等因素。希望要求视频压缩算法在有效减少数据量的能同时保证一定的观看 质量。拍摄直接得到的视频中存在许多冗余，我们可以通过减少这些冗余来压缩 视频数据。去除视频冗余可以转换成去除视频数据在时间上、空间上以及统计信 息上的相关性问题。下面我们将讨论视频图像中各类相关性。 视频图像空间的相关性：像素相邻区域有很大的相关性，甚至具有相同的信 上海人学硕上学位论文基于运动感知模型的码率控制方法 息，那么就可通过去除相邻宏块的数据冗余，即进行帧内预测末压缩空间相关性。 视频图像时间的相关性：视频信号由连续图像组成，前后两帧的间隔时间非 常短，所以它们具有许多相同信息。可以通过去除相邻图像间的相关性，即帧间 预测来减少信息量。 视频图像数据间的统计特性：数字视频信号表现为一组由许多数值构成的数 据，每个数值的出现概率是不同的，这种取值的统计不平均构成了统计冗余。事 件发生的概率越小，熵值越大，信息量越大，需分配较多的比特数；反之，则只 需较少的比特数。熵编码采用不同长度的码字记录不同的码元，从而减少表达数 据所需的比特。常用的熵编码方法有霍夫曼编码【3 4 1 、算术编码【3 5 1 和游程编码【3 6 1 。 视频编码算法就是利用各种方法减小上述几种数据冗余，从而达到对数据的 压缩。在现有的视频编解码算法中，已有针对视频时间相关性、空间相关性、时 间统计特性的有效压缩方法。如：去除时间相关性冗余采用了运动估计，在编码 过程中只保存通过运动估计所得的图像残差值，大大减小了每帧图像之间的冗余 3 7 - 3 8 】；而空间冗余的去除，则利用d c t 变换，使每帧的图像信息都集中在低频 部分，把包含相关性信息的高频部分滤除【”】；针对视频中数据间的统计特性，则 采用各种有效的熵编码来进行压缩3 ”6 】。 以上三类方法已经发展得较为成熟，应用于各类视频编码算法中。但随着对 视频感官质量要求的不断提高，研究者们开始深入研究人眼视觉关注特性，希望 依据视觉成像和感知原理来压缩视频数据。人眼对原始图像各处失真敏感度不 同，对不敏感的信息给予较大的失真处理，即使这些信息部分丢失，人眼也可能 觉察不到；相反，对于较敏感的信息，失真影响较大，应给予较小的失真处理。 因此依据视觉感知特性来压缩视频数据已成为去除视频冗余的研究热点。 1 3 论文主要工作及研究成果 本文提出了一种基于运动感知模型的码率控制方法。在运动对象提取上，此 法不同于以往的方法，综合压缩视频图像时间域信息和空间域信息实现了运动对 象的提取。实验表明，该方法在有效定位视频中主要运动对象的同时，能够完整 4 上海大学硕士学位论文 基于运动感知模型的码率控制方法 地提取出运动区域。相较于以往的视频运动对象提取方法，本文的感知模型对于 具有复杂结构的运动对象有突出的效果。在得到视频运动感知模型之后，本文对 h 2 6 4 码率控制算法做出了相应的改进。分别在宏块层和帧层改进了目标比特分 配算法并调整了量化参数。本文还利用运动对象分割结果检测视频场景切换，并 调整了场景切换帧的编码量化参数。从一系列实验结果可以看出，改进的码率控 制方法有效地提高了运动对象所在区域的清晰度，提高了视频序列的感官质量。 本文的第二章介绍了码率控制算法中的一些基本思想和关键技术，简述了几 种经典的码率控制算法。 第三章提出了综合时间域和空间域的运动感知模型的建立方法。考虑到人眼 对视频中主运动对象的关注和低带宽时运动剧烈区域的失真现象，本模型能够准 确、完整地找出视频序列中主要运动对象。本文首先预处理编码过程中产生的运 动矢量，然后进行空间相关性和时间相关性熵值计算，通过结合两者的结果，产 生出有利于对象提取的运动矢量图。由于运动的复杂性，使得运动现象只存在于 整个运动对象的局部区域，或超出对象区域，因此运动矢量图不适合直接用于运 动对象的提取。鉴于运动对象在亮度和纹理上的一致性和相关性，我们将视频图 像中的运动对象作为一个整体，结合视频分割图和运动矢量图来提取完整的运动 对象。最后，通过对视频中连续图像的分析，提出了运动对象的追踪和更新方法。 至此，本模型能够全面、准确地提取视频中完整的运动对象。 在获得依据人眼关注特性所建立的运动感知模型后，第四章提出了基于此模 型的码率控制改进方法以及量化参数调整方案。在i 帧和p 帧的帧级目标比特数 分配算法中，依据运动区域提取结果，进行了相应的改进。使包含较多运动区域 的视频帧分配到更多的目标比特数。对于宏块级码率控制算法的改进主要体现在 宏块量化参数的调整。依据本文所定义的宏块运动复杂度调整每一个宏块的量化 参数，保证在帧级码率改进算法中所省下的比特数都分配给运动复杂的宏块。最 终通过减小这些区域的量化参数，增加他们编码所用比特数。针对视频中场景切 换帧导致编码图像质量下降的问题，本文依据运动感知模型检测场景切换，并调 整其量化参数，明显地改进了场景切换时的视频质量。 上海大学硕l 学位论文 基于运动感知模型的码率控制方法 第二章视频编码技术及码率控制原理 2 1 视频编码技术 2 1 1 视频编码技术标准 从视频编解码算法发展之初到现在，视频编码标准已经经历了几代的演变。 视频压缩编码算法的第一个里程碑是1 9 8 8 年国际电报电话委员会c c i t t 通过的 视频编码标准h 2 6 1 提案。在此后二十年里，视频编码技术得到了飞速发展，先 后制定了多个国际标准。这些标准都是在h 2 6 1 标准上所做出的补充和改进。 1 9 9 1 年，i s o 组织确立了m p e g 1 视频编码标准，其码率为1 5 m b i t s ，主 要针对视频压缩在v c d 技术上的应用。1 9 9 4 年用于d v d 、数字视频广播( d v b ) 和h d t v 的m p e g 2 视频编码标准也确立公布。根据视频压缩的档次和级别， m p e g 2 编码码率在1 5 m b i t s 到3 0 m b i t s 区间变化。1 9 9 5 年，i t u t 推出了低 于6 4 m b i t s 的低码率视频传输，它可用于p s t n 信道的视频会议。之后，i t u t 相继推出了h 2 6 3 + 4 0 1 和h 2 6 3 + + 【4 1 ，4 2 】等视频编码标准。1 9 9 8 年，i s o 组织通过 了m p e g 4 标准，旨在提高低码率多媒体通信的交互性和灵活性。2 0 0 3 年，j 在原有的h 2 6 l 草案基础上发布了h 2 6 4 视频压缩标准，它是迄今为止最新的一 个国际视频编码标准。 上述编码标准同属于混合编码框架，功能块组成大致相同，但由于技术细节 上的差别，编码效率也有较大的差异。根据编码效率的高低，可将上述标准分成 以下三个阶段。 第一代视频编码标准包括m p e g 2 及先前的m p e g 1 和h 2 6 1 ，这一代编码 标准的帧内预测采用了直接编码方式，帧间预测包含了前向和双向预测模式。运 动估计块的大小为1 6 1 6 ，搜索精度可达1 2 像素。残差信号采用8 * 8 大小的块 d c t 变换，熵编码采用霍夫曼编码【3 4 j 方式。 6 ：海大学硕士学位论文 基于运动感知模型的码率控制方法 由于m p e g 4 和h 2 6 3 、h 2 6 3 + 等编码方式在预测和熵编码两方面都有了提 高，这些编码标准被认定为第二代标准。其帧问预测采用了频域a c d c 差分预 测；帧间运动估计增加了8 8 模式，搜索精度达到1 4 像素。熵编码方法上， m p e g 4 采用游程编码、矢量量化和霍夫曼编码混合编码的v l c 编码；h 2 6 3 则采用算术编码替代了霍夫曼编码。除此之外，后继的h 2 6 3 + 和h 2 6 3 + + 等又 增加了滤波技术和多参考帧预测等技术；m p e g 4 采用基于对象的编码方法，既 提高了压缩比，又实现了基于内容的交互。 第三代视频编码标准是h 2 6 4 编码标准。同其他标准相比，h 2 6 4 仍属于变 换和预测混合编码方法，但在编码效率上取得了重大突破。h 2 6 4 采用了一系列 的先进编码技术，包括4 x 4 可变块大小的1 4 像素运动估计补偿、多参考帧预 测、基于空域的帧内预测技术、4 4 整数变换以及基于上下文的熵编码等。此 外，h 2 6 4 引入针对应用环境的网络适配层，加强对误码和丢包的处理，极大地 提高了网络适应性。h 2 6 4 是视频编码技术上的重大进步，虽然算法复杂度是其 他标准的4 倍多，但随着集成电路技术的进步，h 2 6 4 编码算法展现出了巨大的 优势，以极快的速度进入各种视频应用领域。 2 1 2h 2 6 4 a v c 编码标准及优点 h 2 6 4 相对以往视频编码标准在压缩效率方面有了显著提高，但其编码技术 仍然是基于传统的预n 变换混合编码方案，与原有的h 2 6 x 和m p e g 系列视频 标准在编码结构上十分相似。从图2 1 可看出，h 2 6 4 和先前标准的编解码器主 要的区别在于各功能块的细节。以下，我们就h 2 6 4 a v c 的编码原理和它在视 频压缩过程中的优势进行介绍。 图2 1 是h 2 6 4 视频编码器的结构框图。只表示输入视频帧，每一帧以宏块 为单位进行编码。根据h 2 6 4 编码机制，其流程可以分为前向编码和重建解码两 个部分。在前向编码部分，输入图像以1 6 1 6 大小的宏块为单位进行编码。通 过帧间( i n t e r ) 或帧内( i n t r a ) 预测方式，每个待编码宏块可以得到预测宏块p 。 若选取帧间预测模式，则参考宏块将从已重建的参考帧图像，_ j 中选取参考对 象；而帧内预测模式中，待编码宏块的参考对象要从当前重构帧中选取已重建的 7 卜海大学硕士学位论文基于运动感知模型的码率控制方法 宏块驴_ 。得到预测宏块p 后，我们将p 与当前宏块相减得到的残差矾，经过 变化和量化得到残差系数丘最后将经过重排序和熵编码的残差系数彳和一些必 要的解码信息传送至n a l 单元进行视频的传输和存储。 图2 1h 2 6 4 视频编码算法框架 重建解码是f ； 向编码的逆过程，在重建解码中，我们将提取出的残差系数x 经过反量化和反变换得到新的残差d n ，d n 与原预测宏块尸相加得到重建宏块 驴么，若干重建宏块构成重建帧。将这些重建帧进行环路滤波，去除块失真效应 得到重建参考帧f _ ，送入帧存储器，待为下一宏块的编码参考对象。 h 2 6 4 编码算法在多个编码模块内做了改进。多编码模式、编码参数自适应、 上下文自适应熵编码、多参考帧选择、高精度预测、去方块滤波以及抗误码能力 等方面的修改提高了压缩编码的效率，增强了网络适应能力。主要特点如下： 1 ) 在数据压缩率上，与h 2 6 3 和m p e g - 4 相比视频压缩比提高一倍，节约 5 0 码率，仅用以往一半的编码量就能得到同样清晰的画面； 2 ) 对网络具有良好的抗误码能力和容错性； 3 ) 在解码端采用复杂度分级设计以适应多种复杂性应用； 4 ) 引入网络适配层，使得h 2 6 4 编码视频流可以在不同网络上传输。 以上各种优势使得h 2 6 4 标准在数字电视、视频存储、视频点播、无线多媒 体应用等方面显示出了巨大的应用潜力。 上海大学硕士学位论文基于运动感知模型的码率控制方法 2 2 经典码率控制方法介绍 随着视频压缩编码标准的发展，码率控制算法不断完善。目前所有的码率控 制算法都是基于不同的率失真模型发展出来的。如t m 5 算法【4 3 】、t m n 8 算法【4 4 1 ， v m 8 算法【4 5 j 以及h 2 6 4 编码标准中基于拉格朗日率失真模型的j v t - f 0 8 6 和 j v t - g 0 1 2 1 6 提案。下面简单介绍以上几种码率控制算法。 1 ) t m 5 码率控制方法【4 3 】 t m 5 的率失真模型为一阶线性信源模型：s = - x q ；其中q 为量化参数；s 为 编码图像基本单元时所耗费的比特数；x 为图像的均方误差( m s e ) 或平均绝对 误差( m a d ) ，它代表了图像的复杂度。当编完上一帧图像后，算法利用图像复 杂度测量公式胙s q 得到当前帧的图像复杂度，并以此为依据确定目标比特数。 在确定目标比特数后，综合各类特性因素：缓冲区充溢程度、传输信道比特率和 视频的帧率得到调节参数，然后依据缓冲区充溢程度计算参考量化参数。在此基 础上利用宏块的空间运动复杂性自适应地调整量化参数。 t m 5 算法的特点是码率控制准确，算法复杂度低，但也存在着不足：曲自适 应量化时，对某些量化参数过度调节：( b ) 算法前后各个步骤之间不能有效地协 调工作，存在互相抵消效率的问题，降低了编码效率。 2 ) t m n 8 码率控制方法【4 4 】 t m n 8 是在t m 5 上发展起来的典型算法，是低码率视频编码标准h 2 6 3 + 采用的码率控制技术。t m n 8 算法包含帧层目标比特分配及宏块层的自适应量 化。帧层码率控制主要是根据前一帧的编码比特数、帧率、编码前缓冲区充溢程 度以及缓冲区的跳帧阈值来计算当前帧的目标比特数。宏块层码率控制是指当所 有宏块消耗的比特数接近于当前帧目标比特数时，通过选择宏块不同的量化参 数，使失真达到最小。然后，根据d c t 变换系数统计特性以及拉普拉斯分布假 设得到宏块( 组) 的率失真模型，并由此得到宏块最终的量化参数。t m n 8 算法的 控制精度非常高，且重建视频的质量也比较好，但算法复杂度较高。 3 ) v m 8 码率控制方法【4 5 j v m 8 是m p e g 4 的码率控制方案，对多视频对象有很好的效果。此算法是 基于假设残差d c t 变换服从拉普拉斯分布得到的二次r - d 率失真模型。v m 8 9 上海人学硕l 学位论文 基于运动感知模型的码率控制方法 方法包括帧层、v o 层和m b 层三部分，包含了编码预处理、编码以及编码后处 理三个阶段。共有三个步骤：1 ) 目标码率的计算；2 ) 基于缓冲区的充溢程度调 整v o 码率；3 ) 计算量化参数。v m 8 的r d 模型基于以下两点假设： a ) 相邻视频图像帧之间具有很高的相似性，都具有相同的率失真曲线； b ) 码率曲线可以近似为一个二次方程。 v m 8 的主要优点在于：1 ) 对目标码率估计有更精确的率失真模型；2 ) 采 用滑行窗算法来解决场景切换带来的视频质量问题；3 ) 对参数的更新提供了自 适应数据选择机制：4 ) 根据图像复杂度柬准确控制码率。 2 3 实验结果 本文为评价不同编码器的码率控制性能设计了一组实验，主要评价在h 2 6 4 等视频标准下流媒体对图像细节处理效果。实现了基于拉格朗日优化算法的编码 控制模型，并与m p e g 2 、m p e g 4 和h 2 6 3 的编码器的编码性能进行了比较。 实验中，我们采用的h 2 6 4 测试模型为j m l 0 2 ，其编码器构成特性为：运 动估计中整像素搜索范围为3 2 ，熵编码方式为c a b a c ，设置5 帧为参考帧数， 每一组图像序列采用i p b b p 结构。在此基础上实现了基于拉格朗同优化算法的 编码控制模型。考虑到流媒体在实际应用中的特性，选取4 ：2 ：0 的c i f 格式标准 序列“f o o t b a l l ”进行测试，输入的帧率为3 0 f s ，长度为1 0 s 。该视频序列色彩 丰富，运动对象变化剧烈，能够反映出不同编码器在流媒体应用中的编码性能。 在实验中分别将编码码率设定为1 9 6 k b i t s 、5 1 2 k b i t s 以及1 0 2 4 k b i t s ，见表 2 3 1 ，得到相应的视频编码器输出比特率和亮度、色度分量的信噪比。同时为比 较h 2 6 4 和其他编码器性能差别，我们在同等设置情况下对基于h 2 6 3 、m p e g 2 和m p e g 4 编码标准的编码器也进行了相应的实验，它们所对应的实际测试平台 为：t m n 1 0 、t m 5 和v m 1 8 。 1 0 上海人学硕士学位论文基于运动感知模型的码率控制方法 表2 3 1 不同编码器编码效率比较 各编码器编码 信噪比( d b ) 输出码率 - 结果比对 亮度分量y色度分量u色度分量v ( k b i t s ) m p e g 22 1 3 22 7 2 52 7 0 21 9 2 0 1 带宽 h 2 6 32 4 2 32 9 7 32 9 3 71 8 9 8 0 1 9 2 k b i t s m p e g 42 5 。6 53 0 2 53 0 6 41 9 2 8 9 h 2 6 42 9 9 43 2 8 33 2 2 61 8 9 8 7 m p e g 2 2 5 3 43 0 0 93 0 2 55 0 7 3 6 带宽 h 2 6 3 2 6 7 43 2 7 03 2 8 95 1 3 0 7 5 1 2 k b i t s m p e g 4 2 8 4 33 3 2 23 3 7 35 0 5 5 6 h 2 6 4 3 1 8 73 5 2 03