（信号与信息处理专业论文）基于帧层的h264avc码率控制改进研究.pdf

南京邮电大学硕士学位论文 摘要 码率控制是视频通信系统中的关键环节之一，主要应用于调控编码视频的输出质量。 进行码率控制时一般需要涉及目标码率计算，信源与信道模型的建立，视频编码方法，率 失真估计，码率分配，跳帧，实时性，传输环境和系统性能评估等诸多方面。新出现的网 络视频流媒体传输，无线信道传输，m p e g - 4 的对象编码传输，信噪比精细可分级编码传 输等实际应用要求鲁棒性高的码率控制算法来满足视频传输的需要。因而相应的码率控制 算法已经成为近几年来的热点。 本文简要介绍了码率控制技术的现状，着重分析比较了h 2 6 4 a v c 中的码率控制技术 以及近年来提出的一些改进方法，并在此基础上，通过对拉格朗日乘子，比特分配和q p 调整策略的研究，改进了码率控制算法。改进算法主要是根据增量控制，最低纹理比特限 制，缓存状态等对二次率失真模型计算出的量化参数期望值剑。进行调整，得到实际 编码量化参数；而对率失真优化( r d o ) 拉格朗日乘子的计算，则是通过量化参数期 望值及对每帧宏块的平均目标比特和各种模式下产生的比特的比较，进一步利用f ( m t i o ) 函 数来修正拉格朗日乘子k o d e 。在考虑帧复杂度的基础上，提出了基于复杂度的帧比特分 配方案和q p 调整策略。通过实验仿真验证，基于改进算法的码率控制，缩减了目标比特 和实际比特的差距，取得较小的码率偏差，得到良好的码率控制效果，尤其是在低码率下 获得了较好的图像质量，较高的平均p s n r , 并且缓存占有率也更加稳定。 关键词：h 2 6 4 a v c 码率控制l a g r a n g e 乘子 比特分配q p 调整 南京邮电大学硕士学位论文 a b s t r a c t t h ep r i m a r yg o a lo fr a t ec o n t r o li st or e g u l a t ec o d e dv i d e oq u a l i t y t h ed e s i g n o far a t ec o n t r o ls y s t e mr e q u i r e sc a r e f u la t t e n t i o nt ot h ef o l l o w i n gi s s u e s ：t a r g e t r a t ec a l c u l a t i o n ，s o u r c ea n dc h a n n e lm o d e l i n g ，v i d e oc o d i n g ，r a t e d i s t o r t i o n e s t i m a t i o n ，b i ta l l o c a t i o n ，f r a m es k i p p i n g ，r e a l t i m ei m p l e m e n t a t i o n ，t r a n s m i s s i o n e n v i r o n m e n ta n dp e r f o r m a n c ee v a l u a t i o n n e wa n de m e r g i n ga p p l i c a t i o n s ，s u c ha s i n t e r n e tv i d e os t r e a m i n g ，w i r e l e s sc h a n n e lt r a n s m i s s i o n ，m p e g 一4v o ( v i d e o o b j e c t ) c o d i n ga n ds n rf g sa n ds oo na l lr e q u e s th i g h e rs t e a d i e rr a t ec o n t r o l s c h e m et om e e tt h en e e d so fv i d e oc o m m u n i c a t i o n s ot h es t u d yo nt h er a t ec o n t r o l h a sb e c o m et ob eah o tr e c e n ty e a r s t h i sp a p e rp r e s e n t saf r a m el a y e rr a t ec o n t r o lf o rh 2 6 4t h a tc o m p u t e st h e l a g r a n g em u l t i p l i e r ( k o d c ) f o rm o d ed e c i s i o nb yu s i n gaq u a n t i z a t i o np a r a m e t e r ( q p ) w h i c hm a y b ed i f f e r e n tf r o mt h a tu s e df o re n c o d i n g a tt h es a m et i m e ，w e a l s oc o m p a r et h eb i t sp r o d u c e db ye a c hm o d ew i t ht h ea v e r a g et a r g e tb i t so fe a c h m a c r o b l o c k ( ) i naf r a m et of u r t h e rm o d i f yk o d e t h eo b j e c t i v eo ft h e s e m e a s u r e sa i m st op r o d u c eb i t sa sc l o s et ot h ef r a m et a r g e tb i t sa sp o s s i b l e i no r d e r t oo b t a i na na c c u r a t eq pf o raf r a m e ，w ee m p l o yac o m p l e x i t yb a s e db i ta l l o c a t i o n s c h e m ea n daq pa d j u s t m e n tm e t h o d s i m u l a t i o nr e s u l t ss h o wt h a tt h eh 2 6 4 e n c o d e r ，u s i n gt h ep r o p o s e da l g o r i t h m ，c o n t r o l st h eb i tr a t eb e t t e r , a c h i e v e sav i s u a l q u a l i t yi m p r o v e m e n t ，a n d t h eb u f f e ri sm o r es t e a d i e r k e yw o r d s ：h 2 6 4 a v c r a t ec o n t r o l l a g r a n g em u l t i p l i e r b i ta l l o c a t i o n q pr e c t i f y i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：地金豳日期：呈亟! 生：! 墨 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：邋塑 导师签名： 南京邮电大学硕士学位论文 第一章绪论 1 1 引言 第一章绪论 近年来，随着数字通信技术和各种网络技术的迅速发展以及宽带i n t e m e t 在全球的普 及，多媒体通信越来越成为人们研究的熟点，视频压缩编码技术作为多媒体通信系统中的 一个组成部分，可以广泛应用于视频存储，视频点播，会议电视，远程教学，可视电话， 监控系统等方面，在实际的社会生产活动中有着巨大的需求。 技术的发展和人们的需求总是相辅相成的，近年来多媒体通信业务的发展离不开两大 因素：宽带网络的迅速发展和视频压缩技术的快速进步。在有限的网络带宽资源下，视频 压缩技术的发展成为获得更高视频质量和传输速度的重要保证之一。 传统的视频压缩编码理论建立在香农( s h a n n o n ) 信息论的基础上，通过消除图像数据 间的相关冗余来达到压缩的目的，压缩倍数一般在5 0 倍左右，即压缩数据可以达到原数 据量的2 ，代表为m p e g 1 和m p e g 2 。到2 0 世纪8 0 年代中后期，人类生理和心理学 研究的成果被引入到视频压缩理论中来，发展了基于人眼视觉特性和信源特性的第二代编 码技术，压缩效率进一步提高，压缩倍数可以达到1 0 0 - - 1 5 0 倍，即压缩为原数据的1 左 右，m p e g - 4 和h 2 6 4 a v c 是这方面的代表。 国际电信联盟( i t u - t ) 和国际标准化组绷国际电子委员会的运动图像专家组( i s o i e c m p e g ) 是国际视频压缩标准的两大主要制定者。他们在不同的时期，针对不同的应用， 颁布了h 2 6 1 1 2 3 3 + 1 3 + + 4 和m p e g 1 2 4 等多媒体压缩标准【1 1 和m p e g 7 、m p e g - 2 1 等标准， 图1 1 描述了近年来视频压缩标准的进展情况。i t u - t 主要制定了h 系列的标准，包括h 2 6 1 ， h 2 6 3 ；而m p e g 1 、m p e g 2 、m p e g 4 则是i s o i e cm p e g 的主要成果。h 2 6 1 标准适用于 可视电话和电视会议的，对以后的视频编码标准有着深远的影响。m p e g 1 的制定，带来 了v c d 和m p 3 产业的发展。m p e g 2 是目前的数字电视标准，其图像质量包含从v c d 至u 高 清晰度电视( h d t v ) 。h 2 6 4 a v c 被认为是未来几年最有前途的图像编码压缩标准，则是 两个组织共同合作的结果。h 系列的标准主要应用于视频会议、远程监控等业务，较适合 于早期的p s t n 、i s d n 网络；m p e g 1 和m p e g 2 对网络的传输特性考虑较少。m p e g - 4 和 h 2 6 4 是目前流媒体领域内比较适用的两个国际标准，常见的编码器如d i v x 和x v i d 实质是遵 循m p e g - 4 标准的编解码器。 l 南京邮电大学硕士学位论文第一章绪论 旧m p e 础g1 网同l 41 1 9 8 41 9 8 61 9 8 8l 鲫o1 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 42 0 0 62 0 0 8 图1 1国际视频编码标准进展情况 1 2 本课题的主要研究内容 在视频编码器中，视频编码的控制是核心部分，这一实现是通过码率控制来实现的， 因此码率控制是视频编码策略中的重要部分之一，对编码的图像质量起着决定性的作用。 码率控制的目的在于，通过对量化参数的自适应选择，使得视频编码器在一定的视频数据 带宽的限制下能够比较稳定地输出码率，获得较小的视频时延。由此可见，码率控制策略 的选择对于是否能够成功地在信道中传输编码后的视频数据起着一定的作用。 目前不少学者和机构都提出了各自的码率控制策。一般码率控制包括两个部分：一是 合理的分配比特，二是实现所分配的比特，一般通过调整量化参数( q p ) 实现。有关比特 分配部分，m p e g 2t m s e 2 为每个图像组( g o p ) 分配了固定的比特数，g o p 内的比特数 在分配给各帧，各宏块等等，随后很多解决方案也继承了这种思想。又有学者提出了用 l a g r a n g e 方法优化率失真模型的码率控制算法【3 】，该算法用于h 2 6 3 的测试模型t m n 8 1 4 1 和m p e g - 4 的校验模型v m 8 p j ，但是由于该算法采用方差作为控制参量，复杂度比较大。 也有学者提出了一种比较简单的线性模型i o j ，发现在视频编码系数变换量化后非零值个数 与编码码率之间存在线性关系，但是这种模型要求对系数进行变换处理。接着有人提出了 二次量化模型【7 1 ，这种模型形式相对简单，最接近实际r q 关系且不用对系数变换。因此 许多现存的视频码率控制机制都是使用二次量化模型。 作为新一代的视频压缩编码标准，h 2 6 4 a v c 对多编码模式、编码参数自适应选择、 上下文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤波以及抗误码能力等 2 南京邮电大学硕士学位论文第一章绪论 方面进行了精雕细刻，采取了一系列切合实际的技术措施，大大提高了编码效率和网络自 适应能力瞵j 。但在h 2 6 4 a v c 的编码标准中，并没有对码率控制模块进行详细的规定。 h 2 6 4 a v c 标准草案中将q p 同时应用于码率控制算法和率失真优化，导致了蛋鸡悖论： 为了计算当前帧中宏块的r d o ，需要利用当前帧或宏块的q p , 而每个当前帧或宏块的m a d 只有在r d o 后才能计算出来。t 组织针对h 2 6 4 a v c 提出了两个比较优秀的码率控制 提案：- f 0 8 6 - 1 9 中m p e g _ 4t m 5 改进版本及j v t g 0 1 2 i o 】提出用流量往返模型来分配每 个基本单元目标比特数，并在宏块层编码采用二次率失真函数计算量化参数的方法。 传统的码率控制算法在中高码率下可以获得良好的编码效果，然而在低码率的情况 下，有些性能不尽理想。并且，多媒体通信业务的低时延要求也不能得到很好的满足，因 此，有必要对h 2 6 4 a v c 码率控制算法进行研究学习，对码率控制方案提出改进，获得更 好的编码效果。本文分析了h 2 6 4 a v c 编码器的结构和关键技术，对码率控制技术的现状 进行了研究，着重分析比较了h 2 6 4 a v c 中的码率控制技术以及近年来提出的一些改进方 法，并在此基础上，通过对拉格朗日乘子，比特分配和q p 调整策略的研究，改进了码率 控制算法。 1 3 本文内容安排 本文主要就h 2 6 4 a v c 标准中的码率控制技术进行了研究，并在此基础上提出了帧层 的码率控制改进算法，同时进行了实验仿真分析。 本论文内容安排如下： 第一章绪论部分主要介绍了本文的研究背景，简要介绍了视频编码标准的发展和应 用，提出了本文的研究意义和内容，并对论文结构进行安排。 第二章概述了h 2 6 4 a v c 视频压缩编码标准的发展和技术优点，同时也介绍了编码器 的构成、主要工作方式及h 。2 6 4 a v c 编码标准中获得图片压缩质量所采取的优势技术。 第三章介绍了码率控制的概念，作用和类别，探讨了视频编码标准发展中的经典码率 控制算法及其机制原理，并比较分析他们在码率控制性能中的优劣。 第四章讨论了h 2 6 4 a v c 提案中的码率控制方案，以及码率控制中的存在的问题和实 现难点，并对国内外不同学者提出的码率控制方法从四个侧重点进行了探讨比较。 南京邮电大学硕士学位论文 第一章绪论 第五章在前文基础上，详细表述了在h 2 6 4 a v c 码率控制算法研究基础上提出的帧层 码率控制算法改进策略，利用v c 6 0 对改进算法进行实验仿真，并分析比较了码率控制性 能。 本文最后是结束语，对全文做出了概括总结，并对下一步的工作进行了展望。 4 南京邮电大学硕士学位论文第二章h 2 6 4 编码器的构成及其性能优化部分 第二章h 2 6 4 a v c 编码器的构成及其性能优化 2 1h 2 6 4 a v c 标准的制定和技术优点 2 0 0 1 年底，j s o i e c 的m p e g 专家组加入到i t u 的视频专家编码小组( v c e g ) 中来，共同 成立了联合视频小组( d 【2 0 】，这个组织的目标是：研究新的视频编码算法，使其在性能上 要比以往制定的最好标准提高好多。 2 0 0 3 年3 月在泰国p a t a y a 举行的t 第7 次会议上通过的了最新的视频编码标准【9 1 。由于 该标准是由两个不同的组织共同制定的，因此这一新标准有两个不同的名称。在i t u t 中， 它的名字n q h 2 6 4 ；而在i s o 以e c 中，它被称为m p e g - 4 的第1 0 部分：高级视频编码( a v c ) 。 统称为h 2 6 4 a v c 。此标准不但能够显著提高压缩比，而且具有良好的网络亲和力，加强 了对l p 网、移动网的误码和丢包的处理。 h 2 6 4 a v c ：在同等传输质量下比h 2 6 3 节约了5 0 的码率，大大提高了压缩比。它优异 的压缩性能比将在数字电视广播、视频通讯( 如可视电话，会议电视) 、网络视频流媒体( 如 视频点播) 及多媒体短信中得到重大的应用。 h 2 6 4 a v c 之所以能取得很好的压缩性能是因为它对h 2 6 3 作了许多技术上的改进，压 缩算法更加精细，同时添加了一些新技术提高压缩后的图片质量。比如通过对帧间编码的 改进技术，更加精细的预测精度( l u m a 分量的运动矢量( m o t i o nv e c t o rm y ) 使用1 4 像素精 度，c h r o m a 分量的m v 为1 8 像素精度) 和多参考帧技术这三个技术的采用来节省更多的码 率；b 帧的前向预测和后f i 的双向预测提高压缩性能和预测精度：在图片、场景切换和抗 误码性能方面，则是引入了s p 和s i 帧来获得更好的亲和性，支持流媒体服务：h 2 6 4 a v c 还采用了整数i d c t 变换，提高运算精度，克服编解码器间由于舍入误差而造成的失调问题； 并且，在量化方面，步长增为5 2 个，量化更为精确；帧内预测和熵编码改善了编码效率和 质量，也获得了较好的压缩比性能；抗块效应滤波器消除经反量化和反变换后重建图像中 由于预测误差产生的块效应，即块边缘处的像素值跳变，从而改善图像的主观质量和预测 误差。 5 南京邮电大学硕士学位论文第二章h 2 6 4 编码器的构成及其性能优化部分 2 2h 2 6 4 a v c 编码器的构成介绍 图2 1h 2 6 4 a v c 编码器构成图 这部分将介绍h 2 6 4 a v c 编码器的构成和编码器是怎样工作的。 如图2 1 所示，当视频序列输入编码器时，编码器将以帧为单位对视频序列进行编码。 首先编码器取出一帧图片，根据图片中的参数设置判断这一帧的类型，如果是i 帧将进行帧 内编码，选择i n t e r ，如果是p 帧和b 帧将进行帧间编码，选择i n t r a 。 2 2 1 帧内编码过程 对于帧内编码共有1 3 种编码预测模式可以选择，通过计算选择预测误差最小的一种编 码模式，然后根据码率控制模块( c o d i n gc o n t r 0 1 ) 选择量化参数q p ，进入变换( t r a n s f o r m ) 模 块对预测残差进行整数d c t 变换，进入量化( q u a n t i z a t i o n ) 模块进行量化，进入熵编码 ( e n t r o p yc o d i n g ) 模块将残差进行熵编码并形成比特流输出编码器，同时进入反量化( i n v e r s e q u a n t i z a t i o n ) 模块反量化，进入反变换模( i n v e r s et r a n s f o r m ) 进行反变换，然后经过环滤波 抗块效应，最后进入帧存储( f r a m es t o r e ) 块，将此反变换恢复的i 帧存储为后面的p 帧做预测 时使用。 6 南京邮电大学硕士学位论文第二章h 2 6 4 编码器的构成及其性能优化部分 2 2 2 帧间编码过程 如果选择帧间编码i n t e r ，首先确定编码模式，p 帧共有7 种分割方式，b 帧共有4 种分割 方式，然后到帧存储( f r a m es t o r e ) 模块选择预测帧，接着根据选择的预测帧和编码模式进 行运动估计找到运动矢量并将运动矢量送到熵编码( e n t r o p yc o d i n g ) 模块进行编码形成码 流，随后对编码进行运动补偿形成编码残差，然后根据码率控制模块选择量化参数q p ，进 入变换模块对预测残差进行整数d c t 变换，进入量化模块( q u a n t i z a t i o n ) 进行量化，进入熵 编码( e n t r o p yc o d i n g ) 模块将残差进行熵编码并形成比特流输出编码器，如果是p 帧同时进 入反量化模块( i n v e r s eq u a n t i z a t i o n ) 反量化，进入反变换模块( i n v e r s et r a n s f o r m ) 进行反变 换，然后经过环滤波抗块效应最后进入帧存储( f r a m es t o r e ) 模块，将此变换恢复的p 帧存储， 为后面的p 帧做预测时使用。 2 3h 2 6 4 a v c 的技术优势介绍 h 2 6 4 a v c 编码标准对图片的高压缩率和图片压缩质量的获得是建立在一部分新技术 的采用基础之上的。下面将具体介绍上面提到的h 2 6 4 a v c 中的新技术。 2 3 1h 2 6 4 a v c 帧内编码预测 在h 2 6 4 中采用了多种不同的帧内预测方法，最大程度的减少了图像空间冗余信息，对 于亮度信号，帧内预测可分为1 6 x 1 6 和4 x 4 两种方式，其中1 6 x 1 6 方式有4 种可选模式，4 x 4 方式有9 种可选的预测模式；对于色差信号则采m 8 8 预测方式则只有1 种预测模式【3 0 】。 1 6 x 1 6 块的4 种预测模式分别是：模式0 ，垂直预测；模式l ，水平预测；模式2 ，直流 预测：模式3 ，平面预测。 v 舶口bi l i 1 - t _ - i _ 锄i _ _ _ _ 图2 - 1 1 6 x1 6 帧内预测模式 7 南京邮电大学硕士学位论文第二章h 2 6 4 编码器的构成及其性能优化部分 4 x 4 块的9 种预测模式的基本思路是从不同的方向，计算、比较亮度块中各个像素之间 的亮度差，即梯度值。选择最小预测误差的方向作为最佳的预测方向。 mab c d efgh i j k l 图2 34 x 4 中的子块和参考样点 4 x 4 块中用来预测的已知像素值为图2 3 中的大写字母，深色小块中的值为将要预测的 像素值。在选择预测模式之前要先判断a m 这些值中哪些是已知可用的，然后根据可用的 像素值从9 种选择中选择本小块的预测模式。 l 勿j 砀 时j 8 i 6 图2 _ 44 4 块中的8 种预测方向 4 x 4 块共有9 种预测模式，除了模式2 为d c 直流预测模式外，其他8 种均是根据某一方向 预测，如图2 4 所示，根据8 个预测方向选择预测模式。 模式0 是垂直预测，由a 、b 、c 、d 垂直推出相应的像素值：模式1 是水平预测，由i 、 j 、k 、l 水平推出相应的像素值；模式2 是直流预测( d c ) ，由a d 和i l 平均推出所用的像素 值；模式3 和模式4 ，由4 5 度方向内插得到相应的像素值；模式5 ，模式6 ，模式7 和模式8 由 2 6 6 度方向内插得到相应的像素值。 8 南京邮电人学硕士学位论文 模k o mab c d efg ih i j k l1r 1r r 1r 模式2 mab c d efigh i j k l 模式4 ma bc defg h i 。 j k 。、 l 。、。、 模式6 mab c d e fg h i 。 、 j - j 、 k 。 、 l 。、y 模式8 ma bc d efigh j 一一， j _ k ， l 第二章 h 2 6 4 编码器的构成及其性能优化部分 模式1 mab cde l flg 1h i j k l 模式3 ma bcd eifig h i 。 汐 j 。 k 。 l m ，需要跳帧，以便留下足够的空间存放待编码帧的数据，防止编码缓存区的 上溢。 ( 2 ) 宏块层的比特率控制 宏块层的比特率控制主要是宏块层量化参数的自适应调整，改变量化步长。改变量化 步长，是微观的比特率控制，控制量是量化参数q p 。h 2 6 3 标准规定：q 分为3 2 级，其值分 别为o 3 1 。q p 越小，量化越精细，图像质量就越高，而产生的码流也越长。 当一个宏块编码结束时，如果截至到目前编码器所产生的码流小于一个门限，那么码 率控制模块就根据一定的算法减少q p i 而对于量化器来说，q p 变小则量化后的系数中非 零系数增多，编码器输出的码流就增加。如果截至到目前编码器所产生的码流大于一个门 限，那么码率控制模块就增；b i i q p ，q p 变大则量化后的系数中非零系数减少，编码器输出 的码流就减少。按照这种方法，在定程度上，使发送给发送缓冲器的码流维持恒定，也 就达到了控制码率的目的。改变量化参数的计算比较复杂，根据统计的码流比特数，通过 复杂的计算，在每个宏块结束时，计算下一个宏块的量化参数q p ，同样采用了r - d 模型。 这个模型是对经典r - d 模型的改进。和v m 8 相比，t m n 8 可更精确的控制目标码率，保持 缓冲区的稳定性。 3 2 2 算法比较 m p e g - 2 校验模型t m 5 中采用的码流控制方法将视频序列划分为图像组( g o p ) ， g o p 内首帧编码为i 帧，剩余帧编码为p 帧或b 帧。码率控制主要有三个步骤：帧层，根 据g o p 图像的复杂性分配当前帧的目标比特；根据缓存的充盈度确定宏块初始量化参数； 宏块层，根据宏块空间活动性和人眼视觉特性调整宏块量化参数。该方法中对帧复杂度的 估计与编码类型有关，且对i 、p 、b 类型帧分别设有独立的虚拟编码缓存。由于这种控制 南京邮电大学硕士学位论文 第三章经典码率控制 方法是以g o p 为单位进行的，不但其计算量大，而且难以满足实时视频传输的要求。 h 2 6 3 校验模型t m n 8 中采用的码流控制方法主要有两个步骤：帧层，根据缓存充盈 度分配当前帧目标比特，决定是否跳帧等；宏块层，根据一个经验模型，所需的比特数由 像素的标准方差、量化步长索引和两个模式参数决定，随编码器的运行实时更新。由于这 种率控制方法随时对缓存容量进行调整，可以采用较小容量的缓存器，将编码延时降到最 低，对低时延的实时通信十分有利。 在m p e g - 4 附录l 1 的可选择速率控制( s r cs c a l a b l er a t ec o n t r 0 1 ) 算法中，只提供 帧级速率控制，即对完整的一帧选择单一量化步长。s r c 算法和量化步长索引、参考模型 参数、图像复杂性参数( 如运动补偿后的绝对帧差) 有关。由于s r c 算法的在一个编码帧 内不调整量化步长，可以给出更加一致的可视质量，但这样要求缓存器容量大，增加了编 码延时。 3 3 本章小结 在本章的工作中，介绍了码率控制的概念、作用和c b r 、v b r 两种类别。并重点描 述了t m 5 、v m 8 、r m 8 和t m n 8 等经典的码率控制方案，它们都是研究h 2 6 4 码率控制 的基础理论，同时对不同算法的可取之处以及需要改进的地方进行了探讨 南京邮电大学硕士学位论文第四章h 。2 6 4 码率控制筑略研究 第四章h 2 6 4 码率控制策略研究 4 1h 2 6 4 a v c 中的码率控制算法 h 2 “? a v c 中的码率控制方法的提案主要有两个：一个是由m p e g - 2 中t m 5 版本改进 过来的算法，应用于t - f 0 8 6 中，基于t m 5 的比特分配方案和量化参数控制算法，称之为 改进的j v t t m 5 码率控制算法。另一种是由m p e g - 4 中v m 8 版本改进过来的算法，应用于 j v t - g 0 1 2 中，提出用流量往返模型来分配每个基本单元目标比特数，并在宏块层编码采 用二次率失真函数计算量化参数的算法，称之为改进的j v t q r d 控制算法。j v t - g 0 1 2 还 比较了这两种算法，认为其算法优于f 0 8 6 算法。下面对这两种算法分别进行介绍。 4 1 1j 、佃f 0 8 6 中的码率控制算法 t f 0 8 6 中，编码器首先根据上一个宏块的量化参数对当前需要编码的宏块进行率失 真优化判决，包括选择帧内编码或帧间编码的预测模式、最佳运动矢量、最佳参考帧。在 初步判决编码模式后，再利用宏块编码模式信息来计算宏块活动度，以便能更精确地计算 判决宏块的最佳编码模式和运动矢量信息。其次，根据计算得到的宏块活动度结合当前缓 存区的充盈情况采用类似t m 5 的码率控制算法选择合适的宏块量化参数，进行码率自适应 调整。最后编码器利用新得到的量化参数再次进行率失真优化编码模式判决，由此得到最 终的图像编码比特流，具体算法步骤分析如下： ( 1 ) 为不同类型的图像进行比特分配 同样采用t m 5 中为每帧分配比特数的算法首先为每帧分配一定量的比特数 t i = m a x rb i tr a t e 1 + n p x p + 丝益“8 p i c t u r e r a t e x l k p x i k b 南京邮电大学硕士学位论文 第四章h 2 6 4 码率控制策略研究 t p - - - m a x t b - m a x 尺6 豇r a t e n h k p x b 8 x p k i rb i tr a t e n p + 等酗p i 咖e 一硼r e ( 4 1 ) 其中，r 为g o p 中剩余的可用比特数：n i , n p ，n b 分别为g o p 中未编码的i 帧，p 帧和b 帧 数；p i c t l l r e 即t e 为视频帧率；k d 和为取决于量化矩阵的常量。d 当令m p e g - 2 缺省量化矩 阵时，酶和瓯分别取1 o 和1 4 0 ，x i ，p ，b 分别代表三种不同类型的帧的编码复杂度，初始值 设定为： 1 5 0 x b i t r a t e 兢= 一 11 5 ：25xbit-ratex( 4 2 ) p2 可f k 碍心) 1 8 b i t r a t e 置= 一 11 5 ( 2 ) 第一次率失真优化 利用上一个宏块的参数，初步选择本宏块的参考帧、运动矢量、帧间或帧内编码模式。 利用下面两个l a g r a n g e 率失真优化方程寻找最佳参考帧和最佳运动矢量： d ( m ，厶棚) = s a d ( s ，c ) + 咖r ( m p ) j ( r 也v ，厶棚) = s a d ( s ，c ( p 地f ，m ( r e f ) ) ) + k ( r ( m ( r e f ) p ( r e f ) ) + r ( r e f ) ) 其中，s 、c 分别代表图像原始象素值和它的预测值；r e f 为参考帧图像。 ( 4 3 ) 利用上一个编码宏块的量化参数构造率失真优化方程，寻找当前宏块最佳编码模式。 南京邮电大学硕士学位论文 第四章h 2 6 4 码率控制策略研究 j ( s ，e , m o d e ig 1 ，厶獬) = s s d ( s c , m o d e g i ) + 气咖r ( s ，c ，m o d e ig i ) 其中：式 i 拘l a g r a n g e 子旯的大小为： ( 4 4 ) 对于i ，p ，图像：k = 0 8 5 2 岛彳；对于b 图像：气嘲= 4 x 0 8 5 x 2 e ， 对于1 ，p ，b 图像：丸嘲= 后 ( 4 - 5 ) 式中的s s d 值计算如下： 1 6 1 6 s s d ( s ，c ，m o d i 习g 一。) = ( 母【x ，y - - c , x ，y ，m o d i 爿g 一- 】) 2 j 1 j r l + ( s u x , y l - - c , x ，y ，m o d e lg l 】) 2 8 8 + ( $ vi x , y - c , x , y , m o d e q j l 】) 2 x = l ，y = i ( 3 ) 宏块量化参数的选择 宏块的量化参数的大小与宏块的活动度和虚拟缓存的充盈度有关。 ( 4 - 6 ) 首先，计算宏块的活动度，利用上述编码模式和运动矢量及参考帧信息，计算宏块的 活动度： na c t ： ( 4 7 ) j ( 2 x a c t j ) + a v g _ a c t 一 a c g + ( 2 x a v g a c t ) 其中： a c t j - - - i s ( x ，y ) 一c ( x ，y ) l x , y = l ，2 ，1 6( 4 - 8 ) x , y a v 咿c t 为最近一帧相同类型图像活动度的平均值，t 中初始值的设定为： a v ga c t = 10 0 0a v g _ a ct p - - 9 0 0a v ga c t b = ：8 0 0 根据上述宏块活动度和编码器虚拟缓存的充盈度计算宏块的量化参数： ( 4 9 ) 南京邮电大学硕士学位论文第四章h 2 6 4 码率控制策略研究 g = ( 竿 x 嘶 其中：彬表示虚拟缓存的充盈度，计算方法如下： 彬= 簖+ 乃，一器t 等1 p b 马，为第j - 1 个宏块为止的当前帧图像中己经编码宏块花费的比特数。 d 的初始值的设定为： d o = 1 0 x r 3 1d i = k p ( 4 ) 第二次率失真优化，完成编码 ( 4 1 0 ) ( 4 一1 1 ) ( 4 1 2 ) 编码器利用上述求得的量化参数，再次进行率失真优化选择最优的编码预测模式、运 动矢量和参考图像，并最终按照第二次率失真优化选择的编码模式和量化参数进行压缩编 码，相应的虚拟缓存充盈度也随宏块及图像的编码而不断更新。 4 1 2j 、，r g 0 1 2 中的码率控制算法 j v t - g 0 1 2 中，在g o p 层比特率分布和图像层比特率分布上均采用了改进的基于虚拟区 充盈度的比特分配算法。而宏块层则使用了基于二项式率失真优化模型的量化参数控制。 其中改进的g o p 和图像层比特分配算法构成该码率控制算法的核心，它主要由编码帧率、 当前虚拟缓存区的充盈度、目标缓存区的等级和可用信道比特率共同决定，具体算法介绍 如下： ( 1 ) g o p 层码率控制 设定( 御代表整个g o p 中的图像帧数，啊( i _ 1 ，2 ，；j = 1 , 2 ，m m 尸) 表示第i 个g o p 中翁 帧图像，b v ( i ，j ) 代表虚拟缓存区的充盈度，于是在编码第n ，帧之前虚拟缓存区的充盈度 为： 札) 叫m * 的u ，一鞘，叫 南京邮电大学硕士学位论文第四章h 2 6 4 码率控制策略研究 其中： 彳( 啊) 为第吩帧图像实际编码产生的比特数，”h ) 为在编码前时刻的信 道可用带宽，e 为预先设定的编码帧率，吼为虚拟缓存区的大小。 在g o p 起始时，公式( 4 1 3 ) 表示为： 鼠“，。) = 巩8且“+ l ，。= b v ( n t g 洲j ( 4 - 1 4 ) 分配给每个g o p 结构的比特数为： 瓶) = 掣一( 争_ g h ) ) 其中吩。表示信道带宽，即信道每秒允许流过的比特量。 从上式可以看出，当前g o p i q 比特数分配与前一编码g o p 的实际编码比特数有关。为 保证g o p 具有相同的编码质量，每个g o p 均须使用自己的比特预算，即每个g o p 编码完成 后，虚拟缓存区的值均应当保持在b s 8 左右。 ( 2 ) 帧层码率控制 y 9 6 0 p 分配比特数之后，应为g o p 中的每一个编码帧分配一定量的比特数，这是帧层 码率控制的主要内容。在分配比特量之前，首先根据前面编码帧编码占用的比特量调整 c , o a d e 的剩余比特数，然后根据前面编码帧的复杂度为当前编码帧分配比特数。 对于v b r 信道，带宽为时变量，故在每帧图像编码完成后，需要根据当前时刻带宽的 情况调整剩余比特量： z i + 掣( - j ) - a 其中：c h ，) 为第个g o p 第j 帧图像要编码时剩余的比特量，彳h 川) 为图像编码所 用的实际比特数。 对于c b r 信道，带宽为恒定量，但仍可以应用式( 4 - 1 6 ) ，由于有甜h ) 等于材h 川) ，所 以上式可变换成： 霉h 。，) = z h 乒) 一彳h 川) ( 4 1 7 ) 南京邮电大学硕： = 学位论文第四章h 2 6 4 码率控制策略研究 可见，式( 4 1 6 ) 对于v b r 和c b r 始j 适合。 然后，根据前一个编码帧的复杂度，计算当前编码帧的目标比特数： 对于p 帧： ，= 丽赫赫 对于b 帧：尼乩，= 孓忑云翥号警 ( 4 1 8 ) ( 4 1 9 ) 其中：以，口h 川) 为前一个p ，b 帧的复杂度，群“川) 为前面所有编码的p 帧和b 帧的平 均复杂度，坼j ( f ) 为g o p 中剩余的p ，b 帧总数。 ( 3 ) 宏块层的码率控制 宏块层的码率控制算法的主要内容是宏块量化参数的确定。 量化参数的算法和v m 8 中的算法相同，仍采用二次率失真模型计算量化参数。 盘：止竺：旦+ 旦 m a dqq 2 ( 4 2 0 ) 其中：h 为头信息的比特童，m a d 值为本宏块的值，a i 和呸为系数。 m a d ( m c a na b s o l u t ed i f e r e n c e ) 平均绝对值残差，计算方法如下： mn k 似，- ) - f , 一，如，刀】 m a d ( i j ) = 盟止丽 ( 4 2 1 ) 其中：m ，n 指一个宏块宽和高像素的个数，五如，拧) 和以一。如，刀) 为本宏块和参考宏块 的像素值。 由于本宏块的m a d 值在编码当前宏块前并不能直接求得，只能在本宏块编码后才能求 得，所以，j v t - g 0 1 2 采用了一阶线性预测，根据前一个编码宏块的m a d 值来预测当前编 码宏块的m a d 值。 南京邮电大学硕士学位论文第阴章h 2 6 4 码率控制策略研究 m a d , = 6 l m a d , 1 + 如 其中： 岛和如为线性预测模型的系数。 4 2h 2 6 4 a v c 码率控制中存在的问题 4 2 1 计算复杂度高 ( 4 2 2 ) 编码器的计算复杂度如果很高，不仅在硬件实现上是很大的困难，而且会增加编码器 的编码延迟，成为适时传输系统的很大问题。码率控制模块作为编码器中调节编码参数控 制编码比特率和编码压缩质量的一个单元，计算量占编码器总计算量的很大一部分，从前 面的介绍可以看出码率控制算法普遍计算复杂度都比较高。如：在j v t - f 0 8 6 中的码率控制算 法中出现了两次率失真优化，而且为了准确的选择参考帧和编码模式采用了预编码的方 式，要经过两次编码才能完成编码算法，大大增加了编码复杂度。又如：在j v t - g 0 1 2 中采 用了二次率失真曲线方程，为了精确的确定量化参数，每个宏块都要进行本宏块m a d 值的 线性预测和二次率失真曲线方程的求解，复杂度也是非常高。这些复杂的码率控制算法大 大增加编码器的负担，使得编码效率下降，编码延迟增大。尤其是对于h 2 6 4 a v c 编码算 法来说，更应该考虑这个问题。h 2 6 4 a v c 本身复杂度就很高，它虽然在同等条件下能比 h 2 6 3 降低5 0 的比特率，然而，这是建立在精确计算基础上的，它的编码复杂度是h 2 6 3 编码算法的十倍，解码复杂度是h 2 6 3 解码算法的三倍。所以，在设计码率控制算法的时候， 一定要考虑控制算法的复杂度。为了达到控制的适时性，减少滞后和延迟，应尽量采用计 算简单的码率控制算法。 4 2 2 场景切换时，码率控制算法精度下降 在实际编码过程中，经常出现场景切换，在场景切换时，相邻图片之间失去了时间相 关性，码率控制算法的控制效果就会下降。这时编码比特量会突然增大，使虚拟缓存内的 比特量出现较大幅度的增长，严重时会出现溢出，只能采用跳帧。 因为在码率控制算法中，控制思路都是基于前面编码帧的情况来计算当前编码帧的编 码比特，并根据这个比特量来调整编码参数，所以当出现场景切换时，由于当前帧与己编 码帧的联系很小或没有联系，控制算法会失灵，会出现编码量的突然上升。尤其是在v m 8 3 0 南京邮电大学硕士学位论文 第四章h 2