（信号与信息处理专业论文）基于ρ域线性率失真模型的h264码率控制技术研究.pdf

南京邮电大学硕士研究生论文摘要 摘要 h 2 6 4 是由国际电信联盟( i t u t ) 和国际标准化组织( i s o i e c ) 共同制定的新一代 视频编码标准。标准中引入许多新的编码技术和编码模式，但是需要通过有效的编码控制、 特别是码率控制技术才能实现高效率编码，因此相关的研究成为目前视频编码研究的热 点。 与以往标准不同的是，为了获得高效率的编码，在h 2 6 4 标准中需要引入了率失真优 化( r d o ) 策略来决定合适的运动估计和宏块编码模式。由于宏块的编码模式与量化参数 妒的选取相关，而为了控制码率，鲈的计算一般要根据编码模式判别后得到的帧内预测 或帧间预测的结果来决定，这将导致在码率控制过程中出现“蛋鸡悖论 ( t h ec h i c k e na n d e g gd i l e m m a ) 。因此，以往的很多经典码率控制算法在h 2 6 4 中并不适用。现有的解决方 案大都基于二次r d 模型，其码率和失真度是量化参数的函数，例如，j v t - h 0 1 7 提出结 合h r d 的码率控制算法等，虽然较好地解决了“蛋鸡悖论，但算法复杂度较高，不适用 于实时视频通信。 为了探索简单而有效的h 2 6 4 码率控制算法，本文在对现有的多种编码标准和h 2 6 4 编码的码率控制算法研究的基础上，结合视频混合编码的特性，对z h e 等人提出的p 域 线性率失真模型进行了深入的分析和研究，提出了基于p 域线性率失真模型的h 2 6 4 码率 控制算法。本文首先将该模型应用于h 2 6 3 编码，根据得到大量实验数据的分析，同时结 合h 2 6 3 和h 2 6 4 的异同，提出将该模型应用于h 2 6 4 的设想，接着在h 2 6 4 中验证了该 设想的有效性，之后将该模型应用于h 2 6 4 的编码控制，提出基于p 域线性率失真模型的 帧级和宏块级码率控制算法，并且对新算法进行了详细地描述。新算法中利用l m s 算法实 现了斜率目的自适应估计，并且引入参数六肋进行微调，以便实现准确、稳定的码率控制。 最后，论文对提出的新算法j v t - h 0 1 7 算法以及近几年一些学者提出的算法进行计算机仿 真和比较，并对算法的计算复杂度进行了深入的分析和比较。通过比较可以看出，本文提 出的帧级码率控制算法不仅获得更精确的码率控制，而且获得更平稳的输出码率和p s n r ， 同时实现简单，适用于实时视频通信；本文提出的宏块级码率控制算法的输出码率更接近 目标码流，并且计算复杂度降低很多，具有良好的实用价值。 关键词：h 2 6 4 、码率控制、p 域线性率失真模型 南京邮电大学硕士研究生论文a b s t r a c t a b s t r a c t h 2 6 4i st h en e w e s tv i d e oc o d i n gs t a n d a r dd e v e l o p e d j o i n t l yb yi t u ta n di s o i e c t h e s t a n d a r di n t r o d u c e sm a n yn e wc o d i n gt e c h n i q u e sa n dc o d i n gm o d e s h o w e v e r ，e f f e c t i v ec o d i n g c o n t r o l ，e s p e c i a l l y ，r a t ec o n t r o lt e c h n i q u e sa r ec r u c i a lt oa c h i e v eh i g he f f i c i e n c yc o d i n g t h e r e f o r e ，r e l a t e dr e s e a r c h e sa b o u tr a t ec o n t r o lh a v eb e c o m ev e r ya t r a c t i v e u n l i k et h ep r e v i o u ss t a n d a r d s ，r - do p t i m i z a t i o ni si n t r o d u c e di nh 2 6 4s oa st oo b t a i n s u p e r i o rc o d i n gp e r f o r m a n c e h o w e v e r , t h i si nt u r nc o u l dc a u s eat y p i c a lc h i c k e na n de g g d i l e m m a t h e r e f o r e ，al o to ft y p i c a lr a t ec o n t r o la l g o r i t h m sa r en o ta p p l i c a b l ei nh 2 6 4 t os o l v e t h i sp r o b l e m ，m o s to fe x i s t i n gh 2 6 4r a t ec o n t r o la l g o r i t h m sa r eb a s e do nq u a d r a t i cr dm o d e l ， w h e r eb i tr a t ea n dd i s t o r t i o na r ef u n c t i o n so fq u a n t i z a t i o np a r a m e t e r ，f o re x a m p l e ，t h ea l g o r i t h m i nj v t - h 017c o m b i n i n gh r d a l t h o u g h ，t h e s ea l g o r i t h m ss o l v et h ec h i c k e na n de g gd i l e m m a , t h e i rc o m p l e x i t i e sa r et o oh i g ht ob ea p p l i e dt or e a l t i m ev i d e oc o m m u n i c a t i o n s i no r d e rt oe x p l o r es i m p l ea n de f f e c t i v eh 2 6 4r a t ec o n t r o la l g o r i t h m ，b a s e do nt h e a n a l y s i s e so ft h er a t ec o n t r o la l g o r i t h m so fe x i s t i n gc o d i n gs t a n d a r d sa n dh 2 6 4 ，a sw e l la st h e c h a r a c t e r i s t i co fh y b r i dv i d e oc o d i n g ，t h i st h e s i sh a sm a d ed e e ps t u d yo np - d o m a i nl i n e a r r a t e - d i s t o r t i o nm o d e lp r o p o s e db yz h ee ta l ，a n dp r o p o s e dan e w r a t ec o n t r o ls c h e m eb a s e do n p d o m a i nl i n e a rr a t e d i s t o r t i o nm o d e lf o r h 2 6 4 。a tf i r s t ，p - d o m a i nl i n e a rr a t e d i s t o r t i o nm o d e li s a p p l i e dt oh 2 6 3a tf i r s t a c c o r d i n gt ot h ea n a l y s i so fm a n ye x p e r i m e n t a lr e s u l t s ，t h es i m i l a r i t i e s a n dd i f f e r e n c e sb e t w e e nh 2 6 3a n dh 2 6 4c o d i n g ，t h ep r o p o s a lo f a p p l i c a t i o no ft h i sm o d e li n h 2 6 4i s p r e s e n t e da n dp r o v e d t h e nt h ef r a m e - l e v e la n dm a c r o b l o c k 1 e v e lr a t ec o n t r o l a l g o r i t h m sf o rh 2 6 4b a s e do np d o m a i nl i n e a rr a t e d i s t o r t i o nm o d e la r ep r o p o s e da n dd e s c r i b e d i nd e t a i l s i no r d e rt oa c h i e v ea c c u r a t ea n ds t a b l er a t ec o n t r o l ，t h e s l o p e0i se s t i m a t e db y l e a s t - m e a n s q u a r e ( l m s ) a l g o r i t h m ，a n df u r t h e ra d ju s t e db yan e wf a c t o r f f df o re a c hf r a m e f i n a l l y , t h ec o m p a r i s o n sw i t hj v t - h o 17a n do t h e rt y p i c a la l g o r i t h m sa r eg i v e nb ys i m u l a t i o n s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h en e wa l g o r i t h mo b t a i n sp r i s i c e ra n ds t a b l er a t ec o n t r o l w i t hl o wc o m p u t a t i o n a l c o m p l e x i t y k e y w o r d ：h 2 6 4 、r a t ec o n t r o l 、p d o m a i nl i n e a rr a t e - d i s t o r t i o nm o d e l i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：耻日期：二坚型 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：绺导师签名：越v v 日期：蟛 南京邮电大学硕上研究生论文 第一章绪论 第一章绪论 1 1 视频编码技术与标准的发展概况 2 0 世纪9 0 年代，计算机技术、信息技术和网络技术迅速发展，人类进入了数字化、 信息化时代，视频编码技术得到快速的发展。随着视频会议、可视电话、视频监控、视频 存储的需求市场不断强劲，制定视频编码国际标准的条件基本成熟。i t u t ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r )和i s o i e c ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i n t e r n a t i o n a le l e c t r o m e t r i c a lc o m m i s s i o n ) 是 制定视频编码标准的两大组织，i t u t 的标准包括h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于实时 视频通信领域，如会议电视；m p e g 系列标准是由i s o f l e c 制定的，主要应用于视频存储 ( d v d ) 、广播电视、因特网或无线网上的流媒体等。 1 1 1视频压缩编码技术 视频除了在时域和空域上存在大量冗余外，还存在信息熵冗余( 也称编码冗余) 、结 构冗余、知识冗余和视觉冗余等【l 】。视频编码主要目的是在保证一定重构质量的前提下， 以尽量少的比特数来表征视频信息。整个处理过程的核心思想是去相关，即降低视频信息 的冗余度，实现对视频的压缩。 视频压缩编码是以s h a n n o n 的信息论为基础。一般而言，信源编码的方法按照压缩数 据能否被准确恢复分为两大类：无损压缩和有损压缩。其中，无损压缩虽可以无失真的恢 复原始数据，但是压缩效率十分有限。在实际应用中通常都是将二者结合使用，视频压缩 编码也不例外。 视频压缩主要的编码方法有以下几种： l 、预测编码 预测编码方法是较为实用且被广泛采用的一种压缩编码方法，其理论基础主要是现代 统计学和控制论。原理是从相邻像素之间的相关性特点考虑，不是对一个像素直接编码， 而是用同一帧( 帧内预测编码) 或相邻帧( 帧间预测编码) 中的像素值来进行预测，然后 对预测残差进行量化、编码、传输。预测编码实际是利用了视频信息的时空域冗余。预测 编码一般分为线性预测和非线性预测两种，其中线性预测编码即d p c m 。 南京邮电大学硕：l 研究生论文第一章绪论 2 、统计编码 数据压缩技术的理论基础是信息论。根据s h a n n o n 信息论的原理，数据压缩的理论极 限是信息熵，如果要求在编码过程中不丢失信息量，则要求保存信息熵。这种信息保持的 编码就是熵编码。它是建立在随机过程的统计特性基础上的。图像编码中应用最广的有基 于概率分布特性的哈夫曼编码( h u f f m a nc o d i n g ) 和算术编码，以及基于相关性的游程编 码。 3 、变换编码 变换编码通常是将空域相关的像素点映射到另一个矢量空间，使得图像的能量集中在 低频区域，表示图像中缓慢变化的内容，而图像的边缘、细节的纹理等细节部分集中在变 换域的高频区，然后对这些变换系数进行量化、编码处理。k l 变换是均方误差下的最佳 正交变换，但实现困难。当图像相邻像素间的相关系数接近1 时，k l 变换的基函数接近 d c t 变换的基函数。而且d c t 存在快速算法【2 】【3 】，易于硬件实现，因此被广泛应用于多种 图像视频编码国际标准中。 变换编码除了采用d c t 变换编码外，还有子带编码和小波编码【5 】o 子带编码则是将 图像分裂成几个不同频段的子带( s u b b a n d ) ，对不同的子带设计不同的编码参数，提高 图像质量。小波变换编码充分的利用了小波分析在时域和频域同时具有良好的局部化特 征，与人眼视觉特性相符的多分辨率能力，分解系数分布平稳，自然分级的金字塔式数据 结构等优点，在视频压缩领域引起广泛的关注。 上述预测编码、统计编码、变换编码的组合可形成混合编码，是目前m p e g 系列和 h 2 6 x 系列视频标准的基础。这些编码方法都是依照视频图像固有的特性进行压缩的。伴 随着感知生理_ 心理学的发展，人们越来越清楚地认识到：人的视觉感知特点和统计意义 上的信息分布不一致。统计上需要更多的信息量才能表征的特征，对视觉感觉可能并不太 重要。从感知角度而言，无需详细表征这部分特征，这时压缩技术的研究就突破了传统信 息论的框架。 随着数学理论，如小波变换、分形几何理论、数学形态学等以及模式识别、人工智能、 生理心理学等学科的发展，高效的、新型的压缩编码方法相继产生，如分形编码、基于模 型的编码、基于对象的编码等，本文不再详细赘述。 1 1 2 视频编码标准发展概况 目前，全球主要有i t u - t 和i s o i e c 两个制定视频标准的国际组织。另外，我国也在 2 雨京邮电大学硕上研究生论文第一章绪论 2 0 0 2 成立了音频标准化组织并且音视频国家标准a v s 也已正式颁布。 自h 2 6 1 后，i t u t 相继发布了h 2 6 x 系列标准，而i s o i e c 则推出了m p e g 1 、2 、 4 等标准【1 1 。这些视频编码标准都是基于块的混合编解码框架【6 】如图1 1 、1 2 所示，具有非 常类似的结构。基于块的混合视频编码系统是将图像分割为n x n 的像素块，然后每个块相 对独立的进行编码处理。“混合 的意思是每个块是联合运用运动补偿帧间预测和变换编 码进行编码的。整个编码器利用帧间预测编码消除图像序列中的时域冗余，利用变换编码 消除频域冗余，然后量化变换系数，熵编码，最后输出比特流。 图1 1视频混合编码框架 图1 - 2视频混合解码框架 2 0 0 3 年i t u t 和i s o i e c 联合推出的h 2 6 4 代表着当前视频编码技术的最高水平。 另外，i s o i e c 倡导的m p e g 7 ，m p e g 2 1 也都已正式颁布。 下一章节将会介绍其中的视频编码标准，本章不做详述。 3 南京邮电大学硕士研究生论文 第一章绪论 1 2 视频编码中的码率控制 视频编码的目的是保证视频传输和存储的有效性和可靠性，这就要求编码能够尽可能 压缩视频数据量满足带宽和存储空间的约束。实际上，视频编码除了受带宽和存储空间等 条件的限制外，还受到其它因素的影响，如编码延时、失真度( 主客观质量) 、编码复杂 度和容错性能等。其中，对视频编码系统影响较大的两个因素是码率和复杂度。而这些因 素之间往往存在着关联，例如：容错性提高时，必然会在码流中增加一些冗余，从而导致 码率的上升；编码码率降低时，系统的失真度也相应增加，最终表现为视频质量的下降。 对于交互式视频通信或实时视频应用，视频的编码和解码必须在给定的时间间隔内完 成，而视频编码的计算量又非常大，这就要求视频编码和解码算法的计算复杂度不能够超 出处理器的处理能力。因此，有效降低视频编码计算量是此类应用中需要解决的首要问题。 在有限的带宽和存储空间的限制下，无任何码率约束的码流既不利于系统的正常工作，也 不利于带宽和存储空间的管理。延时是系统设计时所应考虑的另一项重要指标，延时波动 过大，会使用户明显感到服务质量的下降。码率和延时这两方面的问题需要依赖码率控制 来解决，而如何控制码率以有效地管理带宽，同时尽可能的降低视频编码复杂度成为了系 统设计的一个重要问题。 码率控制有两种模式：恒定码率c b r ( c o n s t a n tb i t r a t e ) 模式和可变码率v b r ( v a r i a b l eb i t r a t e ) 模式。在恒定码率工作模式下，编码过程中的码率基本保持不变；在 可变码率工作模式下，码率可随场景变化而在一定范围内波动。本文研究的是恒定码率模 式下的码率控制。 码率控制大多利用缓冲机制的平滑，通过调整量化参数驴来实现。受解码缓冲区大 小和延时的影响，编码时除了对码率进行控制外，还要防止由于缓冲区产生溢出而引起的 视频质量下降。许多研究机构和科研工作者在码率控制方面开展了大量研究工作，也取得 了一些成果。t m 5 【7 1 将码率控制分为二个步骤：目标比特分配、基于缓冲区饱和度的码率 控制和自适应量化。然而t m 5 算法是建立在视频源信号为平稳随机过程的基础上，它存 在场景切换适应性和缓冲区一致性的问题。这些问题导致t m 5 算法在场景切换时的码率 波动较大，而且当缓冲区不同步的时候缓冲区可能会溢出。t m n 8 t 8 1 和v m s l 9 】则将码率控 制分别建立在码率一量化曲线为二阶抛物线模型和对数模型的基础上。t e i x e i r 等人【l o 】、 w e s t e r i n k 等人【l l 】和s e t b u r a m a n 等人【1 2 】提出了基于r d 模型的多通道码率控制算法。然而 这种算法的编码效率太低，需要对同一视频序列进行多次编码和分析。z h e b 3 通过量化后 d c t 系数的零值比例和码率之间的统计关系建立p 域线性率失真模型。该模型适用于大多 4 南京邮电大学硕十研究生论文 第一章绪论 数典型的基于子块d c t 变换编码系统【14 1 ，例如h 。2 6 3 、m p e g 2 和m p e g 4 。 1 3 本文的主要工作及内容安排 由于h 2 6 4 的编码算法与以往的标准有些不同，它引入了率失真优化( i d o ) 策略来 决定运动估计和宏块编码模式，而宏块的编码模式与量化参数的选取相关。为了给各宏块 选择合适的量化模式，必须首先给出一个q p 。然而为了控制码率，q p 的计算一般要根据 编码模式判别后得到的帧内预测或帧间预测的结果来决定，这将导致在码率控制过程中出 现“蛋鸡悖论( t h ec h i c k e na n de g gd i l e m m a ) 【1 5 】。因此，以往的很多经典码率控制算法 在h 2 6 4 中并不适用。现有的解决方案大都基于二次r d 模型，其码率和失真度是量化参 数的函数。例如，j v t - h 0 1 7 t 1 6 】提出结合h r d 控制算法，根据线性预测理论利用前一编码 帧相应位置的m a d 值预测当前编码帧基本单元的m a d 值，再通过二次r d 模型计算出 相应的量化参数，从而较好地解决了“蛋鸡悖论。然而该模型在预测m a d 时运算开销较 大，而本身的算法复杂度也较高，不适用于实时视频通信。 为了探索简单而有效地h 2 6 4 码率控制算法，本文在对现有的多种编码标准和h 2 6 4 编码的码率控制算法研究的基础上，结合视频混合编码的特性，对z h e 等人提出的p 域 线性率失真模型进行了深入地分析和研究，提出了基于p 域线性率失真模型的h 2 6 4 码率 控制算法。本文首先将该模型应用于h 2 6 3 编码，根据得到大量实验数据的分析，同时结 合h 2 6 3 和h 2 6 4 的异同，提出将该模型应用于h 2 6 4 的设想，接着在h 2 6 4 中验证了该 设想的有效性，之后将该模型应用于h 2 6 4 的编码控制，提出基于p 域线性率失真模型的 帧级和宏块级码率控制算法，并且对新算法进行了详细地描述。新算法中利用l m s 算法实 现了斜率p 的自适应估计，并且引入参数钆砌进行微调，以便实现准确、稳定地码率控制。 最后，论文对提出的新算法j v t - h 0 1 7 算法以及近几年一些学者提出的算法进行计算机仿 真和比较，并给出实验仿真的结果和结论。 论文共分六章，第一章介绍了视频编码技术与标准的发展概况、码率控制的意义、现 有研究成果及论文研究的主要内容和论文结构；第二章扼要介绍现有的视频编码标准及其 码率控制算法，并且着重介绍了h 2 6 4 中码率控制的特点和算法：第三章对p 域线性率失 真模型进行分析和研究；第四章提出并实现基于p 域线性率失真模型的h 2 6 4 帧级和宏块 级码率控制算法；第五章给出了实验仿真的结果；第六章是对全文内容的总结，并对今后 可能的研究方向进行了展望。 南京邮电大学硕上研究生论文第二章视频编码标准及其码率控制算法的分析 第二章视频编码标准及其码率控制算法的分析 近年来，计算机和通信技术的长足进步带动了为存储和传输诸如图像和视频序列等可 视信息的数字技术的发展。这种以几何级数增长的可视数据要进行存储和传输，就带来了 对数据压缩技术的巨大需求。但是因为网络和用户的不同，对视频质量要求也不尽相同， 所以需要根据实际情况采用恰当的编码控制。 目前几种通用的视频压缩国际标准，例如h 2 6 x 系列和m p e g 系列就是在这个背景 下产生的。这些视频压缩国际标准对码率控制部分是开放的，可以根据不同的情况采用不 同的码率控制算法，该领域也是目前的研究热点之一。 本章将介绍几种视频编码标准及其码率控制方法，并重点研究和分析h 2 6 4 视频编码 标准下码率控制的特点和算法。 2 1 m p e g 4 及v m 8 的码率控制算法 2 1 1m p e g - 4 视频编码标准 m p e g - 4 于1 9 9 8 年1 1 月公布，其主要针对数字电视、交互式绘图应用、交互式多媒 体存储等整合和压缩技术而制定的国际标准。其在一个框架内集合了众多的多媒体应用， 目标就是为多媒体通信及应用环境提供标准的算法和工具，建立一种可用于多媒体传输、 存储和检索等应用领域的统一数据格式。 m p e g 4 主要有如下几个主要的特点： 1 基于内容的交互性 提供了诸如索引、超级连接、上下载、删除等基于内容的多媒体数据访问工具。用户 可利用这些工具有选择性地从多媒体数据库中提取自己所需要的与对象有关的内容；提供 了内容的操作和位流编辑功能：提供了高效的自然或合成的多媒体数据编码方法，可以把自 然场景或对象组合起来成为合成的多媒体数据。 2 访问的通用性 m p e g 4 提供了易出错环境的鲁棒性，保证其在大多数无线和有线网络以及存储介质 中的应用。还支持基于内容的可分级性，即把内容、质量、复杂性分成许多小块来满足不 同用户的不同需求。支持具有不同带宽，不同存储容量的传输信道和接收端。 6 雨京邮电人学硕l 研究生论文 第二章视频编码标准及其码率控制算法的分析 3 高效的压缩性 由于采用了基于对象的新编码方法，使得m p e g - 4 具有更好的编码压缩效果。同已有 的其它压缩标准相比，在相同的比特率下，它具有更高的视觉听觉质量，这就使得在低带 宽的信道上传送视频、音频成为可能，同时m f e g - 4 还能对同时发生的数据流进行编码。 一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流 2 1 2m p e g - 4v m 8 的码率控制算法 v m 8 码率控制算法是建立在二次型的r d 失真模型基础上的。在低速率视频序列编 码中，由于相邻帧之间相关程度较高，己编码帧r d ( r a t e d i s t o r t i o n ) 关系可用来预测待 编码帧的特性。v m 8 正是利用这一思想，它的r d 分析建立在下述两个假设基础上： 1 相邻的视频高度相似，并有柜同的率失真曲线。 2 码率曲线r ( g ) 可近似的以二次模型表示： r ( g ) = a l 畚q 。1 + a 2 宰q 五 ( 2 一1 ) 式( 2 1 ) 中：口为己编码帧所有宏块的平均量化步长，r 为宏块的平均比特率，在一 帧图像编码后，可以得到平均量化步长和比特率，利用线性回归从己编码帧的信息中计算 出al 和a 2 来更新模型参数。 特别要指出的是：场景切换或变化是视频序列中经常出现的现象，而此时将不再满足 第一个假设条件，往往会导致算法性能的下降，采用r d 模型计算量化参数时，式中的 s a d 值应为当前宏块的s a d 值，而当前宏块的s a d 值当前无法得知，因为根据s a d 值 的计算公式，当前宏块的s a d 值只能在当前宏块编码完成之后才能计算出来，所以只能 用已编码宏块的s a d 值来预测当前宏块的s a d 值，这就会产生预测误差。 2 2 h 2 6 3 及t m n 8 的码率控制算法 2 2 1 h 2 6 3 视频编码标准 h 2 6 3 是最早用于低码率视频编码的i t u t 标准，随后出现的第二版( h 2 6 3 + ) 及 h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。 h 2 6 3 是i t u - t 为低于6 4 k b s 的窄带通信信道制定的视频编码标准，是为低码率通信 而设计的。但实际上这个标准可用于很宽的码率范围，并非只用于低码率应用。h 2 6 3 的 编码算法与h 2 6 1 一样，但进行了一些改善和改变，以提高性能和纠错能力。它是在h 2 6 1 7 南京邮电大学硕士研究生论文第二章视频编码标准及其码率控制算法的分析 基础上发展起来的，在许多应用中可以认为被用于取代h 2 6 1 。其标准输入图像格式可以 是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取样图像。 h 。2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，两者的区别有： 1 h 2 6 3 的运动补偿使用半像素精度，而h 2 6 1 则用全像素精度和循环滤波； 2 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以配置成更低的 数据率或更好的纠错能力； 3 h 2 6 3 包含四个可协商的选项以改善性能； 4 h 2 6 3 采用无限制的运动矢量以及基于语法的算术编码； 5 h 2 6 3 采用事先预测和同m p e g 中的p b 帧一样的帧预测方法； 6 h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外，还支持 s q c i f 、4 c i f 和1 6 c i f ，s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分 别为c i f 的4 倍和1 6 倍。 1 9 9 8 年t t 推出的h 2 6 3 + 是h 2 6 3 建议的第2 版，它提供了1 2 个新的可协商模式 和其他特征，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频源格式，h 2 6 3 + 允许使 用更多的源格式，图像时钟频率也有多种选择，拓宽了应用范围；另一重要的改进是可扩 展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络 环境下的传输。另外，h 2 6 3 + 对h 2 6 3 中的不受限运动矢量模式进行了改进，加上1 2 个 新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。h 2 6 3 己经基本上取 代了h 2 6 1 。 h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣信道上的抗误 码性能，同时为了提高编码效率。这3 个选项为： 选项u ：称为增强型参考帧选择，它能够提供增强的编码效率和信道错误再生能力( 特 别是在包丢失的情形下) ，需要设计多缓冲区用于存储多参考帧图像。 选项v ：称为数据分片，它能够提供增强型的抗误码能力( 特别是在传输过程中本地 数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数据，采用可逆 编码方式保护运动矢量。 选项w - 在h 2 6 3 + 的码流中增加补充信息，保证增强型的反向兼容性，附加信息包 括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、文本、重复的图 像头、交替的场指示、稀疏的参考帧识别。 南京邮电大学硕士研究生论文第二章视频编码标准及其码率控制算法的分析 2 2 2h 2 6 3t m n 8 的码率控制算法 h 2 6 3t m n 8 码率控制算法包括跳帧，帧级码率控制和宏块级码率控制等概念【1 7 1 ，其 主要思想是建立每个编码宏块的量化步长和宏块输出比特数的关系模型，然后结合图像量 化步长和误差的关系模型，利用拉格朗日( l a g r a n g e ) 求条件极值的方法求出在最小误差 条件下的量化参数。下文将介绍h 2 6 3t m n 8 码率控制算法的一些主要思想： 1 跳帧 跳帧是在靠分配比特数和调整量化参数不能避免缓冲溢出的情况下，编码器采取的一 种不编码当前帧及其后续几帧，从而给缓冲一定时间，靠信道传送减少缓冲比特占有数的 一种策略。这是避免和减轻缓冲上溢的一种简单有效的方法。在对当前帧编码之前，首先 估计缓冲的满溢程度，用形表示当前帧编码后缓冲的比特占用数： w = m a x ( + 丑。一瓦b i 嘉tr 面a t e ，。) ( 2 2 ) 其中，b 表示当前帧编码实际产生的比特数，聊表示当前帧编码前缓冲的实际比特 占有数( 聊初始值为0 ) ，b i t r a t e 表示带宽，f r a m e _ r a t e 表示帧率。 当矿大于或者等于设定的门限肘时，编码器跳过当前帧，缓冲的比特占有数中减去 一个固定的值b i t _ r a t e f r a m e _ r a t e ，直到缓冲区比特占有数满足一定的要求( 删) 才终止 跳帧操作。 在实时视频通信中，与其它引入延时的环节( 如编码器本身) 相比，缓冲区引入的延 时比较容易控制，而且是整个系统延时的主要部分。编码时，可以根据实际需要，通过控 制缓冲器大小来控制这部分延时。缓冲区延时f 可以由下式来确定： 越： 丝一 ( 2 3 ) b i t r a t e 2 帧级码率控制 帧级码率控制首先要确定该帧的比特预算，本节用b 来表示： b ：垒堑：丝一( 2 4 ) f r a m e r a t e 其中，的定义如下 ：形7 f形 么m ( - 5 25 )= () 【一a xm e l s e 么是一个常数，通常取值为( o ，1 ) ，a 是对当前帧的预算比特数的调整，通常都比较小。 南京邮电大学硕士研究生论文 第二章视频编码标准及其码牢控制算法的分析 如上式所示，当矿大于m 的1 0 时，当前帧的预算比特数相应减少，反之，则相应增加。 3 宏块级码率控制 h 2 6 3t m n 8 的r - q 模型基于下式【1 8 】： 尺( q ) = 扣：2 尹0 - 2 e0 - 2 l n 2q 2 0 - z1 q 2 2 e ( 2 6 ) 帧内预测 帧内预测用于减少空域的冗余度，包括i n t r a 4 x 4 和i n t r a 1 6 x 1 6 两种类型，与以 往的压缩协议不同，预测始终是通过参照邻近已编码块在空域范围内进行。 统一的熵编码 h 2 6 4 中的熵编码有两种，一种是对所有的语法单元采用统一的v l c ( u v l c ： u n i v e r s a lv a r i a b l e l e n g t hc o d i n g ) ，另一种是采用内容自适应的二进制算术编码( c a b a c - c o n t e x t a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。 4 x 4 块的整数变换 在变换方面，h 2 6 4 使用了基于4 x 4 数据块的类似于d c t 的变换，但使用的是以整 数为基础的空间变换，不存在反变换因为取舍而存在误差的问题。 1 l 南京邮电大学硕士研究生论文第二章视频编码标准及其码累控制算法的分析 量化步长变化幅度的控制 h 2 6 4 为了提高码率控制的能力，量化步长的变化的幅度控制在1 2 5 左右，而不是 以不变的增幅变化。变换系数幅度的归一化被放在反量化过程中处理以减少计算的复杂 性。为了强调彩色的逼真性，对色度系数采用了较小量化步长。 更精确的运动估计 h 2 6 4 支持1 2 和1 4 像素精度的运动矢量以提高运动估计的精度。 在运动估计时，h 2 6 4 采用了不同大小和形状的宏块分割方法，从而形成7 种不同的 帧间预测模式。 此外h 2 6 4 还采用了多项编码改进技术，如多帧参考技术，s p 帧视频流切换技术， 环路滤波技术等。 3 率失真优化技术 这是h 2 6 4 编码中利用信息论中的率失真模型，对视频编码中的运动估计和模式判决 采用的改进技术，它将码率控制与图像质量的控制结合起来，大大改善了编码的效果。由 于它与本文研究的码率控制算法有非常重要的联系，下面具体进行分析。 理论分析： 根据率失真理论，当前帧编码模式选择问题可以归结为：在可选模式中选择最佳模式， 使得在限定码流r 下，失真d 最小。 假设x = 辟。x ：x v ) 表示当前帧的所有宏块，m 表示视频编码的可选模式集， 那么当前帧率失真优化编码可以由下面公式来表示： r a 。i ，n d ( x ，m ) r ( x ，m ) r ( 2 - 1 3 ) 其中d 蚴、r 蚴分别表示当前编码宏块在编码模式m 下的失真和编码比特数， 尺为限定速率。 求解约束条件下极值的方法用拉格朗日乘子法，式( 2 1 3 ) 转换为下列方程式： m = a r gm i n j ( x ，ma )其e p j ( x ，mj 五) = d ( x ，m ) + a xr ( x ，m )( 2 - 1 4 ) 其中a 是拉格朗日算子。显然，只要参数见可知，式( 2 1 4 ) 的极值就可以决定出最 优编码模式，使得此时的编码失真就是限定速率r 下的最小失真。 拉格朗日算子a 的确定 由上面的式( 2 1 4 ) 可知，只要确定拉格朗日算子见，宏块编码的率失真优化就可以 实现。在h 2 6 4 编码中，经过很多学者和专家的统计和实验，得出了模式选择中a 和量化 参数q p 的关系如下： 1 2 南京邮电大学硕上研究生论文第二章视频编码标准及其码率控制算法的分析 九础2 0 8 5 2 妒7 3 对于i 帧，p 帧 ( 2 1 5 ) a 。础= 4 x 0 8 5 x 2 q e 乃对于b 帧 在h 2 6 4 编码中，运动估计也引入了率失真优化技术，对于运动估计，失真d 用宏块 残差的s a d 表示，旯则取九叫加= 九o d 。 率失真优化技术提高了图像编码的质量，但是同我们研究的码率控制算法产生了矛 盾。由于以讲咖的确定与量化参数有关，而码率控制算法正是要计算出量化参数，于是这 两者之间产生了所谓的“蛋鸡悖论 ，具体的分析将在下一节中进行。 2 3 2 率失真优化和码率控制技术的冲突 一般来讲，码率控制算法的实现主要分为两个部分：第一是合理地分配比特，包括合 理分配每一个图像组( g o p ) ，每一帧，每一个宏块组和每一个宏块的比特。第二是实现 所分配的比特，包括将开始所分配的比特逐层落实到每一个图像组，每一帧，每一个宏块 组和每一个宏块上，这通常是通过调整量化参数来实现的。h 2 6 4 中的调整量化参数与传 统的码率控制算法不同，因为h 2 6 4 中引入了率失真优化( r d o ) 策略来决定运动估计和 宏块编码模式，首先需要求得拉格朗日系数，而拉格朗r 系数的求取需要先得到量化参数， 但量化参数在码率控制结束后才能得到。或者说，一方面，在率失真优化( r d o ) 策略中， 先得到编码帧中编码宏块的量化参数( q p ) ，然后确定由量化参数计算出拉格朗日系数从 而进行运动估计后确定宏块的m a d ；另一方面，在码率控制算法中，先要得到编码帧中 编码宏块的m a d ，然后根据m a d 值确定分配给这个宏块的比特数，然后才能确定该宏块 的量化参数( q p ) 。在率失真优化( r d o ) 策略中，要先得到量化参数( 鲈) 才能确定 m a d ，而在码率控制算法中，要得到m a d 才能得到量化参数( q 尸) ，这就导致了h 2 6 4 一 编码器中码率控制算法中的“蛋鸡悖论 ( t h ec h i c k e na n de g gd i l e m m a ) 。传统的码率控 制方案无法解决“蛋鸡悖论”，这就需要提出一个新的码率控制方案。下一节将介绍h 2 6 4 中j v t - h 0 17 的码率控制方案。 2 3 3j v t h 0 17 的码率控制算法 本节主要对j v t - h 0 1 7 中提出的h 2 6 4 码率控制算法进行细致的分析。j v t - h 0 1 7 提出 了解决“蛋鸡悖论 的方法。它首先提出了基本单元( b a s i cu n i t ) 的概念，即将一帧分成 若干个基本单元，基本单元的最小单位是一个宏块，然后在算法实现过程中，对每个基本 南京邮电大学硕士研究生论文第二章视频编码标准及其码率控制算法的分析 单元的m a d 采用线性预测模型进行预测，于是在率失真优化( i m o ) 得到m a d 之前， 已经得到了预测的m a d ，这样就可以利用码率控制算法分配比特数了。j v t - h 0 1 7 计算量 化参数和分配比特数之间的关系模型是著名的二次r d 模型( q u a d r a t i cr a t e d i s t o r t i o n m o d e l ) ，这也是m p e g 4 码率控制算法中采用的模型。下面从各个具体模型的实现来分析 t - h 0 1 7 中的码率控制算法。 基本单元的定义 假设一帧是由n 肿妣个宏块组成的，那么定义一组连续的包含卅拗打个宏块的宏块组 为一个基本单元；( b a s i cu n i t