（通信与信息系统专业论文）mpeg2到h264视频转码技术分析及码率控制研究.pdf

摘要 摘要 随着数字视频及多媒体技术的发展，针对不同的数字视频应用，出现了许多 不同的视频编码标准，如面向低码率视频通信的h 2 6 3 视频编码标准，面向数字 广播，家用d v d 等高质量视频应用的m p e g 2 视频编码标准，面向流媒体和多 媒体交互应用的m p e g 4 视频编码标准以及由i t u t 视频专家组和i s o i e c 运动 图像专家组联合开发的j v t a v c h 2 6 4 标准。多种视频编码标准的广泛应用使得 在不同视频标准之间进行格式转换的需求不断出现，视频转码技术使得在异质网 络和不同终端设备间进行视频传输和处理成为可能。将经过压缩的视频数据进行 远程传输时，需考虑网络拥塞、信道带宽等情况，码率控制策略可以通过调整转 码器编码端的编码参数，使转码器输出的码流符合信道可以提供的带宽，保证信 道正常传输，并获得尽可能好的图像质量。 本文所研究的目的主要是进行m p e g 2 到h 2 6 4 转码器的设计，并在带宽有 所变化的网络之间的网关上使用，同时在转码器中引入一种新的流量控制机制， 使其能够根据输入和输出的带宽条件对要传输视频码流进行控制，以符合相应的 网络传输条件。 本文的主要研究内容以及研究成果如下： 1 对视频转码的结构进行了介绍，对不同视频转码结构的漂移误差进行了分 析，并具体指出m p e g - 2 到h 2 6 4 转码结构建立时所需注意的问题，以此为基础 进行m p e g 2 到h 2 6 4 转码器的设计。 2 对目前已有的码率控制的各个关键技术进行了总结分析，包括：帧层比特 分配，即根据目标码率要求给不同类型帧分配不同编码比特数；目标量化参数的 确定，即确定量化所要采用的量化步长；跳帧算法，即控制编码时的跳帧数量； 复杂度估计方法。 3 提出一种帧层比特自适应的码率控制方案。该方案采用基于序列而不是以 往那样基于图像组( g o p ) 的码率控制策略，根据输入的视频流比特率和输出端 网络带宽条件来进行目标比特分配，能够解决基于g o p 的码率控制方案造成的视 频序列质量剧烈波动的情况。在完成目标比特分配后，使用一种新的模型来计算 目标量化步长，并通过统计已编码帧的信息来对模型的参数进行更新。 4 通过仿真实验，我们发现本文算法与j m l0 2 的码率控制方法相比，在保证 摘要 计算复杂度和图像质量相当的情况下，能够更有效的对码率进行控制，解决了 j m l 0 2 中码率控制算法对部分视频序列无法准确控制的问题，使得输出的视频流 更符合设定的目标码率，能够适应各种网络传输过程中的带宽要求。 关键词：m p e g 2 ，h 2 6 4 ，转码，码率控制 a b s t r a c t 一_ - - _ _ _ - _ _ _ _ - - _ _ _ - - _ _ - _ - _ - - _ - - - 一 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fm u l t i m e d i ac o m m u n i c a t i o na n dv i d e oc o d i n g t e c h n o l o g i e s ，m a n yv i d e oc o d i n gs t a n d a r d sh a v eb e e ne s t a b l i s h e df o rv a r i o u sv i d e o a p p l i c a t i o n s ，s u c ha sh 2 6 3f o rl o w b i t r a t ev i d e oc o m m u n i c a t i o n s ，m p e g 一2f o rd i g i t a l b r o a d c a s t i n g ，d v da n dg e n e r a lh i g h - q u a l i t y v i d e oa p p l i c a t i o n s ，m p e g 一4f o r s t r e a m i n g v i d e oa n di n t e r a c t i v em u l t i m e d i aa p p l i c a t i o n s ，a n dh 2 6 4w h i c h i s d e v e l o p e db yi t u - ta n di s o i e c a sd i g i t a lv i d e oa p p l i c a t i o n sb e c o m em o r ep o p u l a r , t h e r ea r ei n c r e a s i n gn e e d st od y n a m i c l l yc o n v e r tt h ev i d e ob e t w e e nd i f f e r e n tf o r m a t s v i d e ot r a n s c o d i n gi so n eo ft h ek e yt e c h n o l o g i e sf o rv i d e od e l i v e r yo v e rh e t e r o g e n e o u s n e t w o r k sa n dv a r i o u st e r m i n a l s w h e nt h ev i d e od a t ai st r a n s m i t t e df o ral o n gd i s t a n c e ， n e t w o r kc o n g e s t i o n ，c h a n n e lb a n d w i d t ha n dd i s p o s a la b i l i t yo ft e r m i n a ls h o u l db e c o n s i d e r e d w h i l et h er a t ec o n t r o lm e c h a n i s m sc o u l da j u s tt h eb i tr a t eo fo u t p u tv i d e o s t r e a mt ot h eb a n d w i d t hp r o v i d e db yc h a n n e l ，e n s u r et h en o r m a l i t yo fc h a n n e l t r a n s m i s s i o na n do b t a i nb e t t e ri m a g eq u a l i t yb ya a j u s t i n gt h ep a r a m e t e r so ft h e t r a n s c o d e r t h eg o a lo ft h er e s e a r c ho ft h i st h e s i si st od e s i g nat r a n s c o d e rw h i c hi su s e di n g a t e w a yb e t w e e nt w on e t w o r k sw i t hd i f f e r e n tb a n d w i t h an e w r a t ec o n t r o lt e c h n i q u e w a si n t r o d u c e dt or e g u l a t et h eb i t r a t eo fv i d e os t r e a ms oa st ot r a n s m i tt h ev i d e os t r e a m b e t w e e nd i f f e r e n tn e t w o r k s t h em a i nc o n t e n t so ft h i st h e s i sa r eg i v e na sf o l l o w s f i r s t ，w ei n t r o d u c et h ef r a m e w o r ko ft r a n s c o d i n gp r o c e s s ，a n a l y z et h ed r i f t e r r o r o fd i f f e r e n ta r c h i t e c t u r e s ，a n dp o i n to u tt h ei s s u e st h a ts h o u l db ep a i dc l o s ea t t e n t i o nt o w h e nb u i l d i n gm em p e g 2 - t o h 2 6 4t r a n s c o d i n ga r c h i t e c t u r e t h o s er e s e a r c h e sf o r m t h et h e o r e t i c a lb a s i sf o rd e s i g n i n gat r a n s c o r d e rw i t hs a t i s f y i n gp e r f o r m a n c e s e c o n d ，w ei n t r o d u c et h er a t ec o n t r o lm e c h a n i s mi ne x i s t i n ge t h o d s ，i n c l u d i n gb i t a l l o c a t i o ni nf r a m el a y e r ，n a m e l y , d i f f e r e n tb i t sa r ea l l o t t e dt od i f f e r e n tf r a m e s ；a n dt h e t a r g e tq pc o m p u t i n g ，w h i c hi su s e df o rq u a n t i z a t i o n ；f r a m es k i p p i n ga n dc o m p l e x i t y c o m p u t i n g t 1 1 i r d w ep r o p o s ean e wm e t h o do fr a t ec o n t r o l ，w h i c hi sb a s e do ns e q u e n c eb u t n o tt h ee x i s t i n gg o ps c h e m e s i nt h en e wm e t h o d ，t h en u m b e ro fb i t so ft h ef r a m et o i i i a b s t r a c t b et r a n s c o d e di sa l l o t t e da c c o r d i n gt ot h eb i tr a t eo fi n p u tv i d e os t r e a ma n dt h eo u t p u t b a n d w i d t ho fn e t w o r k t h i sd e s i g nc a nr e d u c et h ef l u c t u a t i o no fv i d e oq u a l i t yc a u s e d b yg o p b a s e dr a t ec o n t r o lm e t h o d a f t e rt h en u m b e ro fb i t si sa l l o c a t e d ，o u rm e t h o d c o m p u t e st h eq po f t h ef r a m et ob e 仃a n s c o d e da c c o r d i n gt oan e w c o m p u t i n gm o d e l ， t h ep a r a m e t e r so fw h i c ha r eu p d a t e d b yi n f o r m a t i o no fe n c o d e df r a m e s f o u r t h ，t h er e s u l t so fo u re x p e r i m e n t ss h o wt h a tt h en e wm e t h o dc a nh e l pr a t e c o n t r o lm e c h a n i s mt ow o r km o r ee f f i c i e n t l yw h i l ek e e p i n gt h ec o m p l e x i t yl o wa n d e n s u r i n gt h ev i d e oq u a l i t yb e t t e r b e s i d e s ，o u rd e s i g nc a na l s oa c h i e v eb e t t e rr a t e c o n t r o lp r e c i s i o nw h i c hc a na d a p tt 1 1 eb i tr a t e st ov a r i o u sb a n d w i d t hr e q u i r e m e n t si n d i f f e r e n tn e t w o r ke n v i r o n m e n t s k e y w o r d ：m p e g 一2 ，h 2 6 4 ，v i d e ot r a n s c o d i n g ，r a t ec o n t r o l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的 说明并表示谢意。 签名：继望， 日期：矽口8 年6 月弘日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 繇棚导师签名：乡触京 日期：纱田年细矽日 第一章引言 1 1 研究背景 1 1 1 视频压缩标准简介 第一章引言 世纪之交的2 0 世纪9 0 年代，是信息的时代，是网络的时代。随着i n t e m e t 和移动通信的迅猛发展，数字视频技术在通信和广播领域获得了日益广泛的应用， 视频信息和多媒体信息在i n t e m e t 和移动网络中的处理和传输技术成为信息化中 的热点。 视频信息虽然具有直观性、确切性、高效性、广泛性等优点，但其所含信息 量太大，要使视频得到有效的应用，必须首先解决视频压缩编码问题。而在压缩 视频图像的同时又要保证一定的视频质量【l 】。为此，人们以香农的信息论为基础， 对图像压缩的基本原理进行研究，并制定了一系列的视频压缩标准【2 】。1 9 8 8 年， 由于会议电话和可视电话的需要，c c i t t ( 即现在的r r u t ，国际电信联盟) 发 布了视频编码标准h 2 6 1 3 】的建议，这个视频方案对以后各种视频编码标准产生了 深远的影响，被称为视频压缩编码的一个里程碑。i s o 和c c i t t 成立了联合图像 专家组( j p e g ，j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) ，研究连续色调静止图像压缩算 法，并于1 9 9 2 年通过了j p e g 标准。i s o i e c 信息技术联合委员会成立了活动图 像专家组( m p e g ：m o v i n gp i c t u r ee x p e r t sg r o u p ) 。该组织首先于1 9 9 1 年公布了 m p e g 1 【4 】视频编码标准，码率为1 5 m b i t s ，主要应用于家用v c d 的视频压缩； 接着又于1 9 9 4 年l1 月公布了m p e g 2 【5 】视频编码标准，该标准现主要用于数字 视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视( h d t v ) ，其码率从 4 m b i t s 至l o o m b i f f s 分别用于不同级别的视频压缩中。1 9 9 5 年，i t u t 推出h 2 6 3 【6 j 标准，用于低于6 4 k b i t s 的低码率视频传输。1 9 9 9 年1 2 月份，i s o i e c 通过了“视 听对象的编码标准 _ _ m p e g 4 7 1 ，它除了定义视频压缩编码标准外，还强调多媒 体通信的交互性和灵活性。 2 0 0 3 年3 月，i t u t 和i s o i e c 正式公布了h 2 6 4 8 】视频压缩标准，不仅显 电子科技大学硕十学位论文 著提高了压缩比，而且具有更好的网络亲和性，加强了对i p 网、移动网的误码和 丢包处理。由于其具有比以往任何一个标准都更加出色的性能，因此被人们称为 新代的视频编码标准。 下面，我们重点对本文所涉及的两种压缩视频标准做详细介绍。 1 1 2m p e g 2 压缩视频标准 m p e g 一2 标型9 】包括系统、视频、音频等1 0 个部分内容，本文主要研究其视 频部分，该部分用处在于可以使运动视频数据作为一种计算机可以处理的数据形 式，可以存储在各种存储媒体上，并且可以在网络上发送、接收以及在广播信道 上传播。 m p e g 2 视频编码数据采用分层形式，从高到低可分为图像序列层、图组层、 图像层、片层、宏块层和块层6 个层次。其关系如图1 1 所示。 图堡组 - 图1 - 1m p e g 2 视频分层结构 图像序列层( v s l ) 由数据头及一系列图像组( g o p ) 组成。其中数据头给 出了有关图像格式、帧率、码率、视频缓存校验器的大小、量化矩阵、层号 ( l a y e r - i d ) 、分级法( s c a l a b l em o d e ) 等信息。 图像组层( g o p l ) f l j 图像组头和若干幅图像组成，用于支持解码过程中的随机 存取功能。图像分组是从有利于随机存取及编辑出发的，不是m p e g 2 结构组成 的必要条件，可在分组与否之间灵活选择。 图像层( p l ) 由图像头和一帧图像数据组成，是图像组层若干幅图像中的一幅， 第一章引言 包含了一幅图像的全部编码信息。图像头基本部分包含图像头起始码、图像编号 的时间基准、图像类型( i ，p ，b 帧) 、视频缓存检验器延迟时i 日j 等，扩展部分包 含图像编码扩展、图像显示扩展、图像空间分级扩展、图像时间分级扩展等。其 中，基本部分由m p e g 1 及m p e g 2 共用，扩展部分由m p e g 2 专用。m p e g 2 图像扫描可有逐行或隔行两种方式：当为逐行时，图像为逐帧压缩；当为隔行时， 图像为逐场或逐帧压缩，一般在运动多的场景采用逐场压缩，在运动少的场景采 用逐帧压缩。 片层( s l ) 由附加数据和一系列宏块组成，可以包含一个或多个宏块。最小为 一个宏块，最大可以是一帧。为了隐匿误差，提高图像质量，将图像数据分成一 条条片，一旦某片发生误差，解码器可跳过此片至下一片的位置，使下一片不受 有误差而无法纠正的片的影响。一幅图像中的片越多，隐匿误差性能就越好。 宏块层( m l ) 是片层中一系列宏块中的一块，由附加数据、亮度块和色度块 共同组成。其中，亮度块为1 6 x 1 6 像素块，称为宏块。宏块是码率压缩中运动补 偿的基本单元，由4 个8 x 8 像素块构成，用于消除p 图像与b 图像之间的时间冗 余度。色度块由几个8 8 像素块构成，具体取决于亮度与色度之间取样频率的比 例。m p e g 2 有4 ：2 ：0 、4 ：2 ：2 、4 ：4 ：4 三种取样频率比例。宏块层m l 包含p 帧及b 帧的运动矢量( m v - m o t i o nv e c t o r s ) 。附加数据还包含的信息有：表明宏块在片层 中位置的宏块地址、说明宏块编码方法及内容的宏块类型、宏块量化参数、表明 以场d c t 还是以帧d c t 编码的宏块编码类型。 块层( b l ) 是8 x 8 像素块，可以是单一的8 x 8 亮度( y ) 像素块，或是单一的 8 8 色度( c b 或c r ) 像素块。它是提供d c t 系数的最小单元。 m p e g 2 视频编码方法有很多，这里主要说的是帧图和场图以及各自对应的 宏块的预测方式。m p e g 2 标准可以对逐行和隔行序列进行处理。对于隔行序列 来说，解码过程的输出是由一系列以场周期按时间分开的重构场组成；编码过程 的两个场可以作为一个帧来共同编码( 帧图) ，也可以分开进行编码( 场图) 。 对于帧图的宏块，有三种预测方式：基于帧的预测，基于场的预测和双基预 测。对于场图的宏块，也有三种预测方式：基于场的预测，1 6 x 8 预测和双基预测。 m p e g 2 作为一个通用的压缩标准，可以满足不同条件下的不同应用。不同 的条件是指不同的比特率、不同的传输信道和存储介质的不同的时延需求：不同 的应用则包括广播电视、卫星电视、有线电视，高清晰电视，d v d 等等，这些应 用对比特率、时延都有不同的需求。面临这种情况，m p e g 2 引入了档次与级别 结构，巧妙的解决了这一问题。 电子科技大学硕十学位论文 在m p e g 2 中，共定义了4 个等级： 1 低等级：图像的输入格式为c i f ( 3 5 2 2 8 8 ) 每秒2 5 帧或者3 5 2 2 4 0 每秒 3 0 帧，相应编码的最大输出码率为4 m b p s ； 2 主等级：图像的输入格式为标清( 7 2 0 x 5 7 6 ) 每秒2 5 帧或者7 2 0 4 8 0 每 秒3 0 帧，相应编码的最大输出码率为1 5 m b p s ； 3 1 4 4 0 等级：图像的输入格式为1 4 4 0 1 1 5 2 每秒2 5 帧，相应编码最大输出 码率为6 0 m b p s ； 4 高等级：图像的输入格式为1 9 2 0 1 1 5 2 每秒2 5 帧，相应编码最大输出码 率为8 0 m b p s 。 同时还定义了5 个档次：简单档次、主档次、s n r 可分级档次、空域可分级 档次以及高级档次。 1 1 3h 2 6 4 压缩视频标准 为了适应各种各样的应用和网络，h 2 6 4 标准【1 0 】利用了分层技术，可以分为 两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示；网络抽 象层烈a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的方式对数据进 行打包和传送。 视频编码层v c l 主要负责对数字视频进行高效编解码，但对于不同的传输网 络和传输协议并不具有普遍的适应性。当v c l 产生的编码视频比特流将在某种特 定网络中传输时，n a l 针对这种网络及其传输协议的特性，对v c l 的编码码流 进行适合该网络及其传输协议的封装。这样h 2 6 4 就可以对不同的传输网络提供 不同的封装方式，增强了网络的适应性。 h 2 6 4 采用独特的帧内预测模式。在以前各标准中，i 图是直接把像素块的数 值进行变换、量化和编码，处理后i 图像仍然包含了大量的数据，压缩效果不好。 h 2 6 4 根据相邻像素的相关性，采用邻块像素进行预测的模式，通过当前像素块 的左边和上边的相邻像素( 经过编码重建的) 进行加权预测，然后对实际值和预测 值的差值进行变换、量化和编码，从而大幅度地提高了编码的效率。在h 2 6 4 标 准中，亮度块有4 x 4 和1 6 x 1 6 两种块大小模式，其中4 4 块有9 种预测模式，1 6 1 6 块有4 种预测模式，如图1 2 、1 3 所示。而色度8 8 块有4 种预测模式，与亮度 1 6 x 1 6 块的4 种预测模式相同。 第一章引言 整 百一。书：。万ii 。黑，。矗f j i t f f i 一羞ri 一 圈1 0 帧内4 x 4 块的9 种预测模式示意图 垂直水平dc hh h 图l o 帧内1 6 x 1 6 块的4 种预测模式示意图 在h 2 6 4 中，一个1 6 x 1 6 的亮度块有4 种划分和运动补偿方式：一个1 6 1 6 宏块分割、两个1 6 x 8 分割、两个8 x 1 6 分割或四个8 8 分割；每个8 8 的子宏块 还可以进一步分为：一个8 x 8 的子宏块分割、两个8 4 子分割、两个4 x 8 子分割 或四个4 x 4 子分割，如图1 4 所示。在一个宏块内这些分割和子分割便可以产生 出大量的组合。 l “m1 6 x 8h 1 6蛐 厂 广1厂1 厂厂 m o d _ lm 0 qm o d e 3 m “k 日 生一生一j 壁一粤l l j l 。l 一 图i _ 4 h2 6 4 的帧问宏块划分 5 譬基篇鸶 赫一 篇懋一霉 电子科技大学硕十学位论文 每个分割和子分割都需要一个单独的运动矢量。在码流内，每个运动矢量都 需要被编码和传输并且分割方式也要被编码。一个大尺寸的分割如1 6 x 1 6 ，8 x 1 6 ， 1 6 8 ，只需要较少的比特来表示运动矢量和分割种类，但包含高细节的区域的运 动补偿残差就会很大。选择小的分割会有较小的运动补偿残差，但要用更大数目 的比特表示运动矢量和分割种类。因此，宏块模式的选择应该在失真和码率上综 合考虑。 对于宏块中的色度部分，分割方法是和亮度块一样的，如果是4 ：2 ：0 采样， 色度分割块的大小是亮度分割块的一半。 ( 2 ) 1 4 像素精度运动估计 h 2 6 4 在帧间编码的宏块中，运动矢量可以达到1 4 像素的精度( 亮度) 和1 8 像素的精度( 色度) 。亮度和色度在分数像素位置是不存在的，因此需要从附近样 本通过内插得到。内插过程先是通过6 抽头的滤波器( 6 t a p f i l t e r s ) 来获得半像 素精度，然后用线性滤波器来获得1 4 像素的精度。 ( 3 ) 运动矢量预测 相邻块的运动矢量通常有很高的相关性，因而每个运动矢量可以用其相邻的 已编码的矢量进行预测。只有当前运动矢量与预测矢量m v p 的差值m v d 才被编 码和传输。 尽管d c t 变换具有正交特性，可以消除残差数据之间的冗余性，但存在着浮 点运算量大的问题，正是因为如此，h 2 6 4 提出了新的整数d c t 变换，参见公式 1 1 。h 2 6 4 对变换的尺寸进行了改进，对宏块的d c 系数、对色度块d c 系数都 按4 x 4 像素大小的块进行变换，基本编码特性与4 x 4 的二维d c t 变换相同。这 种整数变换编码可以分解为两次一维整数d c t 变换，然后对每次一维变换采用蝶 形算法，从而加快变换速度。 1 11 1 f 1 211 1 y ：伽7 ：l 2 1 _ l 。2zl 1l-l。2 i ( 1 - 1 ) 【：二：一2 1 1 。ll ：二：一1 1 2 ，i 1 2 本文的研究目的与意义 由于目前网络状况日趋复杂，不同类型的网络中可用的带宽有所差异，因此 视频流在异类的网络中传输，特别是从高带宽网络向低带宽网络传输时，需要在 6 第一章引言 网关中插入一个转码器，将高码率视频流转化为低码率视频流，使其能够在低带 宽的网络环境中进行正常传输而不会造成网络捐j 塞。举例来说，主干网通常捌有 较大的带宽，而大多数区域网的带宽则较小，现在数字电视视频普遍采用m p e g 一2 视频压缩标准，码率较大，虽然在主干网这样带宽较高的网络中能够进行正常传 输，但对于大部分使用区域网的普通用户来说，难以满足如此高的带宽需求。因 此，在m p e g - 2 视频流从主干网进入区域网时，需要对其进行转码，使其码流能够 适应区域网的传输需求。如果仅对其进行码率的降低处理，在所降码率较多的情 况下会损失相当多的视频质量。为解决这一问题，我们可以将m p e g - 2 视频流转码 为具有更高压缩率的h 2 6 4 视频流。使用h 2 6 4 进行视频压缩可以在p s n r 保持不 变的情况下将码率降为m p e g - 2 视频流的1 4 左右，因而在降码率的视频转码过程 中能够尽可能的保持视频质量。本文便是以此为背景设计一个m p e g - 2 到h 2 6 4 的视频转码器，并在其中采用码率控制策略，使其能够根据各种不同的网络带宽 变化对视频流的输出码率进行控制，以适应输出网络的带宽环境。 1 3 本文研究内容概要 本文的研究主题为m p e g 2 到h 2 6 4 的转码。首先我们对m p e g 2 与h 2 6 4 标准的主要内容进行了熟悉和研究，然后对视频转码的体系结构和其漂移误差进 行了分析。m p e g 2 到h 2 6 4 转码可以在空域进行，也可以在频域进行；可以采 用级联的转码结构，也可以采用弥补漂移误差的结构。为此，本文首先针对 m p e g 2 到h 2 6 4 的转码结构进行研究，分别搭建了空域转码平台和频域转码平 台，分析了空域转码结构与频域转码结构的各自优劣以及级联转码结构与弥补漂 移误差转码结构之间的关系，最终确定空域级联的转码平台为最佳平台。同时为 了搭建转码平台，需要选择m p e g 2 的解码程序与h 2 6 4 的编码程序。本文分别 选择t m 5 与j m l 0 2 作为转码平台的基础。其次，国内外大量关于转码算法的文 献的阅读为转码算法的选择与改进奠定了基础。 确定转码平台后，本文对转码中的运动矢量映射、宏块模式的快速选择等关 键技术如进行了介绍，并重点对码率控制进行了研究，提出了一种用于转码中的 基于序列的帧层码率控制算法。 电子科技大学硕十学位论文 第二章m p e g 2 到h 2 6 4 视频转码系统的体系结构及关键技术 2 1 视频转码器的要求和功能简介 前面我们对视频压缩的背景以及本文要涉及的两种视频压缩标准进行了介 绍，下面我们将对视频转码技术进行详细说明。 首先，什么是转码? 转码，就是将一种标准和格式的压缩视频流处理成更适 应于某特定应用的另一种标准和格式的压缩视频流。视频转码对压缩的视频码流 进行端到端的处理，使得转码后的压缩码流更能适应传输信道带宽以及接收端的 要求。因此转码前后的压缩视频流在比特率、帧率、分辨率以及编码标准上都可 能不同。由此，视频转码的主要技术可分为码率转换、分辨率转换、帧率转换和 语法转换。实现转码的一个关键点是要对压缩视频码流中的压缩数据进行复用， 避免重新编码中的复杂运算。 视频转码所面临的最重要的挑战是提供实时转码的时候不出现视频中断。转 码中有三个基本的要求：1 ) 原始比特流中的信息应当被尽可能的开发出来；2 ) 转码后的新比特流的视频质量应当尽可能的高，或者说要尽可能接近原始视频流 直接以降低的速率编码得到的视频质量；3 ) 在实时应用中转码延迟和存储器要求 应当最小化以达到实时的约束条件。 视频转码器可以提供多种功能，包括调节码率和进行格式转换【l 。同类转码 在同种标准的比特流之间进行转换。转码中一种简单的降码率转码的方法是增加 转码器编码端的量化步长。降分辨率转码有很多方法，其中一种是将普通的视频 转化为只包含感兴趣区域的视频，这主要通过对感兴趣区域的下采样完成。异类 转码器在不同标准的比特流之间进行转换。它在这些标准之间进行语法的转换。 同时，它还可以提供同类转码的功能。转码还可以提供其他的功能，例如差错恢 复等。 研究视频转码，首先要研究的是转码的体系结构，本章我们将对几种典型的 视频转码体系结构进行介绍，并对其进行对比分析，找出一种最适合m p e g 2 到 h 2 6 4 的转码结构。 第二章m p e g - 2 剑h 2 6 4 视频转码系统的体系结构及关键技术 2 2 几种典型视频转码体系结构分析 根掘转码器中源视频流信息重用程度不同，视频转码系统有几种典型的体系 结构【1 2 】【1 3 】：基于像素域的级联转码体系结构，基于像素域省略运动估值的快速级 联转码体系结构，基于d c t 域重量化转码体系结构，基于d c t 域运动补偿转码 体系结构，省略b 帧运动补偿的转码体系结构，每种结构各有其优缺点，可权衡 输出视频质量和硬件算法复杂性，适合于不同的应用环境和要求。 2 2 1 基于像素域的级联转码体系结构 这是最简单直接的转码方式，由一个解码器和一个编码器级联组成。先将输 入的视频数据进行完全解码，然后再按输出的要求压缩成另一种视频格式。如图 2 1 所示。 6 涵硒旦卿 图2 - 1 像素域级联转码结构 由于编码器和解码器的相对独立，这种转码结构具有很高的灵活性。但由于 运动矢量和模块编码模式需重新确定，因此具有很高的计算复杂度。为减少复杂 性，在编码时不重新进行运动估计，而是直接利用从解码端映射过来的m v 进行 运动补偿。 2 2 2 基于像素域省略运动估值的快速级联转码体系结构 由于运动估计在整个视频压缩过程中占7 0 的时间，因此设计转码器时，首 先考虑m v 重用以避免运动估计过程，减少计算复杂性。在图2 1 中若编码端直 接使用输入视频流的m v ，并假设运动补偿和d c t i d c t 是线性的，就可使计算 9 电子科技大学硕+ 学位论文 量大大减小。图2 1 中的预测残余误差可以通过对原始码流中的预测残差作运动 补偿得到新的预测误差，而且由于d c t i d c t 变换是线性运算，可以通过重新排 列d c t i d c t 运算次序而减少一些d c t i d c t 的操作。结构如图2 2 。 如果是在同一种视频编码标准内部进行转码，那么它与基于像素域的级联式 体系结构本质上是一致的，但由于基于像素域省略运动估值的快速级联转码减少 了一次d c t 逆变换、一次运动补偿和一次帧缓冲，从而在一定程度上克服了基于 像素域的级联转码结构计算量大的缺点。 图2 2 像素域快速级联转码结构 2 2 3 基于d c t 域重量化的开环视频转码结构 上一节所描述的快速级联转码结构避免了最费时的运动估计过程，大大简化 了转码器，但却并没有解决d c t i d c t 这一运算瓶颈。转码过程中的d c t i d c t 是为了进行像素域的运动补偿，以消除误差累积造成的图像漂移。而i 帧无需运 动补偿，若p 和b 帧也用i 帧转码公式在d c t 域进行重新量化转码，则可省略 运动补偿反馈回路，d c t i d c t 过程也可避免。如图2 3 所示，该结构避免了运 动估计、运动补偿、d c t i d c t 的运算瓶颈，是最简单的转码器结构。 图2 3 基于d c t 域重量化转码结构 这种结构虽然简单，但由于编码参数在转码前后保持不变，因此不能实现帧 编码类型的转换、码率变化和空间分辨率的变化，因此很不灵活。 1 0 第二二章m p e g - 2 剑h 2 6 4 视频转码系统的体系结构及关键技术 2 2 4 基于d c t 域运动补偿的视频转码结构 图2 2 中，d c t 和i d c t 仅在像素域作运动补偿，事实上，由于经过运动补 偿的d c t 块可从参考帧中4 个相邻的d c t 块中直接获得，作为特例，当运动矢 量为零或8 的倍数时d c t 域的运动补偿不需要作任何计算，因此，对于低速运动 或无运动的视频序列，基于d c t 域运动补偿的转码体系结构比快速像素域级联转 码的运算量小得多，d c t 域运动补偿的总计算量取决于非零值运动矢量所占比 例，当运动矢量为零时，可省去块结构调整所需的矩阵相乘运算。结构如图2 4 。 图2 4 基d c t 域运动补偿的转码结构 基于d c t 域的两种转码结构灵活性大受限制，编码参数，如运动矢量、编码 模式等不能随意改变，如果应用中需要改变运动矢量，改变帧编码类型等，这两 种结构无法适用。基于d c t 域运动补偿的转码结构，通过在压缩域进行运动补偿， 避免了d c t i d c t 的复杂运算，通过一些快速算法，提高了d c t 域运动补偿算 法的效率。 2 2 5 省略b 帧运动补偿的转码结构 b 帧不是参考帧，如果b 帧不作运动补偿，不会造成后续视频帧的误差积累， 对视频质量的影响不大。另外，由于b 帧通常占整个码流的2 3 ，数量较多。而 且b 帧的运动补偿最复杂，需要有两个参考帧分别作前向和后向运动补偿，因此， 对b 帧省略运动补偿过程从而省略d c t i d c t 过程，对降低转码器运算复杂度非 常有利。 电子科技大学硕七学位论文 。 v l d i q 。 1 n p u t _ - - - q v i ，c a b a c o u t p 警 q ；= 。 南? ，t 、 气j 匾丽a 吒而- j 图2 5 省略b 帧运动补偿的转码结构 如图2 5 所示，这种转码结构对p 帧进行运动补偿，而i 帧和b 帧不作运动 补偿。由于i 帧是下一个p 帧的参考帧，所以，i 帧也要进行d c t i d c t 变换和 反量化，生成重建的视频帧，但可以省略d c t 过程。而b 帧由于省略了运动补 偿，可省略所有的d c t i d c t 过程，直接在d c t 域内转码。i 帧转码时可以省略 d c t 和i d c t 过程，直接在d c t 域重新量化转码。p 帧的转码要进行运动补偿将 参考帧的转码误差加到输入码流的预测残差上，否则会在一个g o p 期间造成转码 误差的传递与积累，导致图像漂移降质，直到出现下一个i 帧刷新预测关系，停 止漂移。 2 3 转码系统结构的漂移误差分析 视频编码中所谓的漂移误差【1 卅是指，在解码一组经过运动补偿的帧间编码图 像时，发生的图像质量的持续下降。这是由解码器的运动补偿环路的误差累积造 成的。本节我们将通过比较无漂移的闭环级联转码结构和一种开环结构来分析漂 移误差。 2 3 1 无漂移闭环级联参考转码结构 图2 - 6 是一种像素域的闭环级联转码结构。这种结构具有很高的复杂度和很 大的开销，不满足实时应用的要求，但它没有漂移误差，因而为漂移误差的分析 和转码结构的简化提供了理论挤出，是一种很好的参考结构。 一乏扣1 善】 忖 科 一b l 第二章b l p e g - 2 到h 2 6 4 视频转码系统的体系结构及关键技术 t | 竺h 墼吕! 坚摹鲁_ 翟_ ，享坚高里广_ 竺_ 卜 丁吵嘴汴童t 享厂一等卜 r 1 7 ：；m r ( v + 1 2 )一 竺竺受坚 图2 _ 6 基于像素域的级联转码体系结构 我们用d ( ) 表下采样，m ，( ) 表全分辨率运动补偿，m ，( ) 表下变换后运动补 偿，e 、e 为全分辨率预测残差，g 、g 为下变换后预测残差。大写字母表示d c t 域，小写字母表示像素域。x 表示全像素信号，y 表示降像素信号。 编码i 帧时，没有进行运动补偿，因此x ：= e ：。重建信号经过下采样得： y ：= d ( x 1 ) ( 2 - 1 ) 在编码端： g ：= y ： 在编码帧为p 帧的情况下： 1 = p ：+ m ，( 一一1 ) ( 2 - 2 ) 经过下采样得： y ：= d ( x ：) = d ( p ：) + d ( m ，( x ：一1 ) ) ( 2 3 ) 下采样后的残差信号为： g ：= y ：一m ，( y ：一1 ) = d ( 艺) + d ( m ，( x ：一。) ) 一m ，( y i 。) ( 2 - 4 ) 式( 2 - 4 ) 表示的是无漂移误差的参考信号，在此基础上我们可以分析其它转 码结构的漂移误差。 2 3 2 开环结构的漂移误差分析 图2 7 是一种基于压缩域的开环级联转码结构，这种开环结构结构简单，复 杂度低，但漂移误差很大。 电子科技大学硕十学位论文 1 蜮凰d o w n s a m p l e 一 薅一脶户k 图2 7 基于压缩域的开环转码体系结构 编码p 帧时，这种开环结构的降像素残差为： g ：= d ( e ：) ( 2 5 ) 与( 2 4 ) 式相比，该结构的漂移误差为： d = d ( m ，( 石：一1 ) ) 一m ，( y i 。) = d ( m ，( e 1 ) ) 一m ，( y ：一。) 】+ m ，( 少：一1 ) 一m ，( y ：，) 】 ，1 ，、 l z - 0 ， = 【d ( m ，( z 1 ) ) 一m ，( d ( x ：一。) ) 】+ m ，( y l 一。- y n 2 _ 1 ) 】 = d ，+ d 。 其中： d 。= m ，( y l l 一2 2 一1 ) ，d ，= d ( m ，( x ：一1 ) ) 一m ，( d ( t 1 ) ) 上式表明，漂移误差是由两部分组成。第一部分d 。表示用于运动补偿参考图 像的误差，这种误差主要由重量化、d c t 非零系数的消除以及整数截取造成的。 第二部分d 是空间分辨率转码特有