（通信与信息系统专业论文）mpeg2视频码流码率变换技术研究与实现.pdf

摘要 数字电视( d t v ) 优于模拟电视。数字电视即将逐步取代模拟电视。m p e g 一2 ( 运动图像及其伴音通用编码国际标准) 是数字视频领域的主要编码标准。从 目前来看，m p e g 2 标准虽然得到了工业界的强有力的支持，取得了巨大的成 功，但是对于很多以电视为基础的各种应用它只是提供了一秘熊够实施的技术， 而在功能上显得还不够强大，在很多具体应用中，我们需要对已压缩编码后的 视频码流进行再处理，以满足传输信道或解码器对编码码流的特殊要求。我们 把这一类技术憨称为视频妈流的转换编璐技术。 视频码流码率变换在转换编码技术中，最基本、最具应用价值，也最具实际 价值。本课题即主要对码率变换技术进行研究。 为了用软件实现瓣e g - 2 视频基本流的降码率转换编码，本课题羹点研究了 m p e g 2 压缩技术和i s o i e c1 3 8 1 8 - 2 标准定义的视频基本流语法和语意，对如 何控制码率和与码率相关的语法进行了较为深入的研究。着重研究了降码率处理 中如何决定量化步长，如何判别新的宏块类型等问题。 本课题开发了基于w i n d o w s 平台豹软传包。它霹将输入的m p e g 2 褫频基 本流转换为低码率的码流。虽然软件不能实时完成码率转换，但可满足非实时节 目制作的需求。随着计算机速度的提高，程序的优化，运行速度有望进一步加快。 降码率后的视频基本流可被软件正确解码、播放。使用软件复用为转输流 ( t n ) 蜃，经d t v 枧疆盒、通用d v d 鳃压卡、通用播放软锋，都可正确船码、显 示。实验结果表明，转换后的视频基本流语法正确，码率可按预期目标，在相当 大范围内降低。 关键词：数字电视m p e g 2 视频基本流转换编码 本课题由天津自然科学基金资助 a b s t r a c t i ti sw e l lk n o w nt h a td i g i 越l vi sb e t t e rt h a na n a l o gt vt h a tw i l lb es u b s t i t u t e d b y t h e d i g i t a lo n e + m p e g - 2 ( i s o i e c1 3 8 1 8 ) i s ag e n e r i cc o d i n gs t a n d a r do f m o v i n g p i c t u r e sa n d a s s o c i a t e da u d i om a d e b ym o v i n g p i c t u r ee x p e r tg r o u p w h i c hw a ss 。t u d 狮i n t e m a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n 。t h o u g hm p e g 一2h a sb e e n w i d e l ys u p p o r t e db yi n d u s t r y , a n dh a sb e e nu s e di nm a n ya p p l i c a t i o n s ，i n s o t r l e a p p l i c a t i o n s 。w en e e dt om a k es o m er e v i s i o no nc o d e dm p e ( 孓2b i ts t r e a m ，s ot h a t t h en e wb i ts t r e a mc a 矬m e e tt h er e q u i r e m e n to fd e c o d e ro rt r a n s m i tc h a n n e l 。t h i s t e c h n o l o g yi sc a l l e db i ts t r e a mt r a n s c o d i n g b i tr a t et r a n s c o d i n gi st h eb a s eo f q a n s c o d i n gt e c h n o l o g y i th a sm o s tv a l u ei 1 3 t h em p e g - 2a p p l i c a t i o n t 醯e m p h a s e so ft h i sa r t i c l e8 辖t h er e s e a r c ho fb i tr a t e t r a n s c o d i n gt e c h n o l o g y ， i no r d e rt od e s i g nas o f t w a r eb i tr a t et r a n s c o d e r , w ea n a l y z e dt h es y n t a xo f m p e g * 2 c o m p r e s st e c h n o l o g y a n ds e m a n t i c so f v i d e o s p e c i f i c a t i o n ，f a c t o r sa f f e c t i n g t h eb i tr a t ea r es t u d i e di 1 3 - d e t a i l 。s u c ha sa l g o r i t h mo fb i tr a t ec o n t r o l l i n g 。w ea l s o s o l u t ep r o b l e m ss u c ha sq u a n t i s e r s e a l e r e v i s i n ga n d d e c i s i o no f t h em o d eo f m a c r o b l o c k t h i sp r o j e c td e v e l o p e ds o f t w a r er u n n i n go nw i n d o w sp l a t f o r m 魏t r a n s c o d e s i n p u t t e d 御e g - 2 v i d e oe s i n t oal o w e rb i tr a t es t r e a m t h o u i 醢t h i ss o f t w a r ei sn o ta r e a l t i m es o f t w a r e ，i tc a r lm e e tr e q u i r e m e n to f e d i t i n gd i g i t a lt vp r o g r a m i na d d i t i o n ， t h es o a r ew i l lr u nm o r eq u i c k l yw i t ht h ei n c r e a s eo f p cs p e e da n do p t i m i z a t i o no f s o t l w a r e a c c o r d i n g 协氆er e s u l to f o u re x p e r i m e n t , t h et r a n s c o d e de s c a r lb ed e c o d e da n d d i s p l a y e dw i t h 溅p e g ，2s o f t w a r ed e c o d e r 露l e 嚣sc a l la l s ob em u l t i p l e x e di n t ot s ， 髓嚣蕈sc a r lb ed e c o d e da n dd i s p l a y e dw i 氇h a r d w a r ed e c o d e rs u c ha sd v bs t b ， d v dd e c o d i n gc a r d b a s e do nt h es t a t i c so fo u re x p e r i m e n t s ，t h eb i t r a t eo f t r a n s c o d e de sd e c r e a s e dg r e a t l y k e yw o r d s ：o i g l t a tt v m p e g - 2v i d e oe l e m e n t a r ys t r e a m ( e s ) b i t r a t et r a n s e o d i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致 鑫 之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得基1 堡盘茔或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说翳并表示了谢意。 学位论文作者签名：签字目期：年月 目 学位论文版权使用授权书 本学位论文作者宠全了解：叁盗盘茎有关保留、使用学位论文的规定。 特授权墨洼基鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或掴描等复制手段保存、汇编以供查阅和借阗。同意学校 向国寡有关部门或根构送交论文的复印 孛和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名导师签名 签字e t 裴：年月丑签字弱絮：年 月爨 第一章概述 第一章概述 1 1 数字电视发展概况及研究内容 从7 0 年代开始，大幅度提高电视的清晰度成为国际上一个新的课题，经过 2 0 多年的发展，h d t v 的研究经过了从数字处理、模拟传输向全数字化的历程， 相关技术也由实验室进入实用阶段，几种不同的制式已发展成熟。预计多则十 几年，少则八、九年，经济发达国家和地区将完成从模拟电视向数字电视的过 渡。由于数字高清晰度电视的发展将带来巨大的经济利益，产生广泛的影晌， 所以美国、日本、欧洲均采用各自的标准，制定出相应的过渡时间表，促进产 业化进程，力图控制本国、本地区市场并准备抢占世界市场。日本、美国、欧 洲间的制式之争，在客观上延误了统一数字电视传输格式的形成，也给我国数 字电视的发展提供了一个前所未有的发展机遇。 与模拟电视相比，数字电视具有以下特点： ( 1 ) 频道利用率高。以地面广播而言，数字电视可以启用模拟电视的“禁用 频道”，而且在今后能够采用“单频网络”技术。高效压缩编码技术，使得在一 个模拟电视信道，可以传输l 路h d t v 信号或4 - 6 路s d t v 信号。 ( 2 ) 抗干扰能力特别是抗多经干扰能力强。数字技术可以避免误差累计，提 供更加稳定、完美的图像。 ( 3 ) 功能多。电视实现数字化之后，不仅可以提高服务质量，而且与网络有 方便的接口，为实现交互式电视提供可行性，满足用户按自己的喜好，点播节 目的要求。 ( 4 ) 便于与通信技术、计算机技术“融合”，成为集电视、电信和电脑于一 体的新一代电视系统形态。 ( 5 ) h d t v 采用1 m 以上尺寸、1 6 ：9 宽高比的大屏幕显示器，并配有多路环 绕立体声，临场感更强，更加符合人的视觉及听觉特性和需求。 随着科学技术的飞速发展，数字电视将以卓越的画质和音响效果、众多的 功能、与信息高速公路互联互通的面貌，呈现给公众，满足多方面的需求，在 不太长的时期内，逐步取代模拟电视。可以说，广播电视领域开始了一场新的 技术革命，它将导致电视节目制作、编播、存储、加工、传送、接收整个链条 的数字化，带动一大批产业高速发展。数字广播电视的高质量节目、频谱资源 的充分利用、新一代h d t v 和数字音频广播的工程应用，以及多媒体交互数据广 第一章概述 播业务的开办，都将成为广播电视加速发展的动力。充分做好数字电视大发展 的技术准备，是我们责无旁贷的职责。 m p e g 一2 ( 运动图像及其伴音通用编码国际标准) 是数字视频领域的主要编 码标准。从目前来看，m p e g 一2 标准虽然得到了工业界的强有力的支持，取得了 巨大的成功，但是对于很多以电视为基础的各种应用它只是提供了一种能够实 施的技术，而在功能上显得还不够强大，在很多具体应用中，我们需要对已压 缩编码后的视频码流进行再处理，以满足传输信道或解码器对编码码流的特殊 要求。例如：从d v d 光盘上可以得到m p e g 一2 的节目流( p s ) ，将p s 流转换为 m p e g 一2 传输流( t s ) 可以为数字广播电视提供节目源，但是存储于d v d 光盘的 m p e g 一2 码流一般码率较高，直接复用为t s 流后对信道的利用率较低。为了提 高信道利用率，需要对已编码的m p e g 一2 码流进行码率变换，降低码率，在有限 的信道内传输更多的数字电视节目。本课题将对码率变换技术进行研究，并用 软件实现m p e g 一2 视频基本流的降码率转换编码。 为了用软件实现m p e g 一2 视频基本流的降码率转换编码，本课题重点研究了 m p e g 一2 压缩技术和i s o i e c1 3 8 1 8 2 标准定义的视频基本流语法和语意，对如 何控制码率和与码率相关的语法进行了深入研究。解决降码率处理中如何决定 量化步长，如何判别新的宏块类型等问题。 1 2 数字电视相关标准 以国际标准化组织( i s o ) 国际电工委员会( i e c ) 第1 联合技术委员会 ( i s o i e cj t c l ) 、国际电信联盟( i t u ) 、国际电工委员会第1 0 0 技术委员会 ( i e c t c1 0 0 ) 和数字音频视频委员会( d a v i c ) 等为首的标准化机构积极开展 标准化活动，共同构筑数字广播电视标准化的基础。 纵观全球数字广播电视标准化状况，已经形成了d v b 和a t s c 为代表的两大 阵营。大多数国家在发展数字广播电视起始阶段都考虑应用于h d t v ，并兼容 8 d t v 。随着技术的不断进步，市场、产品乃至标准之争将会更加激烈。 美国的a t s c 和欧洲的d v b 标准中的视频压缩部分都是m p e g 一2 标准的一个子 集。运动图像专家组( m p e g ) 是国际标准化组织( i s o ) 和国际电工委员会( i e c ) 联 合组织的一个工作组的简称。成立于1 9 8 8 年，全称为i s o i e c j t c l s c 2 9 w g l l 。原定任务是制订“一套供数字存储媒体使用的运动图像及其相关声音的 通用编码方法，总码率约达1 0m b p s ”，实现模拟音视频技术向数字方式过渡。 m p e g 机构成立以来，先后制定了m p e g 一1 、m p e g 一2 、m p e g 一4 、m p e g 一7 等一系 列标准。m p e g 标准综合了学术界和产业界的最新研究成果，并且进行了大量的 严格测试工作。m p e g 标准不仅尽量涵盖新概念，在考虑技术和质量因素的同时、 第一章概述 还权衡了实现成本。因此，m p e g 标准具有演绎性、通用性、开放性等特点，为 数据压缩技术和通信技术做出了巨大贡献。 m p e g 一1 标准( i s o i e c 11 1 7 2 ) 于1 9 9 2 年制定。其第一、二、三部分分别为 系统( 伴音、图像压缩数据流复用、同步信息加入等) 、视频压缩编码、伴音压 缩编码部分。m p e g 一1 视频面向码率大约为1 5 m b p s 以下的应用。音频面向每通道 速率为6 4 k b p s 、1 2 8 k b p s 或1 9 2 k b p s 的数字音频信号压缩。 m p e g 一2 是用于广播电视等领域的高效压缩编码标准，也是目前应用最广泛的 压缩标准。同m p e g - 1 标准一样，m p e g 一2 标准也包括系统、视频和音频等许多部 分。它克服并解决了m p e g 一1 不能满足日益增长的多媒体技术、数字电视技术对 分辨率和传输速率等方面的技术要求的缺陷。它兼容m p e g l ，囊括了专家组的 m p e g - 3 t 作成果。该标准分为多个部分，包括系统、视频、音频、符合性测试、 软件模拟、数字存贮媒体指令和控制等。i s o i e c1 3 8 1 8 1 、i s o i e c 1 3 8 1 8 2 也分别作为i t u th 2 2 2 0 、i t u th 2 6 2 标准。 m p e g 一2 音视频体系力求满足在存储媒体、会议电视可视电话、数字电视、 高清晰度电视、网络传输等领域，对多媒体视频、音频通用编码方法日益增长 的新需求。如分辨率要求有低( 3 5 2 * 2 8 8 ) 、中( 7 2 0 * 5 7 6 ) 、次高( 1 4 4 0 1 0 8 0 ) 、 高( 1 9 2 0 1 0 8 0 ) 不同级别；压缩编码方法也要求有从简单到复杂的不同档次： 可在现在或未来的网络上传送。 m p e g 一2 已扩展其使用范围以包括一系列不同媒体。地面广播、有线电视、 卫星广播、信息网络等的需求都已加以考虑，并在其m a i n 型中作了规定。愈来 愈多的制造厂商正放弃他们自己搞的数字压缩方案而开始采用m p e g 一2 的码流和 压缩技术。原来的m a i n 型已作了许多扩展，以使m p e g 一2 系统能对所有使用声音 和图像数字压缩的领域有吸引力。m p e g - 2 的m a i n 型是供大多数应用的编码结构， 是根据各种用户所提要求设计的。本课题所编写的软件是基于m p e g 一2 的m a i n 型 语法设计的，适用于对m p e g 一2 的m a i n 型视频基本流的降码率转换编码。 m p e g 一4 用于甚低码率( 6 4 k b p s 以下) 音视频系统，其重要特点是对音频采 用基于结构化的压缩、对视频和图形采用基于内容的编码，从而使对多媒体信 息内容的访问可以直接针对压缩数据进行。即使在低带宽时，也可以利用码率 分配方法，对用户感兴趣的对象多分配带宽，以保证图像主观质量。 m p e g 一4 中引入了视频对象( v o ) 的概念，基于内容表示视频数据，使用户 终端可将不同对象进行拼接，获得用户自己合成的图像( 传统的压缩方法是基 于帧的，对对象的操作和访问都不够方便) 。需要进行编码的v o 可以是任意形状 区域，这些区域的形状和位置在各帧之间可以不同。如果形状区域是传统的矩 形区域，那么，编码过程就与m p e g 一1 2 相同。因此，m p e g 一4 的“基于内容”的 第一章概述 编码方式就可以看作是m p e g i 2 编码方法的扩展。另外，它也采用类似m p e g 一2 的“档次”和“等级”概念，并提供工具箱来适应多种应用。 m p e g 一7 标准的正式名称为“多媒体内容描述接口( m u l t i m e d i ac o n t e n t d e s c r i p t i o ni n t e r f a c e ) ”。随着信息的爆炸性增长，搜索“素材”的难度越来 越大，基于关键词或文本的方法已不适合多媒体信息的检索，于是基于内容检 索的m p e g 一7 标准应运而生。 m p e r g 一7 的关键步骤是需定义一种标准的多媒体内容描述接口。m p e g 一7 标 准定义了一系列方法和工具，包括描述符集( s e to fd e s c r i p t o r s ) 、描述方案 集( d e s c r i p t i o ns c h e m e s ) 、描述定义语言( d e s c r i p t i o nd e f i n i t i o nl a n g u a g e ) 以及对描述进行编码的方法。 大体上，前三种标准用来表示信息本身，研究如何使内容可以被获取；而 m p e g 一7 是用来表示关于信息的信息，实现如何找到所需内容。 1 3 数字视频编码流的转换编码技术 虽然m p e g 试图把m p e g 一2 定位为一个包罗万象的“通用( g e n e r i c ) ”标准， 通过提供多种“类”和等级“覆盖尽可能多的应用领域”，但目前真正得到广泛 重视和支持的主要是主类。m p e g 一2 提供了分层编码工具并支持一些较为复杂的 应用，但是由于编解码器复杂度的制约，分层编码的层数有限，在很多情况下 无法与数字电视格式和传输信道特性的多样性相匹配。我们把这一类技术总称 为视频编码流的转换编码技术。 视频编码流的转换编码可以定义为从一种视频压缩码流格式到另一种视频 压缩格式的转换。这里所说的格式包括码流的语法和码流中的参数，如编码码 率、图像空间分辨率等。需要对已编码视频信号进行转换编码的原因归纳起来 主要有以下几点： 1 视频压缩编码存在多种国际标准。目前存在各种视频压缩国际标准都在一 定的领域获得了广泛的应用，如h 2 6 1 、h 2 6 3 在电信领域；m p e g 一1 在多媒体 计算机和消费电子领域；m p e g 一2 在数字电视领域等。电视系统数字化后，将出 现电信网、有线电视网和计算机网相互融合的趋势，因此，它们之间不可避免 地会出现通过网络相互交换节i f l 的情况，但是不同的视频压缩标准的编码码流 的语法不同，需要对编码比特流进行语法转换。 2 现实的网络环境是复杂多变的，有时会出现编码码流与传输信道失配的情 况，需要对m p e g 一2 编码比特流的码率进行变换。 3 显示格式的不同。解码器解码重建的图像最终要显示在显示器上。而目前 在广播电视、计算机以及电信领域存在着多种不同的图像显示格式。图像显示 第一章概述 格式的转换可以在解码后处理阶段完成，但从节省传输带宽( 高分辨率图像需 要的传输带宽大) 和运算资源( 压缩域处理比空间域处理运算量小) 的角度讲， 直接对视频编码码流进行再处理更具优势。这就需要对m p e g 一2 编码比特流进行 空间分辨率变换。 4 解码器资源及存储资源的限制。虽然从m p e g 一2 编码流语法的角度讲，解 码器应该能够对所有符合标准的编码码流解码，但是，在实际的硬件实现时， 解码器的设计通常由具体的应用环境决定，尽量避免解码器资源的浪费，使解 码器具有较高的性能价格比。这里所说的解码器资源包括：解码器的运算速度、 码流缓存器容量以及参考帧存储器的大小等。解码器资源是有限的，这就造成 一个解码器通常只能对具有指定分辨率( 参考帧存容量限制) 、码率符合特定约 束条件( 运算速度和码流缓存器容量限制) 的视频编码码流有效解码。从而需 要对m p e g - 2 编码比特流进行码率和分辨率变换。同时，为了在各种数字存储媒 体如：p c ，m o ( 磁光盘) 上存储更多的视频数据，也需要对m p e g 一2 编码比特流 进行码率和分辨率变换。 综上所述，随着图像压缩编码技术和宽带数字通信技术的发展，数字视频通 信已经在广播电视、计算机和电信领域获得了广泛的应用，并在统一的数字通 信技术的基础上出现了相互融合的趋势。然而构造一个对不同领域都适用的、 “通用”编解码系统不是一种实际的解决方案。作为另一种方案，我们可以对 编码后的码流进行处理，有针对性地将输入码流转换到需要的格式。后一种方 案具有费用低的优点，是一种较为明智的实用方式。 对于视频编码流，单纯的语法转换从技术的角度讲比较简单。对于图像格式、 编码参数的转换，m p e g 一2 视频编码码流的转换编码主要有以下三类： 1 对m p e g - 2 编码比特流的码率变换。 2 对m p e g - 2 编码比特流的空间分辨率变换。 3 对m p e g 一2 编码比特流的帧频( 时间分辨率) 变换。 在这三类变换技术中，视频编码流的码率变换是转换编码技术中最基本，也 最具应用价值和实际意义。本课题即主要对码率变换技术进行研究。 如图1 1 所示，视频编码码流转换编码器的基本功能可以看作是一个黑匣子。 它的输入是已压缩编码的m p e g - 2 比特流，输出是具有新参数的m p e g 一2 编码比 特流。转换编码后的视频码流可以满足具体的应用条件( 如传输带宽和显示格 式) 。 对于降码率的转换编码器，可以看作是一个滤波器。它的作用是使一个已压 缩编码的m p e g 一2 比特流与接收负载匹配。这里所说的接收负载包括：传输信道、 接收解码器，也可能是接收端的存储设备。例如，对变换后新比特流的约束可 第一章概述 以是传输信道的峰值或平均传输比特率；也可以是存储设备的存储容量。 堂主 阿丽孺卜厂飘f _ 弛乒百面嗣 酉酗e j 刊里墅h 丽佩1 塑塑矍h 骊甄蒋别旦墨f 图1 1 转换编码器示意图 对已压缩编码的视频比特流进行码率变换，与m p e g 一2 提供的分可分级性编 码工具相类似。但它们的应用领域和目标不同。m p e g 一2 的这些分层编码工具( 数 据分割、信噪比分级、空间分辨率分级和时间分辨率分级) 是为实现视频信号 的多业务质量等级编码( 这些业务质量等级是在编码前预先设定的) 和提高传 输可靠性( 低层数据用误码率低的信道传送，而高层比特流则用误码率相对较 高的信道传送) 而制定的。m p e g - 2 编码视频比特流的码率变换则主要是一种把 一个已经压缩编码完的视频比特流变换成另一个符合新的码率约束条件的比特 流的转换编码技术。 对压缩编码视频比特流码率变换技术的研究主要涉及码率转换编码器结构 和编码控制两类问题。结构问题就是寻找可以实现解码转换编码这样两个运算 过程的有效方法，使比特流码率转换编码器对于具体应用具有较高的性能价格 比。而编码控制则是在给定的码率变换结构的基础上，如何对重新编码过程进 行码率优化控制的问题。 在比特流码率变换过程中，为了减小运算量，一般直接使用输入码流中的 图像帧类型和宏块的运动矢量。在这种情况下，编码控制主要是转换编码器输 出码流的码率控制。 下面介绍几种转换编码器的结构，码率控制问题将在第三章详述。 实现编码视频流码率变换的直接方法是标准解码器与标准编码器的级联， 即先对编码码流解码，然后按新的目标码率对解码重建图像进行编码，如图1 2 所示。这样构造的码率转换编码器十分复杂，价格昂贵。硬件实现需要专用的 m p e g 一2 编码，解码芯片，大量的存储空间等；若用软件实现，由于运算量大， 占用的存储空间极大，耗时也无法容忍。 另一方面，由于这种系统将编码器和解码器完全分开，解码、编码过程中 缺少必要的信息交互，损伤累计，质量有所下降。 图1 2 解码器、编码器级联型转换编码器 第一章概述 为了降低转换编码器的复杂度和对图像带来的损伤，应尽可能多地利用输 入码流中包含的信息，如图像类型、运动矢量等。但是，输入码流中包含的编 码信息，对转换编码器中的编码部分来说往往不是最优的，例如宏块类型和量 化因子等。从而导致编码效率和所恢复之图像质量的降低。良好的转换编码器 设计，应根据用途不同，对转换编码器性能要求的不一，寻求复杂度与重建图 像质量的量佳折衷。下面归纳了几种具有不同性能价格比的编码视频码流码率 变换器的结构。 若重新编码过程中，采用与标准编码器一样的控制，即重新做运动矢量估 计，重新做宏块模式判决，则所需运算量( 特别是运动估计) 极大。因此，在 编码视频流码率变换过程中，通常直接使用输入码流中的运动矢量，避免重新 估计运动矢量的花销。 图1 3 所示的双预测环结构实际上就是解码器与编码器级联构成的码率变 换器。两者在图像层级联，有运算量大的缺点。在这种结构中，解码部分和重 新编码部分各有一个运动补偿预测环路。但直接使用输入码流中的运动矢量、 宏块模式等信息。 删糟h 黔h z 唧 运动矢量 运动矢量 运动补偿 1 _ 图像存储 头部信息、运动矢量等 ：一嘟h 毯 运动补偿 图像存储 反量化 ( q 2 ) 工 i d c t 变字长l 新视频 编码广羁瓣 图1 _ 3 双预测环结构的转换编码器 在图1 3 中的双预测环结构中，由于直接使用了输入码流中的运动矢量和 宏块编码模式，避免了运算量极大的运动估计和复杂的宏块编码模式判决过程， 大大降低了码率变换器的复杂度。 对双预测环结构进行仔细分析，可知双预测环结构可进一步简化。简化后 的转换编码器只有一个预测反馈环。这种系统使用一个反馈环校正重量化后的 误差，不存储整幅图像，仅存储重量化后的量化误差。如图1 4 所示： 第一章概述 图1 4 单预测环结构的转换编码器 单环结构的进一步简化就是无帧存储器结构。如果将图1 4 中的运动补偿 反馈环省去，运算量会进一步减低，转换编码系统也将大大简化，如图1 5 所 示。系统将解码器的一部分和编码器的一部分联接在一起，省去了解码、编码 过程中的部分处理过程。省略的过程包括：一次i d c t 变换，一次d c t 变换，运 动补偿等。在这种结构中，输入的编码码流经过变字长解码( v l d ) 和反量化， 得到d c t 变换系数后，直接通过重新量化或滤波处理，把编码码流的码率调整 到新的目标值上。 l头部信息、运动矢量等 一j 图1 5 无帧存储器的转换编码器 以上给出了几种降码率转换编码器的结构。第三章中将对它们的性能进行分 析。 m p e g 一2 编码比特流的空间分辨率变换主要问题是如何从编码码流的运动矢 量中得出最佳的新运动矢量。最简单的方法是将原编码码流中四个宏块的运动 矢量进行算术平均，计算出由该四个宏块数据合成的一个新宏块的运动矢量。 也可以根据原来的四宏块作运动补偿后的性能，对它们的运动矢量分配不同的 权重，然后再计算新宏块的运动矢量。这里不再详述。 对m p e g 一2 编码比特流进行帧频变换时，因为在解码时b 帧不作为其他j 贞的 参考帧使用，所以可通过丢弃原编码码流中的b 帧，来降低新码流的帧频。此 间，主要问题是如何在恰当的时候丢弃b 帧，实现帧频变换。也可以丢弃原编 码码流中的p 帧，然后对与该p 帧相关的运动矢量进行处理，实现帧频变换。 第一章概述 m p e g 一2 视频码流空问和时间分辨率的变换才：是本论文的研究重点，在此不 再对这两种变换做更多地分析。 第二币m p e g 2 数字视频压缩技术和编码标准 第二章m p e g 一2 数字视频压缩技术和编码标准 本课题主要对m p e g 一2 视频基本流的降码率转换编码进行研究，下面对 m p e g 一2 所采用的压缩技术和m p e g 一2 标准的语法和语义进行介绍，主要着重于视 频部分。 2 1m p e g 2 数字视频压缩技术 现有的电视图像都包含冗余信息，这些信息对于在一个网络的两点间忠实地 复现图像是不需要的。简单地在传输前去掉这些信息能够实现不高的压缩率。因 为这不影响图像质量，故通常称为“无损失”压缩技术。例如，大部分同步信息 可以从p a l n t s c 图像信号中去掉。然而，要得到大的压缩比，必须应用会影响 图像质量的技术。这些称为“有损失”方法。下面介绍m p e g 所用的“有损失” 压缩方法。虽是按逐行扫描图像描述，但应注意m p e g 一2 容许逐行或隔行扫描两 种图像的编码。 m p e g 一2 视频编码过程如图2 1 所示。首先由预处理后的当前帧视频信号和预 测图像得到差值图像，再经离散余弦变换( d c t ) ，将时域的差值图像变换为频域 的d c t 系数，随后将系数量化，再进行变字长编码( v l c ) ，最后经缓冲器，输出 m p e g 一2 视频流。 预测图像由运动检测器根据前后相关帧间的运动关系得到。预测得越准确， 差值图像越接近0 ，所传数据越少，压缩效率越高。在对图像数据和运动矢量进 行变长编码后，运动矢量信息与图像信息被复合进码流中。因为m p e g 一2 视频编 码流中存在i ，1 3 ，p 三种编码帧，每一编码帧所含的比特数不同，但它门的显示 时间却是相同的，所以必须应用缓冲器对编码后的数据进行存贮，并根据缓冲器 的充满程度控制量化步长，进而控制随后图像帧的编码 b 特数。通过信道传输给 解码器后，解码缓冲器不出现溢出或变空。为了防止编码缓冲器溢出或变空，一 个反馈环路对量化器提供附加的控制。如果缓冲器将满，量化器对系数值的编码 就需更粗一些，以减少为描述该数值范围所需的码位数。反之，若缓冲器接近变 空，量化器对系数值的量化变细。 2 1 1 运动检测和运动矢量 减少码率的一个有力方法是以宏块为单位从上一帧图像像素值预测当前图 第一章m p e g 2 数字视频压缩技术和编码标准 像的像素值，然后传输实际图像像素值和其预测值之间的差值。对于大多数图像， 差值( 或称“误差”) 将是小的，因为连续帧之间有明显的共同性( 时间冗余度) 。 后面将说明，在大部分时间内，传输小范围的差值可使码率显著降低。在解码时， 使用运动矢量重新产生与编码器预测值相同的参考图像，再把传输的差值与参考 图像相加就产生原来的像素值。 图2 1m p e g 一2 编码器功能框图 为改进预测过程，把当前场( 帧) 中以1 6 x1 6 像素所构成的宏块与上一场( 帧) 中在规定搜索区内的所有1 6 x 1 6 宏抉作比较，找出匹配最好的那一块，并把它从 当前的块中减去这个匹配过程使被传输的差值最小。由参考帧中的匹配宏块位 置和当前帧中宏块的位置可以计算出当前宏块的运动矢量，这被称为运动检测 ( 见图2 2 ) 。 n l 帧中当前 n 帧中当前块的位置 图2 2 运动检测 图2 1 中图像预测器保存一帧图像，用于宏块匹配。加法器( 1 ) 将差值图像 第二章m p e g - 2 数字视频压缩技术和编码标准 与预测图像相加并保存起来以用于将来的图像预测。以上是对p 帧的前向预测过 程描述。m p e g 一1 和m p e g 一2 都容许使用之前或将来的图像帧进行双向预测，将图 像编码为b 帧。 在m p e g 一2 编码过程中，运动检测在空间域进行。从参考图像中选出最佳的匹 配宏块需要大量的计算，是m p e g 一2 编码中最复杂、运算量最大的编码环节。在 进行降码率转换编码时，原码流中己存在运动矢量，因此不必再进行运动检测。 转换编码完全可在d c t 域对编码码流进行，可不再反d c t 变换到空间域，运动矢 量直接从原码流中提取。与先将码流解码，然后再以新的码率进行m p e g 一2 编码， 获得低码率码流的方法相比，大大降低了计算量，可以快速地获得所需码率的码 j 流。 进行降码率转换编码时，原编码码流中的运动矢量可直接复制到新码流，但 部分情况下，运动矢量将被丢弃。具体的处理方法将在第三章中描述。 2 1 2 帧内编码 为了开始编码过程，图像预测器用“零”值初始化。从而当前帧被直接编码 而不参照预测帧，进行帧内编码。这为解码器建立了参考帧，也为编辑码流提供 了切入点。 2 1 3 离散余弦变换( d c t ) m p e g 一2 使用的图像变换编码方法是离散余弦变换( d c t ) 方法。d c t 对8 x 8 像素 块实施。d c t 把8 x 8 像素块从两维空间域变换到频率域，因此称为变换编码。d c t 变换后得到8 x 8d c t 系数矩阵，水平频率项从左向右递增，垂直频率项从上到下 递增。因此，左上角表示零频或d c ( 平均) 项，右下角表示最高频率项。 但变换本身并不能降低码率。因为变换后的系数数目跟原来块中的像素数目 相同。这个过程的关键是变换后的频率系数更适合于以后的压缩。特别是变换后， 图像块的d c t 系数向左上角集中，含大量“零”或接近“零”的系数值。量化后， 会有更多的“零”系数。在进行变字长编码时，这些“零”系数值的存在，可提 高编码效率。 实际上在m p e g 图像编码器中，在对p 帧和b 帧编码时，d c t 变换应用于已经 经过帧间预测编码的图像帧。因此，在变换以前幅度值已经比较小了，这进一步 使得变换后的系数一般只包含小的系数。上述结论不适用于未应用运动补偿的i 帧图像。 第二章m p e g - 2 数字视频压缩技术和编码标准 2 1 4d c t 系数量化 在任何脉冲编码调制( p c m ) 过程中，输入信号被取样，取样值被指配相应于其 幅度的编码值。为了使失真最小，量化步长( s t e p ) ，亦即从一个编码值到下一 个值之间输入信号幅度的级差必须足够小。例如，对于高质量声音，通常使用 1 6 位编码( 2 ”= 6 5 5 3 6 “步”) 。如果是低质量的声音编码，量化步长可以增大， 使用8 位编码( 2 8 = 2 5 6 “步”) 。 对于图像，把d c t 系数除以量化步长，然后取其最接近的整数( 在数字意义 上) ，得出量化值。由于眼睛对高频细节不太敏感，因此d c t 的高频系数能够较 粗地量化，亦即使用比低频系数大的量化步长而不致对图像质量造成可觉察的损 失。量化步长由量化因子和量化矩阵得出。量化矩阵有6 4 个值，分别与6 4 个 d c t 系数对应，其中，高频d c t 系数对应的值大。量化步长的确定需要考虑： ( 1 ) 要处理的是亮度信号还是色度信号人眼对这两者的响应不同； ( 2 ) “块”是来自帧间的( i n t e r - - f r a m e ) ，还是帧内的( i n t r a - - f r a m e ) 编码图 像这两者的系数幅度分布不同： ( 3 ) “块”在图像中的位置和图像的内容有些“块”需要编码得比其它“块” 更精确，编码稍不精确便可觉察。 除了这种跟频率有关的量化外，当编码复杂图像时，可能必须改变每一帧图 像的量化矩阵：而m p e g 标准容许这么做。显然，为了让解码器能跟踪编码器的 工作，矩阵的任何改变必须传输给解码器。 总之，典型的m p e g 一2 图像编码器实施的量化方法可能十分复杂，然而这是 以不高码率得到良好图像质量的关键之一。制造厂商采用不同的量化方法能够产 生不同性能的结果。 对于m p e g - 2 编码器，输出码流的码率由用于对d c t 系数量化的量化步长控制， 当量化步长增大时，量化后的d c t 系数值减小，d c t 系数编码后比特数减少，进 而使输出码率减小。反之，量化步长减小时，编码器的输出码率增大。具体的码 率控制算法将在第三章描述。 降码率转换编码就是通过增大量化步长的方法，对原码流中的d c t 系数进行 重量化，编码，得到低码率的码流。 2 1 5 变字长编码 变字长编码( v l c ：v a r i a b l el e n g t hc o d i n g ) 利用这个事实，即图像帧经过预 测、d c 变换和量化、编码后，某些码字比另外一些出现得更经常。特别是，这 第二章m p e g - 2 数字视频压缩技术和编码标准 些过程会产生大量“零”d c t 系数( 量化后) 。假使给经常出现的那些值指配长度 短的码字，而不经常出现的那些用较长的码字传输，那么可以获得有效的码率压 绌。v l c 亦称“熵”编码( e n t r o p yc o d i n g ) 。v l c 是无损编码。 u 6 游程长度编码( r l c ，r u nl e n g t hc o d i n g ) 如前所述，编码处理可把大多数需传输的d g t 系数减小或变成“零”。因空间 域的图像块变换到频率域后，不为“零”的较大d c t 系数集中于左上角，故再把 辇化过的d c t 系数按锯齿形( z i g z a g ) 或其它合适的方式重新串行排列，则有利 将连“零”排在一起，适合通过游程编码，减少编码比特数。 降码率转换编码通过增大量化步长，使量化后d c t 系数值减小，然后利用变 字长编码和游程编码的特性来降低输出码流的码率。 2 1 7i 、b 和p 帧 在m p e g 语法中，帧内编码图像称为i 帧，而帧间编码图像称为p 帧。如前文 i 到，总是先送一幅i 帧以便为解码器提供参照，然后传送p 帧。另外，m p e g 提供传送“双向预测”帧，分布在i 和p 帧之间。这些称为b 帧，见图2 ，3 。 一一：o p 帧( 4 ) 由起始传送的i 帧( 1 ) 得到，亦即帧( 1 ) 成为相应于“上一帧”，而帧 、测相应于“当前帧”。 在本例中，在i 和p 帧之间传送了2 幅b 帧。帧( 2 ) 和( 3 ) 由“过去帧”( 1 ) 铷“将来帧”( 4 ) 两者预测。( 在进行处理前把有关帧存储起来，从而可以看到“将 二代帧”) 。块匹配( 运动补偿) 应用帧( 1 ) 和帧( 4 ) 两者的图像信息进行。双向内插 第一章m p e g - 2 数字视频瓶缩技术和编码标准 的优点之一是，“将来帧”能提供关于场景切换的信息，而这在“过去帧”中可 能尚末出现。i ，b 和p 帧亦称i ，b 和p 图像。 2 1 8m p e g 声音 m p e g 一1 把两路声音信号压缩到1 2 8 k b p s ( 2 x 6 4 k b p s ) ，采用的取样率为3 2 ， 4 4 1 或4 8 k h z 。i p e g 一2 扩展了这个编码，将提供多达5 路的全频带信道，加上 一路低频增强信道，可以多达7 路多语言或解说信道。声音码流跟图像和数据( 用 于图文电视等) 码流复合在一起，成为一个完整的电视信号码流。 2 2m p e g 2 标准的语法和语义 m p e g 一2 规定了2 种类型的系统编码流： ( 1 ) 节目流：由一些p e s 包合成，用于无误码环境。 ( 2 ) 传输流：包含一些p e s 包，用于传输媒介易于产生误码的情况。 p e s 包为打包的音频、视频基本流或其他数据。 2 2 1 节目流 节目流( p s ) 是m p e g - 2 系统层定义的一种数据流，用来传送和保存道节目 的编码数据或其他数据。它主要针对那些不容易发生错误的信道。p s 可以有固 定或变化的速率。在各种码率情况下，组成p s 的e s ( 基本流) 可以有固定或变 化的码率。语法和语义限制对每种码率都相同。一个或多个e s 均可复用成一个 p s 。 2 2 2 传输流 传输流是一种数据流，其目的是为了在有可能发生严重错误的环境下进行一 道或多道节目的编码数