（计算机科学与技术专业论文）视频流处理平台的实现和优化.pdf

国防科学技术大学研究生院学位论文 摘要 视频流处理技术的迅猛发展，改善了人们的生活。由于视频流数据量十分庞大， 提高压缩解压缩的效率和节约系统开支，始终存在矛盾，本课题主要目标是在 m a p c ad s p 上实现视频流的压缩解压缩的实时处理。 以往的d s p 和媒体处理器缺乏m p e g 2 编码解码的实时处理能力，性能瓶颈 主要包括：数据处理能力；数据传输能力，当所需数据不在本地内存时，处理 器无法进行任何操作；数据相关性，预知数据并行处理。e q u a t o r 公司高性能d s p 芯片m a p c a 为视频留的实时处理提供下硬件基础：v i l w 结构的核心处理器； d a t a s t r e a m e rd m a 控制器；可变长编码解码协处理器等。但是现有的m p e g 2 算法和实现机制显然不适用于m a p c a 体系结构，不能充分利用其硬件能力。针对 m p e g 2 实时处理中面临的主要问题，课题基于m a p c a 实现了m p e g 2 实时编码 解码系统：改进了m p e g 2 关键算法，提出了新的实现方法，如量化，反量化算法， d c t 变换i d c t 变换算法，运动估计算法等；利用d a t a s t r e a m e rd m a 控制器进行 数据传输，最大限度地减少数据等待时间。 系统测试表明，经过优化后的m p e g 2 编码解码算法的实现，系统整体性能提 高了4 8 4 ，改善了对视频流的处理能力。 关键字：视频流，m p e g 2 ，m a p c a d s p 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fv i d e os t r e a mp r o c e s s i n gt e c h n o l o g i e s ，o u rl i f eh a s b e e nm u c hi m p r o v e d b e c a u s eo ft h em a s sd a t aq u a n t u mo fv i d e os t r e a m ，t h e r ei sa t r a d e - o f fb e t w e e ni m p r o v i n gt h e e f f i c i e n c y o fc o m p r e s s i o n & d e c o m p r e s s i o na n d r e d u c i n gt h ec o s to fs y s t e m s t h em a i no b j e c t i v eo ft h i sp a p e ri st os o l v et h ep r o b l e mo f r e a l t i m ep r o c e s s i n go f v i d e os t r e a m sc o m p r e s s i o n & d e c o m p r e s s i o no nm a p - c ad s e i nt h ep a s t ，d s pa n dm u l t i m e d i ap r o c e s s o ri ss h o r ti nr e a l - t i m eh a n d l i n go fm p e g 注 v i d e o sc o d i n ga n dd e c o d i n g t h eb o a l e n e c ko f p e r f o r m a n c ei n c l u d e ：o t h e a b i l i t yo f h a n d l i n gd a t a ；( 9 t h ea b i l i t yo f t r a n s f e r i n gd a t a ，i f t h en e c e s s a r yd a t ai sn o ti nl o c a l m e m o r y , t h ep r o c e s s o rc a n tw o r k ；t h ed e p e n d e n c yo f d a t a , p a r a l l e lh a n d l i n gt h ed a t a w h i c hb ek n o w nb e f o r e h a n d n 他m a p c ad s pw h i c hi sm a d eb ye q u a t o ri n cp r o v i d ea h a r d w a r eb a s eo f h a n d l i n gv i d e os t r e a m ：( d v l i wc o r ec p u ；( 室) d a t a s t r e a m e rd m a c o n t r o l l e r ；v a r i a b l el e n g t he n c o d e r d e e o d e r b u tn o w , m p e g 2 sc o m p r e s s i n ga n d d e c o m p r e s s i n ga l g o r i t h m sa n dm e c h a n i s mi si n v i a b l et om a p c - c a sa r c h i t e c t u r e t h e h a r d w a r ec a l ln o te f f i c i e n t l yw o r k a i ma tt h e s em o s t l yq u e s t i o n so f m p e g 2 sr e a l t i m e h a n d l i n g ，m p e g 2 sv i d e oc o d i n ga n dd e c o d i n gs y s t e mb a s e do nm a p - c ah a v e b e e n i m p l e m e n t e d m p e g 2 sk e ya l g o r i t h m sh a v eb e e ni m p r o v e d n e wm e t h o d sh a v eb e e n p r e s e n t e d f o re x a m p l e ：q u a n t i z a t i o na n di n v e r s eq u a n t i z a t i o n ，d c ta n di d c t ，m o t i o n c o m p e n s a t i o n t h ew a i t i n gt i m ew i l lb er e d u c e di f t h ed a t ai st r a n s f e r r e db yd a t a s t r e a m e rd m a c o n t r o l l e r t h es y s t e mt e s ti n d i c a t et h ep e r f o r m a n c eo fm p e g 2 sc o d i n ga n dd e c o d i n gs y s t e m h a db e e ni m p r o v e4 8 4 a f t e rb e i n go p t i m i z e d t h ea b i l i t yo fv i d e oh a n d l i n gh a db e e n i m p r o v e d k e y w o r d s ：v i d e os t r e a m ，m p e g 2 ，m a p - c ad s p 第1 i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他入已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目： 塑基速公里壬垒鲍塞塑塑位丝 学位论文作者签名：么障 日期年月 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：塑题速丛垄壬鱼鲍塞况塑佐丝 学位论文作者签名：锋盘龚一 日期： 年月 日 作者指导教师签名：窆釜她日期：年月 日 国防科学技术大学研究生院学位论文 第一章：绪论 1 1 课题的研究背景及国内外的发展现状 自9 0 年代以来，随着计算机技术、图形处理技术和通信技术的发展，多媒体得到 了迅速的发展，前景十分诱人，因此，国际上许多大的计算机公司纷纷投入大量的资 金和人力，开发自己的多媒体产品。近几年来，国内也对多媒体技术展开了研究，许 多专家预言：多媒体将成为二十一世纪计算机工业中四个重点工程之一。 视频流处理技术作为多媒体技术学科领域中的一个重要组成部分，在多媒体应用中 占据着熏要地位。目前，这一技术已经得到广泛的应用，会议电视、v c d 、数字电视、 高清晰电视，以及d v d 、视频点播等数字视频产品，已经走入我们的生活。随着这些数 字电视系统的日益成熟和不断发展，针对不同领域，一系列相应的数字视频标准也迅 速地被制定并不断得到完善，其中包括：用于会议电视及可视电话的h 2 6 1 ，用于静止 图像的压缩的j p e g ，用于v c d 的卿e g l 和用于广播电视、d v d 、以及h d t v 的m p e g 一2 。 m p e g 一2 标准发展较晚，但却具有以下几个突出特点：所支持的图像分辨率最高，支持 包括符合i t u r r e c 6 0 1 ( c c i r 6 0 1 ) 格式的标准分辨率的数字电视和更高分辨率的高清 晰数字电视，以及高速体育运动在内的活动图像；所支持的应用最为广泛，包括存储 媒体中的d v d ，广播电视中的数字电视广播和h d t v ，还应用于交互式的视频点播( v o d ) 。 虽然视频流技术已经吸引了各界人士的关注，但了解视频流处理技术的人都知道， 运动图像的数据量是十分惊人的，处理视频流的计算机不仅需要大量的存储空间，实 时处理这些视频流的过程中，从外存储器将这些数据传送到处理器时也需要消耗大量 的带宽。目前，由于计算机人士的大量努力，多种有效的压缩解压缩算法得以实现， 成功的解决了海量数据的压缩效率。但压缩解压缩处理的高效性，是以牺牲系统性能， 加大系统开支，增加处理单元的计算量为代价的。因此，提高压缩解压缩的效率和节 约系统开支，始终存在矛盾，这一矛盾，一直是困扰着视频流处理的计算机开发人员 的难题，因此，寻找一种有效的处理视频流的方法，提高系统处理视频流的处理能力， 具有十分重要的意义。 1 2 课题研究的目标 以往的视频处理芯片多是单一处理单元的处理器，因此其运算能力有限，而且指令 是以串行的方式来完成的。另外由于数据在传输的过程中，处理单元只能等待，这样， 在处理视频的过程中，将有大量的时间浪费在等待数据的传输上，这更加限制了处理 能力。另外，视频流的数据在很多情况下都是重复的和可预知的，然而以往的处理芯 片并不能对这样的数据作优化处理。因此，在以往的处理芯片处理视频流的时候，性 能将得到很大的限制。 m a p c ad s p 是一种为处理视频音频信号而设计的高性能数字信号处理器，它采用了 第1 页 国防科学技术大学研究生院学位论文 超长指令字( v l i w ) 的体系结构，增加了d a t a s t r e a md m a ，可变长编码解码协处理器 等功能部件，加强了m a p c ad s p 处理视频、音频的压缩解压缩能力，为视频流实现实 时处理提供了有力硬件基础。 m p e g 2 标准中对视频流的压缩，除应用了可变长解码v l d ( v a r i a b l el e n g t h d e c o d i n g ) 、反量化( i n v e r s eq u a n t i l i z e r ) 、反离散余弦变换i d c t ( i n v e r s ed i s c r e t e c o s i n et r a n s f o r m ) 、运动补偿( m o t o nc o m p e n s a t i o n ) 等解压缩算法外，还使用了 量化( q u a n t i l i z e r ) 、离散余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 、运动估计 ( m o t i o ne s t i m a t i o n ) 等压缩算法，这些解码算法主要是用来完成图像的解压缩，恢 复图像，用作编码过程中所需的参考图像。 在各种算法中，由于m a p c ad s p 对可变长编码解码算法v l x 进行了优化，降低了 实现这一平台的难度。量化与反量化的计算量较小，在整个压缩解压缩算法中所占的 比重不大，所以我们把目光可以聚焦在d c t 、i d c t 、运动估计，以及运动补偿等算法上。 本课题的目标是在l i n u x 环境下，按照m p e g 2 标准，实现视频流在m a p 。c ad s p ( 数字信号处理器) 平台上的实时处理。 1 3 课题取得的成果 在课题的研制过程中，主要取得了以下成果： 仔细研究和分析m a p c ad s p 平台的特点、性能以及数据传输的机制，了解其对视 频流处理所作的优化。 深入了解m p e g 2 标准压缩解压缩算法的原理及实现机制，分析在m a p c ad s p 上实 现视频流实时压缩解压缩的可行性。 完成视频流编码器和解码器中所使用的各种算法的实现，并对之加以优化，提高其 处理视频流的性能。 对实现的视频流平台进行测试，并对其性能加以分析。 1 4 论文的组织结构 根据上述内容，论文组织如下： 第一章简要阐述m p e g 2 标准视频流处理的发展，国际国内在该领域内的研究现状， 以及本课题提出的意义。 第二章介绍了课题研究的相关技术，简要阐述了m a p c a d s p 的体系结构特点和 性能，并对相关的m p e g 2 标准的视频流压缩解压缩算法和m p e g 2 标准编码视频数据 结构做了简要的描述。 第三章对课题的设计方案进行了分析，并提出设计方案。 第四章完成视频流编码器的设计和优化，对于编码器中所使用的技术在m a p - c ad s p 第2 页 国防科学技术大学研究生院学位论文 平台如何实现分别加以讨论，着重描述d c t 、i d c t 、运动估计算法和运动补偿算法的实 现和优化。 第五章完成对视频流处理平台的测试，并对其性能加以分析。 第六章对本论文的主要工作及贡献作了总结，并对下一步的工作进行了展望。 第3 页 国防科学技术大学研究生院学位论文 第二章视频流实现的相关技术 2 。1m a p c ad s p 的体系结构特点及性能 m a p - - c a 数字信号处理器的不凡性能，跟其体系结构是分不开的。其体系结构如 图2 - 1 ： 图2 一l ：m a p c a 处理器的体系结构 相对于通用数字信号处理器而吉，m a p - - c a 主要在三方面做了改进 2 1 1 姒p c a 处理器核心 m a p - - c a 使用了超长指令字处理器。它是通过将多个指令打包成一个指令字，把 这个指令字作为个执行单元来执行，从而实现指令的并行操作，提高性能。 m a p c a d s p 有两组处理单元，每组处理单元包含一个i a l u ，一个i g a l u ， 构成m a p c ad s p 的核心动力。i a l u 可进行3 2 位或6 4 位的存取操作、分支操作， 用于内存的访问，数据流控制，以及地址运算。i g a l u 由一个6 4 位加法器和移位器 组成，用于进行8 位、1 6 位、3 2 位或6 4 位的单指令多数据流操作，例如：分离操作、 1 6 位内积避算、对加对减指令等。 d、 m a p - c ad ! 盼意3 2 个“位寄存器，每个6 4 位寄存器，可看成2 个3 2 位寄存器， 这样的寄存禧缡梅f 掰娜t 和i d c t 算法的运算十分有效，m a p c a d s p 可以将4 个 1 6 位的数据打售姨二：锋瓣：谯的数据包，放入6 4 位寄存器。两组执行单元并行执行， 使得8 点的d c t 凌獭c 薯薰法譬的内积运算能够在一条指令中完成。 。 j 。o + j 、：4 臻 黑一 竺m 一 国防科学技术大学研究生院学位论文 2 1 2d a t a s t r e a m e rd m a 控制器 在许多信号和图像算法中，很多数据的访问模式都是重复处理或是可预知的，为此 m a p - - c a 设计了d a t a s t r e a m e rd m a 控制器，它具有两个优点，首先，它采用d m a 机制，在处理器处理数据的同时，可以传输数据，提高了并行性，其次，一个6 4 通道 的d m a 控制器具有8 k 的片上缓存，所有的6 4 个通道可以同时传输数据，d a t a s t r e a m e r d m a 控制器用优先级调度机制进行调度，获取需要的数据。 图2 - 2 是数据在d a t a s t r e a m e r 中的传输的示意图，数据在出源通道、目标通道和b u f f e r 建立的路径中，根据c a c h e 一致性原则进行传输。 图2 2 ：数据在d a t a s t r e a m e r 中传输的示意图 2 1 3 变长编码解码协处理器( v l x ) v l x 是一个1 6 位的r i s c 微处理器，主要用于变长编码和解码。编码算法中连续 的数据和相关性很强的数据在v l i w 中并不能取得较高的效率，v l x 却能在v l i w 运 行的同时更有效地处理这些数据，从而提高了数据处理的并行性。 2 。2 视频流压缩解压缩编码技术 m p e g 标准是国际标准化组织运动图像专家组制定的一系列利用数字压缩手段进 行运动图像压缩的国际标准。 m p e g 标准中的数字压缩的基本步骤为：将模拟视频转换为数字视频后按时序分 组，接着每个图像组( g o p ：g r o u po f p i c t u r e s ) 选定一个基准图像利用运动估计减少图 像间的时间冗余，最后将基准图像和运动估计误差进行离散余弦变换( d c t ：d i s c r e t e c o s i nt r a n s f o r m ) 、系数量化和可变长编码( v l c ：v a r i a b l el e n g t hc o d i n g ) 以消除空间 冗余。 第5 页 i 一 国防科学技术大学研究生院学位论文 2 2 1m p e g 视频压缩算法的基本原理 一般说来，在帧内以及帧与帧之间，众多的视频序列均包含很大的统计冗余度和主 观冗余度。视频源码压缩的最终目标是：通过挖掘统计冗余度和主观冗余度，来降低 存储和传送视频信息所需的比特率，并采用熵编码技术，以便编制出“最小信息组”。一 个实用的编码方案，是在编码特性( 具有足够质量的高压缩) 与实施复杂性之间的一种折 衷。对于m p e g 压缩算法的开发来讲，应考虑这些标准的寿命周期和现代超大规模集 成电路技术的能力，这一点是最重要的。根据应用的要求，视频压缩存在着的“无损失” 编码和“有损失”编码两种。“无损失”编码的目的在于：在保持原图像质量( 即解码后的 图像质量等同于编码前的图像质量) 情况下，来减少需要存储和传送的图像或视频数据。 与此相反，“有损失”编码的目的在于：在指定的目标比特串条件下，获取最佳的图像标 准。在“有损失”压缩编码的应用中，高的视频压缩是以降低视频质量的办法来实施 的，即与编码以前的原始图像相比，解码后的图像“客观”质量有所降低；频道的目标比 特率越低，那么视频所必须进行的压缩率就越大，通常可察觉的编码人工产物也越多。 这里应该指出，图像的降级程度( 指客观降低以及可察觉到的人工产物的数量) 取决于压 缩技术的复杂性对于结构简单的画面和视频活动少的图像来讲，就是采用简单的 压缩技术，也许能获得根本不带可察觉人工产物的良好再现图像。 2 2 2m p e g 视频编码器源模式 m p e g 数字视频编码技术实质上是一种统计方法。在时间和空间方向上，视频列通 常包含统计冗余度。m p e g 压缩技术所依赖的基本统计特性为像素之间( i n t e r p e l ) 的相关 性。在某些场合，如一个视频序列镜头变化时，附近帧中像素之间的时间相关性就很 小，甚至消失，这时，该视频镜头就成为一组无相关性的静止画面的组合。在这种情 况下，可采用帧内编码技术来开发空间相关性，从而实现有效的数据压缩。m p e g 压 缩算法采用离散余弦变换( d c t ) 编码技术，以8 8 像素的画面块为单位，有效地开发同 一画面各附近像素之间的空间相关性。然而，若附近帧中各像素间具有较大的相关性 时，也就是说两个连续帧的内容很相似或相同时，就可以采用应用时间预测( 帧间的运 动补偿预测) 的帧间d p c m 编码技术。在多种m p e g 视频编码方案中，若将时间运动补 偿预测和剩余空间信息的变换码自适应地结合起来，就能实现数据的高压缩率( 视频的 d p c m ，d c t 混合编码) 。 二次取样和内插法 在视频编码之前，需大量进行二次取样和量化工序。二次取样的基本概念是尽量减 少输入视频的维数( 水平维数和垂直维数) ，并在进行编码处理之前先对像素进行编号。 值得注意的是：有些应用场合，在时间方向上也对视频进行二次取样，以便在编码之 前降低帧频。在接收机端，已解码图像是通过内插法来加以显示的。这一方法可以认 为是一种最简单的压缩技术，这种压缩技术利用了人眼特有的生理特点，去除了视频 第6 页 国防科学技术大学研究生院学位论文 为是一种最简单的压缩技术，这种压缩技术利用了人眼特有的生理特点，去除了视频 数据中含有的主观冗余度一即与色度信号的变化相比，人眼对亮度信号的变化更灵敏。 故众多m p e g 编码方案首先将画面分成y u v 分量信号( 一个亮度分量和二个色度分量) 接着，相对于亮度分量，对色度分量进行二次取样，对于一些特殊应用，有一个y ：u ： v 比率( 即对于m p e g - 一2 标准，采用4 ：i ：l 或4 ：2 ：2 ) 。 运动补偿预测 运动补偿预测是一个有效的编码技术，用来减小帧间的时间冗余度。并作为用于时 问d p c m 编码的预测技术，这技术在m p e g l 和m p e g 2 视频编码标准中得到广泛应 用。运动补偿概念是以对视频帧间运动的估算为基础的，也就是说，若视频镜头中所 有物体均在空间上有一位移，那么可用有限的运动参数( 如对于像素的平移运动，可 用运动矢量来描述) 来对帧间的运动加以描述，这样，一个来自前编码帧的运动补偿 预测像素，就能给出一个有效像素的最佳预测。通常，预测误差和运动矢量均传送至 接收机。然而，对每一个编码画面像素的运动信息进行编码，这既不值得也没有这个 必要。由于一些运动矢量之间的空间相关性通常较高，有时可以这样认为：一个运动 矢量代表一个相邻像素块的运动。为了做到这一点，画面一般划分成一些不连接的像 素块( 在m p e g l 和m f e g 2 标准中个像素块为1 6 x 1 6 像素) ，对于每一个这样的像素 块，只对一个运动矢量进行估算、编码和传送。在m p e g 压缩算法中，运动补偿预测 技术用来减少帧间的时间冗余度，只对预测误差画面( 原始画面与运动补偿预测画面 之间的差别) 加以编码。总的来说，由于采用依据前编码帧的预测，与帧内相关性比 较，待编码的运动补偿帧间误差图像中像素之间的相关性较小了。 变换和编码 二十年来，人们已对变换编码进行了大量的研究，它已成为用于静止画面编码和 视频编码的一种非常流行的压缩方法。变换编码的目的在于去掉帧内或帧间误差图像 内容的相关性，对变换系数进行编码，不是对画面的原始像素进行编码。为此，输入 画面被分成不连接的b 像素的画面块( 1 i pn x n 像素) 。以一个线性、可分离单元的前向 变换为基础，此变换可表示为一个矩阵操作，采用一个n x n 变换矩阵a ，获取n x n 变换系数c 。c - - - - - a b a t 这罩a t 表示变换矩阵a 的一种移项式。注意：这种变换是可 逆的，原因是，采用线性和可分离的反向变换，可以再现原始的n x n 个b 像素的画面 块b = a t c 。应用于较小的由8 x 8 像素组成的画面块的离散余弦变换( d c t ) 已成为一种最 佳的变换，用于静止画面和视频编码。事实上，由于基于d c t 的方法具有较高的抗相 关性能，并能获得快速d c t 算法，适用于实时应用，已在大多数画面和视频编码标准 中加以使用。变换编码的主要目的是使尽量多的变换系数足够的小，使它无效( 从统 计和主观测量角度来看) 。同时，应尽量减小系数之间的统计相关性，目的在于减少对 剩余系数进行编码所需的比特数量。然而，那些最高有效位d c t 系数集中在左上角( 低 第7 页 国防科学技术大学研究生院学位论文 d c t 系数) ，画面随着距离的增加，系数的有效性就逐步下降。这意味着：与较低位的 系数相比，较高位的d c t 系数在画面像素块再现时的重要性就差一些。采用运动补偿 预测，d c t 变换的结果是，使d c t 定义域中的时间d p c m 信号实现简单的再现一 这实质上继承了这种相似的统计相关性。在d c t 系数中，低位的d c t 系数与较低的 空间频率有关而高位的d c t 系数与较高的频率有关。这一特性在m p e g 编码方案中加 以应用，以便去除画面数据中所包含的主观冗余度，这是以人类视觉系统标准为基础 的。由于跟较高空间频率有关的再现误差比较，观众对较低空间频率的再现误差更加 敏感，故在给定比特率情况后，为了要改进解码画面的视觉质量，往往根据视觉( 感 觉量化) 对系数进行频率自适应加权( 量化) 。上述两种技术( 时间运动补偿预测和变 换域编码) 的结合，被认为是m p e g 编码标准的关键点。m p e g 算法的第三个特点是 这两种技术的处理是在较小画面块( 典型情况是：在1 6 x 1 6 像素上进行运动补偿，在 8 x 8 像素上进行d c t 编码) 上实现的。因此，m p e g 编码算法通常又称为基于画面块 的d p c m d c t 混合算法。 2 2 2m p e g 2 标准的分层和分类 m p e g 标准主要有m p e g 1 和m p e g 2 。其中，m p e g - 2 标准可定义高达4 0 0 g b ，s 的比特率和1 6 0 0 0 x 1 6 0 0 0 像素的图像。标准结合实际情况制定了一个涵盖大部分应用 的型级体系( 表2 1 ) 。每个型( p r o f i l e ) 都是m p e g 语法的一个完整的子集合，型 中选定不同的参数形成不同的级( 1 e v e l ) 。m p e g 2 标准共分5 型：简单型( s p ：s i m p l e p r o f i l e ) ，只有基准帧i 和预测帧p ；主型( m p ：m a i np r o f i l e ) ，比s p 增加了双向推测 帧b ：信噪比分层型( s n r p ：s n rs c a l a b l e p r o f i l e ) ；空间可分层型( s s p ：s p a t i a ls e a l a b l e p r o f i l e ) 高型( h p ：h i g hp r o f i l e ) 。 m p e g 2 标准共分4 级：低级( l l ：l o wl e v e l ) ，输入信号的像素为i n j - r6 0 1 格 式的四分之一；主级( m l ：m a i nl e v e l ) ，输入信号的像素为i t u r6 0 1 格式：高级- 1 4 4 0 ( h 1 4 l ：h i g h 一1 4 4 0l e v e l ) 为4 ：3 模式电视高清晰度格式：高级( h l ：h i g h l e v e l ) 为1 6 ：9 模式电视的高清晰度格式。 表1 中每一型级的第l 行其使用的抽样格式，第2 行为画面的横向像素数x 纵向 像素数，第3 行为编码后的比特率，第4 行为其g o p 的构成。 m p e g - 2 标准具有兼容性，表1 中的1 1 种型级的解码器必须能解码任何一种位 于其左下的型级的编码。 m p e g 2 标准允许分层解码，低比特率解码器可以解码全比特流编码的一部分，从 而获得质量相对较低的画面。标准允许从信噪比和空间分解力两方面进行分层：信噪 比分层型( s n r p ) 允许低比特率解码器解码出一个比全比特率解码的画面信噪比低的 画面：空间分层型( s s p ) 允许低比特率解码器解码出一个比全比特率解码的画面分解 力低的画面。 第8 页 国防科学技术大学研究生院学位论文 表1 m p e g 2 标准的型与级 级型 简单型 主型s n r 型、高型空间型 4 ：2 ：04 ：2 ：0 1 9 2 0 x 1 1 5 21 9 2 0 x l l 5 2 高级 8 0 m b p s 8 0 m b p s i p bi p _ b 4 ：2 ：04 ：2 ：0 4 ：2 ：0 1 4 4 0 x l l5 21 4 4 0 x 1 1 5 21 4 4 0 x l l 5 2 高级1 4 4 0 6 0 m b p s6 0 m b p s6 0 m b p s i p t bi p bi p b 主级 4 ：2 ：04 ：2 ：04 ：2 ：04 ：2 ：0 7 2 0 x 5 7 6 7 2 0 x 5 7 67 2 0 x 5 7 67 2 0 x 5 7 6 1 5 m b p s1 5 m b p s1 5 m b p s1 5 m b p s i p bi p bi p b i p _ b 低级 4 ：2 ：04 ：2 ：0 3 5 2 x 2 8 83 5 2 x 2 8 8 4 m b p s4 m b p s i p bi p b 2 3m p e g 2 标准的图像格式 在m p e g 2 标准中，根据压缩的需要，定义了三种图像类型 1 帧内图像( i 图像) ：只能利用自身相关性进行中等程度的压缩，采用基于d c t 变 换的静态图像压缩技术。 2 前向预测图像( p 图像) ：用最近的前一个i 图像或p 图像进行预测得到，并可作 为下一预测( b 图像或p 图像) 的参照图像。p 图像的压缩比可以比i 图像的压缩比大。 p 图像的误差可能会传递。 3 双向预测图像( b 图像) ：b 图像既可以用前面的图像预测，也可以用后面的图像 预测，还可使用前后两个图像预测( 双向预测) 。对b 图像可以采用四种技术( 帧内编 码，前向预测，后向预测，双向预测) ，能获得较大的压缩比，也不会传递误差。 图2 3 、给出了帧间预测示意图。 第9 页 国防科学技术大学研究生院学位论文 双向预测 图2 - 3 帧间预测 2 4m p e g 2 编码视频数据结构 编码视频数据由排列有序的视频码流集组成，称为层。视频码流层可分为基层和增 强层。基层总是单独解码，增强层仅与基层一起解码，解码总是从基层开始的。 2 4 1 视频序列 编码视频序列的最高语法结构是视频序列。 视频序列使用序列头开始，序列头后可跟一组图像头，然后是一个或多个编码帧。 对于隔行序列，解码过程的输出由一系列重建场组成。一帧的两场可被单独编码( 场 图像) ，也可组合在一起成帧进行编码( 帧图像) 。 逐行序列中，每组图像应为帧图像。 帧：帧由三个整数矩阵阵列组成：一个亮度信号( y ) 和两个色度信号阵列( c 。和 c ，) 。不同的视频流数据采用格式不同，这三种信号的数据量不同。我们通常使用的采 样格式是：4 ：2 ：0 。 场：在场图像的帧格式中，一帧由两场组成：顶场和底场。顶场由每个矩阵的每个 最顶行组成，底场则由其他行组成。 图像：重建图像由解码一幅编码图像获得，编码图像包括图像头、可选扩充项和图 像数据，这三部分组成图像的数据结构。编码图像可以是帧图像或场图像。重建图像 为一重建帧( 解码一帧图像时) ，或重建帧的一场( 解码场图像时) 。 场图像：场图像是成对出现的。 当编码帧的第一幅图像为p 场图像时，则编码帧的第二幅图像也为p 场图像。同样， 当编码帧的第一幅图像为b 场图像时，则编码帧的第二幅图像也为b 场图像。 当编码帧的第一幅图像为i 场图像时，则编码帧的第二幅图像为i 场图像或p 场图 第1 0 页 国防科学技术大学研究生院学位论文 像。 帧图像：当编码隔行序列使用帧图像时，帧的两场应相互交织，整个帧作为单一帧 图像进行编码。 图像类型：帧内编码p 图像是一种由过去的i 图像或p 图像进行运动补偿预测的编 码图像。 双向预测编码b 图像是一种由过去的i 图像或p 图像进行运动补偿预测的编码图像。 序列头：序列头是由序列头标志丌始的。后面跟的是一系列数据元素。序列头数据 元素允许重复，以确保对视频序列的随机访问。 在编码流中，重复序列头可放在i 图像或p 图像中。 i 图像和图像组头：1 图像的目的用于随机访问序列。也可用于场景切换或其他补 偿无效的情况 图像组头是一种可选的头，用于提示是否能正确重建b 图像。如果前面的参考帧无 效，则无法重建b 图像，除非只使用后向预测。 2 4 2 片结构 片是由一系列的宏块组成。片的第一个宏块和最后一个宏块不能为跳跃宏块，每片 至少一个宏块。片不能重叠，片的位置可随图像而变化。片的第一个宏块和最后一个 宏块应具有相同的水平行。片出现在码流中的顺序为：从图像的最上角开始，从左到 右，从上到下，直到图像的右下角。 片包含两种结构：通用片结构和特殊片结构。 2 4 3 宏块 一个宏块包括亮度分量和相应的色度分量。宏块可以是源和解码数据，也可以是相 应的编码数据元素。宏块有三种采样格式：4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 ，对于每一种不同 的采样格式，宏块中块的顺序不同，描述如下： 一个4 ：2 ：0 格式宏块由6 个块组成，4 个y 块( 亮度块) ，1c 。块和1 个c ，块( 色 度块) 。结构如图2 - 5 。 y 块 囹圈 c 。块 c r 块 田 y 块 圈罔 c l 块c r 块 图2 - 5 4 ：2 ：0 格式宏块图2 - 6 4 ：2 ：2 格式宏块 一个4 ：2 ：2 格式宏块由8 个块组成，4 个y 块( 亮度块) ，2c 。块和2 个c ，块( 色 第1 1 页 国防科学技术大学研究生院学位论文 度块) 。结构如图2 - 6 。 一个4 ：4 ：4 格式宏块由1 2 个块组成，4 个y 块( 亮度块) ，4c 。块和4 个c ，块( 色 度块) 。结构如图2 7 。 田圜圈 y 块 c b 块 c r 块 图2 7 4 ：4 ：4 格式宏块 在m p e g 2 压缩解压缩标准中，采样格式都使用4 ：2 ：0 。 2 5 小结 m a p c ad s p 是一种高性能数字信号处理器，它使用的是超长指令字技术。本章就其 结构特点和对视频流处理所做的优化加以描述，主要介绍了处理器核心，d a t a s t r e a m e r d m a 控制器和v l x 的特点。然后对视频压缩的基本原理和压缩算法做了阐述。接着，对 m p e g 2 标准中所定义的数据格式和数据结构做了简要的描述。 第1 2 页 国防科学技术大学研究生院学位论文 第三章视频流处理平台方案的分析和设计 3 _ 1 课题方案的分析 m p e g 委员会自成立以来，对运动图像的压缩解压缩的多种不同方案做了测试和评 估，制订了m p e g 2 运动图像压缩标准。m p e g 2 标准既考虑了算法的压缩能力，又考虑了 硬件实现的简单，既考虑了质量要求，又兼顾实现价格合理，从而成为运动图像压缩 解压缩标准中最佳方案。因此，本系统采用此标准作为平台实现的软件解决方案。 m a p - c ad s p 是一种基于v l i w 技术的数字信号处理器，它为处理数字电视、视频处 理系统、医药影像设备、数字视频编辑设备、和办公自动化产品提供了单片机方案。 m a p c ad s p 工具包提供了一个并行c 编译器、链接器、源级调试器、模拟器和以及资 源库，给用户开发提供了良好的开发环境。 鉴于m a p c ad s p 出众的优点，在此平台上实现m p e g 2 压缩解压缩标准，将更快捷 有效。 3 2 课题方案设计 m p e g 2 标准的压缩和解压缩是非对称结构，解码过程比编码过程简单。在m a p c ad s p 可实现这两个过程。图3 - 1 给出m a p - c ad s p 平台上实现m p e g 2 压缩解压缩算法的框图。 编码输出 图3 - 1 视频流处理平台软件实现框图 m p e 6 2 标准压缩解压缩算法是基于8 8 图像块进行的。源图像块进入编码器后，首 先是进行d c t 变换，然后进行量化、可变长编码和运动估计算法的运算进行压缩。在 第1 3 页 国防科学技术大学研究生院学位论文 实现运动估计算法时，需要最新的参考图像，因此，编码的过程中，需要解码已编码 图像，形成图像参考，因此编码图像数据需进行反量化、i d c t 变换、运动矢量补偿等 解码运算进行解码，解码后的图像作为参考图像。压缩后的图像根据需要或者存入存 储系统，或者进入解码器。编码图像数据进入解码器后，进行反量化、i d c t 变换、运 动矢量补偿等解码运算进行解码。解码后的图像输出到视频输出设备，实现视频的播 放。 3 3 小结 本章主要对m p e g 2 压缩解压缩标准的特点和m a p - c ad s p 的性能做了简要的描述， 就其实现视频流编码器解码器的可行性加以分析，并提出在此平台上实现编码器和解 码器的设计方案。 第1 4 页 国防科学技术大学研究生院学位论文 第四章m p e g 2 编码器在m a p c ad s p 中的优化实现 4 1m p e g 2 编码器实现流程及m a p c ad s p 优化技术 m p e g 2 编码器需要重建参考图像，这就需要对编码图像进行解码，所以在编码器中 使用了解码器的各种算法。本章将对视频编码器中各种算法加以描述。 4 1 1m p e g 2 编码器在m a p - c ad s p 的实现流程 在m a p c ad s p 平台上m p e g 2 解码器的实现框图如图4 - 1 。 视频出入 出 图4 1 m p e g 2 解码器的实现框图 视频流数据传送到v l i w 核心处理器，核心处理器完成编码图像的量化、d c t 变换、 运动估计和可变长编码等操作完成视频流的编码操作，量化后的数据通过反量化、i d c t 变换，解码已编码的视频流，从而恢复图像，形成编码器编码过程中运动估计和运动 补偿所需的参考图像。 数据的传输主要通过d a t a s t r e a m e rd m a 控制器来完成，使得v l i w 核心处理器不需 等待数据传输。 4 1 2v l x 完成变长编码解码 可变长度编码 v l c ( 变长编码，即信息熵编码) 主要是由v l x 协处理器来完成，来自v l i w 核心处理 器的d c t 系数的传输通过d a t a s t r e a m e rd m a 控制器来完成。其数据传输示意图如图4 - 2 所示： 第1 5 页 图4 2 v l x 在编码器中实现v l c 的数据传输示意图 d a t a s t r e a m e rd m a 控制器将量化后的数据和头信息传送给v l x ，接着，v l x 通过g e t 位机制输出数据，v l x 提供一个仲裁数到g e t 位s 机制中，传送数据给d s 缓冲区。 v l x 需要如下几步来完成，首先，v l x 处理图像头信息，v l i w 核心处理器将图像头 参数写入v l x 存储器中，v l i w 核心处理器发送条命令，将图像头信息写入缓冲区。 接着，v l x 处理g o b ( g r o u po fb l o c k s ) 头信息，v l i w 核心处理器将g o b 头参数写入 v l x 存储器中，v l i w 核心处理器发送一条命令，将g o b 头信息写入缓冲区。最后，v l x 完成d c t 系数数据的传送，并执行变长编码算法。 可变长出解码 v l d ( 变长解码，即信息熵解码) 也是由v l x 协处理器来完成，数据传输传输如图4 3 所示： 图4 3 v l x 在解码器中实现v l d 的数据传输传输示意图 输入比特流通过d a t a s t r e a m e r 控制器缓冲区，进入v l x 协处理器。输入比特流放 在存储区，起始地址是比特流在存储区的起始位置，传输的尺寸是比特流的尺寸。 d a t a s t r e a m e r 控制器可以循环进行此操作，从而可以重复多次传输比特流。 第1 6 页 国防科学技术大学研究生院学位论文 v l x 通过g e t 位s 机制从d a t a s t r e a m e r 控制器获得数据，并要求g e t 位s 机制提供 一个仲裁号( 最大1