（通信与信息系统专业论文）mpeg2mpeg4视频流转码及编码器优化.pdf

摘要 摘要 f 由于视频图像的数据量非常大，数字视频传输所需的高传输速率和数字视频 存储所需的巨大容量都成为推广应用数字视频通信的最大障碍，这也促使视频压 缩编码的应用日益广泛。基于不同的应用时期和不同的压缩编码技术，由一些国 际组织建立了一系列的国际视频压缩编码标准。 在各个具体应用环境中，视频数据的压缩、存档、传输采用了不同的格式和 标准。在数字视频信号被不同的标准和格式压缩编码后，在许多对用户透明使用 的情况下，需要对这些压缩视频流进行转码处理。脏缩视频流转码，就是将一种 标准和格式的压缩视频流处理成更适应于某特定应用的另一种标准和格式的压 缩视频流。主要可以分为两大类：一类是把编码数据流从适合某一传输环境的压 缩形式转换成适合于另一传输环境的压缩形式，称为同类视频转码；另一类是把 压缩数据流从某一种标准转换成另一种标准，称为不同种类视频转码。 针对第一类转码，本文第二章主要研究同一种编码标准下的压缩数据流格式 转码，包括任意尺寸转码、帧率或场率转码，以及隔行扫描逐行扫描变换。提 出了变换比例为任意有理数l m 时的空域任意尺寸转码，以及针对任意尺寸转码 器的运动矢量重用算法。运动矢量重用算法节省了大量的运算量，而视频质量与 进行重新完全运动估值的转码器视频质量相差较小，因而是转码器中经常采用的 方法。另外，压缩域转码，比空域转码节省了d c t i d c t 变换对，可以降低运算 复杂性，因此文中又论述了压缩域转码处理方法，包括d c t 域图像下采样( 主 要针对变换比例较简单的情况) 、d c t 域反运动补偿和d c t 域运动补偿算法1 针对第二类转码，本文第三章主要研究m p e g - 2 到i v i p e g 一4 压缩视频流转 码。f 由于m p e o 一4 具有多种优越性能，将会很快在视频传输、存储和剪辑等许多 领域中得到广泛应用，而目前许多视频流都是按照m p e g 一2 标准压缩编码的。因 而研究开发高效m p e g - 2 到m p e g - 4 压缩视频流转码器十分必要。文中首先分析转 码器设计中的一些关键问题，比较两种标准之间的异同点，由此推出五种空域和 压缩域转码器的结构，并对五种转码器的性能进行分析比较，每种转码结构是运 算复杂性和视频质量的一种折衷算法，都各有其优缺点。文中还论述了d c t 域 重量化转码器中所需的不匹配宏块的复原算法。大量仿真结果证实，本文提出的 省略b 帧运动补偿转码器是视频质量和运算复杂度的一种较好的折衷算法。j 7 7 为了对m p e o 编码器进行性能优化，本文第四章研究d c t 和运动估值两大 编码器运算瓶颈的快速算法，并用m m 矿和s s e 技术进一步加速d c t 运算和运动 估值所需的大量s a d 运算。( 本章提出的快速d c t 算法不仅减少了所需乘法的次 数，而且变换后的后置乘法和矩阵转置过程可与量化和扫描相结合，进一步加速 些竺鲨篁丝墼二= 一 整个m p e g 编码过程。另外，用删x “和s s e 技术实现快速d c t 变换，以及快速查 找表的量化算法也进一步加速了编码过程。对运动估值而言，本文采用了一种时 空相关性快速运动估值算法，该算法由于利用了视频序列中的时空相关性，使运 动估值过程大大加快，而且利用搜索范围和循环次数的自适应调整方法，可以更 有效地搜索运动矢量。凡 关键词：视频信号处理，转码，压缩编码，运动补偿，运动估值，m p e g ，d c t 。 a b s 】r a c t a b s t r a c t d u et ot h eh u g ev o l u m eo fd i g i t a lv i d e od a t a ，t h et r a n s m i s s i o na n ds t o r eo f t h e d i g i t a lv i d e or e q u i r ev e r yh i 曲t r a n s m i s s i o nb a n d w i d t ha n dv e r yh u g ec a p a c i t y t h e s e h i g hr e q u i r e m e n t sh a v eb e c o m et h eb i g g e s to b s t a c l e st op o p u l a r i z ed i g i t a l v i d e o c o f f m a t m i c a t i o n a p p l i c a t i o n s a t t h es a m et i m e ，t h e s eo b s t a c l e sp r o m o t et h e a p p l i c a t i o no ft h ev i d e oc o m p r e s s i o nc o d i n g b a s e do nd i f f e r e n ta p p l i c a t i o n sa n d d i f f e r e n tc o m p r e s s i o nt o o l s ，m a n yi n t e m a t i o n a lv i d e oc o m p r e s s i o ns t a n d a r d sh a v e b e e ne s t a b l i s h e db yt h ei n t e r n a t i o n a lo r g a n i z a t i o n s f o rd i f f e r e n ta p p l i c a t i o n s ，t h ec o m p r e s s i o n ，s t o r ea n dt r a n s m i s s i o no fv i d e od a t a u s ed i f f e r e n tf o r m a t sa n ds t a n d a r d s a f t e rt h ed i g i t a lv i d e os i g n a l sa r ec o m p r e s s e db y d i f f e r e n tf o r m a t sa n ds t a n d a r d s ，t h e s ec o m p r e s s e dv i d e os t r e a m sn e e dt ob e t r a n s c o d e di nm a n yc a s e s t h et r a n s c o d i n go fc o m p r e s s e dv i d e os t r e a mi st ot r a n s c o d e a c o m p r e s s e dv i d e os t r e a l - n f r o mo n ef o r m a to rs t a n d a r dt oa n o t h e r a n dt h e t r a n s c o d i n gt e c h n o l o g yc a nb ed i v i d e di n t ot w ot y p e s ：o n ei st ot r a n s c o d et h ev i d e o s t r e a mf r o mo n ef o r m a tt oa n o t h e r ，w h i c hi sc a l l e dh o m o g e n e o u st r a n s c o d i n g ；t h e o t h e rt y p ei sh e t e r o g e n e o u st r a n s c o d i n g ，t h a ti st ot r a n s c o d et h ec o m p r e s s e dv i d e o s t r e a mf r o mo n ec o m p r e s s i o ns t a n d a r dt oa n o t h e r a i ma tt h eh o m o g e n e o u st r a n s c o d i n g ，t h es e c o n dc h a p t e rc o n c e n t r a t e so nt h e f o r m a tt r a n s c o d i n go fc o m p r e s s e dv i d e os t r e a mc o m p l i a n tt ot h es a m ec o m p r e s s i o n s t a n d a r d t h ef o r m a tt r a n s c o d i n gi n c l u d e st h ef r a m es i z ec o n v e r s i o n ，f r a m er a t eo r f i e l dr a t ec o n v e r s i o n ，a n di n t e r l a c e d p r o g r e s s i v ev i d e oc o n v e r s i o n i nt h i sc h a p t e r , t h e f r a m es i z et r a n c o d i n gw i t ha r b i t r a r yr a t i o n a ln u m b e rr a t i oo fl mi sp u tf o r w a r d a n d a c c o r d i n gt ot h i sa r b i t r a r ys i z ec o n v e r s i o n ，am o t i o n v e c t o rr e u s i n ga l g o r i t h mi sp u t f o l a v a r dt o o b e c a u s et h em o t i o nv e c t o rr e u s i n gm e t h o dc a nr e d u c et h ec o m p l e x i t yt o ag r e a te x t e n d ，w h i l et h ev i d e oq u a l i t yd i f f e r e n c eb e t w e e nt h i sm e t h o da n dt h en e w c o m p l e t em o t i o ne s t i m a t i o nm e t h o di ss m a l l ，t h em o t i o n v e c t o rr e u s i n ga l g o r i t h mi s w i d e l ya d o p t e db ym a n yt r a n s c o d e r s i na d d i t i o n ，c o m p r e s s e dd o m a i nt r a n s c o d e rc a n s k i pt h ed c t i d c tt r a n s f o r m a t i o np r o c e s s e s ，s oa st or e d u c et h ec o m p l e x i t yg r e a t l y s ot h ec h a p t e ri n t r o d u c e st h ec o m p r e s s e dd o m a i nt r a n s c o d i n gt e c h n o l o g i e s ，i n c l u d i n g d c t d o m a i ni m a g ed o w n c o n v e r s i o n ( i nc a s eo ft h e s i m p l ec o n v e r s i o nr a t i o ) ， d c t d o m a i nm o t i o n c o m p e n s a t i o na n di n v e r s em o t i o n c o m p e n s a t i o n f o rt h eh e t e r o g e n e o u st r a n s c o d i n g ，t h et h i r dc h a p t e rc o n c e n t r a t e so nm p e g 2t o m p e g 一4 c o m p r e s s e dv i d e os t r e a mt r a n s c o d i n g b e c a u s eo fm a n ya d v a n t a g e s ， m p e g 一4w i l lb ed o m i n a n ti nt h ev i d e ot r a n s m i s s i o n ，s t o r i n ga n d e d i t i n g w h i l em a n y m 浙江大学博士学位论文 c u r r e n tv i d e os t r e m n sa r ec o m p r e s s e db ym p e g 一2s t a n d a r d s oi t i sn e c e s s a r yt o r e s e a r c ha n dd e v e l o pt h ee f f i c i e n tm p e g 一2t om p e g - 4c o m p r e s s e dv i d e os t r e a m t r a n c o d e r t h ec h a p t e rf i r s t l ya n a l y z e ss o m ek e yi s s u e so ft r a n c o d i n gd e s i g n b a s e d o nc o m f a r i s o no ft h e s et w os t a n d a r d s ，t h ec h a p t e rp u t s f o r w a r df i v et r a n c o d i n g a r c h i t e c t u r e s c o m p a r i n gt h e s ef i v ea r c h i t e c t u r e s ，e a c h i sac o m p r o m i s eb e t w e e n c o m p l e x i t ya n dv i d e oq u a l i t y a n dt h er e t r i e v a la l g o r i t h m so f m i s m a t c h e dm a c r o b l o c k f o rd c t d o m a i nr e q u a n t i z a t i o nt r a n c o d e ra r ei n t r o d u c e di nt h ec h a p t e r m a n y s i m u l a t i o nr e s u l t st e s t i f i e dt h a tt h em o t i o n c o m p e n s a t i o no n l y f o r p p i c t u r e s t r a n s c o d i n gs o l u t i o n i sab e t t e rc o m p r o m i s eb e t w e e nt h ec o m p l e x i t ya n dv i d e o q u a l i t y i no r d e rt oo p t i m i z et h em p e ge n c o d e r ，t h ef o u r t hc h a p t e rf o c u s e so nt h ef a s t a l g o r i t h m sf o rt w ob o t t l e n e c k so fe n c o d e nd c t a n dm o t i o ne s t i m a t i o n a n dm m x t m a n ds s et e c h n o l o g i e sa r ea l s ou s e dt os p e e du pt h ed c tt r a n s f o r ma n dt h es a d o p e r a t i o nn e e d e df o rm o t i o ne s t i m a t i o n t h ef a s td c ta l g o r i t h mn o to n l yc a nr e d u c e t h em u l t i p l i c a t i o nn u m b e gb u ta l s oc a nc o m b i n et h ep o s t s c a l i n ga n dm a t r i xt r a n s p o s e n e e d e df o rf a s td c tw i t ht h eq u a n t i z a t i o na n ds c a np r o c e s s e s ，s oa st os p e e du pt h e w h o l em p e ge n c o d e r i na d d i t i o n t h et a b l e l o o k u pf a s tq u a n t i z a t i o na l g o r 瓶1 t ic a n f u n h e rs p e e du pt h ee n c o d i n gp r o c e s s f o rm o t i o ne s t i m a t i o n ，t h es p a t i a l t e m p o r a l c m t e l a t i o nb a s e df a s tm o t i o ne s t i m a t i o na l g o r i t h mi si n t r o d u c e d t h i sa l g o r i t h m m a k e su s eo ft h es p a t i a la n dt e m p o r a lc o r r e l a t i o ni nv i d e os t r e a m ，a n dc a ns p e e du p t h em o t i o ne s t i m a t i o np r o c e s sg r e a t l y w l mt h ea d a p t i v ea d j u s t m e n to ft h es e a r c h r a n g ea n dl o o pt i m e s ，t h i sa l g o r i t h mc a nf m d t h em o t i o nv e c t o rm o r ee f f e c t i v e l y k e y w o r d s ：v i d e o s i g n a lp r o c e s s i n g ，t r a n s c o d i n g ，v i d e oc o m p r e s s i o n m o t i o nc o m p e n s a t i o n ，m o t i o ne s t i m a t i o n ，m p e g ，d c t 第一章绪论 第一章绪论 数字视频比模拟视频具有多种明显的优点，然而数字视频的巨大数据量，给 信息的存储和传输造成较大的困难，成为数字视频应用的瓶颈问题之一。而数字 视频压缩编码是解决这一问题的有效途径，它的发展推动了多媒体、虚拟现实、 视频通信、v c d 、d v d 和数字电视等产业的飞速发展，具有重要的研究意义。 随着视频数据传输和存储应用的要求曰益提高，对各种不同的应用领域已经 制订了许多国际压缩编码标准。m p e g 一1 和m p e g 2 是为多媒体存储媒体( v c d 和d v d ) 和数字电视应用制订的。通信领域的应用，如视频会议和视频电话， 采用i t u t 标准h 2 6 1 、h 2 6 3 和h 2 6 3 + 。而m p e g - 4 标准提供了更高的编码效 率，并增加了诸如基于内容编码的新功能。由于针对不同应用，存在多种视频压 缩编码格式和标准，在数字视频信号经过压缩编码后，很多情况下还需要进行标 准和格式间的转换，因此压缩视频流转码的研究也是十分必要的。本文主要针对 m p e g 压缩视频标准，围绕数字视频压缩编码及转码技术的关键问题展开论述。 1 1 数字视频压缩编码 1 1 1 数字视频压缩编码的必要性 与模拟视频相比，数字视频模式具有多种明显的优点，包括存储、编辑、传 输等各个方面。因此，数字图像视频通信已经成为商务电子、广播和网络通讯 等应用的主流。 但是数字化后的信息，尤其是数字化后的视频信号的数据量之大是非常惊人 的。例如c c i r ( i n t e m a t i o n a lc o n s u l t a t i v ec o m m i t t e ef o rr a d i o ) 格式，p a l 制、 4 ：4 ：4 采样的数字图像，每帧数据量为7 2 0 5 7 6 3 = 1 ，2 4 m b ，每秒数据量( 位率) 为1 2 4 2 5 = 3 1 3 m b s ，而一片c d r o m 可存帧数为6 5 0 1 2 4 = 0 5 2 4 k ( 帧 片) ，所以一片c d r o m 可以存放的节目时间仅为6 5 0 3 1 1 = 2 0 9 秒片【i “j 。 从上例中可以看出，数字化信息的数据量何等庞大。这样庞大的数据量无疑 给存储器的存储容量、通信干线的信道传输率以及计算机的速度都增加了极大的 压力。这个问题是多媒体技术发展中的一个非常棘手的瓶颈问题。解决这一问题 的办法，单纯用扩大存储器容量、增加通信干线的传输率的办法是不现实的。数 据压缩编码是行之有效的方法，通过数据压缩手段把信息数据量压下来，以压缩 形式存储和传输，既紧缩节约了存储空间，又提高了通信干线的传输效率，同时 也使计算机实时处理音频、视频信息，以保证播放出高质量的音频、视频节目成 塑江查兰堕主堂堡丝壅= 为可能。 因此，大多数视频服务和多媒体应用都利用压缩视频数据来存储和传输。因 而视频压缩编码是适用于许多应用领域的一种开放技术，包括国际互联网上的视 频传送和视频存储等。 1 1 2 数字视频压缩编码的主要方法 数字视频数据压缩不仅是必要的而且也是可能的，原因是，视频图像有极强 的相关性，也就是说有大量的冗余信息。数据压缩就是去掉数据中的冗余信息( 去 除数据之间的相关性) ，保留相互独立的信息分量。以静图像画面为例，数字图 像的灰度信号和色差信号在空域( t y 坐标系) 虽然属于一个随机场分布，但是 它可以看成为一个平稳的马尔可夫场。也就是说，图像像素点在空域中的灰度值 和色差信号值，除了边界轮廓外，都是缓慢变化。比如一幅头肩人像图，背景、 人脸、头发等处的灰度、颜色都是平缓改变。相邻像素的灰度和色差值比较接近， 具有强的相关性，直接用采样数据( p c m 码) 表示灰度和色差，信息有较多的 冗余。但是如何先排除冗余信息，再进行编码，使表示每像素的平均比特数下降， 这就是通常所说的视频图像的帧内编码，以减少空域冗余进行数据压缩。视频图 像是沿时间轴方向的一个帧序列，其帧间图像的相关性也很强，通常用减少帧间 传送帧的数目即降低帧率，以减少时域的冗余，采用运动估值和运动补偿的方法 以满足解码图像质量要求2 。 m p e g 视频压缩策略主要分两方面：去时域冗余和去空域冗余。 1 去时域冗余 由于m p e g 对视频信号作随机存取的重要要求，并考虑到通过帧间运动补偿 可以有效压缩数据比特数，m p e g 采用了三种类型的图像：帧内图( i 图像) ，预 测图( p 图像) 和双向预测图( b 图像) 。这些图像类型的组织结构十分灵活， 可以由编码器的参数决定。运动补偿是减少帧序列冗余的有效方法，它所用到的 运动信息( 用位移矢量或运动矢量来表示) 是通过运动估值算法得到的。 通常有许多运动估值算法，例如像素递归、块匹配等。由于其规律性和软硬 件实现的简单性，块匹配技术是通常采用的更合适的方法。m p e g 标准并没有说 明运动矢量的求取方法，是按照尽量减小块匹配误差的方法来获得。所有压缩编 码标准的运动估值都采用块匹配技术。由于运动估值运算的复杂性，它也是编码 过程的最大的运算瓶颈。穷举搜索算法对全部可能的运动矢量都作了考虑，结果 最好，但是这个结果是以很大的计算复杂性为代价而得来的，所以在编码器的实 现过程中，必须对运动矢量的质量与运动估值过程的计算复杂性折衷考虑【6 ”。 第一章绪论 2 去空域冗余 视频序列的帧内图像和预测残差信号都有很高的空域冗余信息。可用于减少 空域冗余信息的技术很多，在基于块的空间冗余技术领域中，变换编码技术和矢 量量化编码技术是两种可选的方法。几乎所有的视频压缩编码标准，诸如m p e g 、 h 2 6 i 、h 2 6 3 ，都采用正交变换编码技术实现数据压缩，这是由于经过多维坐标 系适当的旋转变换后，把散布在各个原坐标轴上的原始图像数据集中到新坐标系 中的少数坐标轴上了。而实际上用得最多的正交变换是离散余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ，它的性能最接近理论上最优的k l 变换1 5 8 ) 。 d c t 变换有明确的优点和相对简单的实现方法。d c t 在很多方面类似于傅立 叶变换，它将图像数据从空域变换到离散频率系数。因为人眼对高频信号不如低 频信号敏感，所以可以将高频系数粗量化。实际上，可以将大部分高频系数量化 为零，产生长零串，以利于进行更有效的行程编码。 d c t 变换编码方法归纳起来可分为：离散余弦变换、对d c t 变换系数进行量 化( 包括量化、z 字扫描、行程编码) 和熵编码三个阶段。 为得到更高压缩比，必须对d c t 系数进行量化。因为量化器结合行程编码 使大部分数据得以压缩，通过量化器的量化操作，使编码器的输出能与给定的位 速率匹配。为了进一步提高d c t 固有的压缩性和减小运动信息对艇个码率的影 响，要使用可变长度的码字进行编码( 即变长码v l c ) 。对d c t 系数，使用一 个类似霍夫曼的表，对相应于数对f 行程，幅值 的符号进行编码。为了避免出现 太长的符号，使用一个换码符后面跟随一个固定长度的码字。 在m p e g 编码过程中，d c t 模块消除了视频序列的空间冗余，但它同时是 整个编码过程的运算瓶颈之一。 可见，所有上述压缩编码标准所采用的运算算法都由视频序列的预处理、运 动估值、运动补偿、d c t 、量化和可变长编码等方法组成。d c t 消除了视频序 列的空间冗余，而运动估值和运动补偿是为了降低自然视频序列中的时间冗余。 表1 1m p e g - 4 编码器各编码过程所占时间比较 表1 1 是基于矩形视频v o p 的m p e g 一4 编码过程中各编码运算所占时间的比 较。其中运动估值过程搜索范围是3 1 。m p e g 4 编码器运行环境是：p i i4 5 0 m h z 浙江大学博士学位论文 处理器，2 5 6 m 内存，w i n d o w s m e 操作系统。 从表1 1 中可以看出，d c t f f ) c t 和运动估值也正是m p e g 编码器的两大运 算瓶颈。其中运动估值是最复杂的过程，占整个编码时间的7 5 以上。因而对 m p e g 编码器进行性能优化的关键技术，是研究d c t 和运动估值的快速算法。 1 1 3 数字视频压缩编码标准综述 压缩编码的发展历程实际是以香农信息论为出发点不断完善的过程，图像编 码方法分为两代： 第一代是基于数据统计，去掉的是数据冗余，称为低层压缩编码方法； 第二代是基于内容，去掉的是内容冗余，代表新一代的压缩方法，也是 目前最活跃的领域。最早由瑞典的f o r c h h e i m e r ( 1 9 8 3 年) 提出m ”。 标准化是产业化活动成功的前提，基于不同的应用时期和不同的压缩编码技 术，由一些国际组织建立了一系列的国际标准，例如d v c 、j p e g 、m j p e g 、 m p e g 等等。国际标准化组织相继制定了j p e g ( 1 9 9 4 年2 月) 、m p e g l ( 1 9 9 3 年8 月) 和m p e g 一2 ( 1 9 9 4 年) ，这三种压缩编码国际标准主要采用了第一代压 缩编码方法，如预测编码、变换编码和运动补偿。其中m p e g 2 是一种非常成功 的国际标准，广泛应用于点播电视( v o d ) 、多媒体终端等众多领域。 表1 2 视频编码标准及其应用 码率应用 m p e g 1 视频o8 k b p s 1 5 m b p s v c d ，c d - r o m ，i n t e m e t 3 m b p s - - 1 0 m b p sm l v m 数字广播， m p e g 2 视频 1 6 m b p s - - 5 0 m b p sz v w r 亿 d v d d v h s 5 0 m b p s - - 1 0 0 m b p s4 2 2 p m l 专业视频处理 m p e g 标准 l o k b r ) s - - 3 8 4 k b p ss p l 1i 2 3 c e l l a r ，i n t e m e t 1 0 k b p s - - 2 m b p sc p l 1 2 交互式电视 m p e g 4 视频 2 m b p s - - 3 8 m b p sm p l 2 l 3 l 4 5 0 m b p s - - 1 2 0 0 m b p s 视频剪辑 s t u d i o l 1 2 3 4 h2 6 1 6 4 k b p s - - 1 5 m b p s 视频电话( i s d n ) i t u t 标准h 2 6 2 与v n , e g 2 视频相同 h 2 6 3 1 0 k b p s 3 8 4 k b p s视频电话( p s t n , i n t e m e t ) 1 9 9 9 年1 月，m p e g 组织公布了m p e g - 4 标准。作为一种甚低码率的视频 压缩系统，m p e g 4 标准可实现高效、高性能的视频数据的存储和传输。m p e g 。4 4 第一章绪论 标准采用了新一代压缩编码中的基于对象的压缩编码方法，除了能提高数据压缩 比，还能实现比i v p e g 一2 更为广泛的许多基于内容的交互功能，为多媒体数据压 缩编码提供了更为广阔的平台。在m p e g - 4 之后，m p e g 组织制定了m p e g 一7 “多媒体内容描述接口”。2 0 0 0 年3 月成立的m p e g 一2 1 工作组还在酝酿制定 m p e g 一2 1 标准，其核心目标是使数字多媒体信息资源能被大范围的网络和设备 透明和增值地使用i 9 s 】。2 0 0 0 年1 0 月，m p e g 2 1 专家组提出创造一个能够共同使 用的多媒体信息框架。表1 2 列出了一些主要的视频编码标准及其应用。 上述各种视频标准之间的发展关系如图1 1 1 所示。m p e o 编码技术是从 h 2 6 1 视频编码技术( 不含音频编码) 发展而来的。 h 2 求( i t 寸一日； h2 6 i h 6 2 h2 6 引 ；h2 。6 l ( 4 7 。) m 耳g 9 _ ，l e q ) j ：i v l p e p 一1 ：；卜 ：i i p e g j + ： ：l 皿) e g 一4a c ea s 鼍： f j n h a n 3 e d 8 8 9 0 9 2 9 4 9 6 9 8 0 0 0 2 图1 1 1h 2 6 x ( i t u ) 和m p e g ( i s o i e c ) 标准比较 m p e g 在h 2 6 1 视频编码算法的基础上改进、发展，而且向后兼答，司处理 经h 2 6 1 处理过的数据。改进算法工具如图1 1 2 所示。 h 2 6 1 ：1 6 x 1 6 运动补偿，8 x s d c t 移 i v l p e 。g - 1 ：+ b 一图像，1 2 像素运动补偿 够 i v i p e g - 2 ：+ 隔行扫描 粤 i v i p e g - 4 + 8 x 8 运动补偿，a c 预测，视频对象，形状编码 a 热c e ds i m p l e ：+ 1 ，4 像素运动补偿，全局运动补偿 e 盎。dv i d 。：4 x 4 运动补偿，4 x 4 。c t 等 图1 1 2h2 6 x ( i t u ) 和m p e g ( i s o i e c ) 标准编码工具 浙江大学博士学位论文 1 1 3 1h 2 6 1 从1 9 4 8 年最早提出电视和声音信号的数字化以后，积4 0 年研究成果，于1 9 8 8 年1 0 月，国际电视电话会议电视咨询委员会( c c i t t ) 即现在( i t u t ) ，提出 了h 2 6 1 建议，主要应用于p 6 4 k b p s ( p = 1 ，3 0 ) i s d n 上的视频会议和可视 电话。 h 2 6 1 定义了视频编码算法，像帧内图像、帧间误差预测、运动补偿、d c t 、 变字长编码等技术都是在h 2 6 1 中使用了的，它为后来的诸如m p e g 一1 和m p e g 一2 的视频压缩标准提供了基础。在此之外，h 2 6 1 还提供了两个重要的特性： 1 指定了最大编码延迟为1 5 0 m s e c 。因为主要针对双向视频通信应用，超过 i 5 0 m s e c 的延迟会给用户带来视频失真的印象。 2 能够用廉价的v l s i ( 超大规模集成电路) 实现，以便实现视频会议和可 视电话设备的商业化。 但它也存在不足，它不适用于不同信道( 或传输或存储) 的应用，误码率允 许范围小( 不大于1x1 0 “) ，而且不含声音编码算法。 1 1 3 2m p e g 1 1 9 9 1 年1 1 月m p e g ( 活动图像专家组) 制定m p e g 一1 标准。m p e g 一1 标准是将 数字视频信号和与之相伴的音频信号在一个可以接受的质量下，能被压缩到位率 约1 5 m b i t s 的一个m p e g 单一流。m p e g - i 标准只规定了码流语法和解码过程， 用户可以很好地利用这个语法的灵活性来设计非常高质量的编码器和非常低成 本的解码器。编码器的设计中一些重要参数，如运动估值、自适应量化和码流速 率控制等可以由用户自由确定。 速率约为1 2 m b s 的用m p e g 一1 算法压缩的视频图像的质量相当于v h s ( 家用 视频系统) 记录质量。空间分辨率限制为每视频帧扫描行3 6 0 个像素，并且在源 编码器端的视频信号为3 0 帧秒，非隔行扫描。对大多数原始图像内容，可得到 无人工痕迹的图像质量。m p e g - i 标准是v c d 工业标准的核心，现在已经走入千 家万户；利用m p e g i 音频第三层的m p 3 音乐格式也倍受青睐。 如上所述，i v l p e g 标准是在h 2 6 1 视频编码算法的基础上改进并发展的。 m p e g i 改进的主要内容是增加了b 图像帧( 双向预测) 和图像组( g o p ) ，这些 改进具有更高的压缩比，同时定义了编码算法中各工具层的语法，使视频的可操 作性更灵活。 1 i 3 3m p e g 2 ( h 2 6 2 ) 1 9 9 3 年1 1 月m e p g 提出m p e g 一2 建议草案，其中视频编码部分即h 2 6 2 。m e p g 一2 第一章绪论 主要是针对数字视频广播( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 等 制定的4 9 m b i t s 运动图像及其伴音的编码标准。 m p e g 一2 是一种非常成功的国际标准，成功之处是开发了通用的压缩编码方 法，定义的不同“档次”( p r o f i l e ) 和“等级”( 1 e v e l ) ，可满足不同的图像分辨率 及相应的存储成本和处理速度的需要。作为通用标准的i v i p e g 一2 适用于较广泛的 应用场合，并且也为比特流交换、兼容性等提供了可能性。因此，m p e g 一2 标准 能广泛应用于卫星广播业务( b b s ) 、电缆电视( c a t v ) 、数字电视地面广播 ( d t t b ) 、点播电视( v o d ) 、数字声音广播( d a b ) 、多媒体终端、网络数据 库业务、双工通信等众多领域。m p e g ，2 是工业标准d v d 的核心标准。 m p e g 一2 又对m p e g l 作了重要的改进和扩充： 1 针对隔行扫描的常规电视图像专门设置了“按帧编码”和“按场编码”两种 模式，并对运动补偿作了相应的扩充，使其编码效率显著提高。 2 档次和等级的划分是m p e g 一2 为适应不同应用而定义各个子集的结果。“档 次”是集成后的完整码流的一个子集，而每个“档次”的“等级”则是对编 码参数所做出的进一步的限制。“档次等级”是通过确定码流中相应的标题 信息及附加信息中的有关参数来给定的，这样，为较高“档次”和“等级” 码流设计的解码器能够对相同或较低档次的数据解码。其中一个主要的档次 和等级的组合是i v i p m l ( m a i np r o f i l e m a i nl e v e l ) 。m e p g 一1 相当于m p l l 。 3 亮度分量和色度分量的取样比例可由原来的4 ：2 ：0 ( 即y ：c 。：c 。= 4 ：1 ：1 ) 扩充 为4 ：2 ：2 或4 ：4 ：4 ，宏块的定义也相应地扩展，每像素8 比特可以增加到1 0 比特。 4 系统层的语法也有了改进，数码流分为两类：传送数码流( t s ) 和节目数码 流( p s ) ，以适应码流的应用环境。传送数码流的运行环境差，极有可能出现 严重的误差( 比特误差甚至数据包丢失) ，编码中应加强防误码措施，而节目 数码流的运行环境则相对安全得多。因此经压缩后的视频数据、音频数据、 辅助数据分别构成数据包的两种基本数据流。此外用包头( 数据包的开始部 分) 传送编码信息，如音频、视频、矩阵结构、图像类型、是否多声道等压 缩特性，使用起来更为方便和灵活。而且还可以对每个数据包设置优先权、 加密、解密或加扰、解扰、插入或更换广告节目、插入多语种解说词和字幕 等，使其应用范围更加广泛，许多国家发展h d t v 都选用m p e g - 2 作为视频数 字压缩编码的标准。 1 1 3 4h 2 6 3 针对甚低码率( 低于6 4 k b p s ) 的视频会议和可视电话的应用，1 9 9 5 年1 1 月 低数码率( l o wb i tr a t e ) 视频编码的h 2 6 3 建议草案出台。h 2 6 3 的码率为 浙江大学博士学位论文 2 2 k b p s 。h 2 6 3 标准的视频编码算法与h 2 6 1 相似( 运动补偿和d c t 算法) ，与 h 2 6 1 相比，h 2 6 3 的主要区别如下： 1 半像素精度运动估值； 2 重叠运动补偿，以增大运算量为代价得到更密集的运动区域； 3 宏块( 1 6 1 6 ) 运动估值和块( 8 8 ) 运动估值的自适应变换； 4 支持s u b q c i f 格式的码流。 h 2 6 3 标准的测试模型t m n 5 ( t e s tm o d e l5 ) 在低于6 4 k b p s 码率时，p s n r 值比h 2 6 1 提高了3 4 d g 。h 2 6 3 标准可以作为将来甚低码率编码算法和编码标 准性能评估的一个里程碑。 1 1 3 5m p e g 一4 1 m p e g 一4 发展背景 如上所述，m p e g 一1 主要适用于低分辨率、低码率、无差错、逐行扫描的图像。 m p e g 一2 主要针对较高分辨率、高码率、隔行扫描、信道有误码的电视图像。它 的应用包括数字电视广播、付费电视、视频点播和交互式电视。因此m p e g 1 和 m p e g 一2 这两者的应用相对单一，主要的目的是提高压缩比，并改善音频、视频 质量，采用的技术主要是基于信息论的波形编码理论。 多媒体技术发展到今天已不仅仅是着眼于定义不同码流下的压缩编码技术， 而是更多地强调多媒体通信的交互性和灵活性，以及多工业领域的融合。m p e g 一4 的目标定义大致考虑两个方面：一是极低比特率下的多媒体通信；二是多媒体通 信的融合，主要有通信业、计算机业、消费类电予业和娱乐影视业。与m p e g 一1 和m p e g 一2 不同，m p e g 一4 就是为达到以上两个目标而制定的多媒体通信标准。因 而，一方面，m p e g 一4 要求有高效的压缩编码方法；另一方面，m p e g 一4 要求有独 立于网络的基于视频和音频对象( a v ) 的交互性。 1 9 9 8 年11 月m p e g 提出了低数码率视频