电视原理课件第04-11章

1、5.1 JPEG标准标准5.2 H.261标准标准5.3 MPEG标准简介标准简介5.4 MPEG-2 视频视频5.5 MPEG-2系统系统5.6 MPEG-4JPEG(Joint Photographic Experts Group)是联合照片是联合照片(静止静止)图像专家组的英图像专家组的英文缩写。文缩写。JPEG标准包括两种基本压缩方法。标准包括两种基本压缩方法。(1)有损压缩方法：它是以有损压缩方法：它是以DCT变换为变换为基础的压缩方法，其压缩比较高，是基础的压缩方法，其压缩比较高，是JPEG标准的基础。标准的基础。 (2)无损压缩方法，又称预测压缩方法，无损压缩方法，又称预测压缩方

2、法，是以二维是以二维DPCM为基础的压缩方式，解码为基础的压缩方式，解码后能完全精确地恢复原图像采样值，其压后能完全精确地恢复原图像采样值，其压缩比低于有损压缩方法。缩比低于有损压缩方法。 JPEG标准还包括多种工作模式。标准还包括多种工作模式。基于基于DCT的的JPEG编解码原理框编解码原理框图如图图如图4-1所示。所示。 图图5-1 JPEG编解码原理框图编解码原理框图输入端把原始图像分成输入端把原始图像分成88像素块像素块(Block)之后送入之后送入DCT变换器，目的是去除变换器，目的是去除图像数据的空间冗余。图像数据的空间冗余。利用人眼的视觉特性设计量化表。利用人眼的视觉特性设计量化

3、表。在编码之前，需要把二维的变换系数在编码之前，需要把二维的变换系数矩阵转换为一维序列。矩阵转换为一维序列。为了消除码字中的统计冗余，采用可为了消除码字中的统计冗余，采用可变长熵编码。变长熵编码。具体的编码方法如下。具体的编码方法如下。 (1)首先对系数序列分组，把每个非零首先对系数序列分组，把每个非零系数和它前面相邻的全部零系数分在一组系数和它前面相邻的全部零系数分在一组内。内。()将每一组用两个符号表示为将每一组用两个符号表示为 (符号符号1)，(符号符号2) 相应的交流系数相应的交流系数(AC Coefficient)组表组表示成示成 (Run ，Size)，(Amplitude) (3

4、)对每个符号组进行编码对每个符号组进行编码 H.261标准主要应用在综合业务数字标准主要应用在综合业务数字网网ISDN上传输电视电话会议等低码率的多上传输电视电话会议等低码率的多媒体领域。媒体领域。1990年年12月国际电报电话咨询月国际电报电话咨询委员会委员会(CCITT)通过了通过了H.261建议书，即建议书，即“采用采用p64kbit/s的声像业务的图像编解的声像业务的图像编解码码”，其中，其中p=1,2,，32。 H.261与与H.263的图像格式如表的图像格式如表4-13所所示。示。表表 4-13 H.261 与与 H.263的图像格式的图像格式视频格式视频格式亮度分辨率亮度分辨率色

5、度分辨率色度分辨率H.261H.263SQCIF128966448支持支持QCIF1761448872支持支持支持支持CIF352288176144支持支持支持支持4CIF704576352288可选可选16CIF14081152704576可选可选其中，其中，CIF(Common Intermediate Format)为通用中间格式，为通用中间格式，QCIF (Quarter CIF)为为1/4通用中间格式，通用中间格式，SQCIF为扩展的为扩展的通用中间格式，通用中间格式，4CIF为为4倍的通用中间格倍的通用中间格式，式，16CIF为为16倍的通用中间格式。倍的通用中间格式。 在在H.2

6、61算法中，不仅使用了算法中，不仅使用了JPEG算算法中的帧内压缩，还使用了帧间预测和运法中的帧内压缩，还使用了帧间预测和运动补偿技术。下面简单介绍动补偿技术。下面简单介绍H.261编码算法。编码算法。H.261编码器框图如图编码器框图如图4-3所示。所示。 图图4-3 H.261编码器框图编码器框图MPEG(Moving Picture Experts Group)是是ISO和和IEC两个国际组织的两个国际组织的联合技术委员会联合技术委员会(JTCI)领导下的运动领导下的运动图像专家组的英文缩写。图像专家组的英文缩写。MPEG专家组于专家组于1992年制定了年制定了MPEG-1标准。标准的文

7、件编号为标准。标准的文件编号为ISO/IEC11172。MPEG-1主要包括三个部分：主要包括三个部分： 第一部分系统第一部分系统(ISO/IEC11172-1)，是是关于数字视频、数字音频和辅助数据等多关于数字视频、数字音频和辅助数据等多路压缩数据流复用和同步的规定；路压缩数据流复用和同步的规定； 第二部分视频第二部分视频(ISO/IEC11172-2)，是是关于位速率约为关于位速率约为1.5Mbit/s的视频信号的压的视频信号的压缩编码的规定；缩编码的规定； 第三部分音频第三部分音频(ISO/IEC11172-3)，是是关于每通道位速率为关于每通道位速率为64kbit/s，128kbit/

8、s和和192kbit/s的数字音频信号的压缩编码的规的数字音频信号的压缩编码的规定。定。 MPEG-1标准的目标主要包括以下几标准的目标主要包括以下几方面：方面： (1)在图像和声音的质量上必须高于可在图像和声音的质量上必须高于可视电话和会议电视的声像质量，至少应达视电话和会议电视的声像质量，至少应达到到VHS家用录像机的声像质量；家用录像机的声像质量； (2)压缩后的数码率应能存储在光盘、压缩后的数码率应能存储在光盘、数字录音带数字录音带DAT或可写磁光盘等媒体中；或可写磁光盘等媒体中；(3)压缩后的码率应与目前的计算压缩后的码率应与目前的计算机网络传输码率相适配，为机网络传输码率相适配，为

9、1.21.5Mbit/s； (4)在通信网络上能适应多种通信在通信网络上能适应多种通信网络的传输。网络的传输。MPEG-2是由是由ISO/IEC的的MPEG专家专家组与组与ITU-T(国际电信联盟电信标准化部门国际电信联盟电信标准化部门)的的ATV的图像编码专家组共同开发的，所的图像编码专家组共同开发的，所以以MPEG-2标准也是标准也是ITU-T的建议。的建议。MPEG-2分为许多个部分，其中主要分为许多个部分，其中主要有三个部分：有三个部分： 第一部分系统第一部分系统(ISO/IEC13818-1)，是是关于多路音频、视频和数据的复用和同步关于多路音频、视频和数据的复用和同步的规定；的规定

10、； 第二部分视频第二部分视频(ISO/IEC13818-2)，主主要涉及各种比特率的数字视频压缩编解码要涉及各种比特率的数字视频压缩编解码的规定；的规定； 第三部分音频第三部分音频(ISO/IEC13818-3)，扩扩充了充了MPEG-1的音频标准，使之成为多通的音频标准，使之成为多通道音频编码系统，可达到的环绕声道音频编码系统，可达到的环绕声5.1声道。声道。MPEG-2以空间和时间可分级方法提以空间和时间可分级方法提供空间和时间不同分辨率视频格式之间的供空间和时间不同分辨率视频格式之间的兼容。兼容。 在许多情况下，在许多情况下，MPEG-2表示成表示成MPEG-1的一个超集。的一个超集。M

11、PEG-2已广泛应用于已广泛应用于DVD，SDTV和和 HDTV中。中。MPEG-2标准支持不同性能和不同复标准支持不同性能和不同复杂性的解码器，覆盖广泛的应用范围，充杂性的解码器，覆盖广泛的应用范围，充分考虑了各种应用的不同要求，有较强的分考虑了各种应用的不同要求，有较强的通用性。通用性。MPEG-2还规定了不同的压缩处理方还规定了不同的压缩处理方法，称为型法，称为型(Profile)。 级表示级表示MPEG-2编码器输入端的信源编码器输入端的信源图像格式。图像格式。LL级对应的输入信源格式是级对应的输入信源格式是CIF格式，格式，约是约是601标准中的信源格式的标准中的信源格式的1/4，即

12、，即35224830或或35228825，相应编码，相应编码的最大输出码率为的最大输出码率为4Mbit/s。(2)主级主级(Main Level，ML) ML对应于对应于ITU-R601建议的信源格式，建议的信源格式，即即72048029.97或或72057625，最大，最大允许输出码率为允许输出码率为15Mbit/s，其高型的码率其高型的码率是是20Mbit/s。 (3)高高H-1440级级(High-1440 Level) H-1440属于高清晰度发展道路上的准属于高清晰度发展道路上的准高清晰度级，没有得到实际应用。高清晰度级，没有得到实际应用。 HL对应高清晰度电视的信源格式，对应高清晰

13、度电视的信源格式，即即1920108030或或1920115225，最，最大输出码率为大输出码率为80Mbit/s，其高型的码率是其高型的码率是100Mbit/s。 视频序列也称图像序列，它是随机选视频序列也称图像序列，它是随机选取节目的一个基本单元。取节目的一个基本单元。图像组是将一个图像序列中连续的几图像组是将一个图像序列中连续的几个图像组成一个小组，简称为个图像组成一个小组，简称为GOP。图像是一个独立的显示单元，也是图图像是一个独立的显示单元，也是图像编码的基本单元，可分为像编码的基本单元，可分为I，P和和B三种三种编码图像。编码图像。像条是发生误码且不可纠正时，数据像条是发生误码且不

14、可纠正时，数据重新获得同步，从而能正常解码的基本单重新获得同步，从而能正常解码的基本单元。元。宏块是运动预测的基本单元。运动估宏块是运动预测的基本单元。运动估计以宏块为单位，借此得到最佳匹配宏块计以宏块为单位，借此得到最佳匹配宏块的运动矢量。运动预测只对亮度阵列进行，的运动矢量。运动预测只对亮度阵列进行，对应的色差阵列其运动估计使用和亮度阵对应的色差阵列其运动估计使用和亮度阵列相同的运动矢量。列相同的运动矢量。 块或称像块，是块或称像块，是DCT变换的基本单元。变换的基本单元。MPEG算法达到了很高的压缩比，但算法达到了很高的压缩比，但仍保持了很好的图像质量，单靠帧内编码仍保持了很好的图像质量

15、，单靠帧内编码是不可能达到的。在是不可能达到的。在MPEG压缩编码中，压缩编码中，主要通过主要通过DCT变换和运动预测技术来压缩变换和运动预测技术来压缩空间冗余和时间冗余。空间冗余和时间冗余。在在MPEG-2压缩编码算法中，不仅包压缩编码算法中，不仅包括了括了JPEG算法中的算法中的DCT、自适应量化和自适应量化和熵编码等一系列帧内编码方法，更重要的熵编码等一系列帧内编码方法，更重要的是利用了帧间运动补偿技术。是利用了帧间运动补偿技术。 (1)帧重排帧重排 (2)当输入的第一帧作为当输入的第一帧作为I帧图像进入帧图像进入图图4-8所示的编码器中时，开关所示的编码器中时，开关K1，K2和和K4在

16、上方，在上方，K3 在左方。在左方。(3)当当P4作为作为P帧进入编码器时，开关帧进入编码器时，开关K1，K2和和K4切换到下方，切换到下方，K3还在左方。还在左方。图图4-8MPEG-2压缩编码原理框图压缩编码原理框图(4)当当B2作为作为B帧进入编码器时，开关帧进入编码器时，开关K1 在下方，在下方，K2 在上方，在上方，K3 在右方，在右方，K4 在在中间。中间。在图在图4-9所示的图像序列中，每所示的图像序列中，每 12帧帧中包含中包含1个个I帧、帧、3个个P帧和帧和8个个B帧，称为一帧，称为一个图像组个图像组(GOP)。图图4-9图像序列原始顺序图像序列原始顺序经过编码器编码后，经过

17、编码器编码后，6个视频层次构个视频层次构成的编码视频码流称为视频基本码流成的编码视频码流称为视频基本码流(ES)，图图4-11所示为简化的基本码流结构图。所示为简化的基本码流结构图。 图图4-11 视频基本码流结构视频基本码流结构(1)在视频序列层中，一个编码的视频在视频序列层中，一个编码的视频序列由一个序列信头开始，后面跟随一个序列由一个序列信头开始，后面跟随一个图像组头，然后是由许多图像图像组头，然后是由许多图像(I，P和和B)组组成的一系列成的一系列GOP，视频序列结束于一个序视频序列结束于一个序列终止码。列终止码。(2)在图像组层中，在图像组层中，GOP头中给出了时头中给出了时间码和紧

18、跟在间码和紧跟在I幀后面的幀后面的B图像的预测特性图像的预测特性等信息。等信息。(3)在图像层中，图像头中给出了时间在图像层中，图像头中给出了时间参考信息、图像编码类型和参考信息、图像编码类型和VBV(视频缓存视频缓存校验器校验器)延时等信息。延时等信息。(4)在像条层中，像条头中给出了像条在像条层中，像条头中给出了像条垂直位置、量化因子码等信息。垂直位置、量化因子码等信息。 (5)在宏块层中，其中的宏块类型码中在宏块层中，其中的宏块类型码中给出了宏块属性、运动矢量。给出了宏块属性、运动矢量。 (6)最后一层是块层，给出了其最后一层是块层，给出了其DCT系系数。数。分级分级(Scalabili

19、ty)编码使原本一体的码编码使原本一体的码流呈现一种分级结构，使其中的部分码流流呈现一种分级结构，使其中的部分码流可单独解码，从而可得到不同的分辨率和可单独解码，从而可得到不同的分辨率和所需的码率。所需的码率。 可分级编解码的意义在于其码流的独可分级编解码的意义在于其码流的独立分层及可分层叠加，从而使该码流适应立分层及可分层叠加，从而使该码流适应不同环境的传输信道和不同用户需求的能不同环境的传输信道和不同用户需求的能力大大增加。力大大增加。 MPEG-2中的可分级编解码主要包中的可分级编解码主要包括以下几种：空间分级括以下几种：空间分级 (Spatial Scalability)、时间分级时间

20、分级(Temporal Scalability)、SNR分级分级(SNR Scalability)和数据划分和数据划分(Data Partitioning)等。等。底层的编码在帧内底层的编码在帧内/帧间判决、自适应帧间判决、自适应量化和缓存调整方面和不分级编码类似。量化和缓存调整方面和不分级编码类似。在增强层编码中，首先对底层输出的在增强层编码中，首先对底层输出的量化后的量化后的DCT系数进行反量化，然后用未系数进行反量化，然后用未量化的量化的DCT系数和反量化后的系数和反量化后的DCT系数相系数相减求差值，得到修正系数。减求差值，得到修正系数。混合可分级性混合可分级性(Hybrid Scal

21、ability)是是空间、空间、SNR和时间可分级的混合，产生两和时间可分级的混合，产生两个以上的视频层，以支持更多需求的应用。个以上的视频层，以支持更多需求的应用。下面介绍混合可分级在数字电视领域中的下面介绍混合可分级在数字电视领域中的应用。应用。 在信道和发射功率受到限制时，往往在信道和发射功率受到限制时，往往希望能够在比较差的条件下收到质量略差希望能够在比较差的条件下收到质量略差些的图像，而不致于根本没有图像。些的图像，而不致于根本没有图像。MPEG-2解码是解码是MPEG-2编码处理的编码处理的逆过程，从编码比特流中重建图像帧。逆过程，从编码比特流中重建图像帧。MPEG-2解码框图如图

22、解码框图如图4-17所示。所示。 图图4-17 MPEG-2解码框图解码框图复用器是整个系统的关键设备之一，复用器是整个系统的关键设备之一，它接收从前端编码器来的视频、音频数据它接收从前端编码器来的视频、音频数据流，按照一定的复用规范将其交织复用成流，按照一定的复用规范将其交织复用成符合符合MPEG-2系统层规范的单一的系统码系统层规范的单一的系统码流。流。单路节目的视、音频数据流的系统复单路节目的视、音频数据流的系统复用框图如图用框图如图4-18所示。所示。 图图4-18 简化的简化的MPEG-2系统复用框图系统复用框图按照按照ISO/IEC 13818-2和和ISO/IEC 13818-3

23、标准对视频和音频信号进行压缩编标准对视频和音频信号进行压缩编码后的码流称为基本数据流码后的码流称为基本数据流(Elementary Stream，ES)。TS包的结构如图包的结构如图4-20所示。所示。 图图4-20 TS 包的结构图包的结构图如果在一个电视频道内复用几路如果在一个电视频道内复用几路TS流，流，也即在一个常规频道内传输多套数字电视也即在一个常规频道内传输多套数字电视节目，则称为多路节目的双层复用。多路节目，则称为多路节目的双层复用。多路节目的双层复用系统框图如图节目的双层复用系统框图如图4-21所示。所示。第一层复用称为节目复用第一层复用称为节目复用(Program Multi

24、plex)；第二层复用称为传输复用第二层复用称为传输复用(Transport Multiplex)。其中，节目复用有其中，节目复用有共同的时间基准，传输复用时彼此可以有共同的时间基准，传输复用时彼此可以有独立的时间基准。独立的时间基准。 图图4-21 多路节目的双层复用系统框图多路节目的双层复用系统框图 PSI信息主要由以下几种类型的表构成：信息主要由以下几种类型的表构成：(1)节目关联表节目关联表(Program Association Table，PAT) (2)节目映射表节目映射表(Program Map Table，PMT) (3)条件接收表条件接收表(Conditional Acce

25、ss Table，CAT) (4)网络信息表网络信息表(Network Information Table，NIT) (5)传送流描述表传送流描述表(Transport Stream Description Table，TSDT) (6)专用段专用段(Private_section) (7)描述符描述符(Descripter) CBR编码复用方式如图编码复用方式如图4-23所示。所示。 图图4-23CBR编码复用方式框图编码复用方式框图 通常码率控制的方法有以下几种。通常码率控制的方法有以下几种。 这是一种利用调节量化系数来控制缓这是一种利用调节量化系数来控制缓冲器充盈度的方法，由于是从总比特

26、数出冲器充盈度的方法，由于是从总比特数出发，其控制能力较弱，在图像的复杂度变发，其控制能力较弱，在图像的复杂度变化较大时会引起图像质量较大的起伏。化较大时会引起图像质量较大的起伏。 一般来说，一个图像序列中各图像的一般来说，一个图像序列中各图像的内容比较接近，复杂度相当，因而对同一内容比较接近，复杂度相当，因而对同一类型的图像其编码比特数应当相差不大。类型的图像其编码比特数应当相差不大。 MPEG-2给出了给出了TM5码率控制策略，码率控制策略，主要分为以下三个步骤。主要分为以下三个步骤。 第一步为比特分配，以图像组为单元第一步为比特分配，以图像组为单元对其中的每一个图像按其类型分配比特数。对

27、其中的每一个图像按其类型分配比特数。第二步为码率控制。第二步为码率控制。 第三步为自适应量化调整。第三步为自适应量化调整。 在在VBR编码中，量化系数是固定的，编码中，量化系数是固定的，这样可以使各路图像质量相当。这样可以使各路图像质量相当。 MPEG编码的码流具有明显的伪周期编码的码流具有明显的伪周期性，以性，以GOP为周期存在较大的尖峰，在每为周期存在较大的尖峰，在每个个GOP中按中按P帧的间隔出现较小的峰值。帧的间隔出现较小的峰值。 联合码率控制在保证信道中传输恒定联合码率控制在保证信道中传输恒定速率比特流的前提下，允许各业务信源以速率比特流的前提下，允许各业务信源以变速率码流编码，以适

28、应不断变化的信源变速率码流编码，以适应不断变化的信源需求。需求。 MPEG-4标准的主要特征是采用了基标准的主要特征是采用了基于对象于对象(Object-Based)编码等的第二代编码编码等的第二代编码技术。技术。 MPEG-4可以对不同来源的视、音频可以对不同来源的视、音频对象进行合成。对象进行合成。 基于对象的分级功能是基于对象的分级功能是MPEG-4提供提供的又一个新功能，同时兼容于的又一个新功能，同时兼容于MEPG-2标标准中的图像分级功能。准中的图像分级功能。MPEG-4的编码具有鲁棒性和纠错功的编码具有鲁棒性和纠错功能，从而保证在易出错的通信环境下实现能，从而保证在易出错的通信环境

29、下实现安全的低码率编码和传输。这包含三个方安全的低码率编码和传输。这包含三个方面：再同步面：再同步(Resynchronization)、数据恢数据恢复复(Data Recovery)和错误隐藏和错误隐藏( Error Concealment)。 MPEG-4标准的目标是多媒体的多领标准的目标是多媒体的多领域应用，它为不同应用定义了编解码器和域应用，它为不同应用定义了编解码器和码流的不同类码流的不同类(Profile)和级和级(Level)，从而支从而支持各种码率持各种码率(5kbit/s到到4Mbit/s)、格式格式(逐行逐行和隔行和隔行)和分辨率和分辨率(QCIF到到HDTV)。 MPEG

30、-4的第一版主要包括系统、视的第一版主要包括系统、视频、音频和多媒体传送集成框架频、音频和多媒体传送集成框架(DMIF)等等部分，随着技术的发展，部分，随着技术的发展，MPEG-4的内容的内容也不断充实和改进。也不断充实和改进。 系统部分主要包括以下内容。系统部分主要包括以下内容。 (1)系统解码器模型，这是每一个系统系统解码器模型，这是每一个系统都应该有的特殊模型。都应该有的特殊模型。(2)场景描述场景描述(Scence Description),它是它是用来说明根据用来说明根据AV对象的时间和空间属性如对象的时间和空间属性如何有效地将它们组织起来的。何有效地将它们组织起来的。 (4)基本码流同步层基本码流同步层(SL)，它是将基本它是将基本码流数据打包成码流数据打包成AU单元单元(访问单元访问单元)的语法，的语法，打包中附加了时间和同步信息，接收时从打包中附加了时间和同步信息，接收时从SL中提取时间信息能够使解码同步，并将中提取时间信息能够使解码同步，并将基本流数据合成。基本流数据合成。 (5)基本码流的多路合成系统中有两层基本码流的多路合成系统中有两层复用，传输复用复用，传输复用(TransMux)和和MPEG-4复复用用(FlexMux)。 MPEG-4视频由视频序列、视频对象、视频由视频序列、视频对象、视频对象层、