多媒体技术之MEG电视培训课件

第13章电视1和-2标准有许多共同之处：（1）基本概念类似，（2）数据压缩编码方法基本相同，（3）都采用以图像块作为基本单元进行变换、量化和移动补偿等技术来获得高压缩比。4（1）部分采用内容基编码技术（2）与1和-2向后兼容（3）引入了电视图像对象()的概念下面简要介绍这些标准中压缩电视图像数据的基本方法。1按照奈奎斯特()采样理论，模拟电视信号经过采样和量化之后，数字电视信号的数据量大得惊人，当前的存储器和网络都还没有足够的能力支持这种数据传输率，因此就要对数字电视信号进行压缩。13.1.1.601标准数据率13.1电视图像的数据率2为了在、和彩色电视制之间确定一个共同的数字化参数，早在1982年国际无线电咨询委员会()就制定了演播室质量的数字电视编码标准，这就是非常有名的.601标准。使用4:2:2的采样格式，亮度信号Y的采样频率选择为13.5，色差信号和的采样频率选择为6.75，在传输通道上的数据传输率为270。13.1.1.601标准数据率3亮度(Y):

858样本/行×525行/帧×30帧/秒×10比特/样本≈135兆比特/秒()

864样本/行×625行/帧×25帧/秒×10比特/样本≈135兆比特/秒()():

429样本/行×525行/帧×30帧/秒×10比特/样本≈68兆比特/秒()

429样本/行×625行/帧×25帧/秒×10比特/样本≈68兆比特/秒()():

429样本/行×525行/帧×30帧/秒×10比特/样本≈68兆比特/秒()

429样本/行×625行/帧×25帧/秒×10比特/样本≈68兆比特/秒()13.1.1.601标准数据率4总计:27兆样本/秒×10比特/样本=270兆比特/秒实际上，在荧光屏上显示出来的有效图像的数据传输率并没有那么高，亮度(Y):720×480×30×10≈104()

720×576×25×10≈104()色差():

2×360×480×30×10≈104()

2×360×576×25×10≈104()总计:～207如果每个样本的采样精度由10比特降为8比特，彩色数字电视信号的数据传输率降为166。13.1.1.601标准数据率5使用存储器来存储数字电视，数据传输率可达到1.4112，分配给电视信号的数据传输率为1.15，电视编码器的输出数据率要达到1.15。存储166的数字电视信号就需要对它进行高度压缩，压缩比高达166/1.15≈144:1。13.1.2电视图像数据率的估算13.1电视图像的数据率61电视图像压缩技术不能达到这样高的压缩比。把和数字电视转换成公用中分辨率格式的数字电视，彩色数字电视的数据传输率就减小到

352×240×30×8×1.5≈30()

352×288×25×8×1.5≈30()。把这种彩色电视信号存储到盘上所需要的压缩比为：30/1.15≈26:1。13.1.2电视图像数据率的估算7电视图像的数据率压缩成平均为3.5～4.7时非专家难于区分电视图像在压缩前后的之间差别。使用存储器来存储数字电视，它的数据传输率可以达到10.08，但一张4.7的单面单层盘要存放133分钟的电视节目，按照数字电视信号的平均数据传输率为4.1来计算，压缩比要达到：166/4.10≈40:1。13.1.3电视图像数据率的估算13.1电视图像的数据率8如果电视图像的子采样使用4:2:0格式，每个样本的精度为8比特，数字电视信号的数据传输率就减小到124，即

720×480×30×8×1.5≈124()

720×576×25×8×1.5≈124()使用来存储720×480×30或者720×576×25的数字电视图像所需要的压缩比为：124/4.1≈30:1。13.1.3电视图像数据率的估算9电视图像数据据压缩利用的的各种特性和和采用的方法法归纳在表13-1中。。电视图像本身身在空间上和和时间上都含含有许多冗余余信息，图像像自身的构造造也有冗余性性。利用人的视觉觉特性也可对对图像进行压压缩，这叫做做视觉冗余。。基于云计算的的游戏框架———交互式13.2.1简介13.2数数据压缩算算法10表13-1电电视图像压压缩利用的各各种冗余信息息13.2.1简介种类内容目前用的主要方法统计

特性空间冗余像素间的相关性变换编码，预测编码时间冗余时间方向上的相关性帧间预测，移动补偿图像构造冗余图像本身的构造轮廓编码，区域分割知识冗余收发两端对人物的共有认识基于知识的编码视觉冗余人的视觉特性非线性量化，位分配其他不确定性因素11图像压缩技术术可以归纳成成两个要点：：①在空间方方向上，图像像数据压缩采采用压缩算法法来去掉冗余余信息。②在时间方方向上，图像像数据压缩采采用移动补偿偿算法来去掉掉冗余信息。。专家组定义了了三种图像：：帧内图像I()预测图像P()双向预测图像像B()典型的排列如如图13-01所示。这三种图像将将采用三种不不同的算法进进行压缩。13.2.1简介12图13-01专家组定定义的三种图图像13.2.1简介13帧内图像I不不参照任何过过去的或者将将来的其他图图像帧，压缩缩编码采用类类似压缩算法法，它的框图图如图13-02所示。。如果果电电视视图图像像是是用用空空间间表表示示的的，，则则首首先先把把它它转转换换成成空空间间表表示示的的图图像像。。每个个图图像像平平面面分分成成8××8的的图图块块，，对对每每个个图图块块进进行行离离散散余余弦弦变变换换。。帧帧内内图图像像I的的压压缩缩编编码码算算法法13.2数数据据压压缩缩算算法法14变换换后后经经过过量量化化的的交交流流分分量量系系数数按按照照的的形形状状排排序序，，然然后后使使用用无无损损压压缩缩进进行行编编码码。。交流流分分量量系系数数用用行行程程长长度度编编码码，，变换换后后经经过过量量化化的的直直流流分分量量系系数数用用差差分分脉脉冲冲编编码码，，然后后用用霍霍夫夫曼曼编编码码或或者者用用算算术术编编码码。。它的的编编码码框框图图如如图图13-02所所示示。。帧帧内内图图像像I的的压压缩缩编编码码算算法法15图13-02帧帧内内图图像像I的的压压缩缩编编码码算算法法框框图图帧帧内内图图像像I的的压压缩缩编编码码算算法法16预测测图图像像的的编编码码是是以以图图像像宏宏块块()为为基基本本编编码码单单元元，，一一个个宏宏块块定定义义为为I××J像像素素的的图图像像块块，，一一般般取取16××16。。预测测图图像像P使使用用两两种种类类型型的的参参数数来来表表示示：：一种种参参数数是是宏宏块块的的移移动动矢矢量量，，另一一种种参参数数是是当当前前要要编编码码的的图图像像宏宏块块与与参参考考图图像像的的宏宏块块之之间间的的差差值值。。移动动矢矢量量的的概概念念可可用用图图13-03表表示示。。预预测测图图像像P的的压压缩缩编编码码算算法法13.2数数据据压压缩缩算算法法17图13-03移移动动矢矢量量的的概概念念预预测测图图像像P的的压压缩缩编编码码算算法法18求解解差差值值的的方方法法如如图图13-04所所示示。。假设设编编码码图图像像宏宏块块是是参参考考图图像像宏宏块块的的最最佳佳匹匹配配块块，，它它们们的的差差值值就就是是这这两两个个宏宏块块中中相相应应像像素素值值之之差差。。对所所求求得得的的差差值值进进行行彩彩色色空空间间转转换换，，并并作作4:1:1的的子子采采样样得得到到Y，，和和分分量量值值。。然后后仿仿照照压压缩缩算算法法对对差差值值进进行行编编码码。。预预测测图图像像P的的压压缩缩编编码码算算法法19图13-04预预测测图图像像P的的压压缩缩编编码码算算法法框框图图预预测测图图像像P的的压压缩缩编编码码算算法法20求解解移移动动矢矢量量的的方方法法定定义义在在图图13-05中中。。在求求两两个个宏宏块块差差值值之之前前，，需需要要找找出出编编码码图图像像中中的的预预测测图图像像编编码码宏宏块块相相对对于于参参考考图图像像中中的的参参考考宏宏块块所所移移动动的的距距离离和和方方向向，，这这就就是是移移动动矢矢量量。。计算算出出的的移移动动矢矢量量也也要要进进行行霍霍夫夫曼曼编编码码。。预预测测图图像像P的的压压缩缩编编码码算算法法21图13-5移移动动矢矢量量的的算算法法框框图图预预测测图图像像P的的压压缩缩编编码码算算法法22要使使预预测测图图像像更更精精度度，，就就要要求求找找到到与与参参考考宏宏块块最最佳佳匹匹配配的的预预测测图图像像编编码码宏宏块块。。最佳佳匹匹配配是是指指这这两两个个宏宏块块之之间间的的差差值值最最小小。。通常常以以绝绝对对值值最最小小作作为为匹匹配配判判据据，，也有有以以均均方方误误差差最最小小作作为为匹匹配配判判据据，，预预测测图图像像P的的压压缩缩编编码码算算法法23也有有以以平平均均绝绝对对帧帧差差最最小小作作为为匹匹配配判判据据，，其中中，，和和分分别别是是参参考考宏宏块块的的移移动动矢矢量量d(,)在在X和和Y方方向向上上的的矢矢量量。。对预预测测图图像像的的编编码码就就是是寻寻找找最最佳佳匹匹配配图图像像宏宏块块，，找找到到最最佳佳宏宏块块之之后后就就找找到到了了最最佳佳移移动动矢矢量量d(,)。。预预测测图图像像P的的压压缩缩编编码码算算法法24为减减少少搜搜索索次次数数，，有有许许多多简简化化算算法法用用来来寻寻找找最最佳佳宏宏块块，，下下面面介介绍绍其其中中的的三三种种。。1.二二维维对数数搜索索法(2)采用的的匹配配判据据是为为最小小。搜索策策略是是沿着着最小小失真真方向向搜索索。二维对对数搜搜索方方法如如图13-06所示示。在搜索索时，，每移移动一一次就就检查查5个个搜索索点。。如果最最小失失真在在中央央或在在边界界，就就减少少搜索索点之之间的的距离离。步骤1，2，……，5得到到的近近似移移动矢矢量d为(i，，2)、(i，，4)、(2，，4)、(2，，5)和(2，，6)，最最后得得到的的移动动矢量量为d(2，6)。。预预测图图像P的压压缩编编码算算法25图13-06二二维维对数数搜索索法预预测图图像P的压压缩编编码算算法262.三三步搜搜索法法()这种搜搜索法法与二二维对对数搜搜索法法很接接近。。在开始始搜索索时，，搜索索点离离(i，j)这这个中中心点点很远远，第第一步步就测测试8个搜搜索点点，如如图13-07所示示。在这个个例子子中，，点(3，，3)作为为第一一个近近似的的移动动矢量量d1；第二步步，搜搜索点点偏离离(3，3)较较近，，找到到的点点假定定为(3，，5)；第三步步给出出了最最后的的移动动矢量量为d(2，6)。。本例采采用作作为匹匹配判判据。。预预测图图像P的压压缩编编码算算法27图13-07三三步步搜索索法预预测图图像P的压压缩编编码算算法283.对对偶偶搜索索法()该法使使用作作为匹匹配判判据，，示于于图13-08。第一次次搜索索时，，通过过计算算点(1，，j)、(i，，j)和(1，，j)处的的值来来决定定i方方向上上的最最小失失真。。如果计计算结结果表表明点点(1，j)处处的为为最小小，就就计算算点(2，，j)处的的，并并从(i，，j)，(1，，j)和(2，，j)的中中找出出最小小值。。直到在在i方方向上上找到到最小小值及及其对对应的的点。。假定在在i方方向上上找到到的点点为(2，，j)。在i方方向上上找到到最小小值对对应的的点之之后，，就沿沿j方方向去去找最最小值值对应应的点点，方方法与与i方方向的的搜索索方法法相同同。最后得得到的的移动动矢量量为d(2，6)。。预预测图图像P的压压缩编编码算算法29图13-08对对偶偶搜索索法在整个个图像像压缩缩过程程中，，寻找找最佳佳匹配配宏块块要占占据相相当多多的计计算时时间，，匹配配得越越好，，重构构的图图像质质量越越高。。预预测图图像P的压压缩编编码算算法30双向预预测图图像B的压压缩编编码框框图如如图13-09所示示。具体计计算方方法与与预测测图像像P的的算法法类似似。双双向预预测图图像B的压压缩编编码算算法13.2数数据压压缩算算法31图13-09双双向向预测测图像像B的的压缩缩编码码算法法框图图双双向预预测图图像B的压压缩编编码算算法32编码器器算法法允许许选择择I图图像的的频率率和位位置。。I图像像的频频率是是指每每秒钟钟出现现I图图像的的次数数位置是是指时时间方方向上上帧所所在的的位置置。I图像像的频频率为为2。。编码器器也允允许在在一对对I图图像或或者P图像像之间间选择择B图图像的的数目目。I图像像、P图像像和B图像像数目目的选选择依依据主主要是是根节节目的的内容容。在实际际应用用中还还要考考虑媒媒体的的速率率。电电视图图像的的结构构13.2数数据压压缩算算法33一个典典型的的I、、P、、B图图像安安排如如图13－－10所示示。编编码参参数为为：帧帧内图图像I的距距离为为15，预预测图图像(P)的距距离为为3。。电电视图图像的的结构构图13-10电电视视帧编编排34I、P和B图像像压缩缩后的的大小小如表表13-02所所示，，单位位为比比特。。I帧图图像的的数据据量最最大B帧图图像的的数据据量最最小。。表13-2三三种图图像的的压缩缩后的的典型型值电电视图图像的的结构构图像类型IPB平均数据/帧1格式(1.15)1500005000020000380002601格式(4.00)4000002000008000013000035为了适适应不不同数数据速速率设设备的的应用用，专家组组定义义了三三种质质量不不同的的编码码方式式：信噪比比可变变性()空间分分辨率率可变变性()时间分分辨率率可变变性()13.32的配配置和和等级级36信噪比比可变变性是是指图图像质质量的的折中中，对对于数数据率率比较较低的的解码码器使使用比比较低低的信信噪比比，而而对数数据率率比较较高的的解码码器则则使用用比较较高的的信噪噪比；；空间分分辨率率可变变性是是指图图像的的空间间分辨辨率的的折中中，对对于低低速率率的接接受器器使用用比较较低的的图像像分辨辨率，，而对对于数数据率率比较较高的的接受受器使使用比比较高高的图图像分分辨率率；时间分分辨率率可变变性是是指图图像在在时间间方向向上分分辨率率的折折中，，与空空间分分辨率率类似似。13.32的配配置和和等级级372引入入了““配置置”和和参数数“等等级””的概概念。。每种配配置定定义一一套新新的算算法，，每一个个等级级指定定一套套参数数范围围(如如图像像大小小、帧帧速率率和位位速率率)。。13.32的配配置和和等级级38配置定定义质质量的的可变变性和和彩色色空间间分辨辨率的的句法法子集集。等级定定义图图像分分辨率率和每每种配配置的的最大大位速速率的的参数数集。。例如，，当前前使用用得最最普遍遍的描描述符符是(,)，可译成成“基基本配配置@基本本级电电视””或者者“基基本句句法子子集@基本本参数数级””，它指的的是具具有这这种特特性的的电视视：帧帧速率率为30帧帧/秒秒，分分辨率率为720×576×30，，子采采样格格式为为4:2:0，，位速速率达达15。。13.32的配配置和和等级级392标准准期待待大多多数2设备备都能能够支支持这这种电电视。。又如，，(,)描描述符符指的的是帧帧速率率为30帧帧/秒秒、分分辨率率为1920××1152×60、、子采采样格格式为为4:2:0、、位速速率达达80的的制电电视。。13.32的配置置和等级级40专家组建建立了一一个用来来开发图图像和电电视图像像编码技技术的模模型，叫叫做“试试验模型型”或者者叫做““验证模模型”。。模型描述了一一个核心的编编码算法平台台，包括编码码器、解码器器以及位流的的语法和语义义。本节就电视图图像的编码和和解码的基本本方法作一个个简单介绍。。13.44电视图像像编码414编码算法法支持由1和和2提供的所所有功能，包包括对各种输输入格式下的的标准矩形图图像、帧速率率、位速率和和隔行扫描图图像源的支持持。4算法的核核心是支持内内容基的编码码和解码功能能，也就是对对场景中使用用分割算法抽抽取的单独物物理对象进行行编码和解码码。4还提供管管理这些电视视内容的最基基本方法。13.4.1电视图图像对象区的的概念424验证模型型引进了一个个叫做“电视视图像对象区区()”的概概念。如图13-11所示，上上图表示支持持1和2的普普通的4编码码器，下图表示4的的甚低速率电电视图像()的核心编码码器。4验证模型型假设每帧图图像被分割成成许多任意形形状的图像区区，每个区都都有可能覆盖盖描述场景中中感兴趣的物物理对象或者者内容，这种种区被定义为为图像对象区区。13.4.1电视图图像对象区的的概念43图13-11普通4编编码器和4核核心编码器器13.4.1电视图图像对象区的的概念44编码器输入的的是任意形状状的图像区，，图像区的形形状和位置也也可随帧的变变化而改变。。属于相同物理理对象的连续续的电视图像像对象区()组成电视图图像对象()。例如，一一个没有背景景图像的正在在演讲的人，，如图13-11所示。。4可单独对属属于相同电视视图像对象()的电视图图像区()的的形状、移动动和纹理信息息进编码和传传送，或者把把它们编码成成一个单独的的电视图像对对象层()。。13.4.1电视图图像对象区的的概念45需要标识每个个电视图像对对象层()的的信息也包含含在编码后的的位流中，这这些信息包括括各种电视图图像对象层()的电视图图像在接收端端应该如何进进行组合，以以便重构完整整的原始图像像序列。这样样就可以对每每个电视图像像对象区()进行单独解解码，提供了了管理电视图图像序列的灵灵活性。13.4.1电视图图像对象区的的概念464验证模型型对每个电视视图像对象()的形状、、移动和纹理理信息进行编编码形成单独独的层，以便便能够单独对对电视图像对对象()进行行解码。如果输入图像像序列只包含含标准的矩形形图像，就不不需要形状编编码，在这种种情况下，4使用的编编码算法结构构也就与1和和2使用的算算法结构相同同。13.4.2电视图图像编码方案案13.44电视图像像编码474验证模型型对每个电视视图像对象区区()使用用的压缩算法法是在1和2标准的基基础上开发的的，也是以图图像块为基础础的混合和变变换编码技术术。4编码算法定定义了帧内电电视图像对象象区()和帧帧间电视图像像对象区预测测()，以以及双向预测测电视图像对对象区()方方式。在对电视图像像对象区()的形状编码码之后，颜色色图像序列分分割成宏块进进行编码，如如图13-12所示。图中的Y1、、Y2、Y3和Y4表示示亮度宏块，，U、V分别别表示红色差差和蓝色差宏宏块。13.4.2电视图图像编码方案案48图13-12电视图像像序列中的和和编码方式和和宏块结构13.4.2电视图图像编码方案案49图13-13描绘了4的的编码算法法，用来对矩矩形和任意形形状的输入图图像序列进行行编码。这个基本编码码算法结构图图包含移动矢矢量的编码，，以及以离散散余弦变换为为基础的纹理理编码。13.4.2电视图图像编码方案案50图13-134编码码器的算法方方框图13.4.2电视图图像编码方案案514采用内容基基编码方法的的一个重要优优点是，使用用合适的和专专门的对象基基移动预测工工具可以明显显提高场景中中电视图像对对象的压缩效效率。图13-14表示4对电电视图像序列列的编码。左上角的图是是背景全景图图。右上角的图是是一个没有背背景的子图像像全景图，可可以把网球运运动员当作是是一个电视图图像对象()，经常把这这种可以独立立移动的小图图像称为子图图像()。下面的图是接接收端合成的的全景图。在编码之前这这个子图像全全景图从背景景全背景图序序列中抽出来来，然后分别别对它们进行行编码、传送送和解码，最最后再合成。。13.4.2电视图图像编码方案案52图13-144电视序序列编码举例例13.4.2电视图图像编码方案案53“电视图像分分辨率”是指指电视图像空空间分辨率和和时间分辨率率。空间分辨率是是指一帧图像像包含的行数数与每行显示示的像素数之之乘积时间分辨率是是指每秒种显显示或传输的的图像帧数。。设置电视图像像分辨率可变变编码功能的的目的：一是为了能够够灵活支持性性能不同的各各种电视接收收或显示设备备，或者支持持要求浏览电电视数据库等等方面的应用用。二是提供分层层次的电视图图像数据位流流，这样可按按应用所要求求的先后次序序进行传输。。13.4.3电视图图像分辨率可可变编码13.44电视图像像编码542也有电视图图像分辨率可可变编码功能能，但它是以以图像的帧为为基础进行编编码。4电视图像分分辨率可变编编码是以任意意形状的电视视图像对象区区()为基础础进行编码。。对那些没有能能力或者不愿愿意接收高分分辨率图像的的接收器，它它可以接收分分辨率比较低低的电视图像像，降低空间间分辨率或者者时间分辨率率意味降低图图像的质量。。13.4.3电视图图像分辨率可可变编码55空间分辨率可可变性和时间间分辨率可变变性的实现方方法类似。图13-15描述了多种种分辨率电视视图像编码方方案。该方案提供三三个层次的编编码/解码，，每一层都支支持在不同空空间分辨率下下进行编码/解码。多种空间分辨辨率的实现是是通过降低输输入电视信号号的采样率来来获得的。13.4.3电视图图像分辨率可可变编码56图13-15空间分辨辨率可变编码码方法13.4.3电视图图像分辨率可可变编码57现在我们使使用的电视视格式再加加上新制定定的电视格格式归纳在在图13-16中。。图中，K＝＝1024。表示像像素()。。美国把1280×720格式式称为高级级电视，把把1920×1035称为高高清晰度电电视。13.5格格式58图13-16数字字电视格式式13.5格格式591995年年11月28日美国国高级电视视委员会()向咨询询委员会提提交了数字字电视标准准，并推荐荐作为高级级电视广播播标准。该标准的电电视扫描格格式如表13-06所示。13.5格格式60表13-06电视视扫描格式式13.5格格式垂直方向行数水平方向像素长宽比图像速率1035192016:960I*30P*24P*720128016:960P30P24P48070416:9和4:360I60P30P24P4806404:360I60P30P24PI表示隔行行扫描；P表示非隔隔行扫描的长宽比为为16:9；,和为4:3支持整数和和非整数帧帧速率(60.00,59.94；；30.00,29.97；24.00,23.98)61电视图像压压缩以2标标准为基基础，采样样基本型配配置，等级级从基本级级到高级。。声音压缩以以3系统为为基础，采采样频率为为48，，支持5个个环绕声和和1个超低低频声道。。该规格是1996年年介绍的，，由于近年年来电视和和声音标准准的研究已已有新的进进展，因此此该规格有有可能在实实行过程中中会作修改改。13.5格格式62P25113.113.213.3第13章作作业：63谢谢1月-2320:37:4920:3720:371月-231月-2320:3720:3720:37:491月-231月-2320:37:492023/1/520:37:499、静静夜夜四四无无邻邻，，荒荒居居旧旧业业贫贫。。。。1月月-231月月-23Thursday,January5,202310、雨中黄叶树树，灯下白头头人。。20:37:5020:37:5020:371/5/20238:37:50PM11、以我独沈久久，愧君相见见频。。1月-2320:37:5020:37Jan-2305-Jan-2312、故人江海别别，几度隔山山川。。20:37:5020:37:5020:37Thursday,January5,202313、乍见见翻疑疑梦，，相悲悲各问问年。。。1月-231月-2320:37:5020:37:50January5,202314、他乡生白发发，旧国见青青山。。05一月20238:37:50下午20:37:501月-2315、比不了了得就不不比，得得不到的的就不要要。。。一月238:37下午午1月-2320:37January5,202316、行动出成果果，工作出财财富。。2023/1/520:37:5020:37:5005January202317、做前，能能够环视四四周；做时时，你只能能或者最好好沿着以脚脚为起点的的射线向前前。。8:37:50下下午8:37下下午20:37:501月-239、没有失失败，只只有暂时时