雷运发视频信息处理

1、第第5章章 视频信息处理视频信息处理 学习目标 掌握模拟视频信号的特点及数字化的基本方法; 理解运动图像压缩的国际标准MPEG-1和MPEG-2; 了解视频信息获取的基本原理和方法; 掌握视频编辑的基本步骤和方法 。5.1 数字视频原理 l5.1.1 模拟电视信号模拟电视信号l1黑白电视信号黑白电视信号 模拟视频图像扫描方式有隔行扫描和非隔行扫描之分。 黑白电视和彩色电视都用隔行扫描，而计算机显示图像时一般都采用非隔行扫描 （逐行扫描 ）。 非隔行扫描：非隔行扫描：电子束从显示屏的左上角一行接一行的扫到右下角，在显示屏上扫一遍就显示一幅完整的图像。隔行扫描：隔行扫描：电子束扫完第1行后回到第3

2、行开始的位置接着扫，然后在第5、7、行上扫，直到最后一行；奇数行扫完后接着扫偶数行，这样就完成了一帧（frame）的扫描。 l隔行扫描的一帧图像由两部分组成：一部分是由奇数行组成，称奇数场；另一部分是由偶数行组成，称为偶数场，两场合起来组成一帧。 l 每秒钟扫描多少行称为行频行频fH；每秒钟扫描多少场称为场频场频ff；每秒扫描多少帧称帧频帧频fF。 l采用隔行扫描 的优点：所占用的信号传输带宽要减少一半 ；l我国的电视画面传输率是每秒25帧、50场。25Hz的帧频能以最少的信号容量有效地满足人眼的视觉残留特性；隔行扫描使人眼不易觉察出闪烁，同时也解决了信号带宽的问题。l 由于我国的电网频率是5

3、0Hz，采用50Hz的场刷新率可以有效的去掉电网信号的干扰。 全电视信号主要由图像信号（视频信号）、复合消隐信号和复合同步信号组成。这两种信号加在一起称为全电视信号 l一个行周期的黑白电视信号中图像信号占52.2s，其余11.8s是扫描的逆程时间。逆程时间很短，而且逆程信号不能在屏幕上显示出来，因此逆程电平不能高于黑电平。 对于一张黑白图像，我们可以画出一行的黑白电视信号示意图，如下图所示： 在全电视信号中，把奇数场同步信号的前沿作为一场的起点，第1、2、3行是场同步信号，第4、5、6行是后均衡脉冲，722行还是场消隐信号，该场消隐信号从前场623行开始，因此，整个消隐信号是25行加一个行消隐

4、时间。图像信号从23行起到309.5行止，共287.5行，这就是第一场或称奇数场。从309.5行开始又是下一场的场消隐信号及前均衡脉冲，在312.5行出现下一个偶数场的场同步脉冲，奇数场到此结束。偶数场开始，图像信号及偶数场结束，如图2.7所示。奇数场加上偶数场称为一帧。l电视的清晰度电视的清晰度 一般用垂直方向和水平方向的分解率来表示。我国电视图像的垂直分解率为575行或称575线。这是一个理论值。 影响水平分解率的主要因素是电视系统的扫描电子束。一般认为应使水平方向与垂直方向的分解率相当时清晰度效果最好。由于电视屏幕的水平与垂直方向比例为4:3，故实际水平分解率设计成约540线。水平方向的

5、分解率或像素数决定电视信号的上限频率。电视信号逐行扫描时的信号带宽约为10MHz，而隔行扫描时的信号带宽约为5MHz。我国目前规定的电视图像信号的标称频带宽度为6MHz。l伴音信号伴音信号l音频信号的频率范围一般为20Hz20kHz，其频带比图像信号窄得多。电视的伴音要求与图像同步，而且不能混迭。因此一般把伴音信号放置在图像频带以外，放置的频率点称为声音载频。我国电视信号的声音载频为6.5MHz，伴音质量为单声道调频广播。 2彩色电视信号彩色电视信号 黑白电视只传送一个反映景物亮度的电信号就行了，而彩色电视除了传送亮度信号以外还要传送色度信号。为使电视台发射一种彩色电视信号，黑白和彩色电视都能

6、正常工作，黑白电视与彩色电视的兼容是个重要问题。实现实现黑白和彩色信号兼容：兼容：l1.必须使亮度和色度信号分开传送，以便使黑白电视和彩色电视能够分别重现黑白和彩色图像；l2.应尽量压缩彩色电视信号的频带宽度，使其与黑白电视信号的带宽相同；l3.除了新设置的色同步信号以外，应采用与黑白电视信号完全一致的行、场扫描以及消隐、同步等控制信号。采用YUV空间还可以充分利用人眼对亮度细节敏感而对彩色细节迟钝的视觉特性，大大压缩色度信号的带宽。我国规定的亮度信号带宽为6MHz，而色度信号U、V的带宽分别仅为1.3MHz。 在现代彩色电视系统中，通常采用YUV彩色空间或YIQ彩色空间，Y为亮度信号，它可以

7、与黑白全电视信号兼容，而U、V是色差信号。 l为了解决信号频带的兼容问题，还必须采用间插的方法把两个1.3MHz的色度信号频谱插在亮度信号频谱的高端，这是因为亮度信号的频谱高端信号较弱，而且间隔较大。这样既不增加6MHz的带宽，又不会引起亮度和色度信号的混乱。这种方式称为频谱的交错。l为了与声音载频相区分，一般称色信号在亮度信号频谱高端的中心位置为彩色副载波或简称为副载波。l我国彩色电视的副载波频率为4.43MHz。色度C信号的总带宽为2.6MHz，可以保证色度信号频谱都落在亮度带宽之内，如图。 5.1.2 模拟视频制式标准 l1NTSC彩色电视制式 l具有如下的扫描特性：l（1）525行/帧

8、，30帧/秒（29.97fps,33.37ms/frame）。l（2）高宽比：电视画面的长宽比（电视为4:3；电影为3:2；高清晰度电视为16:9）。l（3）隔行扫描：一帧分成2场（field），262.5线/场。l（4）在每场的开始部分保留20扫描线作为控制信息，因此只有485条线的可视数据。Laser disc约420线，S-VHS约320线。l（5）每行63.5微秒，水平回扫时间10微秒（包含5微秒的水平同步脉冲），所以显示时间是53.5微秒。l（6）颜色模型：YIQ。2PAL彩色电视制式 l扫描特性：l（1）625行（扫描线）/帧，25帧/秒（40ms/帧）。l（2）高宽比（aspec

9、t ratio）：4:3。l（3）隔行扫描，2场/帧，312.5行/场。l（4）颜色模型：YUV。 3SECAM彩色电视制式 l有如下的扫描特性：l（1）625行（扫描线）/帧，25帧/秒（40ms/帧）。l（2）高宽比：4:3。l（3）隔行扫描，2场/帧，312.5行/场。l（4）颜色模型：YUV。5.1.3 电视机和录像机的输入输出信号 l1电视机的输入输出信号 l电视信号主要包括5种成分：亮度信号、色度信号、色同步信号、复合同步信号和伴音信号。l根据不同的信号源，电视接收机的输入、输出信号有以下3种类型： l（1）高频或射频信号。l电视机从有线或天线（RF In）接收到微弱的射频电视信号

10、后，首先要通过调谐器对它进行解调，经过放大、混频和检波，滤掉高频载波分量，得到PAL、NTSC或SECAM制式的复合全电视信号，并从全电视信号中分离伴音信号和视频信号。音频信号经音频电路处理后送扬声器输出；视频信号经视频放大，并把亮度、色度信号分离开，得到YC分量信号。最后，把YC分量信号转换成YUV，进而转换成RGB分量信号并送显像管显示 （2）复合视频信号）复合视频信号 :复合视频信号，即从全电视信号中分离出伴音后的视频信号，这时的色度信号还是间插在亮度信号的高端。由于复合视频的亮度和色度是间插在一起的，在信号重放时很难恢复完全一致的色彩。这种信号一般可通过电缆输入或输出到家用录像机上，其

11、信号带宽较窄，一般只有水平240线左右的分分辨率。 l（3）S-Video信号。是一种两分量的视频信号，它把亮度和色度信号分成两路独立的模拟信号，用两路导线分别传输并可以分别记录在模拟磁带的两路磁迹上。这种信号不仅其亮度和色度都具有较宽的带宽，而且由于亮度和色度分开传输，可以减少其互相干扰，水平分辨率可达420线。与复合视频信号相比，S-Video可以更好的重现色彩。 2录像机分类及输入输出信号 l录像机:是利用磁记录原理把视频信号及其伴音信号记录在磁带上的设备，故也称为磁带录像机。与电视机类似，不同的录像机对应于不同制式的电视信号。 l按用途分类，主要有以下3种。l（1）家用录像机。采用复合

12、视频的格式来记录视频信号。根据不同的制式，同一种型号的家用录像机还有单制式、多制式和全制式之分。 l（2）专业用录像机。l指工业、文教、卫生等方面使用的录像机，其视频信号的水平分辨率可达250线以上。除了具有信号的记录和重放功能以外，它还具有编辑等功能，价格是家用录像机的10倍左右。这是目前制作电视或录像节目时大量使用的机种。 l（3）广播级录像机。l其技术指标是以视频信号的频带宽度来衡量的，一般视频带宽可高达5MHz，相当于400多线的水平分辨率（每1MHz带宽相当于水平分辨率约80线），基本上可以无失真的记录和重放视频信号。广播级录像机采用分量视频信号（Component Video）的记

13、录方式，分量视频指的是亮度Y、色差U和V分别是3路模拟信号，它们通过3路导线传送并记录在模拟磁带的3路磁迹上。分量视频由于其具有很宽的频带，可以提供最高质量及最精确的色彩重放。 5.1.4 电视信号数字化 l常用的方法有两种：l（1）先用高速模/数转换器对彩色全电视信号进行数字化，然后在数字域中进行分离亮度和色度，以获得所希望的YUV（PAL，SECAM制）分量或YIQ（NTSC制）分量，最后转换成RGB分量数据。此种方法称为复合数字化。l（2）从复合彩色电视图像中分离出彩色分量的亮度和色度，得到YUV或YIQ分量，然后用3个模/数转换器对3个分量分别进行数字化，最后再转换成RGB空间，此种方

14、法称为分量数字化分量数字化。 1数字视频的采样格式数字视频的采样格式 l在复合电视信号中，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时可采用副色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率。用Y:U:V来表示YUV三分量的采样比例，则数字视频的采样格式有如下4种：l（1）Y:U:V=4:4:4 :l指在每条扫描线上每4个连续的取样点取4个亮度Y样本、4个红色差Cr样本和4个蓝色差Cb样本，相当于每个像素包含3个样本。即对每个采样点，亮度Y、色差U和V各取一个样本，也就是每个像素用3个样本表示。 图图5-5 4:4:4子采样格式子采样格式 Y,Cb,Cr样本样本Y,Cb,Cr样

15、本样本仅仅Y样本样本 图图5-6 4:2:2子采样格式子采样格式 l（2）Y:U:V=4:2:2。 l这种方式是在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点和第三点的样本值，共8个样本，平均每个像素用2个样本表示。这种方式能给信号的转换留有一定余量，效果更好一些。这是通常所用的方式，指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样本，结果相当于平均每个像素用2个样本表示。 l（3）Y:U:V=4:1:1。这种方式是在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点的样本值，共6个样本，每个像素用1.5个样

16、本表示。显然这种方式的采样比例与全电视信号中的亮度、色度的带宽比例相同，数据量较小。 l（4）Y:U:V=4:2:0。4:2:0子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。 图图5-7 4:1:1子采样格式子采样格式 图5-8 MPEG-1使用的4:2:0子采样格式 扫描方式小结l电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等，

17、最后才能得到数字视频数据。 2数字视频标准数字视频标准 l为了在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数，国际无线电咨询委员会（CCIR）制订了广播级质量的数字电视编码标准，称为CCIR 601标准。该标准规定了彩色电视图像转换成数字图像时使用的采样频率，彩色空间之间的转换关系等。l（1）采样频率。ITU-RBT.601标准为三种电视制式规定了共同的电视图像采样频率。其基本的计算方法是：l对PAL制、SECAM制，采样频率fs为：lfs=62525N=15625N=13.5 MHz，N=864 l其中：N为每一扫描行上的采样数目。在PAL制、SECAM制中，625是指行数，

18、25表示每秒帧数。 l（2）有效显示分辨率。l对PAL制和SECAM制的亮度信号，每一条扫描行采样864个样本；对NTSC制的亮度信号，每一条扫描行采样858个样本。为了使这些制式的采样点兼容，规定每一扫描行的有效样本数均为720个。l （3）数据量。lCCIR 601规定，每个样本点都按8位数字化，即有256个等级。但实际上亮度信号占220级、色度信号占225级，其他位作同步、编码等控制用。如果按fs的采样率和4:2:2的格式采样，则数字视频的数据量为：l13.5(MHz)8(bit)+26.75(MHz)8(bit)=27MB/s （4）CIF、QCIF和和SQCIFl为了兼容625行的电

19、视图像和525行的电视图像，CCITT定义了公用中分辨率格式CIF（Common Intermediate Format），1/4公用中分辨率格式（Quarter-CIF，QCIF）和（Sub-Quarter Common Intermediate Format，SQCIF）格式。CIF格式具有如下特性：ll 电视图像的空间分辨率为家用录像系统VHS的分辨率，即352288。ll 使用非隔行扫描（Non-Interlaced Scan）。ll 使用NTSC帧速率，电视图像的最大帧速率为30 000/100129.97幅/秒。ll 使用1/2的PAL水平分辨率，即288线。l对亮度和两个色差信号

20、（Y、Cb和Cr）分量分别进行编码，它们的取值范围同ITU-R BT.601。即黑色=16，白色=235，色差的最大值等于240，最小值等于16。 CIF QCIFSQCIF行数/帧像素/行行数/帧像素/行行数/帧像素/行亮度（Y）288360(352)144180(176)96128色度（Cb）144180(176)7290(88)4864色度（Cr）144180(176)7290(88)4864下表是CIF、QCIF和SQCIF图像格式参数。本讲习题l一、选择题l1，2，3，4，5l二、填空题l3。l三、问答题l1，25.2 MPEG视频压缩标准 l视频压缩的目标是在尽可能保证视觉效果的前

21、提下减少视频数据率。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处。但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目标。 视频信息经过数字化处理后其数据量是非常大的，如果不进视频信息经过数字化处理后其数据量是非常大的，如果不进行数据压缩处理，计算机系统就无法对它进行存储和交换。行数据压缩处理，计算机系统就无法对它进行存储和交换。5.2.1 视频压缩编码的基本概念视频压缩编码的基本概念l1有损和无损压缩有损和无损压缩l无损压缩指压缩前和解压缩后的数据完全一致。适合于由计算机生成的图像，它们一般具有连续的色调。但是无损算法一般对数

22、字视频和自然图像的压缩效果不理想，因为其色调细腻，不具备大块的连续色调。 l几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据与压缩比有关，压缩比越小，丢失的数据越多，解压缩后的效果一般越差。 l2帧内和帧间压缩帧内和帧间压缩l帧内压缩帧内压缩也称为空间压缩。当压缩一帧视频时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。l帧间压缩帧间压缩也称为时间压缩，它通过比较时间轴上不同帧之间的数据进行压缩。帧间压

23、缩一般是有损的。采用帧间压缩基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。 l3对称和不对称编码对称和不对称编码 l对称意味着压缩和解压缩占用相同的计算处理能力和时间。对称算法适合实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。 l不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好的实时回放，即以不同的速度进行压缩和解压缩。一般来说，压缩一段视频的时间比回放（解压缩）该视频的时间要多得多。 5.2.2 MPEG标准概述 l目前有多种视频压缩编码方法，但其中最有代表性的是MPEG数字视频格式和AVI数字视频格式。 l

24、MPEG（Moving Picture Export Group）是1988年联合成立的一个专家组，它的工作是开发满足各种应用的运动图像及其伴音的压缩、解压缩和编码描述的国际标准。一般来说，MPEG标准分为MPEG视频、MPEG音频和MPEG视音频三个部分。l到2004年为止，开发和正在开发的MPEG标准有：MPEG-1、MPEG-2、MPEG-4 、MPEG-7 和MPEG-21 。lMPEG系列国际标准已经成为影响最大的多媒体技术标准，对数字电视、视听消费电子产品、多媒体通信等信息产业中的重要产品将产生深远的影响。 l MPEG-1：运动图像数字压缩标准，1992年正式发布。 l MPEG

25、-2：运动图像数字压缩标准。Ll MPEG-3：已于1992年7月合并到高清晰度电视（High-Definition TV，HDTV）工作组。l MPEG-4：运动图像数字压缩标准及多媒体应用标准（1999年发布）。 l MPEG-5：直至1998年9月还没有见到定义。 l MPEG-6：直至1998年9月还没有见到定义。 l MPEG-7：多媒体内容描述接口标准。l MPEG-21：多媒体框架和综合应用方面的框架。该标准致力于在大范围的网络上实现透明的传输和对多媒体资源的充分利用。5.2.3 MPEG-1标准 lMPEG-1的标准名称为“信息技术用于数据速率高达大约1.5 Mb/s的数字存储

26、媒体的电视图像和伴音编码 。它处理的是标准图像交换格式的电视，即NTSC制为352像素240行/帧30帧/秒，PAL制为352像素288行/帧25帧/秒，压缩的输出速率定义在1.5 Mb/s以下。 1MPEG-1标准简介 l 由五个部分组成：l（1）MPEG-1系统系统： 规定了运动图像数据、声音数据及其他相关数据的同步。l（2）MPEG-1视频视频： 规定了视频数据的编码和解码。l（3）MPEG-1音频音频： 规定了声音数据的编码和解码 。l（4）MPEG-1一致性测试：说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分中所规定的要求。l（5）MPEG-1软件模拟：这部分内容是一个

27、技术报告，给出了用软件执行MPEG-1标准前3个部分的结果。2运动图像的压缩依据运动图像数据压缩主要根据下面两点：（1）运动图像序列中有许多重复的数据，使用数学方法来表示这些重复数据就可以减少数据量；（2）人的眼睛对图像细节和颜色的辨认有一个极限，把超过极限的部分去掉，这也就达到了压缩数据的目的。 利用前一个事实的压缩技术就是无损压缩技术，利用后一个事实的压缩技术就是有损压缩技术。实际的图像压缩是综合使用各种有损和无损压缩技术来实现的。运动图像压缩技术的基本方法主要表现在：（1）在空间方向上，图像数据压缩采用JPEG（Joint Photographic Experts Group）压缩算法来

28、去掉冗余信息。（2）在时间方向上，图像数据压缩采用移动补偿（Motion Compensation）算法来去掉冗余信息。3运动图像分类及排序为保证图像质量基本不降低而又能够获得高的压缩比，MPEG标准定义了三种图像：帧内图（Intrapictures I），预测图（Predicted Pictures P）和插补图，即双向预测图（Bidirectional Prediction B）。图像压缩首先需要处理I帧图像，然后是对应的前向预测图像P，在两者的基础上才处理B图像。MPEG编码器算法允许选择I图像的频率和位置。I图像的频率是指每秒钟出现I图像的次数，位置是指时间方向上帧所在的位置。一个典型

29、的I、P、B图像安排如图所示。编码参数为：帧内图像I的距离为N=15，预测图像P的距离为M=3。4帧内图像I的压缩编码基本的过程如下：1 将图像进行颜色空间变换。如将RGB空间转换为YCrCb空间表示的图像。2 将图像划分成宏块，每个宏块包含1616个像素点，每个宏块根据图像子采样进一步划分成88的图块。如采用4:1:1的图像子采样，则一个宏块包括4个Y块，1个Cr块和1个Cb块。3 对每个图块进行离散余弦变换（DCT）。DCT变换后经过量化的交流分量系数按照Z字形排序，然后再使用无损压缩技术进行编码。DCT变换后经过量化的直流分量系数用差分脉冲编码（DPCM），交流分量系数用行程长度编码（R

30、LE），形成中间编码格式。4 最后用哈夫曼（Huffman）编码或者用算术编码。5对P和B图像的压缩编码预测图像的编码也是以宏块为基本编码单元。预测图像P编码需要两种类型的参数： 如图，假设编码图像宏块MPI是参考图像宏块MRJ的最佳匹配块，它们的差值就是这两个宏块中相应像素值之差。对所求得的差值进行彩色空间转换，并作4:1:1的子采样得到Y、Cr和Cb分量值，然后仿照JPEG压缩算法对差值进行编码，计算出的移动矢量也要进行哈夫曼编码。当前要编码的图像宏块与参考图像的宏块之间的差值宏块间的移动矢量。双向预测图像B的压缩编码框图如下图。具体计算方法与预测图像P的算法类似。6MPEG解码过程由于运

31、动图像的视频和音频需要同步，所以MPEG压缩算法应该对两者综合考虑，最后产生一个电视质量的视频和音频形式的位速率约为1.5Mb/s的MPEG单一位流。图中MUX-1是多路复合/分离器。单一数据流经过多路分离器，分离出移动矢量、宏块类型、量化步长和数据流。视音频数据流经过逆量化、逆DCT变换，结合宏块类型和运动向量产生视音频数据。MPEG-1的应用领域包括：光盘、数字音频磁带（DAT）、磁带设备、温彻斯特硬盘以及通信网络（如ISDN和局域网等）。其典型的应用是VCD，99%的VCD都是用MPEG-1格式压缩的，使用MPEG-1的压缩算法，可以把一部120分钟长的电影（未压缩视频文件）压缩到1.2

32、GB左右大小。为了支持多种应用，可由用户来规定多种输入参数，包括灵活的图像尺寸和帧频。MPEG-1标准提供了一些录像机的功能，包括正放、图像冻结、快进、快倒和慢放，此外，还提供了随机存取的功能。MPEG-1的应用领域524 MPEG-2标准lMPEG-2标准MPEG工作组制定的第二个国际标准，标准号是ISO/IEC 13818。它是一个直接与数字电视广播有关的高质量图像和声音编码标准。和MPEG-1相比增加了隔行扫描电视的编码，提供了位速率的可变性能（scalability）功能。MPEG-2要达到的最基本目标是：位速率为4Mb/s9Mb/s，最高达15Mb/s。MPEG-2包含9个部分：（1

33、）MPEG-2系统（1994年）规定电视图像数据、声音数据及其他相关数据的同步。（2）MPEG-2视频（1994年）规定了视频数据的编码和解码算法。（3）MPEG-2音频规定了声音数据的编码和解码，是MPEG-1 Audio的扩充，支持多个声道。（4）MPEG-2一致性测试。（5）MPEG-2参考软件。（6）MPEG-2数字存储媒体命令和控制扩展协议。（7）MPEG-2高级音频编码是多声道声音编码算法标准。（8）MPEG-2系统解码器实时接口扩展标准。 这是与传输数据流的实时接口（Real-Time Interface，RTI）标准，它可以用来适应来自网络的传输数据流，如图。（9）MPEG-2

34、 DSM-CC一致性扩展测试。与MPEG-1标准相比，MPEG-2的不同特性主要表现在：（1）MPEG-2有“按帧编码”和“按场编码”两种模式。在MPEG-1中是没有电视帧的概念，只支持逐行扫描，不支持隔行扫描。在MPEG-2中，针对隔行扫描的常规电视图像专门设置了“按帧编码”模式，相应的运动补偿算法也有扩充，分为“按帧运动补偿”和“按场运动补偿”，其编码效率显著提高。（2）MPEG-2的类与等级。MPEG-2提出了配置与等级的概念。配置是按视频编码技术的简单还是复杂而确定的；对每个配置，根据编码参数的不同，即图像格式的简单还是复杂，进一步划分为不同的等级。MPEG-2标准中规定了5种配置4个

35、等级。5个类依次为简单类、主类（Main Profile）、信噪比可伸缩类（SNR Profile）、空间分辨率可伸缩类（Simple Profile）、高级类（High Profile）。4个等级由低到高为低等级（Low Level）、主等级（Main Level）、1440等级（High 1440Level）和高等级（High Level）。配置和等级之间可能的组合如表。配置等级简单配置主要配置信噪比可变配置空间可变配置高级配置高等级#1440等级#主等级#低等级# MPEG-2实际应用点（3）MPEG-2增加了分层编码。MPEG-2可伸缩性体现在：空间分层编码：提供空间分辨率不同的图像。

36、时间分层编码：提供空间分辨率相同，但帧速率不同的视频信号。信噪比分层编码：提供具有相同空间分辨率，但编码质量不同的视频比特流。数据分割编码：将编码比特流分成两个优先级不同的部分。（4）MPEG-2扩充了系统层语法。MPEG-2对系统层语法有了较大的扩充，包含了两类数据码流：传输码流（Transport Stream，TS）和节目码流（Program Stream，PS）。MPEG-2的应用领域很广，它不仅支持面向存储媒介的应用，而且还支持各种通信环境下数字视频信号的编码和传输。如数字电视、TV机顶盒和DVD（数字视频光盘），此外还可以应用于信息存储、Internet、卫星通信、视频会议和多媒体

37、邮件等，其典型的应用是DVD和HDTV（高清晰度电视）。为了适应不同的应用环境，MPEG-2中有很多可以选择的参数和选项，改变这些参数和选项可以得到不同的图像质量，满足不同的需求。5.2.5 MPEG-4、MPEG-7和MPEG-21标准 1MPEG-4标准MPEG-4是针对低速率（64kb/s）的视频压缩编码标准，同时还注重基于视频和音频对象的交互性。主要内容包括：系统、视频、音频、一致性测试、软件仿真和多媒体综合框架等。系统模块的一般框架是：对自然或合成的视频和音频对象进行场景描述，对视频和音频数据流进行管理，对灵活性的支持以及对系统不同部分的配置。视频模块提供了对多种视频格式和码流的支持

38、，支持基于内容的视频功能，即能够按视频内容分别编解码和重建。 音频模块不仅支持自然的声音，而且支持基于描述语言的合成声音。同时还支持音频的对象特征，即一个场景中，有人、声和背景音乐，它们可以是独立编码的音频对象。多媒体综合框架（DMIF）主要解决交互网络、广播环境以及磁盘中多媒体应用的操作问题，通过传输多路合成比特信息，建立客户端和服务器端的握手和传输。MPEG-4支持基于视觉内容的交互功能。而实现此功能的关键在于基于视频对象的编码，为此引入了视频对象平面（Video Object Plane，VOP）概念，即输入视频序列的每一帧被分割成许多任意形状的图像区域（视频对象平面），每个区域可能包括

39、一个感兴趣的具体图像或视频内容。在一个场景中属于同一物理对象的VOP序列称为一个视频对象（Video Object，VO）。属于同一VO的VOP形状、运动和纹理信息，均在一个分开的视频对象层（Video Object Layer，VOL）内编码和传输。另外，标志每一个VOL的相关信息以及在接收端各个VOL的任意组合和重构完整的原始图像等信息均被包括在码流之中，因此可以实现对每个VOP单独进行解码，并对视频序列进行灵活的操作。MPEG-4的应用领域包括：数字广播电视、实时多媒体监控、低比特率下的移动多媒体通信、基于内容的信息存储和检索多媒体系统、网络视频流与可视游戏、基于面部表情模拟的虚拟会议、

40、DVD上的交互多媒体应用、演播室和电视的节目制作等。2MPEG-7标准MPEG-7也称为多媒体内容描述接口（Multimedia Content Description Interface），目的是制定一套描述符标准，用来描述各种类型的多媒体信息和它们之间的关系，以便更快、更有效地检索信息。这些媒体包括静态图像、图形、3D模型、声音、话音、电视以及在多媒体演示中它们之间的关系。在某些情况下，数据类型还可以包括面部特性和个人特性的表达。 MPEG-7的处理链包括三个部分：特征抽取、标准描述和检索工具。 MPEG-7的应用领域包括：数字图书馆（Digital Library），如图像目录、音乐词典

41、等；多媒体目录服务（Multimedia Directory Services）；广播媒体的选择等。MPEG-7潜在应用领域还包括：教育、娱乐、新闻、旅游、医疗、购物等。3MPEG-21标准（1）MPEG-21的目标。MPEG-21总体上来讲是一个支持通过异构网络和设备使用户透明而广泛地使用多媒体资源的标准，其目标是建立一个交互的多媒体框架。支持以下功能：通过网络和/或设备存取、使用并交互操作多媒体对象。实现多种业务模型，包括在价值链中对版权和支付交易的自动管理。对内容使用者隐私的尊重。MPEG-21技术报告向人们描绘了一幅未来的多媒体环境场景，这个环境能够支持各种不同的应用领域，不同用户可以

42、使用和传送所有类型的数字内容。（2）MPEG-21的主要内容。MPEG-21多媒体框架是一个结构化的框架，从结构上可分成7大要素：1）数字项声明，即一种对数字项进行声明的统一而灵活的提取和可交互方案。2）内容展现手法，它是不同媒体的数据展现方式，如音频、视频的播放。3）数字项的标记和描述，这是对不同自然属性、类型和粒度的数字项进行统一标记和描述的结构。4）内容的管理和使用，它为以下过程提供接口和协议：经内容传输和消费价值链创建、制作、存储、传送和使用的内容。5）知识产权的管理和保护，是内容在网络和设备上持久稳固的、可信的被管理和保护的方法。6）终端和网络，它们提供可交互和透明的通过网络和终端设

43、备存取内容的能力。7）事件报告，它可以使用户准确了解在框架中发生的事件的可表征性能的语法和接口。同时，MPEG-21多媒体框架标准提出了许多用户需求，可以归结为两大类：一是MPEG-21应用发展所需的新标准；二是为现有其他或者将来的标准和服务提供标准接口，如：将为XML、MPEG-2、TCP/IP等标准提供应用于MPEG-21框架中的标准接口，为未来标准和服务的发展提供应用于MPEG-21框架中的扩展接口。最终，MPEG将在制定标准的同时实现统一的多媒体框架。（3）应用范畴。MPEG-21的目标是要为多媒体信息的用户提供透明而有效的电子交易和使用环境。5.3 流媒体技术5.3.1 流媒体与流放

44、 流媒体是通过网络传输的音频、视频或多媒体文件。流媒体在播放前不需要下载整个文件，流媒体的数据流随时传送随时播放，只是在开始时有一些延迟。当流式媒体文件传输到客户方的计算机时，在播放之前该文件的部分内容已存入内存。流媒体简单来说就是应用流媒体技术在网络上传输的多媒体文件。 流放技术就是把连续的视频和声音等多媒体信息经过压缩处理后放置在特定的服务器上，让用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看的网络传输技术。该技术首先在用户端的计算机上创造一个缓冲区，播放前预先下载一段资料作为缓冲，当网路实际连线速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内

45、的资料，避免播放的中断，也使得播放品质得以维持。 目前在这个领域上，竞争的公司主要有三个：Microsoft、Real Networks、Apple，而相应的产品是：Windows Media 、Real Media、Quicktime。网络环境中，利用流放技术传播多媒体文件有如下优点：（1）实时传输和实时播放。流放多媒体使得用户可以立即播放音频和视频信号，无须等待文件传输结束，这对获取存储在服务器上的流化音频、视频文件和现场回访音频和视频流都具有十分重要的意义。（2）节省存储空间。采用流技术，可以节省客户端的大量存储空间，预先构造的流文件或用实时编码器对现场信息进行编码。（3）信息数据量较小

46、。现场流都比原始信息的数据量要小，并且用户不必将所有下载的数据都同时存储在本地存储器上，可以边下载边回放，从而节省了大量的磁盘空间。5.3.2 Windows Media Service简介简介 Windows Media Service是一个能适应多种网络带宽条件的流式多媒体信息的发布平台，包括了流式媒体的制作、发布、播放和管理的一整套解决方案。另外，还提供了开发工具包（SDK）供二次开发使用。 Windows Media Service的核心是ASF（Advanced Stream Format）。ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包

47、的形式传输，实现流式多媒体内容发布。其中，在网络上传输的内容就称为ASF Stream。ASF支持任意的压缩/解压缩编码方式，并可以使用任何一种底层网络传输协议，具有很大的灵活性。 Windows Media Service系统由三部分构成：媒体服务器（Windows Media Server）媒体文件制作工具（包括媒体编码器（Windows Media Encoder）、ASF文件制作工具（Media Authoring）和ASF文件管理工具（Media Index）客户端媒体播放器（Windows Media Player）。分别对应制作、发布和播放三个基本过程。1媒体服务器 媒体服务器（

48、Windows Media Server）对外提供ASF流式媒体的网络发布服务，包括两大基本服务模块：单播（Unicast Service）和多播（Station Service）。 Windows Media系统还提供了一套主页形式的管理工具，可以方便的对服务器进行远程管理，完成服务器配置，监控运行时的各种事件、流量、控制客户访问的日志记录等。 2ASF文件制作工具文件制作工具媒体编码器（Windows Media Encoder）的主要任务是对输入的音频、视频信号进行编码产生ASF文件或ASF数据流。编码后形成的音、视频流既可以保存到本地计算机上也可以用流媒体广播协议MSBD（Media

49、Streaming Broadcast Distribution）发送给媒体服务器。流媒体文件制作工具用于将录制好的音视频信息、图片、Powerpoint制作的幻灯片（电子教案）、各种word文档、script等各种信息合成到一起，形成单一的ASF流媒体文件； Media ASF Indexer 对ASF 添加标记（marker）和描述（script）。3媒体播放器媒体播放器媒体播放器（Windows Media Player）用来从媒体服务器接收ASF流并解压播放。目前使用比较广泛的媒体播放器是Windows Media Player和Real Player。Windows Media Pl

50、ayerReal Player媒体播放器用来播放声音或者视频文件，一般具有下述功能：（1）解压缩：几乎所有的声音和视频都是经过压缩之后存放在存储器中的，因此无论播放来自存储器或者来自网络上的声音和视频都需要解压缩。（2）去抖动：在媒体播放器中使用缓存技术限制抖动，把声音或者视频图像数据先存放在缓冲存储器中，经过一段延时之后再播放。（3）错误处理：由于在因特网上往往会出现让人不能接收的交通拥挤，信息包流中的部分信息包在传输过程中就可能会丢失。如果连续丢失的信息包太多，用户接收的声音和视频图像质量就不能容忍。采取的办法往往是重传。（4）用户控制接口：用户直接控制媒体播放器播放媒体的实际接口。媒体播

51、放器为用户提供的控制功能通常包括声音的音量大小、暂停/重新开始和跳转等。5.3.3 流媒体服务的应用方式流媒体服务的应用方式流媒体服务（Windows Media Service）系统能用于多种网络环境，基本的应用方式有如下几种：1点播服务（On-Demand Unicast）“点播”是用户从媒体服务器接收流信息的一种方式。点播连接是客户端与服务器之间的主动连接。在点播连接中，用户通过选择内容项目来初始化客户端连接。内容以 ASF 流从服务器传到客户端。点播服务方式下，用户相互之间互不干扰，可以对点播内容的播放进行控制，最为灵活，但是占用服务器、网络资源多。 2单点或多点广播服务单点或多点广播

52、服务（Broadcast Unicast/Multicast）广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。共有两类广播：单播和多播，两种方式都是被动的。广播服务下，用户只观看播放的内容，不能进行控制。可以使用ASF文件作为媒体内容的来源，但实时的多媒体内容最适合使用广播服务方式。如图为单点或多点广播服务方式。Windows Media服务器管理员必须创建三个项目以支持多播：广播站、节目和流。“广播站”充当客户连接流的引用点，“节目”组织将要通过广播站广播的内容，“流”是实际内容。所有这三个项目都建立后，Windows Media管理器会创建一个.asx 文件，链接客户到

53、正确的广播站的IP地址；此文件称为一个“通知”。Web网页链接到该通知文件，并将其放置到网络上的公共共享点，或通过电子邮件将其发送给客户。3服务器扩展（服务器扩展（Distribution）通过服务器扩展方式可以把一个Media Server输出的ASF流输出到另外一个Media Server，再向用户提供服务。一种应用是通过服务器扩展进行发布服务器的扩展，为更多的用户服务。另一种应用是通过服务器扩展使Media Server跨越非广播的网络，提供广播服务。另外，Windows Media Service还支持HTTP Stream方式。使用通用的HTTP协议可以更好的工作在Internet上

54、，如跨越防火墙进行媒体内容的传输。下图为服务器扩展工作方式。5.3.4 理解理解Windows Media服务协议服务协议Windows Media服务系统各组件之间是通过协议进行通信的，主要协议包含：1MMS协议概述MMS协议用于访问媒体发布点上的单播内容，MMS是连接媒体单播服务的默认方法。若用户在媒体播放器中键入一个URL以连接内容，而不是通过超级链接访问内容，则必须使用MMS协议引用该流。当使用MMS协议连接到发布点时，使用协议翻转以获得最佳连接。“协议翻转”试图通过MMSU连接客户端，MMSU是MMS协议结合UDP数据传送。如果MMSU连接不成功，则服务器试图使用MMST，MMST是

55、MMS协议结合TCP数据传送。如果连接到编入索引的.asf文件，想要快进、后退、暂停、开始和停止流，则必须使用MMS，不能用URL路径快进或后退。 若从独立的媒体播放器连接到发布点，则必须指定单播内容的URL。若内容在主发布点点播发布，则URL由服务器名和.asf文件名组成。例如：mms:/windows_media_server/sample.asf 其中：windows_media_server是媒体服务器名，sample.asf是想要使之转化为流的.asf文件名。 若有实时内容要通过广播单播发布，则该URL由服务器名和发布点别名组成。例如：mms:/windows_media_serve

56、r/LiveEvents2MSBD协议概述协议概述MSBD协议是用于在媒体编码器和媒体服务器组件之间分发流，并在服务器间传递流。MSBD是面向连接的协议，对流媒体最佳。MSBD对于测试客户端、服务器连接和ASF内容品质很有用处，但不能作为接收ASF内容的主要方法。媒体编码器最多可支持15个MSBD客户端；而一个媒体服务器最多可支持5个MSBD客户端。3HTTP概述可以配置媒体服务器使用HTTP协议将内容转化为流。使用HTTP流可以帮助克服防火墙障碍，因为大多数防火墙允许HTTP通过。HTTP流可用来由媒体编码器通过防火墙到媒体服务器，并可用以连接被防火墙隔离的媒体服务器。若以同一计算机既作为W

57、eb服务器又运行媒体服务，例如Microsoft Internet信息服务（IIS），请确保在端口号80无冲突。如图所示描述了如何使用协议在Windows Media服务系统各组件之间进行通信。5.3.5 使用媒体播放器播放流媒体文件使用媒体播放器播放流媒体文件1从独立媒体播放器访问内容使用媒体播放器访问内容：单击“文件”菜单中的“打开”，然后在“打开”对话框中键入位置。（1）播放存储的.asf文件。在“打开”对话框中键入：mms:/server/file.asf如果媒体服务器配置为使用HTTP传送流媒体内容，则应键入：http:/server/file.asf服务器从ASF内容文件夹（例如，

58、systemdriveASFRoot）发送流媒体文件。当媒体服务器启用了HTTP流时，服务器仍然使用ASF内容文件夹作为它的主目录；服务器不使用HTTP虚拟根目录（也就是systemdrivewwwroot）作为主目录。（2）通过ASX文件播放内容。使用ASX文件从媒体服务器、广播单播发布点或多播广播站访问.asf文件。ASX文件是指到ASF内容的指针。若要通过独立的播放器使用ASX文件，必须知道到ASX文件的路径。可在“打开”对话框中键入文件的路径。例如，若要访问一个共享文件夹，请键入：serversharefile.asx或者，想要访问一个Web站点，请键入：http:/server/fi

59、le.asx（3）从HTML页播放内容。若要使用媒体播放器访问Web页，请在“打开”对话框中键入：http:/webserver/page.htm媒体播放器将URL传递到本地浏览器以打开并找到Web页。一旦加载HTML页，嵌入的媒体播放器出现并开始显示与它相关的ASF内容。2从链接启动媒体播放器有两种方法可以从一个Web页或Web应用程序的链接启动Microsoft媒体播放器并接收来自媒体服务器的内容：（1）可以启用HTTP流并直接使用到ASF内容的HTTP链接。必须使用HTTP流以通过防火墙发送内容。（2）可以使用HTTP链接到.asx文件，它包含了媒体播放器用以访问ASF内容的指导。asx

60、文件必须驻留在HTTP服务器上，如Internet信息服务器（Internet Information Server，IIS），并在一个用户可以访问的目录中。若要使用.asx源文件从Web页或Web应用程序的链接中启动媒体播放器，请使用与下面示例类似的HTML代码创建一个URL：这个链接将客户端发送到.asx文件，该文件会将播放器导向您的内容的访问点。3嵌入媒体播放器嵌入媒体播放器ActiveX控件控件可以将Microsoft媒体播放器ActiveX控件嵌入到一个Web页或支持ActiveX的其他应用程序容器中，这样媒体播放器就不会作为一个单独的应用程序启动。当用户访问嵌入控件的页时，会出现一