第三章 流媒体编解码技术

1、vMPEG-1 MPEG-1 和和 MPEG-2 MPEG-2 标准标准vMPEG-4 MPEG-4 视频编码标准视频编码标准vMPEG-7 MPEG-7 标准标准vH.263+ H.263+ 和和 H.263+ H.263+ 标准标准vMPEGMPEG：Moving Pictures Experts GroupMoving Pictures Experts Group（运动图像专家组）（运动图像专家组）v负责制订适用于数字存储媒介、电视广播和负责制订适用于数字存储媒介、电视广播和通信等应用场合的视频和音频数据的压缩编通信等应用场合的视频和音频数据的压缩编码标准码标准vMEPG-1MEPG-1

2、，MEPG-2MEPG-2，MEPG-4MEPG-4，MEPG-7 MEPG-7 和和 MEPG-21MEPG-213.2 MPEG-1 3.2 MPEG-1 和和 MPEG-2 MPEG-2 标准标准vMPEG-1 MPEG-1 标准全称：标准全称：Coding of Moving Pictures Coding of Moving Pictures and Associated Audio for Digital Storage and Associated Audio for Digital Storage Media at up to about 1.5Mbp/sMedia at up

3、 to about 1.5Mbp/sv第一部分说明了如何根据第二部分（视频）以及第第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编三部分（音频）的规定，对音频和视频进行复合编码。码。v第四部分说明了检验解码器或编码器的输出比特流第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。符合前三部分规定的过程。v第五部分是一个用完整的第五部分是一个用完整的C C语言实现的编码和解码语言实现的编码和解码器。器。vMPEG-2 MPEG-2 标准全称：标准全称：Generic Coding of Moving Generic Coding of Mo

4、ving Pictures and Associated Audio InformationPictures and Associated Audio Information3.2.1 MPEG-1/-2 3.2.1 MPEG-1/-2 标准中的三种编码类型图像标准中的三种编码类型图像vI I 帧帧 A I-frame is encoded using only information from within that frame(intra coded) - no temporal compression(inter coded)vP P 帧帧 P frame (predicted fram

5、e) use preceding frame as reference imagevB B 帧帧 B frame (bidirectional frame) use both preceding frame and following frame as reference imagesI P B B B P B B B P B B B1 5 2 3 4 9 6 7 8 13 10 11 12A typical group of pictures in coding orderI B B B P B B B P B B B PA typical group of pictures in disp

6、lay order3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构v视频数据经过压缩编码后形成视频基本码流视频数据经过压缩编码后形成视频基本码流（ESES）vMPEG MPEG 用句法规定了一个分层结构用句法规定了一个分层结构v对分层要求：支持通用性、灵活性和有效性对分层要求：支持通用性、灵活性和有效性vMPEG MPEG 视频基本码流的分层结构视频基本码流的分层结构v从上至下依次为：视频序列层从上至下依次为：视频序列层(Sequence)(Sequence)，图，图像组层像组层(GOP(GOP：GroupofPictureGroupofPicture) )，图像层，图像层(Pic

7、ture)(Picture)，像条层，像条层(Slice)(Slice)或宏块条（片）层，或宏块条（片）层，宏块层宏块层(MacroBlock(MacroBlock) )和像块层和像块层(Block)(Block)。 v除宏块层和像块层外，上面四层中都有相应除宏块层和像块层外，上面四层中都有相应的起始码，可用于因误码或其它原因收发两的起始码，可用于因误码或其它原因收发两端失步时，解码器重新捕捉同步。因此一次端失步时，解码器重新捕捉同步。因此一次失步将至少丢失一个像条的数据失步将至少丢失一个像条的数据 。3.2.2 视频码流的分层结构视频码流的分层结构图像序列头图像序列头图像组图像组图像组图像组

8、.图像组图像组序列尾序列尾图像头图像头像条像条MBS像条像条MBS.图像组头图像组头图像（图像（I,P,B)图像（图像（I,P,B).像条头像条头宏块宏块MB宏块宏块MB. 1 88 2 88 3 88 4 88 5 88 6 88 88图像序列层图像序列层图像组层图像组层图像层图像层像条层（宏块条层）像条层（宏块条层）宏块层宏块层像块层（块层）像块层（块层）YCRCBv序列指构成某路节目的图像序列，序列起始序列指构成某路节目的图像序列，序列起始码后的序列头中包含了图像尺寸，宽高比，码后的序列头中包含了图像尺寸，宽高比，图像速率等信息。序列扩展中包含了一些附图像速率等信息。序列扩展中包含了一些

9、附加数据。为保证能随时进入图像序列，序列加数据。为保证能随时进入图像序列，序列头是重复发送的头是重复发送的 。3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构序列层序列层3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构GOPGOP层层v一个图像组由相互间有预测和生成关系的一组一个图像组由相互间有预测和生成关系的一组I I、P P、B B图像构成，但头一帧图像总是图像构成，但头一帧图像总是I I帧。帧。vGOPGOP头中包含了时间信息。头中包含了时间信息。v问题：在两个参考帧之间插入几个问题：在两个参考帧之间插入几个B B帧？帧？ （1 1）B B帧数目的增加会降低帧数目

10、的增加会降低B B帧和参考帧之间以及参帧和参考帧之间以及参考帧与参考帧之间的相关性；考帧与参考帧之间的相关性； （2 2）B B帧数目的增加要求增大参考帧中运动估计的帧数目的增加要求增大参考帧中运动估计的搜索范围；搜索范围；B B帧数目的增加会增加接收的延迟时间帧数目的增加会增加接收的延迟时间和要求增加接收机内缓存器的容量；和要求增加接收机内缓存器的容量；3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构图像层图像层v包括不同编码类型的图像，即包括不同编码类型的图像，即I I、B B、P P帧；帧；vMPEG-1MPEG-1中，逐行扫描（帧格式）；中，逐行扫描（帧格式）；vMPEG-

11、2MPEG-2中，逐行或隔行（场格式）扫描；中，逐行或隔行（场格式）扫描；vPICPIC头中包含了图像编码的类型和时间参考信息头中包含了图像编码的类型和时间参考信息 。3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构宏块条层宏块条层v包括若干个连续宏块，其顺序和行扫描顺序包括若干个连续宏块，其顺序和行扫描顺序一致一致v从一个宏块行（从一个宏块行（1616行宽）的任何一个宏块开行宽）的任何一个宏块开始始vMPEG-2 MPML MPEG-2 MPML 中，一个宏块条必须在同中，一个宏块条必须在同一宏块行中起始和结束，且一个宏块条至少一宏块行中起始和结束，且一个宏块条至少包括一个宏块包

12、括一个宏块v比特流重新同步的基本单元比特流重新同步的基本单元3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构宏块层宏块层v运动补偿预测的基本单元。运动补偿预测的基本单元。vMPEG MPEG 算法在算法在 P P 帧和帧和 B B 帧中以宏块为单位自帧中以宏块为单位自适应地选择合适的运动补偿预测模式（在适应地选择合适的运动补偿预测模式（在 I I 帧中全部宏块都采用帧内编码模式）。帧中全部宏块都采用帧内编码模式）。vP P 帧中的宏块采用前向运动补偿预测模式；帧中的宏块采用前向运动补偿预测模式；当预测效果不佳时，切换到帧内编码模式。当预测效果不佳时，切换到帧内编码模式。vB B 帧

13、中的宏块采用何种模式取决于哪一种模帧中的宏块采用何种模式取决于哪一种模式下对该宏块进行编码时所需的比特数最少。式下对该宏块进行编码时所需的比特数最少。3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构宏块层宏块层vMPEG-2MPEG-2中定义了三种宏块结构：中定义了三种宏块结构：4:2:04:2:0宏块宏块4:2:24:2:2宏块和宏块和4:4:44:4:4宏块，分别代表构成一个宏宏块，分别代表构成一个宏块的亮度像块和色差像块的数量关系。块的亮度像块和色差像块的数量关系。v4:2:04:2:0宏块中包含四个亮度像块，一个宏块中包含四个亮度像块，一个CbCb色差色差像块和一个像块和一

14、个CrCr色差像块；色差像块；4:2:24:2:2宏块中包含四宏块中包含四个亮度像块，二个个亮度像块，二个CbCb色差像块和二个色差像块和二个CrCr色差色差像块；像块；4:4:44:4:4宏块中包含四个亮度像块，四个宏块中包含四个亮度像块，四个CbCb色差像块和四个色差像块和四个CrCr色差像块。这三种宏块色差像块。这三种宏块结构实际上对应于三种亮度和色度的抽样方结构实际上对应于三种亮度和色度的抽样方式。式。 3.2.2 3.2.2 视频码流的分层结构视频码流的分层结构像块层像块层vMPEG MPEG 算法中最小的编码单位算法中最小的编码单位vDCTDCT变换的基本单元变换的基本单元vMPM

15、LMPML中一个像块由中一个像块由8x88x8个抽样值构成个抽样值构成v同一像块内的抽样值必须全部是同一像块内的抽样值必须全部是Y Y信号样值，信号样值，或全部是或全部是CbCb信号样值，或全部是信号样值，或全部是CrCr信号样值。信号样值。 3.2.3 MPEG-1/-2 3.2.3 MPEG-1/-2 视频编码关键技术视频编码关键技术vMPEG-1/-2 MPEG-1/-2 视频压缩的原理：利用序列图像中视频压缩的原理：利用序列图像中的空间相关性和时间相关性。的空间相关性和时间相关性。v空间相关性：一个像素与其周围的某些像素在空间相关性：一个像素与其周围的某些像素在亮度和色度上存在的关系亮

16、度和色度上存在的关系v时间相关性：一个视频序列中前后帧图像间存时间相关性：一个视频序列中前后帧图像间存在的关系在的关系v采用带运动补偿的帧间预测编码和帧内采用带运动补偿的帧间预测编码和帧内 DCT DCT 编编码相结合的方案码相结合的方案v帧内编码与帧间编码流程的区别帧内编码与帧间编码流程的区别：是否经过预：是否经过预测环的处理测环的处理v1. 1. 离散余弦变换（离散余弦变换（DCTDCT）v2. 2. 量化器量化器v3. 3. “之之”字形扫描与游程编码字形扫描与游程编码v4. 4. 熵编码熵编码v5. 5.信道缓存信道缓存 v6. 6. 运动估计运动估计v7. 7. 运动补偿运动补偿3.

17、2.4 MPEG-2 3.2.4 MPEG-2 和和 MPEG-1 MPEG-1 的区别的区别1. MPEG-2 1. MPEG-2 定义了定义了“Profile”Profile”和和“Level”Level”的概念的概念v规定了规定了5 5个语法子集（个语法子集（ProfileProfile）：）：Simple Profile, Simple Profile, Main Profile, SNR Scalable Profile, Spatially Scalable Main Profile, SNR Scalable Profile, Spatially Scalable Profile

18、, High ProfileProfile, High Profilev按编码图像的分辨率分成按编码图像的分辨率分成4 4个个 LevelsLevels：High Level, High Level, High-1440 Level, Main Level, Low LevelHigh-1440 Level, Main Level, Low LevelvProfile Profile 规定了可以使用哪些语法因素，以及如何使规定了可以使用哪些语法因素，以及如何使用这些语法元素；用这些语法元素；Level Level 规定了这些语法元素的取值规定了这些语法元素的取值范围范围3.2.4 MPEG-2

19、 3.2.4 MPEG-2 和和 MPEG-1 MPEG-1 的区别（的区别（ContdContd）2. MPEG-2 2. MPEG-2 有有“按帧编码按帧编码”和和“按场编码按场编码”两两种模式种模式vMPEG-1 MPEG-1 只支持逐行扫描；只支持逐行扫描；vMPEG-2 MPEG-2 支持逐行扫描和隔行扫描，支持逐行扫描和隔行扫描，v针对隔行扫描的常规电视图像专门设置了针对隔行扫描的常规电视图像专门设置了“按帧编码按帧编码”和和“按场编码按场编码”两种模式。两种模式。vMPEG-1 MPEG-1 中，宏块被逐行地分割成像块；中，宏块被逐行地分割成像块；vMPEG-2 MPEG-2 中

20、，逐行扫描图像采用逐行分割方中，逐行扫描图像采用逐行分割方式；隔行扫描的帧图像采用逐行分割与隔行式；隔行扫描的帧图像采用逐行分割与隔行分割两种方式。分割两种方式。3.2.4 MPEG-2 3.2.4 MPEG-2 和和 MPEG-1 MPEG-1 的区别（的区别（ContdContd）3. MPEG-2 3. MPEG-2 增加了可分级性增加了可分级性v（1 1）空间可分级性）空间可分级性v（2 2）时间可分级性）时间可分级性v（3 3）信噪比可分级性）信噪比可分级性3.3 MPEG-4 3.3 MPEG-4 视频编码标准视频编码标准vMPEG-4MPEG-4标准主要应用于视像电话标准主要应用

21、于视像电话(videophone)(videophone)，视像电子，视像电子邮件邮件(VideoEmail(VideoEmail) )和电子新闻和电子新闻(Electronicnews(Electronicnews) )等，其传输速等，其传输速率要求较低，在率要求较低，在4800-64000bps4800-64000bps之间，分辨率之间，分辨率176176144144。vMPEG-4MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图象质量。据，以求以最少的数据获得最佳的图象质量。v与与MPEG-1MPEG-1

22、和和MPEG-2MPEG-2相比，相比，MPEG-4MPEG-4的特点是其更适于交互的特点是其更适于交互AVAV服务以及远程监控。服务以及远程监控。MPEG-4MPEG-4是第一个使你由被动变为主是第一个使你由被动变为主动动( (即有交互性即有交互性) )的动态图象标准。的动态图象标准。v从根源上说，从根源上说，MPEG-4MPEG-4试图将自然物体与人造物体相溶合试图将自然物体与人造物体相溶合( (视视觉效果意义上的觉效果意义上的) )。MPEG-4MPEG-4的设计目标还有更广的适应性和的设计目标还有更广的适应性和可扩展性。可扩展性。vMPEG-4MPEG-4编解码的基本思想是基于图像内容

23、的第二代视频编编解码的基本思想是基于图像内容的第二代视频编解码方案，并将基于合成的编码方案也结合在标准中。它根解码方案，并将基于合成的编码方案也结合在标准中。它根据图像的内容将图像分割成不同的视频对象据图像的内容将图像分割成不同的视频对象VOVO（Video Video ObjectObject），在编码过程中对前景对象和后景对象采用不同的），在编码过程中对前景对象和后景对象采用不同的编码策略，对于人们所关心的前景对象，则尽可能的保持对编码策略，对于人们所关心的前景对象，则尽可能的保持对象的细节及平滑，而对不大关心的后景对象采用大压缩比的象的细节及平滑，而对不大关心的后景对象采用大压缩比的编码

24、策略。编码策略。MPEG-4 VOPMPEG-1 2 4 MPEG-1 2 4 比较比较MPEG-1MPEG-1MPEG-2MPEG-2MPEG-4MPEG-4开始成为标准的年份开始成为标准的年份199219921995199519991999最大分辨率最大分辨率352 x 288352 x 2881920 x 11521920 x 1152720 x 576720 x 576预设分辨率预设分辨率(PAL)(PAL)352 x 288352 x 288720 x 576720 x 576720 x 576720 x 576预测分辨率预测分辨率(NTSC)(NTSC)352 x 288352 x

25、 288640 x 480640 x 480640 x 480640 x 480最大音频范围最大音频范围48 kHz48 kHz96 kHz96 kHz96 kHz96 kHz最多声道数目最多声道数目2 28 88 8最大传输速率最大传输速率3 3 MbitMbit/ /秒秒80 80 MbitMbit/ /秒秒5 5至至10 10 MbitMbit/ /秒秒常用的传输速率常用的传输速率1380 1380 kbitkbit/s (352 x /s (352 x 288)288)6500 6500 kbitkbit/s (720 x /s (720 x 576)576)880 880 kbitk

26、bit/s (720 x /s (720 x 576)576)帧率帧率(PAL)(PAL)252525252525帧率帧率(NTSC)(NTSC)303030303030主观质量主观质量满意满意很好很好好至很好好至很好编码的硬件要求编码的硬件要求低低高高很高很高解码的硬件要求解码的硬件要求很低很低中等中等高高MPEG-4 MPEG-4 应用举例应用举例DivXDivX & & XviDXviDu数年前，在数年前，在PCPC上能用的唯一上能用的唯一MPEG-4 MPEG-4 编码编码器是由器是由微软开发微软开发的，包括的，包括MS MPEG4 V1MS MPEG4 V1、MS M

27、PEG4 V2MS MPEG4 V2、MS MPEG4 V3MS MPEG4 V3系列系列编码编码u不不過過 V1 V1 和和 V2 V2 的的编码质量并编码质量并不太好，直到不太好，直到 MS MPEG4 V3 MS MPEG4 V3 开始开始，画面质量有了明显的改善画面质量有了明显的改善u不不过微软却决定仅将过微软却决定仅将MS MPEG4 V3MS MPEG4 V3的的视频编码核心算法封装视频编码核心算法封装在在 Windows Media Windows Media 流媒体技术中流媒体技术中，也就是我，也就是我们熟知的们熟知的ASFASF文件文件中中u电影骇客电影骇客很快便有小很快便有

28、小组组, , 修改了修改了微软微软的的 MS MPEG4 V3MS MPEG4 V3，解除了不，解除了不能用於能用於AVIAVI文件文件的限制，的限制，并开放并开放了其中一些了其中一些压缩参数压缩参数，也就，也就诞生诞生了了我们我们今天所熟悉的今天所熟悉的MPEG4MPEG4编码编码器器 DivXDivX 3.11 3.11DivXDivX 4, 4, DivXDivX 5 5u历经历经波折波折. .u发展发展出了出了 XviD XviD u现在现在的的 XviDXviD 更可以说超越了更可以说超越了 DivXDivX 5, 5, 以更好的以更好的质量质量, , 更更强的功强的功能挑战新一代的

29、能挑战新一代的 MPEG4 MPEG4 应用应用MPEG-4 MPEG-4 应用举例应用举例nMP4MP4：一种可包含大量多媒：一种可包含大量多媒体的体的文件文件容器格式容器格式nMP4MP4被被定义为定义为MPEG4 part 1MPEG4 part 1系统系统部份，其可部份，其可支持支持所有的多媒所有的多媒体内容体内容(video, audio, subtitle, pictures)(video, audio, subtitle, pictures) 、使用者、使用者互动互动nMP4 MP4 内容可延伸至下列内容可延伸至下列形式形式: : u.mp4.mp4u.mp4v, .m4v .m

30、p4v, .m4v 原始原始 mpeg-4 video streams mpeg-4 video streamsu.m4a .m4a 存储存储Apple Apple iTunesiTunes audio only audio onlyu.m4p - Apple for DRM protected files; .m4p - Apple for DRM protected files; u.3gp, .3g2 .3gp, .3g2 用於用於3G mobile phones3G mobile phonesnMP4 MP4 可包含的多媒可包含的多媒体文件体文件 u视频视频：MPEG-4 (MPEG-

31、4 (XviDXviD, DivX5, 3ivx, , DivX5, 3ivx, ffmpegffmpeg/ /ffvfwffvfw, , NeroDigitalNeroDigital, H.264/AVC), MPEG-2, MPEG-1, . , H.264/AVC), MPEG-2, MPEG-1, . 无法无法使用使用于于 MS MPEG-4, MPEG-4 DivX3, WM9 (Windows Media 9), RV9 (Real MS MPEG-4, MPEG-4 DivX3, WM9 (Windows Media 9), RV9 (Real Video 9). Video 9

32、). u音频：音频：MP3, AAC, MP2, MP1, MP3, AAC, MP2, MP1, TwinVQTwinVQ, , 无法无法使用使用于于 OGG OGG VorbisVorbis, , VoxwareVoxware MetasoundMetasound, . , . u图像：图像： JPEG, PNG JPEG, PNG常见的常见的MPEG-4 MPEG-4 应用设备应用设备nVideo Video iPod iPod u音频音频：AACAAC、Protected AACProtected AAC（iTunesiTunes ）、）、MP3MP3、MP3 VBRMP3 VBR、A

33、udibleAudible、Apple LosslessApple Lossless、WAVWAV、AIFFAIFFu照片：照片：JPEGJPEG、BMPBMP、GIFGIF、TIFFTIFF、PSDPSD（仅限仅限 MacMac）和和 PNGPNG格式格式 u视频支持格式视频支持格式：H.264(768 KbpsH.264(768 Kbps，320 x 240, 320 x 240, 30fps)30fps)u音频音频格式：格式：.m4v, .mp4 .m4v, .mp4 与与 . .movmovuMPEG-4 MPEG-4 视频视频影片：最高可影片：最高可达达 2.5 Mbps2.5 Mb

34、ps，480 x 480 x 480480，每秒，每秒 30 30 影格影格nMP4MP4影音播放器影音播放器u音频格式：音频格式：MP3, WMA, OGG, AC3 MP3, WMA, OGG, AC3 u视频视频格式：格式：AVI, MPEG1, MPEG2, MPEG4, AVI, MPEG1, MPEG2, MPEG4, VOB,DAT VOB,DAT 图片图片格式：格式：JPG,JPG,最大最大YUV 4800YUV 4800* *3600 pixels,3600 pixels,支支援援图片浏览图片浏览功能功能常见的常见的MPEG-4 MPEG-4 应用设备应用设备nDVDDVD播

35、放器播放器u支持支持播放播放文件文件格式：格式：u影片影片：MPEG 4MPEG 4、DivXDivX、Mpeg-2Mpeg-2、Mpeg-1Mpeg-1u照片照片：JPEGJPEG、可达可达相片光碟相片光碟u音音乐乐: : CDCD、MP3MP3文件文件nDVDV摄像机摄像机u影像影像文件文件格式：格式：ASF(MPEG-4ASF(MPEG-4相容相容) )常见的常见的MPEG-4 MPEG-4 应用设备应用设备n3G3G手机手机u音乐音乐播放器：播放器：MP3, AACMP3, AACu铃声种类铃声种类：MIDI, AAC, MP3 MIDI, AAC, MP3 u图片支持图片支持格式：格

36、式：JPEG JPEG u影片播放格式：影片播放格式：3GP3GPu录像录像格式：格式：3GP3GP3.4 MPEG-7 3.4 MPEG-7 标准标准vISO/IEC 15938ISO/IEC 15938 v正式名称：多媒体内容描述接口（正式名称：多媒体内容描述接口（Multimedia Multimedia Content Description InterfaceContent Description Interface）v是一种多媒体内容描述的标准，而非信息压缩是一种多媒体内容描述的标准，而非信息压缩编码标准编码标准v定义了描述符、描述语言和描述方案，以便于定义了描述符、描述语言和描述

37、方案，以便于处理多媒体内容处理多媒体内容v主要目标是对多媒体信息内容进行各种标准化主要目标是对多媒体信息内容进行各种标准化的描述和有效的检索的描述和有效的检索3.4 MPEG-7 3.4 MPEG-7 标准标准应用应用v1. “1. “拉拉”应用应用v（1 1）视频数据库的存储和检索）视频数据库的存储和检索v（2 2）专业媒体制作方面的图片和视频提交）专业媒体制作方面的图片和视频提交v（3 3）商业音乐应用（卡拉）商业音乐应用（卡拉OKOK和音乐销售）和音乐销售）v（4 4）声音效果库）声音效果库v（5 5）历史语言数据库）历史语言数据库v（6 6）通过听觉事件进行电影场景检索）通过听觉事件进

38、行电影场景检索v（7 7）商标库的注册和检索）商标库的注册和检索3.4 MPEG-7 3.4 MPEG-7 标准标准应用应用v2. “2. “推推”应用应用v（1 1）用户代理驱动的媒体选择和过滤）用户代理驱动的媒体选择和过滤v（2 2）个性化电视服务）个性化电视服务v（3 3）智能多媒体表现）智能多媒体表现v（4 4）个性化浏览、过滤和搜索）个性化浏览、过滤和搜索v（5 5）特殊的信息存取）特殊的信息存取3.4 MPEG-7 3.4 MPEG-7 标准标准应用应用v3. 3. 特殊的专业应用和控制应用特殊的专业应用和控制应用v（1 1）远程购物）远程购物v（2 2）医学应用）医学应用v（3

39、3）遥感应用）遥感应用v（4 4）教育应用）教育应用v（5 5）监测应用）监测应用v（6 6）基于视觉的控制）基于视觉的控制vISO/IEC 21000ISO/IEC 21000v正式名称：多媒体框架（正式名称：多媒体框架（Multimedia FrameworkMultimedia Framework）。）。其制订工作于其制订工作于20002000年年6 6月开始。月开始。v创建一个开放的多媒体传输和消费的框架，通过将创建一个开放的多媒体传输和消费的框架，通过将不同的协议、标准和技术结合在一起，使用户可以不同的协议、标准和技术结合在一起，使用户可以通过现有的各种网络和设备透明地使用网络上的多

40、通过现有的各种网络和设备透明地使用网络上的多媒体资源。媒体资源。vMPEG-21 MPEG-21 中的用户可以是任何个人、团体、组织、中的用户可以是任何个人、团体、组织、公司、政府和其它主体，在公司、政府和其它主体，在 MPEG-21 MPEG-21 中，用户在中，用户在数字项的使用上拥有自己的权力，包括用户出版数字项的使用上拥有自己的权力，包括用户出版/ /发发行内容的保护、用户的使用权和用户隐私权等。行内容的保护、用户的使用权和用户隐私权等。v包括包括7 7个基本要素：数字项声明（个基本要素：数字项声明（Digital Item Digital Item DeclarationDeclar

41、ation），数字项识别和描述，内容处理和使），数字项识别和描述，内容处理和使用，知识产权管理和保护，终端和网络，内容表示，用，知识产权管理和保护，终端和网络，内容表示，事件报告。事件报告。v数字项是数字项是 MPEG-21 MPEG-21 框架中的基本单元，它由资源、框架中的基本单元，它由资源、原数据（原数据（metadatametadata）和结构共同组成，是一个带有）和结构共同组成，是一个带有标准化的结构化数字对象。标准化的结构化数字对象。v要素中的资源包括采用要素中的资源包括采用 MPEG-1MPEG-1、MPEG-2MPEG-2、MPEG-MPEG-4 4 标准的多媒体信息。标准的多

42、媒体信息。v通过数字项的定义，通过数字项的定义，MPEG-21 MPEG-21 集成了集成了 MPEG MPEG 系列系列的其它标准，因此的其它标准，因此 MPEG-21 MPEG-21 是建立在其它标准的是建立在其它标准的基础之上的。基础之上的。v支持以下功能：内容创建，内容生产，内容分配，支持以下功能：内容创建，内容生产，内容分配，内容的消费和使用，内容的分组，知识产权管理和内容的消费和使用，内容的分组，知识产权管理和保护，内容识别和描述，用户权限，终端和网络资保护，内容识别和描述，用户权限，终端和网络资源提取，内容表示和事件报告等。源提取，内容表示和事件报告等。v从商业内容和与内容相关服

43、务的前景等角度开发从商业内容和与内容相关服务的前景等角度开发v同已有的其它同已有的其它 MPEG MPEG 系列标准等进行适当结合，从系列标准等进行适当结合，从而使用户对视频、音频的处理更加方便和有效，最而使用户对视频、音频的处理更加方便和有效，最终为多媒体信息的用户在全球范围内提供透明而有终为多媒体信息的用户在全球范围内提供透明而有效的视频通信应用环境。效的视频通信应用环境。vMPEG-21 MPEG-21 的出台可以将现有的标准统一起来，消费的出台可以将现有的标准统一起来，消费者将可以自由使用音视频内容而不被不兼容的格式、者将可以自由使用音视频内容而不被不兼容的格式、编解码器、媒体数据类型

44、及诸如此类的东西所干扰。编解码器、媒体数据类型及诸如此类的东西所干扰。v正式名称：正式名称：P P64Kb/s64Kb/s（P=130P=130）视听业务的视频）视听业务的视频编解码器编解码器; ;vP P1 1或或2 2时，仅支持时，仅支持 QCIF QCIF 的输入图像格式，用于帧的输入图像格式，用于帧频低的可视电话；频低的可视电话；vP P6 6时，支持时，支持 CIF(CommonCIF(Common Intermediate Format ) Intermediate Format )的输入图像格式的会议电视的输入图像格式的会议电视; ;v利用利用 CIF CIF 格式，可使各国使用

45、的不同制式的电视信格式，可使各国使用的不同制式的电视信号变换为通用中间格式，然后输入给编码器，从而号变换为通用中间格式，然后输入给编码器，从而使编码器本身考虑信号是来自哪种制式的。使编码器本身考虑信号是来自哪种制式的。v核心：采用带有运动补偿的预测编码以及基于核心：采用带有运动补偿的预测编码以及基于 DCT DCT 的变换编码相结合的混合编码方法的变换编码相结合的混合编码方法v基本判决准则：哪一种模式给出较小的编码基本判决准则：哪一种模式给出较小的编码比特，就采用这种模式。比特，就采用这种模式。v运动估计以运动估计以16161616像素的宏块为单位进行，像素的宏块为单位进行，搜索范围为搜索范围

46、为1515。v采用全搜索的块匹配算法计算运动矢量。采用全搜索的块匹配算法计算运动矢量。v使用二维空域滤波器对使用二维空域滤波器对8 88 8预测块内的像素预测块内的像素进行操作，可以改进预测过程。进行操作，可以改进预测过程。3.6.4 3.6.4 量化编码量化编码v3232个线性量化器个线性量化器v一个用于帧内一个用于帧内 DCT DCT 变化的直流分量；其余变化的直流分量；其余3131个用个用于交流分量。于交流分量。v除帧内除帧内 DCT DCT 的直流分量，一个宏块内使用同一个量的直流分量，一个宏块内使用同一个量化器。化器。v帧内直流分量是一个量化步长为帧内直流分量是一个量化步长为8 8的

47、线性量化器，的线性量化器，其余其余3131个量化器的量化步长为个量化器的量化步长为2 2，4 4，6262。v量化器的选择由编码控制器决定。量化器的选择由编码控制器决定。vDCT DCT 变换后的变换后的8 88 8系数块中的各个系数按系数块中的各个系数按“之之”字字型扫描，便于量化后编码。型扫描，便于量化后编码。v与与H.261H.261相比，增加的压缩编码模式：相比，增加的压缩编码模式：v（1 1）无限制的运动矢量模式）无限制的运动矢量模式v（2 2）基于句法的算术编码模式）基于句法的算术编码模式v（3 3）先进的预测模式）先进的预测模式v（4 4）PB-PB-帧模式帧模式3.8 H.26

48、3+ 3.8 H.263+ 和和 H.263+ H.263+ 标准标准vH.263+ H.263+ 允许更大范围的图像输入格式，自定义了允许更大范围的图像输入格式，自定义了图像的尺寸，从而拓宽了标准使用的范围，使之可图像的尺寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。列及宽屏图像。v为提高压缩效率：采用先进的帧内编码模式；增强为提高压缩效率：采用先进的帧内编码模式；增强的的PB-PB-帧模式改进了帧模式改进了 H.263 H.263 的不足，增强了帧间预的不足，增强了帧间预测的效果；去块效应滤波器不仅

49、提高了压缩效率，测的效果；去块效应滤波器不仅提高了压缩效率，且提供重建图像的主观质量。且提供重建图像的主观质量。v为适应网络传输：增加了时间分级、信噪比和空间为适应网络传输：增加了时间分级、信噪比和空间分级，对在噪声信道和存在大量包丢失的网络中传分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义。另外，片结构模式、参考帧送视频信号很有意义。另外，片结构模式、参考帧选择模式增强了视频传输的抗误码能力。选择模式增强了视频传输的抗误码能力。3.8 H.263+ 3.8 H.263+ 和和 H.263+ H.263+ 标准（标准（ContdContd）vH.263+ H.263+ 在在 H

50、.263+ H.263+ 基础上增加了基础上增加了3 3个选项，主要个选项，主要是为了增强码流在恶劣信道上的抗误码性能，同时是为了增强码流在恶劣信道上的抗误码性能，同时也为了提高编码效率。也为了提高编码效率。 v选项选项U U：增强型参考帧选择；能够提供增强的编码：增强型参考帧选择；能够提供增强的编码效率和信道错误再生能力（特别是在包丢失的情形效率和信道错误再生能力（特别是在包丢失的情形下），需要设计多缓冲区用于存储多参考帧图像。下），需要设计多缓冲区用于存储多参考帧图像。v选项选项V V：数据分片；能够提供增强型的抗误码能力：数据分片；能够提供增强型的抗误码能力（特别是在传输过程中本地数据被

51、破坏的情况下），（特别是在传输过程中本地数据被破坏的情况下），通过分流视频码流中通过分流视频码流中DCTDCT的系数头和运动矢量数据，的系数头和运动矢量数据，采用可逆编码方式保护运动矢量。采用可逆编码方式保护运动矢量。v选项选项WW：在：在 H.263+ H.263+ 的码流中增加补充信息，保证的码流中增加补充信息，保证增强型的反向兼容性。增强型的反向兼容性。v由由ITU-T的视频编码专家组（的视频编码专家组（VCEG）与）与ISO/IEC的的MPEG组成的联合视频工作组组成的联合视频工作组（JVT）共同制定的新一代视频压缩编码标）共同制定的新一代视频压缩编码标准。准。v设计方案包含：视频编码

52、层（设计方案包含：视频编码层（VCL）和网络）和网络抽象层（抽象层（NAL）。）。v编码效率高编码效率高v对信道时延的适应性较强对信道时延的适应性较强v在编在编/解码器中采用复杂度可分级设计，支持解码器中采用复杂度可分级设计，支持不同网络资源下的分级编码传输不同网络资源下的分级编码传输v容错能力强容错能力强v网络的适应性强网络的适应性强v1. 1. 运动补偿预测运动补偿预测v（1 1）不同大小和形状的宏块分割）不同大小和形状的宏块分割v（2 2）高精度的亚像素运动预测）高精度的亚像素运动预测v（3 3）多参考帧的运动补偿）多参考帧的运动补偿v（4 4）自适应去方块效应滤波器）自适应去方块效应滤

53、波器v（5 5）运动补偿预测的其他特性）运动补偿预测的其他特性v2. 42. 44 4 整数变换整数变换v3. 3. 基于空域预测的帧内编码基于空域预测的帧内编码v4. 4. 量化量化v5. 5. 基于上下文的熵编码基于上下文的熵编码v1. 1. 参数集结构参数集结构v2. NAL 2. NAL 单元语法结构单元语法结构v3. 3. 灵活的像条大小灵活的像条大小v4. 4. 灵活的宏块排序（灵活的宏块排序（FMOFMO）v5. 5. 任意像条排序任意像条排序v6. 6. 冗余图像冗余图像v7. 7. 数据分割数据分割Frame partitionsMacroblock partitions16

54、x16 blocks8x8 blocks4x4 blocks1. 1. 高效的编码技术高效的编码技术v媒体系统中的多媒体数据要通过网络来传输给用户，媒体系统中的多媒体数据要通过网络来传输给用户，高效的编码技术可以降低流媒体系统对网络带宽的高效的编码技术可以降低流媒体系统对网络带宽的要求。要求。v目前标准化和商业化的视频编码技术都是基于运动目前标准化和商业化的视频编码技术都是基于运动补偿和补偿和 DCT DCT 变换的。变换的。v运动估计和补偿模块用来消除相邻图像间的冗余信运动估计和补偿模块用来消除相邻图像间的冗余信息，息，v熵编码模块用来消除编码信号的冗余性，熵编码模块用来消除编码信号的冗余性

55、，v变换量化模块根据人的视觉系统对视频信号的细微变换量化模块根据人的视觉系统对视频信号的细微变化的不敏感性丢失部分信息，变化的不敏感性丢失部分信息，v从而提高压缩比。从而提高压缩比。2. 2. 可伸缩性编码技术可伸缩性编码技术v在流媒体应用中需要解决的一个基本问题是网络带在流媒体应用中需要解决的一个基本问题是网络带宽的波动。宽的波动。v有效方法是采用可伸缩性的视频编码，以提供移动有效方法是采用可伸缩性的视频编码，以提供移动的使用网络带宽变化的能力。的使用网络带宽变化的能力。3. 3. 多媒体标准技术多媒体标准技术v标准的制定和执行确保不同厂家和服务商之间可以标准的制定和执行确保不同厂家和服务商

56、之间可以互通互联；互通互联；v标准里的知识产权是商家必争之处。标准里的知识产权是商家必争之处。4. 4. 对等网络技术（对等网络技术（P2PP2P）v通过通过 P2P P2P 技术，除了和服务器外，每个用户可以共技术，除了和服务器外，每个用户可以共享他的文件或信息给其他用户。享他的文件或信息给其他用户。The Endv如果块边沿的绝对差值相对比较大，出现块如果块边沿的绝对差值相对比较大，出现块人工瑕疵的可能性就很大，因此需要进行相人工瑕疵的可能性就很大，因此需要进行相应处理。应处理。v然而，如果差值幅度很大，编码量化过程的然而，如果差值幅度很大，编码量化过程的误差不能解释，边沿很可能反映了源图

57、像的误差不能解释，边沿很可能反映了源图像的实际样值，不需处理。实际样值，不需处理。环滤波对块效应的消除4489 Bytes,33.77 dB 4489 Bytes,34.18 dB补：帧内编码与帧间编码流程的区别 v在帧内编码的情况下，编码图像仅经过在帧内编码的情况下，编码图像仅经过DCTDCT，量化，量化器和比特流编码器即生成编码比特流，而不经过预器和比特流编码器即生成编码比特流，而不经过预测环处理。测环处理。DCTDCT直接应用于原始的图像数据。直接应用于原始的图像数据。 v 在帧间编码的情况下，原始图像首先与帧存储器中在帧间编码的情况下，原始图像首先与帧存储器中的预测图像进行比较，计算出

58、运动矢量，由此运动的预测图像进行比较，计算出运动矢量，由此运动矢量和参考帧生成原始图像的预测图像。而后，将矢量和参考帧生成原始图像的预测图像。而后，将原始图像与预测像素差值所生成的差分图像数据进原始图像与预测像素差值所生成的差分图像数据进行行DCTDCT变换，再经过量化器和比特流编码器生成输变换，再经过量化器和比特流编码器生成输出的编码比特流。出的编码比特流。 1、离散余弦变换DCTv DCTDCT是一种空间变换，在是一种空间变换，在MPEG-2MPEG-2中中DCTDCT以以8x88x8的像块为单位进行，生成的是的像块为单位进行，生成的是8x88x8的的DCTDCT系数系数数据块。数据块。D

59、CTDCT变换的最大特点是对于一般的变换的最大特点是对于一般的图像都能够将像块的能量集中于少数低频图像都能够将像块的能量集中于少数低频DCTDCT系数上，即生成系数上，即生成8x8DCT8x8DCT系数块中，仅左系数块中，仅左上角的少量低频系数数值较大，其余系数的上角的少量低频系数数值较大，其余系数的数值很小，这样就可能只编码和传输少数系数值很小，这样就可能只编码和传输少数系数而不严重影响图像质量。数而不严重影响图像质量。 v DCT DCT不能直接对图像产生压缩作用，但对图不能直接对图像产生压缩作用，但对图像的能量具有很好的集中效果，为压缩打下像的能量具有很好的集中效果，为压缩打下了基础。了

60、基础。 2、量化器 v 量化是针对量化是针对DCTDCT变换系数进行的，量化过程就是以变换系数进行的，量化过程就是以某个量化步长去除某个量化步长去除DCTDCT系数。量化步长的大小称为系数。量化步长的大小称为量化精度，量化步长越小，量化精度就越细，包含量化精度，量化步长越小，量化精度就越细，包含的信息越多，但所需的传输频带越高。不同的的信息越多，但所需的传输频带越高。不同的DCTDCT变换系数对人类视觉感应的重要性是不同的，因此变换系数对人类视觉感应的重要性是不同的，因此编码器根据视觉感应准则，对一个编码器根据视觉感应准则，对一个8x88x8的的DCTDCT变换块变换块中的中的6464个个DCTDCT变换系数