多媒体技术之MPEG简介

1、多媒体技术基础Fundamentals of Multimedia第 11 章 MPEG简介Chapter 11 Introduction to MPEG本章大纲1. MPEG概述2. MPEG-1视频的编码3. MPEG-1视频的解码2视频压缩编码的标准ITU-T标准用于ISDN视频会议的 H.261(Px64)标准用于PSTN可视电话的 H.263标准用于ATM/B-ISDN视频会议的 H.262标准ISO/IEC 国际标准用于VCD的ISO 11172(MPEG-1 video)标准用于数字电视和DVD的ISO/IEC 13818(MPEG-2 video) 标准用于交互式多媒体应用的视

2、听编码标准 MPEG-4企业(公司)标准: AVI, QuickTime, RealVideo3视频压缩编码的国际标准ITU-TJointITU-T/MPEGMPEGH.261H.263 H.263+ H.263+H.262/MPEG-2H.26LMPEG-1MPEG-4 84 86 88 90 92 94 96 98 00 02 044概念MJPEGMotion JPEG (MJPEG) 是以 JPEG方法压缩的一个图像序列MPEG - Moving Picture Experts Group由 ISO/IEC制定, 包括 MPEG1, MPEG2, MPEG4，MPEG7，MPEG21非常

3、有效的帧内和帧间压缩编码技术和一些优化方法H.261/H.263/H.263+ - 可视电话/视频会议由ITU制定，具有中低码率、质量和计算效率5MPEGISO/IEC MPEG (Moving Picture Expert Group)负责开发电视图像数据和声音数据的编码、解码和它们的同步等标准。这个专家组开发的标准称为MPEG标准 6MPEG 标准MPEG标准文件的创建过程分成4个阶段 (1) 工作文件(Working Draft，WD)：工作组(Working Group，WG)准备的工作文件(2) 委员会草案(Committee Draft，CD)：从工作组WG准备好的工作文件WD提升

4、上来的文件。这是ISO文档的最初形式，它由ISO内部正式调查研究和投票表决。(3) 国际标准草案(Draft International Standard，DIS)：投票成员国对CD的内容和说明满意之后由委员会草案CD提升上来的文件。(4) 国际标准(International Standard，IS)：由投票成员国、ISO的其他部门和其他委员会投票通过之后出版发布的文件。 7MPEG -1标准MPEG-1标准(ISO/IEC11172). 1992年发布。用于1.5Mbps数据传输率的运动图像及其伴音的编码。主要应用于 VCD，MP3音乐等.MPEG-1在JPEG和H.261等优秀标准的基础

5、上, 对参加竞争的14个方案,通过反复协调而得到统一,从而成为先进、合理、质量高、成本低的优秀标准. MPEG-1促进了大规模集成电路专用芯片的发展, 为多媒体技术和产品的繁荣立下了功劳。8MPEG-1: 一系列 “第一”第一个集成的视频/音频标准 : ISO/IEC 11172-1 (Systems), -2 (Video), -3 (Audio)第一个与视频格式无关的编码标准 (NTSC/PAL/SECAM)第一个由几乎所有相关视/音频企业联合制定的标准9MPEG-1视频压缩标准 MPEG-1标准号为ISO/IEC 11172，它由五部分组成：MPEG-1系统（ MPEG-1 System

6、s ）：规定视频数据、声音数据及其他相关数据的同步合成技术MPEG-1视频编码标准（MPEG-1 Video）MPEG-1音频编码标准（MPEG-1 Audio）MPEG-1一致性测试：详细说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分(Part1，2和3)中所规定的要求。MPEG-1软件模拟：一个技术报告，给出了软件执行MPEG1前3个部分的运行结果。10MPEG-1 的评价(应用)Video CD ( several tens million players sold in PR of China)“The” format of audio and video for PCW

7、indows 95/NT/98 contain an MPEG-1 software decoderMPEG-1 Audio (recently, layer 3) is widely used for Web musicDigital Audio Broadcasting (DAB)数字音频广播 utilises MPEG-1 Audio (adopted in Europe and Canada)11MPEG -2标准MPEG-2标准(ISO/IEC13818). 1994年发布。主要针对数字电视特别是高清晰度电视(HDTV) 的视频及伴音信号，典型传输速率为10Mbps，与MPEG-1兼

8、容，适用于1.5Mbps60Mbps甚至更高速率的编码范围。12MPEG -2标准（续）以MPEG-2作为视音频压缩标准的数字卫星电视(DVB)已在欧美形成了很大市场；美国高级电视联盟(ATV Grand Alliance)和欧洲数字视频广播计划(Digital Video Broadcast Project)先后决定将MPEG -2用于高清晰度电视(HDTV)广播中;新一代的数字视盘DVD采用MPEG-2作为其视音频压缩标准(注:欧、美 、日在视频方面采用MPEG-2标准,而在音频方面则采用AC-3标准)。13MPEG -4标准MPEG-4 标准(ISO/IEC l4496) . “Codi

9、ng of audio-visual objects”_视听对象编码 1999年5月形成国际标准(版本1), 2001-2002形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问)主要目标compression and manipulation of audio and visual objects, the web page paradigm applied to audio and video!14MPEG -7标准MPEG-7标准(ISO/IEC l5938). 并非压缩标准建筑在其他的标准之上的，例如，PCM, MPEG-1, M

10、PEG-2和MPEG-4等 2001年9月形成。它是“多媒体内容描述接口” (Multimedia Content Description Interface)的标准, 该标准将确定各种类型的多媒体信息的标准描述方法, 可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域。15MPEG-7通过MPEG-7格式定义的信息，使用者可以有效率地搜寻、过滤和定义想要的影音资料。目前MPEG-7标准中定义了五种内容的信息，分别是：1.creation & production：影音资料制作的基本信息。例如电影片名、导演等。2. media：定义资料储存的方式。例如是否经过压缩、编

11、码方式、储存媒介等。3. usage：定义资料使用的方式。例如版权所有人、播放时间等。4. structural aspects：对影片中出现的特殊物品，或是音乐中某一片段，以及颜色、旋律等的描述。5. conceptual aspects 7：定义资料中各种控件的链接或交互。16视频流码率的计算宽: pixels(160, 320, 640, 720, 1280, 1920, )长: pixels(120, 240, 480, 485, 720, 1080, )量化位数: bits(1, 4, 8, 15, 16, 24, )fps: frames per second (5, 15, 20

12、, 24, 30, )压缩率:(1, 6, 24, )长宽量化位数fps压缩率= bits/sec17视频数据量(压缩前，in gigabytes)(压缩后，每小时的数据量，in megabytes)18MPEG-1概述MPEG-1 Requirements(在大约1.5Mb/s数码率的情况下,获得质量可接受的A/V信息;适合于CD-ROM,DAT磁带 ,硬盘,可写光盘等数字存储 介质;可在N-ISDN、LAN等通信网络上传输)1 random access 2 fast forward/backward search3 reverse playback 4 A/V synchronizati

13、on5 robustness to errors 6 small encoding/decoding delay7 editability 8 format flexibility9 cost tradeoff19视频数据压缩编码的依据每一帧画面内部的信息有很强的相关性;相邻画面之间有高度的相容性;运动可以估测（Motion Estimation）;人眼的视觉特性有利于数据的压缩.20视频压缩编码技术的评价准则码率(bitrate)重建图像的质量编码/解码延时错误修复能力算法复杂程度21MPEG-1视频压缩的基本方法 在空间域:采用JPEG(Joint Photographic Experts

14、 Group)压缩算法来去掉画面内部的冗余信息。 在时间域:采用运动补偿(motion compensation)算法来去掉画面之间的冗余信息。 22运动补偿帧间预测(temporal) DCT(spatial)23MPEG-1视频编/解码总框图预处理压缩编码存储和/或传输解码后处理显示数字视频24FramerecorderDCTQuantizeVariable-lengthcoderTransmitbufferPredictionencoderDe-quantizeInverseDCTMotionpredictorReferenceframeRatecontrollerINOUTScalef

15、actorBufferfullnessPredictionMotion vectorsDC25MPEG-1的6层结构26MPEG 的画面组(GOP)视频画面序列被分成一个一个画面组(Grupe Of Pictures, GOP)每个GOP中至少包含一个I画面，可没有B画面,甚至没有P画面27画面的分类Intra-picture ( I画面 )不需要参考其它画面而独立进行压缩编码的画面;Predicted-picture ( P画面 )参考前面已编码的 I 或 P画面进行预测编码的画面;Bidirectional-picture ( B画面 )既参考前面的I或P画面、又参考后面的I或P画面进行双

16、向预测编码的画面 inter-frames: P-frame & B-frame28I frames are independently encodedP frames are based on previous I, P framesB frames are based on previous and following I and P frames29GOPMPEG-1 most commonly uses a GOP size of 15-18. i.e. 1 I-frame for every 14-17 non-I-frames 30画面的重新排序画面的显示顺序是: I B B P

17、B B P B B P 1 2 3 4 5 6 7 8 9 10 画面的编码顺序是: I P B B P B B P B B 1 4 2 3 7 5 6 10 8 9因此, 每一个GOP中的画面在编码前和解码后都必须重排序BBPBBPIB 1 2 3 4 5 6 7 8 9 10例BGOP(Group of Pictures)P31Slice and Macroblock32Blocks and Macro-blocksBlockDCT unitY,U, and V cut into 8x8 pixel regionsMacro-blockA macroblock consists of 6

18、blocksIn Y component, a macro-block refers to a 16x16 pixel region, or four 8x8 blocksIn U and V components, a macro-block refers to two 8x8 regions, or two blocks33Block 块34I-frame 编码顺序35P/B frame需要运动补偿Predict the current frame based on reference frames while compensating for the motion.At Macroblo

19、ck level36宏块的大小与组成宏块有2种情况：可预测宏块:与参考画面中的某个宏块有位移关系不可预测宏块:与参考画面中的任何宏块都找不到位移关系012345Y(16x16)U(8x8)V(8x8)37可预测宏块Forward prediction:前向预测宏块( I or P picture)(P picture)Bidirectional prediction:双向预测宏块( I or P picture)( I or P picture)(B picture)参考画面参考画面参考画面被编码宏块被编码宏块38运动矢量运动矢量由于画面内容有连贯性,因此当前画面的内容可以看作是前面画面部分内

20、容的位移(运动)。3940宏块的划分画面各处的运动矢量(幅度、方向)各不相同，因此，画面应细分成块（宏块），以宏块为单位，找出两帧画面中相应宏块之间的位移关系运动矢量41运动矢量估计算法基本原理:假设一个初始矢量 计算匹配度是否最佳匹配结束y在搜索范围内调整运动矢量n42Block-based Motion Estimation and Compensation43MPEG encoder44MPEG-1 小结特点：是一种通用标准，它规定了编码视频流的表示语法和解码方法。该语法支持的操作有运动补偿预测、离散余弦变换(DCT)、量化和变长编码，编码器设计具有灵活性（它没有定义产生合法数据流所需的

21、详细算法；例如，对运动估计算法和压缩模式选择未作规定）用于定义编码位流和解码器的一系列参数都包含在位流本身中。这就允许算法适用于不同大小和宽高比的画面，也可以用在工作速率范围很大的信道和设备上。45编码器的主要操作1为 GOP中的 I画面、P画面和 B画面重新排序 2为 P画面和 B画面中的每个 MB（宏块）估算运动矢量 3确定每个 MB的宏块类型（ MTYPE） 4如果选择自适应量化的话，设置量化因子 MQUANT。46I, P, B 三种画面的比较压缩后，3种画面比特数目的比较： IPB例如：I画面： 300 kb P画面：100-65 kb B画面：18-7 kb关于B画面优点：预测效果好，压缩效率高，缺点：复杂，需要较大的缓冲器，增加了编码延迟。47缺点与不足16 x 16的宏块作为预测单位尺寸稍大可能产生亚象素级的位移物体的3D运动(如旋转)不易预测摄象机运动、灯光变化、物体形状变化、场景切换、物体遮挡等引起的画面变化，预测有困难B画面、P画面使编辑操作复杂化仅适合 逐行扫描的视频信号的处理48练习Consider a video clip encoded in MPEG-1 with a frame rate o