第4章图像信息处理技术(MPEG概要)综述课件

MPEG概要7/20/20232008-07-011MPEG概要目录1MPEG简介1.1MPEG是什么1.2MPEG文档的创建过程1.3MPEG标准的重要性2MPEG-1数字电视标准2.1MPEG-1是什么2.2MPEG-1的系统模型2.3MPEG-1标准的文档3MPEG-2数字电视标准3.1MPEG-2是什么3.2MPEG-2的系统模型3.3MPEG-2视像的类型与等级3.4MPEG-2标准的文档4MPEG-4视听对象编码4.1MPEG-4是什么4.2MPEG-4系统的模型4.3MPEG-4标准的文档5MPEG-7多媒体内容描述接口标准5.1MPEG-7是什么5.2MPEG-7标准化范围5.3MPEG-7标准的文档6MPEG-21多媒体框架标准6.1MPEG-21是什么6.2MPEG-21的结构6.3MPEG-21标准的文档7/20/202321MPEG简介MPEG是什么MovingPictureExpertGroup的缩写1988年5月由国际标准化组织(ISO)和国际电工委员会(IEC)联合成立的专家组MPEG专家组的任务负责开发视像数据和声音数据的编码、解码和它们之间的同步等标准专家组开发的标准称为MPEG标准，见图1图1ISO/IEC联合成立的MPEG专家组7/20/202331MPEG简介(续1)MPEG标准MPEG-1：1992年发布的数字电视标准，主要用在VideoCD(VCD)，MP3(MPEG-1Layer3)等产品典型参数见表1MPEG-2：1994年发布的数字电视标准，主要用在DVD，ATSC，DVB，ISDB等数字电视标准以及数字电视机顶盒等产品典型参数见表1MPEG-3：最初设想是开发HDTV标准，后来发现MPEG-2可满足HDTV的要求，于1992年7月终止MPEG-4：1999年发布的多媒体应用标准，主要应用在多媒体通信、数字电视和人机互动系统等产品中。现改称为“视听对象编码”标准MPEG-5：直至2007年9月还没有见到定义MPEG-6：直至2007年9月还没有见到定义表1MPEG‑1和MPEG‑2的典型编码参数7/20/202341MPEG简介(续2)MPEG-7：2001年发布的多媒体内容描述接口标准，用于描述和搜索视听内容

MPEG-21：2000年启动的多媒体框架标准

MPEG-A：多媒体应用格式标准，集成多种MPEG技术以提供专用的格式

MPEG-B：为专用系统提供系统技术标准

MPEG-C：为专用电视提供电视技术标准

MPEG-D：为专用声音提供声音技术标准

MPEG-E：为应用程序提供下载和执行功能的多媒体中间件标准这些标准的进程见图2。7/20/202351MPEG简介(续3)图2MPEG标准的开发进程结论：2000年以前制定的标准主要是数据压缩2000年开始制定的标准主要是针对内容管理MPEG-4既含数据压缩又含内容管理7/20/202361MPEG简介(续4)MPEG标准的重要性标准是人类智慧的结晶，凝聚着人类认识世界和改造世界的历史经验。在有标准可循的情况下，开发软硬件产品要遵循标准，在还没有标准可循的情况下，要力争把我们的科研成果变成标准7/20/202372MPEG-1数字电视标准MPEG-1是什么MPEG专家组于1992年发布的第一个数字电视编码标准(ISO/IEC11172)，包括图像数据的编码，针对1/4的NTSC制和1/4的PAL制视像，压缩比为30:1时，相当于家用录像系统(VHS)的视像质量。声音数据的编码，针对采样频率为44.1kHz的声音数据，定义了3个层次的压缩比，压缩比约为6:1时，声音质量接近激光唱片上的声音质量MPEG-1的主要应用针对20世纪90年代初期CD-ROM的数据传输能力只有1.4Mb/s而开发的，MPEG-1的最高数据速率限定在1.5Mb/sMPEG-1标准主要用于在CD光盘上存储数字影视、在网络上传输数字影视以及存放MP3格式的数字音乐节目

7/20/202382MPEG-1数字电视标准(续2)MPEG-1的系统模型由编码系统和解码系统两大部分组成，见图3图(a)是MPEG-1的编码系统，图(b)是MPEG-1的解码系统编码系统由两个部分组成

(1)视像编码和声音编码；(2)系统层上的多路数据复合图3MPEG-1系统模型7/20/202392MPEG-1数字电视标准(续3)MPEG-1标准的文档MPEG-1的标准号为ISO/IEC11172，标准名称为Codingofmovingpicturesandassociatedaudiofordigitalstoragemediaatuptoabout1.5Mb/sMPEG-1标准定义的一套语法和语义规则由五个部分组成Part1(MPEG-1System)：视像数据、声音数据及其他相关数据的同步Part2(MPEG-1Video)：电视数据的编码和解码Part3(MPEG-1Audio)：声音数据的编码和解码Part4(MPEG-1ConformanceTesting)：说明如何测试位流(bitstream)和解码器是否满足Part1，Part2和Part3所规定的要求Part5(MPEG-1SoftwareSimulation)：1994年认可的包含C语言代码的参考软件(ReferenceSoftware)，并给出了用参考软件执行前3个部分的结果7/20/2023103MPEG-2数字电视标准MPEG-2是什么1990年开始于1994年完成的数字电视编码标准(ISO/IEC13818)，与数字电视广播和有线数字电视有直接关系基本编码算法与MPEG‑1的相同，增加了许多MPEG‑1所没有的功能，如支持高分辨率的视像、大范围的数据速率、多声道的环绕声、多种视像分辨率、位速率可变(scalability)、隔行扫描等特性。由于增加了如此多的特性，再加MPEG-1的技术就形成了单独的MPEG-2标准要达到的目标是电视数据压缩后的数据位速率最低为4Mb/s，最高可达100Mb/s典型应用是DVD影视和广播级质量的数字电视，包括美国的ATSCDTV、欧洲的DVB以及日本的ISDB。MPEG-2也是在因特网上传输数字电视的标准

7/20/2023113MPEG-2数字电视标准(续1)MPEG-2的系统模型主要由编码系统和解码系统两部分组成。见图4图(a)：编码系统，由两个部分组成：(1)视像编码和声音编码；(2)数据打包和多路数据复合图(b)：解码系统(a)MPEG-2编码系统7/20/2023123MPEG-2数字电视标准(续3)(b)MPEG-2解码系统图4MPEG-2系统模型用来定义把视像、声音和其他数据组合成适合存储或传输的基本数据流。节目数据流(programstream，PS)，由基本数据流(packetisedelementarystreams，PES)组合而成，用在出现错误相对比较少的环境，如DVD存储系统传输数据流(transportstream，TS)，由一个或多个PES组合而成，用在出现错误相对比较多的环境下，如数字电视广播、有损失或者有噪声的传输系统7/20/2023134MPEG-4视听对象编码MPEG-4是什么视听对象编码(Codingofaudio-visualobjects)标准(ISO/IEC14496)，始于1993年的多媒体应用标准1998年10月发布了版本11999年底完成了版本22000年初正式成为国际标准不断更新和完善……目标是为通信、广播、存储和其他应用提供数据速率低而视听质量高的数据编码方法和交互播放工具，见图5吸收了MPEG-1、MPEG-2和其他相关标准的许多特性引入了视听对象(audio-visualobjects，AVO)编码的概念7/20/2023144MPEG-4视听对象编码(续1)扩充了编码类型，由自然对象扩展到合成对象采用了合成对象与自然对象混合编码(Synthetic/NaturalHybridCoding，SNHC)算法引入了组合、合成和编排等重要概念，以实现交互功能和对象重用图5MPEG-4的应用前景7/20/2023154MPEG-4视听对象编码(续2)MPEG-4的系统模型信息编码操场按MPEG资深专家的说法，MPEG-4期待为未来多媒体应用提供一个“信息编码操场(informationcodingplayground)”。根据当时的技术和技术发展趋势，专家们引入了基于对象的视听表示模型，见图67/20/2023164MPEG-4视听对象编码(续3)发送端(b)接收端图6MPEG-4基于对象的系统模型7/20/2023174MPEG-4视听对象编码(续2)MPEG-4的系统模型由编码和解码两大部分组成，为互动视听场景通信定义的主要功能包括自然视听对象和人造视听对象、二维(2-D)和三维(3-D)视听对象的编码表示法，这些对象可以是摄像机摄制的、用麦克风录制的或用计算机生成的视听对象及其行为的时间与空间的编码表示法数据流管理信息的编码表示法，包括同步、标识、流媒体内容的描述、超链接和互动等信息的编码表示法7/20/2023184MPEG-4视听对象编码(续4)MPEG-4系统分成3层，见图7图7MPEG-4分层模型压缩层(CompressionLayer)视听数据流的编码和解码称为“基本数据流(ElementaryStream)”编码和解码定义在MPEG-4Visual、MPEG-4Audio和MPEG-4AVC中同步层(SyncLayer)管理基本数据流的同步定义在MPEG-4System中传递层(DeliveryLayer，SL)传递多媒体内容而不关心内容所在位置和内容传输技术描述该层抽象功能的名称是“传递多媒体框架(DeliveryMultimediaIntegrationFramework，DMIF)”定义在MPEG-4DMIF中7/20/2023195MPEG-7多媒体内容描述接口标准

MPEG-7是什么从1998年启动的多媒体内容描述接口标准(ISO/IEC15938)描述多媒体内容及它们之间的关系，便于多媒体信息检索多媒体内容包括用文字、图像、图形、三维模型、声音和视像等传播媒体表示的内容，以及它们在多媒体演示中的组合关系不是瞄准特定的应用，其应用领域极其广泛如数字图书馆(如影视目录)、多媒体目录服务(如黄页)、广播媒体(如无线电频道，TV频道等)、多媒体编辑(如新闻服务、多媒体创作)等注意：MPEG-7不是视听数据压缩标准7/20/2023205MPEG-7多媒体内容描述接口标准(续1)MPEG-7标准化范围内容描述的概念对多媒体数据的特征进行描述。特征包括对图像、图形、

三维动画、声音和视像的特征。例如，在图9中，一段AV(视听材料)可能包括多个镜头，为检索方便，需要对每个镜头进行描述，就是对镜头进行标注。镜头(shot)是摄像机拍摄的描述某一场面或主题(subject)的一组连续图像。镜头是构成情节的基本单元，其持续时间取决于镜头表现的意图等因素7/20/2023215MPEG-7多媒体内容描述接口标准(续2)图9MPEG-7的内容描述概念7/20/2023225MPEG-7多媒体内容描述接口标准(续3)标准化的范围MPEG-7的处理链(processingchain)见图10。包含三个部分：特征抽取(featureextraction)，MPEG-7的基础标准描述(standarddescription)搜索引擎(searchengine)，MPEG-7的应用特征抽取和检索工具都不属于MPEG-7专家组制定标准的范畴，而是留给那些才华横溢的科学技术人员去竞争，以便得到最好的算法和工具引擎(engine)的概念：(1)具有特定功能的专用处理器(如图形处理器)，但不能单独工作，就像发动机一样，处理器运行得越快，工作任务完成得越快。(2)执行基本而又具有高度重复功能的专用软件，如搜索引擎；决定程序如何管理和操作数据的专用软件，如数据库引擎7/20/2023235MPEG-7多媒体内容描述接口标准(续4)图10MPEG-7标准化的范围7/20/2023245MPEG-7多媒体内容描述接口标准(续5)MPEG-7标准的文档MPEG-7描述的是视听信息的表示方法，是有关信息的信息，而不是信息本身。该标准现由11个部分组成目前，大多数人比较关心的部分包括

Part1(MPEG-7Systems)—系统标准:阐述MPEG-7标准的框架结构

Part2(MPEG-7DescriptionDefinitionLanguage)—描述定义语言：定义MPEG-7描述工具的语法和定义新的描述方案(DescriptionSchemes)Part3(MPEG-7Visual)—可视内容描述：规范描述可视内容的描述工具

Part4(MPEG-7Audio)—声音内容描述：规范描述声音内容的描述工具

Part5(MPEG-7MultimediaDescriptionSchemes)—多媒体描述方案：规范描述一般特性和描述多媒体的描述工具。7/20/2023256MPEG-21多媒体框架标准MPEG-21是什么开发背景尽管有MPEG-1,MPEG-2,MPEG-4和MPEG-7标准，但在多媒体内容的发行和使用方面，要达到完全协调工作，还需要有能够把已有和正在开发的标准和技术融合在一起的标准，这就是MPEG专家组开发MPEG-21标准的出发点，俗称为“胶水标准(glue-standardization)”。2000年启动开发的多媒体框架(MultimediaFramework)标准(ISO/IEC21000)试图描述多媒体的元数据(metadata)，用于全球多媒体对象的集成、创建、使用、管理和传送等操作，便于不同人群在异构网络环境下使用各种多媒体资源，它的目标是为未来多媒体的应用提供一个完整的平台7/20/2023266MPEG-21多媒体框架标准(续1)元数据(metadata)是描述数据本身特性的数据，如描述包含在数据流中的声音和视像数据的元数据，包括描述文件中的标题、主题、作者和大小等的元数据。试图解决资源共享、知识产权和版权管理与保护，形象地用“数字条目”和一把锁来表示，见图11图9-11MPEG-21的远景规划[3]7/20/2023276MPEG-21多媒体框架标准(续2)标准的结构MPEG-21专家组将解决的关键技术问题归纳为7个数字条目说明(DigitalItemDeclaration，DID)用于定义数字条目(DI)的模式。该模式应当对所有类型的媒体资源和描述模式都是开放和可以扩展的，并且应当支持分层结构以利于搜索和管理。数字条目标识和描述(DigitalItemIdentificationandDescription，DIID)为标识和描述任何实体提供所需的框架。 内容管理和使用(contentmanagementandusage)为内容的创建、管理、搜索、访问、存储、传递和