MPEG-4技术及应用综述

MPEG-4技术及应用综述一．概述关于图象视频压缩已有n×384kbps电视会议H.120建议、p×64kbps视频编码标准H.261、连续色彩静止图象压缩标准JPEG、PSTN等低比特率活动图象压缩标准H.263。1988年ISO与CCITT成立活动图象专家组MPEG〔MovingPictureExpertsGroup)，研究数字存储媒体上的活动图象及其伴音的编码表示,1992年通过1.5Mbps编码标准MPEG-1,1994年通过2Mbps、30Mbps高质量视频音频编码标准MPEG-2。以上标准均侧重于某(几)个应用领域,交互性较差,至多允许视频序列可变速度的双向播放,可重用性只限于矩形视频区域及其相关音频的线性片段,无法在同一场景集成天然信息与合成信息,不能提供对各种网络的一致性访问，容错性、灵敏性和可扩展性比较差。MPEG于1991年5月提出关于视频音频编码的MPEG-4项目，设系统、音频、视频、需求、实现研究、测试及天然合成混合编码〔SNHC〕子组,1998年11月成为国际标准。MPEG-4提供更强的交互能力。场景中的每个对象独立编码,用户能够选择性地与其中某(几)个对象交互,具有良好的重用性。从新组合音视对象AVO〔AudioVisualObject〕构造新场景,能够集成各种对象,无缝地集成天然信息与合成信息,实时信息与存储信息,AVO能够是单/双/多声道音频信息、单/双/多镜头2D/3D视频信息。能够透明地访问信息,通过各种网络传输的信息最终映射为当地信息,整个经过给用户的感觉就好像访问当地信息。而且允许基于内容(比特率、分辨率、帧率、防错保卫和解码优先级)的可伸缩性和效劳质量〔QoS〕参数,愈加灵敏,可扩展,充足考虑将来技术的发展及应用需求,将解码器可编程能力分为:不可编程的标准工具集合〔Flex-0〕；由标准化工具及其接口灵敏配置的算法〔Flex-1〕；多种工具构成可能算法的标准化可扩展机制〔Flex-2〕。二．技术部分2.1MPEG-4标准概要MPEG-4引入了对象基表达(object-basedrepresentation)的概念，用来表达视听对象AVO(audio/visualobjects)；MPEG-4扩大了编码的数据类型，由天然数据对象扩展到计算机生成的合成数据对象，采取合成对象/天然对象混合编码SNHC(Synthetic/NaturalHybridCoding)算法；在实现交互功能和重用对象中引入了组合、合成和编排等主要概念。MPEG-4中制订了一个称为传输多媒体集成框架DMIF(DeliveryMultimediaIntegrationFramework)的会话协议，它用来管理多媒体数据流。该协议在原则上与文件传输协议FTP(FileTransferProtocol)类似，其差异不同是：FTP返回的是数据，而DMIF返回的是指向到何处获取数据流的指针。DMIF覆盖了三种重要技术：广播技术，交互网络技术和。MPEG-4将应用在移动通信和公用电话交换网PSTN(publicswitchedtelephonenetwork)上，并支持可视电话(videophone)、电视邮件(videomail)、电子报纸(electronicnewspapers)和其他低数据传输速率场所下的应用。MPEG-4的标准名是Very-lowbitrateaudio-visualcoding(甚低速率视听编码)。截止到1998年9月，已作为国际标准草案DIS(DraftInternationalStandard)的MPEG-4文件有5个部分，它们是：①MPEG-4系统标准，标准名是ISO/IECDIS14496-1Very-lowbitrateaudio-visualcoding-Part1:Systems。②MPEG-4电视图象标准，标准名是ISO/IECDIS14496-2Verylowbitrateaudio-visualcoding-Part2:Video。③MPEG-4声音标准，标准名是ISO/IECDIS14496-3Verylowbitrateaudio-visualcoding-Part3:Audio。④MPEG-4一致性测试标准，标准名是ISO/IECDIS14496-4Very-lowbitrateaudio-visualcoding-Part4:ConformanceTesting。⑤MPEG-4参考软件，标准名是ISO/IECDIS14496-5Very-lowbitrateaudio-visualcoding-Part5:Referencesoftware⑥MPEG-4传输多媒体集成框架，标准名是ISO/IECDIS14496-6Very-lowbitrateaudio-visualcoding-Part6:DeliveryMultimediaIntegrationFramework(DMIF)。2.2MPEG-4标准的范围和特点MPEG-4标准提供了一整套技术来知足作者的需要、效劳提供商和最终用户的偏好。*对于作者来讲，MPEG-4使得基于内容的产品成为现实，这种产品具有大得多的可用性，具有比如今的独立技术例如数字电视、动态图象、WWW网页及其扩展技术所能提供的更大的灵敏性。而且，如今有可能进行更好的管理和着作权的保卫。*对于网络效劳提供商来说，MPEG-4提供了透明的信息，它能够在相对标准的实体的帮助下解释并翻译成每个网络相应的当地信号讯息。不仅预先考虑到效劳质量〔QoS〕，MPEG-4还为不同的媒介提供一个通用的QoS描绘叙述符。为每种媒质从QoS的参数设置到网络效劳质量的精到准确翻译超越了MPEG-4的范围，留给了网络提供商。端到端的发送MPEG-4媒质QoS描绘叙述符就能够在异种网络间进行传输优化。*对于最终用户来说，MPEG-4在作者所置的限制内提供更高层次水平的内容交互。它也为新兴网络，包含那些应用相对低速率的网络以及移动网络提供多媒体效劳。MPEG主页上的一份MPEG-4应用文档描绘叙述了许多最终用户应用，包含交互式多媒体广播和移动通信。对所有相关方面，MPEG力求避免大量的所有权、非交织格式和播放器的使用。为实现以上目的，MPEG-4提供标准化方式来：1．代表语音、视觉或语音视觉内容的单元，称为"媒体对象"。这些媒体对象可能来自天然或合成源；这就是说他们能够被相机或话筒所记录，或者由计算机产生；2．描绘叙述这些对象的组合以开创建立构成语音视频屏幕的组合媒体对象；3．复用和同步与媒体对象相关的数据，这样他们能在提供了适于特殊媒体对象特性的QoS的网络通道上传输；而且4．与接收端产生的语音视频景象交互。2.2.1媒体对象的编码表示MPEG-4语音视频场景由一些媒体对象构成，以分层方式组织起来。在这条理构造中，我们找到了基本的媒体对象，例如：*静态图象〔例如固定背景〕*视频对象〔例如正在说话的人-没有背景〕*语音对象〔例如和这个人相关的声音〕MPEG-4把这样大量的能够表现2-D或3-D天然和合成内容类型的基本媒体对象标准化。附加在上面提到的、除媒体对象之外，MPEG-4定义了如下对象的编码表示法，*文本和图形；*文本和图形；*用来合成语言和运动头部的正在讲话的合成的头部和相关的文本；*合成的声音编码形式的媒体对象是由在语音视频景象中处理该对象的描绘叙述元素和相关流数据构成。主要的是在编码形式下每个媒体对象都能独立与它的环境或背景独立表现。考虑到要求的功能，这种媒体对象的编码表示法是尽可能的高效的。这些功能包含错误过失鲁棒性、易释性和可编纂性。2.2.2媒体对象的组合基本媒体对象相应于描绘叙述树中的叶子，而组合媒体对象包括了整个子树。例如：相应于正在说话的人的视频对象和相应的声音捆绑在一起构成一个新的组合媒体对象，包括了那个人的语音和视频部分。*这样的构成允许作者构建复杂的景象，使客户能处理有意义的对象。*更普遍地，MPEG-4提供了一种描绘叙述景象的标准化方式，例如允许：*在给定坐标系内随处放置媒体对象；*应用变换来改变媒体对象的几何和声学表现；*整合基本媒体对象以构成组合媒体对象；*应用流数据于媒体对象以更改属性〔例如声音，属于某对象的移动中的文本，驱动合成面孔的动态参数成面孔的动态参数；*交互式地改变用户在景象中的任何视听点。景象描绘叙述是建立在来自于对象合成结点的构造和功能意义上的虚拟现实〔VRML〕的一些基本概念而且扩展为完全实现上述特点。2.2.3媒体对象流数据的描绘叙述和同步一个MPEG-4影音场景的例子媒体对象可能需要在一个或多个基本流中传输的流数据。对象描绘叙述符把与媒体对象相关的所有流中区分开来。这就允许处理分层编码数据、内容变化信息的联络〔称?quot;对象内容信息"〕和相关的知识产权。每个流本身由一套配置信息的描绘叙述符所区别，例如用来决定需要编码源和编码的时间信息精度。而且描绘叙述符能够携带传输需要的QoS的线索〔例如最大位速率、位错误过失速率、优先级等〕。基本流的同步是通过基本流内单个访问单元的时标实现的。同步层管碚庋姆梦实ピ褪北甑氖侗稹６懒⒂诿教謇嘈椭猓貌阍市硎侗鸪龇梦实ピ睦嘈突指疵教宥韵蠡蚓跋竺枋龅氖被夷茉谄浼涫迪滞健８貌愕挠锓梢远嘀址绞脚渲茫市碓谛矶嘞低持惺褂谩?2.2.4流数据的传输在不同QoS的网络中从源到目的的流信息的同步传输，是由上述的同步层和包括两子层的复合传输层确定的。第一个复用层根据MPEG-4标准的Part6中的DMIF规范进行管理。这种复用可在MPEG定义的FlexMux工具中具体表现出，该工具允许以低复用费用组合基本流〔ESS〕。例如该层的复用可用来组合类似QoS需求的基本流，减少网络连接数或者端-端延迟，TransMux〔传输复用〕层搭建了提供匹配需求QoS的传输效劳的层。MPEG-4仅确定了该层的接口而详细的数据包和控制信号的规划必需与各传输协议上有权的实体进行协商。任何现存的适宜的传输协议栈，例如〔RTP〕/UDP/IP、〔AAL5〕/ATM或者MPEG-2在合适链路层上的传输流都可能成为TransMux的实例。选择权留给了最终用户和效劳提供商，而允许MPEG-4用于广泛的运行环境中。FlexMux复用工具的使用是可选的，假如下层的TransMux实例提供了所有要求的功能，该层必需为空。而同步层老是存在的。以下为可行的：1．辨别访问单元，传输时标和时钟参考信息以及检测数据丢失；2．传输控制信息以实现：*为每个基本流和FlexMux流指导需要的QoS；*翻译这样的QoS需求为实际网络资源；*连接基本流到媒体对象；*转换基本流的映射为FlexMux和TransMux通道。部分控制功能在和DMIF框架这样的传输控制实体联合后才可实现。2.2.5与媒体对象交互总体来说用户看到的是根据作者设计组合而成的影象。然而，用户和影象交互的可能性依靠于作者所允许的自在度。用户可能被允许进行的操作包含：*改变景象的视/听点，例如在景象中遨游；*把景象中的对象拖到不同的位置上；*点击特定对象以触发一系列事件，例如开始或终止视频流；*多语言音轨时选择想要的语言。更复杂的动作也能被触发，例如一个虚拟的电话铃响，用户接听并建立通信链路。2.2.6知识产权的管理和辨别能够在MPEG-4媒体对象中辨别出知识产权是主要的。为支持这一点，MPEG与不同制作商的代表就语法定义和工具进行合作。MPEG-4通过存储唯一标识来实现辨别，该标识由国际编号系统公布。该数字可用于辨别媒体对象的当下所有者。由于并非所有的内容都由此数字辨别，MPEG-4Version1提供用关键值对来辨别知识产权的可能。而且MPEG-4为想使用控制访问知识产权的系统的人提供一个严密结合进系统层的标准化系统的人提供一个严密结合进系统层的标准化接口。通过该接口，所有权控制系统可轻易地与解码器的标准化部分组合。2.3MPEG-4标准的技术细节显示了从网络〔或存储设备〕来的流作为TransMux流，复用为FlexMux流并传给适当的获取基本流的FlexMux解复器的。基本流〔ES〕被解析并传递给适当的解码器。解码是从编码形式中恢复出AV对象中的数据并进行需要的操作以重建初始的AV对象以备在适当设备上演示。重建的AV对象可为影象演示中的潜在需要组合成层。解码的AV对象和影象描绘叙述信息都被用来组合作者所描绘叙述的影象。用户可在作者允许的水平上与最终演示展示的影象交互。2.3.1传输多媒体集成框架DMIF传输多媒体集成框架DMIF〔DeliveryMultimediaIntegrationFramework〕是在通用传输技术上的管理多媒体流的会话协议。原理上与FTP类似，唯一也是基本的差异不同是FTP返回数据，DMIF返回获取〔流〕数据的指针。类似地，当DMIF运行时，第一个动作是和远端建立会话。然后，选择流并发要求〔request〕流注，DMIF对端将返回连接流注点的指针，并建立连接。MPEG-4终端〔接收侧〕的重要部分与FTP相比，DMIF既是框架又是协议。DMIF提供的功能是由称为DMIF应用接口〔DAI〕的接口来表达，并翻译为协议消息。这些协议消息可能基于运行的网络而不同。效劳质量同样为DMIF设计所考虑，DAI允许DMIF用户为所需的流指定要求。这样就要求DMIF履行时保证要求得以实现。DMIF规格提供了在几个新网络类型，例如Internet上实现该任务的线索。DAI也用来访问广播介质和当地文件，这意味着在多传输技术上定义访问多媒体内容的单一、统一的接口。因而，我们合适这样说，DMIF的集成框架涵盖了三种重要技术，交互网络技术、广播技术和磁盘技术。DMIF如此以致依靠于DMIF通信的应用不必关心底层的通信方法。DMIF履行以处理关于简单应用接口的传输技术细节。应用通过DMIF应用接口访问数据，无论该数据来自广播源、当地存储器或远端效劳器。在所有的情况下当地应用只通过统一接口〔DAI〕交互。不同的DMIF实例考虑到采取传输技术的特性把当地应用翻译为送至远端应用的特定消息。类似地，〔从远端效劳器、广播网络或消息。类似地，〔从远端效劳器、广播网络或当地文件〕进入终端的数据通过DAI统一地传给当地应用。不同的、特定的DMIF实例被管理各种特定传输技术的应用唤醒，固然这对于应用是通明的，它只是和单一的"DMIF过滤器"交互。该过滤器负责为特定DAI向正确的实例粗定向。DMIF不规定该机制，只假设它是运行的。这在该图的阴影框内有所强调，目的是澄清DMIF应用的