多媒体技术讲义第一章概论课件

第一章多媒体技术概述本章的讲解包括两个部分：

第一部分

媒体与多媒体数据流

第二部分

多媒体计算机技术概述本章重点讲述主要讲解内容第一章多媒体技术概述本章的讲解包括两个部分：本章主要1内容简介第一部分 媒体与多媒体数据流第二部分 多媒体计算机技术概述本部分介绍多媒体系统的基本概念和多媒体系统的组成要素，首先对多媒体这个术语的含义进行界定，然后对不同的媒体特征进行描述，并指出多媒体系统的重要特性，最后介绍多媒体系统中的数据流特征和逻辑数据单元(LDU,LogicalDataUnit)。概述多媒体计算机的定义、分类、现状及发展趋势。2003.9Multimedia:Computing,Communications&Applications内容简介第一部分 媒体与多媒体数据流本部分介绍多媒体系统的基Part1.媒体与数据流1.1.1 媒体的概念与分类1.1.2 多媒体系统的主要特征1.1.3 多媒体的概念1.1.4 传统的数据流特性1.1.5 连续媒体的数据流特性1.1.6 信息单元

本部分介绍多媒体系统的基本概念和多媒体系统的组成要素，首先对多媒体这个术语的含义进行界定，然后对不同的媒体特征进行描述，并指出多媒体系统的重要特性，最后介绍多媒体系统中的数据流特征和逻辑数据单元(LDU,LogicalDataUnit)。Part1.媒体与数据流1.1.1 媒体的概念与分类31.1.1媒体的概念与分类媒体的概念媒体的类型感知媒体(ThePerceptionMedium)表示媒体(TheRepresentationMedium)表现媒体(ThePresentationMedium)存储媒体(TheStorageMedium)传输媒体(TheTransmissionMedium)信息交换媒体(TheInformationExchangeMedium)一般说来，媒体是一种信息发布和表现的方法，如文本、图形、语音、音乐等，也可以将水和空气加入媒体范畴。根据ISOIECJTC1/SC29标准，媒体可以划分成6种类型。帮助人来感知环境。要解决的主要问题是：人在计算机环境中如何感知信息?视、听……用信息的计算机内部表示来刻画。要解决的主要问题是：计算机信息如何编码?PCM,MPEG,……指信息输入/输出的工具和设备。要解决的问题是：信息通过何种媒体输入到计算机中或从计算机中输出?喇叭、摄像机……是指能支持信息存储的数据载体，数据存储并不局限于计算机的部件，例如，纸也是一种存储媒体。要解决的问题是：信息存储力：什么地力?缩微胶片、软盘、CD-ROM……传输媒体用于传输数据信息，它们支持连续媒体的数据传输，存储媒体不属于传输媒体的范围。要解决的问题是：在什么上而传输信息?网络、光纤、无线通信……信息交换媒体包括所有用于传输和存储的信息载体。要回答的主要问题是：在不同地点之间使用哪种信息载体来进行信息交换?三个答案：通过中间存储媒体、使用计算机网络、组合使用存储媒体和传输媒体(如电子邮件系统)。2003.9Multimedia:Computing,Communications&Applications1.1.1媒体的概念与分类媒体的概念一般说来，媒媒体的概念与分类(cont.)表示值与描述空间(TheRepresentationValues&Spaces)表示维数(RepresentationDimensions)表示值决定：不同媒体的信息表示。它可以是离散型(Discrete)的，也可以是连续型(Continuous)的。每种媒体定义了自己的表示值和表示空间某些表示值是自包含(self-contained)的，由接受者作适当的解释某些媒体需要预定义符号集，用户必须遵守媒体表示方法、手段的多样性，表示能力的差异性每个表示空间由一个或多个表示维组成。除空间维外，时间是一个重要的表示维。根据时间在表示空间中的作用，由可以将媒体划分成独立于时间的媒体与依赖于时间的媒体。时间依赖媒体、离散媒体和连续媒体这些术语与信息的计算机内部表示无关，它们与观察者或聆听者的感觉有关。如电影，它由离散的数值组成，当它以15帧/秒显示时，人们就有连续感。2003.9Multimedia:Computing,Communications&Applications媒体的概念与分类(cont.)表示值与描述空间(TheRe1.1.2多媒体系统的主要特征多媒体系统的定义多媒体系统的特点媒体的组合(CombinationofMedia)注意：不是所有的媒体任意组合均可称之为“Multimedia”，我们所谈论的“多媒体”应该包含连续型媒体和离散型媒体独立性(Independence)媒体的一个重要的特性是它的独立性。一般的应用也需要各种媒体具有一定的独立性，但是多媒体系统需要的是多个层次的独立性。计算机支持的媒体集成(Computer-supportedIntegration)媒体的独立性使多种媒体的组合成为可能，而计算机是实现这种组合的理想工具(既有多媒体处理能力，又有二次开发的功能支持)。通信系统(CommunicationSystems)多媒体系统必须具备通信能力(先今的计算机大部分是互联的、很多有趣的多媒体应用是专门为分布式计算环境而设计的)。多媒体系统的特征是：用计算机对一些独立的信息进行一体化的制作、处理、表现、存储和通信，这些信息必须至少通过一种连续(时间有关)媒体和一种离散(时间无关)媒体进行编码。MultimediaSystemischaracterizedbycomputer-controlled,integratedproduction,manipulation,presentation,storageandcommunicationofindependentinformation,whichisencodedatleastthroughacontinuous(time-dependent)andadiscrete(time-independent)medium.任何支持一种以上媒体的系统都可以称为多媒体系统？??!2003.9Multimedia:Computing,Communications&Applications1.1.2多媒体系统的主要特征多媒体系统的定义1.1.3多媒体的概念狭义的“多媒体”广义的“多媒体”只要同时处理了多种媒体、就可以使用“多媒体”这个提法！！多媒体系统必须包括连续媒体，同时为处理离散媒体，引入重要的时间边界条件(通过连续媒体)，但这些条件直到现在才在计算机中得到使用。Multimedia: Multi＋Medium

Multi-:

[lat.:much]many;much;multiple

Medium:

[lat.:middle]Aninterveningsubstancethroughwhichsomethingistransmittedorcarriedon;Ameansofmasscommunicationsuchasnewspaper,magazine,ortelevision.[fromAmericanHeritageElectronicDictionary,1991]集成性交互性同步性！2003.9Multimedia:Computing,Communications&Applications1.1.3多媒体的概念狭义的“多媒体”只要1.1.4传统的数据流特性在分布式多媒体通信系统中，信息的交换是伴随着连续媒体和离散媒体数据的传输产生的传输媒体的信息类型的差异使得数据流间的特征差异很大在计算机通信相交互领域中有三种传输模式异步传输模式(ATM,AsynchronousTransmissionMode)同步传输模式(STM,SynchronousTransmissionMode)等时传输模式(ITM,IsochronousTransmissionMode)信息的传送不受时间条件的约束，数据包总是尽可能快地被送达接收端；例子：互联网上电了邮件的传输协议、以太网；特点：所有离散媒体信息都可以作为异步数据流来传输，而传输连续媒体，则必须使用其他技术来提供时间约束。等时传输模式对于每个包的端到端延时在规定一个最大值之外还规定一个最小值。这就意味着单个包的延时跳动被限定在了一个更小的范围内。在这种模式下，上例子中的接收端所需缓存就大大减小了，当然还要把数据路由经过的从起点到终点间所有中间部件中的存储都考虑在内。同步传输模式为数据流中的每个数据包规定了一个端到端的最大延时，包可以在早于这个最大延时的任意时刻到达接收端，但绝对不能超过这个最大延时，这样多媒体应用的一个重要要求--端到端(End-to-End)最大延时就得到了保证。另外在支持同步传输模式的局域网上还可以进行音频信号传输。使用检索方式(RetrievalMode)传送未压缩的视频数据的重要特征是具有较高的数据速率，相应也有较大的端到端延时。典型的数据速率是140Mb/s、最大延时1秒，所以在极端情况下，包可以提前1秒被送达，这样就需要一个缓冲存储来保存这些数据．如果按上面的数据速率这个缓冲需要有17.5兆字节。2003.9Multimedia:Computing,Communications&Applications1.1.4传统的数据流特性在分布式多媒体通信系统中，信息1.1.5连续媒体的数据流特性传输中相邻数据包间的时间间隔如果相邻包之间的时间间隔是一个常量，那么这个数据流就是强周期性的，也就是说时间间隔的变化值为0如果两个相邻包之间的时间间隔长度不是常数(否则就是强周期数据流)。但可以用一个有固定周期的函数来描述，那么就称这种数据流为弱周期性的以其他时间间隔形式传输的数据称为非周期数据流2003.9Multimedia:Computing,Communications&Applications1.1.5连续媒体的数据流特性传输中相邻数据包间的时间间连续媒体的数据流特性(cont.)传输中相邻数据包数量的变化在数据流的生命周期中，数据包的大小没有改变，则称该数据流是强规则的。未压缩数据的传的具有这种典型特征，例如以未压缩形式传输的视频数据流以及CD中的音频数据流。如果包的数据量随时间作周期性的变化，就称这种数据流为弱规则的。按以下压缩方法进行压缩的视频数据的数据流是弱规则的：对视频序列中的某些图像单独压缩编码，使之成为数据流中相对较大的包（不考虑网络对包长度的限制），并使这些包以一定的时间间隔(如2秒)在数据流中周期性地出现，而在这些时间间隔内传送的是图像的附加包，它包含两幅相邻压缩的图像间的差别。如果数据包的数据量既不恒定也不依某个周期函数变化，那么就称这个数据流为不规则的，这种情况下的数据传输与处理就更为复杂。在对数据流进行压缩时，数据流有一个可变的位率，从单幅图像得来的单个包的大小取决于前一幅变化图像的内容。这样产生的信息单元的大小就与视频序列的内容有关，从而使得数据流变成不规则。2003.9Multimedia:Computing,Communications&Applications连续媒体的数据流特性(cont.)传输中相邻数据包数量的变化连续媒体的数据流特性(cont.)包的连续性连续传输：所有的包都紧跟在前一个包后面传输，中间没有空隙，必要的附加倍息(如误差控制代码)也在其中，这样就100%地利用了系统资源。以这种连接方式传输的数据流可以获得最大的数据吞吐量并最大限度地利用系统资源。ISDN中传送音频信息的64kb/s的B通道采用的就是这种传输力式。首尾相接的数据包在传输时如果通道的容纳能力大于数据的输入速率，包与包之间就会出现空隙，如图2.8所示。这种在信息单元间有空隙的数据流称为非连续数据流，但空隙是否存在于所有的包之间以及空隙的长度是否变化并不重要。例如，经JPEG编码平均数据传输速率为1.2Mb/s的数据流，在FDDI网上传输时包之间会产生空隙。2003.9Multimedia:Computing,Communications&Applications连续媒体的数据流特性(cont.)包的连续性连续传输：所有的1.1.6信息单元连续媒体是由与时间有关的独立信息单元的序列构成的，我们称这样的信息单元为逻辑数据单元(LDU，LogicalDataUnit)例如：（1） 举JosephHoydn的交响乐“TheBear”为例，它分为4个乐句：vivaceassai，a11egretto和finatevivace。每一乐句都是整首交响乐中独立的一个部分、由各种乐器的演奏音符组成。在数字系统中，音符是用一系列的采样值来表示的(这里不考虑压缩)。CD-DA质量的声音每秒有44l00次采样，每个采样值用16位编码。在CD上，这些采样值被组织成许多1/75秒的小单元，所以既可以把LDU看做整首交响曲，也可以把它看做独立的乐句、1/75秒的采样单元或者就是采样值，这取决于不同的应用需要。例如对于播放整首交响乐的应用，LDU就是整首交响曲。有些应用会把有意义的最小单元作为LDU(在这里是音符)，数字系统则把采样点看成LDU。（2） 再举视频图像为例。未经压缩的视频序列由表示场景的视频片断组成．如图2.9所示。一个场景是由一系列国像组成的，一幅图像又可以被划分为16×l6像素的小块，而每个像素的信息又是由亮度值和色度值来表示的。因此，视频序列的LDU并不局限于是单幅图像，它可以是场景也可以是像素。使用DVI或MPEG编码方法可以用帧间压缩的方法消除视频序列的冗余，在这个应用中，能自我包含的有意义的最小单元是图像序列本身。

粒度这个概念用来描述音频和视频数据流层次划分的细密程度。在上述例子中，最常见的名字也是最显而易见的信息单元是交响乐和影片，但也可根据时间长度做出其他类型的LDU划分。预先确定时间长度的LDU称为闭合LDU。计算机中的音频采样数据流就是闭合LDU数据流。不能预先确定时间长度的IDU称为开放LDU，由摄像机或麦克风传向计算机的数据流就是开放LDU数据流。2003.9Multimedia:Computing,Communications&Applications1.1.6信息单元连续媒体是由与时间有关的独立信息单元的第二部分多媒体计算机技术概述概述多媒体计算机的定义、分类、现状及发展趋势。要点：

1.

多媒体计算机的定义、分类和关键技术2.从多媒体计算机的分类看家电制造厂商研制的电视计算机，“灵巧”电视—SmartTV3.从多媒体计算机的分类看计算机制造厂商研制的计算机电视，TV-Killer第二部分多媒体计算机技术概述概述多媒体计算机13主要讲述内容1.2.1多媒体计算机的定义和关键技术1.2.2多媒体技术促进了通讯、娱乐和计算机的融合1.2.3多媒体计算机技术的发展和应用2003.9Multimedia:Computing,Communications&Applications主要讲述内容1.2.1多媒体计算机的定义和关键技术21.2.1多媒体计算机的定义和关键技术多媒体计算机技术定义多媒体计算机的分类多媒体计算机的关键技术1.2.1多媒体计算机的定义和关键技术多媒体计算15多媒体计算机技术定义多媒体计算机技术(MultimediaComputing)定义：计算机综合处理多种媒体信息(文本、图形、图像、音频和视频)，使多种信息建立逻辑连接，集成为一个系统并具有交互性。计算机综合处理声、文、图信息具有集成性和交互性2003.9Multimedia:Computing,Communications&Applications多媒体计算机技术定义多媒体计算机技术定义：计算机综合处理多种多媒体计算机的分类从开发和生产厂商以及应用的角度出发可以分成两大类：电视计算机（Teleputer）家电制造厂商研制的电视计算机，是把CPU放到家电中，通过编程控制管理电视机、音响，有人称它为“灵巧/智能”电视——SmartTV；计算机电视（Compuvision）计算机制造厂商研制的计算机电视，采用微处理器（80×86、68×××）作为CPU，其它设备还有VGA卡、CD-ROM、音响设备以及扩展的多窗口系统，有人说它的发展方向是TV-Killer。2003.9Multimedia:Computing,Communications&Applications多媒体计算机的分类从开发和生产厂商以及应用的角度出发节目流通过网络接口模块（NIM）进入核心处理芯片STB01X0；在STB01X0中，解复用、解压缩、再NTSC/PAL编码；得到的视频送到电视，得到的音频流经过D/A转换输出；控制各存储器SDRAM(用于视音频缓存)，Flash/DRAM(用于系统处理)；接收遥控器信号等的处理由Peripherals外设部分接收，STB01X0协调处理。RedWoodIII机顶盒平台2003.9Multimedia:Computing,Communications&Applications节目流通过网络接口模块（NIM）进入核心处理芯片STB

多媒体计算机的关键技术要把一台普通的计算机变成多媒体计算机要解决的关键技术是：

视频音频信号获取技术；多媒体数据压缩编码和解码技术；视频音频数据的实时处理技术；视频音频数据的输出技术。2003.9Multimedia:Computing,Communications&Applications多媒体计算机的关键技术要把一台普通的计算1.2.2多媒体技术促进了通讯、娱乐和

计算机的融合现代化社会人的工作方式和特点是：群体性、交互性分布性、协作性1.2.2多媒体技术促进了通讯、娱乐和

20TimeUserScaleControlSingleUserMultipleUser(Group)SynchronousAsynchronousDistributedCentralizedGroupDecisionMakingConferenceRoomMeetingFace-to-FaceMeetingGroupCSCWDesktopTeleconferencingTelephoneTele-MentoringElectronicMailBulletinBoardCollaborativeSoftwareDevelopmentCollaborativeDocumentEditingGroupScheduleManagement多媒体协同计算的多维空间表示2003.9Multimedia:Computing,Communications&ApplicationsTimeUserScaleControlSingleUs多方协作的任务-活动模型合作层合作项目任务层任务网络活动层活动序列CollaborationT1T2T3T4T5A1A2A3A4A5A6A7A8CollaborationCollaboration2003.9Multimedia:Computing,Communications&Applications多方协作的任务-活动模型合作层任务层活动层Collabora多媒体通讯分类1.对称的全双工的多媒体通讯如分布式多媒体信息系统、视频会议系统及计算机支持的协同工作系统；2.非对称全双工的多媒体通讯系统如交互式电视系统（ITV）、点播电视系统（VOD）、远程教育系统、远程医疗诊断系统及及远程图书馆。

2003.9Multimedia:Computing,Communications&Applications多媒体通讯分类1.对称的全双工的多媒体通讯2.非对称1.多媒体数据压缩（越小越好）二、多媒体通讯的关键技术2.高速数据通讯问题（频带越宽越好）

尤其是视频会议系统要解决视频会议系统的国际标准问题。2003.9Multimedia:Computing,Communications&Applications1.多媒体数据压缩（越小越好）二、多媒体通讯2003.9Multimedia:Computing,Communications&Applications2003.9Multimedia:Computing,C2003.9Multimedia:Computing,Communications&Applications2003.9Multimedia:Computing,C1.2.3多媒体计算机技术的发展和应用进一步完善计算机支持的协同工作环境CSCW智能多媒体技术把多媒体信息实时处理和压缩编码算法作到CPU芯片中1.2.3多媒体计算机技术的发展和应用进一步完27分布式多媒体协同编著系统界面私人编辑窗口权限控制窗口协同编辑窗口发言人视频图像2003.9Multimedia:Computing,Communications&Applications分布式多媒体协同编著系统界面私人编辑窗口权限控制窗口协同编辑智能多媒体技术计算机人工智能中间地带用交互式弥补计算机智能的不足智能多媒体数据库的核心技术：将具有推理功能的知识库与多媒体数据库结合起来，形成智能多媒体数据库。2003.9Multimedia:Computing,Communications&Applications智能多媒体技术计算机人工智能中间地带用交互式弥补计算机智能的Content-basedRetrieval猜！猜！！

猜！！！2003.9Multimedia:Computing,Communications&ApplicationsContent-basedRetrieval猜！2003.多媒体计算机硬件从目前的发展趋势看可以把这种芯片分成两类：1.以多媒体和通信功能为主，融合

原有的计算功能。

2.以通用CPU计算功能为主，融合

多媒体和通信功能。2003.9Multimedia:Computing,Communications&Applications多媒体计算机硬件从目前的发展趋势看可以把这多媒体技术讲义第一章概论课件32第一章多媒体技术概述本章的讲解包括两个部分：

第一部分

媒体与多媒体数据流

第二部分

多媒体计算机技术概述本章重点讲述主要讲解内容第一章多媒体技术概述本章的讲解包括两个部分：本章主要33内容简介第一部分 媒体与多媒体数据流第二部分 多媒体计算机技术概述本部分介绍多媒体系统的基本概念和多媒体系统的组成要素，首先对多媒体这个术语的含义进行界定，然后对不同的媒体特征进行描述，并指出多媒体系统的重要特性，最后介绍多媒体系统中的数据流特征和逻辑数据单元(LDU,LogicalDataUnit)。概述多媒体计算机的定义、分类、现状及发展趋势。2003.9Multimedia:Computing,Communications&Applications内容简介第一部分 媒体与多媒体数据流本部分介绍多媒体系统的基Part1.媒体与数据流1.1.1 媒体的概念与分类1.1.2 多媒体系统的主要特征1.1.3 多媒体的概念1.1.4 传统的数据流特性1.1.5 连续媒体的数据流特性1.1.6 信息单元

本部分介绍多媒体系统的基本概念和多媒体系统的组成要素，首先对多媒体这个术语的含义进行界定，然后对不同的媒体特征进行描述，并指出多媒体系统的重要特性，最后介绍多媒体系统中的数据流特征和逻辑数据单元(LDU,LogicalDataUnit)。Part1.媒体与数据流1.1.1 媒体的概念与分类351.1.1媒体的概念与分类媒体的概念媒体的类型感知媒体(ThePerceptionMedium)表示媒体(TheRepresentationMedium)表现媒体(ThePresentationMedium)存储媒体(TheStorageMedium)传输媒体(TheTransmissionMedium)信息交换媒体(TheInformationExchangeMedium)一般说来，媒体是一种信息发布和表现的方法，如文本、图形、语音、音乐等，也可以将水和空气加入媒体范畴。根据ISOIECJTC1/SC29标准，媒体可以划分成6种类型。帮助人来感知环境。要解决的主要问题是：人在计算机环境中如何感知信息?视、听……用信息的计算机内部表示来刻画。要解决的主要问题是：计算机信息如何编码?PCM,MPEG,……指信息输入/输出的工具和设备。要解决的问题是：信息通过何种媒体输入到计算机中或从计算机中输出?喇叭、摄像机……是指能支持信息存储的数据载体，数据存储并不局限于计算机的部件，例如，纸也是一种存储媒体。要解决的问题是：信息存储力：什么地力?缩微胶片、软盘、CD-ROM……传输媒体用于传输数据信息，它们支持连续媒体的数据传输，存储媒体不属于传输媒体的范围。要解决的问题是：在什么上而传输信息?网络、光纤、无线通信……信息交换媒体包括所有用于传输和存储的信息载体。要回答的主要问题是：在不同地点之间使用哪种信息载体来进行信息交换?三个答案：通过中间存储媒体、使用计算机网络、组合使用存储媒体和传输媒体(如电子邮件系统)。2003.9Multimedia:Computing,Communications&Applications1.1.1媒体的概念与分类媒体的概念一般说来，媒媒体的概念与分类(cont.)表示值与描述空间(TheRepresentationValues&Spaces)表示维数(RepresentationDimensions)表示值决定：不同媒体的信息表示。它可以是离散型(Discrete)的，也可以是连续型(Continuous)的。每种媒体定义了自己的表示值和表示空间某些表示值是自包含(self-contained)的，由接受者作适当的解释某些媒体需要预定义符号集，用户必须遵守媒体表示方法、手段的多样性，表示能力的差异性每个表示空间由一个或多个表示维组成。除空间维外，时间是一个重要的表示维。根据时间在表示空间中的作用，由可以将媒体划分成独立于时间的媒体与依赖于时间的媒体。时间依赖媒体、离散媒体和连续媒体这些术语与信息的计算机内部表示无关，它们与观察者或聆听者的感觉有关。如电影，它由离散的数值组成，当它以15帧/秒显示时，人们就有连续感。2003.9Multimedia:Computing,Communications&Applications媒体的概念与分类(cont.)表示值与描述空间(TheRe1.1.2多媒体系统的主要特征多媒体系统的定义多媒体系统的特点媒体的组合(CombinationofMedia)注意：不是所有的媒体任意组合均可称之为“Multimedia”，我们所谈论的“多媒体”应该包含连续型媒体和离散型媒体独立性(Independence)媒体的一个重要的特性是它的独立性。一般的应用也需要各种媒体具有一定的独立性，但是多媒体系统需要的是多个层次的独立性。计算机支持的媒体集成(Computer-supportedIntegration)媒体的独立性使多种媒体的组合成为可能，而计算机是实现这种组合的理想工具(既有多媒体处理能力，又有二次开发的功能支持)。通信系统(CommunicationSystems)多媒体系统必须具备通信能力(先今的计算机大部分是互联的、很多有趣的多媒体应用是专门为分布式计算环境而设计的)。多媒体系统的特征是：用计算机对一些独立的信息进行一体化的制作、处理、表现、存储和通信，这些信息必须至少通过一种连续(时间有关)媒体和一种离散(时间无关)媒体进行编码。MultimediaSystemischaracterizedbycomputer-controlled,integratedproduction,manipulation,presentation,storageandcommunicationofindependentinformation,whichisencodedatleastthroughacontinuous(time-dependent)andadiscrete(time-independent)medium.任何支持一种以上媒体的系统都可以称为多媒体系统？??!2003.9Multimedia:Computing,Communications&Applications1.1.2多媒体系统的主要特征多媒体系统的定义1.1.3多媒体的概念狭义的“多媒体”广义的“多媒体”只要同时处理了多种媒体、就可以使用“多媒体”这个提法！！多媒体系统必须包括连续媒体，同时为处理离散媒体，引入重要的时间边界条件(通过连续媒体)，但这些条件直到现在才在计算机中得到使用。Multimedia: Multi＋Medium

Multi-:

[lat.:much]many;much;multiple

Medium:

[lat.:middle]Aninterveningsubstancethroughwhichsomethingistransmittedorcarriedon;Ameansofmasscommunicationsuchasnewspaper,magazine,ortelevision.[fromAmericanHeritageElectronicDictionary,1991]集成性交互性同步性！2003.9Multimedia:Computing,Communications&Applications1.1.3多媒体的概念狭义的“多媒体”只要1.1.4传统的数据流特性在分布式多媒体通信系统中，信息的交换是伴随着连续媒体和离散媒体数据的传输产生的传输媒体的信息类型的差异使得数据流间的特征差异很大在计算机通信相交互领域中有三种传输模式异步传输模式(ATM,AsynchronousTransmissionMode)同步传输模式(STM,SynchronousTransmissionMode)等时传输模式(ITM,IsochronousTransmissionMode)信息的传送不受时间条件的约束，数据包总是尽可能快地被送达接收端；例子：互联网上电了邮件的传输协议、以太网；特点：所有离散媒体信息都可以作为异步数据流来传输，而传输连续媒体，则必须使用其他技术来提供时间约束。等时传输模式对于每个包的端到端延时在规定一个最大值之外还规定一个最小值。这就意味着单个包的延时跳动被限定在了一个更小的范围内。在这种模式下，上例子中的接收端所需缓存就大大减小了，当然还要把数据路由经过的从起点到终点间所有中间部件中的存储都考虑在内。同步传输模式为数据流中的每个数据包规定了一个端到端的最大延时，包可以在早于这个最大延时的任意时刻到达接收端，但绝对不能超过这个最大延时，这样多媒体应用的一个重要要求--端到端(End-to-End)最大延时就得到了保证。另外在支持同步传输模式的局域网上还可以进行音频信号传输。使用检索方式(RetrievalMode)传送未压缩的视频数据的重要特征是具有较高的数据速率，相应也有较大的端到端延时。典型的数据速率是140Mb/s、最大延时1秒，所以在极端情况下，包可以提前1秒被送达，这样就需要一个缓冲存储来保存这些数据．如果按上面的数据速率这个缓冲需要有17.5兆字节。2003.9Multimedia:Computing,Communications&Applications1.1.4传统的数据流特性在分布式多媒体通信系统中，信息1.1.5连续媒体的数据流特性传输中相邻数据包间的时间间隔如果相邻包之间的时间间隔是一个常量，那么这个数据流就是强周期性的，也就是说时间间隔的变化值为0如果两个相邻包之间的时间间隔长度不是常数(否则就是强周期数据流)。但可以用一个有固定周期的函数来描述，那么就称这种数据流为弱周期性的以其他时间间隔形式传输的数据称为非周期数据流2003.9Multimedia:Computing,Communications&Applications1.1.5连续媒体的数据流特性传输中相邻数据包间的时间间连续媒体的数据流特性(cont.)传输中相邻数据包数量的变化在数据流的生命周期中，数据包的大小没有改变，则称该数据流是强规则的。未压缩数据的传的具有这种典型特征，例如以未压缩形式传输的视频数据流以及CD中的音频数据流。如果包的数据量随时间作周期性的变化，就称这种数据流为弱规则的。按以下压缩方法进行压缩的视频数据的数据流是弱规则的：对视频序列中的某些图像单独压缩编码，使之成为数据流中相对较大的包（不考虑网络对包长度的限制），并使这些包以一定的时间间隔(如2秒)在数据流中周期性地出现，而在这些时间间隔内传送的是图像的附加包，它包含两幅相邻压缩的图像间的差别。如果数据包的数据量既不恒定也不依某个周期函数变化，那么就称这个数据流为不规则的，这种情况下的数据传输与处理就更为复杂。在对数据流进行压缩时，数据流有一个可变的位率，从单幅图像得来的单个包的大小取决于前一幅变化图像的内容。这样产生的信息单元的大小就与视频序列的内容有关，从而使得数据流变成不规则。2003.9Multimedia:Computing,Communications&Applications连续媒体的数据流特性(cont.)传输中相邻数据包数量的变化连续媒体的数据流特性(cont.)包的连续性连续传输：所有的包都紧跟在前一个包后面传输，中间没有空隙，必要的附加倍息(如误差控制代码)也在其中，这样就100%地利用了系统资源。以这种连接方式传输的数据流可以获得最大的数据吞吐量并最大限度地利用系统资源。ISDN中传送音频信息的64kb/s的B通道采用的就是这种传输力式。首尾相接的数据包在传输时如果通道的容纳能力大于数据的输入速率，包与包之间就会出现空隙，如图2.8所示。这种在信息单元间有空隙的数据流称为非连续数据流，但空隙是否存在于所有的包之间以及空隙的长度是否变化并不重要。例如，经JPEG编码平均数据传输速率为1.2Mb/s的数据流，在FDDI网上传输时包之间会产生空隙。2003.9Multimedia:Computing,Communications&Applications连续媒体的数据流特性(cont.)包的连续性连续传输：所有的1.1.6信息单元连续媒体是由与时间有关的独立信息单元的序列构成的，我们称这样的信息单元为逻辑数据单元(LDU，LogicalDataUnit)例如：（1） 举JosephHoydn的交响乐“TheBear”为例，它分为4个乐句：vivaceassai，a11egretto和finatevivace。每一乐句都是整首交响乐中独立的一个部分、由各种乐器的演奏音符组成。在数字系统中，音符是用一系列的采样值来表示的(这里不考虑压缩)。CD-DA质量的声音每秒有44l00次采样，每个采样值用16位编码。在CD上，这些采样值被组织成许多1/75秒的小单元，所以既可以把LDU看做整首交响曲，也可以把它看做独立的乐句、1/75秒的采样单元或者就是采样值，这取决于不同的应用需要。例如对于播放整首交响乐的应用，LDU就是整首交响曲。有些应用会把有意义的最小单元作为LDU(在这里是音符)，数字系统则把采样点看成LDU。（2） 再举视频图像为例。未经压缩的视频序列由表示场景的视频片断组成．如图2.9所示。一个场景是由一系列国像组成的，一幅图像又可以被划分为16×l6像素的小块，而每个像素的信息又是由亮度值和色度值来表示的。因此，视频序列的LDU并不局限于是单幅图像，它可以是场景也可以是像素。使用DVI或MPEG编码方法可以用帧间压缩的方法消除视频序列的冗余，在这个应用中，能自我包含的有意义的最小单元是图像序列本身。

粒度这个概念用来描述音频和视频数据流层次划分的细密程度。在上述例子中，最常见的名字也是最显而易见的信息单元是交响乐和影片，但也可根据时间长度做出其他类型的LDU划分。预先确定时间长度的LDU称为闭合LDU。计算机中的音频采样数据流就是闭合LDU数据流。不能预先确定时间长度的IDU称为开放LDU，由摄像机或麦克风传向计算机的数据流就是开放LDU数据流。2003.9Multimedia:Computing,Communications&Applications1.1.6信息单元连续媒体是由与时间有关的独立信息单元的第二部分多媒体计算机技术概述概述多媒体计算机的定义、分类、现状及发展趋势。要点：

1.

多媒体计算机的定义、分类和关键技术2.从多媒体计算机的分类看家电制造厂商研制的电视计算机，“灵巧”电视—SmartTV3.从多媒体计算机的分类看计算机制造厂商研制的计算机电视，TV-Killer第二部分多媒体计算机技术概述概述多媒体计算机45主要讲述内容1.2.1多媒体计算机的定义和关键技术1.2.2多媒体技术促进了通讯、娱乐和计算机的融合1.2.3多媒体计算机技术的发展和应用2003.9Multimedia:Computing,Communications&Applications主要讲述内容1.2.1多媒体计算机的定义和关键技术21.2.1多媒体计算机的定义和关键技术多媒体计算机技术定义多媒体计算机的分类多媒体计算机的关键技术1.2.1多媒体计算机的定义和关键技术多媒体计算47多媒体计算机技术定义多媒体计算机技术(MultimediaComputing)定义：计算机综合处理多种媒体信息(文本、图形、图像、音频和视频)，使多种信息建立逻辑连接，集成为一个系统并具有交互性。计算机综合处理声、文、图信息具有集成性和交互性2003.9Multimedia:Computing,Communications&Applications多媒体计算机技术定义多媒体计算机技术定义：计算机综合处理多种多媒体计算机的分类从开发和生产厂商以及应用的角度出发可以分成两大类：电视计算机（Teleputer）家电制造厂商研制的电视计算机，是把CPU放到家电中，通过编程控制管理电视机、音响，有人称它为“灵巧/智能”电视——SmartTV；计算机电视（Compuvision）计算机制造厂商研制的计算机电视，采用微处理器（80×86、68×××）作为CPU，其它设备还有VGA卡、CD-ROM、音响设备以及扩展的多窗口系统，有人说它的发展方向是TV-Killer。2003.9Multimedia:Computing,Communications&Applications多媒体计算机的分类从开发和生产厂商以及应用的角度出发节目流通过网络接口模块（NIM）进入核心处理芯片STB01X0；在STB01X0中，解复用、解压缩、再NTSC/PAL编码；得到的视频送到电视，得到的音频流经过D/A转换输出；控制各存储器SDRAM(用于视音频缓存)，Flash/DRAM(用于系统处理)；接收遥控器信号等的处理由Peripherals外设部分接收，STB01X0协调处理。RedWoodIII机顶盒平台2003.9Multimedia:Computing,Communications&Applications节目流通过网络接口模块（NIM）进入核心处理芯片STB

多媒体计算机的关键技术要把一台普通的计算机变成多媒体计算机要解决的关键技术是：

视频音频信号获取技术；多媒体数据压缩编码和解码技术；视频音频数据的实时处理技术；视频音频数据的输出技术。2003.9Multimedia:Computing,Communications&Applications多媒体计算机的关键技术要把一台普通的计算1.2.2多媒体技术促进了通讯、娱乐和

计算机的融合现代化社会人的工作方式和特点是：群体性、交互性分布性、协作性1.2.2