多媒体技术概述课件

1、第第1章章 多媒体技术概述多媒体技术概述n本章重点：本章重点：多媒体技术的概念及其特点多媒体技术的概念及其特点多媒体技术的应用领域多媒体技术的应用领域多媒体研究的主要内容与涉及的核心技术多媒体研究的主要内容与涉及的核心技术 本章概要：本章概要：n1.1 多媒体技术的相关概念多媒体技术的相关概念n1.2 多媒体技术的发展多媒体技术的发展n1.3 多媒体技术的应用领域多媒体技术的应用领域n1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n1.5 本章小结本章小结1.1 多媒体技术的相关概念多媒体技术的相关概念n1.1.1 媒体媒体n1.1.2 多媒体多媒体n1.1.3 多媒体技

2、术的基本特征多媒体技术的基本特征1.1 多媒体技术的相关概念多媒体技术的相关概念n任何系统理论的产生，都是为了满足人们的需求或任何系统理论的产生，都是为了满足人们的需求或需要。计算机科学技术与其所属的各个分支学科也需要。计算机科学技术与其所属的各个分支学科也是如此。是如此。n人们利用计算机进行了各种各样的探索和尝试，逐人们利用计算机进行了各种各样的探索和尝试，逐渐发展起来图形处理技术、动画技术、视频捕捉技渐发展起来图形处理技术、动画技术、视频捕捉技术与编辑回放技术、虚拟现实技术等。术与编辑回放技术、虚拟现实技术等。 n伴随着这些技术不断进步，诞生了计算机科学技术伴随着这些技术不断进步，诞生了计

3、算机科学技术的一个非常具有活力的分支的一个非常具有活力的分支多媒体技术。多媒体技术。 1.1.1 媒体媒体n“媒体媒体”即媒介、媒质，它是信息的载体，是即媒介、媒质，它是信息的载体，是一种传播和表达信息的方法和手段。媒体在一种传播和表达信息的方法和手段。媒体在计算机领域具有两种解释：一是指用以存储计算机领域具有两种解释：一是指用以存储信息的物理信息的物理介质介质，如磁带、磁盘、光盘和半，如磁带、磁盘、光盘和半导体存储器等；二是指传递信息的导体存储器等；二是指传递信息的载体载体，如，如数字、文字、声音、图像和图形等。在多媒数字、文字、声音、图像和图形等。在多媒体技术中，将媒体体技术中，将媒体(M

4、edia)定义为信息的载定义为信息的载体，媒介体，媒介(Medium)定义为用于存储、呈现定义为用于存储、呈现或传输媒体的设备或物理介质。或传输媒体的设备或物理介质。 1.1.1 媒体媒体n国际电信联盟（国际电信联盟（ITU）根据信息被人们感觉、）根据信息被人们感觉、表示以及实现存储或进行传输的载体不同，表示以及实现存储或进行传输的载体不同，将媒体分为了如下六个大类将媒体分为了如下六个大类：1. 感知媒体感知媒体(Perception Medium) 指人们的感觉器官所能感觉到的信息的自然指人们的感觉器官所能感觉到的信息的自然种类，如人类的各种语言、音乐，自然界的种类，如人类的各种语言、音乐，

5、自然界的各种声音、图形、图像，计算机系统内的数各种声音、图形、图像，计算机系统内的数据、文本等均可属于感知媒体。据、文本等均可属于感知媒体。1.1.1 媒体媒体2. 表达媒体表达媒体(Representation Medium)n是为了加工、处理和传输感知媒体而通过人是为了加工、处理和传输感知媒体而通过人工研究、构造出来的媒体，主要用以定义信工研究、构造出来的媒体，主要用以定义信息的特性。息的特性。n表达媒体以语音编码、图像编码和文本编码表达媒体以语音编码、图像编码和文本编码等形式来描述。等形式来描述。1.1.1 媒体媒体3. 呈现媒体呈现媒体(Presentation Medium)n指感知

6、媒体与电信号间相互转换用的那类媒指感知媒体与电信号间相互转换用的那类媒体，即呈现信息或获取信息的物理设备。体，即呈现信息或获取信息的物理设备。n呈现媒体有显示器、扬声器、打印机等输出呈现媒体有显示器、扬声器、打印机等输出类以及键盘、鼠标器、扫描器、话筒和摄像类以及键盘、鼠标器、扫描器、话筒和摄像机等输入类设备。机等输入类设备。1.1.1 媒体媒体4. 存储媒体存储媒体(Storage Medium) 指存储表达媒体数据指存储表达媒体数据(感知媒体数字化后的代码感知媒体数字化后的代码)的的物理设备，如光盘、磁盘、磁带等。物理设备，如光盘、磁盘、磁带等。5. 传输媒体传输媒体(Transmissi

7、on Medium) 指媒体传输用的一类物理载体，如同轴电缆、光缆、指媒体传输用的一类物理载体，如同轴电缆、光缆、双绞线、无线电链路等。双绞线、无线电链路等。6. 交换媒体交换媒体(Exchange Medium) 指在系统之间交换数据的方法，它们可以是存储媒指在系统之间交换数据的方法，它们可以是存储媒体、传输媒体或者两者的结合使用。体、传输媒体或者两者的结合使用。1.1.1 媒体媒体n这些不同层次的这些不同层次的“媒体媒体”为多媒体技术的诞生为多媒体技术的诞生和发展提供了基本的空间和舞台。和发展提供了基本的空间和舞台。n在以上六种媒体中，感觉媒体是在多媒体应在以上六种媒体中，感觉媒体是在多媒

8、体应用中呈现给用户的媒体元素，它主要包括：用中呈现给用户的媒体元素，它主要包括：文本、图形、图像、视频、音频、动画等。文本、图形、图像、视频、音频、动画等。1.1.1 媒体媒体n1. 文本文本(Text)：包含字母、数字、字、词语：包含字母、数字、字、词语等基本元素。等基本元素。n2. 图形图形(Graph)：是多媒体中的静态可视元：是多媒体中的静态可视元素之一，一般是以采用算法语言或某些应用素之一，一般是以采用算法语言或某些应用软件生成的矢量图软件生成的矢量图(Vector Drawing)的形的形式来表达的。式来表达的。 n3. 图像图像(Image)：也是多媒体的一种静态可：也是多媒体的

9、一种静态可视元素，其基本形式为位图视元素，其基本形式为位图(Bitmap)。1.1.1 媒体媒体n4. 视频视频(Video)：多媒体技术中的一类重要：多媒体技术中的一类重要媒体，属于动态可视元素。图像与视频是两媒体，属于动态可视元素。图像与视频是两个既有联系又有区别的概念。个既有联系又有区别的概念。n5. 音频音频(Audio)：是指大约在：是指大约在15Hz20kHz频率范围的连续变化的波形。频率范围的连续变化的波形。n6. 动画动画(Animation)：是采用计算机动画软：是采用计算机动画软件创作并生成的一系列可供实时演播的连续件创作并生成的一系列可供实时演播的连续画面，属于一种动态可

10、视媒体元素。画面，属于一种动态可视媒体元素。 1.1.2 多媒体多媒体n在绝大多数场合，多媒体是指多媒体技术，在绝大多数场合，多媒体是指多媒体技术，即指能够同时获取、处理、编辑、存储和回即指能够同时获取、处理、编辑、存储和回放两种或者两种以上不同类型信息媒体的技放两种或者两种以上不同类型信息媒体的技术，这些信息媒体包括文字、声音、图形、术，这些信息媒体包括文字、声音、图形、图像、动画、视频等，它一般不是指多种媒图像、动画、视频等，它一般不是指多种媒体本身，而主要是指处理和应用的一整套技体本身，而主要是指处理和应用的一整套技术手段。术手段。1.1.2 多媒体多媒体n从技术角度来说，多媒体是计算机

11、综合处理从技术角度来说，多媒体是计算机综合处理文本、图形、图像、音频、视频等多种媒体文本、图形、图像、音频、视频等多种媒体信息，使多种信息建立逻辑连接，集成为一信息，使多种信息建立逻辑连接，集成为一个系统并具有交互性和实时性的崭新技术。个系统并具有交互性和实时性的崭新技术。n它是一种迅速发展的综合性电子信息技术，它是一种迅速发展的综合性电子信息技术，已渗透到相关领域的方方面面，给人们的工已渗透到相关领域的方方面面，给人们的工作、生活和娱乐带来了深刻的变革。作、生活和娱乐带来了深刻的变革。 1.1.3 多媒体技术的基本特征多媒体技术的基本特征n1. 多样性多样性n2. 集成性集成性n3. 交互性

12、交互性n4. 实时性实时性n5. 非线性非线性总之，多媒体有许多特点，但其最显著的特点总之，多媒体有许多特点，但其最显著的特点是具有媒体的多样性、集成性和交互性。是具有媒体的多样性、集成性和交互性。1.2 多媒体技术的发展多媒体技术的发展n多媒体技术的发展是社会需求的结果，是社会不断多媒体技术的发展是社会需求的结果，是社会不断推动的结果，是计算机技术不断成熟和扩展的结果。推动的结果，是计算机技术不断成熟和扩展的结果。在多媒体的整个发展进程中，有几个具有代表性的在多媒体的整个发展进程中，有几个具有代表性的阶段：阶段：n1984年，美国年，美国Apple（苹果）公司开创了用计算机（苹果）公司开创了

13、用计算机进行图像处理的先河，在世界上首次使用进行图像处理的先河，在世界上首次使用Bitmap（位图）概念对图像进行描述，从而实现了对图像（位图）概念对图像进行描述，从而实现了对图像进行简单的处理、存储和传送等。进行简单的处理、存储和传送等。 1.2 多媒体技术的发展多媒体技术的发展n1985年，美国年，美国Commodore公司将世界上首台多公司将世界上首台多媒体计算机系统展现在世人面前，该计算机系统被媒体计算机系统展现在世人面前，该计算机系统被命名为命名为Amiga。并在随后的。并在随后的Comdex89展示会上，展示会上，展示了该公司研制的多媒体计算机系统展示了该公司研制的多媒体计算机系统

14、Amiga的完的完整系列产品。整系列产品。n1986年年3月，荷兰月，荷兰PHILIPS（飞利浦）公司和日本（飞利浦）公司和日本SONY（索尼）公司共同制定了（索尼）公司共同制定了CD-I（Compact Disc Interactive）交互式激光光盘系统标准，使）交互式激光光盘系统标准，使多媒体信息的存储规范化和标准化。多媒体信息的存储规范化和标准化。 1.2 多媒体技术的发展多媒体技术的发展n1987年年3月，月，RCA公司制定了公司制定了DVI（Digital Video Interactive）技术标准，该技术标准在交）技术标准，该技术标准在交互式视频技术方面进行了规范化和标准化，使

15、计算互式视频技术方面进行了规范化和标准化，使计算机能够利用激光光盘以机能够利用激光光盘以DVI标准存储静止图像和活标准存储静止图像和活动图像，并能存储声音等多种信息模式。动图像，并能存储声音等多种信息模式。 n1990年年11月，美国月，美国Microsoft（微软）公司和包括（微软）公司和包括荷兰荷兰PHILIPS（飞利浦）公司在内的一些计算机技（飞利浦）公司在内的一些计算机技术公司成立术公司成立“多媒体个人计算机市场协会多媒体个人计算机市场协会（Multimedia PC Marketing Council）”。 1.2 多媒体技术的发展多媒体技术的发展n1991年，多媒体个人计算机市场协

16、会提出年，多媒体个人计算机市场协会提出MPC1标标准。准。 n1993年年5月，多媒体个人计算机市场协会公布了月，多媒体个人计算机市场协会公布了MPC2标准。标准。 n1995年年6月，多媒体个人计算机工作组公布了月，多媒体个人计算机工作组公布了MPC3标准。标准。 目前，多媒体技术的发展趋势是逐渐把计算机技术、目前，多媒体技术的发展趋势是逐渐把计算机技术、通信技术和大众传播技术融合在一起，建立更广泛通信技术和大众传播技术融合在一起，建立更广泛意义上的多媒体平台，实现更深层次的技术支持和意义上的多媒体平台，实现更深层次的技术支持和应用。应用。 1.2 多媒体技术的发展多媒体技术的发展从多媒体应

17、用方面看，有以下几个发展趋势：从多媒体应用方面看，有以下几个发展趋势：n从单个从单个PC用户环境转向多用户环境和个性化用户用户环境转向多用户环境和个性化用户环境；环境；n从集中式、局部环境转向分布式、远程环境；从集中式、局部环境转向分布式、远程环境；n从专用平台和系统有关的解决方案转向开放性、可从专用平台和系统有关的解决方案转向开放性、可移植的解决方案；移植的解决方案；n多媒体通信从单向通信转向双向通信；多媒体通信从单向通信转向双向通信；n从被动的、简单的交互方式转向主动的高级的交互从被动的、简单的交互方式转向主动的高级的交互方式；方式；n从改造原有的应用转向建立新的应用。从改造原有的应用转向

18、建立新的应用。1.3 多媒体技术的应用领域多媒体技术的应用领域n1.3.1 娱乐娱乐n1.3.2 教育与培训教育与培训n1.3.3 电子出版物电子出版物n1.3.4 咨询、信息服务与广告咨询、信息服务与广告n1.3.5 工业控制与科学研究工业控制与科学研究n1.3.6 医疗影像与远程诊断医疗影像与远程诊断n1.3.7 多媒体办公系统多媒体办公系统n1.3.8 通信系统中的应用通信系统中的应用1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n要把一台普通的计算机变成具有多媒体计算功能的要把一台普通的计算机变成具有多媒体计算功能的计算机，要解决多种媒体的数字化、压缩、通信传计算

19、机，要解决多种媒体的数字化、压缩、通信传输、存储、同步回放等一系列的关键技术问题。综输、存储、同步回放等一系列的关键技术问题。综合起来讲，多媒体技术的核心问题应当是：合起来讲，多媒体技术的核心问题应当是：n多媒体信号数字化与计算机获取技术；多媒体信号数字化与计算机获取技术；n多媒体数据压缩编码和解码技术；多媒体数据压缩编码和解码技术；n多媒体数据的实时处理和特技效果技术；多媒体数据的实时处理和特技效果技术；n多媒体数据的输出与回放技术。多媒体数据的输出与回放技术。1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n如何高效地解决如上问题，也是多媒体相关如何高效地解决如上问题，

20、也是多媒体相关研究领域及本课程研究的核心问题。研究领域及本课程研究的核心问题。n多媒体技术的研究涉及到媒体数字化技术、多媒体技术的研究涉及到媒体数字化技术、数据压缩编解码技术、多媒体存储技术、硬数据压缩编解码技术、多媒体存储技术、硬件平台、软件平台、多媒体数据库、超文本件平台、软件平台、多媒体数据库、超文本和超媒体、虚拟现实、人机接口、多媒体通和超媒体、虚拟现实、人机接口、多媒体通信技术以及分布式多媒体等众多领域。信技术以及分布式多媒体等众多领域。1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n1. 多媒体数据压缩编解码技术多媒体数据压缩编解码技术 在多媒体计算机系统中要

21、表示、传输和处理大量的在多媒体计算机系统中要表示、传输和处理大量的声音、图像甚至影像视频信息，其数据量之大是非声音、图像甚至影像视频信息，其数据量之大是非常惊人的，加之信息品种多、实时性要求高，给数常惊人的，加之信息品种多、实时性要求高，给数据的存储和传输以及加工处理均带来了巨大的压力。据的存储和传输以及加工处理均带来了巨大的压力。因此，在采用新技术增加因此，在采用新技术增加CPU处理速度、存储容量处理速度、存储容量和提高通信带宽的同时，还须研究高效的数据压缩和提高通信带宽的同时，还须研究高效的数据压缩编解码技术。编解码技术。多媒体数据压缩编码和解码技术多媒体数据压缩编码和解码技术 过去计算机

22、企图综合处理声、文、过去计算机企图综合处理声、文、图，但是不可以图，但是不可以, 原因在于：原因在于：文件量过大文件量过大以一幅彩色静态图像以一幅彩色静态图像(RGB)为例：为例：BGR设分辨率为设分辨率为512 512每一种颜色用每一种颜色用8bit表示表示即即R用用8bit 256级别表示级别表示 G用用8bit 256级别表示级别表示 B用用8bit 256级别表示级别表示则一幅彩色静态图像的数据量为则一幅彩色静态图像的数据量为 512 512 3 8 bit PAL是通用于中国大陆与西欧大部分国家是通用于中国大陆与西欧大部分国家（除去法国）的彩色电视信号格式，以交错方式（除去法国）的彩

23、色电视信号格式，以交错方式扫描，每秒钟出扫描，每秒钟出25幀画面，每幀画面含幀画面，每幀画面含625条水平条水平扫描线扫描线, 50 Hz 。 NTSC制式，美国、日本等国采用制式，美国、日本等国采用, 每秒钟出每秒钟出30幀画面，每幀画面含幀画面，每幀画面含525条水平扫描线条水平扫描线, 60Hz。 SECAM通用于法国通用于法国, 中东中东, 和多数东欧和多数东欧国家国家, 25幀幀/秒秒,625线线/幀幀, 50Hz.PAL,SECAM制式制式 25帧帧/秒秒NTSC制式制式 30帧帧/秒秒以以 PAL制制 25帧帧/秒为例，视频每秒钟秒为例，视频每秒钟的数据量的数据量 512 512

24、 3 8 25=180Mbps 128 128 陆地卫星（陆地卫星（Land sat3）的例子，其水平、）的例子，其水平、垂直分辩率分别为垂直分辩率分别为2340和和3240，四波段采样精度，四波段采样精度7位，它的一幅图像的数据量为位，它的一幅图像的数据量为2340324074=212Mbit，按每天，按每天30幅计每幅计每天数据为天数据为21230=6.36Gbit，每年的数据量高达，每年的数据量高达2300Gbit。 单纯扩大存储容量，增加通信干线的传输率单纯扩大存储容量，增加通信干线的传输率是不现实的，数据压缩是行之有效的方法。是不现实的，数据压缩是行之有效的方法。 现在现在 VCD

25、的标准的标准 MPEG-1 的固定传输率为的固定传输率为 1.5Mbps 通过通过 MPEG-1 可以把这个视可以把这个视频流传输到计算机并存储。频流传输到计算机并存储。 如何压缩数据？如何压缩数据？ 帧内压缩帧内压缩帧间压缩帧间压缩帧内压缩图Bitmap存储器颜色相同的块帧内压缩帧间压缩不变化部分：只传送一次变化部分： 传送一个运动矢量1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n2. 多媒体数据存储技术多媒体数据存储技术 随着多媒体与计算机技术的发展，多媒体数随着多媒体与计算机技术的发展，多媒体数据量越来越大，对存储设备的要求越来越高。据量越来越大，对存储设备的要求

26、越来越高。因此，高效快速的存储设备是多媒体技术得因此，高效快速的存储设备是多媒体技术得以应用的基本部件之一。以应用的基本部件之一。1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n3. 多媒体数据库技术多媒体数据库技术 多媒体数据库是一个由若干多媒体对象所构成的集多媒体数据库是一个由若干多媒体对象所构成的集合，这些数据对象按一定的方式被组织在一起，可合，这些数据对象按一定的方式被组织在一起，可为其他的应用所共享。多媒体数据库管理系统则负为其他的应用所共享。多媒体数据库管理系统则负责完成对多媒体数据库的各种操作和管理功能，包责完成对多媒体数据库的各种操作和管理功能，包括对数据

27、库的定义、操纵和控制等这样一些传统数括对数据库的定义、操纵和控制等这样一些传统数据库功能。此外，还必须解决一些新的问题，如海据库功能。此外，还必须解决一些新的问题，如海量数据的存储功能、信息提取功能等。量数据的存储功能、信息提取功能等。1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n4. 超文本和超媒体技术超文本和超媒体技术 超文本和超媒体技术是一种模拟人脑的联想超文本和超媒体技术是一种模拟人脑的联想记忆方式，把一些信息块按照需要用一定的记忆方式，把一些信息块按照需要用一定的逻辑顺序链接成非线性网状结构的信息管理逻辑顺序链接成非线性网状结构的信息管理技术。超文本技术以节点

28、作为基本单位，这技术。超文本技术以节点作为基本单位，这种节点要比字符高出一个层次。由链把节点种节点要比字符高出一个层次。由链把节点链接成网状结构，即非线性文本结构。这种链接成网状结构，即非线性文本结构。这种已组织成网的信息网络即是超文本。已组织成网的信息网络即是超文本。1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n5. 智能多媒体技术智能多媒体技术n智能多媒体是一种更加拟人化的高级智能计智能多媒体是一种更加拟人化的高级智能计算技术。算技术。n多媒体技术的进一步发展迫切需要引入人工多媒体技术的进一步发展迫切需要引入人工智能，要利用多媒体技术解决计算机视觉和智能，要利用多媒

29、体技术解决计算机视觉和听觉方面的问题，必须引入知识，这必然要听觉方面的问题，必须引入知识，这必然要引入人工智能的概念、方法和技术。引入人工智能的概念、方法和技术。 1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n6. 多媒体信息检索技术多媒体信息检索技术n多媒体信息检索是根据用户的要求，对图形、图像、多媒体信息检索是根据用户的要求，对图形、图像、文本、声音、动画和视频等多媒体信息进行检索，文本、声音、动画和视频等多媒体信息进行检索，以得到用户所需的信息。以得到用户所需的信息。n多媒体信息检索系统有着广阔的应用前景，它将广多媒体信息检索系统有着广阔的应用前景，它将广泛地应用

30、于电子会议、远程教学、远程医疗、电子泛地应用于电子会议、远程教学、远程医疗、电子图书馆、艺术收藏和博物馆管理、地理信息系统、图书馆、艺术收藏和博物馆管理、地理信息系统、遥感和地球资源管理、计算机支持协同工作等领域。遥感和地球资源管理、计算机支持协同工作等领域。 1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n7. 虚拟现实技术虚拟现实技术(VR)n虚拟现实技术，也称虚拟现实技术，也称“虚拟环境虚拟环境”或或“临境临境”技术，就技术，就是采用计算机多媒体技术生成一个逼真的、具有临是采用计算机多媒体技术生成一个逼真的、具有临场感觉的环境，是一种全新的人机交互系统。场感觉的环境

31、，是一种全新的人机交互系统。n它可广泛地应用于模拟训练、科学可视化、军事演它可广泛地应用于模拟训练、科学可视化、军事演习、航天仿真、娱乐、设计与规划、教育与培训、习、航天仿真、娱乐、设计与规划、教育与培训、商业等领域，是目前和今后若干年中十分活跃的技商业等领域，是目前和今后若干年中十分活跃的技术。术。1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n8. 人机交互技术人机交互技术(HCI) 人和计算机之间的交互是目前研究最多的问人和计算机之间的交互是目前研究最多的问题之一。计算机能处理和表现越来越多的信题之一。计算机能处理和表现越来越多的信息，因此人和计算机之间的交互便显得日益息，因此人和计算机之间的交互便显得日益重要。人与计算机之间的信息交流有四种不重要。人与计算机之间的信息交流有四种不同的形式，即人同的形式，即人-人人(通过计算机通过计算机)、人、人-机、机、机机-人和机人和机-机。机。1.4 多媒体研究的主要内容与核心技术多媒体研究的主要内容与核心技术n9. 多媒体网络与通信技术多媒体网络与通信技术 传统的电信业务如电话、传真等通信方式已传统的电信业务如电话、传真等通信方式已不能适应社会的需要，迫切要求通信与多媒不能适应社会的需要，迫切要求通信与多媒体技术相结合，为人们提供更加高效和快捷体技术相结合，为人们提供更加高效和快捷的沟通途径，如提供多媒