第1章 多媒体技术基础与实践

1、 媒体是信息表示和传播的载体媒体是信息表示和传播的载体，是为人们表达思想或感情所使用的一种手段、方式或工具。 媒体包含两种含义： 媒质：媒质：存储信息的实体，如磁盘、光盘、磁带、半导体存储器等 传递信息的载体传递信息的载体：数字、文字、声音、图形、图像等。 多媒体计算机中所研究的媒体，通常指后者。多媒体计算机中所研究的媒体，通常指后者。CCITTCCITT将媒体分为五类：将媒体分为五类： 感觉媒体感觉媒体：直接作用于人的感觉器官，使人产生感觉的器官。 表示媒体表示媒体：为加工、处理和传输感觉媒体，对感觉媒体进行的抽象的表示。即用于数据交换用于数据交换的编码的编码。 表现媒体：表现媒体：用于感觉

2、媒体和通信电信号之间转换的一类媒体。分为输入表现媒体和输出表现媒体。 存储媒体存储媒体: :用来存放表示媒体的计算机外部存储设备（即存储将感知媒体数字化后的代码）。 传输媒体：传输媒体：通信中的信息载体。传输表示媒体传输表示媒体的物理介质。的物理介质。多媒体技术中的媒体类型主要有：多媒体技术中的媒体类型主要有： 文字：文字：早期计算机人机交互的主要形式，计算机中用二进制编码表示。 音频：音频：属于感觉媒体。如波形声音、语音等。 图形与图像：图形、图形是两个不同的概念。图形与图像：图形、图形是两个不同的概念。 图形也称为矢量图，图形也称为矢量图，指从点、线、面到三维空间的黑白或彩色几何图形黑白或

3、彩色几何图形。 图像也称为位图，由像素点组成，图像也称为位图，由像素点组成，是具有视觉效果的画面，反应物体光影与色彩的特性。 矢量图可以对图中的各个部分进行移动、矢量图可以对图中的各个部分进行移动、旋转、缩放、扭曲等变换面不会失真。旋转、缩放、扭曲等变换面不会失真。 位图可以表现色彩层次丰富的逼真图像效位图可以表现色彩层次丰富的逼真图像效果，当旋转、缩放时会失真。果，当旋转、缩放时会失真。 动画：连续图像序列的每一帧图像是由人工或动画：连续图像序列的每一帧图像是由人工或计算机生成的图形。计算机生成的图形。 利用人眼的视觉暂留特征，每隔一段时间在屏幕上展示一副与上下关联的图像、图形，就形成了动态

4、图像。 动态图像中的每副图像称为一帧。动态图像中的每副图像称为一帧。 视频：视频：一般指用摄像机摄制的连续画面。计算计算机视频是数字信号。机视频是数字信号。 计算机视频图像可来自录像带、摄像机等视频信号源。多媒体是指组合两种或两种以上媒体的一种信息多媒体是指组合两种或两种以上媒体的一种信息交流和传播媒体。交流和传播媒体。多媒体数据的特点：多媒体数据的特点： （1 1）数据量大；）数据量大； （2 2）数据类型多：）数据类型多：包括文本、图形、图像、音频、动画、视频等。 （3 3）数据类型间差距大：）数据类型间差距大：数据，的内容、格式不同，其在处理方法、组织方式、管理形式上存在很大的差别。 （

5、4 4）数据的输入和输出复杂：）数据的输入和输出复杂：数据输入、输出与多种设备相连，输出结果需要同步合成。多媒体技术：多媒体技术：把文本、图形、图像、声音、动画以及活动视频等多种媒体信息通过计算机进行数字化采集、获取、压缩/解压缩、编辑、存储等加工处理，再以单独或合成形式表现出来的一体化技术。多媒体技术是一个边缘性的交叉学科。多媒体技术是一个边缘性的交叉学科。 多媒体技术发展历程（补充）多媒体技术发展历程（补充）1972年 第一款8位处理器Intel8088问世1984年 Apple公司Macintosh系统首先提出位图、窗口和图标等概念1986年 Philips和推出CD-I（交互式紧凑光盘

6、系统）和CD-ROM文件格式1987年 创新（Creative）公司第一块12位立体声音乐合成卡诞生1988年 运动图像专家小组（MPEG）成立 多媒体技术的主要特征多媒体技术的主要特征: : （1 1）集成性：）集成性：媒体信息的集成和显示或表现媒体设备的集成。 （2 2）实时性：）实时性：媒体系统中声音和活动视频图像是实时的。 （3 3）数字化：）数字化：各种媒体信息以数字形式存储在计算机中。 （4 4）交互性：）交互性：用户可以通过多媒体计算机系统对各种媒体信息进行加工、处理，控制多媒体信息的输入、输出和播放。交互对象是多样化。交互对象是多样化。 （5 5）组织形式的非线性）组织形式的非

7、线性( (引入超文本、超媒体概念引入超文本、超媒体概念) ) 多媒体技术的研究内容多媒体技术的研究内容: :（1 1）多媒体数据的压缩与解压缩）多媒体数据的压缩与解压缩（2 2）多媒体数据的存储）多媒体数据的存储（3 3）多媒体计算机硬件平台和软件平台）多媒体计算机硬件平台和软件平台（4 4）多媒体开发和编辑工具）多媒体开发和编辑工具（5 5）网络多媒体与）网络多媒体与WebWeb技术技术（6 6）多媒体数据库技术）多媒体数据库技术 多媒体技术的应用多媒体技术的应用: :（1 1）办公自动化与教育培训）办公自动化与教育培训（2 2）多媒体电子出版物）多媒体电子出版物（3 3）多媒体家电与娱乐）

8、多媒体家电与娱乐（4 4）咨询服务）咨询服务（5 5）多媒体网络通讯）多媒体网络通讯 多媒体计算机硬件系统多媒体计算机硬件系统: : 多媒体计算机的主要硬件除了基本的硬件系统基本的硬件系统，如主机、软盘驱动器、硬盘驱动器、显示器、键盘鼠标、网卡之外，还要有音频信息处理音频信息处理硬件硬件、视频信息处理硬件视频信息处理硬件及光盘驱动器等部分。 多媒体计算机软件系统多媒体计算机软件系统: : 多媒体计算机的软件系统按功能分为系统软件和应用软件。系统软件在多媒体计算机系统中负责资源的分配和管理、多媒体信息的加工和处理；应用软件则是在多媒体创作平台上设计开发的面向应用领域的软件系统。多媒体操作系统驱动

9、程序多媒体设备接口程序硬件系统多媒体创作工具多媒体应用系统应用软件系统软件 文字处理 ：记事本、写字板、Word、WPS 图形图像处理： Photoshop、CorelDraw、Freehand 动画制作： AutoDesk、Animator Pro、3Ds Max、Flash、Maya 音频编辑： GoldWave、Ulead Media Studio、Sound Forge、Cool Edit、Wave Edit 视频编辑： Ulead Media Studio、Adobe Premiere媒媒体体类类型型扩展扩展名名说明说明媒媒体体类类型型扩展扩展名名说明说明声音.wav标准Window

10、s声音文件图形图像.bmpWindows位图文件.midMIDI接口音乐文件.jpgJPEG压缩的位图文件.mp3MPEG-1 Audio Layer 3声音文件.gif图形交换格式文件.aifMacintosh声音文件.tif标记图像格式文件.vqf日本NTT开发的压缩声音文件.epsPost Script图像文件动画.gif图形交换格式文件视频.aviWindows视频文件flc (.fli)Autodesk的动画文件.movQuickTime动画文件.aviWindows视频文件.mpgMPEG视频文件.swf (.fla)Flash动画文件.datVCD中的视频文件.movQuickT

11、ime动画文件 数据压缩的重要性数据压缩的重要性 数字化后的多媒体信息数据量巨大。 目前硬件技术所能提供的计算机存储资源和网络带宽与实际需求相差甚远。 数据压缩的可能性数据压缩的可能性 多媒体数据之所以能够进行压缩，首先是因为数据中通常存在着很大的冗余。其次，在压缩中可以丢失一些人类感觉不敏感的内容，是人们在数据压缩以后感觉不到其差异，不影响人对信息的正常接收。常见的数据冗余：时间冗余、空间冗余、视觉冗常见的数据冗余：时间冗余、空间冗余、视觉冗余等。余等。 数据压缩方法的基本分类数据压缩方法的基本分类 无损压缩：也称为无失真压缩，无损压缩：也称为无失真压缩，一般是利用数据的统计特性进行数据压缩

12、，对数据流中并出现的各种数据进行概率统计，采用不同的编码。 特点：能百分百恢复原始数据，压缩比较小。特点：能百分百恢复原始数据，压缩比较小。 有损压缩：也称为失真压缩，有损压缩：也称为失真压缩，在压缩过程中会丢失一些人眼和人耳不敏感图像或音频信息。 特点：减少信息量，损失的信息不能恢复，压特点：减少信息量，损失的信息不能恢复，压缩比高。缩比高。 数据压缩编码的主要指标（补充）：数据压缩编码的主要指标（补充）： 压缩比压缩比 信息质量信息质量 压缩与解压缩的速度压缩与解压缩的速度 需要的软硬件支持需要的软硬件支持 常见的标准（补充）常见的标准（补充） 静态图像压缩编码标准静态图像压缩编码标准JP

13、EGJPEGJPEG静止图像压缩标准（1991年）：适用于彩色和单色多灰度或连续色调静止数字图像的压缩标准；综合采用了多种压缩编码技术，经其处理的图像质量高、压缩比大，包括无损（压缩比2:1）与各种类型的有损模式（压缩比可达30:1，且没有明显的品质退化）。 常见的标准（补充）常见的标准（补充） 动态图像压缩编码标准动态图像压缩编码标准MPEGMPEG MPEG运动图像压缩标准（1992年）：旨在解决视频图像压缩、音频压缩及多种压缩数据流的复合与同步。 MPEG-3并不是我们所说的MP3，MP3只是MPEG-1的音频Layer 3部分（10:1 或12:1 ） 常用存储卡常用存储卡图像素材的采

14、集方法：图像素材的采集方法： 扫描仪扫描； 数码相机拍摄； 相关软件创建。图像素材的存储图像素材的存储 PSD PSD格式格式 Tiff Tiff格式格式 JPEG JPEG格式格式 BMP BMP格式格式 GIF GIF格式格式 音频素材的收集音频素材的收集 通过声卡采集；通过声卡采集； 通过软件采集；通过软件采集； 通过通过MIDIMIDI输入设备采集。输入设备采集。 音频素材的存储音频素材的存储 WAV WAV格式格式 MIDI MIDI格式格式 MP3 MP3格式格式 WMA WMA格式格式 视频素材的收集视频素材的收集 从模拟设备中采集；从模拟设备中采集； 从数字设备中采集；从数字设

15、备中采集； 从影碟中采集。从影碟中采集。 视频素材的存储视频素材的存储 MPEGMPEG格式格式 AVI AVI格式格式 MOV MOV格式格式 ASF ASF格式格式 RM RM格式格式 WMV WMV格式格式 流媒体：可以使音频、视频和其他多媒体信流媒体：可以使音频、视频和其他多媒体信息在息在InternetInternet及及IntranetIntranet上以实时、无须下上以实时、无须下载等待的方式进行播放的技术。载等待的方式进行播放的技术。 流式传输的概念：流式传输的概念：因特网上的音视频服务器将声音、图像、动画等媒体文件从服务器向客户端实时、连续地传输，用户不必等待全部媒体文件下载

16、完毕，只需延迟几秒或十几秒，就可以在用户的计算机上播放，文件的其他部分由用户计算机在后台继续接受，直至播放完毕或用户终止。 特点（补充）：特点（补充）： 观看启动速度快；观看启动速度快； 充分利用带宽；充分利用带宽； 无需占用大量硬盘空间；无需占用大量硬盘空间； 缓存容量需求降低；缓存容量需求降低； 需要特定的传输协议。需要特定的传输协议。 流式传输的分类：流式传输的分类： 顺序流式传输：顺序流式传输是指顺序下载，顺序流式传输：顺序流式传输是指顺序下载，在下载文件的同时用户可在线观看。在下载文件的同时用户可在线观看。 实时流式传输实时流式传输可保证媒体信号实时流式传输实时流式传输可保证媒体信号

17、带宽与网络连接匹配，实现媒体实时观看。带宽与网络连接匹配，实现媒体实时观看。实时流与实时流与HTTPHTTP流式传输不同，它需要专用的流式传输不同，它需要专用的流媒体服务器支持。流媒体服务器支持。 流媒体播放流媒体播放单播：单播：单播指在客户端与服务器之间建立一个单独的数据通道。单播方式下，服务器负担重，响应慢，难以保证服务质量。点播与广播：点播与广播：点播连接是客户端与服务器之间的主动的连接。在广播过程中，客户端接收流，但不能像点播那样控制流。多播：多播：多播技术对应于组通信技术，媒体服务器只需要发送一个消息包，信息可以发送到任意地址的客户机。总的说来，多播占用网络的带宽较小。 流媒体系统组

18、成（补充）：流媒体系统组成（补充）： 创作工具创作工具 流媒体数据流媒体数据 服务器服务器 传输网络传输网络 播放器播放器 流媒体常见文件格式流媒体常见文件格式 虚拟现实技术与多媒体技术、网络技术是虚拟现实技术与多媒体技术、网络技术是 21 21 世纪最具潜力和前景的三大计算机技术。世纪最具潜力和前景的三大计算机技术。 虚拟现实技术概念：是利用计算机模拟创建虚拟现实技术概念：是利用计算机模拟创建一个酷似客观环境又超越客观时空，既能沉一个酷似客观环境又超越客观时空，既能沉浸其中又能驾驭其上的和谐的人机交互环境，浸其中又能驾驭其上的和谐的人机交互环境，提供使用者关于视觉、听觉、触觉等感官的提供使用

19、者关于视觉、听觉、触觉等感官的模拟，是利用计算机生成的虚拟环境进行交模拟，是利用计算机生成的虚拟环境进行交互和仿真的一种手段。互和仿真的一种手段。 虚拟现实发展历史（补充）：虚拟现实发展历史（补充）： 探索阶段：探索阶段：2020世纪世纪5050到到7070年代年代 实际应用阶段：实际应用阶段：2020世纪世纪8080年代中期年代中期 全面发展阶段：全面发展阶段：2020世纪世纪8080年代至今年代至今Google眼镜 主要特征：主要特征： 多感知性多感知性: :指由计算机生成看起来象真的、听起来象真的、触摸起来象真的虚拟境界，该境界同时还可以向介入者（即用户）提供视觉、听觉、触觉等多种人类具

20、有的感官刺激。 浸没感浸没感:计算机控制下的虚拟境界应给人一种身临其境的沉浸感。 交互性交互性：能以纯自然方式与虚拟境界中的对象进行交互操作，即不仅可使用鼠标、键盘等常规设备，也可使用手势、手势、体势、人类语言体势、人类语言等自然方式进行交互操作。 构想性构想性 虚拟现实系统的基本组成包括：虚拟现实系统的基本组成包括： 虚拟境界生成设备虚拟境界生成设备 感知设备感知设备 跟踪设备跟踪设备 人与环境交互设备人与环境交互设备虚拟现实头盔裸眼3d显示器交互式物理触摸屏数据手套 按照参与者沉浸程度的不同，可将虚拟现实分按照参与者沉浸程度的不同，可将虚拟现实分为四类为四类( (补充补充) )：(1) (

21、1) 桌面虚拟现实。桌面虚拟现实。系统主要包括系统主要包括VRVR软硬件两部分软硬件两部分。其中常见的基础硬件搭配会有数字手套，位置跟踪器，主动/被动立体眼镜（裸眼立体现实器），硬件部分可分为VR立体图形显示、效果观察、人机交互等几部分；软件部分可分为VR环境开发平台(Virtools、unity 3D）、建模平台（3D MAX等）和行业应用程序实例（源代码及SDK开发包）。主要特点为全面、小型、经济、适用，非主要特点为全面、小型、经济、适用，非常适合于常适合于VRVR工作者的教学、研发和实际应用工作者的教学、研发和实际应用。例如，上例如，上海世博会动态版本的海世博会动态版本的“清明上河图清明

22、上河图”. .(2) (2) 沉浸式虚拟现实沉浸式虚拟现实: : 特点：利用头盔显示器头盔显示器产生虚拟视觉，利用数据手套数据手套产生虚拟触动感。系统采用语音识别器让参与者对系统主机下达操作命令，与此同时，头、手、眼均有相应的跟踪器，使系统达到尽可能的实时性。临境系统是真实环境替代的理想模型，具有最新交互手段的虚拟环境。例如，自行车旅行虚例如，自行车旅行虚拟场景和虚拟小区场景漫游。拟场景和虚拟小区场景漫游。(3) (3) 增强现实式虚拟现实。增强现实式虚拟现实。在虚拟现实基础上发展起来的新技术，是通过计算机系统提供的信息增加用户对现实世界感知的技术，并将计算机生成的虚拟物体、场景或系统提示信息

23、叠加到真实场景中，从而实现对现实的“增强”。由于用于与真实世界的联系并未被切断，交互方式也就与真实世界的联系并未被切断，交互方式也就显得更加自然显得更加自然。例如例如, ,飞机或者坦克等车辆上装飞机或者坦克等车辆上装备的平视显示器备的平视显示器, ,驾驶员的头盔显示器。驾驶员的头盔显示器。(4) 分布式虚拟现实分布式虚拟现实。基于网络的虚拟环境基于网络的虚拟环境，在这个环境中，位于不同物理环境位置的多个用户或多位于不同物理环境位置的多个用户或多个虚拟环境通过网络相连接，或者多个用户同时参个虚拟环境通过网络相连接，或者多个用户同时参加一个虚拟现实环境，通过计算机与其他用户进行加一个虚拟现实环境，

24、通过计算机与其他用户进行交互，并共享信息，以达到协同工作的目的。目前交互，并共享信息，以达到协同工作的目的。目前最典型的分布式虚拟现实系统是最典型的分布式虚拟现实系统是 SIMNET.SIMNET. 虚拟现实关键技术虚拟现实关键技术动态环境动态环境建模技术建模技术实时三维图形系统和实时三维图形系统和虚拟现实交互技术虚拟现实交互技术传感器技术传感器技术 开发工具和开发工具和系统集成技术系统集成技术 虚拟现实技术应用：虚拟现实技术应用： 真实世界仿真：医学手术模拟、飞行训练等。真实世界仿真：医学手术模拟、飞行训练等。 抽象概念建模：虚拟博物馆、远程教育等。抽象概念建模：虚拟博物馆、远程教育等。 科学计算可视化：天气云图计算等。科学计算可视化：天气云图计算等。 信息可视化：全球温度信息的可视化等。信息可视化：全球