第1章 多媒体技术概述

1《多媒体技术与应用》中国石油大学计算机与通信工程学院计算机系统工程系主讲∶张晓东zhangxiaodong@QQ:47113151Tel:137928909612教学目标使学生了解多媒体技术的最新技术、发展趋势和应用领域；在熟悉多媒体及多媒体计算机的一般概念和基本知识的基础上，掌握运用工具软件处理各种不同媒体的技术，具有运用多媒体技术进行专业领域应用和开发的能力。32（理论学时）+32（实践学时）=64（学时）

实践：以图像、音频和视频为三条主线，掌握多媒体素材的采集、编辑和集成，最后完成多媒体作品的制作。3

主要参考资料1.《多媒体技术基础》林福宗，清华大学出版社/course/yjs/jsj/dmt/1-1/index.htm2.《多媒体技术及应用》，赵应良，清华大学出版社3.《photoshopCS3基础与实例教程》，张欣，化学工业出版社

4.《FLASH多媒体课件制作实用教程》，缪亮，清华大学出版社5.《多媒体技术原理及应用》马华东，清华大学出版社

4要求认真听课-----多思考、做笔记、多动手积极查阅相关参考书或文献-----做出有特色的、自己的作品实验课上1:重复教的内容;2:根据教的内容创作自己作品）成绩评定：平时（作品）＋考试5第一章绪论1.1多媒体的基本概念（重点）

1.2多媒体计算机系统

1.3

流媒体技术（重点）

1.4多媒体的技术研究与应用开发

1.5多媒体的关键技术（重点）

1.6多媒体技术应用与发展前景

1.7多媒体发展简史及现状

1.8未来发展趋势

1.9新一代多媒体技术6

多媒体技术是一项综合技术，是微电子技术、计算机技术、通信技术等相关学科综合发展的结果。是现代信息技术的重要标志，是计算机技术和社会需求相结合而造就的产物。第一章绪论7多媒体技术的相关研究领域

工具和应用文档人机交互编程制作数据库操作系统通信多媒体信息处理编码与压缩存储网络音频图形图像视频多媒体应用层多媒体系统层多媒体设备层8

多媒体技术是计算机技术和社会需求相结合而造就的产物●

计算机硬件的发展

(CPU、Memory、CD-ROM、Scanner)●

数据压缩技术的成熟●多媒体软件的丰富●相关技术的支持技术条件●图形、图像处理的需要●大容量数据存储的需要●音频和视频处理的需要●界面设计的需要●信息交换的需要●高科技研究的需要●娱乐与社会活动的需要社会需求91.1多媒体的基本概念一、多媒体与多媒体技术MultiMedium(Media)1.媒体

Medium(Media)

媒体是信息表示和传输的载体。人与人之间所赖以沟通及交流观念、思想或意见的中介物都属于媒体的范围。计算机领域媒体的两种含义:用以存储信息的实体:如：磁盘、磁带、纸。

用以表述信息的逻辑载体，如:文字、声音、图像、语言。多媒体技术中的媒体指后者。10媒体的分类国际电报电话咨询委员会CCITT对媒体作如下分类：感觉媒体(Perception)表示媒体(Presentation)显示媒体(Display)存储媒体(Storage)传输媒体(Transmission)CCITT：InternationalTelephoneandTelegraphConsultativeCommittee（国际电报电话咨询委员会）ITU：InternationalTelecommunicationUnion（国际电信同盟）11⑴

感觉媒体(Perception)

指能直接作用于人的感官、使人能直接产生感觉的一类媒体。如声音、图形、图像、文字、气味以及物体的质地、形状、温度、色彩等。

计算机领域中所说的媒体主要指感觉媒体。即正文、图形、图像、声音等信息。视觉（静止）图像图形文字符号语言文字抽象化抽象化

（动态）图像图形动态影像视频真实感三维动画二维动画三维动画其它表示为视觉的媒体

按照人的感觉分：视觉、听觉、触觉、其它抽象化听觉声音声响（自然界）语音（人类语言）音乐其它（嗅觉、味觉等）触觉振动运动传感/发生器视觉味觉嗅觉触觉听觉65%20%10%2%3%14⑵表示媒体(Presentation):

为加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体。是感觉媒体数字化后的表示形式。如图像编码（JPEG、MPEG等）、文本编码（ASCII码、GB2312等）和声音编码等。目的：方便传送（更有效地将感觉媒体从一地传向另一地），便于加工和处理。

文本—ASCII—(0,1)电平高低—传送

AmericanStandardCodeforInformationInterchange15⑶显示媒体(Display)

指感觉媒体和用于通信的电信号之间转换用的一种媒体(设备)。输入设备：用于将感觉媒体转换为表示媒体输出设备：用于将表示媒体转换为感觉媒体输入显示媒体：键盘、摄像机、光笔、话筒、扫描仪、数字化仪，等等输出显示媒体：显示器、喇叭、打印机、绘图仪等16⑷存储媒体(Storage)

用来存放表示媒体（感觉媒体数字化后的表示形式）如：软硬盘、CD－ROM、磁带、唱片等⑸传输媒体(Transmission)

用于将表示媒体传送到其它计算机的通信载体。将媒体从一处传到另一处的物理载体。如：空气、电话线、电波、双绞线、同轴电缆、光纤等。媒体分类：17182、计算机所处理的几种媒体⑴、文本（text）：由语言文字和符号字符组成的数据文件。如

ASCII、汉字存储的文件。⑵、图形（graph）：用几何形状表述的物体表象。⑶、图像（image）：一个区域内带有属性的象素点集合。⑷、音频（audio）：声音信号，即相应于人类听觉可感知范围内的频率。⑸、动画（animation）：将静态的图像、图形及连环图画等按一定时间顺序显示而形成连续的动态画面。⑹、视频（video）：可视信号，即计算机屏幕上显示出来的动态信息，如动态图形、动态图像、动画等。19图形：用几何形状表述的物体表象。20图像：一个区域内带有属性的象素点集合。213、多媒体与多媒体技术⑴多媒体

文本、图形、图像、音频、视频、动画等是信息的载体，其中两个或多于两个的组合构成了多媒体。⑵多媒体技术内涵：表示媒体的多样化；一个技术领域；一个技术时代；定义：以数字化为基础，能够对多种媒体信息（文本、图形、图像和声音等）进行采集、编码、存储、传输、处理和表现，能综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。（注：平时简称的多媒体实际指多媒体技术）22二、多媒体技术的特点

1、集成性

2、实时性3、数字化

4、交互性

各种媒体间的配合和同步；多种技术的综合运用和集成。231．集成性

以计算机为中心，综合处理多种媒体信息。包括媒体的集成和设备的集成。媒体信息的集成：声音、文本、图像、视频等信息的集成，多种信息有机同步组合，成为一个完整的多媒体信息系统。媒体设备的集成：是指具有能处理多媒体信息的高速及并行的CPU系统、大容量存贮器、适合多媒体多通道的输入/输出能力及外设、宽带通信网络接口等。一般不仅包括计算机本身，还包括电视、音响、录音机、激光唱机等设备。即多种媒体技术的集成应用，以发挥各种媒体的综合效果。242．实时性：RealTime

多媒体技术是多种媒体集成的技术，其中的声音以及活动的视频图像和数据是密切相关的，甚至是强实时的（HardRealTime）。如：视频会议系统，其中的声音和图像都必须同步传送，不允许有一方停顿。注：有的书中题为多样性（或综合性）

多种媒体即信息载体的共同作用，使人们通过视觉、听觉、触觉、嗅觉及味觉等5种感觉器官得到和产生的信息更丰富。253．交互性－多媒体技术的关键特征指人与机器、人与人以及机器与机器之间的对话或通信，以相互获得对方的信息。例如，目前各种多媒体教育软件，允许用户自行选择所学习的内容，还可按不同方式与屏幕显示内容进行沟通，从而实现“人机对话”。但单一的电视机就不能称为多媒体，因为人只能被动地观看，不能与电视机进行对话。因此，交互性是多媒体的关键特性。综上所述，多媒体技术是一种基于计算机技术的综合技术。它包括数字信号处理技术、音频和视频技术、计算机软件和硬件技术、人工智能和模式识别技术、通信和图像技术等，是一门跨学科的综合性技术。

261.2多媒体计算机系统一、相关概念：1.多媒体计算机MPC（MultimediaPersonalComputer）:

具有多媒体处理能力的计算机系统。专门设计实现：NEXT，Amiga序列；在已有的计算机和工作站上增加升级的套件扩展

586（Pentium）MMX以上的机器称为多媒体计算机。272.MMX技术

MMX（MultiMediaExtensions）—多媒体指令扩展。

1996年MMXCPU问世，是Intel公司为增强CPU在音像、图形和通信应用方面而采取的技术。在CPU中新增的57个多媒体指令,一组基本的通用整型多媒体指令集、8个64位MMX暂存器及32K的Cache，被Intel视为CPU革命性进展。

MMX技术：可以利用内建的多媒体指令来模拟3D绘图的处理、MPEG的压缩/解压缩，立体声的音效等，从而大大提高了计算机对图形图像、MPEG视频、音乐合成、语音识别与压缩、电视会议、3D游戏的处理能力。

283.多媒体计算机系统

是一套复杂的硬件、软件有机结合的综合系统。它把音频、视频等媒体与计算机系统融合起来，并由计算机系统对各种媒体进行数字化处理。与计算机系统类似，多媒体计算机系统由多媒体硬件系统和多媒体软件系统组成。29多媒体计算机的硬件系统耳机音箱MIDI设备话筒音响设备主机视频卡音频卡CD-ROM显示器显示卡录象机盘视机摄象机键盘、鼠标、打印机扫描仪、绘图仪等网卡MODOM及其它通信设备30多媒体计算机的软件系统

多媒体硬件

多媒体应用多媒体操作系统多媒体驱动程序多媒体工具软件（准备、创作、使用、维护……）多媒体应用软件（数据库、超媒体……）多媒体应用系统（会议系统、VOD……）用户用户用户多媒体软件系统层次31第1阶段（1971—1973年）是4位和8位低档微处理器时代，其典型产品是Intel4004和Intel8008微处理器集成度低（4000个晶体管/片），主要采用机器语言或简单的汇编语言，指令数目较少（20多条指令），基本指令周期为20~50μs，用于简单的控制场合。第2阶段（1971—1977年）是8位中高档微处理器时代，集成度提高约4倍，运算速度提高约10~15倍软件方面除了汇编语言外，还有BASIC、FORTRAN等高级语言和相应的解释程序和编译程序，在后期还出现了操作系统。第3阶段（1978—1984年）是16位微处理器时代，通常称为第3代，其典型产品是Intel公司的8086/8088，集成度（20000~70000晶体管/片）和运算速度都比第2代提高了一个数量级。80286（也被称为286）32第4阶段（1985—1992年）是32位微处理器时代，。其典型产品是Intel公司的80386/80486。第5阶段（1993-2005年）是奔腾（pentium）系列微处理器时代，通常称为第5代。1997年推出的PentiumII处理器结合了IntelMMX技术，能以极高的效率处理影片、音效、以及绘图资料，能大幅提升先进影像、3D、串流音乐、影片、语音辨识等应用的性能，它能大幅提升网际网络的使用经验，让使用者能浏览逼真的线上博物馆与商店，以及下载高品质影片。第六阶段331、多媒体驱动软件多媒体软件中直接和硬件打交道的软件称为驱动程序，它完成设备的初始化、各种设各操作以及设备的打开、关闭、基于硬件的压缩解压、图像快速变换等基本径件功能调用等等。这种软件一般随着硬件提供。342、支持多媒体的操作系统或操作环境多媒体操作系统，又称多媒体核心系统(MultimediaKernelSystem)。它应具有实时任务调度、多媒体数据转换和同步控制机制，对多媒体设备的驱动和控制，以及具有图形和声像功能的用户接口等。一般是在已有操作系统基础上扩充和改造，或者重新设计。

Windows2000/XP/2003353、多媒体素材编辑软件

主要用于采集、整理和编辑各种媒体数据。声音处理和编辑软件：Wavedit、CreativeWaveStudio、CoolEdit2000、MIDIOrchestrator等图形与图像处理和编辑软件：Photoshop、彩色绘图设计系统CorelDRAW、ACDSee、Fireworks等视频编辑软件：AdobePremiere动画软件：Flash、3DMax364、多媒体创作工具（编辑创作）软件较著名的软件有:

Macromedia公司的Authorware和Director，

HSCSoftware公司的HSCInterActive，

Asymetrix公司的ToolBook，方正公司的奥恩等。

Office中的PowerPoint软件也可看成是专用的多媒体制作工具。5、多媒体应用软件

是在多媒体硬件平台上设计开发的面向应用的软件或由这些软件创作工具开发出来的应用软件。371.3流媒体技术一、流媒体（StreamingMedia）也称流式媒体技术。是一种可以使音频、视频和其他多媒体信息能够在网络上以实时的、无需下载等待的方式进行播放的网络传输技术。流媒体技术就是将动画、视频、音频等多媒体文件经过压缩处理后放到网站服务器上，由服务器向用户计算机连续、实时地传递，让用户一边下载一边观看、收听，而不要等整个压缩文件下载到自己的计算机上才可以观看。流媒体技术而是网络技术及视/音频技术的有机结合。381.3流媒体技术二、流媒体技术需解决的问题1.传输需解决的问题⑴传输协议

web浏览器---HTTP协议

（HyperTextTransferProtocol

）internet上的文件传输协议大部分----TCP

部分--------FTPTCP/IP（TransmissionControlProtocol/InternetProtocol）流媒体传输协议——UDP（RTP/RTCP）

→能实时传输

RTP（Real-timeTransportProtocol），实时传输协议RTCP（Real-timeTransportControlProtocol）RTSP（RealTimeStreamingProtocol），实时流传输协议

→不能实时传输39链路层网络层传输层应用层401.3流媒体技术⑵缓存----流媒体的传输过程中需要缓存的支持

多媒体数据在传输中要被分解成许多包，由于网络传输的不稳定性，各个包的路由不同，到达客户端的时间次序可能发生改变，甚至会丢包。为此，利用缓存对到达的数据包进行正确排序，从而使视音频数据能连续正确播放。缓存中存储的是某一段时间内的数据，数据在缓存中存放的时间是暂时的，缓存中的数据也是动态的，不断更新的。流媒体在播放时不断读取缓存中的数据进行播放，播放完后该数据便被立即清除，新的数据将存入到缓存中。因此，在播放流媒体文件时不需占用太大的缓存空间。

411.3流媒体技术2.播放需解决的问题流媒体的播放过程中需要浏览器的支持

浏览器（播放器）都是基于http协议，而http协议能够识别各种不同的多媒体文件格式，包括各种流媒体格式。

421.3流媒体技术三、流媒体的文件格式音频文件：

.asf，.wmv----MediaPlayer、暴风影音、QQ影音

.rm/.ra----RealPlayer.mov----QuickTime.mp3-----媒体播放器、超级解霸、RealPlayer、Winmap.wma----Windows平台431.3流媒体技术视频文件：

.asf，.wmv----MediaPlayer、暴风影音、QQ影音

.rm/.ra----RealPlayer.mov----QuickTime.flv----媒体播放器

.mp4-----媒体播放器、超级解霸、RealPlayer、Winmap.wma----Windows平台441.3流媒体技术三、流媒体的文件格式451.4多媒体技术应用与发展前景一、多媒体技术应用领域办公自动化的商业领域：如多媒体邮件、视频会议、网上购物等工作领域多媒体电子出版物：如有声百科全书、电子词典、电子地图、多媒体网络等。信息领域多媒体技术为CAI曾添了新的手段：如多媒体学习软件，可以声、文、视频等共同展示问题为创作者提供了各类工具：如图像、图形及连环图画及按一定时间顺序显示而形成连续的动态画面等。为人们提供了一些虚拟场景及声音：如音乐、游戏机一些电影特效等。教育领域创作领域娱乐领域46一、多媒体发展简史1、启蒙发展阶段

84年：Apple公司的HyperCard，提出了位图（bitmap）、图标（Icon）、窗口（window)的概念，以图形用户界面（GUI)处理多媒体信息。

85年：Microsoft推出windows，使用菜单、鼠标驱动、多任务、用户界面友好的操作系统。Commodore公司研制的Amiga系统，包括动画制作、音响处理和图形处理3个专用芯片。1985年美国Commodore个人计算机公司推出世界上第一台多媒体Amiga,具有功能完备的视