电大开放本科课程

1、教师 ： 杜东绪甘肃播送电视大学开放本科课程Email：多媒体技术基础及应用1学习目标早期的计算机只能处理数字与文字，现在多媒体计算机能够综合处理声、文、图及视频信息，并具有集成性和交互性，因此，它促进了通讯、娱乐和计算机的融合，从而形成新一代的产品，为人类的生活和工作提供全新的信息效劳，它是计算机产业重要的开展趋势。通过本课程的学习，使同学了解多媒体计算机开展趋势，掌握多媒体计算机的根底理论知识、熟悉多媒体计算机的应用领域，从而使同学能够设计开发多媒体计算机硬件和软件系统以及多媒体的应用系统。2主教材钟玉琢 冼伟铨 沈洪 编著 清华大学出版社 出版 多媒体技术根底及应用 多媒体技术根底及应用

2、辅导与实验3参考文献 林福宗 编著 清华大学出版社 出版 多媒体技术根底4先修课程计算机组成原理数字信号处理原理5学时方案课程学时：42实验学时：246主要学习内容多媒体计算机概述音频信息的获取与处理视频信息的获取与处理多媒体数据压缩编码技术多媒体计算机硬件及软件系统结构超文本和超媒体多媒体计算机的应用技术CLICK7主要实验内容音频信号的获取与处理图像处理及图像文件格式的转换视频图像的编辑和处理网页制作使用Flash软件8选做实验三维动画制作多媒体著作工具应用Authorware超文本与超媒体(Authorware)9第一章 多媒体计算机概述本章要点多媒体计算机的定义、分类，多媒体计算机中的

3、关键技术。多媒体技术促进了通信、娱乐与计算机的融合。多媒体计算机技术的应用和开展趋势。10媒体与多媒体用以存储信息的实体，如磁盘、光盘等；承载信息的载体，如数字、文字、声音、图形和图像等。即信息的存在形式和表现形式，早期称其为“媒介。在多媒体计算机技术中“媒体指第2个含义。媒体(Medium)的含义：1.1 多媒体计算机的定义和关键技术11媒体与多媒体 人类获取信息的途径促进了多媒体技术的开展1.1 多媒体计算机的定义和关键技术12多媒体计算机的定义定义：Lippincatt,Byte 1990年 计算机综合处理多种媒体信息_文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个具有交互性

4、的系统。 定义：Lippincatt,Byte 1990年 计算机综合处理多种媒体信息_文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个具有交互性的系统。 CLICK1.1 多媒体计算机的定义和关键技术13理解定义多媒体是信息交流和传播的媒体；多媒体是人机交互式媒体；多媒体信息均以数字形式存储和传输；传播信息的媒体种类多。CLICK1.1 多媒体计算机的定义和关键技术14多媒体的关键特性一般认为多媒体有以下三个关键特性：信息载体的多样性交互性集成性1.1 多媒体计算机的定义和关键技术15多媒体的关键特性之一信息载体的多样性 多媒体技术使计算机所能处理的信息空间范围扩展和放大了，而不再

5、是过去那种字符数字为主的形式，使计算机变得更为人性化。1.1 多媒体计算机的定义和关键技术16多媒体的关键特性之一“信息空间放大“是指计算机由只能处理字符、数字进入到了能够处理图、文、声、动画等信息的缤纷多彩的世界。“人性化是指人们的操作和理解更加容易、更加自然。1.1 多媒体计算机的定义和关键技术17多媒体的关键特性之二交互性 交互性向用户提供更加有效的控制和使用信息的手段。交互可以增加对信息的注意和理解，延长信息保存的时间。在交互中“活动本省作为一种媒体介入到了信息转化为知识的过程之中。1.1 多媒体计算机的定义和关键技术18多媒体的关键特性之二例如，在CAI中可以人为地改变信息的组织过程

6、以便研究感兴趣的某些方面，可以对事物的运动过程进行控制以获得奇特的效果，从而大大地激发学习者的想象力和创造力。1.1 多媒体计算机的定义和关键技术19多媒体的关键特性之三集成性 集成性主要表现在信息媒体的集成和处理这些媒体的设备的集成。即将各种媒体、设备、软件和数据组成为系统，发挥出了更大的效能。1.1 多媒体计算机的定义和关键技术20多媒体的关键特性除上述三个特性之外，由专家学者认为多媒体还具有系统性。由于对媒体不是一个单项的技术，这就注定了它要综合地应用有关的理论、方法和技术，在一个较大的环境下考虑多媒体技术的设计、实现和营运。1.1 多媒体计算机的定义和关键技术21多媒体计算机的关键技术

7、视频、音频获取技术多媒体数据压缩编码及解码技术视频音频数据的实时处理和特技视频、音频数据的输出技术 1.1 多媒体计算机的定义和关键技术22多媒体计算机的关键技术之一视频、音频获取技术 利用计算机产生图形、静态图像和动态图像。 利用扫描仪扫描输入图形、图像。 利用数字化仪将彩色全电视信号数字化获得静、动态图像。1.1 多媒体计算机的定义和关键技术23多媒体计算机的关键技术之一视频、音频信息的获取实质上就是信息的输入。我们可以利用计算机来产生图形、静态的图像和动态的图像，可以扫描输入，还可以通过影像设备输入；对于音频信息可以由话筒输入或者通过MIDI合成，等等。1.1 多媒体计算机的定义和关键技

8、术24多媒体计算机的关键技术之二多媒体数据压缩编码及解码技术 多媒体数据压缩是必要的。 多媒体数据压缩是可能的。 压缩编码算法评价及其实现硬件或软件。 压缩标准的系列化。1.1 多媒体计算机的定义和关键技术25多媒体数据压缩是必要的多媒体信息如声音、图像、活动视频等信息其数据量非常巨大。例如，一幅中等分辨率的256色即8位图像其数据量为：640*480*8/8=307200字节约0.3MB，假设它是真彩图像即24位/像素就约有 0.9MB；1.1 多媒体计算机的定义和关键技术26多媒体数据压缩是必要的假设是动态视频信号，在NTSC制式下30帧/秒其数据率将到达27.6MB/s，一张600MB的

9、标准光盘仅仅能够存储约20秒钟的资料。可见，从降低存储和传输代价以及传输时间的目的出发，对多媒体数据进行压缩是十分必要的。1.1 多媒体计算机的定义和关键技术27多媒体数据压缩的可能性经过分析得知，多媒体信息存在着很大的冗余性，是完全能够被压缩的。及压缩后的数据经过解压缩后可以重现原有信息。 1.1 多媒体计算机的定义和关键技术28压缩算法的评价及其实现压缩技术经历了近50年的开展，产生了许多不同用途的压缩算法以及实现这些算法的软件或硬件。那么如何评价算法的优劣？显然，它与媒体的类型、作何应用？应用的要求如，实时还是非实时？脱机还是联机？同步还是异步？等等以及所用设备的特性如显示器的分辨率、存

10、储体的存取速度等诸多因素有关1.1 多媒体计算机的定义和关键技术29压缩算法的标准化多媒体信息的压缩都应该遵循相应的标准。否那么将导致产品不兼容，引起市场混乱。如前两三年国内的VCD、SVCD等产品的开发和生产所存在的混乱状况。1.1 多媒体计算机的定义和关键技术30多媒体计算机的关键技术之三视频音频数据的实时处理和特技由于声音以及活动视频图像都与时间紧密相关，因此多媒体技术必须要能够支持实时处理。至于特技处理的必要性，大家在欣赏电视广告、电影的过程中已经有很多体会了。 1.1 多媒体计算机的定义和关键技术31多媒体计算机的关键技术之四视频、音频数据的输出技术如何更好地呈现种类繁多、数据庞大的

11、多媒体信息无疑是整个多媒体应用系统成败的关键。 1.1 多媒体计算机的定义和关键技术32多媒体计算机的分类电视计算机(Teleputer) 由家电厂商研制，借助在家电中置入CPU，通过编程来控制和管理电视机、音响等。计算机电视(Compuvision) 由计算机厂商研制，由微处理器、VGA卡、CD_ROM、音响设备及扩展多窗口系统构成。1.1 多媒体计算机的定义和关键技术33多媒体技术促进了通信、娱乐和计算机的融合 所谓通信、娱乐和计算机的融合就是把消费类电子产品同计算机融为一体，由计算机完成音视频信号的采集，压缩/解压缩，实时处理及特技处理，视频的多窗口显示和音频的立体声输出，从而形成新一代

12、的电子产品。1.2 通信、娱乐和计算机的融合34多媒体技术是实现电视数字化和HDTV的可行方案1HDTV技术采用数字化，按MPEG标准压缩编码以便与数据传输、存储、控制和管理。这样就能使它与以Mpeg，Jpeg压缩编码算法为根底的MPC兼容、与它们通信。MPEG 2提供了四种工具来实现分层编码，这四个工具是：空间可扩展性、时间可扩充性、信噪比可扩充性和数据分块。关于MPEG标准我们在第四章还要学习。1.2 通信、娱乐和计算机的融合35多媒体技术是实现电视数字化和HDTV的可行方案22、采用打包数据结构方便与计算机等通信。HDTV将图像声音以及附加数据以任意大小打包，随机传送，使得HDTV能够与

13、计算机、多媒体娱乐教育系统以及其他家用视听设备通信。1.2 通信、娱乐和计算机的融合36多媒体技术是实现电视数字化和HDTV的可行方案33、采用双层传输技术保证HDTV的高可靠性和抗干扰性。 将重要信息放在最高优先级的载波上传输，其他数据那么按标准优先级传输。这样便保证了HDTV具有高的可靠性和抗干扰性。1.2 通信、娱乐和计算机的融合37多媒体技术是实现电视数字化和HDTV的可行方案44、支持任意分辨率、任意窗口尺寸输出，输入输出分辨率可以独立，还具有图形、音视频特技以及交互式等新功能。1.2 通信、娱乐和计算机的融合38交互式电视系统和VOD 交互式电视是节目效劳商如电视台将新闻、电影及其

14、他节目压缩存储在多媒体数据库中，用户借助于“机顶盒(STB)通过网络点播各种自己喜欢的节目。 交互式电视最常见的是节目间的交互，即视频点播(VOD)。1.2 通信、娱乐和计算机的融合39交互式电视系统和VODVOD系统的根本组成视频效劳器；编码器/路由器；用户请求计算机和记帐计算机；机顶盒。例如图1.2 通信、娱乐和计算机的融合40交互式电视系统和VOD视频效劳器；其主要功能是视频存储和视频节目传送。假设有20GB硬盘空间那么可以存储约90分钟的电影。它还要提供一个高速、宽带的下行通道与编码路由器相连才能把数据音视频信号和控制信号传送给用户。它的另一个功能是提供节目检索和效劳。例如图1.2 通

15、信、娱乐和计算机的融合41交互式电视系统和VOD编码器/路由器单元：这一局部的功能是按照用户的需求，将节目和效劳数据进行编码并经过路由选定后分配到用户。例如图1.2 通信、娱乐和计算机的融合42交互式电视系统和VOD用户请求和记账计算机：用户计算机接受用户访问并通过用户机顶盒提供立即或接近立即的响应一般在6秒。例如图1.2 通信、娱乐和计算机的融合43交互式电视系统和VOD电视机机顶盒STB)：是用户购置的与电视接收机配合使用的室内设备，用来进行节目选择并同电视点播系统交互通信。一般有以下功能：指示室内设备、网络传输和节目资源的状态；把用户的选择传给效劳中心或信息提供者；为用户提供根本的控制功

16、能，交互式购物；交互式教学；与家用PC接口，等等。例如图1.2 通信、娱乐和计算机的融合44VOD系统的结构例如1.2 通信、娱乐和计算机的融合45利用多媒体技术制作VCD、DVD影视音响产品VCD的开展和标准：VCD的数据存储： 盘上的影视图像和声音是采用MPEG-1算法压缩的数字信息，并按MPEG的格式交错存放。1.2 通信、娱乐和计算机的融合46利用多媒体技术制作VCD、DVD影视音响产品VCD播放系统主要有两类产品：MPEG播放卡/软件：用在个人计算机中，需要PCI总线、CD_ROM及操作系统支撑，用键盘、鼠标器控制操作。VCD播放机+电视机：由CD驱动器、MPEG解码器以及微控制器组

17、成，用遥控器或面板按键操作。1.2 通信、娱乐和计算机的融合47VCD播放系统的根本工作原理 读盘： 音频数据： 视频数据：MPEG音频译码-D/A变换-混音叠加-放大输出至电视机或音响；从CD盘上读出串行的MPEG数据流及控制信号；视频解码-D/A变换- NTSC/PAL编码-送入电视机或,D/A变换之后直送电视机。1.2 通信、娱乐和计算机的融合48VCD播放机结构例如(附图：(L)P.184Fig.11-15)1.2 通信、娱乐和计算机的融合498位微控制器的主要功能接收并解释来自控制面板(或遥控器)的按钮命令；在数码显示器上显示状态信息；控制CD加载和数字信号处理器的运行；控制解码器(

18、CL482/484)的解码工作；处理VCD2.0的交互播放。结构例如1.2 通信、娱乐和计算机的融合50DVD播放机结构例如(1)1.2 通信、娱乐和计算机的融合51DVD播放机结构例如(2)DVD播放机主要组成部件：DVD盘读出机构; DVD-DSP(Digital Signal Processor); 数字声音/电视图形解码器。1.2 通信、娱乐和计算机的融合52DVD盘读出机构的组成及功能 它主要由马达、激光读出头和相关的驱动电路组成。 马达用于驱动DVD盘作恒定线速度旋转； DVD激光读出头用于读光盘上的数据，使用的是红色激光，而不是CD播放机上使用的红外激光。1.2 通信、娱乐和计算

19、机的融合53DVD-DSP的功能 这是一块完成DVD数字信号处理(Digital Signal Processor)的集成电路。 从光盘上读出的脉冲信号经它处理转换成解码器能够使用的数据。例如图1.2 通信、娱乐和计算机的融合54数字声音/电视图形解码器 (1) 别离来自DVD播放机芯的数据将来自DVD播放机芯的数据流中的声音和电视图像数据进行别离，并建立声音和电视图像的同步关系。例如图1.2 通信、娱乐和计算机的融合55数字声音/电视图形解码器 (2) 对压缩的电视图像数据进行解压缩(即译码)按电视的显示格式重新构造出播送级质量的电视图像，然后送给电视系统。例如图1.2 通信、娱乐和计算机的

20、融合56数字声音/电视图形解码器 (3) 处理声音数据对声音数据进行解压缩，重新构造出CD质量的环绕立体声，并按照声音的播放规格(如通道要求，Dolby格式等)重组声音数据，然后将其送往立体声系统。例如图1.2 通信、娱乐和计算机的融合57数字声音/电视图形解码器 (4) 处理附属图形处理附属图形，就是以图形方式显示节目菜单供用户选看节目，在播放系统中，这种功能叫做图形菜单屏幕显示OSD(On-Screen Display)。例如图1.2 通信、娱乐和计算机的融合58DVD微控制器的功能 这块集成电路实际是一个微型计算机芯片，它主要完成控制和管理工作用它来控制播放机的运行；管理遥控器或者控制面

21、板上的用户按键输入，并把面板输入转换成解码器和DVD加载器能够识别的命令；微控器还要完成DVD节目存取权限的管理等。例如图1.2 通信、娱乐和计算机的融合59个人信息通信中心 个人信息通信中心(personal information communication center,PIC)是指应用多媒体技术使PC具有 录音、图文 、播放音响、电视和录像等多种功能，配备软件后还能联网。也有人称具有上述功能的设备为个人娱乐中心(PAC)或个人数字助理(PDA)1.2 通信、娱乐和计算机的融合60个人信息通信中心的功能管理个人信息：如存储通讯录，制定工作表，记事，预约，定时器，这些功能所有机型都具备。下

22、面的功能视机型而定：收发电子邮件、进行文字处理、播放MP3音乐、播放Mpeg电影，从Internet接受信息新闻、财经消息，玩视频游戏，集成功能如数码麝香、接收GPS。1.2 通信、娱乐和计算机的融合61个人数字助理(PDA)(1)PDA的关键技术：CPU统一采用PowerPC和Intel系列芯片中文PDA的组成：硬件系统BIOS内核操作系统工具数据库管理以及应用模块。1.2 通信、娱乐和计算机的融合62个人数字助理(PDA)(2)中文PDA的特点：1.硬件支撑采用专用单片机和外设电路；2.软件支撑采用中文笔输入操作系统；3.扩展的通信功能：能与PC、智能仪表、公用 网及无线数据网连接通信；4

23、.含功能繁多的应用程序包：名片、事务预约、英汉辞典、信息查询及休闲娱乐。图1图21.2 通信、娱乐和计算机的融合631.3 多媒体技术的应用和开展 本节介绍四个方面的内容：多媒体数据库多媒体通信多媒体创作工具多媒体计算机的开展趋势1.3 多媒体技术的应用和开展641.3 .1 多媒体数据库(1) 多媒体数据库不能沿用传统的数据库管理系统传统数据库管理的是结构化数据；多媒体应用中的数据是多样性的，不规那么的，没有一致的取值范围，没有相同的数据量级，没有相似的属性集。1.3 多媒体技术的应用和开展651.3 .1 多媒体数据库(2)要解决的关键技术问题之一多媒体数据模型传统的数据模型如关系模型针对

24、整数、实数、定长字符等标准数据，不能较好地对非标准的多媒体数据进行描述、定义操作。研究说明，用面向对象的方法描述和建立多媒体数据模型是较好的解决方法。目前的解决途径是扩展关系数据模型，即引入抽象数据类型和语义模型。1.3 多媒体技术的应用和开展661.3 .1 多媒体数据库(3)要解决的关键技术问题之二数据的压缩和解压缩多媒体信息数据量巨大且媒体间量的差异也极大，影响数据的组织和存取方法。数据量的巨大还反映在支持信息系统的地域范围的扩大，必须通过网络加以分布。1.3 多媒体技术的应用和开展671.3 .1 多媒体数据库(3)要解决的关键技术问题之二数据的压缩和解压缩 因此，压缩算法的复杂性、压

25、缩/解压缩的质量和存取速度需要综合考虑。1.3 多媒体技术的应用和开展681.3 .1 多媒体数据库(4)要解决的关键技术问题之三多媒体数据的存储管理和存取方法主要解决如何提高存取速度和有效利用存储空间。 目前应用中引入了基于内容的检索方法、矢量空间模型信息索引检索技术、超位检索技术和智能索引技术等。1.3 多媒体技术的应用和开展691.3 .1 多媒体数据库(5)要解决的关键技术问题之四多媒体信息的再现及用户界面设计。1.3 多媒体技术的应用和开展701.3 .1 多媒体数据库(6)要解决的关键技术问题之五分布式技术 包括协作管理、资源管理、多媒体文档管理、传输管理等，以支持成组的同步或异步

26、的协同工作。1.3 多媒体技术的应用和开展711.3 .2 多媒体通信(1)多媒体通信可分为两类：对称全双工的多媒体通信；如分布式多媒体信息系统、视频会议系统(点对点系统和多点系统)和协同工作环境。1.3 多媒体技术的应用和开展721.3 .2 多媒体通信(2)多媒体通信可分为两类：2、非对称全双工的多媒体通信系统：如ITV、VOD、远程教育、远程医疗诊断和远程图书馆等。1.3 多媒体技术的应用和开展731.3 .2 多媒体通信(2)多媒体通信中的关键技术：多媒体数据压缩；关于这一点我们前面已经做过介绍，不再重复了。高速数据通信：高速数据通信。要满足新时代信息系统中实时多媒体信息传输的需要，必

27、须要有很高的带宽1000Gbps以上，并且要能支持Qos效劳质量控制，以适应不同媒体对传输质量的要求。1.3 多媒体技术的应用和开展741.3 .3 多媒体创作工具及其应用多媒体创作工具的作用： 多媒体创作工具是电子出版物和多媒体应用系统的开发工具 。它向用户提供一个交互式工作环境，便于用户组织、编辑、演示以及集成为最终的多媒体出版物或其他多媒体应用软件系统。1.3 多媒体技术的应用和开展75多媒体创作工具的分类基于时间的创作工具；基于图符(icon)或流线(line)的创作工具；基于卡片(card)和页面的创作工具；以传统程序设计语言为根底的创作工具。1.3 多媒体技术的应用和开展76基于时

28、间的创作工具(1)代表产品：MacroMedia公司开发的Action！。Action！中多媒体信息的呈现是以时间来控制的，多媒体信息的呈现顺序也是以呈现时间的先后来实现的。1.3 多媒体技术的应用和开展77基于时间的创作工具(2)优点：操作简便，形象、直观，在一个时间段内，可以任意调整多媒体素材的属性。缺点：需要对每一素材的呈现时间作出精确的安排，而具体实现时 可能还要做很多调整，增加了调试的工作量。1.3 多媒体技术的应用和开展78基于图符或流线的创作工具主要有：Authorware 、Icon Author、Htools等。 创 作多媒体应用软件时， 系统提供一条流线Line，供放置不同

29、类型的图标。多媒体素材的呈现是以流线为依据的。 优点 ： 调试方便；缺点 ：维护与修改较困难。 1.3 多媒体技术的应用和开展79基于卡片和页面的创作工具(1)ToolBook、 Presentation Personal Editor、PowerPoint 及Hypercard等多媒体工具是这类的代表。 其根本思想是：将多媒体素材根据需 要编辑在一幅画面之中，即称为一张卡或一页书。不同的卡或书页，根据需要交互性地呈现，即形成多媒体应用软件。1.3 多媒体技术的应用和开展80基于卡片和页面的创作工具(2)优 点 : 便于组织与管理多媒体素材，就像阅览一本书，比较形象、直观。缺点: 当要处理的内容非常多时，卡或书页的数量将非常大，不利于维护与修改。1.3 多媒体技术的应用和开展81多媒体创作工具 以传统程序设计语言为根底的创作工具这类工具主要以传统程序设计语言为工具，用编程的方法来组织和呈现多媒体素材。常用的语言如VB、C、C+等。1.3 多媒体技术的应用和开