硬件结构华东师范计算机科学技术系

1、一、多媒体基本概念 1.多媒体：将多种媒体综合集成、交互式处理而生成的一种传播和表现信息的全新载体。（主要是视觉媒体和听觉媒体，触觉媒体、嗅觉媒体等较少涉及。） 2.多媒体的特性： 多样性：多种单媒体，如文本（Text）、图形（Graphic）、图像（Image）、视频（Video）、声音（Sound）、动画（Animation）等的复合。,第六章 多媒体辅助教学系统,集成性：将多种媒体信息统一进行数字化处理，建立它们相互间的逻辑关系，集成为一个整体。包括信息的多通道统一获取、信息的统一组织与存储、信息的统一加工处理以及信息的表现合成等。数字化是集成的基础。此外，多媒体的硬件和软件也相应集成为

2、一体。 交互性：用户可以干预、控制信息处理和表现。信息的检索（用户可以随意挑选感兴趣的信息）、参与或控制信息的组织或表现过程（改变模拟的参数以改变模拟的结果，控制某些角色的行为从而改变事情的结局）、用户进入到与信息环境一体化的虚拟现实中，通过视觉、听觉、触觉甚至嗅觉和味觉与机器交流信息，达到与真实环境相同的境界。,3.多媒体技术 指利用计算机将文字、声音、图形、图像（静态或动态）等多种媒体综合集成，实现多媒体的人机交互的手段和方法，也就是所谓多媒体计算（Multimedia Computing）技术。 多媒体技术包括：多媒体的数字化技术、多媒体的编码与数据压缩技术、多媒体通讯技术、多媒体网络技

3、术、多媒体信息的组织、管理和表现技术、多媒体软硬件平台、超媒体技术、虚拟现实（Virtual Reality）技术等。 多媒体素材的种类：主要有文本（Text）、图形(Graphic)、图像(Image)、视频(Video)、声音(Sound)、动画(Animation)等。,二、听觉媒体 凡是通过声音以听觉传递信息的媒体，都属于听觉媒体 声音的三个要素：音调、音强和音色 波形的频率决定了音调的高低，波形的振幅决定了音强泛音决定了音色 泛音越丰富则音色越优美。声音到达左右两耳的相对时差和不同的方向感、不同的强度，就产生立体声的效果 根据声音不同的特点和处理方法，听觉媒体分为波形声音、音乐和语音

4、三类 频率范围越宽，声音的质量越好。保真度、空间感、音响效果是重要的指标。对于语音，其质量则以可懂度、清晰度、自然度来衡量,表6-1 不同种类声音的频率范围 声音种类 频率范围 电话语音 200Hz-3.4kHz 调幅广播 50Hz-7kHz 调频广播 20Hz-15kHz 宽带音响 20Hz-20kHz,1.波形声音采样与数字化 每秒钟的采样数称为采样频率。采样频率越高，则将声波等份得越细，经过离散化的声波越接近于原始的波形。这意味着声音的保真度越高。 人的耳朵能感觉到的声波的频率在20赫兹(Hz)到20000赫兹之间。不同声道的声音到达左右两耳的相对时差和方向感、强度不同，就产生立体声的效

5、果。,采样频率 : 每秒钟的采样数 ； 采样频率越高，则将声波等分得越细，经过离散化的声波越接近于原始的波形。声音的保真度越高。亨利奈奎斯特(Harry Nyquist)采样定律：只要采样频率高于输入的声音信号中最高频率的两倍，就可以从采样中恢复原始波形。,标准采样频率：44.10kHz，22.05kHz，11.025kHz。,采样点精度：记录振幅的值有不同的测量精度。8位采样可以表现256级差异（语音）， 16位采样可以表现65536级差异（高保真度），其表现的细腻程度已经超过人耳所能识辨的限度。 声道数：声音通道的个数 。单声道只记录和产生一个波形声音，双声道产生两个波形声音也称为立体声。

6、,2.FM音乐合成 乐音与噪音的区别：乐音有周期性的基频谱和基频的倍频谐波谱，而噪音没有周期性也没有固定的基频。 乐音除了具备声音的三个要素音调、音强和音色之外，还有一个要素，即乐音振动持续的时间时值。 合成音乐的基本原理：利用波形发生器产生一定基频的正弦波，通过频率的高低控制音高，通过波形的幅度控制音强，通过信号的持续时间控制时值。 因为不同的音色所包含丰富的谐波成分很多，音色的控制和模拟比较困难。,FM（调频）合成：使作为载波的高频振荡波的频率按调制信号变化的一种调制方式。改变不同的调制波频率，就可以合成具有不同频谱的波形，再现某些乐器的音色。 FM可以得到具有独特效果的电子模拟声，产生富

7、有幻觉的、自然界不具备的非自然音色。不过，FM的声音单调，缺乏乐器声的力度变化，与实际乐器的声效仍有差别。 声音卡可以合成多达20种FM立体声音乐。,3.波形表技术 对真实乐器发出的声音采样，将数字音频信号存储在ROM芯片或硬盘中，称为波形表。进行合成时再将相应乐器的波形记录播放出来。 波形表技术可以产生比FM更为丰富逼真的乐音，所需要的存储空间也要大得多。波形表合成芯片一般能完成FM合成的所有功能。 许多声音卡（如声霸卡）都配备了音乐创作的和演奏软件，提供FM音乐驱动程序，并可利用文字编辑器写类似于简谱格式的文件，然后生成FM音乐文件。,4.MIDI音乐（Musical Instrument

8、 Digital Interface） MIDI是一套将乐谱数字化的方法和存储的标准文件格式，以及将音乐设备连接到计算机所需电缆和端口定义的标准，和控制PC机和MIDI设备之间信息交换的规则。 乐谱的MIDI数字化描述称为MIDI消息（Message）。 MIDI消息经过特定的微处理器（音乐合成芯片）处理，就会解释MIDI消息并产生特定乐器、特定音高和时值的音乐，达到演奏的效果。,三、视觉媒体 视觉媒体的种类 (1)位图图像(Bit-mapped Image) 位图图像是对视觉信号直接量化。它将原始的视觉信号离散化为空间的点，称为像素。对像素的颜色、亮度（或灰度）加以数据描述，得到图像数据。将

9、这些数据作为文件存储，即为图像文件。在显示时，像素与显示器的显示点一一对应，故称为位图影射图像，简称位图图像，也称为点阵图像。 (2)矢量图形(Vector-based Graphics) 图形是对图像的一种抽象，它不直接描述图像的每一个点，而是依据某个标准对图像进行分析，抽取实体特征，形成产生图形的算法，并以一组指令的形式存储。显示时执行指令，即可产生屏幕图形。图形上的点的位置通常用矢量来描述，故称为矢量图形。 对于复杂的彩图，算法描述和计算的困难很大，效果不理想。CorelDraw、AutoCAD等图像处理软件使用矢量图形。,(3)动态图像(Moving Picture) 动态图像是连续渐

10、变的静态图像或图形序列，随着时间的变化而产生的运动视觉的一种视觉媒体。如果序列中的单帧图像是摄取实景得到的真实图像，则称其为影像视频，简称视频。如果序列中的单帧图像是人工或计算机产生的图形，则称其为动画。动态图像具有实时运动感和自然真实感。 (4)符号 表示数值，也可以表示语言、文字。特定的符号可以表示物体或事件。 (5)体图(Volume Graphics) 运用科学计算可视化技术，将三维空间数据转换为可视图像。,2位图图像参数 （1）分辨率 分辨率是影响位图质量的重要指标。通常使用的分辨率有三种，即屏幕分辨率、图像分辨率、像素分辨率。 屏幕分辨率是指在某种显示模式下，计算机显示屏幕的最大区

11、域内的水平方向和垂直方向的像素个数。 图像分辨率是指图像数字化时，在水平方向和垂直方向表示图像的像素个数。图像分辨率越高，数字化后得到的图像的质量越好。 图像分辨率与屏幕分辨率是不同的概念，前者反映了捕获图像时解析图像的精确度，后者反映了显示图像时解析图像的精确度。,（2）颜色数 颜色数是指图像能使用的颜色的数目，即所谓色调的丰富与否。 颜色数取决于每个像素用多少存储位数（bit）来存储颜色信息。每个像素所占用的存储位数称为图像深度或像素深度。 目前使用的图像深度有1，4，8，24四种。 假如红、绿、蓝三基色分别各用8位表示，则每个像素的颜色用24位表示，即图像深度为24，那么可以表示224=

12、16,777,216种不同的颜色。这时图像已经很接近自然界真实的颜色，故称为真彩色（True Color）图像。,（3）数据量 位图图像的数据量是所需存储空间的度量。它取决于图像幅面的大小、所使用的分辨率以及颜色深度等情况的综合。位图图像的数据量是很大的。位图图像的存储和显示一般都要用数据压缩编码和解码技术。若屏幕分辨率为640480，颜色数为8位，则满屏图像的数据量为：6404808/8=307200（字节） 3位图图像文件的格式 位图图像仍以文件方式存储。位图图像文件一般由两部分组成：图像说明部分和图像数据部分。针对不同的应用目标，各类公司先后开发了多达数十种位图图像文件格式。其中在多媒体

13、PC中较常用的格式有PCX、BMP、GIF、TIFF、TGA、DIB等。,BMP（BitMap）是一种位映射存储方式、与设备无关的图像文件格式，有压缩和非压缩之分。作为图像资源使用的文件一般都是不压缩的BMP文件。Windows的图像资源多以该格式存储。 GIF（Graphics Interchange Format）格式由美国联机服务商CompuSever开发，是Internet上WWW的重要文件格式之一。GIF格式是无损压缩，压缩比比较高，文件长度比BMP格式约小1/3-1/2。 TIFF（Tagged Image File Format）格式也称为TIF格式，由Aldus公司（后与Ado

14、be公司合并）和Microsoft公司合作开发。最早用于扫描仪和桌面排版。其文件有压缩和非压缩两类。非压缩的文件独立于软、硬件，有良好的兼容性。许多主流软件如CorelDRAW、PhotoShop、PageMaker、PhotoStyler等均支持这种格式。,4矢量图形的特点和文件格式 通过对复杂的自然图像分析、抽象，提取特征，以算法描述，并以绘图指令表示各个有独立意义的基本信息单位，运行这些指令构成的程序，就可以生成矢量图形。特点： （1）矢量图形不是自然图像的逐点描述，而是视觉重点的抽象表达，因此是图像的信息子集。 （2）矢量图形可以用数学方法描述和变换，能够对图形元素分别控制，实施规则化

15、的灵活变换。 （3）矢量图形占用的存储空间比位图图像小得多，易于保存和传输。 利用图形学技术，可以由矢量图形构造实体造型、三维物体显示、真实感场景生成等，成为计算机辅助工程的研究热点。,常见的矢量图形文件的格式有： DXF/DXB：AutoDisk AutoCAD图形交换格式 DRW：Lotus Freelance/Micrografx软件 GEM：面向对象的GEM文件格式 GL：HP绘图仪图形语言 PIF：IBM Picture Interchange Format PICT：MacDraw，Apple软件 CGM：Computer Graphics Metafile 其中CGM是一套与设备

16、无关的图形文件ISO标准，它为图形设备接口标准化创造了条件，提供了不同图形系统的图形集成的手段。国际标准化组织提出了窗口管理系统（GUI），计算机图形设备接口（CGI）、图形核心系统（GKS）等基本图形软件的标准。,5数字视频图像的特点与处理 从物理意义上看，动态图像是由多幅单帧图像序列连续显示构成的。电视、电影、计算机动画及其混合形式，是以不同技术处理和实现的动态图像，其概念的实质是相同的。 动态图像有三个基本的特点：具有时间连续性，因而适合表现对象的运动过程；帧与帧之间具有相关性，邻帧之间只有10%以下的像素有亮度变化，1%以下的像素有色度变化，因而数据压缩余地大；具有实时性，播放时必须在

17、0.05秒至0.1秒内完成画面更换，因而数据量大，要求通讯频带宽。,数字视频图像是在彩色电视的集成上发展起来的。它将彩色电视的视频图像数字化，按照特定的标准编码存储、传输。目前电视有三种不同的制式（不包括高清晰度电视HDTV）：PAL制（我国及东南亚国家采用）、NTSC制（美国等国家采用）、SECAM制。视频图像数字化除了要经过采样、A/D转换、解码之外，由于电视的彩色一般采用Y（亮度）、U、V（色差）分量表示，而计算机常用R（红）、G（绿）、B（蓝）分量表示，因此存在彩色空间转换的问题。 为了使动画或视频图像的播放色彩丰富、无跳跃感，播放速度应达到25帧/秒以上，画面颜色至少是256色，屏幕

18、分辨率应达到640480。,常见的视频文件格式有： AVI文件格式：又称为音频-视频交错文件（Audio-Video Interleaved），它是Microsoft公司 Video for Windows视频应用程序（Windows 95标准配置中提供）使用的格式。 MOV文件格式：是Apple公司在Quick Time for Windows视频应用软件中使用的视频文件。该文件起先主要在Macintosh系统中运行，现在已经移植到Windows平台下。利用它可以合成视频、音频、动画、静止图像等多中素材，也可以制作数字化影视作品。,MPG文件格式：MPC机上按照MPEG标准压缩的全屏幕视频的

19、标准文件。在1024768的分辨率下以每秒24、25或30帧的速度同步播放活动视频和CD音质的伴音。制作需要专门的带压缩功能的硬件，播放也要有解压硬件支持，或用图形加速卡配合软件解压方法实现。,6.超文本和超媒体 (1)超文本和超文本系统 超文本和超媒体是一种多媒体数据管理技术。1954年，Varmever Bush（1890-1974）提出了非线性文本的设想。1965年，Ted Nelson给非线性文本取名为Hypertext（超文本），并着手在计算机上实现。70年代有了实验系统，80年代投入实际应用。1987年Apple公司推出了在Macintosh机上运行的超文本系统Hypercard，

20、成为使用最广泛的超文本系统。,文本（text）是一种信息表示方式。文本以字（单词）、句子、段落、节、章为逻辑单位，以字节、行、页、册、卷为物理单位。其显著特点是以线性方式和顺序方式组织信息。 超文本采用非线性的网状结构组织信息。按照文本内容的独立性和相关性，将文本划分为不同的基本信息块（文本块）。根据文本块的内在联系，用指针从一个文本块指向有联系的其他文本块。将文本块抽象为“节点（Node）”，指针抽象为“链（Link）”，建立起由节点和链组成的网状信息结构。 结构中每个节点都可以有指向其他节点的链和来自其他节点的链。链的个数取决于节点的内容。如果节点没有链指向其他节点，就称为目的节点。作为出

21、发点的节点则称为起始节点或锚节点（Anchor node）。,(2)超文本的定义：一个由信息节点和表示节点之间相关性的链构成的具有逻辑结构和语义的网络。 (3)超文本系统有如下特点： 在任何节点上，用户都可以得知当前节点的邻接环境，知道当前节点与哪些其他节点有联系，并可以从当前节点迅速地转到有联系的节点上去。用户可以决定阅读的顺序和内容。,超文本系统有一个用于防止迷路、方便浏览的交互式工具，称为浏览器或导航图。这是与超文本的节点和链对应的网络结构图，它告知用户网络的信息如何连接，帮助用户浏览定向。 用户可以根据需要动态地改变网络中的节点和链，以便对网络中的信息进行更为灵活、快速的访问。 交互式

22、操作，良好的窗口环境和程序员接口。,(2)超媒体（Hypermedia） 如果超文本的节点数据不仅是文字和数值，还包含图形、图像、视频、动画、声音、计算机程序等多媒体信息，就称为多媒体式的超文本或超媒体。 超媒体可以看作一种特殊的超文本，也有人将其划分为与超文本并列的媒体。目前所说的超文本实际上常常指超媒体。,四、声音素材的采集和编辑 采集数字化音频信号可以使用以下方法： 1引用.WAV和.MID文件 在光盘上的商品软件或网络的共享软件有不少现成的.WAV和.MID声音文件，要找到完全符合要求的声音文件并不容易。 2. 同期录音 同期录音是在实况摄像（或其他视频输入）时，将声音也录制到影像素材

23、中。一般将得到的素材编辑成.AVI.或MPG格式文件，然后集成到多媒体课件中。在播放时影像和声音一起播出。这种做法的优点是有现场感，但是要求环境不能过分嘈杂，而且录制时不能有失误，否则连同影象一起要重新摄录。,3. 录音机录音 利用声音卡相应的接口，接入麦克风、立体声录音机或CD激光唱机等作为声音的输入信号源，使用声音卡附带的录音软件或其他软件（例如Windows 9x自带的“录音机”软件），就可以用计算机的多媒体功能进行录音。在录音前，必须确定采样频率、量化的位数、声道数等参数，并调整好输入的音量。录音得到的是WAV格式的波形文件。,4. 从CD盘采集 通过声音卡附带的播放软件或其他软件（例

24、如奥思98，“解霸五”等），可以在播放CD光盘的语音或音乐时，将声音采集并存储成WAV格式文件，存储到磁盘中。有些播放软件还可以生成压缩存储的MP3格式文件。 采集到数字音频素材后，还要进行编辑，使之符合教学要求。,五、图象素材的采集和编辑 从现有图片库中获取图形和静态图像 用扫描仪扫描输入图形和静态图像 用计算机产生图形、静态图像和动态图像 用数码照相机拍摄实物图像，形成数字化图像文件供计算机使用。 用视频采集卡、视频信号数字化仪将视频信号数字化，获取静态或动态图像。,一、现代远程教育及其发展,1. 远程教育基本概念,远程教育也称为远距离（Distance Learning）教育，是指师生凭

25、借媒体所进行的非面对面的教育。,第七章 现代远程教育,现代远程教育是计算机信息技术和Internet在远程教育领域的新兴应用。 现代远程教育将分布在不同地点的教师、学生和多媒体CAI课件联接在一起，学生可以个别学习，也可以在“虚拟教室”中进行讨论或与老师交流。,2.现代远程教育的基本形式,实时群播教学系统：该类系统包括一间主播教室及一间或数间远端教室，教师在主播教室讲课，学生则处在异地的远方教室中听课，教材的设计与呈现采用多媒体方式，师生之间可以进行实时的问答与交流。 虚拟教室教学系统：该类系统利用计算机软件设计出一套教学管理系统，用计算机模拟上课的情景进行教学，包括老师讲课、布置作业、回答问

26、题、学生学习课程内容、提出问题及参加考试等等。 课程随选教学系统：该类系统利用目前信息领域最热门的“交互式视频点播(Video-On-Demand,简称VOD)技术”，学生可以在计算机或是装有控制盒（Set-Top-Box）的电视机上，将所要学习的教材通过网络取得，并且依照个人学习速度控制播放过程来进行远距离学习。,从实现技术上看，目前的现代远程教学系统包括以下四种结构： 1）利用Internet的网络教学； 2）窄频带的视频会议系统（利用ISDN技术）； 3）宽频带的实时群播系统（利用ATM技术）； 4）交互式视频点播系统(利用VOD技术)。,从信息传输的时效上看，现代远程教育可以分为以下二

27、种方式： 1）实时传输方式(Synchronous delivery) 该类方式主要包括交互电视、远程会议、计算机会议、网上交谈等，其优势在于能够减少学生的学习困难、提高学习效率与学习积极性； 2）异步传输方式(Asynchronous delivery) 该类方式所采用的教学媒体主要包括音频媒体、视频媒体、数字媒体（以计算机为典型装置）以及印刷媒体等，其优势在于更具灵活性。,远程教育课件的基本特点,多媒体性 交互性与学习者的自主性 使用浏览器 超文本性 导航功能,二、基于Internet的远程教学系统,1.Internet与远距离教育,利用Internet来进行远程教学，与传统远距离教育模式

28、相比，有如下优势： 极大的增强了教师和学生、学生和学生之间的交互性，打破了教师和学生、学生和学生之间的相对孤立状态。 学习的异步性 学习信息的广泛性 评价的及时性,2. 基于Internet的远程教学模式,在基于Internet的教育网络环境下，可以最大限度地发挥学习者的主动性、积极性，既可以进行个别化教学，又可以进行协作型教学（通过各种协作式教学策略的运用而实现），还可以将“个别化”与“协作型”二者结合起来，所以是一种全新的网络教学模式。,每个学习者在学习过程中均可完成下列操作功能： 查询和访问分布在世界各地的多种信息源(必要时可以从该信息源拷贝所需的软件或资料)； 对选择出的信息资料进行分

29、析、加工(排序、重组或变换)和存储； 和教师或其他学习者直接通讯(进行咨询、辅导、讨论和交流)； 和教师或其他学习者共享或共同操纵某个软件或文档资料的内容。,具网络特色的探索式教学策略和协作式教学策略： 传授式教学 探索式教学 协作式教学 个别指导模式 讨论学习模式,3. 基于Internet的教学系统的结构,1）硬件结构： 支撑网络教学系统的物质基础就是一个实际的计算机网络。 一般来说，都具有如下模块： (1)接入模块（电话拨号和Internet接入） (2)交换模块、服务器模块 (3)网络管理与计费模块 (4)课件制作与开发模块 (5)双向交互式同步教学模块,2）软件结构 （1）适应性超媒体学习系统 （2）多媒体授课系统 （3）师生交互工具 （4）网络题库管理系统 （5）考试与评价系统 （6）教学资源库管理系统 （7）自动答疑系统 （8）学习管理系统 （9）作业批阅系统 （10）网络课件写作系统 （11）教学管理系统 （12）基于WEB的虚拟实验室,3）信息组织结构 由办公室、同步教室、自习室、答疑室、虚拟咖啡屋、虚拟图书馆 六部分构成 （1）办公室完成对用户的登记和管理工