多媒体系统软硬件环境创新基础与实践

1、多媒体系统软硬件环境大连理工大学创新实验学院1多媒体计算机系统多媒体计算机系统不是单一的技术，而是多种信息技术的集成，是把多种技术综合应用到一个计算机系统中，实现信息输入、信息处理、信息输出等多种功能。 一个完整的多媒体计算机系统由多媒体计算机硬件和多媒体计算机软件两部分组成。 多媒体硬件环境1.光存储设备1.1 光存储的类型只读型光存储系统只读型光盘包括LV和CD-ROM等。CD-ROM（Compact Disc-Read Only Memory）只读式压缩光盘，其技术来源于激光唱盘，形状也类似于激光唱盘，能够存储650MB左右的数据。用户只能从CD-ROM读取信息，而不能往盘上写信息。只读

2、型光驱只读型光盘1.1 光存储的类型一次写型光存储系统一次写（WORM）光存储系统可一次写入，任意多次读出。与CD-ROM相比，它具有由用户自己确定记录内容的优点。一次写型光驱一次写型光盘1.1 光存储的类型可重写型光存储系统可重写光盘（E-R/W，Rewritable或Erasable）像硬盘一样可任意读写数据。分为两种磁光型（Magnetic Optical，简称MO）相变型（Phase Change，简称PC）两种形式。磁光型可重写光驱相变型可重写光驱与光盘1.2 光存储格式标准和类型CD-DA（CD-Digital Audio）是为激光数字音频唱盘制定的规格。它是CD标准的第一个文本，

3、属于红皮书（Red Book）规格。CD-ROMCD-ROM逻辑格式，1988年正式作为国际标准IS09660，黄皮书（Yellow Book）。CD-G（CD-Graphics） 是1985年出现的遵循红皮书规格的光盘，主要用于存储静止画面。CD-WORM（CD-Write Once Read Many）属于蓝皮书（Blue Book）规格，实现了光盘的一次写多次读的功能。CD-I（CD-Interactive） CD-I（CD-Interactive）属于绿皮书（Green Book）规格。它在CD-ROM规格的基础上补充了音频、视频和计算机程序方面的规定。1988年出现了CD-I交互式光

4、盘系统，1992年底出现了第二代CD-I，可播放互动式电影。1.2 光存储格式标准和类型CD-V（CD-Video） CD-V（CD-Video）与CD-G一样，是红皮书标准的延伸，用于影碟机，其视频信号可以输出到电视机上。CD-ROM XA（Extended Architecture）它是Philips、SONY和Microsoft制定的CD-ROM扩展结构。CD-ROM XA扩充了对数字音频信号的编码，目的是为了弥补推出CDI规格带来的问题。该规格也称为黄皮书的第二组标准。CD-R（CD-Recordable）属于橙皮书（Orange Book）规格。它在黄皮书的基础上增加了可写入的多种C

5、D格式标准。是一种可刻录光盘，可以多次在CD空余部分写入数据。什么是Photo CDPhoto CD是一种像片光盘，允许多段追入记录，属于白皮书（White Book）标准。该规格也称为黄皮书的第二组标准。1.2 光存储格式标准和类型光盘CD系列LVCD-ROMCD-GCD-DACD-VWORMPhoto-CDCD-RDVDVCDCD-ROM XADVICD-ICD-MO磁光（MOD）磁光（PCD）只写一次可重写只读数字模拟数字声音卡拉OK数字+模拟1.3 光存储系统的技术指标尺寸LV的直径为12英寸（300mm）CD激光唱盘和CD-ROM为4.72英寸（120mm）WORM一次写光盘为14.

6、12英寸和5.25英寸可擦写光盘向小尺寸方向发展，主要尺寸为5.25英寸和3.5英寸。 容量 格式化容量格式化容量是指按某种光盘标准进行格式化后的容量。 对于SONY的SMO-D501光盘，若格式化使每个扇区为1024B，格式化容量是325MB，而采用每扇区为512B，格式化容量只有297MB。 用户容量用户容量是指盘片格式化后允许对盘片执行读写操作的容量。CD-ROM的容量为550MB和680MB。由于光盘外圈5mm区容易出错，所以有些CD-ROM 的容量标为550MB。 1.3 光存储系统的技术指标平均存取时间平均存取时间是指从计算机向光盘驱动器发出命令开始，到光盘驱动器在光盘上找到需读/

7、写的信息的位置并接受读/写命令为止的一段时间。平均寻道时间光学头沿半径移动全程1/3长度所需的时间为平均寻道时间。平均等待时间盘片旋转半周的时间为平均等待时间。把平均寻道时间、平均等待时间和读/写光学头稳定时间相加，就得到平均存取时间。 误码率 采用复杂的纠错编码可以降低误码率。存储数字或程序对误码率的要求高，存储图像或声音数据对误码率的要求较低。CD-ROM要求的误码率为10-1210-16。平均无故障时间 (MTBP) 要求达到25000小时。 1.3 光存储系统的技术指标数据传输率 数据传输率数据传输率一般是指单位时间内光盘驱动器送出的数据比特数。该数值与光盘转速和存储密度有关。CD-R

8、OM，其数据传输率已从初期的150KB/s提高到6MB/s。同步传输率、异步传输率和DMA传输率 数据传输率也指控制器与主机之间的传输速率。它与接口规范和控制器内的缓冲器大小有关。SCSI接口的同步传输率为4MB/s，异步传输率为1.5MB/s。AT总线规定的DMA方式的传输率为1MB/s。突发传输率 光盘驱动器或控制器中都包含有一个64K、256K或512K的缓冲存储器。为了提高数据传输率，读数据过程中先把数据存入缓冲器，再进行集中传送；如果下次读取同一内容，就不必从光盘上去读取，直接把缓冲器中的数据传送给主机就可以了，这种传输率称为突发传输率。 持续传输率 当传送的数据量很大时，缓冲器就起

9、不到提高传输率的作用了，这时的传输率称为持续传输率。多媒体硬件环境2. 音频接口2.1 音频卡的工作原理音频卡处理音频信号的PC插卡是音频卡（Audio Card），又称声音卡，声音卡处理的音频媒体有数字化声音（Wave）、合成音乐（MIDI）、CD音频。音频卡的功能 音频的录制与播放编辑与合成MIDI接口文语转换CD-ROM接口游戏接口支持全双工功能 2.1 音频卡的工作原理声音的工作原理从模拟到数字声源声波传声器模拟电信号数字声音2.1 音频卡的工作原理音频卡的体系结构音频卡由下列部件组成：MIDI输入/输出电路；MIDI合成器芯片；用来把CD音频输入与线输入相混合电路；带有脉冲编码调制电

10、路的模数转换器，用于把模拟信号转换为数字信号以生成波形文件；用来压缩和解压音频文件的压缩芯片；用来合成语音输出的语音合成器；用来识别语音输入的语音识别电路；输出立体声的音频输出或线输出的输出电路等。 2.1 音频卡的工作原理合成器波形表（Wave Table）合成 频率调制FM合成 2.2 音频合成和MIDI接口规范MIDIMIDI（Musical Instrument Digital Interface）是指乐器数字接口，是数字音乐的国际标准。 MIDI的音乐符号化过程实际上就是产生MIDI协议信息的过程。音乐合成器是电脑音乐系统中最重要的设备之一 。MIDI术语MIDI文件通道 Chann

11、els 音序器Sequencer 合成器Synthesizer 乐器Instrument 通道映象Channel Mapping复音Polyphony音色Timbre音轨Track合成音色映射程序Patch Mapper2.2 音频合成和MIDI接口规范MIDI接口MIDI In（输入口）接收从其他MIDI装置传来的消息。MIDI Out（输出口）发送某装置生成的原始MIDI消息。向其他设备发送MIDI消息。MIDI Thru（转发口）传送从输人口接收的消息到其他MIDI装置。向其他设备发送MIDI消息。 多媒体硬件环境3. 视频接口3.1 视频图像显示概述为了显示原始图像（这里使用的“图像”

12、是泛指，包括全运动视频）的可接受的复制图，需要使用各种显示系统技术来解码信号和压缩数据。 显示系统技术 VGA混合可伸缩的VGA混合双缓冲VGA混合/伸缩 视频显示技术标准 第一代标准：MDA和CGA第二代标准：EGA 第三代标准：VGA 采用256K种颜色的调色板及用模拟量输出，使显示的颜色更加逼真第四代标准：XGA l990年IBM公司宣布了XGA高性能的视频子系统 3.2 视频卡的分类和功能简介视频采集卡将视频信号连续转换成计算机存储的数字视频信号（离散）保存在计算机中或在VGA显示器上显示，完成这种功能的视频卡称之为视频采集卡，或称为视频转换卡。如果能够实时完成压缩，则称实时压缩卡。通

13、常可将外部视频输入信号叠加在显示器上，并将视频输入信号变换成计算机可存储的信息保存在硬盘中。只能单帧捕获的，称为图像卡。 视频播放卡将压缩保存在计算机中的视频信号数据在计算机的显示器上播放出来的这种卡称之为视频播放卡，或称解压缩卡，也称之为电影卡。 电视转换卡电视转换卡分为两类：电视卡和TV编码器。 电视卡：是将标准的NTSC、PAL、SECAM电视信号转换成VGA信号在计算机屏幕上显示 TV编码器：它将计算机的VGA信号转换为NTSC、PAL、SECAM等标准的信号在电视上播放或进行录像，3.2 视频卡的分类和功能简介视频卡的主要功能全活动数字图像的显示、抓取、录制、支持Microsoft

14、Video for Windows；可以从录像机（VCR）、摄像机、ID、IV等视频源中抓取定格，存储输出图像；近似真彩色YUV格式图像缓冲区，并可将缓冲区映射到高端内存；可按比例缩放、剪切、移动、扫描视频图像；色度、饱和度、亮度、对比度及R、G、B三色比例可调；可用软件选端口地址和IRQ；具有若干个可用软件相互切换的视频输入源，以其中一个做活动显示。多媒体硬件环境4. 多媒体I/O设备4.1 笔输入手写板和手写笔电阻式压力板、电磁式感应板和近期发展的电容式触控板。4.2 触摸屏概述触摸屏（Touch Screen）是一种定位设备当用户用手指或者其他设备触摸安装在计算机显示器前面的触摸屏时，所

15、摸到的位置（以坐标形式）被触摸屏控制器检测到，并通过串行口或者其他接口（如键盘）送到CPU，从而确定用户所输入的信息。改善人与计算机的交互方式， 触摸屏的分类 按安装方式分类 外挂式 内置式 整体式 投影仪式 从结构特性与技术分类 红外：使用红外线传感器，这是一种需要特殊框的触摸屏形式； 电阻膜：使用电阻性传感器，其主要结构是电阻膜；电容：使用电容性传感器，利用人体所带电荷的电容感应作用工作 ；表面声波：使用声波传感器，由声波传感器和反射器组成；压力矢量：使用压力矢量传感器，利用显示器下的垫感受压力 4.3 扫描仪概述扫描仪（Scanner）是一种图像输入设备，利用光电转换原理，通过扫描仪光电

16、的移动或原稿的移动，把黑白或彩色的原稿信息数字化后输入到计算机中。 扫描仪的种类手动式扫描仪平面式扫描仪滚筒式扫描仪胶片扫描仪便挟扫描仪4.4 数码相机原理数字照相机不用胶片，而使用CCD阵列，把来自CCD阵列的电压信号送到模数转换器后，变换成图像的像素值。4.5 虚拟现实的三维交互工具踪探测设备跟踪器 跟踪球 手数字化设备立体显示设备头盔显示器 立体眼镜 4.6 输入输出接口SCSI接口SCSI（Small Computer System Interface）即“小型计算机系统接口”是当今世界上最流行的用于小型机、工作站和微机的输入输出设备标准接口。USB接口USB是英文Universal

17、Serial Bus的缩写，中文含义是“通用串行总线”。 它不是一种新的总线标准，而是应用在PC领域的新型接口技术。USB目标想把各种不同的接口统一起来，使用一个4针插头作为标准插头。通过这个标准插头，采用菊花链形式可以把所有的外设连接起来，并且不会损失带宽。也就是说，USB 将取代当前PC上的串口和并口 USB分为五个部分：控制器控制器驱动程序USB芯片驱动程序USB 设备针对不同USB设备的客户驱动程序多媒体软件基础多媒体硬件 多媒体应用多媒体驱动程序多媒体操作系统多媒体工具软件（准备、创作、使用、维护）多媒体应用软件（数据库、超媒体）多媒体应用系统（会议系统、VOD）用户用户用户多媒体软

18、件系统层次多媒体软件基础多媒体驱动软件多媒体软件中直接和硬件打交道的软件称为驱动程序，它完成设备的初始化、各种设各操作以及设备的打开、关闭、基于硬件的压缩解压、图像快速变换等基本径件功能调用等等。这种软件一般随着硬件提供。多媒体软件基础支持多媒体的操作系统或操作环境多媒体操作系统，又称多媒体核心系统(Multimedia Kernel System)。它应具有实时任务调度、多媒体数据转换和同步控制机制，对多媒体设备的驱动和控制，以及具有图形和声像功能的用户接口等。一船是在已有操作系统基础上扩充和改造，或者重新设计。例如：Intel/IBM在DVI(数字视频交互)系统开发中推出的Avss(音频视频子系统)和AVK(音频视频核心系统)。Apple公司在Macintosh上推出System 7.0中提供Quick Time多媒体操纵平台。Microsoft公司在PC机上推出的Windows with Multimedia Extension 1.0或Multimedia Kit。Windows 95，Windows 98， Windows 2000，Windows NT多媒体软件基础多媒体数据准备软件：多媒体数据准备软件是用于采集多种媒体数据的软件，如声音录制、编辑软件；图像扫描及预处理软件，全动态视频采集软件；动画生成编辑软件等。从层次角度来看，多