第7章-多媒体技术基础

第7章

多媒体技术基础7.1多媒体技术概述

近年来，多媒体技术取得了令人瞩目的成绩，它给人类带来了深刻的影响，正迅速渗透到社会各个领域。在计算机信息领域中泛指一切信息载体，此时有两种具体含义，一种指信息的存储实体，如磁带、磁盘、光盘和半导体存储器；另一种指信息的表现形式或多种信息的载体，概括为声音、文字、图像、图形、数据5类。7.1多媒体技术概述

多媒体技术使计算技能同时处理音频、视频和文本等多种信息。所以说，多媒体是数字、文字、声音、图形、图像和动画等各种媒体的有机组合，并与先进的计算机、通信和广播电视技术相结合，形成一个可组织、存储、操纵和控制多媒体信息的集成环境和交互系统。简单地说，是利用计算机综合处理声、文、图等信息，构造具有集成性和交互性系统的技术。把一台普通的计算机变成多媒体计算机要解决的关键技术是视频、音频信号的获取技术和多媒体数据压缩、编码、解码技术。7.1.1多媒体技术的基础知识

1．数字声音声音是携带信息的重要媒体，是多媒体技术研究中的一个重要内容。声音的种类繁多，如人的话音、乐器声、动物发出的声音、机器产生的声音，以及自然界的雷声、风声和雨声等。这些声音有许多共同的特性，也有它们各自的特性。用计算机处理这些声音时，既要考虑它们的共性，又要利用它们各自的特性。7.1.1多媒体技术的基础知识（1）声音的特性声音是通过空气传播的一种连续的波，叫声波。声音的两个基本参数是幅度和频率。人们通常听到的声音并不是单一频率的声音，而是许多频率不同的音频信号组成的，声音信号的频率范围称为带宽，如高保真声音的频率范围为10Hz～20000Hz，它的带宽约为20kHz。

7.1.1多媒体技术的基础知识亚音信号：音频信号：话音信号：超音频信号：频率小于20Hz的信号

频率范围为20Hz～20kHz的信号

人的发音器官发出的声音频率大约是80Hz一3400Hz，人说话时信号频率通常为300Hz～3000Hz

高于20kHz的信号

7.1.1多媒体技术的基础知识

（2）数字音频数字音频基础知识包括音频数据采样、加工处理、压缩、存储及音频文件格式、数字音频处理软件功能等。声音是连续的震动的波，通常用随时间变化的连续波形模拟表示。一般有3个物理量描述:振幅、周期、频率。振幅:波形的最高点（或最低点）与基线间距离为振幅，振幅表示声音的强弱。周期:两个连续波峰间时间的长度为周期。频率:一秒钟内出现的周期数即震动次数，以Hz为单位。

7.1.1多媒体技术的基础知识代表声音的模拟信息是一个连续的正弦波，不能由计算机直接处理，必须将其数字化。数字化过程如图7.1所示。7.1.1多媒体技术的基础知识

采样:按规则的时间间隔对模拟信号进行测量叫做采样，在采样时刻获得的幅度值为模拟信号的振幅，其时间间隔为采样周期。如图7.2所示。7.1.1多媒体技术的基础知识奈奎斯特理论指出:采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化。采样定律为:Fs≥2F或Ts≤T/2其中:F为被采样信号的最高频率。

T为被采样信号的周期。7.1.1多媒体技术的基础知识

（3）音频文件格式采样后的声音以文件方式存储后，方可进行声音处理。声音文件有多种格式，目前常用的有四种:1)波形音频文件扩展名.wav。2)数字乐器MIDI音频文件扩展名.mid。3)光盘数字音频文件(CD-DA)扩展名.cda。4)网络数字音频文件扩展名.au。7.1.1多媒体技术的基础知识2.计算机中的颜色模型自然界多姿多彩的景物通过人们的视觉器官在大脑中留下印象，这就是图像。图像是计算机中一类重要而常用的多媒体信息。为了了解人的视觉系统如何认识色彩，计算机中如何表示彩色图像，我们介绍表示数字彩色图像所需要的基本知识。7.1.1多媒体技术的基础知识（1）视觉系统对颜色的感知颜色的实质是一种光波，是视觉系统对可见光的感知结果。它的存在是因为有3个实体，即光线、被观察的对象以及观察者。人眼对颜色的感知是把颜色当作由被观察对象吸收或者反射不同波长的光波形成的。可见光是波长在380nm～780nm之间的电磁波，人们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。7.1.1多媒体技术的基础知识自然界中的任何一种颜色都可以由-红、绿、蓝(R，G，B)这3种颜色值之和来确定，它们构成一个三维的RGB矢量空间。这就是说，R，G，B的数值不同，混合得到的颜色就不同，也就是光波的波长不同。

7.1.1多媒体技术的基础知识（2）图像的颜色模型理论上，任何一种颜色都可用红、绿、蓝3种基本颜色按不同的比例混合得到，称为相加混色。相加混色是计算机应用中定义颜色的基本方法。一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，并且使用RGB相加混色模型。

7.1.1多媒体技术的基础知识在计算机中，将红、绿、蓝3种颜色分别按光强度(深浅)的不同分为256个级别，0级实际上是黑色，255级是纯色(红、绿或蓝)，分别用8位二进制数表示，每个像素占24位。7.1.1多媒体技术的基础知识除了RGB模型之外，还可以用颜色的3个特性来区分颜色，它们是色调，饱和度和明度，称为HSB颜色模型。色调又称为色相，指颜色的外观，用于区别颜色的名称或颜色的种类。饱和度是指颜色的纯洁性，它可用来区别颜色明暗的程度。明度是视觉系统对可见物体辐射或者发光多少的感知属性。7.1.1多媒体技术的基础知识

如果对连续图像f(x，y)的坐标按一定顺序进行等间隔的采样，而对每一点的灰度也用等间隔进行整量，并且假设在(x，y)方向上均取N个间隔，那么就可以得到一个N×N的数组，便把它称为数字图像(digitalimage)。数组中的每一个数据都是数字图像的一个元素，称为图像元素，简称像素(pixel)或者像元。7.1.1多媒体技术的基础知识这就是一幅灰度图像在计算机中的表示，通常是将这些数据一行一行地存放在图像文件中。7.1.1多媒体技术的基础知识在计算机中，表示图像有两种方法，一种是用一系列的计算机指令来表示一幅图。如对于直线，图像文件中记录line，start-point，end-point；对于圆，图像文件中记录circle，center_x，center_y，radius，这样记录的文件不会随图像的尺寸改变而改变，也不存在采样分辨率的问题，只与显示的尺寸和显示分辨率有关，这样的图像称为矢量图像，或矢量图，而矢量图像通常叫做图形。7.1.1多媒体技术的基础知识对于复杂的图像，很难用数学方法对其进行描述，比如一幅照片，这时就使用记录每一个离散点的颜色的方法(就是前面介绍的采样、量化和编码)来描述图像，这种图像叫位图图像。位图图像把一幅图分成许许多多的像素，每个像素用若干个二进制位来表示该像素的颜色和亮度。7.1.1多媒体技术的基础知识

位图图像按颜色又分为灰度图像和彩色图像，灰度图像的颜色只有黑白和浓淡之分，只有黑白两种颜色的称为单色图像。灰度图像还有16级、256级灰度。彩色图像有红、绿、蓝等丰富的色彩，有16色、256色和24位真彩色之分。7.1.1多媒体技术的基础知识

4.图像文件格式（1）BMP（bitmap-file）位图文件位图文件后缀名以bmp结尾，是微软公司为其Windows环境设置的标准图像格式，在Windows系统中提供了一系列支持BMP图像处理的APl函数。随着Windows在世界范围内的不断普及，BMP文件格式无疑也已经成为PC机上的流行图像文件格式。在每个BMP文件中只能存放一幅图像。BMP图像质量较高，没有数据损失。BMP图像文件格式可以存储单色、16色、256色以及真彩色四种图像数据。7.1.1多媒体技术的基础知识（2）GIF(graphicsinterchangeformat图形交换格式)GIF是一种常用的跨平台的位图文件格式，存储的是8位图像文件，最多为256色，常用于网络传输。GIF是CompuServe公司开发的图像文件存储格式。7.1.1多媒体技术的基础知识（3）JPEG(JointPhotographicExpertsGroup)JPEG是一个由ISO(InternationalStandardOrganization国际标准化组织)和IEC(InternationalElectrotechnicsCommittee国际电工委员会)联合组成的一个专家组，负责制定静态的数字图像数据压缩编码标准，这个专家组开发的算法称为了JPEG算法，并且成为国际上通用的标准，因此又称为JPEG标准，相应的文件存储格式为.jpg格式。JPEG是一个适用范围很广的静态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。7.1.1多媒体技术的基础知识

5.视频文件格式（1）AVI(audiovideointerleave)AVI是一种音频视像交插记录的数字视频文件格式。（2）RMRM格式是RealNetworks公司开发的一种流媒体视频文件格式，它主要包含RealAudio，RealVideo和RealFlash3部分。RealMedia可以根据网络数据传输的不同速率制定不同的压缩比率，从而实现在低速率的Internet上进行视频文件的实时传送和播放。（3）ASF(advancedstreamingformat)ASF是由Microsoft公司推出的一种高级流媒体格式，也是一个可以在Internet上实现实时播放的标准，7.1.1多媒体技术的基础知识（4）DV(digitalvideo)DV格式是一种国际通用的数字视频标准，由SONY和Panasonic等10余家公司共同开发的，可以在一盘1/4英寸的金属蒸镀带(MiniDV格式)上记录高质量的数字视音频信号。7.1.2多媒体计算机系统的组成

多媒体系统是一个能处理多媒体信息的计算机系统。它是在现有PC计算机基础上加上硬件板卡和相应的软件，使其具有综合处理声音、文字、图像、视频等多种媒体信息的多功能计算机。可见，多媒体系统是计算机和视觉、听觉等多种媒体系统的综合。多媒体计算机系统与普通计算机一样，也是由多媒体硬件和多媒体软件两部分组成。7.1.2多媒体计算机系统的组成

1．多媒体系统的硬件结构多媒体计算机的硬件系统是由主机、视频部分、音频部分、基本输入/输出部分、高级多媒体设备等5部分组成，如图7.6所示:

图7.6多媒体系统的硬件结构7.1.2多媒体计算机系统的组成

(1)主机(2)视频部分(3)音频部分(4)基本输入/输出设备(5)高级多媒体设备主机是多媒体计算机的核心，可以是大/中型计算机，也可以是工作站，用的最多的还是微机。目前主机主板上可能集成有多媒体专用芯片。

视频部分负责多媒体计算机图像和视频信息的数字化摄取和回放。主要包括视频压缩卡(也称视频卡)、电视卡、加速显示卡等。完成视频信号的A/D和D/A转换及数字视频的压缩和解压缩功能。音频部分主要完成音频信号的A/D和D/A转换及数字音频的压缩、解压缩及播放等功能，主要包括声卡、外接音箱、话筒、耳麦、MIDI设备等。

多媒体输入/输出设备十分丰富，按功能分为视频/音频输入设备、视频/音频输出设备、人机交互设备、数据存储设备。随着科技的进步，出现了一些新的输入/输出设备，比如用于传输手势信息的数据手套，用于虚拟现实能够产生较好的沉浸感的数字头盔和立体眼镜等设备。7.1.2多媒体计算机系统的组成

2．多媒体软件系统多媒体软件系统按功能可分为系统软件和应用软件。系统软件是多媒体系统的核心，它不仅具有综合使用各种媒体、灵活调度多媒体数据进行媒体传输和处理的能力，而且要控制各种媒体硬件设备协调地工作。多媒体系统软件主要包括多媒体操作系统、媒体素材制作软件及多媒体函数库、多媒体创作工具与开发环境、多媒体外部设备驱动软件和驱动器接口程序等。7.1.2多媒体计算机系统的组成

应用软件是在多媒体创作平台上设计开发的面向应用领域的软件系统，通常由应用领域的专家和多媒体开发人员共同协作、配合完成。开发人员利用开发平台、创作工具，制作组织各种多媒体素材，生成最终的多媒体应用程序，并在应用中测试、完善，形成最终的多媒体产品。例如，教育软件、电子图书等。7.1.2多媒体计算机系统的组成

3．多媒体系统的层次结构多媒体系统的层次结构与计算机系统的结构在原则上是相同的，由底层的硬件系统和其上的各层软件系统组成，只是考虑多媒体的特性各层次的内容有所不同，如图7.7所示。7.1.3多媒体关键技术多媒体技术的研究涉及到诸多问题，其中主要有以下几个方面:1

1.数据压缩2．数据的组织与管理3．多媒体信息的展现与交互4．多媒体通信与分布处理5．虚拟现实技术7.2多媒体数据编码及压缩

编码是指将语音或视频模拟信号改编成数字信号的过程。解码是指将数字信号转换成模拟信号的过程。数据编码的前提是数字化，它包括空间、时间采样和幅度量化。数据压缩的目的是为了便于存储和传输，而为了对数据进行还原，还必须进行解压缩，因此，数据压缩通常包含对数据的编码和解码。随着多媒体技术的发展，数据压缩技术的研究受到人们越来越多的重视。在计算机系统中，大量信息需要在有限的硬盘上存储；在计算机网络中，这些海量信息需要在较窄的信道中传输。如何有效地减少存储量和提高传输速度就成为一个关键问题。数据压缩是解决这一问题的有效方法。7.2.1数据压缩的必要性为什么数据需要压缩呢?

这是因为多媒体技术是面向三维图像以及动画、音频、视频等的处理技术，为了达到令人满意的视频画面质量和音频的听觉效果，必须对视频和音频做到实时处理。而实时处理技术的首要问题便是如何解决计算机系统对庞大的视频、音频等数据的获取、传输和存储问题。也就是庞大的数据量要求人们必须对数据进行压缩。

下面的几个例子说明了不压缩时，数据存储所需要的空间。【例7.1】计算存储3分30秒的一首CD音质的立体声歌曲所需的存储空间。解:在CD的音质下采样频率为44.1KHz，振幅量子化为2B，再考虑立体声，1秒钟的数据量为:44.1KHz×2B×2＝176.4KB3分30秒的一首歌需要的存储空间为:176.4KB×210秒＝37044KB＝36.2M7.2.1数据压缩的必要性【例7.2】计算存储一幅352×288的静态真彩色图像需要的存储空间。解:存储时，记录每一个像素点的RGB值，对真彩色来讲，每一个像素用3B来记录，因此该图像需要的存储空间为:352×288×3B＝304.13KB【例7.3】计算1分钟视频所需的存储空间。分辨率为352×288，每秒25帧。不含音频数据。解:由上题，所占有的存储空间为304.13KB×25×60＝456195KB＝456.2MB7.2.2数据压缩与编码1．无损压缩多余的信息，在技术上称为信息冗余。能够对多媒体信息进行压缩的前提就是因为数据中存在大量的冗余，尤其是声音和图像。数据压缩的目的就是尽可能地消除这些冗余。【例7.4】在静态图像中存在的空间冗余。如大部分区域是白色的背景。当连续出现8000个白色像素时，原始信息要连续记录8000个白色的RGB值（255.255.255）。如果改用一个简单的记法:用“8000个白色像素”这样一句话来替代8000个白色的RGB值，信息量将会大大减少。8000个白色的RGB值：3B×8000＝24000B＝24KB8000个白色像素：2B＋3B＝5B

7.2.2数据压缩与编码【例7.5】在动态视频中存在的时间冗余。视频序列中相邻的帧具有相同的画面或者几乎相同的画面，此时就没有必要记录同样的画面，或者只记录两幅画面之间的差别即可。【例7.4】和【例7.5】中，数据的压缩利用了原始信息中的相关性。具有相关性是信息可以压缩的一个重要的原因。利用信息相关性进行的数据压缩，并不损失原信息的内容，因此可实现无损压缩。无损压缩是一种可逆压缩，即经过压缩后可以将原来文件中包含的信息完全保留的一种数据压缩方式。7.2.2数据压缩与编码2.行程编码RELRLE是无损压缩的编码。现实中有许多这样的图像，在一幅图像中具有许多颜色相同的像素。连续许多行上都具有相同的颜色，或者在一行上有许多连续的像素都具有相同的颜色值。在这种情况下就不需要存储每一个像素的颜色值，实际上，仅存储一个像素的颜色值，以及具有相同颜色的像素数目就可以了，或者存储一个像素的颜色值，以及具有相同颜色值的行数。这种压缩编码称为行程编码(runlengthencoding，RLE)。7.2.2数据压缩与编码原来所需的存储空间为:50×3B+2×3B+1×3B+9×3B+72×3B＝402B编码后需要的存储空间为(假设行程的长度值用2B来存储):2B+3B+2B+3B+3B+2B+3B+2B+3B＝23B编码前后的数据量之比大约为17.5:1。7.2.2数据压缩与编码3.音频波形的PCM编码PCM是概念上最简单，理论上最完善的编码系统。采样和量化本身就是一个编码和压缩的过程。将音频数字化，最常见的方式是脉冲编码调制PCM(pulsecodemodulation)。在图7.9中的曲线表示了原始的音频波形。7.2.2数据压缩与编码【例7.7】在图7.9中，采用了20个采样点；使用了4位量化。各采样点的数据如表7.2所示。表7.2PCM编码后的数据7.2.3多媒体数据压缩标准

前面介绍了数据压缩的基本概念和基本方法，随着数据压缩技术的发展，一些经典编码方法趋于成熟，为使数据压缩走向实用化和产业化，近年来一些国际标准组织成立了数据压缩和通信方面的专家组，制定了几种数据压缩编码标准，并且很快得到了产业界的认可。目前已公布的数据压缩标准有:用于静止图像压缩的JPEG标准；用于视频和音频编码的MPEG系列标准(包括MPEG-1、MPEG-2、MPEG-4等)；用于视频和音频通信的H.261标准；用于二值图像编码的JBIG标准等。7.3多媒体硬件基础多媒体系统在硬件方面，根据应用不同，其配置也各异，基本配置见图7.5。其中有些设备是多媒体系统必需的，如光盘、光盘驱动器、视频、音频信息数字化、压缩及还原设备、AGP适配器、音乐设备数字接口MIDI等。有的尚可配置触摸屏、话筒、摄像机、录像机、扫描仪等设备。对于多媒体创作系统，则应配置可读写的光盘等等。

7.3.1音频卡7.3.1音频卡工作过程如下:(1)MIC输入的音频信号经放大器进行放大，或由线路输入(Linein)的信号经A/D以设置的速率进行采样并量化变成数字信号，然后将该信号送数字声音处理器进行处理。(2)数字声音处理器对数字音频信号进行PCM、DPCM或ADPCM压缩，在Windows下形成后缀为wav的文件，经总线接口和控制器进行存盘。当播放存盘的wav文件时，再通过PC总线经总线接口和控制器送入数字声音处理器进行解压缩，将解压缩后的数字音频信号送D/A转换器。(3)由D/A转换器将数字音频信号转换成模拟音频信号，再经功率放大器放大后，送扬声器放音。7.3.1音频卡工作过程如下:(4)MIDI乐器接口(MIDI，MusicallnstrumentDeviceInterface)可传送MIDI消息，使音乐合成器根据MIDI消息合成音乐，也可将由MIDI设备产生的音乐以MIDI文件形式存盘，MIDI文件所占的存储量比对同一音乐进行采样并以wav文件存盘所占存储量要少得多。(5)音乐合成器有两种，合成器分为基本型合成器和扩展合成器。从MIDI文件或MIDI键盘来的MIDI消息，由合成器将其转换成合成音乐送扬声器放音。(6)通过游戏杆可玩游成，并配合音响效果，使得游戏更能吸引人。(7)在CD-ROM中的音频信号，也可直接由声卡放大送扬声器放音。7.3.1音频卡2.音频卡的性能指标（1）数据转换位数分为8位、16位、32位等，配置多媒体计算机时，最好采用16位以上声卡。（2）采样频率指单位时间对声音信号的采样次数。采样频率越高，声音失音度越小，但产生的数据量越大。配置多媒体计算机时，最好采支持44.1kHZ采样频率的声卡。（3）兼容性兼容性好的声卡可以与更多的软件较好地配合工作。7.3.2视频卡

基于视频处理器VxP500的视频采集卡的功能模块主要包括:VxP500视频处理模块、A/D转换模块、D/A转换模块、DRAM缓存、VGAFeature连接器、ISA总线接口等，如图7.11所示：7.3.2视频卡

视频解码器(A/D)接口视频源可以是摄像机、录像机、摄像头等所输出的视频信号，它们可分别插在视频采集卡的输入插孔上，通过软件选中所需的视频源，送到视频解码器接口。视频输入解码器有一个模数转换器，其任务是对视频信号解码和数字化。7.3.3显示卡

显示卡是工作在CPU和显示器之间的显示适配器的简称。通常显示卡是以附加独立卡的形式安装在电脑主板的扩展槽中，或集成在主板上。与集成在主板上的显示卡相比，独立显示卡性能优越、工作稳定。7.3.3显示卡

1．显示卡的显示模式与接口显卡的接口是连接显卡和CPU的通道，按照图像显示模式，显示卡可分为2类,PCI模式和AGP模式。PCI模式：PCI总线结构，以1/2或1/3的系统总线频率工作，通常为33Hz。如果要在处理图像数据的同时处理其它数据，那么流经PCI总线的全部数据就必须分别第进行处理，这样势必存在数据滞留现象。AGP模式：AGP接口是一种显示接口，具有独占总线的特性。只有图像数据才能通过AGP接口，有效地解决了在数据量大时PCI模式的数据滞留问题。7.3.3显示卡

2．显示卡的功能分类显示卡按功能分类:(1)

一般显示卡完成显示基本功能，其性能由品牌、工艺质量、显存容量等因素确定。(2)图形加速卡目前以AGP显示卡为主，带有图形加速器，显示复杂图像、三维图像速度快。(3)3D图形卡专为带有3D图形的应用开发的显示卡(如高档游戏)，三维坐标变换速度快，图形动态显示反应灵敏、清晰。7.3.4多媒体I/O设备

１．触摸屏触摸屏作为多媒体输入设备，已被广泛用于各个行业的控制、信息查询及其他方面。用手指在屏幕上指点以获取所需的信息，具有直观、方便的特点，就是从未接触过计算机的人也能立即使用。触摸屏引入后可以改善人机交互方式，同时提高人机交互效率。(1)触摸屏的适用领域(2)触摸屏基本原理(3)触摸屏组成(4)触摸屏种类

自动控制及检测，用于管理或控制系统中最低层、最高层人员的人机接口；展示与演示系统，用于大型博览会、展销会的产品演示、介绍；信息检索和查询，用于银行、医疗、交通、商场、酒店等公共场所的各种信息查询；培训和教育，提供直观、快速的学习方式。

触摸屏是一种定位设备，当用户用手触摸安装在计算机显示器前的触摸屏时，触摸到的位置被触摸屏控制器检测到，并通过串行口或其它接口送到CPU，从而确定用户所输入的信息。

传感器、控制器、驱动程序。传感器用于探测用户的触摸动作。当有触摸发生时，触摸信号通过控制器转换为数字信号，传送给计算机。触摸屏系统可以通过键盘端口、RS-232及专用控制器与计算机实现连接。

触摸屏的工作原理根据使用的介质不同而不同，比较流行的有电阻式