第七章多媒体技术

1、大学计算机基础大学计算机基础电子与信息工程学院电子与信息工程学院v了解多媒体的基本概念了解多媒体的基本概念v了解声音的相关特性了解声音的相关特性v了解数字音频的获取过程了解数字音频的获取过程v理解图形图像的概念理解图形图像的概念v了解色彩空间的基本知识了解色彩空间的基本知识v了解数字视频的相关技术了解数字视频的相关技术第七章第七章 多媒体技术多媒体技术 要要 求求v媒体（媒体（Media）：指传播信息的媒介，为信息的：指传播信息的媒介，为信息的传播提供传播提供载体载体或平台。简单地说，就是信息的载或平台。简单地说，就是信息的载体。体。v我们通常所说的媒体是指信息的物理载体（即存我们通常所说的媒

2、体是指信息的物理载体（即存储和传递信息的实体，如：书本、挂图、磁盘、储和传递信息的实体，如：书本、挂图、磁盘、光盘、磁带以及相关的播放设备等）或信息的表光盘、磁带以及相关的播放设备等）或信息的表现形式（即传播形式，如：文字、声音、图像、现形式（即传播形式，如：文字、声音、图像、动画等）。动画等）。7.1.1媒体媒体v国际电话电报咨询委员会国际电话电报咨询委员会CCITT把媒体分成把媒体分成5类：类：v感觉媒体感觉媒体 指直接作用于人的感觉器官，使人产指直接作用于人的感觉器官，使人产生直接感觉的媒体，如：引起听觉反应的声音，生直接感觉的媒体，如：引起听觉反应的声音，引起视觉反应的图像等。引起视觉

3、反应的图像等。v表示媒体表示媒体 指传输感觉媒体的中介媒体，即用于数指传输感觉媒体的中介媒体，即用于数据交换的编码，如：图像编码（据交换的编码，如：图像编码（JPEG、MPEG等）、文本编码（等）、文本编码（ASCII码、码、GB2312等）和声音等）和声音编码等。编码等。7.1.1媒体媒体v表现媒体表现媒体 指进行信息输入和输出的媒体，如：键指进行信息输入和输出的媒体，如：键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体盘、鼠标、扫描仪、话筒、摄像机等为输入媒体，显示器、打印机、喇叭等为输出媒体。，显示器、打印机、喇叭等为输出媒体。v存储媒体存储媒体 指用于存储表示媒体的物理介质，如：指用于存储

4、表示媒体的物理介质，如：硬盘、软盘、磁盘、光盘、硬盘、软盘、磁盘、光盘、ROM及及RAM等。等。v传输媒体传输媒体 指传输表示媒体的物理介质，如：电缆指传输表示媒体的物理介质，如：电缆、光缆等。、光缆等。7.1.1媒体媒体v多媒体（多媒体（Multimedia），），以数字化为基础，能够以数字化为基础，能够对多种媒体信息（文字、声音、图形、图像、动对多种媒体信息（文字、声音、图形、图像、动画与视频等）进行采集、编码、存储、传输、处画与视频等）进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并具有有机

5、的逻辑联系，集成为一个系统并具有良好交良好交互性互性的技术。的技术。v多媒体不仅指多媒体本身，而且包括处理和应用多媒体不仅指多媒体本身，而且包括处理和应用它的一整套技术。所以说它的一整套技术。所以说“多媒体多媒体”与与“多媒体多媒体技术技术”是同义词。是同义词。7.1.2多媒体与多媒体技术多媒体与多媒体技术v多媒体技术有以下几个主要特点：多媒体技术有以下几个主要特点： 集成性集成性 控制性控制性 交互性交互性 非线性非线性 实时性实时性7.1.2多媒体与多媒体技术多媒体与多媒体技术v80年代声卡的出现，不仅标志着电脑具备了音频年代声卡的出现，不仅标志着电脑具备了音频处理能力，也标志着电脑的发展

6、终于开始进入了处理能力，也标志着电脑的发展终于开始进入了一个崭新的阶段，多媒体技术发展阶段。一个崭新的阶段，多媒体技术发展阶段。1988年年MPEG（Moving Picture Expert Group，运动，运动图像专家小组）的建立又对多媒体技术的发展起图像专家小组）的建立又对多媒体技术的发展起到了至关重要的作用。到了至关重要的作用。90年代，随着硬件技术的年代，随着硬件技术的提高，自提高，自Inter80486进入市场以后，多媒体时代进入市场以后，多媒体时代终于到来。终于到来。v多媒体技术未来的发展可以概括为两个方面：多媒体技术未来的发展可以概括为两个方面： 智能化智能化 网络化网络化7

7、.1.3媒体技术发展及应用媒体技术发展及应用v多媒体的应用不限于在计算计上处理和表现，许多媒体的应用不限于在计算计上处理和表现，许多家电设备、工业控制系统、现场监视系统等多多家电设备、工业控制系统、现场监视系统等多媒体终端将构成一个立体的网络系统相互协作处媒体终端将构成一个立体的网络系统相互协作处理信息。多媒体技术主要应用有以下几方面：理信息。多媒体技术主要应用有以下几方面： 视频会议系统视频会议系统 虚拟现实虚拟现实 超文本（超文本（Hypertext） 家庭视听家庭视听7.1.3媒体技术发展及应用媒体技术发展及应用v多媒体个人计算机多媒体个人计算机（Multimedia Personal

8、Computer， MPC）就是具有了多媒体处理功能）就是具有了多媒体处理功能的个人计算机，它的硬件结构是在一般所用的个的个人计算机，它的硬件结构是在一般所用的个人机基础之上添加了一些专门用于处理多媒体信人机基础之上添加了一些专门用于处理多媒体信息的软硬件配置。息的软硬件配置。7.1.4多媒体个人计算机多媒体个人计算机v声音声音指机械振动或气流扰动引起周围弹性媒质发指机械振动或气流扰动引起周围弹性媒质发生波动，产生声波。声波传到人耳，经过人类听生波动，产生声波。声波传到人耳，经过人类听觉系统的感知就是声音。觉系统的感知就是声音。v声音大体又分为两种：声音大体又分为两种： 乐音乐音指振动起来是有

9、规律的、单纯的，并有指振动起来是有规律的、单纯的，并有准确的高度（也叫音高）的音。准确的高度（也叫音高）的音。 噪音噪音指没有一定高度的音。它的振动即无规指没有一定高度的音。它的振动即无规律又杂乱无章的音，我们称它为噪音。律又杂乱无章的音，我们称它为噪音。7.2.1声音的基本特性声音的基本特性v声音特性包括声音特性包括响度，音色，音调响度，音色，音调三个主要特征，人三个主要特征，人们就是根据这三个主要特征区分声音。们就是根据这三个主要特征区分声音。v响度响度指人主观上感觉声音的大小（俗称音量），由指人主观上感觉声音的大小（俗称音量），由“振幅振幅” 和人离声源的距离决定，振幅越大响度和人离声源

10、的距离决定，振幅越大响度越大，人和声源的距离越小，响度越大。越大，人和声源的距离越小，响度越大。 分贝（分贝（dB）指一种测量声音的相对响度的单位指一种测量声音的相对响度的单位7.2.1声音的基本特性声音的基本特性v音色音色又称音品，指声音的感觉特性。又称音品，指声音的感觉特性。v音调的高低决定于发声体振动的频率，响度的大音调的高低决定于发声体振动的频率，响度的大小决定于发声体振动的振幅，但不同的发声体由小决定于发声体振动的振幅，但不同的发声体由于材料、结构不同，发出声音的音色也就不同，于材料、结构不同，发出声音的音色也就不同，这样我们就可以通过音色的不同去分辨不同的发这样我们就可以通过音色的

11、不同去分辨不同的发声体音色是声音的特色。声体音色是声音的特色。v根据不同的音色，即使在同一音高和同一声音强根据不同的音色，即使在同一音高和同一声音强度的情况下，也能区分出是不同乐器或人发出的度的情况下，也能区分出是不同乐器或人发出的。7.2.1声音的基本特性声音的基本特性v声音频率的高低叫做声音频率的高低叫做音调音调，音调表示人的听觉分，音调表示人的听觉分辨一个声音的调子高低的程度。辨一个声音的调子高低的程度。 v音调主要由声音的频率（频率单位音调主要由声音的频率（频率单位Hz，赫兹，），赫兹，）决定。决定。v人耳听觉范围人耳听觉范围2020000Hz。20Hz以下称为次声以下称为次声波，波，

12、20000Hz以上称为超声波。以上称为超声波。7.2.1声音的基本特性声音的基本特性v数字音频是一种利用数字化手段对声音进行录制数字音频是一种利用数字化手段对声音进行录制、存放、编辑、压缩或播放的技术，它是随着数、存放、编辑、压缩或播放的技术，它是随着数字信号处理技术、计算机技术、多媒体技术的发字信号处理技术、计算机技术、多媒体技术的发展而形成的一种全新的声音处理手段。展而形成的一种全新的声音处理手段。v数字声音相对传统用磁带存储音频具有存储方便数字声音相对传统用磁带存储音频具有存储方便、存储成本低廉、存储和传输的过程中没有声音、存储成本低廉、存储和传输的过程中没有声音的失真、编辑和处理非常方

13、便等特点。的失真、编辑和处理非常方便等特点。v数字音频的主要应用领域是音乐后期制作和录音数字音频的主要应用领域是音乐后期制作和录音。7.2.2数字音频基础数字音频基础v数字音频的特征：数字音频的特征：v采样率采样率 是通过波形采样的方法记录是通过波形采样的方法记录1秒钟长度的秒钟长度的声音，需要多少个数据。声音的采样频率常用的声音，需要多少个数据。声音的采样频率常用的有有44.1KHz、32KHz和和22.05KHz。v量化级量化级 指描述声音波形的数据是多少位的二进制指描述声音波形的数据是多少位的二进制数据，通常用数据，通常用bit做单位，如做单位，如16bit、24bit。16bit量化级

14、记录声音的数据是用量化级记录声音的数据是用16位的二进制数，因位的二进制数，因此，量化级也是数字声音质量的重要指标。如：此，量化级也是数字声音质量的重要指标。如：标准标准CD音乐的质量就是音乐的质量就是16bit。7.2.2数字音频基础数字音频基础v声道声道是指声音在录制或播放时在不同空间位置采是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声就是声音录制时的音源数量或回放时相应的扬声器数量。如：单声道、立体声、器数量。如：单声道、立体声、5.1声道等。声道等。v比特率比特率是另一

15、种数字音乐压缩效率的参考性指标是另一种数字音乐压缩效率的参考性指标，表示记录音频数据每秒钟所需要的平均比特值，表示记录音频数据每秒钟所需要的平均比特值，通常我们使用，通常我们使用Kbps作为单位。作为单位。CD中的数字音中的数字音乐比特率为乐比特率为1411.2Kbps近乎于近乎于CD音质的音质的MP3数数字音乐需要的比特率是字音乐需要的比特率是112Kbps128Kbps。v压缩率压缩率通常指音乐文件压缩前和压缩后大小的比通常指音乐文件压缩前和压缩后大小的比值，用来简单描述数字声音的压缩效率。值，用来简单描述数字声音的压缩效率。7.2.2数字音频基础数字音频基础v声音的数字化包括三大步骤：声

16、音的数字化包括三大步骤：采样、量化、编码采样、量化、编码 7.2.2数字音频基础数字音频基础v图形图形 指由外部轮廓线条构成的指由外部轮廓线条构成的矢量图矢量图，即由计算，即由计算机绘制的直线、圆、矩形、曲线、图表等。机绘制的直线、圆、矩形、曲线、图表等。v图像图像 是由扫描仪、摄像机等输入设备捕捉实际的是由扫描仪、摄像机等输入设备捕捉实际的画面产生的数字图像。由画面产生的数字图像。由像素点阵构成的位图像素点阵构成的位图。图像用数字描述像素点、强度和颜色。图像用数字描述像素点、强度和颜色。7.3.1图形与图像图形与图像7.3.1图形与图像图形与图像矢量图形矢量图形像素图像像素图像像素图像像素图

17、像矢量图形矢量图形离散的点阵（像素）组成离散的点阵（像素）组成由数学公式描述由数学公式描述与分辨率有关与分辨率有关与分辨率无关与分辨率无关放大质量下降放大质量下降放大质量不变放大质量不变文件较大文件较大文件较小文件较小7.3.1图形与图像图形与图像v描述数字图像的主要参数有以下两点：描述数字图像的主要参数有以下两点：v图像分辨率图像分辨率指图像中存储的信息量。这种分辨率指图像中存储的信息量。这种分辨率有多种衡量方法，典型的是以每英寸的像素数（有多种衡量方法，典型的是以每英寸的像素数（PPI）来衡量。图像分辨率决定了图像输出的质）来衡量。图像分辨率决定了图像输出的质量，而图像分辨率和图像尺寸的值

18、一起决定文件量，而图像分辨率和图像尺寸的值一起决定文件的大小。的大小。7.3.2数字图像的主要参数数字图像的主要参数36ppi 10ppi 2ppiv显示分辨率显示分辨率是显示器在显示图像时的分辨率，分是显示器在显示图像时的分辨率，分辨率是用点来衡量的，显示器上这个辨率是用点来衡量的，显示器上这个“点点”就是就是指像素。指像素。v显示分辨率的数值是指整个显示器所有可视面积显示分辨率的数值是指整个显示器所有可视面积上水平像素和垂直像素的数量。如：上水平像素和垂直像素的数量。如：800600的的分辨率，是指在整个屏幕上水平显示分辨率，是指在整个屏幕上水平显示800个像素个像素，垂直显示，垂直显示6

19、00个像素。个像素。v显示分辨率的水平像素和垂直像素的总数总是成显示分辨率的水平像素和垂直像素的总数总是成一定比例的，一般为一定比例的，一般为4:3、16:9、16:10。7.3.2数字图像的主要参数数字图像的主要参数v图像色彩深度指在计算机图形学领域表示在位图图像色彩深度指在计算机图形学领域表示在位图或者视频帧缓冲区中储存或者视频帧缓冲区中储存1像素的颜色所用的位像素的颜色所用的位数，它也称位数，它也称位/像素（像素（bpp），色彩深度越高，可），色彩深度越高，可用的颜色就越多。用的颜色就越多。v常见的色彩深度有：常见的色彩深度有： 单色单色 黑白二色。黑白二色。 8位灰阶位灰阶 ，有，有2

20、56个层次。个层次。 24位彩色（真彩色）位彩色（真彩色） 有有R、G、B共共3个基色分个基色分量，每种占一个字节（量，每种占一个字节（8位）即每种基色有位）即每种基色有256个层次，它们的组合便有个层次，它们的组合便有256256256种颜种颜色。通常称为色。通常称为“百万色百万色”，7.3.2数字图像的主要参数数字图像的主要参数7.3.2数字图像的主要参数数字图像的主要参数24位 8位 单色v颜色科学已形成一门新的学科，它是一门交叉科颜色科学已形成一门新的学科，它是一门交叉科学，涉及物理学、生理学、心理学等几个学科的学，涉及物理学、生理学、心理学等几个学科的知识。知识。v颜色的辨认是人眼受

21、到波长和强度的辐射能的刺颜色的辨认是人眼受到波长和强度的辐射能的刺激，所引起的一种视神经的感觉，是人们受到物激，所引起的一种视神经的感觉，是人们受到物理刺激所产生的心理反应。理刺激所产生的心理反应。v现代色彩生理、心理实验结果表明，色彩能唤起现代色彩生理、心理实验结果表明，色彩能唤起人们各种不同的情感联想。人们各种不同的情感联想。7.3.3色彩空间色彩空间v颜色的描述与度量颜色的描述与度量 色调色调 是彩色彼此相互区别的特性，物体的色调是彩色彼此相互区别的特性，物体的色调决定于光源的光谱组成和物体表面所反射（或决定于光源的光谱组成和物体表面所反射（或透射）的各波长辐射的比例对人眼所产生的感透射

22、）的各波长辐射的比例对人眼所产生的感觉。觉。 明度明度 是眼睛对光源和物体表面的明暗程度的感是眼睛对光源和物体表面的明暗程度的感觉，主要是由光线强弱决定的一种视觉经验。觉，主要是由光线强弱决定的一种视觉经验。 饱和度饱和度 是指色彩的鲜艳程度。是指色彩的鲜艳程度。7.3.3色彩空间色彩空间v人眼对红、绿、蓝最为敏感，人的眼睛就像一个人眼对红、绿、蓝最为敏感，人的眼睛就像一个三色接收器的体系，大多数的颜色可以通过红、三色接收器的体系，大多数的颜色可以通过红、绿、蓝三色按照不同的比例合成产生。绿、蓝三色按照不同的比例合成产生。v同样绝大多数单色光也可以分解成红绿蓝三种色同样绝大多数单色光也可以分解

23、成红绿蓝三种色光。这是色度学的最基本原理，即光。这是色度学的最基本原理，即三基色原理三基色原理。v三种基色是相互独立的，任何一种基色都不能有三种基色是相互独立的，任何一种基色都不能有其它两种颜色合成其它两种颜色合成。7.3.3色彩空间色彩空间v红绿蓝三基色按照不同的比例相加合成混色称为相红绿蓝三基色按照不同的比例相加合成混色称为相加混色，表现如下：加混色，表现如下： 红色红色+绿色绿色=黄色黄色 绿色绿色+蓝色蓝色=青色青色 红色红色+蓝色蓝色=品红品红 红色红色+绿色绿色+蓝色蓝色=白色白色 7.3.3色彩空间色彩空间vRGB模式模式是显示器所采用的模式，也是是显示器所采用的模式，也是Pho

24、toshop中最常使用的一种色彩模式。扫描输中最常使用的一种色彩模式。扫描输入和绘制的图像，几乎都是以入和绘制的图像，几乎都是以RGB模式存储的，模式存储的，vRGB模式使用红、绿、蓝三原色按不同比例的强模式使用红、绿、蓝三原色按不同比例的强度来混合，生成其他各种颜色。在度来混合，生成其他各种颜色。在RGB色彩模式色彩模式下，每一个像素由下，每一个像素由24位数据表示，红、绿、蓝三位数据表示，红、绿、蓝三原色各使用原色各使用8位，因而每一种原色都可以表现出位，因而每一种原色都可以表现出256种不同浓度的色调，种不同浓度的色调，3种色彩叠加就可形成种色彩叠加就可形成1677万种色，这也就是真彩色

25、。万种色，这也就是真彩色。7.3.3色彩空间色彩空间7.3.3色彩空间色彩空间v要获得一副数字图像必须将图像中的像素转换成要获得一副数字图像必须将图像中的像素转换成数字信息，以便在计算机上进行处理和加工。将数字信息，以便在计算机上进行处理和加工。将模拟图像转换为数字图像需要经过以下几步：模拟图像转换为数字图像需要经过以下几步：v对一幅连续的图样的对一幅连续的图样的采样采样：将图像划分为很多的：将图像划分为很多的小区域。小区域。7.3.4图像数字化过程图像数字化过程v得到图像采样结果：采样的每个区域只能由一个得到图像采样结果：采样的每个区域只能由一个像素来表示所以图像一部分信息会丢失像素来表示所

26、以图像一部分信息会丢失7.3.4图像数字化过程图像数字化过程v量化量化：将采样区域内的颜色值取与计算机色彩空：将采样区域内的颜色值取与计算机色彩空间内相近的值。间内相近的值。7.3.4图像数字化过程图像数字化过程v存储量化结果存储量化结果7.3.4图像数字化过程图像数字化过程v图形、图像存储格式图形、图像存储格式v图形存储格式：常用的图形文件存储格式，包括：图形存储格式：常用的图形文件存储格式，包括： CDR格式、格式、AI格式、格式、DXF格式、格式、EPS格式格式v图像存储格式：常用的图像文件存储格式，包括：图像存储格式：常用的图像文件存储格式，包括： BMP格式、格式、TIFF格式、格式、JPEG格式、格式、GIF格式、格式、PSD格式、格式、PDF格式格式7.3.4图像数字化过程图像数字化过程v视频视频（Video，又翻译为视讯）是根据视觉暂留，又翻译为视讯）是根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频平滑连续的视觉效果，这样连续的画面叫做视频。v数字视频是以数字形式记录的视频，和模拟视频数字视频是以数字形式记录的视频，和模拟视频相对的。数字视频有不同的产生方式，存储方式相对的。数字视频有不同的产生方式，存储方式和播出方式。和播出方式。7.