第9章多媒体技术

新编大学计算机基础教程（第三版）普通高等教育“十一五”国家级规划教材教育部大学计算机课程改革立项规划教材高等院校新课程体系计算机基础教育规划教材第九章计算机多媒体技术3本章节目录9.1多媒体技术概述9.2多媒体系统9.3图形图像处理技术9.4音频处理技术9.5视频动画处理技术9.6多媒体应用系统案例49.1.1多媒体技术概述返回目录返回章节1.基本概念媒体（media，medium）：媒体在计算机领域有两种含义，一是指媒质，即存储信息的实体，如闪盘、云盘、激光存储等；二是指传递信息的载体，如文本、声音、图形、图像、视频、动画等。多媒体（Multimedia）：可以理解为多种信息载体的表现形式和传递方式。多媒体技术是通过计算机对文字、图像、图形、动画、音频、视频等多种信息进行综合处理、建立逻辑关系，使用户通过多种感官与计算机进行实时信息交互的技术。59.1.1多媒体技术概述媒体类型用途表现形式表现介质感觉媒体用于人类感知客观环境听觉、视觉、触觉文字、图形、图像、动画、语言、声音、音乐等表示媒体用于定义信息的表达特征计算机处理信息格式ASCII编码、图像编码、声音编码、视频编码等显示媒体用于表达信息输入、输出信息键盘、鼠标、话筒、扫描仪、屏幕、打印机等存储媒体用于存储信息保存、取出信息硬盘、光盘、闪盘、光存储等传输媒体用于连续数据信息的传输信息传输的网络介质电缆、光缆、微波、红外线等2.媒体类型63．多媒体技术主要处理对象（1）文本（2）图形（3）图像（4）动画（5）音频信息（6）视频信息9.1.1多媒体技术概述79.1.2多媒体技术特点数字化多媒体系统中的各种媒体信息都以数字形式存储在计算机中。各种媒体信息处理为数字信息后，计算机就能对数字化的多媒体信息进行存储、加工、控制、编辑、交换、査询和检索。89.1.2多媒体技术特点多样性—适应了信息载体的多样性信息载体的多样性是相对于计算机而言的，指的就是信息媒体的多样化，有人称之为信息多维化。65%20%10%2%3%视觉味觉嗅觉触觉听觉99.1.2多媒体技术特点交互性—易于人和计算机的交互10集成性：实现了信息处理的集成性多媒体信息媒体的集成处理这些媒体的设备与设施的集成1+1〉29.1.2多媒体技术特点11实时性在计算机多媒体系统中声音及活动的视频图像是实时的、同步的。计算机必须提供对这类媒体的实时同步处理能力。9.1.2多媒体技术特点9.1.3多媒体技术的发展12多媒体技术发展的第一个阶段多媒体热潮的兴起DVI，HyperCard……九十年代一批产品出现MPEG(VCD)，MPC，VOD连续召开多媒体国际学术研讨会MM’93，MM’94，MM’95“叫好不叫座”94年开始进入低潮期139.1.3多媒体技术的发展多媒体技术发展的第二个阶段一批设备普及CD-ROM，SB……一批产品出现VCD，VR，会议系统一批产业出现美国旧金山附近的“MultimediaGorge”向新加坡、台湾等地辐射产业化前景极好用途范围极为广泛14计算机大众传播通信多媒体信息系统多媒体技术发展的第三个阶段20世纪90年代至今，是计算机多媒体技术飞速发展的阶段。目前，多媒体技术正向多重业务融合、网络化、多媒体终端应用设施部件化、智能化和嵌入化方向发展。9.1.3多媒体技术的发展教育领域是应用多媒体技术最早的领域，也是进展最快的领域。过程模拟和智能模拟是近年来多媒体技术被大量应用的新科技领域。多媒体技术还被广泛应用在咨询服务、通信、军事、金融等诸多行业，例如GIS、电子签章、智能家电、车载导航器、多媒体远程监控等。159.1.4多媒体技术的应用169.2多媒体系统9.2.1多媒体系统组成9.2.2多媒体硬件系统9.2.3多媒体软件系统9.2.1多媒体系统组成多媒体系统由多媒体硬件系统和多媒体软件系统两部分组成。其中硬件系统包括计算机主要配置和各种外部设备，以及与各种外部设备的控制接口卡（其中包括多媒体实时压缩和解压缩电路）；软件系统包括多媒体驱动软件、多媒体操作系统、多媒体数据处理软件、多媒体制作工具软件和多媒体应用软件。17189.1.2多媒体硬件系统1．MPC硬件组成MPC硬件系统除了需要较高配置的计算机主机硬件以外，通常还需要音频与视频处理设备、光盘驱动器、各种媒体输入与输出设备等。199.1.3多媒体软件系统1．多媒体驱动软件多媒体驱动软件是多媒体计算机中直接和硬件打交道的程序。它完成设备的初始化，完成各种设备操作以及设备的关闭等。2．多媒体操作系统典型的多媒体操作系统有Intel和IBM公司为DVI系统开发的AVSS和AVK操作系统，Apple公司在Macintosh上的System7.0中提供的QuickTime操作平台。目前，MPC常用的操作系统有Microsoft公司的Windows7/8操作系统及IP多媒体操作系统（IMOS）。3．多媒体数据处理软件常见的音频处理软件有GoldWave、SoundEdit等；图形图像处理软件有Photoshop、CoreDraw等；动画编辑软件有Flash、3dsMax、Maya等。返回目录返回章节20返回目录返回章节4．多媒体制作工具多媒体制作工具是在多媒体操作系统之上开发的帮助用户制作多媒体应用软件的工具。其中比较常用的是Flash和Director等。5．多媒体应用软件多媒体应用软件是利用多媒体制作工具或计算机语言设计的多媒体产品，直接面向用户。例如，可视电话系统、视频点播技术（VideoOnDemand，VOD）和交互电视系统、GIS与数字地球等。9.1.3多媒体软件系统219.3图形图像处理技术9.3.1图形图像基本知识9.3.2图像数据压缩技术9.3.3常见图形图像文件格式9.3.4常用图形图像处理工具22返回目录返回章节9.3.1图形图像基本知识位图图像像素像素是位图图像的基本构成元素。在位图中，当每一个小“方块”中被填充了颜色时，它就能表达出图像信息，其中每一个小“方块”称为像素。颜色深度

在一个彩色图像中，每一个像素的颜色，在计算机里是用若干个二进制“位”来记录的。在一个计算机系统中，表示一幅图像的一个像素的颜色所使用的二进制位数就称做颜色深度。二值图像彩色图像与灰度图像23返回目录返回章节图形与图象的关系图形是矢量概念，图元；图象是位图概念，象素；图形显示图元顺序；图象显示象素顺序；图形变换无失真；图象变换有失真；图形以图元为单位修改属性、编辑；图象只能对象素或图块处理；图形是对图象的抽象，但在屏幕上两者无异9.3.1图形图像基本知识24返回目录返回章节9.3.1图形图像基本知识颜色基础（1）色彩的表示①三基色相加混色原理R+G=黄色；R+B=品红；G+B=青色；R+G+B=白色。②CMYK相减混色原理Y-M=R；C-M=B；Y-C=G；Y-C-M=K。③真彩色、伪彩色、调配色在RGB色彩空间中，图像深度与色彩的映像关系，可以有真彩色、伪彩色、调配色三种。25返回目录返回章节9.3.1图形图像基本知识分辨率

图像分辨率是组成一幅图像的像素密度的度量方法。图像分辨率的单位是dpi（displaypixels/inch），它确定了组成一幅图像的像素密度。颜色分辨率屏幕分辨率显示分辨率打印机分辨率26图像数据容量在生成一幅数字图像时，实际上就是按一定的像素数量和图像深度对模拟图片或照片进行采样，从而生成一幅数字化的图像。图像数据大小可用下面的公式来计算：图像数据量=图像的总像素×图像深度/8（Byte）例如，一幅分辨率为640×480的真彩色图像，其文件大小约为：640×480×24/8=1M（Bytes）可见，图像数据所占用的存储空间较大，因此，在处理图形图像时，更应考虑好图像容量与效果的关系。返回目录返回章节9.3.1图形图像基本知识27返回目录返回章节9.3.2图像数据压缩技术压缩的必要性

音频、视频的数据量很大，如果不进行处理，计算机系统几乎无法对它进行存取和交换。例如，一幅具有中等分辨率（640×480）的真彩色图像（24b/像素），它的数据量约为7.37Mb/帧，一个100MB（Byte）的硬盘只能存放约100帧图像。信息论认为：若信源编码的熵大于信源的实际熵，该信源中一定存在冗余度。原始信源的数据存在着很多冗余度：空间冗余、时间冗余、视觉冗余、听觉冗余等。288.2.3设置形状属性返回目录返回章节评价压缩系统的参数：压缩比图象质量压缩和解压的速度另外也必须考虑每个压缩算法所需的硬件和软件。

目前，静态图像数据压缩技术主要有JPEG、JPEG-2000标准和JPEG-LS标准等。29返回目录返回章节9.3.3常见图形图像文件格式开发图形图像处理软件的厂商很多，由于在存储方式、存储技术及发展观点上的差异，导致了图形图像文件格式的多样化。常见的图形图像文件格式主要有以下几种。1．BMP格式2．JPG格式3．GIF格式4．TIFF格式5．TGA格式6．PNG格式30返回目录返回章节9.3.4常用图形图像处理工具【例9-1】设计制作如图所示的月饼盒外包装。【问题分析】（1）制作工具：PhotoshopCS5软件，相应图片素材。（2）制作思路：设计一个完整的月饼盒外包装，包括图片的布局及具体表现方法。（3）使用的操作命令：图层、图像色彩调整、文字、椭圆工具、绘制自定义图形及路径工具的使用。31返回目录返回章节【操作步骤】（1）新建画布。单击“文件”菜单，选择“新建”命令，在“新建”对话框中设置文件名为“包装盒”，尺寸为“155mm×208mm”；分辨率为“120像素/英寸”；（2）设置参考线。按【Ctrl+R】快捷键在画布上打开标尺，设置标尺单位为“mm”；拖动标尺设置参考线，尺寸为：宽度155mm=正面宽121mm+左右侧面各14mm+左右出血各3mm、高度208mm=正面高174mm+上下高各14mm+上下出血各3mm。（3）设置渐变色。单击图层面板中的【创建新的填充或调整图层】按钮，选择“渐变”命令，打开“渐变填充”对话框，选择“线性”、“反向”命令；单击渐变编辑栏，打开“渐变编辑器”对话框，单击色块标尺，在打开的“拾色器”对话框中设置4种颜色，从左至右颜色值为：2f0809、4e1607、c25200、ffC000，此时，该图层名自动命名为“渐变1”。9.3.4常用图形图像处理工具32返回目录返回章节9.3.4常用图形图像处理工具（4）导入图片。单击“文件”菜单，选择“打开”命令，在“打开”对话框中将人物图片导入到新建图层0中，用复制粘贴命令将图片插入到“渐变1”图层；按【Ctrl+T】快捷键调整图片尺寸直至与画布吻合，得到图层1。（5）设置颜色效果。单击图层面板中“设置混合模式”下拉列表，选择“柔光”命令，单击【创建新的填充或调整图层】按钮，选择“黑白”命令；在调整面板的“黑白”下拉列表中选择“蓝色滤镜”，得到“黑白1”图层。按【Ctrl+Alt+G】快捷键创建剪贴蒙板，在颜色面板，将图像处理成为单色（k值为“100%”）。（6）绘制渐变。在工具栏中选择【椭圆工具】命令，按【Shift】键画一个正圆，设置该层混合模式为“叠加”。单击【添加蒙版】按钮，在工具栏的“渐变编辑器”选择“线性渐变”，渐变色为“黑”、“白”，在椭圆中从上方至右下方绘制渐变。33返回目录返回章节9.3.4常用图形图像处理工具（7）创建图层样式。单击图层面板中的【图层样式】按钮，打开“图层样式”对话框，勾选“外发光”复选框，设置值为“45”，单击【确定】按钮；选中已完成图层，按住【Ctrl+Alt】快捷键，将鼠标左键向空白区拖动，快速复制该层。用同样的方法复制第2个图层，将该层的模式设置为“正常”、不透明度值为“80%”。34返回目录返回章节9.3.4常用图形图像处理工具（8）导入云彩图片，并设置填充值为“0%”，双击图层，勾选“描边”复选框，设置值为“255、255、255”，颜色值为“白色”。使用复制、粘贴命令得到第二个云彩图片，将图片移动到合适位置。用同样的方法导入花图片，并设置图片参数为“强光”、模糊半径为“5”。（9）导入文字图片，右击选择“栅格化图层”命令，设置文字效果为“渐变（对称）”。35返回目录返回章节9.3.4常用图形图像处理工具（10）导入背景图片，选择工具栏中【移动】按钮，将图片整合。用【矩形选项】按钮创建选区，并在右键菜单中选择“斜切”、“缩放”命令。单击【Ctrl+D】快捷键删掉选区，使用【钢笔工具】按钮绘制盒盖。（11）选择路径面板，单击【路径转换成选区】按钮，用【Alt+Del】快捷键填充前景色。选择一个盒用【Ctrl+T】快捷键将其旋转30°。使用复制、粘贴命令制作出另一个盒盖。369.4音频处理技术9.4.1音频基本知识9.4.2音频数据压缩技术9.4.3常见音频文件格式9.4.4常用音频处理工具37返回目录返回章节9.4.1音频基本知识音频（1）波形声音波形声音包含了所有的声音格式，任何声音信号。（2）语音人的声音不仅是一种波形，而且还有内在的语言、语言学的内涵，可以利用特殊的方式进行抽取，通常将语音作为一种媒体。（3）音乐音乐是符号化的声音。声音具有音调、音强、音色三要素。38返回目录返回章节9.4.1音频基本知识数字音频采样采样是把时间上连续的信号，通过抽取样本，变成在时间上不连续的信号序列，即将模拟信号转变成数字信号。39采样率应用8kHz电话22.050kHz无线电广播32kHzminiDV数码视频

camcorder44.1kHz音频

CD，也常用于

MPEG-1

音频（VCD，SVCD，MP3）47.25kHzNipponColumbia（Denon）开发的世界上第一个商用

PCM

录音机48kHzminiDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音50kHz3M和

Soundstream开发的第一款商用数字录音机50.4kHz三菱

X-80数字录音机96kHz或192kHzDVD-Audio、一些

LPCMDVD

音轨、BD-ROM（蓝光盘）音轨、和

HD-DVD

（高清晰度

DVD）音轨2.8224MHz超级音频光盘系统（SACD）数字音频领域采用的采样率9.4.1音频基本知识40量化采样得到的数据只是一些离散的值，这些离散的值应该能用计算机中的若干二进制位来表示，这一过程成为量化。连续信号经过采样成为离散信号，离散信号经过量化成为数字信号。数字化声音的数据量是由采样频率、量化精度、声道数和声音持续时间所决定的，它们与声音的数据量成比例关系。数据量计算方式为：数据量（Byte）=（采样频率×量化精度×声道数×声音持续时间）/8例如，一个CD格式声音文件，假设它的采样频率为44.1kHZ，量化精度为16bit，立体声，那么该文件每秒钟播放的数据量为：(44.1kHz×16bit×2×1s)/8=0.176Mbps9.4.1音频基本知识41（1）音乐的符号化－MIDIMIDI(MusicInstrumentDigitalInterface)是指乐器数字接口的国际标准。MIDI消息，是指乐谱的数字描述。任何电子乐器，只要有处理MIDI消息的微处理器和合适的硬件接口，就构成了一个MIDI设备。当一组MIDI消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音乐。MIDI的关键是作为媒体能够记录这些音乐的符号，相应的设备能够产生和解释这些符号。它给出了一种得到音乐声音的方法。9.4.1音频基本知识429.4.2音频数据压缩技术音频频率范围

低频声音(Infra-sound)：0Hz－20Hz人类听觉频率范围的声音：20Hz－20kHz

高频(Ultrasound)：20kHz－1GHz超声波(Hypersound)：1GHz－10THz不同音频的带宽

电话语音：

200Hz－3.4kHz调幅广播：50Hz－7kHz

调频广播：20Hz－15kHz

宽带音响:20Hz－20kHz43无失真压缩音频压缩方法有失真压缩Huffman编码行程编码波形编码参数编码混合编码全频带编码PCMDPCMADPCM子带编码自适应变换编码ATC心理学模型矢量量化线性预测LPC矢量和激励线性预测VSELP多脉冲线性预测MP-LPC码本激励线性预测CELP9.4.2音频数据压缩技术44（1）电话（200hz-3.4khz)语音压缩标准主要有ITU的G.722(64kb/s)、G721(32kb/s)、G.728(16kb/s)和G.729(8kb/s)等建议，用于数字电话通信。（2）调幅广播（50hz-7khz)语音压缩标准主要采用ITU的G.722(64kb/s)建议，用于优质语音、音乐、音频会议和视频会议等。（3）调频广播（20hz-15khz)及CD音质(20hz-20khz)的宽带音频压缩标准主要采用MPEG-1或MPEG-2双杜比AC-3等建议，用于CD、MD、MPC、VCD、DVD、HDTV和电影配音等。9.4.2音频数据压缩技术459.4.3常见音频文件格式在多媒体声音处理技术中，最常见的音频存储格式有WAVE波形文件、MIDI音乐数字文件和目前流行的MP3、MP4音乐文件等。1．WAVE波形文件2．MIDI音乐数字文件3．MP3文件4．MP4文件5．RA文件6．WMA文件469.4.4常用音频处理工具菜单栏工具栏控制菜单音频文件GoldWave窗口47【例9-2】使用GoldWave软件录制配乐诗朗诵：毛泽东《沁园春•雪》。【问题分析】（1）所需设备：麦克风，GoldWave软件，背景音乐，《沁园春•雪》诗词。（2）所需音质：采用“调频收音机/电视”音质，录音时需进行降噪处理。（3）所需处理命令：录音，混音，降噪，淡入淡出。（4）所需时长：5分钟。【操作步骤】（1）运行GoldWave，单击“File”菜单，选择“New”命令，打开“NewSound”窗口，如图所示。9.4.4常用音频处理工具（2）输入所需音质和时长数据，单击【OK】按钮开始录音。（3）录音结束后，单击“File”菜单，选择“SaveAs”命令，保存文件。（4）打开录制的文件和背景音乐文件。复制背景音乐波形段，选择录制文件波段中的起始位置作为合成的起点位置。单击“Edit”菜单，选择“Mix”命令，打开“Mix”对话框，输入混音的起始时间点，调节两个文件的音量大小，单击【OK】按钮完成合成操作并命名为“诗朗诵”。（5）选中录音文件，单击“Edit”菜单，选择“SelectAll”命令。单击工具栏上按钮，进行降噪处理。（6）打开“诗朗诵”文件，选择需要设置的波形段，单击工具栏上按钮，完成淡入效果设置。淡出效果的设置需要单击工具栏上按钮，方法相同。489.4.4常用音频处理工具499.5视频动画处理技术

9.5.1视频9.5.2动画9.5.3视频与动画文件格式9.5.4常用视频与动画处理工具509.5.1视频1．视频图像视频是由文本、图像、声音、动画中的一种或多种组合而成。通常将连续地随着时间变化的一组图像称为视频图像，其中每一幅图像称为一帧（Frame）。视频用于电影时，采用24帧/S的播放速率；用于电视时，采用23帧/S的播放速率（PAL制）。2．数字视频处理技术数字视频处理的基本技术就是通过“模拟/数字（A/D）”信号的转换，方便视频信息的存储和传输，有利于计算机进行分析处理。3．视频数据压缩技术（1）视频压缩原理视频图像编码方法的基本思想是：第一帧和关键帧，采用帧内编码方法进行压缩，而后续帧的编码根据相邻帧之间的相关性，只传输相邻帧之间的变化信息（帧差），帧差的传送是采用运动估计和补偿的方法进行编码。如果视频图像只传输第一帧和关键帧的完整帧，而其他帧只传输帧差信息，就可以得到较高的压缩比。51（2）视频压缩标准由ISO和ITU-T制定的视频压缩编码标准有H.261、H.263、H.264、MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21等。H.26x主要用于视频通信应用中MPEG-X主要用于视频存储播放应用中。例如，VCD中的视频压缩标准为MPEG-1；DVD中的视频压缩标准为