多媒体技术基础课件

大学计算机基础计算机基础课题组南京信息工程大学计算机科学与技术系1大学计算机基础计算机基础课题组1第九章2第九章2基本要求（1）理解多媒体信息的计算机表示方法（2）理解多媒体计算机系统的基本组成（3）理解多媒体信息（声音、图像）的采集与数字

化的基本过程（4）了解多媒体信息（声音合成、声音片段截取、

图像合成、图像放大缩小）的基本处理方法（5）了解动画制作的基本过程（6）了解多媒体系统的典型应用3基本要求（1）理解多媒体信息的计算机表示方法3主要内容9.1多媒体技术的基本概念9.2多媒体计算机系统

9.3多媒体信息的数字化和压缩技术

9.4多媒体素材制作

4主要内容9.1多媒体技术的基本概念49.1多媒体技术的基本概念9.1.1多媒体9.1.2多媒体技术的特性9.1.3多媒体信息的类型9.1.4多媒体信息处理的关键技术9.1.5多媒体技术的应用领域59.1多媒体技术的基本概念9.1.1多媒体59.1.1多媒体媒体存储信息的物理实体，如磁盘、光盘等。信息的表现形式或载体。多媒体是“多媒体技术”的同义语，不仅仅是指多种媒体本身，而主要是指处理和应用它的一整套技术。多媒体技术

是一种基于计算机的综合技术，包括数字化信息的处理技术、音频和视频技术、计算机硬件和软件技术、人工智能和模式识别技术、通信和图像技术等，是一门跨学科的综合技术。69.1.1多媒体媒体69.1.2多媒体技术的特性多样性媒体、处理方式集成性媒体、设备与软件的集成交互性用户与多媒体信息数字化媒体信息以数字的形式存储和处理实时性声音媒体和视频媒体79.1.2多媒体技术的特性多样性媒体、处理方9.1.3多媒体信息的类型1．文本2．图形

由直线、圆、圆弧、任意曲线等组成的画面，以矢量形式存储。3．图像

通过扫描仪、数字照相机、摄像机等设备捕捉的真实场景的画面，数字化后以位图格式存储。4．动画

利用了人眼的视觉特性所得到的画面印象。5.视频

来自视频信号源的影像。6．音频

话语、音乐以及各种动物和自然界发出的各种声音。89.1.3多媒体信息的类型1．文本89.1.4多媒体信息处理的关键技术1.多媒体数据压缩技术节省存储空间，提高通信介质的传输效率，使计算机实时处理和播放视频、音频信息成为可能。2.多媒体数据存储技术数字化数据存储的介质有：硬盘、光盘和磁带等。3.集成电路制作技术为多媒体技术的进一步发展创造了有力的条件。4.多媒体数据库技术研究多媒体信息的特征、建立多媒体数据模型；有效地组织和管理多媒体信息；多媒体信息的检索和统计。99.1.4多媒体信息处理的关键技术1.多媒体数据压缩技术5.虚拟现实技术利用计算机生成一种模拟环境，通过多种传感设备，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。6.多媒体网络与通信技术多媒体通信技术支持是保证多媒体通信实施的条件。105.虚拟现实技术109.1.5多媒体技术的应用领域1.多媒体教育2.电子出版物3.多媒体网络应用互联网直播视频点播远程教育视频会议系统119.1.5多媒体技术的应用领域1.多媒体教育119.2多媒体计算机系统9.2.1多媒体计算机系统组成9.2.2多媒体计算机硬件系统9.2.3多媒体计算机软件系统9.2.4多媒体创作工具129.2多媒体计算机系统9.2.1多媒体计算机系统组成129.2.1多媒体计算机系统组成多媒体系统层次结构

多媒体应用系统运行平台多媒体编辑与创作系统多媒体应用程序接口API操作系统、多媒体设备驱动程序多媒体计算机主机、外围设备139.2.1多媒体计算机系统组成多媒体系统层次结构多媒体应用多媒体计算机标准：MPC联盟规定多面体计算机系统由5个基本部件组成：PC机、CD-ROM、声卡、音箱和Windows操作系统MPC4.0，它为将PC机升级成MPC提供了一个指导原则，要求在普通微机的基础上增加以下4类软、硬件设备：①声/像输入设备光驱、话筒、扫描仪、录音机、摄像机等。②声/像输出设备音效卡、刻录光驱、投影仪等。③功能卡电视卡、视频采集卡、视频输出卡、网卡、VCD压缩卡等。④软件支持音响、视频和通讯信息以及实时、多任务处理软件。14多媒体计算机标准：MPC联盟规定多面体计算机系统由5个基本部9.2.2多媒体计算机硬件系统光盘机扫描仪电视机扬声器显示器网络通信主机声音卡话筒音响设备MIDI视频卡影碟机录像机摄像机打印机网卡多媒体计算机硬件系统示意图

159.2.2多媒体计算机硬件系统光盘机扫描仪电视机扬声器显示1.多媒体计算机硬件系统1.主机多媒体计算机主机可以是中、大型机，也可以是工作站，更普遍的是使用多媒体个人计算机。具备多媒体信息处理功能的芯片:通用和专用的数字信号处理芯片DSP（DigitalSignalProcesor）现有的CPU芯片增加多媒体数据处理指令和数据类型，Pentium4微处理器包括了144条多媒体及图形处理指令媒体处理器（MediaProcessor），有可编程性，通过软件可增加新的功能。是现有通用处理器的强有力的支持芯片。161.多媒体计算机硬件系统1.主机162.多媒体接口卡(1)声卡又称音频卡，是处理音频信号的硬件，172.多媒体接口卡(1)声卡又称音频卡，是处理音频信号的硬件(2)图形加速卡图形加速卡拥有图形函数加速器和显存，专门用来执行图形加速任务，可以减少CPU处理图形的负担。工作在CPU和显示器之间，控制计算机的图形输出。现在的显示卡上都集成有图形处理芯片组，成为图形加速卡。18(2)图形加速卡18(3)视频采集视频采集卡可以获取数字化视频信息，提供硬件压缩功能19(3)视频采集19(4)IEEE1394卡标准的IEEE1394接口可以同时传送数字视频信号以及数字音频信号，相对于模拟视频接口，IEEE1394技术在采集和回录过程中没有任何信号的损失。现在的IEEE1394卡多为PCI接口，只要插入到计算机主板相应的PCI插槽上就可以提供视频采集功能20(4)IEEE1394卡203.信息获取设备数码照像机（DC）数码照像机所拍摄到的照片是以文件形式存储在相机内的存储卡中，将数码照像机中的照片存储到计算机中，先用连接线将数码照像机与计算机连结起来。数码照像机的驱动程序就会将相机的存储卡视为计算机的一个可移动磁盘，存储卡中的图像会以略图方式显示数码设备213.信息获取设备数码照像机（DC）数码设备21数码摄像机（DV）数码摄像机的优点是动态拍摄效果好，数码摄像机使用的小尺寸电荷耦合器件CCD与其镜头的不匹配，在拍摄静止图像时的效果不如数码照像机。22数码摄像机（DV）229.2.3多媒体计算机软件系统多媒体计算机软件系统多媒体应用系统多媒体计算机主机、外围设备多媒体编辑与创作工具多媒体库函数、素材制作工具多媒体操作系统设备驱动软件、接口程序系统软件239.2.3多媒体计算机软件系统多媒体计算机软件系统多媒体9.2.4多媒体创作工具多媒体创作工具的功能提供编程环境及对各种媒体数据流的控制能力处理各种媒体数据生成应用系统和提供应用程序链接能力用户界面处理和提供人机交互功能预演与播放能力249.2.4多媒体创作工具多媒体创作工具的功能24多媒体创作工具的类型:基于时间序列的创作工具：Director基于流程图的创作工具：Authorware基于描述语言（符号）的创作工具：MultimediaToolBook可视化编程环境：VisualBasic和VisualC++25多媒体创作工具的类型:基于时间序列的创作工具：Direc9.3多媒体信息的数字化和压缩技术9.3.1音频信息9.3.2图形和图像9.3.3视频9.3.4数据压缩技术269.3多媒体信息的数字化和压缩技术9.3.1音频信息269.3.1音频信息复杂的声波由许许多具有不同振幅和频率的正弦波组成。波形相对基线的最大位移称为振幅A，反映音量；波形中两个相邻的波峰（或波谷）之间的距离称为振动周期T，周期的倒数1/T即为频率f，以赫兹（Hz）为单位。正常人所能听到的声音频率范围为20Hz～20kHz。

振幅频率279.3.1音频信息复杂的声波由许许多具有不同1.模拟音频的数字化用计算机对音频信息处理，就要将模拟信号（如语音、音乐等）转换成维数字信号。采样--每隔一定时间间隔对模拟波形上取一个幅度值。量化--将每个采样点得到的幅度值以数字存储。编码--将采样和量化后的数字数据以一定的格式记录下来。模拟信号采样量化编码数字信号

振幅

频率1/T

采样点

T

振幅1/TT281.模拟音频的数字化用计算机对音频信息处理，就要将模拟信号2.数字音频的技术指标采样频率、量化位数和声道数采样频率：每秒钟的采样次数量化位数(采样精度)：存放采样点振幅值的二进制位数。通常量化位数有8位、16位，分别表示有28、216个等级。声道数：声音通道的个数，立体声为双声道。每秒钟存储声音容量的公式为： 采样频率×采样精度×声道数/8=字节数 例如，用44.10kHz的采样频率，16位的精度存储，则录制1秒钟的立体声节目，其WAV文件所需的存储量为： 44100×16×2/8=176400（字节）292.数字音频的技术指标采样频率、量化3.数字音频的文件格式Wave格式文件（.Wav）记录了真实声音的二进制采样数据，通常文件较大。MIDI格式文件（.MID）数字音乐的国际标准.记录的是音符数字，文件小。MPEG音频文件（.MP1/.MP2/.MP3）采用MPEG音频压缩标准进行压缩的文件。

WAV文件MIDI文件303.数字音频的文件格式Wave格式文件（.Wav）W9.3.2图形和图像图形和图像图形：由点、线等组成的有边界画面，文件中存放描述图形的指令。图像：由图像设备输入的无边界画面，数字化后以位图形式存储。图形与图像的数字化分辨率（行、列）和颜色深度真彩色每个像素点占3个字节，224=16777216种颜色。计算存储一秒图像公式：列数×行数×像素的颜色深度/8×帧/秒=字节数例：1280×1024分辨率的“真彩色”电视图像，按每秒30帧计算，显示1分钟，则需要：1280×1024×3×30×60≈6.6GB319.3.2图形和图像图形和图像31常用图像文件格式：BMP和DIB格式文件与设备无关的位图格式文件，Windows环境中经常使用.GIF格式文件Internet上的重要文件格式之一，最大不超过64KB，256色以内，压缩比较高，与设备无关。JPEG格式文件（.JPG）利用JPEG方法压缩,Internet上重要文件格式之一，适用于处理256色以上、大幅面图像。WMF格式文件位图与矢量图的混合体,Windows中许多剪贴画图像，是以该格式存储的。广泛应用于桌面出版印刷领域。32常用图像文件格式：BMP和DIB格式文件329.3.3视频1.视频

是将一幅幅独立图像组成的序列按照一定的速率连续播放，利用视觉暂留现象在人的眼前呈现出连续运动的画面。模拟视频常用两种标准： NTSC制式(30帧/秒，525行/帧) PAL制式（25帧/秒，625行/帧），我国采用PAL制式。

模拟视频和数字视频640×480×3×30×60=1658880000字节分辨率帧/秒采样深度

时间339.3.3视频1.视频是将一幅幅独立图像组成的序2.常用视频文件格式：AVI（Audio-VideoInterleaved）文件将视频与音频信息交错地保存在一个文件中，较好地解决了音频与视频的同步问题，已成为Windows视频标准格式文件。MOV文件利用它可以合成视频、音频、动画、静止图像等多种素材。MPG(.mpg)文件是按照MPEG标准压缩的全屏视频的标准文件。DAT文件是VCD专用的格式文件，文件结构与MPG文件格式基本相同。342.常用视频文件格式：AVI（Audio-VideoIn3.流媒体概述流媒体:一种可以使音频、视频等多媒体文件能在Internet上以实时的、无需下载等待的流式传输方式进行播放的技术。应用：互联网直播视频点播远程教育视频会议系统353.流媒体概述流媒体:一种可以使音频、视频等多媒体文件能4.常用流媒体文件RealMediaRA（RealAudio）用来传输接近CD音质的音频数据RM（RealVideo）在低速率的网络上实时传输活动视频影像RF（RealFlash）一种高压缩比的动画格式QuickTime是数字媒体领域事实上的工业标准，是创建3D动画、实时效果、虚拟现实、A/V和其他数字流媒体的重要基础。ASF与WMAASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内