大学计算机课件第8章多媒体技术基础

1/107,第8章多媒体技术基础本章主要内容：多媒体技术的基本概念多媒体计算机系统的组成多媒体信息的数字化多媒体素材的制作,2/107,3/107,4/107,8.1多媒体技术概述,多媒体技术发展历程1984年：美国Apple公司开创了用计算机进行图像处理的先河，首次使用Bitmap（位图）概念对图像进行描述。1985年：美国Commodore公司推出了首台多媒体计算机系统,5/107,1986年：PHILIPS公司和SONY公司共同制定了CD-I(交互式光盘系统标准)1990年：Microsoft和SONY等公司成立了多媒体个人计算机市场协会1991年：制订出多媒体计算机（MPC）硬件配置的最低标准，即MPC1标准1993年：推出了MPC2标准1995年：推出了MPC3标准，此后：推出了MPC4标准,6/107,多媒体一词来自于英文“Multimedia”,multiple：有“多重、复合”之意。media：则是指“介质、媒介和媒体”。按照字面理解，多媒体就是“多重媒体”或“多重介质”的意思。,Multimedia,multiple,media,=,+,多媒体基本概念,7/107,感觉媒体：它们直接作用于人的感官，使人能直接产生感觉。表示媒体：是信息在计算机中的表示，通常是信息的各种编码。显示媒体：用于表达信息，是信息的输入和输出设备。存储媒体：用于存储信息，是存放表示媒体的实体。传输媒体：用于信息的传输，是传输介质。它是媒体从一处传到另一处的物理载体。多媒体技术中媒体主要是指信息的表示形式，即信息在计算机内部的表示。,1.媒体几种形式,例如，语言、声音、文字、图形、图像和动画等。,例如,ASCII编码、汉字编码、语音编码和图像编码等。,例如，键盘、鼠标、摄像机、话筒、光笔、显示器、扫描仪和打印机等。,例如，软盘、硬盘、磁带、光盘和半导体存储器等。,例如，双绞线、同轴电缆和光纤等。,8/107,多媒体是文本、图形、图像、音频、视频和动画等“多重媒体”的集合。多媒体信息从时效上可分为两大类：,2.多媒体,9/107,3.多媒体信息的类型,文本（Text）：是计算机中基本的信息表示方式，包含数字、字母、符号和汉字。以文本文件形式存储。可用文字处理软件（如记事本和Word等）对文本进行编辑，也可对文本进行识别、翻译和发声等操作。图形（Graphics）：一般是指由计算机通过绘图软件绘制的画面，由点、线、面、体等组合而成，以矢量图形文件形式存储。,10/107,图像（Image）：实际场景的静止画面，经数字化后以位图格式存储。如照片和画片等。音频（Audio）：自然界的声音经数字化后以音频文件格式存储。视频（Video）：是由摄像机等输入设备获取的活动画面，数字化后以视频文件格式存储。动画（Animation）：是利用了人眼的视觉特性所得到的，当一系列形或像的画面按一定时间在人的视线中经过时，人脑就会产生物体运动的印象。,11/107,多媒体技术特点,多媒体技术是指利用计算机技术将多种媒体信息综合一体化，使它们建立起逻辑联系，并能进行加工处理的技术。“加工处理”主要是对这些媒体进行录入、压缩、存储、传输、解压和显示等。多媒体技术是一种基于计算机的、跨学科的综合技术，具有许多特点。,多媒体技术涉及到多样化信息，多样性是多媒体技术的主要特征,集成性是指以计算机为中心，综合处理多种信息媒体的特性,交互性是指用户与计算机之间进行数据交换、媒体交换和控制权交换的一种特性。,意味着多媒体系统在处理信息时有着严格的时序要求和很高的速度要求。,数字化是指各种媒体信息都以数字形式（0和1的方式）进行存储和处理,12/107,多媒体信息处理关键技术,多媒体信息处理与应用需要一系列相关技术的支持，以下几个方面是多媒体信息处理的关键技术，也是多媒体研究的热点。,多媒体系统的物质基础,多媒体技术中最关键的一环模拟信号数字信号编码压缩,CD-ROM光盘容量650MB左右DVD光盘，单面单密度容量为4.7GB，双面双密度容量可达17GB,多媒体数据库存储大量图形、图像、音频和视频等非结构化数据,通过宽带高速网络系统将多个独立的多媒体计算机连接成局域网，或者是跨地区的广域网，实现多媒体通信和多媒体信息资源共享,13/107,教育与培训电子出版物多媒体网络商业广告,多媒体技术应用,互联网直播,视频点播,视频会议,远程教育,14/107,8.2多媒体计算机系统,在普通计算机系统基础上，增加一些硬件设备和相应软件就构成了多媒体个人计算机，通常简称为MPC。,随着计算机硬件技术的发展，今天的个人电脑，基本都能达到MPC的要求,15/107,1990年11月，美国Microsoft和日本SONY等公司成立的“多媒体个人计算机市场协会”，先后发布了4个MPC标准。MPC4要求在PC机的基础上增加四类软、硬件产品：声/像输入设备：光驱、话筒、扫描仪、录音机和摄像机等。声/像输出设备：音频卡、刻录光驱、投影仪和打印机等。,多媒体计算机标准,16/107,功能卡：电视卡、视频采集卡、视频输出卡、网卡和VCD压缩卡等。软件支持：音响、视频和通信信息以及实时、多任务处理软件。MPC标准对多媒体技术的发展和普及起到了重要的推动作用。,17/107,多媒体计算机硬件系统,多媒体计算机系统一般由多媒体计算机硬件和软件系统组成。多媒体计算机硬件系统是在个人计算机基础上，增加各种多媒体输入和输出设备及其接口卡。,多媒体计算机硬件配置的基本要求是：功能强大的CPU和内存储器；可高分辨率处理图像的视频显示卡和显示设备；,18/107,可高保真处理音频的声卡和设备；可存放海量多媒体数据的存储设备以及其他输入、输出设备。,19/107,1.主机多媒体信息处理器第一类采用超大规模集成电路实现的通用和专用的数字信号处理芯片（DSP）第二类在现有CPU芯片上增加数据处理指令和数据类型，Pentium4微处理器包含了144条多媒体及图形处理指令第三类为媒体处理器（MediaProcessor）以多媒体和通信功能为主，具有可编程性，通过软件可增加新功能,多媒体信息处理器不能取代通用处理器，通常与通用处理器配合，可在功能上互补,20/107,2.多媒体接口卡多媒体接口卡将计算机与各种外部设备相连，构成一个多媒体计算机。常用接口卡有声卡、视频采集卡、图形加速卡和IEEE1394卡等。,声卡：又称音频卡，它使计算机可以录制和播放声音。有些主机板上集成了声卡功能。与单独声卡相比，集成声卡功能较差。,21/107,音乐合成发音:调频（FM）合成法将多个频率的简单声音合成复合音来模拟各种乐器的声音。波形表合成法先将各种真正乐器的声音录下来，再进行数字化处理形成波形数据，然后将各种波形数据存储在只读存储器中。发音时通过查表找到所选乐器的波形数据，再经过调制、滤波、再合成等处理形成立体声。,声卡的主要功能,22/107,混音器和数字声音效果处理器功能,混音器的作用是将来自音乐合成器、CD-ROM、话筒输入(MIC)等不同来源的声音组合在一起再输出。每种声音卡都有混音器。,数字声音效果处理器是对数字化的声音信号进行处理以获得所需要的音响效果(混响、延时和合唱等)，数字声音效果处理器是高档声卡应该具备的功能。,23/107,模拟声音输入输出功能主要是A/D、D/A转换,24/107,视频采集卡：可以获取数字化视频信息，并将其存储或播放出来。多数视频采集卡能在捕捉视频信息的同时获得伴音。一些视频采集卡还提供了硬压缩功能。视频采集卡还能提供许多播放效果，如：冻结、淡入淡出、旋转、镜像和透明色等。,25/107,图形加速卡：工作在CPU和显示器之间，控制计算机图形的输出。通常图形加速卡是以附加卡的形式安装在计算机的扩展槽中。,IEEE1394卡：作为一种数据传输的开放式技术标准，通常用于数码设备的数据传输。包括数码摄像机、高速外接硬盘、打印机和扫描仪等多种设备。标准的IEEE1394接口可以同时传送数字视频信号以及数字音频信号，相对于模拟视频接口，IEEE1394技术在采集和回录过程中没有任何信号损失。,26/107,3.信息获取设备多媒体计算机必须配置一定的外部设备以便获取多媒体信息，常见设备有扫描仪、数码照相机、数码摄像机和触摸屏等设备。,27/107,扫描仪:是一种图形输入设备，由光源、光学镜头、光敏元件、机械移动部件和电子逻辑部件组成。该设备主要用于对图片资料、图形方式的文字资料等纸制材料的电子数据化。,类型有:平板扫描仪、馈纸式扫描仪、底片扫描仪、工程图纸扫描仪和鼓形扫描仪等。,28/107,扫描仪的主要参数：光学分辨率：指图像扫描过程中扫描仪本身在每英寸内所能识别图像的点数，即dpi(dotsperinch,每英寸数）。色彩描述：指扫描仪所能识别的色彩范围，一般用像素的位数表示。普通中档平板扫描仪的色彩可达到每个像素24位，即通常所说的24位真彩色。灰度层次：指图像亮度的层次范围，用级数表示。级数越大，表明图像层次越丰富，一般分为256级。扫描幅面：指一次扫描所能转换的原图最大范围。,可以用2的24次方种颜色对自然界的颜色进行基本的还原。,29/107,是一种数字成像设备，是一种与计算机配套使用的照相机。它是集光、机、电于一体的数字化产品。与普通光学照相机相比，最大区别在于数码照相机用存储器保存图像资料，而不通过胶片保存图像。数码相机分为家庭用和专业用。,数码照相机,30/107,数码照相机主要由光学镜头、取景框、光电耦合元件CCD、译码器、存储器、数据接口和电源等部件组成。光电耦合元件CCD负责将可见光转换成电信号。译码器将CCD感应到的电信号转换成数字信号，保存到数码照相机内置存储器中。存储器是闪速存储器，主要有SmartMedia卡（SM卡）和CompacfFlash卡（CF卡）等。输出接口为串行口、USB接口或IEEE1394接口。,31/107,数码照相机所特有的性能指标是：分辨率：是数码照相机的重要指标，用图像的绝对像素数来衡量。分辨率越高，图像质量越高。色彩位数：反映了数码相机能正确记录的色调有多少，色彩位数值越高，越能更真实的还原亮部及暗部细节。目前几乎所有数码照相机的颜色深度都达到了24位，可以生成真彩色图像。光学镜头：镜头的物理口越大，光通量就越大，数码相机对光线的接受和控制就会越好，成像质量也就越好。镜头焦距：镜头的焦距不同，能拍摄的景物广阔程度就不同,32/107,数码相机拍摄的照片以文件形式存储在相机的存储卡中，因此，将数码相机中的照片转存到计算机中，就是将存储卡中的文件复制到计算机中,33/107,数码摄像机的优点是动态拍摄效果好，也可以拍摄静态照片，电池容量大，DV带支持长时间拍摄。,数码摄像机（DV）,按照存储介质分类,硬盘DV：硬盘DV目前主流容量为20-60GB，硬盘DV的优点就在于存储空间大。,光盘DV：光盘DV采用DVD光盘作为存储介质，当结束拍摄时，只需要将DVD直接取出来就可以在任何一台DVD播放器上进行播放。,34/107,DV带DV：DV带DV的优点是价格便宜，而缺点是磁带保存的时间短，拍摄的视频导出到电脑时速度慢。此类技术已经成熟，主机价格也最便宜。,DV带,存储卡DV：存储卡DV一般使用价廉物美的SD卡，SD卡的容量已经达到N个GB级别。相比其他存储介质卡而言，此类机器的体积最为小巧，携带最为方便，缺点是比较费电，待机时间短。,35/107,数码摄像机按照功能和使用场合可分为家庭用和专业用两种。,36/107,触摸屏,是一种坐标定位装置，安装在显示器前面，用手触摸该装置，即可完成输入操作。触摸屏是由触摸屏控制卡、透明度很高的触摸检测装置和驱动程序组成。实际上对触摸屏的一次触摸相当于单击一次鼠标。,37/107,触摸屏分类按照安装方式可分为四种：外挂式、内置式、整体式和投影仪式。按照技术原理可分为五种：红外线触摸屏、电容触摸屏、电阻触摸屏、表面声波触摸屏和矢量压力触摸屏,38/107,多媒体计算机软件系统,多媒体计算机软件系统按功能可分为系统软件和应用软件。系统软件是指管理、监控和维护多媒体计算机资源（包括硬件和软件）的软件。应用软件是指系统软件以外的其他软件，它是具体领域的应用程序。,39/107,系统软件是多媒体系统的核心，操作系统是软件的基础，各种多媒体软件都要运行在多媒体操作系统平台上。,40/107,2.应用软件多媒体应用软件是在多媒体创作平台上设计开发的面向应用的软件。,8.3音频信息,声音是携带信息的重要媒体，自然界中存在各种各样的声音。,41/107,声音特性,当物体在空气中震动时，便会发出连续波，叫声波，这种波传到人的耳朵，引起耳膜震动，这就是人们听到的声音。声波在时间上和幅度（振幅）上都是连续变化的模拟信号，可用模拟正弦波形表示。,42/107,波形相对基线的最大位移称为振幅A，反映声音的音量将波形中两个相邻波峰（或波谷）之间距离称为震动周期T，周期的倒数1/T即为频率f,以赫兹（Hz）为单位，是声音每秒钟变化次数，周期和频率反映了声音的音调。人们通常听到的声音并不是单一频率声音，而是许许多多个频率的复合，将声音信号的频率范围称为带宽。,43/107,44/107,音频信息表示,音频信号在时间上和幅度上都是连续的，将在时间和幅度上都连续的信号称为模拟信号。1.模拟音频数字化计算机对音频信息处理，就要将模拟信号转换成数字信号，将这一转换过程称为模拟音频数字化。模拟音频数字化过程涉及到音频采样、量化和编码。,45/107,采样：是每隔一定时间间隔在模拟波形上取一个值，将时间上连续信号变成时间上离散信号。如果时间间隔相等，则称为均匀采样，该时间间隔为采样周期，其倒数为采样频率。采样频率即每秒钟采样次数，采样频率越高，数字化音频质量越好，但数据量越大。,对于电话语音信号，最高频率为3400Hz，所需采样频率至少为6800Hz，在实际应用中，采样频率规定为8000Hz。,奈奎斯特理论：如果采样频率不低于信号最高频率的两倍，就能将数字表达的声音还原成原来的模拟声音。,46/107,量化：量化是将每个采样点得到的幅度值以数字形式存储。二倍于最高频率的采样频率是数字化声音再现的必要条件，而非充分条件，它还与幅值的量化级别有关。,量化的位数越多，则可以更细腻的表现采样点间的梯度，声音质量也越好，但声音文件也越大。,47/107,2.数字音频的存储数字化音频质量的指标有三项：采样频率、量化位数（即采样精度）和声道数。声道数指声音通道的个数。记录声音时，如果每次生成一个声波数据，称为单声道；每次生成两个声波数据，称为双声道，即立体声。,编码：存储在计算机中的数字化声音并不是声音的真正幅值，而是幅值代码。将采集的物理量转换为计算机中代码的过程称为编码。,在自然界中，声音除了音量音调属性外，还存在一个声源位置的问题，声音数字化的采样频率和量化级越高，声道数越多，结果越接近原始声音，但记录数字声音所需存储空间也随之增加。,48/107,数据率（b/s）=采样频率（Hz）采样精度（b）声道数,数字化1秒声音所需数据位数（bit或b）称为数据率。,例如用44.10kHz的采样频率，每个采样点用16位的精度存储，双声道，则录制1秒钟的立体声节目，数据率为：,49/107,3.数字音频的文件格式文件格式是数据在存储器中的存放形式。相同数据，可以有不同的存放形式，所以也就有多种文件格式。,50/107,存储音频信息文件格式主要有以下几种：WAVE格式文件：WAVE（Wave，声波）格式文件扩展名是wav，是Microsoft公司开发的一种波形声音文件格式，是PC机上最为通用的声音文件格式，几乎所有的编辑软件都能读取WAVE格式文件。,WAVE被称为“无损的音乐”，它直接记录了真实声音的二进制采样数据。,51/107,MIDI格式文件：MIDI格式文件扩展名是mid。存储的不是对声波进行采样、量化和编码的信息，而是将数字式电子乐器弹奏过程记录下来，它实际上是一串时序命令，用于记录电子乐器键盘弹奏信息。MIDI消息是乐谱的一种数字式描述，包括键、通道号、持续时间、音量和力度等。当需要播放时，只需从相应的MIDI文件中读取MIDI消息，生成乐器声音波形，经放大后由扬声器输出。示例（文件大小：140k时间：4分30秒）,52/107,MPEG格式文件：MPEG（MovingPictureExpertGroup，运动图像专家组）是一种有损压缩。根据压缩质量和编码复杂程度可分为三种（MPEG-1AudioPlayer1/2/3），分别对应mp1、mp2、mp3三种音频文件。压缩比分别为4:1、6:18:1和10:112:1。mp3因为具有压缩比高、音质接近CD、制作简单和便于交换等优点，非常适合在网上传播，是目前使用最多的音频格式文件。WAVE格式文件和MIDI格式文件都可以压缩成MPEG格式文件。,53/107,8.4图形与图像信息,图形与图像是计算机中两种重要而常用的多媒体信息，图像可分为静态图像和动态图像。这里的图像是指静态图像，而动态图像又称视频。图形与图像特点在计算机技术中，图形与图像是一对既有联系又有区别的概念。它们都是一副图，但图的产生、处理和存储方式不同。,54/107,图形与图像图形一般是由绘图软件生成，由直线、圆、圆弧和任意曲线等图元素组成，以矢量图形式存储。矢量图描述的不是图形中每个点的信息，而是描述所有图元素产生的过程和方法，即用指令集来描述图形。矢量图有两个优点：（1）所占空间小；（2）在进行各种变形（如缩放、旋转、扭曲）时几乎没有误差产生。,55/107,图像是由扫描仪、数码照相机和摄像机等输入设备捕捉的真实场景画面产生的映像，数字化后以位图形式存储。存储构成图像每个像素点的亮度和颜色，位图文件的大小与分辨率和色彩的颜色种类有关。矢量图形与位图图像可以相互转换。,56/107,2.图像分辨率图像由像素点构成，而像素点密度决定了分辨率的高低。图像分辨率的高低直接影响图像质量。图像分辨率单位是dpi（displaypixels/inch）,即每英寸显示的像点数。例：某图像分辨率为300dpi，该图像像素点密度为每英寸300个。图像分辨率有三种类型：输入分辨率、显示器分辨率和输出分辨率。,57/107,3.图像颜色模型计算机中描述颜色的模型有三种：RGB模型、HSB模型和CMYK模型。RGB模型RGB颜色系统中任何一种颜色由红、绿、蓝三基色通过不同的强度混合而成。RGB分别是Red（红）、Green（绿）、Blue（蓝）。将红、绿、蓝三种颜色分别按强度不同分成256个级别（值为0255），组合可以得到256256256=167777216种颜色。屏幕、扫描仪和投影仪都属于RGB设备，因为它们是由红、绿、蓝3个电子射线枪构成。,58/107,HSB模型HSB颜色系统中任何一种颜色由色调、饱和度和亮度三要素定义而成。色调即颜色色彩，不同软件用不同的方式排列色彩，可以使用平面图、柱状图和饼状图。饱和度是指色彩纯度，其值在0100之间，0为灰色。亮度是指色彩的明暗程度，其值在0100之间，0为全黑。,59/107,CMYK模型CMYK模型颜色系统中任何一种颜色可以由青、品红、黄和黑4种颜色混合而成。CMYK分别代表Cyan（青）、Magenta（品红）、Yellow（黄）、blacK（黑）。CMYK模型用于打印，一般先用RGB模型编辑，打印时转换为CMYK模型。,60/107,图形与图像信息表示用计算机绘图软件生成的矢量图形，矢量图形文件存储的是描述生成图形的指令，因此不必对图形中的每一点进行数字化处理。1.图像数字化现实中的图像是一种模拟信号。图像数字化是指将一幅真实图像转变成为计算机能够接受的数字形式，这涉及到对图像的采样和编码等。采样：就是将连续图像转换成离散点的过程。采样实质就是要决定在一定面积内取多少个点来描述一幅图像，或者叫多少个像素点，称为图像的分辨率。分辨率越高，图像越清晰，存储量也越大。,61/107,原图像采样图像,量化：是在图像离散化后，将表示图像色彩浓淡的连续变化值离散化为整数值的过程。将量化时可取整数值的个数称为量化级数。表示色彩（或亮度）所需的二进制位数为量化字长，称为颜色深度。一般用8位、16位、24位、32位等来表示图像颜色。24位可以表示224=16777216种颜色,称为真彩色。,62/107,编码：图像文件的数据量与组成图像像素数量和颜色深度有关，可由以下公式计算：,s=(hwc)/8,其中：s是图形文件数据量；h是图像水平方向像素数；w是图像垂直方向像素数；c是颜色深度数值；8是将二进制位（bit）转换成字节（Byte）,63/107,s=(80060024)/8=1440000B（1.37MB）,例如，某图像采用24bit真彩色，其图像尺寸为800600，则图像文件体积为：,可见数字化后图像数据量十分巨大，必须采取编码技术来压缩信息，它是图像存储与传输的关键。,64/107,2.图像放大与缩小,图像放大与缩小是一种几何处理。图像在放大时，原图像的一个像点变成若干个像点。像点数量增加，而像点排列密度是固定不变的，因此图像的几何尺寸就会增加，从而达到放大图像的目的。缩小图像与放大图像正好相反。在缩小图像时，原图像多个像点变成一个像点，像点数量的减少，使图像几何尺寸缩小了。缩小的图像与原图像相比，像点的对应关系发生很大变化，大量像点丢失，使图像细节难以辨认。不论图像进行放大还是缩小。其缩放比例很重要。,65/107,3.图形与图像文件种类在图形图像处理中，对于同一幅数字图像，采用不同文件格式保存时，会在图像颜色和层次还原方面产生不同的效果，这是由于不同文件格式采用不同压缩算法的缘故。BMP格式BMP格式文件：是Windows环境下经常使用的一种位图格式文件，多种Windows应用程序都支持。BMP（Bitmap位图）格式文件扩展名是bmp。文件特点是数据几乎不进行压缩，包含的图像信息较丰富，但文件占用存储空间过大。目前在单机上BMP格式文件比较流行。,66/107,GIF格式GIF格式文件：是美国联机服务商针对当时网络传输带宽的限制，开发出的图像格式。GIF（GraphicsInterchangeFormat，图形交换格式）格式文件扩展名是gif。,优点：压缩比高，磁盘空间占用较少，下载速度快，是网络中重要文件格式之一。目前Internet上大量采用的彩色动画文件多为这种格式文件。,67/107,GIF格式支持透明图像属性，还采用了渐显方式，即在图像传输过程中，用户先看到图像的大致轮廓，然后随着传输过程的继续而逐渐看清图像中的细节。,缺点：不能存储超过256色的图像。,68/107,JPEG格式JPEG格式文件：是一种很灵活的格式，具有调节图像质量的功能，允许用不同压缩比例对这种文件压缩。作为先进的压缩技术，它用有损压缩方式去除冗余图像和彩色数据，在获取较高压缩率的同时能够展现十分丰富生动的图像。同一图像BMP格式的大小是JPEG格式的510倍。而GIF格式最多只有256色，JPEG格式适用于处理256色以上图像和大幅面图像。,69/107,TIFF格式TIFF格式文件：是一种以说明标准点矩阵资料格式，它包含两部分，第一部分是屏幕显示低分辨率图样，便于图像处理时预览和定位，第二部分则包含各分色与单独信息。TIFF（TaggedImageFileFormat，标志图像文件格式）格式文件扩展名是tif，TIFF格式文件以RGB真彩色模式存储，常被用于彩色图像扫描和桌面出版业。PNG格式PNG格式文件：是一种新兴的网络图像格式，扩展名是png。,70/107,PNG的优点:（1）PNG是目前最不失真的格式；（2）能将图像文件压缩到极限，即利于网络传输，又能保留所有与图像品质有关的信息，因为PNG是采用无损压缩方式来减少文件大小；（3）显示速度很快，只需下载1/64的图像信息就可以显示出低分辨率的预览图像；（4）PNG同样支持透明图像制作，这样可以让图像和网页背景和谐地融合在一起。PNG的缺点:PNG文件不支持动画应用效果。,71/107,8.5视频信息,视频是由一系列静态图像按一定顺序排列组成，每一幅称为一帧。当这些图像以一定速率连续地投射到屏幕上时，由于人眼睛视觉滞留效应，便产生了运动的效果。当速率达到12帧/秒（12fps）以上时，就可以产生连续视频效果，典型的帧速率从2430f/s(帧/秒），这样的视频图像看起来既是连续的又是平滑的。,连续播放第一帧第二帧第三帧第四帧第五帧第六帧第七帧,72/107,视频有两类：模拟视频和数字视频。早期的电视和录像机等视频信号的记录、存储和传播都采用模拟方式，存储介质是磁介质，通常是录像带。优点：成本低、图像还原效果好、易于携带；缺点：随着时间推移，录像带上图像信息强度会逐渐衰减，造成图像质量下降、色彩失真等现象。在模拟视频中，常用两种视频标准：使用NTSC制式的国家：美国、加拿大和日本等国家。使用PAL制式的国家：我国及欧洲大部分国家。,视频信息特点,NTSC制式（30帧/秒，525行/帧）,PAL制式（25帧/秒，625行/帧）,73/107,要想使用计算机对视频信息进行处理，必须将模拟视频图像数字化。视频信息的数字化视频数字化过程同音频相似，在一定时间内以一定速度对单帧视频图像进行采样、量化和编码等过程，实现模数转换、彩色空间变换和编码压缩等，这些通过视频捕捉卡和相应软件来实现。,视频信息表示,74/107,在数字化后，如果视频信息不加以压缩，其数据量为：,数据量=帧速率每幅图像的数据量,1280（列）1024（行）248（B）30（帧/s）112.6MB,例如，要在计算机连续显示分辨率为12801024的24位真彩色高质量电视图像，按每秒30帧计算，显示1秒钟，则需要：,一张650MB光盘只能存放6秒钟左右电视图像，可见在所有媒体中，数字视频数据量最大，而且视频捕捉和回放要求很高的数据传输率，因此视频压缩和解压缩是需要解决的关键技术之一。,75/107,2.数字化视频的保存数字视频数据量巨大，通常采用特定的算法对数据进行压缩，根据压缩算法的不同，保存数字视频信息的文件格式也不同。按照数字视频的不同用途，视频文件可以分成两大类：一类是影像视频文件，另一类是流式视频文件。常见的影视视频文件有以下几种：,流媒体是指采用流式传输的方式在Internet/Intranet播放的媒体格式，如音频、视频或多媒体文件。流媒体在播放前并不下载整个文件，只将开始部分内容存入内存，在计算机中对数据包进行缓存并使媒体数据正确的输出,76/107,AVI格式文件：是Microsoft公司开发的一种数字音频与视频文件格式，该格式文件是一种不需要专门硬件支持就能实现音频与视频压缩处理、播放和存储的文件，AVI格式文件的扩展名是avi。AVI格式文件可以将视频信号和音频信号同时保存在文件中，在播放时，音频和视频同步播放。MOV格式文件：是Apple公司在QuickTimeforWindows视频应用程序中使用的视频文件。MOV格式文件扩展名是mov，可以合成视频、音频、动画和静止图像等多种素材。,77/107,MPG格式文件：是按照MPEG标准压缩的全屏视频标准文件。目前很多视频处理软件都支持这种格式，MPG格式文件扩展名是mpg。DAT格式文件：是VCD专用的格式文件，文件结构与MPG文件格式基本相同，DAT格式文件扩展名是dat。,78/107,Internet上使用较多的流媒体格式有以下几种：RealMedia格式文件：是RealNetworks公司开发的流式视频文件格式，它包括RA（RealAudio）、RM（RealVideo）和RF（RealFlash）三类文件。RA:用来传输接近CD音质的音频数据从而实现音频的流式播放；,79/107,RM:主要用来在低速率的网络上实时传播活动视频影像，可以根据网络数据传输速率的不同而采取不同的压缩比率，在数据传输过程中边下载，边播放视频影像，从而实现影像数据的实时传送和播放；RF:是RealNetworks公司与Macromedia公司新近推出的一种高压缩比的动画格式，主要工作原理基本上和RM相同。,80/107,QuickTime格式文件：是Apple公司开发的一种音频、视频文件格式，具有先进的视频和音频功能，包括AppleMacOS、MicrosoftWindow95/98/NT在内的所有主流PC机平台都支持该格式。是数字媒体领域事实上的工业标准，是创建3D动画、实时效果、虚拟现实、音频、视频和其他数字流媒体的重要基础。,81/107,ASF与WMV格式文件：ASF（AdvancedStreamingFormat，高级流媒体格式）是Microsoft公司推出的一种数据格式，也是一个可以在Internet上实现实时播放的标准，使用的是MPEG-4压缩算法。音频、视频、图像以及控制命令脚本等媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容的发布。其中，在网络上传输的内容就称为ASFStream,82/107,8.6动画,动画的概念：利用了人类眼睛的视觉滞留效应。如果每秒更替24或更多幅画面，那么，前一个画面在人脑中消失之前，下一个画面就进入人脑，从而形成连续的影像。,83/107,传统的动画：用手工方式在赛璐珞片上绘制各幅图像，然后通过连续拍摄而得到的。赛璐珞是一种透明胶片，可以覆盖在背景上。,计算机动画：原理与传统动画基本相同，只是在传统动画的基础上把计算机技术用于动画的处理和应用，并可以达到传统动画所达不到的效果。,84/107,帧动画：构成动画的基本单位是帧，很多帧组成一部动画片,矢量动画:经过计算机计算而生成的动画，其画面只有一帧，主要表现变换的图形、线条、文字和图案。通常采用编程方式和某些矢量动画制作软件来完成,85/107,二维动画又叫“平面动画”，是帧动画的一种。,三维动画又叫“空间动画”，可以是帧动画，也可以制成矢量动画,86/107,动画制作软件通常具有大量的编辑工具和效果工具，用来绘制和加工素材。不同的动画制作软件用于制作不同形式的动画。平面动画：AnimatorPro、AnimationStudio、Flash三维动画：3DStudio、3DStudioMax、Cool3D、Maya,87/107,动画文件格式动画文件有多种格式，不同的动画软件产生不同的文件格式。Flash动画文件有fla和swf两种格式：fla格式：是源程序格式，程序描述图层、库、时间轴、舞台和场景等，可以对描述对象进行多种编辑和加工。swf格式：是文件打包后的格式，是Flash成品动画的格式。该格式的动画可以在网络上演播，不能进行修改和加工。,88/107,8.7多媒体数据压缩技术,多媒体信息经过数字化处理后其数据量是非常大的，如果不进行数据压缩处理，计算机系统就无法对它进行存储、传输和处理。解决这一难题的有效方法就是数据压缩编码.数据压缩的可行性一般情况下，多媒体原始数据被压缩后存放在磁盘上，或以压缩形式来传输；当使用时应将其还原，称为解压缩。,89/107,压缩潜力1数据中存在大量冗余（相关性）。如空间冗余、时间冗余、结构冗余和知识冗余。空间冗余：在同一幅图像中,规则物体和规则背景的表面物理特性具有相关性。时间冗余：图像序列中的两幅相邻的图像之间有较大的相关性。,90/107,结构冗余：在有些图像的纹理区，图像的像点值存在着明显的分布模式。知识冗余：有许多图像的理解与某些基础知识有相当大的相关性。例如，人脸的图像有固定的结构。比如说嘴的上方有鼻子,鼻子的上方有眼睛,鼻子位于脸的中线上等等。,91/107,压缩潜力2对于图像、音频和视频等，人的感知可容忍某些细节信息的丢失（失真）。如视觉冗余和听觉冗余。视觉冗余：人类视觉系统并不是对图像的任何变化都很敏感。事实上人类视觉系统一般分辨能力约为26灰度等级，而一般图像量化采用28灰度等级，这类冗余称为视觉冗余。例如，人的视觉对于边缘的急剧变化不敏感，且人眼对图像的亮度信息敏感，对颜色的分辨率弱等。,92/107,听觉冗余：人类听觉系统对不同频率声音的敏感程度不同，而且受环境的影响，声音之间还存在掩蔽效应。比如，太高或太低的声音都听不到。在嘈杂的环境下，听不到较低的声音，别人的声音可以盖过你的声音，这类冗余称为听觉冗余。,93/107,数据压缩方法,数据压缩是通过编码技术减少数据冗余来降低数据存储时所需空间，当数据使用时，再进行解压缩。根据对压缩数据经解压缩后是否能准确地恢复压缩前的数据来分类，分成无损压缩和有损压缩两类。衡量数据压缩技术的好坏有四个主要指标：压缩比要大：压缩前后所需的存储空间比要大。算法要简单：压缩/解压缩速度快，以满足实时性要求。压缩损失要少：失真小，即解压恢复的效果要好。开销要小：实现压缩的软硬件开销要小。当四者不能兼得时，要综合考虑。,94/107,无损压缩无损压缩的压缩过程是可逆的，也就是说，从压缩后的数据能够完全恢复出原来的数据，信息没有任何丢失。,无损压缩的原理是统计被压缩数据中重复数据的出现次数来进行编码。一般用于文本数据、程序以及重要图片和图像数据（指纹图像、医学图像等)的压缩。,95/107,无损压缩比一般为21到51，因此不适合实时处理图像、视频和音频数据。典型的无损压缩编码有哈夫曼编码、行程编码、Lempelzev编码和算术编码等。哈夫曼编码是一种统计编码,它是根据信源符号出现概率的分布特性而进行压缩编码。在信源符号和码字之间建立明确的一一对应关系，以便在恢复时能准确地再现原信号，同时要使平均码长或码率尽量小。,96/107,一般数据都是用固定长度的编码，例如，ASCII码采用8位二进制数来表示一个英文字母。哈夫曼编码是用不固定长度的二进制编码代替原始数据的，将那些出现频率高的数据用较短的编码来表示，而出现频率低的那些数据用较长的编码来表示，从而实现数据的压缩。JPEG图形格式得压缩就是通过哈夫曼编码实现的。,97/107,哈夫曼编码实现：将信源中的符号按出现的概率递减顺序排列；将2个最小概率相加作为新信源符号的概率；重复、，直到概率的和为1；在每次合并信源时，将合并的信源分别赋0和1(概率大的赋0,概率小的赋1)；寻找从每一信源符号到概率为1处的路径，记录下路径上的1和0；写出每一信源符号的1、0序列(从树根到信源符号节点)。保证了原始数据中的大部分信源符号由较短的编码构成，实现压缩。,98/107,字母文本：AAABBCCCBBBDBBA按ASCII编码，占15个字节，120bit,010101110000000001110011101共27位，12027,99/107,行程编码也是一种统计编码。原理是将原始数据中连续出现的信源符号（称为行程），用一个计数值（称为行程长度）和该信源符号来代替。例如有字母文本：BBBBBCCCAAAAAAGGG，占17个字节，经行程编码压缩后的结果为：5B3C6A3G，占8个字节，数字表示其后字母连续出现的次数，可见行程编码的位数远远少于原始字符串的位数。,100/107