大学计算机基础07

1、第7章 多媒体技术基础 多媒体概述 多媒体数据的压缩与编码 多媒体信息处理2007年四川大学计算机基础教学实验中心7.1 多媒体概述 7.1.1 多媒体的基本概念 7.1.2 多媒体系统的组成 7.1.3 多媒体技术的应用 2大学计算机基础（第7章） 多媒体技术是以数字技术为基础，将通信技术、广播技术和计算机技术融于一体，能够对文字、图形、图像、声音、视频等多媒体信息进行存储、传送和处理的综合性技术。在人类信息科学技术史上，它是继活字印刷术、无线电-电视机技术、计算机技术之后的又一次新的技术革命。3大学计算机基础（第7章）1. 媒体（Medium）（P197）两种含义 7.1.1 基本概念2.

2、 多媒体（Multimedia ）（P197） 多媒体是指信息表示媒体的多样化，如数字、文字、图形图像、动画、声音、视频。 存储信息的载体：如磁盘、光盘等 信息的载体：数字、文字、图像、声音等 多媒体技术中的媒体指后者。4大学计算机基础（第7章）7.1.1 多媒体的基本概念3. 多媒体技术（P197） 利用计算机综合处理多媒体信息的技术。多媒体技术的具体任务是把多种媒体信息通过计算机进行数字化采集、存储、压缩与解压缩、编辑、复制和传输等加工处理，再以单独或合成的形式表现出来。它包括数字化信息处理技术、音频和视频技术、计算机软件和硬件技术、人工智能和模式识别技术、通信和网络技术等。 多媒体技术具

3、有4方面的显著特性： 多样性、集成性、交互性、实时性。掌握掌握5大学计算机基础（第7章）7.1.1 多媒体的基本概念4. 超文本、超媒体和流媒体（P198） 1）超文本 超文本是一种信息管理技术，可将信息自然地相连接，建立穿越文档的大量信息路径，注释已有的文本。超文本系统是通过指示器连接非线性的基本信息单元。 2）超媒体 人们通常认为“多媒体+超文本”的综合技术，就是超媒体。超媒体系统包括超文本系统的非线性信息链和多媒体系统中的连续和离散媒体。 3）流媒体 流媒体传输技术是一种基于时间的连续实时传输技术，关键在于实现网络数据传输和客户端播放的并行。6大学计算机基础（第7章） 多媒体计算机的层次

4、结构 1. 多媒体计算机的系统结构（P198） 7.1.2 多媒体系统的组成7大学计算机基础（第7章） 7.1.2 多媒体系统的组成2. 多媒体计算机硬件系统（P199） 多媒体计算机硬件系统基本配置是：功能强大的CPU和内存储器；高分辨率的图像处理及其显示设备；高保真处理音频的声卡和设备；存放海量多媒体数据的存储设备以及其他输入、输出设备 。 多媒体计算机硬件结构 8大学计算机基础（第7章）多媒体计算机硬件结构连接示意图 7.1.2 多媒体系统的组成9大学计算机基础（第7章） 7.1.2 多媒体系统的组成多媒体硬件系统中的主要技术指标1）CPU2）多媒体接口卡 ：声卡、视频采集卡、图形加速卡

5、和IECEl394卡 声卡是多媒体技术中最基本的组成部分，是实现声波/数字信号相互转换的硬件。通过 A/D（模/数）转换、D/A（数/模）转换、编辑与合成处理、MIDI接口等设备进行声音的加工与处理。 视频采集卡一般是安装在计算机扩展槽上，它能汇集多种视频源的信息，对被捕捉和采集的画面进行数字化、冻结、存储、输出及其他处理操作，如编辑、修整、裁剪、按比例绘制、像素显示调整、缩放功能等。 图形加速卡是工作在CPU和显示器之间，实现控制计算机图形的输出。 IEEEl394卡作为一种数据传输的开放式技术标准，应用在众多领域，包括数码摄像机、高速外接硬盘、打印机和扫描仪等多种设备上 3）信息获取设备：

6、扫描仪、数码照相机、数码摄像机（DV）、触摸屏4）常用多媒体设备:CD 、DVD 10大学计算机基础（第7章）3. 多媒体计算机软件系统（P204） 7.1.2 多媒体系统的组成 多媒体计算机软件系统按功能可分为系统软件和应用软件。系统软件是指管理、监控 和维护多媒体计算机资源（包括硬件和软件）的软件；应用软件是指系统软件以外的其他软 件，它是具体应用领域的程序。多媒体软件系统多媒体应用软件多媒体系统软件多媒体驱动软件多媒体操作系统多媒体工具软件多媒体数据处理软件多媒体创作软件多媒体数据库系统程序设计语言多媒体硬件开发工具或函数多媒体编辑软件11大学计算机基础（第7章） 7.1.3 多媒体技术

7、的应用 1. 教育与培训 教育领域是应用多媒体技术最早、发展最快和受益面最广的领域。2. 电子出版物 电子出版物与传统的纸介质出版物相比，电子出版物不仅能够储存文字、图形和图像，而且能够储存声音和动态画面，从而增加了人们的学习兴趣，提高了学习效率。 3. 多媒体网络 Inlernet的兴起与发展，在很大程度上对多媒体技术的进一步发展起到了促进作用。目前，多媒体网络应用已经取得了许多新进展，主要表现在以下几个方面：互联网直播 、视频点播、视频会议 、远程教育。4. 多媒体技术的研究和应用开发 多媒体数据的表示技术,包括文字、声音、图形、图像、动画、影视等媒体在计算机中的表示方法。应用涉及到多媒体

8、创作和编辑工具、多媒体数据的存储技术、多媒体数据的存储技术、多媒体的应用开发（多媒体CD-ROM节目（title）制作、多媒体数据库、环球超媒体信息系统（Web）、多目标广播技术（Multicasting）、影视点播（Video On Demand，VOD）、电视会议（Video Conferencing）、远程教育系统、多媒体信息的检索等技术的）5. 多媒体的关键技术 多媒体信息处理的关键技术主要有6个方面：数字化技术、数据压缩、编码技术、数据存储技术、同步技术、网络技术。掌握12大学计算机基础（第7章）7.2 多媒体数据压缩与编码 7.2.1 数据压缩的必要性 7.2.2 数据压缩的可能性

9、7.2.3 数据压缩与编码技术 13大学计算机基础（第7章） 7.2.1 数据压缩的必要性 多媒体计算机采用数字化方式对声音、文本、图形、图像和视频等媒体信息进行表示和处理。 1）文本 人们对事件的描述需要大量的文本资料进行展示，而每个文本字符的存放需要一定的存储空间。计算方法见教程P2072）图像 图像数字化是指将一幅真实图转变成计算机能够接受的数字形式，主要涉及到对图像的采样、量化和编码等方面的处理。 图像文件的数据量与组成图像的像素数量和颜色深度有关.计算方法见教程P2073）音频 人类在正常说话时的音频一般在20Hz-4kHz范围。按奈奎斯特（Nyquist）采样理论“采样频率不应低于

10、声音最高频率的两倍，这样就能把以数字表达声音还原成原来的声音，这叫无损数字化”。计算方法见教程P207 4）视频 在数字化后，如果不压缩视频信息，数据量=帧速率每幅图像的数据量。14大学计算机基础（第7章） 7.2.1 数据压缩的必要性 从上一幻灯片可以看出，数字化多媒体的数据量如此巨大，加之信息种类多，实时性高，给数据的存储、传输以及加工均带来了巨大的压力，不仅要求计算机有更高的数据处理和数据传输能力和巨大的存储空间，还要求通信信道有更高的带宽。为了解决存储、处理和传输多媒体数据的问题，除了提高计算机本身的性能以及通信信道的带宽外，更重要的是对多媒体数据进行有效的压缩，去掉数据中的冗余信息。

11、15大学计算机基础（第7章） 7.2.2 数据压缩的可能性 冗余是指信息存在的各种属性中的多余度。多媒体数据，尤其是图像、音频和视频，数字化表示后存在着大量的重复数据。数据冗余类型 ： 1）空间冗余 一幅图像内的任何一个场景都是由若干像素点构成的，一幅图像中或连续运动的图像之间都有可能存在着大量的色彩或亮度相同、相近的像素块。这些相关性的数字化图像中表现为数据的空间冗余。 2） 时间冗余 以时间为基础的媒体数据中经常存在的一种数据冗余。 3）视觉和听觉冗余 人的视觉和听觉系统由于生理特性的限制，对某些媒体信息无法感知，这种现象称为视觉、听觉的冗余。 4）知识冗余 由图像的记录方式与人对图像的知

12、识之间的差异所产生的冗余称为知识冗余。16大学计算机基础（第7章） 媒体技术发展中主要解决的问题就是大量减少数据量。通过数据压缩手段把信息数据量降下，以压缩形式存储和传输，既节约了存储空间，又提高了传输效率。 压缩处理一般是由两个过程组成：一是编码过程，即将原始数据经过编码进行压缩，以便存储与传输；二是解码过程，此过程对编码数据进行解码，还原为可以使用的数据。因此，数据压缩方法也称为编码方法。 7.2.3 数据压缩与编码技术17大学计算机基础（第7章） 按照压缩方法是否产生失真分类, 数据压缩可分为两种类型：一种叫做无损压缩，另一种叫做有损压缩。 什么是无损压缩P210 什么是有损压缩P210

13、1）图形文件的压缩标准JPEG JPEG是一个适用范围很广的静态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。 JPEG文件格式是为了提供一种存储深度位（像素）的有效方法，使用了有损压缩算法，牺牲了一部分的图像数据来达到较高的压缩率。 1. 数据压缩的方法（P210）2. 数据压缩的标准（P211） 7.2.3 数据压缩与编码技术掌握掌握18大学计算机基础（第7章）2）数字视频压缩标准 数字视频压缩标准（Motion Picture Experts Group，MPEG）是关于运动图像在不同速率的传输介质上传输的一系列压缩标准，以.MPG为文件名。3）MPEG压缩原理 动态图像是由一系列

14、静态图像构成的，每一幅静态图像称为一帧。所以对静态图像的压缩方法同样适用于动态图像。若使用JPEG的压缩算法来压缩每一幅静态图像但动态视频图像的数据量相当巨大，JEPG能达到的压缩比仍不能满足需要，一个直观的想法是用JPEG的方式记录某一帧，如第1帧。在随后的帧中，仅仅记录该帧和前一帧不同的地方，相同的则不再记录。 7.2.3 数据压缩与编码技术19大学计算机基础（第7章） 7.2.3 数据压缩与编码技术3. 文件的压缩与解压（P212） 文件压缩和解压缩软件是一类用于磁盘管理的软件，在使用计算机的过程中经常需要对计算机中的一些大文件或不经常用到的文件进行打包压缩，再保存。这样既可保证文件不易

15、损坏，又为硬盘腾出了不少的使用空间。常用压缩的软件有：WinZip、WinRAR、CAB、PKZIP等。WinRAR 是32位 Windows 版本的 RAR 压缩软件，该软件提供了一个创建，管理和控制压缩包的平台。例：用WinRAR的压缩与解压，单击WinRAR的界面中点击“添加”按钮，可实现“压缩”的操作；点击“释放到”可实现“解压”的操作，操作非常方便。20大学计算机基础（第7章）7.3 多媒体信息的处理 7.3.1 音频信息的处理 7.3.2 图像信息处理 7.3.3 音频信息表示21大学计算机基础（第7章） 7.3.1 音频信息的处理 1. 音频信息的获取（P214）1）“录音机”

16、应用程序 2）剥离视频中的声音 3）下载网上的声音文件 4） 编辑软件 音频信息的处理方法大致可分为两种：一种是数字音频方式，另一种是分析合成的方式。22大学计算机基础（第7章）掌握 7.3.1 音频信息的处理 2. 主流音频文件格式 （P214）1） WAV波形音频文件 WAV是Microsoft Windows提供的音频格式，其文件后缀名为.WAV。这种格式已经成通用音频格式。 2） MP3文件 MP3是第一个实用的有损音频压缩编码。 MP3文件的压缩比例通常使用比特率（bps）来表示。代表每1s的音频可以用多少个二进制比特来表示。通常比特率越高，压缩文件就越大，但音乐中获得保留的成分就越

17、多，音质就越好。由于比特率与文件大小及音质的这种关系，所以又出现了可变比特率（variant bitrate，vbr）方式编码的MP3，这种编码方式的特点是可以根据编码的内容动态地选择合适的比特率，这样编码的结果是在保证了音质的同时又照顾了文件的大小。23大学计算机基础（第7章）录音按钮 ：当使用者准备就绪，单击“录音”按钮，然后开始说话、播放音乐或者向麦克风中输入其他声音，即开始录音。播放按钮：打开声音文件后，单击此按钮，开始播放声音信息。停止按钮：在录音或播放时需暂停，点击此按钮。若继续播放，则点击播放按钮，文件不会从头开始，而是从刚才暂停位置开始。 至尾按钮：单击时，“播放位置”滑标跳到

18、文件的结束处。至尾按钮：单击时，“播放位置”滑标回到文件的开始处。每次当使用者打开录音机时，界面都处于录音状态，单击录音键即开始录音，当录音世界或编辑完成后，单击“文件”保存”，windows会弹出一个“另存为”对话框，使用者根据内容取名存储信息。 7.3.1 音频信息的处理 2. 声音文件的录制与编辑 （P215） windows操作系统的平台中提供了可直接对声音文件进行编辑/播放的录音机软件。在使用windows录音机前，应确定麦克风已正常接入与设置，处于正常工作状态，点击“开始” “程序” “附件” “娱乐” “录音机”，出现下图所示的操作界面。24大学计算机基础（第7章） 7.3.2

19、图像信息的处理 在计算机技术中，图形与图像是一对既有联系又有区别的概念。它们都是一副图，但图的产生、处理和存储方式不同。1. 图像数据的获取（P216） 1）抓图 屏幕图像的抓取可以使用键盘上的“Print Screen”键就可以将屏幕抓取 2）网上获取 从浏览网页的时候下载一些有用的图片。 3）图像的采集 图像的采集有很多种方法，可以用数码相机拍摄数字图像，可以使用扫描仪从印刷品和照片上获取图像等。 4）素材光盘 5）素材原创 25大学计算机基础（第7章）掌握2. 主流图像文件格式 （P217） 7.3.2 图像信息的处理 1） BMP（bitmap）位图文件 BMP文件后缀名以BMP结尾，

20、 BMP文件后缀名以BMP结尾，是微软公司为其Windows环境设置的标准图像格式，在Windows系统中提供了一系列支持BMP图像处理的API函数。 2） GIF（graphics interchange format）图形交换格式 GIF是一种常用的跨平台的位图文件格式，存储的是8位图像文件，最多为256色，常用于网络传输。GIF最初为CompuServe公司所创。GIF文件通常带有.gif的后缀名，GIF采用无损压缩存储，在不影响图像质量的情况下，可以生成很小的文件。3） JPEG（Joint Photographic Experts Group） JPEG 图像文件是目前使用的最广泛、

21、最热门的静态图像文件，JPEG 图像文件采用的是有损压缩，由于它采用了高效的DCT 变换、哈夫曼编码等技术，实现高压缩比，仍然保留的图像高质量。26大学计算机基础（第7章）晕映（Vignettss）效果是指图像具有柔软渐变的边缘效果。使用Photoshop制作晕映效果非常容易，用椭圆选取工具选择图像中的一个区域，利用边缘羽化和填充颜色，则可实现晕映效果如下图所示。 (a) 羽化处理前的效果 (b) 羽化处理后的效果 7.3.2 图像信息的处理 3. 图像信息编辑处理的应用软件 （P218） Photoshop是目前PC机上公认的最好的通用平面美术设计软件，它是功能完善，性能稳定图像编辑处理的软

22、件。Photoshop 的操作界面：Photoshop 的界面主要由标题栏、菜单栏、工具箱、选项栏、控制面板和状态栏组成，如图所示。27大学计算机基础（第7章）RGB颜色模型 7.3.3 视频信息的处理 模拟视频图像处理需要使用专门的视频设备进行，计算机无能为力。要想使用计算机对视频信息进行处理，必须将模拟视频图像数字化。 1）国际照明委员会(CIE) 规定以700nm(红)、546.1nm(绿)、435.8nm (蓝)三个色光为三基色。又称为物理三基色。2）自然界的所有颜色都可以通过这三基色按不同比例混合而成。28大学计算机基础（第7章） 7.3.3 视频信息的处理 1. 视频频信息的获取（

23、P218） 1）数字化视频的保存 数字视频数据量巨大，通常采用特定的算法对数据进行压缩，根据压缩算法的不同，保存数字视频信息的文件格式也不同。通常根据用途将视频文件可以分成两大类：影像视频文件和流式视频文件。2）视频文件的采集方法 直接采集： 使用数码摄像头（需要连接计算机）或数码摄像机直接录制采集视频。 间接采集： 将传统的录像带通过视频压缩卡制成MPEG格式的数字文件。从已有的资源库、电子书籍、课件及录像片、VCD、DVD片中通过工具软件把VCD光盘上的DAT格式文件转换成标准的MPEG格式等，或网上找到视频文件。29大学计算机基础（第7章） 7.3.3 视频信息的处理 用采集卡采集视频素

24、材方法： 安装好采集卡并连接好线路后，启动采集软件，设置好相关参数后，按下录像机或影蝶机，进行浏览发现要采集的内容后，点击“记录”按钮开始采集，记录完毕后，把采集到的信息保存为AVI格式即可。 从浏览网页的时候下载一些有用的图片。 流媒体的采集： 流媒体文件不能直接在互联网上保存下载，需要借助相关工具软件。30大学计算机基础（第7章） 7.3.3 视频信息的处理 2. 视频的主流格式文件 （P220） 1）影像视频文件（1）AVI格式文件 AVI格式文件的扩展名是.AVI，是Microsoft公司开发的一种数字音频与视频文件格式，该格式文件是一种不需要专门硬件支持就能实现音频与视频压缩处理、播

25、放和存储的文件。（2）MOV格式文件 MOV格式文件的扩展名是mov，是Apple公司在QuickTime for Windows视频应用程序中，使用的视频文件。可以合成视频、音频、动画和静止图像等多种素材。该文件数据量大，需要压缩。（3）MPG格式文件 MPG格式文件的扩展名是.MPG，是按照MPEG标准压缩的全屏视频标准文件。（4）DAT格式文件 DAT格式文件的扩展名是.DAT，是VCD专用的格式文件，文件结构与MPG文件格式基本相同。31大学计算机基础（第7章） 7.3.3 视频信息的处理 2）流式视频文件格式 （1）RealMedia格式文件 Real Networks公司开发的流式视频文件格式，它包括RA （RealA