多媒体基本概念课件(PPT 49页)

1、第 1 章 多媒体基本概念1.1 多媒体概述1.2 多媒体元素1.3 多媒体信息的数据压缩1.4 多媒体系统1.5 多媒体技术1.6 思考与练习第1页，共49页。重点与难点了解：媒体、多媒体、数据压缩等概念媒体分类、多媒体关键特性、多媒体关键技术多媒体数据压缩的必要性和可行性数据压缩技术的性能指标、数据压缩标准多媒体系统掌握：多媒体数字化文件数据量的计算方法数据压缩方法、Huffman编码多媒体关键技术第2页，共49页。1.1 多媒体概述第3页，共49页。1.1.1 媒体与多媒体 媒体：是指传播信息的载体。目前的主要媒体有报纸、杂志、广播、电视、互联网、IPTV、电子杂志等。 计算机领域媒体的

2、两重含义一是指存储信息的实体（媒质），如磁带、磁盘等二是指传递信息的载体（媒介），如声、文、图、像等。多媒体计算机技术中的媒体指的是第二种。 多媒体多媒体的英文单词是Multimedia，它由media和multi两部分组成。一般理解为多种媒体的综合。实际上多媒体是计算机和视频技术的结合，包括声、文、图、像、视频、动画等多种媒体的综合集成应用。 多媒体经常作为多媒体技术的同义词。第4页，共49页。多媒体概念多媒体是超媒体（Hypermedia）系统中的一个子集，而超媒体系统是使用超链接构成的全球信息系统，全球信息系统是因特网上使用 TCP/IP 协议和 UDP/IP 协议的应用系统。关于“多媒

3、体”概念的标准定义还没有统一，一般理解为“多种媒体的综合”，而多媒体技术也就是“进行多种媒体综合的技术”了。这个定义道出了多媒体的实质，但还太笼统。 广义，指的是能传播文字、声音、图形、图象、动画和电视等多种类型信息的手段、方式或载体。包括电影、电视、VCD、电脑、网络等。 狭义，专指融合两种以上“传播手段、方式或载体”的、人机交互式信息交流和传播的媒体，或者说是指在计算机控制下把文字、声音、图形、影象、动画和电视等多种类型的信息，混合在一起交流传播的手段、方式或载体。如多媒体电脑、因特网等。 参阅程栋实用网络新闻学新华出版社，2002年版第5页，共49页。1.1.2 媒体分类 按承载信息的方

4、式来划分,国际电信联盟远程通信标准化组织ITU-T（原国际电报电话咨询委员会CCITT）的定义，把媒体分为5大类：感觉媒体存放处理加工输入输出显示媒体存储媒体表示媒体显示媒体感觉媒体(Perception Medium)表示媒体(Representation Medium) 显示媒体(Presentation Medium)存储媒体(Storage Medium)传输媒体(Transmission Medium)第6页，共49页。按计算机处理数据的形式来划分：文本：采用文字编辑软件生成文本，或图像处理软件形成图形方式的文字或符合。声音：通常采用WAV或MID格式等数字化音频文件图形：采用算法语

5、音或某些应用软件生成的矢量图像，具有体积小、线条圆滑变化的特点图像：采用像素点描述的自然影像。动画：有矢量动画和帧动画之分。视频：动态的图像。1.1.2 媒体分类第7页，共49页。从人机交互的角度来划分：视觉、听觉、触觉、嗅觉和味觉 人类感知信息的途径有65%来源于视觉；20%来源于听觉，10%来源于触觉，嗅觉、味觉等约占5%。1.1.2 媒体分类第8页，共49页。1.1.3 多媒体的关键特性多样性：信息载体的多样性是相对于计算机而言的，即指信息媒体的多样性。多媒体就是要把计算机处理的信息多样化，从而改变计算机信息处理的单一模式，使人们能交互地处理多种信息。 集成性：能够对信息进行多通道统一获

6、取、存储、组织与合成。 交互性：交互性是多媒体应用有别于传统信息交流媒体的主要特点之一。实时性：当用户给出操作命令时，相应的多媒体信息都能够得到实时控制。 非线性、信息使用的方便性、控制性等。 第9页，共49页。1.2 多媒体元素多媒体元素是指多媒体应用中可显示给用户的媒体组成，目前主要包含文本、图形、图像、声音、动画和视频等。均采用数字形式存储，形成相应的文件，称为多媒体数据文件。第10页，共49页。1.2.1 文本文本文件:非格式化文本文件（纯文本文件），如“.txt” 格式化文本文件，如“.doc”。 计算机中的文字：用编码的方式在计算机内存储和交换计算机获取文字的方法： 键盘、手写、语

7、音、OCR采用文字编辑软件生成文本，或者采用图像处理软件形成图形方式的文字及符号。多媒体多媒体Multimedia如何从事多媒体教学第11页，共49页。1.2.2 图形图形一般指由计算机绘制的画面，如直线、矩形、圆、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。在图形文件中只记录生成图的算法和图上的某些特征点，因此又称为矢量图，文件格式有WMF、DXF。 第12页，共49页。1.2.3 图像图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面.静止的图像是一个矩阵，阵列中的各项数字用来描述构成图像的各个点（称为像素点pixel)的

8、强度与颜色等信息。这种图像也称为位图。图像文件在计算机中的存储格式有多种，如BMP、 JPG 、PSD、GIF等，一般数据量都较大。第13页，共49页。颜色深度与显示的颜色数目每一个像素在计算机中用若干二进制位来表示称为该图像的颜色深度（显示深度）。例如，一个像素若用8位二进制数表示，则可以表示256种黑白灰度或256种彩色。如果一个像素用24位二进制表示，则可以表现1677万种颜色，一般称为真彩色。颜色深度颜色总数图像名称12黑白图像416索引16色图像8256索引256色图像1665536HI-Color图像2416672216True Color 图像第14页，共49页。处理图像时要考虑

9、三个因素图像分辨率：数字化图像的大小，即该图像的水平与垂直方向的像素个数。图像深度：(也称图像灰度、颜色深度）表示数字位图图像中每个像素用于表示颜色的二进制数字位数。图像文件大小=像素总数*图像深度/8（B）计算一副640*480的256色图像大小？分辨率图像深度图像文件大小第15页，共49页。相同分辨率不同颜色深度的四幅图像文件宽度：271高度：300颜色：2大小：9.9KB宽度：271高度：300颜色：4大小：19.8KB宽度：271高度：300颜色：256大小：79.4KB宽度：271高度：300颜色：真彩色大小：238.2KB注意观察图像的效果、图像文件的大小第16页，共49页。图像与

10、图形比较图像用于表现比较细腻，层次色彩丰富，含有大量细节的图如照片、油画等。图形主要用于建筑、线型图画、美术字制作等。第17页，共49页。1.2.4 声音声音是一种物体震动产生的波，频率在20Hz-20KHz的波称为音频波，频率小于20Hz的波称为次声波，频率大于20KHz的波称为超声波。我们说话时产生的声音波的频率范围约为300-3000Hz；音乐波的频率范围可达10-20KHz。常用的声音文件WAV、MID、MP3 第18页，共49页。影响声音文件质量的指标声音的频率范围为20-20KHz，根据采样定理，其采样频率不应低于40KHz，在多媒体技术中常用的采样频率为44.1KHz。量化精度现

11、在常采用16为，质量更高的也有用24位。为了取得立体声音响效果，有时需要进行“多声道”录音，最起码有左右两个声道，较好则采用5.1或7.1声道的环绕立体声。采用频率越高，量化精度越高，声道数越多，则声音质量就越好，而数字化后的数据量就越大。第19页，共49页。1.2.5 动画动画是利用人视觉暂留特性，快速连续播放一系列相关的连续画面，典型的动画是卡通片。动画和视频影像不同的是动画是人工创造出来的连续图形所组合成的动态影像。动画需要每秒20个以上的画面。画面的产生可以逐幅绘制，也可以实时计算。计算机设计动画方法有两种：帧动画、造型动画。常用的动画文件GIF、FLI/FLC、SWF多画面帧动画单画

12、面矢量动画FRAME 01 FRAME 02 FRAME 03 FRAME 04 FRAME 05 FRAME 06 FRAME 07第20页，共49页。1.2.6 视频视频图像和动画一样，也是利用人的视觉暂留特性（暂留1/24秒），将足够多的画面（帧）连续播放，区别是处理的是活动影像，即显示场景的再现。电影：24帧/秒电视：（PAL）25帧/秒、（NTSC）30帧/秒 计算机中主要的视频文件格式：WMV、AVI、MPG、ASF第21页，共49页。1.3 多媒体信息的数据压缩多媒体计算机技术处理的声、文、图、像、视频、动画等数字化文件数据量非常惊人，造成计算机的存储和网络的传输负担，使多媒体数

13、据进行压缩成为了必需，从而也使得多媒体数据压缩技术成为多媒体技术迅速发展的关键技术之一。第22页，共49页。1.3.1.1媒体信息的数据量 声音文件的数据量=(采样频率量化位数声道数声音持续时间)8电话话音(8k813600) / 8 = 28125 (KB) 27.47 (MB) CD音乐 (44.1k1623600) / 8 = 635040 (KB) 620 (MB) 5.1声道 （44.1k165.13600）/8 = 1581398 (KB) 1544 (MB) 1.5 (GB)第23页，共49页。1.3.1.1媒体信息的数据量静态图像文件的数据量=(垂直方向分辨率水平方向分辨率颜色

14、深度)8真彩色位图图像，分辨率为640480(64048024) 8 = 900 (KB) 相机(如Nikon D200)拍摄的照片图像，分辨率为38822592，颜色深度为24位：(3882259224) 8 29479 (KB) 28.8 (MB) 第24页，共49页。1.3.1.1媒体信息的数据量动态视频文件的数据量 =（分辨率颜色深度） 帧频 播放时间 8彩电PAL制式，帧频为25，每帧画面为625行，宽高比为4:3，每秒数据量：(6254/3)62524)25 8 38147 (KB) 37.25 (MB)需要的传输带宽为312.5 Mbps；每小时的数据量约为131GB；在650M

15、B的光盘中只能存放不到18秒的视频。高清晰度电视（HDTV），分辨率为19201080，帧频为30，每秒数据量为：(1920108024)30 8 = 182250 (KB) 177.98 (MB)需要的传输带宽为1423.8 Mbps；每小时的数据量约为626GB。 第25页，共49页。1.3.1.2 冗余的基本概念多媒体信息的数据量 = 信息量 冗余数据量多媒体信息中存在着大量的冗余，使得多媒体数据压缩技术成为可行。多媒体信息的数据冗余主要体现在两个方面相同或相似信息的重复 无法传递或播出的信号，这部分信号的数据可以被压缩剔除 第26页，共49页。1.3.1.3 数据冗余的种类-空间冗余空

16、间冗余 ：图像本身的数据冗余，在任何一幅图像中，均有许多灰度或颜色都相同的邻近像素组成的局部区域，它们形成了一个性质相同的集合块，即它们之间具有空间上的强相关性，在图像中就表现为空间冗余。空间冗余的压缩方法：把这种局部区域集合块当作一个整体，用极少的数据量来表示，从而节省存储空间。第27页，共49页。数据冗余的种类-时间冗余序列图像和语音数据中都包含时间冗余。第28页，共49页。数据冗余的种类-结构冗余指图像各部分结构上的类似性所产生的冗余，例如物体表面图像上的纹理结构。第29页，共49页。数据冗余的种类-知识冗余指某些图像的结构可由这些图像的先验知识和背景知识获得。例：人脸的图像有固定的结构

17、：嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正脸图像的中线上等。这类规律的结构可由先验知识和背景知识得到，因此这类信息对一般人来说是冗余信息。第30页，共49页。数据冗余的种类-视觉听觉冗余视觉听觉冗余是指人的视觉、听觉分辨率低于实际图像、音频的分辨率所产生的冗余。例，人的视觉对于图像边缘的急剧变化不敏感，对图像的亮度信息敏感，对颜色的分辨率较弱等。第31页，共49页。数据冗余的种类-编码冗余编码冗余又称信息熵冗余，它是指一块数据所携带的信息量少于数据本身所产生的冗余。例如，利用等长码表示信息比不等长码表示信息存在冗余第32页，共49页。1.3.2 数据压缩技术基础 多媒体信息的数据压缩涉及的

18、技术较多，主要包括多媒体信息的数字化技术、数据压缩技术。熵的概念熵（Entropy）是1865年出现于热力学中的一个重要概念。1948年香农（Claude Shannon）在其首创的信息论中借用了“熵”这一名词。信息论中的“熵”又称为信息熵，用来表示一条信息中真正需要编码的信息量，即该信息数据压缩的理论极限。第33页，共49页。所谓信息量，是指从概率相同的N个事件中选出一个事件所需要的信息量度，也就是在N个事件中分辨出一个特定事件的过程中，需要问“是”或“否”的最少次数。例如，我错过了看世界杯，赛后我问一个知道比赛结果的观众“哪支球队是冠军”？ 他不愿意直接告诉我， 而要让我猜，并且我每猜一次

19、，他要收一元钱才肯告诉我是否猜对了，那么我需要付给他多少钱才能知道谁是冠军呢? 我可以把球队编上号，从 1 到 32， 然后提问要。如何从132中猜中某一数字呢？可先问“是否大于16”，无论回答“是”或“否”都会将范围减少一半。如此继续，只要问5次，就能从32个数中选中某一个数。第34页，共49页。信源S的熵定义为：H(s) = pi log2 (1/ pi) pi是符号Si在S中出现的概率；log2 (1/ pi)表示包含在Si中的信息量，也就是编码Si所需要的位数。例如一幅灰度图像采用256级灰度，如果一个像素点取值每一个灰度级的概率均为pi = 1256，则每一个灰度级的编码需要8个二进

20、制位，即每一个像素点就需要8位编码表示。 第35页，共49页。熵计算实例有一幅100个像素组成的灰度图像，共5级，用符号A、B、C、D和E表示，100个像素中各级灰度的像素数如下：灰度级灰度A灰度B灰度C灰度D灰度E像素个数 502510105如果用3个二进制位表示5个等级的灰度值，也就是每个像素用3位表示，编码这幅图像总共需要300位；按照香农理论，这幅图像的熵为：H(s) = (50/100) log2 (100/50) + (25/100) log2 (100/25) + (10/100) log2 (100/10) + (10/100) log2 (100/10) + (5/100)

21、log2 (100/5) 1.88 (bit)这就是说每个符号用1.88位表示，100个像素需用188位。 第36页，共49页。统计编码原理熵的作用：在统计编码中，使用熵值可以衡量是否为最佳编码。熵值是平均码长的下限。第37页，共49页。统计编码：Huffman编码（哈夫曼编码）Huffman编码属于码字长度可变编码，是Huffman在1952年提出的一种编码方法。生成Huffman编码算法基于一种称为Huffman树的技术。编码步骤：将信源符号按概率递减顺序排列；把两个最小的概率加起来，作为新符号的概率；重复1和2步，直到概率和达到1为止；在每次合并消息时，将被合并的消息赋以1和0或0和1。

22、寻找从每个信源符号到概率为1处得路径，记录下路径上的1和0。对每个符号写出“1”、“0”序列。（从码数的根到终结点）。第38页，共49页。练习：假设信源符号为a,b,c,d,e,f,g,h,i，这些符号的概率分别为0.22,0.22,0.14,0.07,0.07,0.07,0.07,0.07,0.07,构造出哈夫曼树和哈夫曼编码。110第39页，共49页。3.数据压缩技术的性能指标数据压缩一般是由两个过程组成：一是编码过程，即将原始数据进行编码压缩，以便存储和传输；二是解码过程，即将编码数据还原为可以使用的数据。衡量数据压缩技术性能好坏的技术指标有：压缩比要大，即数据压缩前后信息容量之比要大算法要简单，即容易实现压缩及解压缩速度要快，即尽可能达到实时性失真