多媒体技术复习

1、多媒体技术多媒体技术沈超 南京邮电大学 经济与管理学院考试相关考试相关 时间：18周后 学校统一安排 题型：填空 16*1 选择9*2 计算 5*5 简答 5*4 论述 3*7 实验：5.20 第一次实验 教4-417 ab dm室 音频和图片处理 5.27 第二次实验 教4-417 ab dm室 多媒体制作 多媒体的定义多媒体的定义 “多媒体 ”是指融合两种或两种以上媒体的一种人-机交互式信息交流和传播媒体，这些信息媒体包括：文字、声音、图形、图象、动画、视频等。多媒体中的媒体元素及特征多媒体中的媒体元素及特征 多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成。音频动画视频文本图形图像1

2、.2 多媒体系统构成多媒体系统构成 多媒体计算机系统的分层结构多媒体应用软件第八层软件系统多媒体创作软件第七层多媒体数据处理软件第六层多媒体操作系统第五层多媒体驱动软件第四层多媒体输入/输出控制卡及接口第三层硬件系统多媒体计算机硬件第二层多媒体外围设备第一层2.1 声音信号概述声音信号概述 什么是声音？ 声音是通过空气传播的一种连续的波。声音是携带信息的极其重要的媒体，是多媒体技术研究中的一个重要内容。 单一频率的声波可用一条正弦波表示，如下图所示。振幅振幅周期周期基线基线声音的听觉特性声音的听觉特性 声音的三要素。 音调 表示声音的高低，取决于声音的频率。 音色 即特色的声音。 声音分纯音和

3、复音，复音包括基音和泛音。 音色由基音与泛音的比例、泛音的分布、泛音随时间的衰减变化决定。 音强 声音的强度，取决于声音的振幅。即“音量”。2.2 声音信号数字化 声音信号数字化的过程模拟模拟信号信号数字数字信号信号采样采样量化量化编码编码 采样采样：在某些特定时刻对模拟信号进行测量，即使音频信：在某些特定时刻对模拟信号进行测量，即使音频信号在时间轴上离散化。号在时间轴上离散化。 量化量化：对采样后的离散音频信号幅值样本进行离散化处理，：对采样后的离散音频信号幅值样本进行离散化处理，即将每一个样本归入预先编排的量化级上。即将每一个样本归入预先编排的量化级上。 编码编码：对量化级以二进制数码按一

4、定数据格式表示的过程。：对量化级以二进制数码按一定数据格式表示的过程。影响数字音频质量的技术参数影响数字音频质量的技术参数 对模拟音频信号进行采样量化编码后，得到数字音频。数字音频的质量取决于采样频率、量化位数和声道数三个因素。1）采用频率 指一秒钟时间内采样的次数。 奈奎斯特理论（Nyquist theory）：采样频率不应低于声音信号的最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，叫做无损数字化。 采样频率通常采用三种：11.025KHz(语音效果)、22.05KHz(音乐效果)、44.1KHz(高保真效果)。 常见的CD唱盘的采样频率即为44.1KHz。2）量化精度描述每个

5、采样点样本值的二进制位数。例如，8位量化位数表示量化精度为1/256。 信噪比（）SNR= 10 lg （Vsignal) /(Vnoise) = 20 lg （Vsignal/Vnoise）其中，Vsignal表示信号电压，Vnoise表示噪声电压；SNR的单位为分贝（dB)。）声道数声音通道的个数称为声道数，是指一次采样所记录产生的声音波形个数。 单声道：记录声音时，每次生成一个声波数据； 双声道（立体声）：每次生成两个声波数据。随着声道数的增加，所占用的存储容量也成倍增加。数字音频文件的存储量数字音频文件的存储量以字节为单位，模拟波形声音被数字化后音频文件的存储量(假定未经压缩)为：存储

6、量=采样频率量化位数/8声道数时间例如，用44.1KHz的采样频率进行采样，量化位数选用16位，则录制1秒的立体声节目，其波形文件所需的存储量为：4410016821=176400(字节)MIDI文件的特点(1). 指令集合，文件小。(2). 编辑灵活，在音序器的帮助下，用户可自由地改变音调、音色以及乐曲速度等，以达到需要的效果。 (3). MIDI声音适于重现打击乐或一些电子乐器的声音，利用MIDI声音方式可用计算机来进行作曲。(4).使用MIDI文件，其声音卡上必需含有硬件音序器或者配置有软件音序器。数字式频率调制（数字式频率调制（FM ）合成）合成法法由以下五部分组成：由以下五部分组成：

7、 数字载波器数字载波器 调制器调制器数字运算器数字运算器声音包络发生器声音包络发生器 模数转换器模数转换器从理论上讲，从理论上讲，FM合成方法可以产生任何乐音，但是，这种合成方法可以产生任何乐音，但是，这种“物理课式物理课式”的合成方法合成出来的声音不够真实。的合成方法合成出来的声音不够真实。乐音样本合成法乐音样本合成法此法产生的声音质量比此法产生的声音质量比FMFM合成方法产生的声音质量要高。合成方法产生的声音质量要高。把真实乐器发出的声音把真实乐器发出的声音以数字的形式记录下来，以数字的形式记录下来，播放时再加以调整、修播放时再加以调整、修饰和放大，生成各种音饰和放大，生成各种音阶的音符。

8、阶的音符。话音编译码器的分类话音编译码器的分类 波形编译码器（waveform coder）：不利用生成话音的信号的任何知识，将话音视为一种普通的声音，直接对波形信号进行采样和量化。特点：编译码器简单，话音质量高，但数 据率也很高；例如：PCM、DM、DPCM、ADPCM等。 音源编译码器（Source coder）：也叫参数编译码器、声码器（vocoder）。它从话音波形信号中提取生成话音的参数，使用这些参数通过话音生成模型重构出话音。特点：算法复杂，计算量大，压缩率高，但还原声音的质量不高。 混合编译码器（Hybrid coder）：把波形编码的高质量和音频编码的低数据率结合在一起，取得了

9、较好效果。差分脉冲编码调制（差分脉冲编码调制（DPCM) Differential Pulse Code Modulation，DPCM是利用样本与样本之间存在的信息冗余度来进行编码的一种数据压缩技术。 编码思想：对实际信号值与预测值之差进行量化编码，从而就减少了表示每个样本信号的位数，降低传送或存储的数据量。信息熵及基本概念信息熵及基本概念 信息量：是指从N个相等的可能事件中选出一个事件所需要的信息度量，也就是在辨识N个事件中特定的一个事件的过程中所需要提问“是或否”的最少次数。例如，从64个数中选定一个数，需要多少信息量？log264=6 bits 信息量的计算设从N个数中选定任一个数xj

10、的概率为P(xj),假定选定任一数的概率都相等，即P(xj)=1/N，则定义信息量为： i(xj)=log2N=-log2(1/N)=-log2 P(xj) 事件发生的概率越大，不确定性越小，事件一旦发生后提供的信息量也越少！问：一个必然事件的信息量为多少？0 ! 信息熵：将信源所有可能事件的信息量进行平均。iiippSH1log)(2 其中，其中，pi是第是第i个事件出现的概率。个事件出现的概率。 实际上实际上, ,信息熵是编码所有符号平均所需的信息熵是编码所有符号平均所需的二进制位数。二进制位数。 举例：40个像素组成的灰度图象，灰度为5级，ABCDE，出现每个灰度的像素个数不同，为：15

11、、7、7、6、5，该图象的熵为多少？解：解：H（s）=(15/40)log2(40/15)+=2.196； 40个像素需个像素需402.196=87.84位位否则，要用三个位才能表示否则，要用三个位才能表示5个等级的灰度值，那么个等级的灰度值，那么编码这个图像共需要编码这个图像共需要120位！位！霍夫曼编码霍夫曼编码 霍夫曼编码采用从下到上的方法。 具体步骤：（1）将事件出现的概率按由大到小的顺序排序（2）合并概率最小的两个事件（3）排序（4）如果事件个数大于2则重复（2）和（3）（5）赋值（6）编码霍夫曼编码举例霍夫曼编码举例 例2：假设有一个信源符号串为S1, S2, S1, S3, S2

12、, S1, S1, S4。采用霍夫曼编码方法对其编码。 霍夫曼编码举例霍夫曼编码举例 符号S1S2S3S4出现概率1/21/41/81/8等长编码00011011霍夫曼010110111H(X) = 1.75 L1=2 L2=1.75源S1S2S1S3S2S1S1S4等0001001001000011霍01001101000111算术编码算术编码 Huffman 编码的局限性： 使用整数个二进制位对符号进行编码，达不到最优的压缩效果。 举例： -log2(0.8) = 0.322 算术编码思想：将整个信源 0,1)中的一个实数LZ77算法算法LZ77 算法思想： “滑动窗口压缩” 优点：- 采

13、用滑动的窗口限制词典的大小，保证算法的效率；- 包含最近编码过的信息，要编码的字符串往往在最近的上下文中更容易找到匹配串。LZ77编码的基本流程编码的基本流程1）、从当前压缩位置开始，考察未编码的数据，并试图在滑动窗口中找出最长的匹配字符串，如果找到，则进行步骤 2，否则进行步骤 3。2）、输出三元符号组 ( off, len, c )。其中 off 为窗口中匹配字符串相对窗口边界的偏移，len 为可匹配的长度，c 为下一个字符，即不匹配的第一个字符。然后将窗口向后滑动 len + 1 个字符，继续步骤 1。3）、输出三元符号组 ( 0, 0, c )。其中 c 为正在考察的未匹配字符。然后将

14、窗口向后滑动 1 个字符，继续步骤 1。LZ77算法算法LZ77编码举例编码举例 AABCBBABCA步骤步骤位置位置匹配串匹配串输出输出110, 0, A22A1, 1, B340, 0, C45B2, 1, B57ABC5, 3, AJPEG压缩编码算法的主要计算步骤压缩编码算法的主要计算步骤1）将源图像分成几个颜色平面（分量图像）。2）分成88数据块进行正向离散余弦变换(FDCT)。 3）量化(quantization)。Z字形排列量化结果(zigzag scan)。 4）使用差分脉冲编码调制(DPCM)对直流系数(DC)进行编码。 （5）使用行程长度编码(run-length enco

15、ding，RLE)对交流系数(AC)进行编码。 6）熵编码(entropy coding)。4.2 颜色模型和颜色空间颜色模型和颜色空间从人的主观感觉角度，颜色包含三个要素：1、色调（hue）：色调反映颜色的类别，如红色、绿色、蓝色等。色调大致对应光谱分布中的主波长。2、饱和度 饱和度是指彩色光所呈现颜色的深浅或纯洁程度。对于同一色调的彩色光，其饱和度越高，颜色就越深，或越纯；而饱和度越小，颜色就越浅，或纯度越低。可通过掺入白光而降低饱和度可通过掺入白光而降低饱和度3、亮度亮度是光作用于人眼时引起的明亮程度的感觉。是视觉系统对可见物体辐射或者发光多少的感知属性。颜色空间颜色空间(1). 计算机

16、显视器RGB彩色空间 RGB 彩色空间又称加色法系统，三种颜色均无时显示黑色。 在RGB彩色空间，任意彩色光F，其配色方程可写成：F=rR+gG+bB其中，r、g、b为三色系数，rR、gG、bB为F色光的三色分量。(2). 彩色印刷CMYK彩色空间 彩色印刷采用青色、品红、黄色和黑色四种油墨印刷各种颜色，通常把这四种颜色简称CMYK。 CMYK彩色空间又称减色法系统。 添加黑色？！(3). 彩色电视YUV和YIQ彩色空间 现代彩色电视系统中，通常把摄得的彩色图像信号，经分色棱镜分成R0G0B0三个分量的信号，再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y，这就是常用的YUV彩色空间。

17、Y信号分量构成黑白灰度图，U、V构成另外两幅单色图。优点：解决黑白电视机和彩色电视机的兼容问题；可以利用人眼特性来降低数字彩色图像所需的存储容量，大面积涂色。美国、日本等国采用的NTSC制，选用了YIQ彩色空间，Y仍为亮度信号，I、Q仍为色差信号（它们与U、V不同）。通过一定的变换，I对应于人眼最敏感的色度，而Q对应于人眼最不敏感的色度。(4). HSL彩色空间 在HSL彩色空间中，人们常用色调（H）、饱和度（S）、亮度（L）描述颜色特性。 HSL彩色空间能够减少彩色图像处理的复杂性，而且更接近人对色彩的认识和解释。RGBRGB模型和模型和CMYKCMYK模型主要是面向设备的，模型主要是面向设

18、备的，而而HSLHSL模型更容易被人理解和控制。模型更容易被人理解和控制。矢量图与点位图1）矢量图用一系列计算机指令来表示一幅图，如画点、画线、画曲线、画圆、画矩形等。 特点优点是：（1）缩放、旋转、移动时图像不会失真。 （2）存储和传输时数据量较小。 缺点是：（1）图像显示时花费时间比较长。 （2）真实世界的彩色图像难以转化为矢量图。矢量图 看到绘图过程看到绘图过程管理每一小块图管理每一小块图像像构造图库构造图库不适用于复杂图不适用于复杂图2）点位图是将一副图像在空间上离散化，即将图像分成许许多多的像素，每个象素用若干个二进制位来指定该像素的颜色或灰度值。 点位图的优点是：（1）显示速度快。

19、（2）真实世界的图像可以通过扫描仪、数码相机、摄像机等设备方便的转化为点位图。 点位图的缺点是： （1）存储和传输时数据量比较大。（2）缩放、旋转时算法复杂且容易失真。点位图点位图 8图像文件大小 用字节表示图像文件大小时，一幅未经压缩的数字图像的数据量大小计算如下： 图像数据量大小 = 像素总数图像深度8例如：一幅 640480 的 256 色图像大小：64048088 = 307200 字节字节PAL制式(倒相正交平衡调幅制)625行/帧，25帧/秒 隔行扫描：2场/帧，312.5行/场宽高比：4:3颜色模型：YUV 采用于中国、多数欧洲国家3、电视扫描和同步、电视扫描和同步隔行扫描隔行扫

20、描(interlaced scanning)(interlaced scanning)逐行扫描逐行扫描( (non-non-interlaced scanning)interlaced scanning)行频、场频、帧频行频、场频、帧频先扫奇数行，再扫偶数行先扫奇数行，再扫偶数行要求总行数为奇数要求总行数为奇数图像子采样图像子采样 如果对色差信号使用的采样频率比对亮度信号如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采使用的采样频率低，这种采样就称为图像子采样样(subsampling)。3、光存储系统的分类、光存储系统的分类 光存储系统=光盘驱动器+光盘盘片

21、光盘 光存储系统音频光盘（激光唱盘）音频光盘（激光唱盘）视频光盘（影碟盘）视频光盘（影碟盘）计算机用光盘计算机用光盘只读型光驱：即只读型光驱：即CD-ROM驱动器驱动器一次可写型光驱：一次可写型光驱： “光盘刻录机光盘刻录机”可擦写型光驱：可擦写型光驱：“可擦写光盘刻录机可擦写光盘刻录机”从应用角度从应用角度CD-ROM盘片盘片CD-R盘片盘片CD-RW盘片盘片2. CD-R/RW与与CD-ROM盘的差别盘的差别 CD-R中增加了一层有机染料作为记录层，受热溶解形成代表信息的凹坑。CD-RW中增加了可改写的染色层，具有热转换性。 而CD-ROM中的凹坑不是染料溶解后形成的，而是用压模压出的。 CD-R/RW中的反射层是金涂层。CD-ROM中是铝涂层。 CD-R/RW驱动器中使用光学头比CD-ROM中的复杂。3. CD-R/RW的写入和读取原理的写入和读取原理刻录CD-R盘的原理如下： 刻录机首先对写激光进行聚焦，然后照射、烧熔有机染料，形成光痕。刻录CD-RW盘的原理如下： 采用高能激光，使染料层转换为低反射的非结晶状态，实现数据写入； 采用中能激光，使染料层转换为高反射率的结晶状态，