多媒体技术基础02课件

1、第二讲数字音频及MIDI简介一、声音本质与听觉特性二、声音信号数字化三、声音质量的度量四、音乐的基础知识五、声音文件的存储格式六、电子乐器数字接口（MIDI）本讲主要内容声音的本质声音是携带信息的极其重要的媒体（20）。声音是通过空气传播的一种连续的波，叫声波，具有反射、折射和衍射现象。声音信号是由许多频率不同的分量信号组成的复合信号。复合信号的频率范围称为带宽。带宽为20Hz20kHz的信号称为音频（audio）信号，可以被人的耳朵感知。声音是时基类媒体。声音信号的两个基本参数频率：指声音信号每秒钟变化的次数，用f或F表示，单位是Hz，即每秒钟多少次，频率体现在人的感觉中即音调的高低。幅度：

2、指声波振幅的大小，幅度体现在人的感觉中即声音的强弱，响度的大小，响度的表示方式较多，物理上(客观)有声强或声压，心理上(主观)用“方”或者“宋”来度量(第12章) ，我们一般用分贝表示声音响度的大小。声音信号的分类根据声音带宽(频率范围)的不同，把声音信号分为以下四类：亚音信号(f:20KHz)声音的三要素音调、音强、音色为声音的三要素。音强（响度）取决于声音的幅度（分贝）。音调取决于声音的频率。音色是由混入基音的泛音所决定的。声音的听觉特性人的耳朵对声音信号的感觉无论是在频率上还是在强度上都是非线性的。另外人的耳朵对声音信号的感觉存在着掩蔽特性(时域掩蔽、频域掩蔽)，如MPEG编码即利用了此

3、特性。声音信号数字化声音信号是典型的连续信号(模拟信号)，不仅在时间上是连续的，而且在幅度上也是连续的。因此声音进入计算机的第一步就是数字化，即将其转换为数字信号，数字化实际上就是采样和量化。为什么要将模拟信号转换为数字信号？声音信号数字化：采样采样（sampling）：将声音信号在时间上离散化，即每隔相等的一段时间抽取一个信号样本。声音信号数字化：采样频率奈奎斯特理论指出：采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，称为无损数字化。 fs = 2fmax话音信号最高频率约为3.4kHz，所以采样频率一般取为8kHz。声音信号数字化：量化量化（quant

4、ization）：将连续的信号幅度离散化。如果幅度的划分是等间隔的，称为线性量化，否则为非线性量化。 电压范围 量化(dec) 编码(bin) 0.5 0.7 3 011 0.3 0.5 2 010 0.1 0.3 1 001 -0.1 0.1 0 000 -0.3 -0.1 -1 111 -0.5 -0.3 -2 110 -0.7 -0.5 -3 101 -0.9 -0.7 -4 100声音信号数字化：量化精度量化精度: 每个声音样本的数字化位数反映了声音波形幅度的量化精度。量化精度的大小影响声音的质量：位数越多，声音质量较高，数据量较大。位数较少，声音质量下降，数据量较少。声音质量的度量声

5、音的质量与声音信号的数据率成正比关系，一般来说数据率越高，声音质量也就越高。信噪比(SNR)、主观平均判分法(MOS)。质量采样频率(KHz)样本精度(b)声道数数据率(Kb/s)频率范围(Hz)电话88单道声642003400AM11.0258单道声88507000FM22.05016立体声705.62015000CD44.116立体声1411.22020000DAT4816立体乐音乐起初是与巫术和宗教活动联系在一起的，舜作“韶”、禹作“大夏”、武王作“大武”，“乐”被孔夫子列为“六艺”之一 。后来，音乐从宗教中渐渐脱离出来，成为一种独立的艺术。以小提琴为例，当它的

6、A弦振动时，并不仅仅是整根弦在同频率振动，这根弦的二分之一、三分之一、四分之一、五分之一处都各自振动着。于是，整根弦的振动产生了最主要的频率，我们称之为基音，而弦长的二分之一、三分之一、四分之一等处的振动则产生了一些次要的频率，我们称之为泛音。 如果一个物体振动所发出的泛音为基音的整数倍，这个音就会具有清晰可辨的音高，我们称之为乐音，如钢琴，小提琴等发出的都是乐音；如果泛音是基音的非整数倍，这个音就不具备清晰可辨的音高，我们称之为噪音，如汽车发动机、计算机风扇等发出的都是噪音。 音乐的四要素音高：由基音的频率决定。即“哆”“唻”“咪”等音符。响度：由声波的振幅决定。音色：由基音与泛音的比例、泛

7、音的分布、泛音随时间的衰减变化决定。不同发音源（乐器）的材质、形状不同，其泛音的排列组合也不同，也就构成了这一物体特殊的音色。时值：乐音振动的持续时间，即节奏。声音文件的存储格式常用声音文件的存储格式：WAV：波形声音文件。MP3：MPEG-1 Audio标准压缩声音文件。WMA：Windows Media Audio(ASF-Audio文件)。RA：流媒体声音文件。MID：数字音乐，MIDI标准合成音乐。WAV波形声音文件主要用于PC机上，它支持存储各种采样频率和样本精度的声音数据，并支持声音数据的压缩(RLE)。波形声音文件由许多不同类型的文件构造块组成，其中最主要的两个文件构造块是格式块

8、(format chunk)和声音数据块(sound data chunk)。格式块：描述声音文件的重要参数，如采样频率、样本精度、压缩方式等。声音数据块：实际的波形声音数据。声音文件的存储格式(续)电子乐器数字接口(Musical Instrument Digital Interface, MIDI)是用于在音乐合成器、乐器、和计算机之间交换音乐信息的一种标准协议。 MIDI是乐器和计算机使用的标准语言，是一套指令的约定，它指示乐器(MIDI设备)要做什么，怎么做，如演奏音符、加大音量、生成音效等。电子乐器数字接口(MIDI)MIDI的优点：生成的文件比较小。容易编辑。可做为背景音乐。电子乐

9、器数字接口(MIDI)(续)电子乐器数字接口(MIDI)(续)电子音乐数字合成法有两种： FM合成(频率调制合成) 乐音样本合成(波形表合成)频率调制(FM)合成法数字式频率调制合成法，简称为FM合成法。FM电子合成器先由震荡器产生一个载波作为基音，然后再产生若干个调制波带着许多泛音加在载波之上，您可以对这个组合加以任意调整，然后加上典型的声音包络线（ADSR），再通过数控滤波器和数控放大器送往数字/模拟转换器，从而形成最后的音响。由于一个物体不可能总是一成不变的振动，所以它的频率和振幅都会随着时间的改变而改变，并最终趋于静止。我们把一声音的发展过程分为四个阶段，分别是触发、衰减、保持和消失。

10、这四个阶段我们统称为“包络” 。包络的发生时间，也决定了一个乐音的时值。由以下五部分组成： 数字载波器 调制器 声音包络发生器 数字运算器 模数转换器FM声音合成器的工作原理从理论上讲，FM合成方法可以产生任何乐音，但是，这种“物理式”的合成方法合成出来的声音不够真实。频率调制(FM)合成法(续)改变数字载波频率可以改变乐音的音调，改变它的幅度可以改变它的音量。 改变波形的类型，如用正弦波、半正弦波或其它波形，会影响基本音调的完整性。 快速改变调制波形的频率(即音调周期)可以改变颤音的特性。 改变反馈量，就会改变正常的音调，产生刺耳的声音。 选择的算法不同，载波器和调制器的相互作用也不同，生成

11、的音色也不同。 频率调制(FM)合成法(续)乐音样本合成法乐音样本合成法是把真实乐器发出的声音以数字的形式记录下来，播放时再加以调整、修饰和放大，生成各种音阶的音符。乐音样本通常放在ROM芯片上，播放时以查表的方式给出，所以这种合成器又叫做波形表（wave table）合成器。 Wavetable合成器所需要的输入控制参数比较少，可控的数字音效也不多，大多数采用这种合成方法的声音设备都可以控制声音包络的ADSR参数，产生的声音质量比FM合成方法产生的声音质量要高。乐音样本合成法(续)Wavetable合成器的工作原理 波表库容量 音调数（复音数） 音色数 特殊效果Wavetable合成器的衡量

12、标准:乐音样本合成法(续)MIDI系统MIDI协议提供了一种标准的和有效的方法，用来把演奏信息转换成电子数据，它可以被认为是告诉音乐合成器(Music Synthesizer)如何演奏一小段音乐的一种指令，而合成器把接收到的MIDI数据转换成声音。MIDI数据流是单向异步的数据位流，其速率为31.25 kbps。MIDI乐器上的MIDI接口通常包含3种不同的MIDI连接器，用IN(输入), OUT(输出)和THRU(穿越)。MIDI数据流通常由MIDI控制器产生，如乐器键盘，或者由MIDI音序器产生。MIDI控制器是当作乐器使用的一种设备，在播放时把演奏转换成实时的MIDI数据流。MIDI音序

13、器是一种装置，允许MIDI数据被捕获、存储、编辑、组合和重奏。MIDI系统(续)MIDI系统(续)简单MIDI系统MIDI系统(续)复杂MIDI系统各个MIDI设备通过专用的串行电缆(MIDI线)连接， 并以 31.25 kbps（每字节10位） 的速度传送着数字音乐信息。MIDIThru Out InMIDI系统(续)不妨把MIDI理解成一种局域网，网络的各个部分通过专用的串行电缆(MIDI线)连接， 并以 31.25 kbps 的速度传送着数字音乐信息。 MIDI系统(续)MIDI的通道概念单个物理MIDI通道分为16个逻辑通道，每个逻辑通道可指定一种乐器。MIDI键盘可设置在这16个通道

14、中的任何一个，MIDI合成器可以被设置在指定的通道上接受。 MIDI消息因为MIDI数据是一套音乐符号的定义，而不是实际的音乐声音，因此MIDI文件的内容被称为MIDI消息(MIDI messages)。一个MIDI消息由1个8位的数据字节并通常跟着2个状态字节(开始位/停止位)组成。在数据字节中，最高有效位设置成“1”，低4位用来表示这个MIDI消息是属于哪个通道，4位可表示16个可能的通道，其余3位的设置表示这个MIDI消息是什么类型的消息。MIDI消息可分成通道消息(Channel Messages)和系统消息(System Messages)两大类。MIDI消息(续)MIDI文件标准M

15、IDI文件规范定义了3种MIDI文件格式，MIDI音序器能够管理文件标准规定的多个MIDI数据流，即声轨(tracks)。MIDI文件格式0规定所有MIDI音序数据必须存储在单个声轨上，它仅用于简单的单声轨设备；MIDI文件格式1规定数据以一个声轨集的方式存储；MIDI文件格式2可用几个独立模式存储数据。 音乐合成器的多音调和多音色合成器或者声音发生器的多音调(polyphony)是一次演奏多个音符(note)的能力。大多数早期的音乐合成器是单音调的，即一次仅演奏一个音符。如果在装配有单音调合成器(monophonic synthesizer)的键盘上同时按下5个键，只能听到一个音符的声音；如

16、果在装配有能支持4个音调的合成器的键盘上同时按下5个键，可产生4个音符的声音。音乐合成器的多音调和多音色(续)如果一个合成器或者声音发生器能够同时产生2个或者2个以上的不同乐音，就说这个合成器或者声音发生器是多音色(multi-timbral)的。例如，如果一个合成器能够同时演奏5个音调(notes)，就说它是多音调的(polyphonic)；如果一个合成器也能够同时产生钢琴声(piano sound)和低音(bass sound)，就说它是一个多音色合成器。基本合成器和扩展合成器之间的差别合成器名称旋律乐器声(melodic instruments)打击乐器声(percussive instruments)(synthesizer)音色数(timbres)音调数(polyphony)音色数