多媒体音频技术

多媒体音频技术第一页，共六十七页，编辑于2023年，星期日第二章声音信号数字化声音的基本概念通过空气传播的一种连续的机械波。强弱:声压，音调:频率声音信号的两大参数 振幅 频率第二页，共六十七页，编辑于2023年，星期日

分贝是声压级单位，记为dB。分貝表示声音的強度或响度，也就是音量。零分貝的設定，是根据听力正常的年轻人所能听到的最小声音所得到的。1分贝大约是人刚刚能感觉到的声音。适宜的生活环境不应超过45分贝，不应低于15分贝。按普通人的听觉0－20分贝很静、几乎感觉不到。20－40分贝安静、犹如轻声絮语。40－60分贝一般、普通室内谈话60－70分贝吵闹、有损神经70－90分贝很吵、神经细胞受到破坏90－100分贝吵闹加剧、听力受损100－120分贝难以忍受、呆一分钟即暂时致聋。

第三页，共六十七页，编辑于2023年，星期日一般的耳語大約是20分貝超靜音冷氣機的音量是33分貝極安靜的住宅區40分貝一般公共場所50分貝交談約60分貝(所以若兩耳的聽力皆超過60分貝，交談便會產生困難，會出現說話像吵架的情形)交通繁忙地區85分貝飛機場跑道120分貝。第四页，共六十七页，编辑于2023年，星期日（2）频率（音频周期）<20HZ 次音信号&亚音信号(subsonic)20hz~20khz 音频信号(audio)>20khz 超声波(ultrasonic)各种音频的带宽人的发音：80hz~3.4khz人的说话：300hz~3khz人的听觉：20hz~20khz第五页，共六十七页，编辑于2023年，星期日从模拟过渡到数字音频信号的产生与还原模拟处理方法 音源—机电转换—滤波放大—存储电磁（光）转换（磁带、唱盘等）—滤波放大—电机转换—声音数字处理方法 音源--信号转换（电信号）--模数转换--压缩、编码--存储介质（磁盘、光盘等）--数模转换—电机转换—声音模拟域处理的特点：速度快、受环境变化影响大、成本高。数字域处理的特点：容易实现、精确处理、不受时间和环境变化的影响、可编程成本低、可智能化。第六页，共六十七页，编辑于2023年，星期日模拟信号与数字信号话音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。在时间上“连续”是指在一个指定的时间范围里声音信号的幅值有无穷多个，在幅度上“连续”是指幅度的数值有无穷多个。我们把在时间和幅度上都是连续的信号称为模拟信号。第七页，共六十七页，编辑于2023年，星期日模拟信号与数字信号我们把时间和幅度都用离散的数字表示的信号就称为数字信号。采样—在某些特定的时刻对这种模拟信号进行测量叫做采样(sampling)，由这些特定时刻采样得到的信号称为离散时间信号。量化—采样得到的幅值是无穷多个实数值中的一个，因此幅度还是连续的。如果把信号幅度取值的数目加以限定，这种由有限个数值组成的信号就称为离散幅度信号。第八页，共六十七页，编辑于2023年，星期日声音信号数字化声音进入计算机的第一步就是数字化，数字化实际上就是采样和量化。如前所述，连续时间的离散化通过采样来实现，就是每隔相等的一小段时间采样一次，这种采样称为均匀采样(uniformsampling)；连续幅度的离散化通过量化(quantization)来实现，就是把信号的强度划分成一小段一小段，如果幅度的划分是等间隔的，就称为线性量化，否则就称为非线性量化。

第九页，共六十七页，编辑于2023年，星期日声音信号数字化音频数字化（时间上的离散：采样；幅度上的离散：量化）第十页，共六十七页，编辑于2023年，星期日声音信号数字化声音数字化需要回答两个问题：①每秒钟需要采集多少个声音样本，也就是采样频率(fs)是多少，②每个声音样本的位数(bitpersample，bps)应该是多少，也就是量化精度。第十一页，共六十七页，编辑于2023年，星期日采样频率的高低是根据奈奎斯特理论(Nyquisttheory)和声音信号本身的最高频率决定的。奈奎斯特理论指出，采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化(losslessdigitization)。采样定律用公式表示为fs>=2fmax或者Ts<=T/2其中fmax为被采样信号的最高频率。

采样频率第十二页，共六十七页，编辑于2023年，星期日采样频率可以这样来理解奈奎斯特理论：声音信号可以看成由许许多多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为fmax

,采样频率最低要选择2fmax

。例如，电话话音的信号频率约为3.4kHz，采样频率就选为8kHz。第十三页，共六十七页，编辑于2023年，星期日采样精度样本大小是用每个声音样本的位数bit/sample表示的，它反映度量声音波形幅度的精度。例如，每个声音样本用16位(2字节)表示，测得的声音样本值是在0～65536的范围里，它的精度就是输入信号的1/65536。样本位数的大小影响到声音的质量，位数越多，声音的质量越高，而需要的存储空间也越多；位数越少，声音的质量越低，需要的存储空间越少。第十四页，共六十七页，编辑于2023年，星期日采样精度采样精度的另一种表示方法是信号噪声比，简称为信噪比(signal-to-noiseratio，SNR)，并用下式计算：SNR＝10log[(Vsignal)2/(Vnoise)2]＝20log(Vsignal/Vnoise)

其中，Vsignal表示信号电压，Vnoise表示噪声电压；SNR的单位为分贝(db)例1：假设Vnoise＝1，采样精度为1位表示Vsignal＝21，它的信噪比SNR＝6分贝。

例2：假设Vnoise＝1，采样精度为16位表示Vsignal＝216，它的信噪比SNR＝96分贝。第十五页，共六十七页，编辑于2023年，星期日声音质量与数据率根据声音的频带，通常把声音的质量分成5个等级，由低到高分别是电话(telephone)、调幅(amplitudemodulation，AM)广播、调频(frequencymodulation，FM)广播、激光唱盘(CD-Audio)和数字录音带(digitalaudiotape，DAT)的声音。在这5个等级中，使用的采样频率、样本精度、通道数和数据率列于表2–01。第十六页，共六十七页，编辑于2023年，星期日声音质量与数据率第十七页，共六十七页，编辑于2023年，星期日非线性量化均匀量化：线性，按比例得量化值非均匀量化它们的优缺点对数式压缩A率压扩（P73）U率压扩（P75）第十八页，共六十七页，编辑于2023年，星期日第十九页，共六十七页，编辑于2023年，星期日μ率压扩原理第二十页，共六十七页，编辑于2023年，星期日μ率压扩原理第二十一页，共六十七页，编辑于2023年，星期日A率压扩原理第二十二页，共六十七页，编辑于2023年，星期日多媒体音频技术音频信号的频谱分析（P65图）基频、取样频率的确定取样频率过高或过低的缺点第二十三页，共六十七页，编辑于2023年，星期日2.3声音文件的存储格式第二十四页，共六十七页，编辑于2023年，星期日音频文件的格式如同存储文本文件一样，存储声音数据也需要有存储格式。在因特网上和各种机器上运行的声音文件格式很多，但目前比较流行的有以.wav(waveform)，.au(audio)，.aiff(AudioInterchangeableFileFormat)和.snd(sound)为扩展名的文件格式。.wav格式主要用在PC上，.au主要用在Unix工作站上，.aiff和snd主要用在苹果机和美国视算科技有限公司(SiliconGraphics，Inc.，SGI)的工作站上。第二十五页，共六十七页，编辑于2023年，星期日2.4声音工具声音工具(audiotools)用来录放、编辑和分析声音文件。声音工具使用得相当普遍，但它们的功能相差很大。下面列出了比较常见的几种工具。Soundrecordwavestudiocooledit示例（编辑处理）第二十六页，共六十七页，编辑于2023年，星期日2.5声音质量的度量声音质量的评价是一个很困难的问题，目前还在继续研究的课题。前面介绍了用声音信号的带宽来衡量声音的质量，等级由高到低依次是DAT，CD，FM，AM和数字电话。是客观质量度量，客观标准：5个等级及参数、信噪比SNR。另一种是主观质量度量。第二十七页，共六十七页，编辑于2023年，星期日2.5主观声音质量的度量声音客观质量的度量主要用信噪比(signaltonioseratio，SNR)，详细计算可参看[2][3]。与用SNR客观质量度量相比较，应该可以说人的感觉(如听觉、视觉等)更具有决定意义，感觉上的、主观上的测试应该成为评价声音质量和图像质量不可缺少的部分。而有的学者则认为，在语音和图像信号编码中使用主观质量度量比使用客观质量度量更加恰当，更有意义。可是一般来说，可靠的主观度量值也是比较难获得的，所获得的值也是一个相对值。第二十八页，共六十七页，编辑于2023年，星期日2.5声音质量的度量主观度量声音质量的方法类似于电视节目中的歌手比赛，由评委对每个歌手的表现进行评分，然后求出平均值。对声音质量的度量也可以使用类似的方法，召集若干实验者，由他们对声音质量的好坏进行评分，求出平均值作为对声音质量的评价。这种方法称为主观平均判分法，所得的分数称为主观平均(meanopinionscore，MOS)分。对声音主观质量度量比较通用的标准是5分制。第二十九页，共六十七页，编辑于2023年，星期日主观标准MOS(meanopinionscore)一般再现语音频率若达7kHz以上，MOS可评5分第三十页，共六十七页，编辑于2023年，星期日2.乐音音质

乐音音质的优劣取决于多种因素，如声源特性（声压、频率、频谱等）、音响器材的信号特性（如失真度、频响、动态范围、信噪比、瞬态特性、立体声分离度等）、声场特性（如直达声、前期反射声、混响声、两耳间互相关系数、基准振动、吸声率等）、听觉特性（如响度曲线、可听范围、各种听感）等。所以，对音响设备再现音质的评价难度较大。通常用下列两种方法：一是使用仪器测试技术指标；二是凭主观聆听各种音效。由于乐音音质属性复杂，主观评价的个人色彩较浓，而现有的音响测试技术又只能从某些侧面反映其保真度。所以，迄今为止，还没有一个能真正定量反映乐音音质保真度的国际公认的评价标准。但也有报道，国际电信联盟（ITU-T）近期已批准一种客观评价音质的被称之为电子耳的新型测量方法，可对任何音响器材的音质进行客观听音评价，也可用于检测电话通讯语音编码系统的缺陷。

第三十一页，共六十七页，编辑于2023年，星期日2.6电子乐器数字接口(MIDI)系统MIDI是MusicalInstrumentDigitalInterface的首写字母组合词，可译成“电子乐器数字接口”。用于在音乐合成器(musicsynthesizers)、乐器(musicalinstruments)和计算机之间交换音乐信息的一种标准协议。从20世纪80年代初期开始，MIDI已经逐步被音乐家和作曲家广泛接受和使用。MIDI是乐器和计算机使用的标准语言，是一套指令(即命令的约定)，它指示乐器即MIDI设备要做什么，怎么做，如演奏音符、加大音量、生成音响效果等。MIDI不是声音信号，而是发给MIDI设备或其它装置让它产生声音或执行某个动作的指令。特点：文件小、易于编辑、可以与其它媒体同时播放。RobertMoog第三十二页，共六十七页，编辑于2023年，星期日MIDI标准之所以受到欢迎，主要是它有下列几个优点：生成的文件比较小，因为MIDI文件存储的是命令，而不是声音波形；容易编辑，因为编辑命令比编辑声音波形要容易得多；可以作背景音乐，因为MIDI音乐可以和其它的媒体，如数字电视、图形、动画、话音等一起播放，这样可以加强演示效果。第三十三页，共六十七页，编辑于2023年，星期日产生MIDI乐音的方法很多，现在用得较多的方法有两种：频率调制(frequencymodulation，FM)合成法乐音样本合成法，也称为波形表(Wavetable)合成法。这两种方法目前主要用来生成音乐。第三十四页，共六十七页，编辑于2023年，星期日FM合成声音FM合成声音音乐合成器的先驱RobertMoog采用了模拟电子器件生成了复杂的乐音。20世纪80年代初，美国斯坦福大学的JohnChowning研究生发明了一种产生乐音的新方法，这种方法称为数字式频率调制合成法，简称为FM合成器。他把几种乐音的波形用数字来表达，并且用数字计算机而不是用模拟电子器件把它们组合起来，通过数模转换器来生成乐音。斯坦福大学得到了发明专利，并且把专利权授给Yamaha公司，该公司把这种技术做在集成电路芯片里，成了世界市场上的热门产品。FM合成法的发明使合成音乐工业发生了一次革命。第三十五页，共六十七页，编辑于2023年，星期日FM合成器生成乐音的基本原理FM合成器生由5个基本模块组成：数字载波器、调制器、声音包络发生器、数字运算器和模数转换器。数字载波器用了3个参数：音调(pitch)、音量(volume)和各种波形(wave)；调制器用了6个参数：频率(frequency)、调制深度(depth)、波形的类型(type)、反馈量(feedback)、颤音(vibrato)和音效(effect)；乐器声音除了有它自己的波形参数外，还有它自己的比较典型的声音包络线，声音包络发生器用来调制声音的电平，这个过程也称为幅度调制(amplitudemodulation)，并且作为数字式音量控制旋钮，它的4个参数写成ADSR，这条包络线也称为音量升降维持静音包络线(Attack，decay，sustain，release，ADSR)包络线。第三十六页，共六十七页，编辑于2023年，星期日第三十七页，共六十七页，编辑于2023年，星期日在乐音合成器中，数字载波波形和调制波形有很多种，不同型号的FM合成器所选用的波形也不同。图是YamahaOPL-III数字式FM合成器采用的波形。各种不同乐音的产生是通过组合各种波形和各种波形参数并采用各种不同的方法实现的。用什么样的波形作为数字载波波形、用什么样的波形作为调制波形、用什么样的波形参数去组合才能产生所希望的乐音，这就是FM合成器的算法。第三十八页，共六十七页，编辑于2023年，星期日通过改变图中所示的参数，可以生成不同的乐音，例如：改变数字载波频率可以改变乐音的音调，改变它的幅度可以改变它的音量。改变波形的类型，如用正弦波、半正弦波或其它波形，会影响基本音调的完整性。快速改变调制波形的频率(即音调周期)可以改变颤音的特性。改变反馈量，就会改变正常的音调，产生刺耳的声音。选择的算法不同，载波器和调制器的相互作用也不同，生成的音色也不同。在多媒体计算机中，图2-07中的13个声音参数和算法共14个控制参数以字节的形式存储在声音卡的ROM中。播放某种乐音时，计算机就发送一个信号，这个信号被转换成ROM的地址，从该地址中取出的数据就是用于产生乐音的数据。FM合成器利用这些数据产生的乐音是否真实，它的真实程度有多高，这就取决于可用的波形源的数目、算法和波形的类型。第三十九页，共六十七页，编辑于2023年，星期日2.6.3乐音样本合成声音使用FM合成法来产生各种逼真的乐音是相当困难的，有些乐音几乎不能产生，因此很自然地就转向乐音样本合成法。这种方法就是把真实乐器发出的声音以数字的形式记录下来，播放时改变播放速度，从而改变音调周期，生成各种音阶的音符。乐音样本的采集相对比较直观。音乐家在真实乐器上演奏不同的音符，选择44.1kHz的采样频率、16位的乐音样本，这相当于CD-DA的质量，把不同音符的真实声音记录下来，这就完成了乐音样本的采集。第四十页，共六十七页，编辑于2023年，星期日使用乐音样本合成器的原理框图第四十一页，共六十七页，编辑于2023年，星期日乐音样本合成器所需要的输入控制参数比较少，可控的数字音效也不多，大多数采用这种合成方法的声音设备都可以控制声音包络的ADSR参数，产生的声音质量比FM合成方法产生的声音质量要高。第四十二页，共六十七页，编辑于2023年，星期日电子乐器数字接口(MIDI)系统MIDI协议提供了一种标准的和有效的方法，用来把演奏信息转换成电子数据。MIDI信息是以“MIDImessages”传输的，它可以被认为是告诉音乐合成器(musicsynthesizer)如何演奏一小段音乐的一种指令，而合成器把接收到的MIDI数据转换成声音。国际MIDI协会(InternationalMIDIAssociation)出版的MIDI1.0规范对MIDI协议作了完整的说明。第四十三页，共六十七页，编辑于2023年，星期日MIDI数据流是单向异步的数据位流(bitstream)，其速率为31.25kbps，每个字节为10位(1位开始位，8位数据位和1位停止位)。MIDI乐器上的MIDI接口通常包含3种不同的MIDI连接器，用IN(输入),OUT(输出)和THRU(穿越)。MIDI数据流通常由MIDI控制器(MIDIcontroller)产生，如乐器键盘(musicalinstrumentkeyboard)，或者由MIDI音序器(MIDIsequencer)产生。MIDI控制器是当作乐器使用的一种设备，在播放时把演奏转换成实时的MIDI数据流，MIDI音序器是一种装置，允许MIDI数据被捕获、存储、编辑、组合和重奏。来自MIDI控制器或者音序器的MIDI数据输出通过该装置的MIDIOUT连接器传输。第四十四页，共六十七页，编辑于2023年，星期日通常，MIDI数据流的接收设备是MIDI声音发生器(MIDIsoundgenerator)或者MIDI声音模块(MIDIsoundmodule)，它们在MIDIIN端口接收MIDI信息(MIDImessages)，然后播放声音。图2-10表示的是一个简单的MIDI系统，它由一个MIDI键盘控制器和一个MIDI声音模块组成。许多MIDI键盘乐器在其内部既包含键盘控制器，又包含MIDI声音模块功能。在这些单元中，键盘控制器和声音模块之间已经有内部链接，这个链接可以通过该设备中的控制功能(localcontrol)对链接打开(ON)或者关闭(OFF)。第四十五页，共六十七页，编辑于2023年，星期日单个物理MIDI通道(MIDIchannel)分成16个逻辑通道，每个逻辑通道可指定一种乐器，如图2-11所示。在MIDI信息(MIDImessages)中，用4个二进制位来表示这16个逻辑通道。音乐键盘可设置在这16个通道之中的任何一个，而MIDI声源或者声音模块可被设置在指定的MIDI通道上接收。第四十六页，共六十七页，编辑于2023年，星期日第四十七页，共六十七页，编辑于2023年，星期日在一个MIDI设备上的MIDIIN连接器接收到的信息可通过MIDITHRU连接器输出到另一个MIDI设备，并可以菊花链的方式连接多个MIDI设备，这样就组成了一个复杂的MIDI系统，如图所示。在这个例子中，MIDI键盘控制器对MIDI音序器(MIDIsequencer)来说是一个输入设备，而音序器的MIDIOUT端口连接了几个声音模块。作曲家可使用这样的系统来创作几种不同乐音组成的曲子，每次在键盘上演奏单独的曲子。这些单独曲子由音序器记录下来，然后音序器通过几个声音模块一起播放。每一曲子在不同的MIDI通道上播放，而声音模块可分别设置成接收不同的曲子。例如，声音模块＃1可设置成播放钢琴声并在通道1接收信息，模块2设置成播放低音并在通道5接收信息，而模块2设置成播放鼓乐器并在通道10上接收消息等。在图2-12中使用了多个声音模块同时分别播放不同的声音信息。这些模块也可以做在一起构成一个叫做多音色(multitimbral)的声音模块，它同样可以起到同时接收和播放多种声音的作用。第四十八页，共六十七页，编辑于2023年，星期日复杂MIDI系统第四十九页，共六十七页，编辑于2023年，星期日图2-13是用PC机构造的MIDI系统，该系统使用的声音模块就是这样一种单独的多音色声音模块。在这个系统中，PC机使用内置的MIDI接口卡，用来把MIDI数据发送到外部的多音色MIDI合成器模块。像多媒体演示程序、教育软件或者游戏等应用软件，它们把信息通过PC总线发送到MIDI接口卡。MIDI接口卡把信息转换成MIDI消息，然后送到多音色声音模块同时播放出许多不同的乐音，例如钢琴声、低音和鼓声。使用安装在PC机上的高级的MIDI音序器软件，用户可把MIDI键盘控制器MIDI接口卡的MIDIIN端口，也可以有相同的音乐创作功能。第五十页，共六十七页，编辑于2023年，星期日使用PC机构成的MIDI系统第五十一页，共六十七页，编辑于2023年，星期日MPC(MultimediaPC)规格需要声音卡的合成器是多音色(muti-timbral)和多音调(polyphonic)的合成器。多音色是指合成器能够同时播放几种不同乐器的声音，在英文文献里常看到用voices和patches来表示，音色就是把一个人说话(或一种乐器)的声音与另一个人说话(或另一种乐器)的声音区分开来的音品；多音调是指合成器一次能够播放的音符(note)数。MPC规格定义了两种音乐合成器：基本合成器(Base-levelsynthesizer)和扩展合成器(Extendedsynthesizer)，基本合成器和扩展合成器之间的差别如表01所示。第五十二页，共六十七页，编辑于2023年，星期日基本合成器必须具有同时播放3种旋律音色和3种打击音色(鼓乐)的能力，而且还必须具有同时播放6个旋律音符和3个打击音符的能力，因此，基本合成器具有9种音调；扩展合成器要能够同时播放9种旋律音色和8种打击音色。第五十三页，共六十七页，编辑于2023年，星期日第五十四页，共六十七页，编辑于2023年，星期日2.6.5MIDI消息MIDI设备使用的一系列MIDI音符，可被认为是告诉音乐合成器如何播放一小段音乐的指令。因为MIDI数据是一套音乐符号的定义，而不是实际的音乐声音，因此MIDI文件的内容被称为MIDI消息(MIDImessages)。一个MIDI消息由1个8位的状态字节并通常跟着2个数据字节组成。在状态字节中，最高有效位设置成“1”，低4位用来表示这个MIDI消息是属于哪个通道，4位可表示16个可能的通道，其余3位的设置表示这个MIDI消息是什么类型的消息。MIDI消息可分成通道消息(ChannelMessages)和系统消息(SystemMessages)两大类，第五十五页，共六十七页，编辑于2023年，星期日MIDI通道消息可分成通道声源消息(VoiceMessages)—携带的演奏数据通道方式消息(ModeMessages)—表示合成器响应MIDI数据的方式；MIDI系统消息分成公共消息(CommonMessages)—标识在系统中的所有接收器实时消息(RealTimeMessages)—用于MIDI部件之间的同步独占消息(ExclusiveMessages)—厂商的标识代码。第五十六页，共六十七页，编辑于2023年，星期日第五十七页，共六十七页，编辑于2023年，星期日第五十八页，共六十七页，编辑于2023年，星期日第五十九页，共六十七页，编辑于2023年，星期日第六十页，共六十七页，编辑于2023年，星期日2.6.6MIDI音序器和标准MIDI文件MIDI合成器实时接收和处理MIDI消息(MIDImessages)。当合成器接收到一个“noteon(乐音开)”MIDI消息时就演奏相应的声音，当接收到一个“noteoff(乐音关)”MIDI消息时就停止演奏。如果MIDI数据源是乐器键盘，“noteon”消息就实时产生，在像这样的实时应用中，就无需与MIDI消息一起发送一个定时信息。如果MIDI数据存储成数据文件，或者使用音序器编辑的数据文件，MIDI消息就需要某种形式的定时标记(time-stamping)。MIDIEDIT,MIDIMAKER.DUOTE第六十一页，共六十七页，编辑于2023年，星期日国际MIDI协会出版了标准MIDI文件规范，该标准说明了处理定时标记MIDI数据的一种标准化方法。这种方法适合各种应用软件共享MIDI数据文件，这些软件包括音序器、乐谱软件包和多媒体演示软件。标准MIDI文件规范定义了3种MIDI文件格式，MIDI音序器能够管理文件标准规定的多个MIDI数据流，即声轨(tracks)。MIDI文件格式0(Format0)规定所有MIDI音序数据(MIDIsequencedata)必须存储在单个声轨上，它仅用于简单的单声轨设备；MIDI文件格式1(Format1)规定数据以一个声轨集的方式存储；MIDI文件格式2(Format2)可用几个独立模式存储数据。第六十二页，共六