多媒体技术及应用第5章

第5章数字音频处理本章内容5.1音频基本概念5.2音频文件格式5.3语音识别和语音合成5.4MIDI介绍5.5录音机的使用5.6CoolEdit的使用5.7CakewalkSonar的使用5.1.1声音的发生和传播声音是一种机械波，是由物体振动产生的。正在发声的物体称为声源。声音的传播需要介质，气体、固体、液体都能传播声音。声音是以声波的形式通过介质将声源的振动向外传播.声音在空气中的传播就是由物体振动引起周围空气的振动，振动的空气又引起耳膜振动，再通过耳蜗传到听觉神经上，于是人就感觉到声音了。5.1.2声音的特性声音特性的三个要素是音调、音强和音色。音调是指声音的高低，由声波的频率决定，频率大，音调就高，频率小，音调就低。频率的单位是赫兹（HZ），就是物体每秒钟振动的次数。人耳的听觉范围是20HZ-20000HZ。频率低于20HZ的声波称为次声波，频率高于20000HZ的声波称为超声波。5.1.2声音的特性音强又称为响度或音量，是指声音的大小，由声波的振幅决定。音强可以用“声强（I）”来量度，声强的单位是“瓦／米2”，是指1秒内垂直穿过单位面积的声能。日常生活中，音强通常是以分贝（dB）为单位，分贝是声源功率与基准声功率比值的对数再乘以10。5.1.2声音的特性音色又称为音质，是指声音的特色，由声波的形状决定。不同的乐器演奏同一个乐音，音调和音强都一样，人们能够分辨出不同乐器的原因就是它们的音色不同。5.1.3声音的质量评价声音的质量有客观质量度量方法和主观质量度量方法两种。客观质量度量方法是根据声音的技术指标，例如频率范围和信噪比等进行评价。主观质量度量方法是人为对声音质量进行评分。根据声音的频率范围，可以把声音的质量分为4级，由高到低分别是数字激光唱盘CD-DA质量，其频率范围为10Hz~20kHz；调频广播FM（FrequencyModulation）质量，其频率范围为20Hz~15kHz；调幅广播AM（AmplitudeModulation）质量，其频率范围为50Hz~7kHz；电话的话音质量，其频率范围为200Hz~3400Hz。5.1.4声音信号的数字化声音信号是模拟信号，计算机只能处理数字信号，要用计算机对声音进行处理，必须将模拟声音信号转换为数字声音信号。声音信号的数字化过程一般分为采样、量化和编码三个步骤。第一步：采样采样是将时间上和幅度上都连续的模拟信号，转换成时间上离散但幅度上仍然连续的信号的过程。每秒钟采样的次数称为采样频率，目前常用的采样频率有11.05KHz、22.05KHz和44.1KHz，其中22.05KHz可以达到FM广播的音质，44.1KHz则可以达到CD的音质。5.1.4声音信号的数字化根据奈奎斯特理论（Nyquisttheory），只要采样频率不低于模拟信号最高频率的两倍，就能把用数字表达的信号还原成成原来的信号，称为无损数字化过程。例如电话话音的频率约为300Hz～3.4KHz，那么只要采样频率大于6.8KHz，采样后的信号就可以不失真地还原，所以电话话音的采样频率通常取为8KHz。5.1.4声音信号的数字化第二步：量化量化处理是把幅度上连续取值的模拟量转换为离散量，量化后的样本用二进制数表示。每个样本使用的二进制数位数的多少称为量化精度。一般常用的量化精度有8位、12位和16位。越高的量化精度当然声音质量越好，但同时也意味着越大的数据量。第三步：编码编码有非压缩与压缩两种方式。通常.wav文件采用的线性PCM编码（脉冲编码调制）的是一种非压缩方式的编码，而.mp3文件采用的MPEGLayer3编码则是一种压缩方式的编码。5.2音频文件格式存储声音信息的文件格式主要有：WAV文件、MP3文件、WMA文件、MIDI文件等。5.2音频文件格式1.WAV文件WAV文件的扩展名为.wav，是Microsoft公司开发的一种声音文件格式。WAV格式的声音文件质量很高，但是WAV格式存放的一般是未经压缩处理的音频数据，所以文件尺寸往往很大WAV文件数据量（Byte）=采样频率（Hz）×量化位数（位）×声道数／8×持续时间（秒）。例如采用44.1kHz、16位、立体声，持续时间为1分钟，WAV文件的大小为44100×16×2×60/8=10584000B=10.584MB5.2音频文件格式2.MP3文件MP3文件的扩展名为.mp3，这种诞生于德国的声音文件格式风靡世界。MP3是一种采用国际标准MPEG中的第三层音频压缩模式（MPEG-1AudioLayer3）对声音信号进行有损压缩的格式。MP3文件在具有音质较好的特点同时实现很高的压缩比，MP3文件一般可以达到10：1~12：1。5.2音频文件格式3.WMA文件WMA（WindowsMediaAudio）文件的扩展名为.wma，也是Microsoft公司开发的声音文件格式。WMA文件比MP3文件具有更高的压缩比，WMA文件一般可以达到18：1。WMA文件支持音频流（Stream）技术，所以适合网上在线播放。WMA文件可以通过数字版权保护（DRM，DigitalRightsManagement）技术限制播放时间、播放次数或者播放的机器，从而有效防止盗版。5.2音频文件格式4.MIDI文件MIDI（MusicalInstrumentDigitalInterface）文件的扩展名为.mid。MIDI文件并不保存真实采样数据的声音，而只是一组音乐演奏指令序列。MIDI文件通常很小，1分钟的MIDI文件大约只有5~10KB，很适合储存和网络传播。5.3.1语音识别语音识别是让机器通过识别和理解过程把语音信号转变为相应的文本或命令。语音识别是解决计算机“听”的问题。5.3.1语音识别语音识别系统可以按照多种方式进行分类：（1）根据识别系统的词汇量大小分类：小词汇量语音识别系统、中等词汇量的语音识别系统、大词汇量语音识别系统。（2）根据说话人的说话方式分类：孤立词语音识别系统、连接词语音识别系统、连续语音识别系统。（3）根据对说话人的依赖程度分类：特定人语音识别系统、非特定人语音识别系统。5.3.1语音识别研究语音识别的基本方法主要有声学语音学方法、模板匹配方法和人工神经网络方法三种。（1）声学语音学方法语音学认为语音是由有限个不同的语音单元组成，并且语音单元可以用语音信号参数或谱特征来描述。用声学语音学方法进行语音识别分为“分割与标示”和“得到词序列”两个步骤实现。（2）模板匹配方法模板匹配方法是目前已经比较成熟的语音识别方法。模板匹配方法要经过特征提取、模板训练、模板分类、判决四个步骤。常用的技术有动态时间规整（DTW-DynamicTimeWarping）、隐马尔可夫（HMM-HiddenMarkovMode）理论和矢量量化（VQ-VectorQuantization）技术。（3）人工神经网络方法人工神经网络方法是一种尚处于实验探索阶段新的语音识别方法。人工神经网络方法是模拟人类神经活动的原理。5.3.1语音识别语音识别系统的基本原理主要包括“训练”和“识别”两个阶段。训练阶段又称学习阶段，提取说话者的语音特征参数，形成被识别语音的标准模板库。识别阶段，将待识别人的语音经过特征提取后，与系统训练中产生的模板进行比较，相似度大于一定的判决门限就成为被识别语音。5.3.2语音合成语音合成是解决机器“说”的问题。语音合成是通过人工合成的方法生成语音，使机器能象人一样说话。5.3.2语音合成文语转换技术（Text-To-Speech，简称TTS），就是将文字的输入自动转换为语音输出的技术。文语转换系统的基本结构是由文本分析处理、韵律处理和声学处理三大模块组成：（1）文本分析处理模块文语转换系统首先处理文字，让计算机认识文字，确定文字的读音，分析哪些是词，哪些是短语，哪些是句子，文本分析处理模块将文字序列转换成音节序列。（2）韵律处理模块韵律处理模块是对每个音节进行韵律调整，包括声调、轻重音、停顿等的调整，使合成的语音听起来更加自然，韵律处理模块将音节序列转换成音韵序列。（3）声学处理模块声学处理模块是具体让计算机发声的模块。声学处理模块利用音韵序列中的参数，根据不同的语音合成方法，从语音库中选取相应的语音单元或参数，经过参数计算和拼接后形成语音波形，输出自然流畅的语音流。常用的语音合成方法主要有共振峰合成（FormantSynthesis）、线性预测编码合成（LPC，LinearPredictionCoding）、基音同步叠加合成（PSOLA，PitchSynchronousOverLapandAdd）合成和LMA（LogMagnitudeApproximate）声道模型等。5.3.3Office语音识别和语音合成Office2003提供了语音识别和语音合成功能，使用Office2003可以完成听写、语音控制软件操作（选择菜单、工具栏、对话框等）、文本到语音转换等功能。（1）Office语音识别安装Office语音识别后，选择菜单“工具→语音”，系统会在“语言”栏上显示语音工具栏语音工具栏上有“听写模式”工具和“声音命令模式”工具，分别用来完成听写和语音控制软件操作的功能。5.3.3Office语音识别和语音合成Office2003提供了语音识别和语音合成功能，使用Office2003可以完成听写、语音控制软件操作（选择菜单、工具栏、对话框等）、文本到语音转换等功能。（1）Office语音识别安装Office语音识别后，选择菜单“工具→语音”，系统会在“语言”栏上显示语音工具栏语音工具栏上有“听写模式”工具和“声音命令模式”工具，分别用来完成听写和语音控制软件操作的功能。5.3.3Office语音识别和语音合成2）Office语音合成Excel2003提供了文本到语音转换的功能。运行Excel2003，在单元格中输入英文单词或阿拉伯数字。选择菜单“工具→语音→显示‘文本到语音’工具栏”，选择要计算机朗读的一组单元格，然后单击“朗读单元格”工具就可以听到计算机朗读的文字。5.4.1MIDI基本概念MIDI（MusicalInstrumentDigitalInterface）是乐器数字接口的缩写，是实现电子乐器之间、电子乐器与计算机之间通讯的一种标准协议。早期的电子乐器在音色排列上没有统一标准，为了解决这一问题，相继出现了GS、GM和XG这类音色排列方式的标准。1990年，ROLAND公司制定了GS标准，GS标准完整定义了128种乐器的统一排列方式，规定MIDI设备的最大同时发音数不能少于24个等。1991年，对GS标准进行了适当简化推出了GM标准，成为了业界广泛接受的标准。1994年，YAMAHA公司提出了XG标准，XG标准在兼容GM标准的基础上，提供了强劲的扩展功能。5.4.1MIDI基本概念下表是国际标准GM的128种音色分类表：5.4.2音乐合成方法音乐合成有两种方法：FM合成（FrequencyModulationSynthesis，调频合成）和波表合成（WavetableSynthesis）。（1）FM合成FM合成的原理是根据傅立叶级数而来，各种复杂的波都可以分解为若干个频率不同的正弦波，FM合成器正是利用若干个正弦波来合成各种乐器的声音，合成的音乐声音比较单调。FM合成器由五个基本模块组成：数字载波器：用于数字载波，有3个参数：音调（pitch）、音量（volume）和波形（wave）；调制器：用于波形调制，有6个参数：频率（frequency）、调制深度（depth）、波形类型（type）、反馈量（feedback）、颤音（vibrato）和音效（effect）；包络发生器：包络用来控制音色的各个参数随着时间经过而产生的变化，包络发生器用于调制声音的电平，有4个参数ADSR：起音（Attack）、衰减（Decay）、延音（Sustain）、释放（Release）描绘包络的各阶段；数字运算器：用于参数的数字运算；数模转换器：将数字信号转换成模拟信号。5.4.2音乐合成方法（2）波表合成波表合成技术是目前大部分声卡采用的技术，因为波表合成产生的乐音真实自然。波表合成技术是将真实乐器的声音经过数字化后作为波表文件保存起来，当计算机需要声卡播出某个乐器的声音时，由声卡上的波表合成芯片或PC机的CPU从波表文件中找出对应的声音信息并播放。波表合成常分为软波表和硬波表。5.5录音机的使用Windows操作系统自带的“录音机”程序是一个功能实用而且操作简单的声音文件编辑和处理软件。使用“录音机”程序可以录制、播放以及编辑处理声音。录音时，计算机要安装麦克风，录下的声音被保存为波形（.wav）文件。5.5录音机的使用（1）启动程序单击“开始”按钮，选择“所有程序→附件→娱乐→录音机”，打开“录音机”程序。（2）普通录音打开“录音机”程序，选择“文件→新建”菜单，然后单击“录制”按钮，就可以开始录音声音，录制完毕后，单击“停止”按钮即可。单击“播放”按钮，就可以播放所录制的声音文件。使用这种录音方法，“录音机”程序只能录制60秒的声音。5.5录音机的使用（3）长时录音打开“录音机”程序，首先录制一段60秒的空白声音，然后选择“效果→减速”菜单，这时录音窗口显示的长度变成了120秒，多次点击“效果→减速”命令，直到录音长度增加到合适的长度。最后单击“移至首部”按钮，开始正式的录音。5.5录音机的使用（4）声音特效“录音机”程序提供对声音文件进行改变音量、改变音速、添加回音、声音反转等特殊声音效果的处理功能。用“录音机”程序打开一个声音文件，执行“效果”菜单中的“加大音量”、“降低音量”、“加速”、“减速”以及“反转”命令就可以实现相应功能。5.5录音机的使用（5）格式转化用“录音机”程序录下的声音被保存为WAV文件，可以转化为MP3等格式的文件。用“录音机”程序打开一个要进行调整的WAV文件，然后选择“文件→另存为”菜单，打开“另存为”对话框。5.5录音机的使用在“另存为”对话框中单击“更改”按钮，打开“声音选定”对话框。5.5录音机的使用在“声音选定”对话框中的“名称”下拉列表中选中“无题”选项，在“格式”框中，选中“MPEGLayer-3”，在“属性”框中选择采样频率，单击“确定”按钮。5.5录音机的使用最后在“另存为”对话框中键入以mp3为扩展名的文件名称，单击“保存”按钮完成声音文件格式的转化。5.5录音机的使用（6）声音截取用“录音机”程序打开一个声音文件，选择菜单“编辑→删除当前位置以前的内容”或“编辑→删除当前位置以后的内容”，可以实现从声音文件中截取需要的声音片段。（7）声音混合“录音机”程序提供将两个或多个WAV文件混合在一起的功能，我们可以利用它制作配乐诗朗诵。首先打开诗歌的声音文件，当播放到需要插入背景音乐的位置，单击“停止”按钮，然后选择菜单“编辑→与文件混音”，选择背景音乐文件，就可以将两个声音文件从当前位置混合在一起。5.5录音机的使用（8）声音拼接利用“录音机”程序可以把两个或多个WAV文件拼接成一个长的声音文件。用“录音机”程序打开一个WAV文件，播放这个声音文件，当播放到需要加入另一个声音文件的时候，单击“停止”按钮，然后选择菜单“编辑→插入文件”，在弹出的窗口中选择要拼接的声音文件，单击“确定”按钮后第二个声音文件就被插到了第一个声音文件的停止处，这样就实现了两个声音文件的拼接。5.6CoolEdit的使用CoolEdit是Syntrillium公司出品的一款集录音、编辑、合成等多种功能于一体的数字音频编辑软件。CoolEdit可以对音频文件进行降噪、扩音、剪接等处理，同时提供添加立体环绕、淡入淡出、3D回响等多种特效，还可以实现将多个声音文件进行合并、混合等操作，也可以实现多种音频文件格式间的转换。5.6CoolEdit的使用CoolEditPro2.1的主界面由标题栏、菜单栏、工具栏、编辑区和状态栏等组成。5.6.1录音启动CoolEdit，选择菜单“文件→新建”，系统弹出“新建波形”对话框，选择合适的采样频率、声道数和采样精度，其中默认值是使用44100Hz的采样频率、立体声和16位采样精度，这是用于CD音质的参数设置，录音效果很好。5.6.1录音点击“确定”按钮后进入CoolEdit的主界面，点击主界面左下角的红色“录音”按钮，用话筒录音，录音完成后，点击主界面左下角的“停止”按钮CoolEdit窗口中将出现刚录制的声音文件的波形图，因为是立体声双声道录音，所以波形图的上半部分是左声道波形，下半部分是右声道波形。点击“播放”按钮可以播放录制的声音试听一下录制效果。最后可以执行菜单“文件→保存”保存声音文件，用CoolEdit录制的音频文件，可以保存为.wav、.snd、.voc、.wma或.mp3等各种格式。5.6.2编辑CoolEdit的基本编辑功能有复制、剪切、粘贴、混合、删除静音等。CoolEdit本身提供了五个剪贴板，再加上一个Windows剪贴板，用户可以同时使用六个剪贴板。可以将剪贴板中的声音，与窗口中的声音混合。首先将要混合的声音复制到剪贴板中，然后在波形图中点击混合起点，再选择“编辑→混合粘贴”菜单，系统弹出“混合粘贴”对话框，根据需要选择四种混合方式“插入”、“混合”、“替换”、“调制”中的一种。5.6.2编辑根据需要可以在声音文件中添加静音或者删除静音。选择“生成→静音”菜单可以在声音文件中插入静音，插入静音的默认时间是10秒。反之也可以删除多余的静音，选择“编辑→删除静音”菜单，系统弹出“删除静音”对话框，在这里可以扫描静音和删除静音。5.6.3效果CoolEdit提供了丰富而强大的音频效果处理功能，包括反相、倒置、静音、变速、变调、延迟、回声、混响、滤波（均衡）、降噪等。5.6.3效果1.降噪处理用CoolEdit打开录音得到的声音文件，点击主界面左下方缩放按钮中的水平放大和垂直放大按钮，将波形放大，放大波形的目的是为了更方便地进行噪音采样。选择噪音区内波形最平稳并且最长的一段作为噪音采样波形，选择菜单“效果→噪音消除→降噪器”，系统弹出“降噪器”对话框，调节好参数后，点击“噪音采样”按钮，系统会显示噪音样本的轮廓图。最后单击“关闭”按钮，采样工作完成。然后选择整个波形文件或者是需要降噪处理的部分波形，再次选择菜单“效果→噪音消除→降噪器”，在“降噪器”对话框中点击“确定”按钮，系统执行降噪处理过程。5.6.3效果2.调整音量CoolEdit提供两种方式调整音量。方法一是选择“效果→波形振幅→音量标准化”菜单，系统弹出“音量标准化”对话框，可以按百分比调整音量，也可以设置音量调整的分贝数。方法二是选择“效果→波形振幅→渐变”菜单，系统弹出“波形振幅”对话框，选择“衡量改变”标签，在“改变音量”栏中输入放大音量（正数）或缩小音量（负数）的分贝数即可。5.6.3效果3.淡入淡出用CoolEdit打开音乐文件，在音乐开头选取大约5秒钟的波形片段，然后选择菜单“效果→波形振幅→渐变”，系统弹出“波形振幅”对话框，选择“淡入淡出”标签，再在预置效果框里选择“Fadein”可以实现淡入效果.同理，如果在音乐结尾部分选取大约5秒钟的波形片段，在预置效果框里选择“Fadeout”就可以实现淡出效果。淡入淡出效果既可以按照“线性方式”改变也可以按照“对数方式”改变。5.6.3效果4.合唱效果利用CoolEdit可以将独唱处理成合唱效果。打开一首独唱歌曲，选择菜单“效果→常用效果器→合唱”，系统弹出“合唱”对话框，在预置效果框里选择Duo是二重唱，Quartet是四重唱，ThickChorus是合唱。不同的选择系统会显示出不同的合唱特性参数。5.6.3效果5.回声效果回声是日常生活中一种常见的声学现象。声波在传播过程中如果遇到比较大的反射面（例如墙壁等）将发生反射，能够与原声区分开的反射声波就称为回声。用CoolEdit打开声音文件，选择菜单“效果→常用效果器→房间回声”，系统弹出“房间回声”对话框，或者选择菜单“效果→常用效果器→回声”，系统弹出“回声”对话框，为声音文件设置各种回声效果。5.6.3效果6.混响效果CoolEdit提供了三种添加混响效果的方式：混响、简易混响和完美混响。用CoolEdit打开声音文件，选择菜单“效果→常用效果器→混响”，系统弹出“混响”对话框，或者选择菜单“效果→常用效果器→简易混响”，系统弹出“简易混响”对话框，或者选择菜单“效果→常用效果器→完美混响”，系统弹出“完美混响”对话框，为声音文件设置不同的混响效果。5.7CakewalkSonar的使用CakewalkSonar是Cakewalk公司出品的全能型音乐工作站。早期，Cakewalk是大名鼎鼎专门进行MIDI制作和处理的音序器软件，自Cakewalk9.0后改版为CakewalkSonar。Sonar7.0可以完成音乐制作中从MIDI制作到音频录制、编辑、混缩、烧刻的全部功能，同时还可以处理视频文件。5.7CakewalkSonar的使用CakewalkSonar7.0的主界面由标题栏、菜单栏、工具栏、编辑区和状态栏等组成。5.7.1创建新工程启动SONAR，选择菜单“File→New”，在“NewProjectFile”对话框中输入工程文件名，然后从“Template”列表中选择MIDI模板，我们选的是“16TrackMIDI”，单击OK按钮，系统会建立一个包含16个MIDI音轨的新工程文件。5.7.2录制MIDI将MIDI乐器连接到声卡上的MIDI接口上，选中一条MIDI音轨，单击这条音轨的R按钮，准备接收MIDI数据，然后在Transport（Large）工具栏上，单击Record按钮，系统开始录音，用MIDI乐器演奏，录制完成后，点击Stop按钮。重复上述方法可以继续在其他音轨上录音。5.7.3保存工程选择菜单“File→Save”保存工程，系统在Sonar安装盘的默认文件夹下保存我们的工程文件。5.7.4在钢琴卷帘视图中创作/编辑MIDI可以在SONAR的钢琴卷帘视图中可以用画笔“画出”音乐，实现完全手写方式的从头创作MIDI或者编辑MIDI。创建一个MIDI工程，选中一个音轨，选择菜单“Views→PianoRoll”，进入该音轨的钢琴卷帘视图。钢琴卷帘视图的横坐标显示的是乐曲的节拍位置，每条纵线之间相差一拍；纵坐标显示的是音符的高低，每条横线之间相差一个半音，可以通过钢琴卷帘视图右下角滚动条上横纵坐标的“放大镜”与“缩小镜”伸缩横、纵坐标，方便进行整体编辑或细致编辑。在钢琴卷帘视图中的音符工具中选择一个音符，音符工具包括全音符、二分音符、四分音符、八分音符、十六分音符、三十二分音符以及附点和三连音，再单击DrawTool（画笔工具），在钢琴谱上点击就可以生成音符，试听后如果觉得某个音符不合适，可以单击橡皮按钮，擦除该音符。然后要为音轨设置乐器，选择菜单“Views→TrackView”，回到音轨视图，选中一个音轨，单击音轨视图的左边的Patch（音色）按钮，在弹出的菜单中选择一个音色，例如选择“Trumpet（小号）”。然后可以继续编辑其他音轨直到完成一首乐曲的创作。5.7.5在五线谱视图中创作/编辑MIDISONAR提供在五线谱视图中创作和编辑MIDI的功能。（1）编辑单轨创建一个MIDI工程，选中一个音轨，选择菜单“Views→Staff”，进入五线谱视图，选择一个音符，再单击DrawTool（画笔工具），在五线谱上点击就可以生成音符。（2）编辑多轨单击第一音轨的序号“1”，使之变成绿色，然后按住Ctrl键，单击第二音轨的序号“2”，使之也变成绿色，这样两个音轨就被同时选中了，选择菜单“Views→Staff”，进入五线谱视图，在五线谱视图中显示出两行五线谱。5.7.5在五线谱视图中创作/编辑MIDI（3）设置谱号在五线谱视图中设置谱号，由于Sonar7.0的默认谱号为高音谱号G谱号“Treble”，所以第一音轨的高