《音频信息处理技术》PPT课件

1、音频信息处理技术, http:/www.zg- http:/www.skf- http:/www.nsk- http:/www.fag- http:/www.ntn- http:/www.xunchi- http:/www.ort-,第2页/共68页,本章导读,音频信息处理技术是多媒体信息处理的主要技术之一，它使计算机具备了录音、声音编辑、语音合成、声音播放等功能。在MPC中，可以通过声音传递信息、制造效果、营造气氛及演奏音乐等。目前的音频信息处理技术主要包括模拟声音信号的数字化、数据压缩编码、数字音效处理、音频文件存储、传输、播放等内容。本章主要介绍声音信号及其数字化的基本概念、音频卡的组成

2、及其工作原理、数字音频的采集与编辑、MIDI音乐以及几个常用的音频处理软件等内容，并以Adobe Audition3.0版本为例，详细介绍音频信息编辑处理的具体方法。, http:/www.zg- http:/www.skf- http:/www.nsk- http:/www.fag- http:/www.ntn- http:/www.xunchi- http:/www.ort-,第3页/共68页,本章主要内容,4.1 音频基础知识 4.2 音质标准与评价 4.3 音频的数字化与编码 4.4 音频卡 4.5 数字音频的采集与编辑 4.6 MIDI音乐,第4页/共68页,4.1 音频基础知识,4

3、.1.1 声音的物理特征,声音是由物体振动产生的，并以声波形式通过介质（如空气、水、金属等）传播。物理上，声音可以用一条连续曲线来表示，,如图4-1 。物体振动的最大位移称为振幅A，声波中两个连续波峰（或波谷）之间的距离称为周期T，周期,的倒数1/T即为频率f，以赫兹（Hz）为单位，频率反映了单位时间（1秒）物体振动的次数。,第5页/共68页,声音按频率可分为三类：音频、次声、超声,低于20Hz的声音称为次声 频率范围在20Hz20kHz范围的可听声音称为音频， 其中人说话发出的语音信号的频率范围是300Hz3kHz 频率高于20kHz的称为超音频（或超声）,可听的音频声音又可分为语音、乐音、

4、效果音、合成音、噪音（声）等五种。,第6页/共68页,4.1.2 音频三要素,音频有三个主要属性，分别是音调、音强和音色，它们既反映了音频信号的基本特征，也是人感受声音信号的三个主要因素，因此又被称为音频三要素。 音调：又称音高，反映声音的高低程度，由声音信号的频率大小所决定。频率越大，音调越高；频率越小，音调越低。 音强：又称响度，反映声音的大小或强弱，由振幅和声源距离共同决定。振幅越大，距离越小，音强（响度）越大。 音色：又称音质，反映声音的品质，它由振动物体（声源）的材料、结构、状态等自身因素决定，表现为声源的频带宽度。,第7页/共68页,4.1.3 数字音频的三种形式,音频（Audio

5、）是指频率在20Hz20kHz范围内的可听声音，是多媒体信息中的一种媒体类型听觉类媒体。 目前多媒体计算机中的音频主要有波形音频、CD音频和MIDI音乐3种形式。 1、波形音频： 是由外部声音源通过数字化过程采集到多媒体计算机中的所有声音形式。可通过编辑（裁剪、合成、效果等）、编码压缩、存储、传输以及还原播放等方式进行处理。在波形音频中，有一类特殊的声音需要特别提到，即人的语音。语音是波形声音中人的说话声音，具有内在的语言学、语音学的内涵。,第8页/共68页,2、CD音频 CD-音频（CD-Audio）是存储在音乐CD光盘中的数字音频，可以通过CD-ROM驱动器读取并采集到多媒体计算机系统中，

6、并以波形音频的相应形式存储、传输和处理。 3、MIDI音乐 也称MIDI音频。它将音乐符号化并保存在MIDI文件中，并通过音乐合成器产生相应的声音波形来还原播放。 音频是时间的函数，具有很强的前后相关性，所以实时性是音频处理的基本要求。,第9页/共68页,4.1.4 数字音频的文件格式,音频文件通常分为两大类：声音文件 和 MIDI文件 下表介绍几种常用的音频文件格式及后缀名：,第10页/共68页,4.1.5 音频处理工具软件简介,音频工具软件在内容上主要指处理数字音频和MIDI乐谱的各种工具软件，在功能上包括音频采集、编辑、合成、编码压缩以及MIDI乐谱的创作、编辑、发布等环节。 按照音频处

7、理的基本过程，通常可把音频工具软件分为： 1、MIDI制作软件 2、音频处理软件 3、音频压缩软件 4、音乐CD刻录软件,第11页/共68页,4.2 音质标准与评价,4.2.1 音质等级标准,音质是指音频信号经传输、处理后所再现的声音质量（保真度）。,第12页/共68页,4.2.2 音质客观评价,客观评价是指通过检测仪器测量音频信号的技术指标来进行声音质量评价，主要技术指标有：频带宽度、动态范围和信噪比等。,理论上，声音信号是由许多频率不同的分量信号组合而成的复合信号，因此，声音的频带宽度特指复合声音信号的频率范围，范围越大，频带越宽，可包含的音频信号（谐波）越丰富，因而声音质量就越高。 实际

8、上，再现声音（特别是乐音）的质量与所用的播放设备和场地条件有关。高质量的音频信号要通过高品质的音响设备在较好的音响环境中，才能再现出高质量的音响效果。对于音响设备而言，主要关注失真度、频响、瞬态响应、信噪比、声道分离度、声道平衡度等指标。,第13页/共68页,4.2.3 音质主观评价,主观评价是指通过人聆听各种声音而产生的好恶感觉来进行声音质量评价。 1、语音质量评价方法 常用的主观评价方法有：平均主观分法，失真平均主观分法，判断满意度测量法等。 ITU-TP800标准中定义的MOS，它将语音质量分为5级，如表所示：,第14页/共68页,2、乐音质量评价 乐音音质的优劣取决于多种因素，如声源特

9、性、音响器材的信号特性、声场特性、听觉特性等。因此，对音响设备再现的乐音音质的准确评价难度较大。 主观评价乐音音质，一般是通过再现乐音的响度、音调和音色的变化及其组合来评价音质的， 几种典型的听感：定位感 ，空间感 ，层次感 ，厚度感 ，立体感 。除此之外，还有力度感、亮度感、临场感、软硬感、松紧感、宽窄感等许多评价音质的听感。,第15页/共68页,4.3 音频的数字化与编码,计算机在处理音频信号之前，必须将模拟的声音信号数字化，形成数字音频。具体过程包括：采样、量化、编码。,4.3.1 采样与采样频率,采样是每间隔一段时间读取一次声音信号幅度，使声音信号在时间上被离散化，如图4-2所示。采样

10、的主要参数是采样频率 。,第16页/共68页,采样频率：是指将模拟声音波形数字化时，每秒钟所抽取声波幅度样本的次数，其计算单位是kHz(千赫兹)。如图4-3是模拟声音信号数字化时的采样图示。,一般来讲，采样频率越高声音失真越小，用于存储数字音频的数据量也越大。 采样频率的高低是根据声音信号本身的最高频率和采样定理决定的。,图4-3 声音信号采样,第17页/共68页,采样定理：在进行模拟/数字信号的转换过程中，当采样频率fs大于信号中最高频率fmax的2倍时，即fs=2fmax，采样之后的数字信号完整地保留了原始信号中的信息。采样定理又叫奈奎斯特定理（Nyquist theory）。,表4-4

11、不同音质数字音频的常用采样率,第18页/共68页,4.3.2 量化与量化位数,量化就是把采样得到的声音信号幅度转换为数字值，是声音信号在幅度上被离散化。 量化位数n定义了每个采样点的数据范围（02n-1），也叫量化等级，量化等级的多少决定了声音的动态范围。,图4-4 量化位数与动态范围,第19页/共68页,4.3.2 量化与量化位数,表4-5 不同音质的量化位数、量化范围、动态范围,第20页/共68页,4.3.3 声道,声道个数是反映音频数字化质量的另一个因素。 单声道：采集声音数据时，仅采集一个声波的数据 双声道（立体声）：采集两个声波数据 多声道（环绕立体声）：采集两个以上声波数据 声道数

12、越多，再现出的音响效果就越好。,第21页/共68页,4.3.4 音频采样的数据量,数字音频的数据量主要取决于两个因素： 音质因素：由采样频率、量化位数和声道数3个参数决定。 时间因素： 单位时间的数据量可用下式表示：,v：为单位时间的数据量（Kbps） fc：为采样频率（kHz） b：为量化位数（bit） s：为声道数,4.3.5 音频数据编码,音频数据压缩方法分类,PCM为脉冲调制编码， DPCM为差分脉冲调制编码， ADPCM为自适应差分脉冲调制编码,VSELP为矢量和激励线性预测编码， MPLPC为多脉冲激励线性预测编码， CELP为码本激励线性预测编码。,第23页/共68页,4.3.6

13、 音频编码标准,1、一般语音音质的音频压缩标准,特点：音质低，能听到声音就可以 应用：各类提示音 压缩标准： CCITT A Law CCITT Law 低采样率或低量化位数的PCM,第24页/共68页,2、电话音质的音频压缩标准 频率范围:300Hz3.4kHz，用标准的PCM编码。 压缩标准： G系列音频压缩标准 G系列音频压缩标准利用的技术： 线性预测技术 矢量量化技术 综合分析技术 典型的算法： ADPCM CELP LD-CELP（短时延码本激励线性预测编码） RPE-LTP（长时线性预测规则码激励） VSELP（矢量和激励线性预测编码）,第25页/共68页,表4-6 电话音质的音频

14、编码标准,第26页/共68页,3、 AM广播音质的音频压缩标准 频率范围:50Hz7kHz 压缩标准：ITU制定的G.722标准 G.722标准采用的算法：SB-ADPCM（子带ADPCM） SB-ADPCM算法：将现有的带宽分成两个独立的子带信道，使输入信号进入滤波器组分成高子带信号和低子带信号，然后分别进行ADPCM编码，最后进入混合器形成输出码流,第27页/共68页,4、高保真立体声音频压缩标准 包括:CD-DA以上音质、FM广播音质 FM广播音质频率范围:20Hz15kHz CD-DA音频信号的频率范围：50Hz20kHz 压缩标准： 1）MPEG1，MPEG2的layer1、2、3，

15、MPEG 4 AAC音频编码，杜比AC-3等。用于数字广播、数字电视广播、消费电子产品、音频信息的存储和下载等。 2）ITU-T G.722.1、3GPP AMR-WB+和3GPP 2 4GV-WB 。用于像3G通信这样的高音质低码率应用场合。,第28页/共68页,4.4 音频卡 4.4.1 音频卡的功能,录制和播放数字声音文件 控制音量和混音效果 声音文件的压缩与解压缩 MIDI接口与音乐合成,第29页/共68页,4.4.2 音频卡的组成与工作原理,第30页/共68页,音频卡的主要功能部件：功率放大器、混合信号处理器、DSP数字信号处理器、音乐合成器以及相关的外围接口等。 声音的合成与处理：

16、由DSP数字声音处理器、音乐合成器及MIDI接口控制器组成,主要任务是完成声波信号的模/数、数/模转换，利用调频技术控制声音的音调、音色和幅度。 混合信号处理器及功率放大器：内置数字/模拟混音器，混音器的声源可以是MIDI信号、CD音频、线性输入、话筒以及PC机的扬声器等，可以选择输入一个声源或将几个不同声源进行混合录音。,4.4.3 音频卡的I/O接口,图4-7 音频卡的外围接口连接示意图,第32页/共68页,4.4.3 音频卡的I/O接口,图4-8 支持5.1环绕的声卡插口,第33页/共68页,4.5 数字音频的采集与编辑,一般的数字音频采集首先需要选择和设置恰当的采样参数，然后再开始录音

17、采集，最后再使用相应的编辑软件对录制的音频数据进行剪辑和效果处理。 4.5.1 录音采集 选择采样参数 调整输入音频的频响 检测输入音频的强度 开始录音,第34页/共68页,图4-9 设置录音参数,1、选择采样参数,首先要根据实际情况选择最佳的采样参数，做到音质与数据量的折中考虑，避免采样过程中出现存储空间不足的现象发生。,CD音质、 电话质量 收音质量 Default Quality,第35页/共68页,2调整输入音频的频响,表4-7 各频段参数对音质的影响,第36页/共68页,3、检测输入音频的强度 在Win2K环境下，可通过“音量控制”对话框来检测、调节进入计算机的音源强度。 打开Win

18、dows下的音量控制台，选择菜单栏中的“选项”“属性”命令打开“属性”对话框。,图4-10 音量控制台,第37页/共68页, 在“属性“对话框中的音量调节选项中选择“录音”，在显示音量控制栏中选中麦克风等选项，如图4-11所示。 在弹出的录音控制台中选中麦克风或线路输入或CD音频，使相应的音源有效，如图4-12所示。,图4-11 “属性”对话框 图4-12 录音控制对话框,第38页/共68页,4、开始录音,图4-11 录音机操作面板,第39页/共68页,4.5.2 抓取CD、VCD和DVD音轨,获取数字音频的另一个快捷途径就是从不同的多媒体产品中直接抓取音轨信息，并转换压缩成所需的音频格式。

19、WaveLab 5.0版 ：抓取音乐CD、DVD中的音轨 “豪杰超级解霸”软件：抓取音乐CD、VCD或DVD光盘等格式音轨 豪杰超级解霸9.0版 ：可从DVD、VCD、RM/RMVB、AVI、MPG、MV等音视频混合的媒体中提取音频信息，并保存为一种称为DAC高音质压缩格式或WAV、MP3格式的声音文件 注意：在使用抓取音轨来采集数字音频时，应该遵守有关法律规定，取得相应的使用权，避免以后出现知识产权纠纷。,第40页/共68页,4.5.3 编辑数字音频,音频编辑一般包括音频内容剪切、合成以及音质和效果的编辑等方面。, 多音轨（Multiple Tracks） 切边（Trimming） 拼接和组

20、合（Splicing and Assembly） 音量调节（Volume Adjustments） 格式转换（Format Conversion） 重采样或降低采样率（Resampling or Down sampling） 淡进淡出（Fade-ins and Fade-outs） 均衡（Equalization） 时间拉伸（Time Stretching） 数字信号处理（Digital Signal Processing-DSP）,第41页/共68页,4.6 MIDI音乐,4.6.1 什么是MIDI,MIDI（Musical Instrument Digital Interface）乐器数字

21、接口。它是由Yamaha、Roland等公司在1983年联合提出并不断发展确定的数字音乐的国际标准，它规定了电子乐器和多媒体计算机之间进行连接的硬件及数据通信协议，是多媒体计算机所支持的又一种声音产生方法MIDI方法。 MIDI方法就是将数字式电子乐器的弹奏过程记录下来，如选的是什么乐器，弹下哪一个键，用了多大力气，持续了多长时间等。 MIDI格式的数字化文件可以看作是乐谱的数字化描述，它记录的不再是声音的波形，而是乐器的种类以及音阶的高低、长短、强弱、速度等因素，这些被称为MIDI消息，存储为MIDI文件。,第42页/共68页,4.6.2 MIDI设备的配置与连接,一件乐器只要包含了能处理M

22、IDI信息的微处理器以及相关的硬件接口，就可以认为是一台MIDI设备。 两台MIDI设备之间可以通过接口发送信息而进行相互通信。 一台MIDI设备可以有13个端口： MIDI In 接口：接收来自其它MIDI设备上的MIDI信息； MIDI Out接口：用来输出本设备生成的MIDI信息； MIDI Thru接口：将从MIDI In端口传来的信息发送到另一台相联的MIDI设备上。,第43页/共68页,接收设备的MIDI In连接器内常采用光电耦合器实现收、发设备之间的电气隔离。 MIDI信息采用异步串行方式传输，传输速率为31.25Kbps。 在进行MIDI通信时，用户可以通过标准的MIDI电缆

23、来相互连接各端口。如图4-14所示。,图4-14 MIDI与游戏接口电缆,第44页/共68页,图4-14 多媒体计算机与MIDI设备连接示意图,MIDI软件（音序器）是用于记录、编辑和播放MIDI文件的一种软件，其作用相当于是MIDI乐器的一台多轨磁带录音机。,MIDI设备可以配备电子键盘、合成器、音序器（MIDI软件）以及扬声器或音箱等。 MIDI键盘主要用于产生MIDI信息 MIDI合成器是一种电子设备，使用数字信号处理器或其他类型的芯片产生音乐或声音。,第45页/共68页,4.6.3 播放MIDI音乐,声卡播放MIDI音乐最常用的方法有两种：FM合成与波表（WaveTable）合成。 F

24、M是运用声音振荡的原理对MIDI进行合成处理的。 波表合成，效果较好。它是将各种真实乐器所能发出的所有声音(包括各个音域、声调)录制下来，存储在声卡的ROM中，称为硬波表。,第46页/共68页,4.6.4 制作MIDI音乐,制作MIDI音乐，需要按图4-14的示意构成系统。 乐谱创作软件能够录制、编辑、打印MIDI乐谱并播放MIDI音乐。有些乐谱创作软件还能对乐谱进行量化来调节节拍的不一致问题。 MIDI编辑中很重要的是选择MIDI乐器，MIDI标准规定了不同的演奏乐器并用编号加以区分，范围在0127之间，见附录三。 在MIDI乐谱中，乐器ID用来决定以何种乐器来播放乐曲，为改变乐器，只需改变

25、该数值即可。 MIDI是为多媒体项目创建原始音乐素材的最佳途径。准备发布时应将其转换成数字音频数据。 创作MIDI乐谱的软件：Cakewalk（Cakewalk 9.0 x版）,第47页/共68页,4.6.5 乐谱的扫描与识别,除了通过MIDI方法创作乐谱（MIDI音乐）以外，还可以利用扫描-识别技术，快速将印刷乐谱数字化，保存为MIDI乐谱。 SmartScore软件扫描识别过程： 首先，通过扫描仪将乐谱以图像的方式扫描成数字图像, 扫描参数的选择与设置: 分辨率:一般选择150300dpi， 图像类型:黑白二值或OCR， 扫描后的图片存储格式:TIF格式； 然后，通过乐谱识别功能识别出可编

26、辑的数字乐谱并进行校对、编辑。,第48页/共68页,SmartScore也可以打开事先存储好的乐谱图片并进行识别，识别完成后会提示将识别的结果保存为SmartScore专用格式的.enf文件。,第49页/共68页,4.6.6 MIDI与数字音频的比较,第50页/共68页,MIDI具有以下几个优点： MIDI文件比数字音频文件尺寸更小，MIDI文档的大小与播放质量完全无关。 由于MIDI文件非常小，可以嵌入到网页中，因此下载和播放要比相当的数字音频速度快。 在有些情况下，如果使用的MIDI声源质量很高，MIDI将会比数字音频文件听起来更好。 MIDI数据是完全可编辑的，可对MIDI音乐的音符、音

27、高、输出设备等很小的乐谱单元作精确编辑和修改。,第51页/共68页,MIDI也有以下几方面的不足： 由于MIDI数据并不表示实际的声音，而是音乐设备的声音，因此只要MIDI的播放设备与制作MIDI时使用的设备不一样，就无法保证播放的最佳效果完全无误。 采用MIDI无法表示语音信号。 采用数字音频还有两个，而且经常起决定性作用的原因： Macintosh和Windows平台为数字音频提供了更多的应用软件和系统支持。 创建数字音频的准备和编程并不需要具备音乐理论的专业知识，但是处理MIDI数据不但需要了解音频制作，而且需要对音乐乐谱、键盘和音符有所了解。,第52页/共68页,4.7音频工具软件,A

28、dobe Audition是Adobe公司的音频处理产品，简称Au，是一款集音频录制、混合、编辑和控制于一身的音频处理工具软件。 可以录制、混合、编辑和控制数字音频文件，也可轻松创建音乐、制作广播短片、修复录制缺陷等，以获得所需的音频处理效果。,Au 3.0是Adobe 公司2007年11月8发布的新版音频处理软件，其扩充或增强的新功能包括：,4.7.1 Au 3.0的新特性,第53页/共68页,支持VSTi虚拟乐器； 增强的频谱编辑器。 增强的多轨编辑： 新效果：包括卷积混响、模拟延迟、母带处理系列工具、电子管建模压缩； iZotope授权的Radius时间伸缩工具； 新增吉他系列效果器；

29、可快速缩放波形头部和尾部； 增强的降噪工具和声相修复工具； 更强的性能：对多核心CPU进行优化； 波形编辑工具：,第54页/共68页,4.7.2 Au 3.0的工作模式,Au 3.0的工作模式： 编辑模式：编辑模式提供强有力的单轨编辑能力 ，具体操作和编辑处理在“编辑视图”中完成。 多轨模式：多轨模式提供最多128个音轨的多音轨混合能力，具体操作和处理在“多轨视图”中完成。 CD模式：CD模式提供CD光盘刻录所需的操作功能，具体操作和处理在“CD视图”中完成。 利用Au 3.0的集成处理环境，使用者可以在不同模式之间“无缝”切换，同时进行单轨编辑、多轨混合和制作CD光盘等工作，制作出专业水准的

30、音频。,第55页/共68页,4.7.3 编辑视图,第56页/共68页,4.7.3 编辑视图,主菜单：包括“文件”、“编辑”、“视图”、“效果”、“生成”、“收藏”、“选项”、“窗口”、“帮助”等9个菜单项。 视图切换按钮：位于“文件”主菜单下方，包括“编辑”、“多轨”和“CD”三个按钮 传送器面板：定义了单轨和多轨视图下的音频播放和录音操作，包括停止、播放、暂停、从指针处播放、循环播放、快进、快倒、转到开始或上一个标记、转到结尾或下一个标记、录音等。 时间面板：用于显示操作过程中音频时间线指针的具体时间。,第57页/共68页,缩放面板：定义了编辑音轨的横向（时间线或采样率）、纵向（幅度）的放大

31、、缩小操作。,图4-18 音频波形的横向放大效果图示,第58页/共68页,选择/查看面板：定义了显示了音轨窗口目前可看到的音频信号的起始时间位置、结束时间为止以及时间长度。如图4-17中的选择/查看面板。 电平面板：显示播放音频时的信号电平。 其他面板：视图中的文件面板、效果面板、收藏夹面板等与主菜单中的“文件”、“效果”、“收藏夹”基本对应。,第59页/共68页,4.7.4 多轨视图,第60页/共68页,多轨视图与编辑视图不同的内容主要表现在主菜单、主群组、混音器三个方面，其他内容与编辑视图的相应内容相同或相似。 1.主菜单：包括“文件”、“编辑”、“剪辑”、“视图”、“插入”、“效果”、“

32、选项”、“窗口”、“帮助”等9个主菜单项 。与编辑视图主菜单的不同主要有：文件，插入，剪辑。 文件：定义了对音频会话（Session）文件的相关操作，一个会话中可包含多个音频文件，便于多轨编辑 。 插入：定义了多轨视图下的相关插入操作。 剪辑：定义了多轨视图下的相关剪辑操作。 2.混音器：是一种将多路输入的各种音频信号，通过各种调节、混合形成一路输出信号的音频处理设备。如图4-20。,第61页/共68页,3.主群组:由多个音轨组成，提供多音轨编辑能力。,图4-20 Au3.0的混音器面板,第62页/共68页,4.7.5 CD视图,Au 3.0的CD视图（CD View）是一个提供CD光盘内容编辑和光盘刻录功能的人机操