多媒体技术及应用（第3版） 课件第2章 音频处理技术与应用16-9

多媒体技术与应用

第2章音频处理技术与应用电信学院计算机系2.1.1声音的基本特征2.1.2音频的数字化2.1.3智能语音处理技术2.1音频处理基础1.声波（1）声波：由各种机械振动或气流扰动引起周围的弹性媒质发生波动。（2）声源：产生声波的物体，如人的声带和乐器等。（3）声音：人的听觉系统所能感知到的声波。

频率(Hz)20300300020000语音音频次声波超声波（1）声波信号的物理特征2．声音的基本特征周期（T）：相邻两个波峰或波谷之间的时间。频率（f）：周期的倒数（f=1/T），即每秒波峰或波谷出现的次数。幅度：从基线到波峰或波谷的距离，幅度越大声音越响。音调：由发声物体的振动频率决定。频率越大（即振动越快），音调越高，反之音调越低。（2）声音信号的心理学特征音色：主观评价声音的量，声音的音色取决于声音的频谱结构，高次谐波越丰富，音色越明亮并具有穿透力。响度：人耳对声音强弱的感觉程度，主要取决于振幅和声压。人耳距离声源越远，声音越小。人们感知到的声音特征:音调、音色和响度 声音的频率范围越宽，声音的质量越高。（3）声音质量的评价质量频率范围采样频率（kHz）采样精度（bits）声道数数据率（kB/s）电话200～3400Hz88单声道8AM100～5500Hz11.0258单声道11.0FM20～11000Hz22.05016立体声88.2CD-DA5～20000Hz44.116立体声176.4DVD0～96000Hz192246声道12002）信噪比：有用信号与噪音信号的强度之比（分贝）。3)声音质量的主观度量：大多数人对声音质量的感觉。1）声音质量分级：按声音频率范围将声音质量分为5级

音频信号：通过麦克风等设备转换成的电信号。规则音频信号：带有语音、音乐和音效的有规律的音频信号。

语音：语言的载体，有丰富的语言内涵。

音乐：是一种规范的符号化的声音。

音效：自然界中各种声音效果，如掌声和雷声等。不规则音频信号：不包含任何信息的声音，如噪声。3．音频信号的表示2）音频信号的波形表示3）音频信号的频谱表示

声音信号的频率分布曲线。男声的基频较低，低频分量更加丰富，听起来会更加低沉、浑厚。ω0：声音的基音，决定了音调的高低nω0：声音的泛音，决定了声音的音色An:声波的振幅，表示声音的强弱1）音频信号的数学表示“同济大学”女声“同济大学”男声3．音频信号的表示2.1.1声音的基本特征2.1.2音频的数字化2.1.3智能语音处理技术2.1音频处理基础（1）采样：声音信号在时间上的离散化。即每隔一定时间抽取一个信号样本采样频率：每秒采样的次数。奈奎斯特理论：采样频率不低于声音信号最高频率的两倍，这样就能把数字声音还原成原来的声音，称为无损数字化。语音的最高频率约为3.4kHz，电话采样频率为8kHz；音频的最高频率为20kHz，CD音质的采样频率为44.1kHz;1.音频信号的数字化声波在时间和幅度上都是连续的，是一种模拟信号。数字化过程：就是采样、量化和编码的过程。采样过程中对每一个采样点的幅度值用数字量来表示。（2）量化：声音信号在幅度上的离散化采样精度：即量化的位数，8位可以将幅度分成256等份，位数越多量化等级数也越多，所能表示的声波幅度的动态范围也越大，当然需要的存储空间也越大。如果幅度的划分是等间隔的，则称为线性量化，否则为非线性量化。（3）编码如何计算数字化音频的数据量？数据量=采样频率*采样精度*采样时间*声道数/8(字节数)例2.1计算1分钟未压缩的高保真立体声数字声音数据的大小。60*（44100*16*2）/8=10.09MB一个容量为4GB的MP3播放器可存放100首这样的歌曲。脉冲编码调制法（PCM）：用二进制来表示每一个有固定电平的量化值。2.数字音频压缩标准（1）电话质量的语音压缩标准G.711，G.721，

G.723，G.729等采样频率：8kHz，量化位数：8位（2）调幅广播语音压缩标准G.722：第一个宽带语音编码算法，采样频率：16kHz（3）宽带音频压缩标准

MPEG-1的音频：第一个高保真立体声音频压缩国际标准，提供三个独立的压缩层次，mp3则采用了其中第三层的标准。WAV文件：波形文件，文件大，适合存储简短的声音片段和旁白。MP3文件：是MPEG音频第3层的简称，有损压缩，压缩比达12:1。RA文件：RealMedia音频部分，采用流式传输，适合在线聆听。WMA文件：微软推出的流式音频格式。AC3文件：又叫杜比数码环绕立体声，提供5个全频域声道和1个超低音声道，称为5.1声道，一般作为DVD的伴音。AIFF

文件：Apple公司开发，被Macintosh平台及其应用程序所支持。FLAC文件：无损压缩，源码开放，支持所有操作系统平台。AMR文件：移动通信中广泛使用的语音标准，用于保存手机录音。3.常见音频文件2.1.1声音的基本特征2.1.2音频的数字化2.1.3智能语音处理技术2.1音频处理基础语音识别：让计算机能够听懂人说话1.语音识别技术Windows的语音识别语音合成的三个层次

从文字到语音从概念到语音从意向到语音语音合成的特点标准清晰，但缺少感情色彩语音合成的应用文语转换、语音查询2.语音合成技术语音合成：使计算机具有类似人的说话能力2.2.1基本操作2.2.2音频的编辑2.2.3效果控制2.2.4多轨合成与混缩输出2.2AdobeAuditionCCAudition的操作界面（单轨）

Audition的操作界面（多轨）

1.新建和保存项目（1）新建多轨合成项目（2）保存项目项目文件中保存的是：1）导入了哪些素材（存放快捷方式）2）放置在什么轨道3）设置了什么参数4）添加了什么效果（1）新建音频文件2.新建和保存波形（2）保存音频文件文件/打开文件/导入Ctrl+i打开视频，支持avi,mov,mp4,wmv等视频格式。CC版可以直接在单轨下播放;拖放到多轨下，音频与视频自动分离，放在不同的轨道上，画面显示在视频面板。3.打开文件提取CD中的音频类似于WindowsMediaPlayer中的翻录VCD光盘中伴奏的提取伴奏原唱梁祝.mov锁定原唱所在声道执行菜单“编辑/复制到新文件”即可提取伴奏伴奏沉默是金.mp4原唱4.录音麦克风的选择（信噪比越大越好）1）动圈麦和电容麦（专业）2）全指向和单一指向3）有线和无线在麦克风的“高级”属性中，选择声卡合适的输入格式，然后重启Audition。无法录音的问题（1）外录：选择麦克风，单击录制。（2）内录：选择立体声混音，播放视频或音频，单击录制即可。单轨下录音注意：1）录制的波形振幅要尽量大；2）没有声音的地方应该是一条直线，否则有噪音；3）可以将录错的波形调到静音以后重新录制；多轨下录音背景音乐录制的波形(1)新建多轨合成项目(2)导入伴奏(3)按下R，使该轨道进入录音状态(4)定位好时间线(5)单击录制按钮穿插录音对已经录制好的声音片段进行重新录制注意：只有选区内会录音，不影响其他波形。选取重录部分按下定位好时间线点按（自动清除选区）2.2.1基本操作2.2.2音频的编辑2.2.3效果控制2.2.4多轨合成与混缩输出2.2AdobeAuditionCC1.单轨下的编辑（1）波形的选取拖曳鼠标左键即可选择单个声道的波形(把另一声道锁定)（2）波形移动与复制(剪切、复制与粘贴、混合粘贴)（3）波形的裁剪与删除裁剪：只留下选择的波形，其余删除删除：删除选择的波形，后面的波形会自动前移，若删除的是单个声道的波形，则不影响后面的波形，实质设为静音。（5）波形的反相与反向反相：波形相位的反转反向：前后反向，达到逆向播放的效果反相前的波形反相后的波形反向后的波形反向前的波形2.多轨下的编辑音量旋钮：背景音量降低，旁白音量提升声相旋钮：可控制声音在左耳与右耳之间的均衡输入：默认为立体声，若选择“无”，则不能录音输出：默认为主控，若选择“无”，则不会发声（1）多轨面板效果发送输入/输出轨道名EQ静音独奏录音音量旋钮声相旋钮输入输出音轨自动化监视输入切换节拍器切换全局剪辑伸缩切换对齐移动工具：左键移动选中的波形片段，右键拖移可移动或复制波形片段。剃刀工具：在单击处剪开波形滑动工具：用于滑动选择想要的波形片段时间选择工具：左键选波形，右键移动波形（2）工具栏框选、套索和笔刷工具：在单轨状态下单击频谱频率显示，用于选取所要操作的频谱区域。污点修复工具：修复频谱信号，一般是不到4秒的劣音，如咔哒声，破音等移动工具剃刀滑动工具时间选择框选套索笔刷污点修复频谱频率频谱音调（3）多轨下编辑拆分：在当前时间线位置剪开时间锁定：只能上下移动，不能左右移动删除“编辑|删除”：删除选中的波形片段，不影响该轨道上的其他波形“编辑|波纹删除”：将选定的波形删除，其后面的波形会自动前移“波纹删除|gap”，把两个波形之间的空隙删除循环：拖曳波形的边界，可以使波形往前或往后重复出现静音：使选定的波形片段静音淡入淡出：设置开始时淡入，结束时淡出（4）包络编辑包络编辑:一般用于控制声音属性的变化音量包络：控制音量的变化，如淡入淡出或忽高忽低声相包络：控制声相的变化，实现左耳和右耳的均衡展开扩展控制区音量包络线静音包络线声相包络线2.2.1基本操作2.2.2音频的编辑2.2.3效果控制2.2.4多轨合成与混缩输出2.2AdobeAuditionCC作用于选定的波形（默认为全选），属于破坏性编辑。单轨下加效果作用于整个轨道上的所有波形片段，不会立即改变波形，在混缩输出时才会改变波形。多轨下加效果录音人声处理的一般步骤效果|恢复|降噪处理降低环境噪音效果|幅度|标准化使音量达到最大不失真效果|幅度|动态处理避免声音忽高忽低效果|延迟效果|混响使声音更加丰满降噪标准化处理压限人声润色1.降噪1）选择环境噪音样本信号；2）效果/降噪/捕捉噪声样本；3）单击“选择完整文件”；4）单击“应用”即可；噪音样本2.诊断

在诊断面板中选择对应的效果，通过预设选择合适的参数，先扫描是否存在问题，检测到问题后再点击“修复”或“全部修复”。3.振幅与压限增幅：提升或降低音量，直接改变振幅大小。声道混合：可用于人声消除。动态处理：以图形方式显示，能直观地实现压限。标准化：使音量达到最大化不失真的程度。音量包络：控制音量的变化可实现声音淡入淡出）效果|振幅与压限|声道混合器例：人声消除

比较：未添加任何效果的人声消除，

添加了混响的人声消除效果|立体声声像|中置声道提取，选择预设“人声移除”4.延迟与回声

通过设置延迟时间和反馈等参数模拟声音在空间传播中的漫反射效果。5.调制

通过设置延迟时间、延迟率、反馈和扩散等参数模拟和声效果。6.滤波与均衡滤波：一般用于过滤掉某些频率成分的波形高通：让高频部分通过低通：让低频部分通过均衡器：通过调节各个频率段的振幅达到改变音色的目的。单轨下：效果|滤波与均衡多轨下：切换到EQ