音频采样与编码

1、音频信号提取和处理音频技术的应用 音频的数字化存贮/传输 数字唱片、IP电话、多媒体网页. 音频合成 电子乐器、语音合成 安全防卫 声纹识别、声音欺骗. 语音分析 语义分析、人机交互.2010-SPRING2LIST2010-SPRINGLIST32010-SPRINGLIST42010-SPRINGLIST5声音的属性物理属性物理属性 机械波 时间域：f(t) 频率域：F()感知属性感知属性 响度(Loudness Level) 音调(Pitch) 音色(Timbre)2010-SPRINGLIST6声音的强度度量2010-SPRINGLIST7声音的动态范围=20 log(最大音量/最小音

2、量) (dB)音质效果音质效果AM广播广播 FM广播广播 数字电话数字电话CD动态范围(dB)406050100响度(Loudness Level) 听阈(Threshold of Hearing) 人耳刚可以听到的响度 客观的响度 主观感受的响度2010-SPRINGLIST8dynes = gcm/sec2010-SPRINGLIST9响度与频率有关等响度曲线音调和音色2010-SPRINGLIST10音调：声波的基频音色：基频的谐波谐波的次数、幅度和相位决定了不同的音色（乐器）不同音频业务的带宽)001. 01log(23.3322HzMelfT主观音调：掩蔽效应(Masking Eff

3、ect)2010-SPRINGLIST11 频域掩蔽一个强纯音会掩蔽附近频率的弱纯音（掩蔽效果与两个纯音的频率差有关）噪声对纯音产生掩蔽临界带宽(Critical Band) 时域掩蔽时间轴上相近时刻的声音之间的掩蔽效应超前掩蔽 (Pre-masking) , 滞后掩蔽(Post-masking)音频有损压缩的依据，音频水印技术的依据音频有损压缩的依据，音频水印技术的依据2010-SPRINGLIST122010-SPRINGLIST13编号编号频率频率(Hz)编号编号频率频率(Hz)低端高端带宽低端高端带宽1100200100132000232032022003001001423202700

4、3803300400100152700315045044005101101631503700550551063012017370044007006630770140184400530090077709201501953006400110089201080160206400770013009108012701902177009500180010127014802102295001200025001114801720240231200015500350012172020002802415500220506550临界带宽（20-16kHz）数字音频存贮/通信2010-SPRINGLIST14A/D传

5、感器 声音电信号数据压缩数字信号数据解压D/A数字信号喇叭电信号声音存贮/传输音频的采样2010-SPRINGLIST15采样频率：Nyquist采样定理量化分辨率：音量动态范围量化位量化位(bit)(bit) 量化阶量化阶动态范围动态范围(dB)(dB) 应用应用825648-50数字电话166553696-100CD声道：单声道、双声道、多声道2010-SPRINGLIST162010-SPRINGLIST172010-SPRINGLIST182010-SPRINGLIST19音频编码语音编码的分类 按照压缩后传输所需要的数据速率可以分为： 高速率语音编码，PCM 64kbit/s, 公用

6、电话网 中高速率语音编码，ADPCM, 32kbit/s 公用网 中速率语音编码，GSM RPE/LTP 13kbit/s；VSELP 8kb/s 数字移动通信话音邮件 低速率语音编码，CELP 4.8kb/s, LPC 1.2kb/s 保密话音 极低速率语音编码，速率1.2kbit/s以下2010-SPRING21LIST 波形编码： 脉冲编码调制 自适应增量调制 自适应参分脉冲编码调制 自适应子带编码 自适应预测编码语音编码的分类2010-SPRING22LIST语音编码性能 客观评定方法: 信噪比，加权信噪比，平均分段信噪比等 主观评定方法: 平均意见得分（Mean Opinion Sc

7、ore，MOS） 判断韵字测试（ Diagnostic Rhyme Test，DRT） 判断满意度得分（ Diagnostic Acceptability Measure，DAM）2010-SPRING23LIST平均意见得分（MOS）MOS得分采用5级评分标准MOS得分质量等级失真级别5优不觉察4良刚有觉察3可有觉察且稍有可厌2差明显觉察且可厌但可忍受1坏不可忍受2010-SPRING24LIST平均意见得分（MOS） 4.0-4.5 高质量数字化语音，达到长途电话网的要求，接近于透明信道的编码，也称为网络质量。 3.5 左右 通信质量，这时能够感到重建话音质量有所下降，但是不妨碍正常的通话

8、，可以满足多数话音通信系统的使用要求。 3.0分以下 合成语音质量，一些声码器合成语音所能达到的质量，一般具有足够高的可懂度，但是自然度以及讲话人的确认方面不是很好。2010-SPRING25LIST音频脉冲编码(PCM)调制2010-SPRINGLIST26PCM (Pulse Coding Modulation) : 脉冲编码调制PCM的量化方式均匀量化与非均匀量化2010-SPRING27LIST对数非均匀量化2010-SPRINGLIST28c(x)非线性压缩均匀量化编码解码c-1(x)非线性扩张发送接收xBxcln1)(2010-SPRINGLIST29) 11(ln1ln1)10(

9、ln1)(xAAAxAxAAxxc) 10()1ln()1ln()(xxxcConsultative Committee for International Telegraph and Telephone国际电报电话咨询委员会G.711A律律2010-SPRINGLIST30律A律CCITT G.711 PCM编码规则2010-SPRINGLIST31 8kHz 采样频率 音频带宽 300 3400 Hz A律 13段 或 律15段编码 8位表示每个采样点 数据量 64kb/sb1 b2 b3 b4 b5 b6 b7 b8符号位段号段内分层折叠码2010-SPRINGLIST32A律13段折线

10、2010-SPRINGLIST33律15段折线自适应脉冲编码调制(APCM) Adaptive Pulse Code Modulation 根据输入信号幅度大小来改变量化阶大小 瞬时自适应：量化阶每隔几个样本就改变 音节自适应：量化阶在较长周期内发生变化 前向自适应(forward adaptation) 后向自适应(backward adaptation)2010-SPRING34LIST自适应脉冲编码调制(APCM)前向自适应后向自适应2010-SPRING35LIST差分脉冲调制编码（DPCM）量化器编码器预测器+-s(n) : 输入信号sr(n): 重建信号sp(n) : 预测信号d(

11、n): 预测误差信号解码器预测器+发送端接收端2010-SPRING36LISTADPCM编码 APCM的自适应特性 提高量化效率 DPCM的差分特性 减小样本数据表达间相关性2010-SPRING37LISTCCITT G.721 32kb/s ADPCM 实现64kb/s A律或律PCM速率和32kb/s速率的ADPCM之间的相互转换。话音质量接近于A律或律64kb/s PCM的话音质量，MOS分为4.1，达到网络等级。采样频率为8KHz，每个样点采用4比特编码。CCITT G.721 32kb/s ADPCM 主要用来实现对现有的PCM信道扩容，2010-SPRING38LISTG.72

12、1 32kb/s ADPCM-编码器输入格式转换差值信号计算自适应量化自适应逆量化自适应预测器量化器自适应定标因子自适应速度控制单频与瞬变检测重建信号计算器PCM码输入ADPCM输出2010-SPRING39LISTG.721 32kb/s ADPCM-解码器输出格式转换自适应逆量化自适应预测器量化器自适应定标因子自适应速度控制单频与瞬变检测重建信号计算器ADPCM码输入同步编码调整2010-SPRING40LISTMP3 Mpeg 1 Audio Layer 3 有损数据压缩2010-SPRINGLIST41音频有损压缩原理 有损压缩等价于添加噪声 添加的噪声不能被听到（丢失不能被听到的声音

13、信息） 充分利用人听觉的遮掩效应(Masking)2010-SPRINGLIST422010-SPRINGLIST43Filter BankQQQMultiplexerPsychoacoustic ModelMPEG音频压缩编码器2010-SPRINGLIST44MultiplexerQ-1Q-1Q-1DemultiplexerMPEG音频译码器2010-SPRINGLIST45子带编码(Sub-band Coding, SBC)Filter BankQuantization&EncodingPsychoacoustic ModelFrame不同频率的噪声掩蔽阈值Signal-to-mask Ratio, SMR2010-SPRINGLIST46Filter BankModified DCTQuantizationHuffman EncodingMultiplexerFFTMask ThresholdMP3编码流程音频数据格式WAV and MP3wav-mp3-wavwav 550Kmp3