《语音识别基础》PPT课件.ppt

语音识别基础,上海交通大学计算机系 吴亚栋 E-mail: Tel: 62932057,第三章 语音信号处理基础,第三章 语音信号处理基础,3.1 短时分析与窗函数 3.2 时域分析 3.3 频域分析 3.4 倒谱域分析 3.5 线性预测分析 3.6 矢量量化法,3.1 短时分析与窗函数,3.1.1 语音信号的数字化* 3.1.2 短时分析概要* 3.1.3 几种典型窗口*,3.2 时域分析,3.2.1 平均能量、幅度及过零数 * 3.2.2 自相关函数与平均振幅差函数 * 3.2.3 时域分析在语音识别中的用途,3.3 频域分析,3.3.1 短时傅里叶变换(DFT)* 3.3.2 DFT与快速傅里叶变换(FFT)* 3.3.3 振幅谱和功率谱*,3.4 倒谱域分析,3.4.1 倒谱的概念* 3.4.2 倒谱的分析流程* 3.4.3 倒谱系数的求法* 3.4.4 倒谱分析在语音识别中的用途*,3.5 线性预测分析,3.5.1 线性预测分析的概念* 3.5.2 线性预测系数的求解* 3.5.3 线性预测分析在语音识别中的用途*,3.6 矢量量化法,3.6.1 矢量量化的原理* 3.6.2 码本设计* -LBG算法(2分割法)概要 3.6.3 矢量量化在语音识别中的用途*,： 提交时间：,第三章 回家作业,3.1.1 语音信号的数字化,频率,采样周期(T),xa(t)：模拟波形,x(n)= x(nT)：取样值,时间,振 幅,采样： 时间方向的离散化 采样频率(S) 采样定理 量化： 幅度方向的离散化,语音信号的短时平稳性 语音信号的短时分析 短时信号的切取 分帧 帧长 帧移,3.1.2 短时分析的概要,3.1.3 几种典型的窗函数,矩形窗： 汉明窗(Hamming)： 哈宁窗(Hanning)：,WR =,1 = (0nN-1),0 = (Other),WHM =,0.5-0.46cos(2n/(N-1) (0nN-1),0 = (Other),WHN =,0.5-0.5cos(2n/(N-1) (0nN-1),0 = (Other),3.2.1 短时平均能量、幅度及过零数,短时平均能量的定义：* 短时平均幅度的定义：* 短时平均过零数的定义：*,短时平均能量Ej的定义,N-1 E = x (n)2 n=0 x (n)：原样本序列x(n)在j时刻起，由长度为N 的窗口w(n)所切取出的短时语音段。 Elog(j) = 10log10(1+Ej) Elog(j)：语音信号的对数短时平均能量（分贝）。,j,j,j,短时平均幅度Mj的定义,N-1 M = x (n) n=0 x (n)：原样本序列x(n)在j时刻起，由长度为N 的窗口w(n)所切取出的短时语音段。,j,j,j,短时平均过零数Zj的定义,N-1 Z = neg(x (n)x (n+1) n=0 x (n)：原样本序列x(n)在j时刻起，由长度为N 的窗口w(n)所切取出的短时语音段。 neg(x)=,j,j,0 (x0),1 (x0),静息、无声及有声语音的Ej和Zj的分布关系,静息语音,无声语音,有声语音,0 10 20 30 40 50 60 70 80,静息语音,无声语音,有声语音,0 10 20 30 40 50 60 70 80,(a)短时平均能能量(dB) (b)短时平均过零数(次/10ms),3.2.3 短时自相关函数与平均振幅函数,短时自相关函数* (Short-Time Auto-Correlation Function) 短时平均幅度差函数* (Average Magnitude Differential Function),自相关函数与AMDF函数,N-1 R (m) = (x (n)x (n+m)/N (0mN-1) n=0 N-1 r (m) = |x (n)-x (n+m)|/L (0mN-1) n=0 N-1 L = |x (n)| n=0,j,j,j,j,j,3.3.1 短时傅里叶变换(DFT),(1) DFT(Discrete Fourier Transform),(2) IDFT,3.3.2 DFT与快速傅里叶变换(FFT),在使用算法时应注意： (1) 时间窗要求采用两端衰减型的窗函数 (2) 数据长度要求满足：N=2,M,短时帧长：200,FFT帧长：256,补零,3.3.3 振幅谱和功率谱,(1) 振幅谱|X (k)|,|X (k)| = R(X (k) +I(X (k) ,j,j,j,j,2,2,1/2,(2) 功率谱 S (k),j,S (k) = |X (k)| / N,j,j,2,3.4.1 倒谱的概念,定义：倒谱定义为信号短时振幅谱的对数傅里叶反变换。 特点：具有可近似地分离并能提取出频谱包络信息和细微结构信息的特点。,3.4.2 倒谱的分析流程,DFT,Log| |,IDFT,DFT,峰值 检测,A,倒谱窗(lifter),x(n),B,C,D,E,F,时间窗,A：短时信号；B：短时频谱；C：对数频谱； D：倒谱系数；E：对数频谱包络； F：基本周期,3.4.3 倒谱系数的求法,c (k) = log10|X (k)|exp(j2kn/N)/N,j,j,= log10|X (k)|cos(2kn/N)/N,(0nN-1),3.4.4 倒谱分析在语音识别中的用途,提取声道特征信息：提取频谱包络特征，以此作为描述音韵的特征参数而应用于语音识别。 提取音源信息：提取基音特征，以此作为描述音韵特征的辅助参数而应用于语音识别。,3.5.1 线性预测分析的概念,概念：一个语音取样的现在值，可以用若干个语音取样的过去值的加权线性组合来逼近，在线性组合中的加权系数就称为线性预测系数(LPC:Linear Predictive Coding)。 特点：利用LPC技术可以从语音信号中抽取出声道特性。,x(n) = -a1x(n-1)+ a2x(n-2)+ apx(n-p),j,j,j,j,3.5.2 线性预测系数的求解概要(1),（1）设ej(n)表示时刻n的预测误差： ej(n) = xj(n)- xj(n) = xj(n)+a1xj(n-1)+a2xj(n-2)+ apxj(n-p) = aixj(n-i) （这里，a0 = 1.0。）,3.5.2 线性预测系数的求解概要（2）,（2）对在分析区内的N个语音取样值的预测误差分别取其平方，然后进行累加。即， 计算预测误差的能量Ej： N-1 Ej = ej(n)2 n=0 （3）给出使Ej为最小的条件，即,E,a,j,i,= 0, (1ip),3.5.3 线性预测分析在语音识别中的用途,（1）基于LPC的频谱包络 S(k) =2 / | aiexp(-j2ik/N) |2 （2）基于倒谱的频谱包络,i=0,P,3.6.1 矢量量化原理(1),（1）标量量化 对语音信号的每个取样值，或语音信号的每个特征参数值分别独立地进行量化，称为标量量化（一维）。 - 标量量化与传输率 - 波形量化：采样频率为10kHz、振幅量化为16bit的语音信号的传输速率是： 16x10000 = 160,000bit/s(bps)。 - 波形特征参数量化：对次数为10、每秒100个特征矢量（如频谱包络参数），如振幅量化也为16bit的话，其传输速率是：16x100x10=16,000bit/s。,i=0,3.6.1 矢量量化原理(2),（1）矢量量化* 将语音信号的取样值或语音的特征参数值分成若干组，每组构成一个矢量，然后分别对每个矢量进行量化。这种量化就称为矢量量化（N维）。 - 波形特征参数矢量量化：设L = 1024（40种语音单位，每个对应25种变形），即为了指定码本中任意码矢需要10bit，则对每秒100个特征矢量的传输需率就为1,000bit/s。 （2）矢量量化过程*,3.6.2 码本设计-LBG算法概要,(1)初始化 (2)码本分割 (3)码字更新 (4)码矢更新 (5)码本大小确认,3.6.3 VQ在语音识别中的用途,矢量量化示意图,1,2,3,4,码矢,No.,VQ (Vector Quantization ),1 4 2,t,矢量量化过程,设： 有限矢量集合Y= yi, 1iL ，Y称为码本，L是码本的大小，yi 称为码矢，码矢是N维矢量，即yi = ( yi1, yi2, , yiN)T。 码本搜索：对输入矢量x进行VQ的过程，就是在码本中以某种方式进行搜索，寻找一个与x最接近的码矢之过程，即用该码矢去替代x。这里，所谓最接近，应按某种失真测度d(x, yi)为标准来衡量。 I = argmin d(x, yi) i 码矢地址编码：为了传输量化后得到的码矢yi，一般都需要进行编码。通常，并不是直接对yi进行编码，而是对yi在码本中的地址或标号进行编码。要传送的正是这个标号的码字I。在接受到标号的码字后，就可在接受端的码本中找到相应的码矢，这便是重建码矢。对于L级码本来说，为了表示其中任意一个码矢的标号，最多只要log2L个bit的二进制代码就够了。,矢量量化过程,设： 有限矢量集合Y= yi, 1iL ，Y称为码本，L是码本的大小，yi 称为码矢，码矢是N维矢量，即yi = ( yi1, yi2, , yiN)T。 码本搜索：对输入矢量x进行VQ的过程，就是在码本中以某种方式进行搜索，寻找一个与x最接近的码矢之过程，即用该码矢去替代x。这里，所谓最接近，应按某种失真测度