第四章短时傅立叶分析

1、1第四章 短时傅立叶分析短时傅立叶变换的定义短时傅立叶变换的某些性质短时傅立叶变换的线性滤波实现短时傅立叶谱的取样语音的短时合成技术短时分析合成数字滤波器组的设计用快速傅立叶变换进行短时傅立叶分析24.1 短时傅立叶变换-概述34.2.1 短时傅立叶变换-定义o 定义：短时傅立叶变换也叫短时谱（加窗的方式）o 短时谱的特点： 1)时变性：既是角频率的函数又是时间n的函数2)周期性：是关于的周期函数，周期为2mmjjnemnwmxeX)()()( 短时傅立叶变换主要用于语音分析合成系统，由其逆变换可以精确地恢复语音波形；4o 短时傅里叶变换是窗选语音信号的标准傅里叶变换。下标n区别于标准的傅里叶

2、变换。w(n-m)是窗口函数序列。不同的窗口函数序列，将得到不同的傅里叶变换的结果。o 短时傅里叶变换有两个自变量：n和，所以它既是关于时间n的离散函数，又是关于角频率的连续函数。o 与离散傅里叶变换和连续傅里叶变换的关系一样，若令2k/N，则得离散的短时傅里叶变换,它实际上是在频域的取样。10)()()()(22NkemnwmxkXeXNmkjmnNkjn4.2.1 短时傅立叶变换-定义5o 这两个公式都有两种解释：n 当n固定不变时，它们是序列w(n-m)x(m) (-m)的标准傅里叶变换或标准的离散傅里叶变换。此时与标准傅里叶变换具有相同的性质，而Xn(k)与标准的离散傅里叶变换具有相同

3、的特性。n 当或k固定时，和Xn(k)看做是时间n的函数。它们是信号序列和窗口函数序列的卷积，此时窗口的作用相当于一个滤波器。4.2.1 短时傅立叶变换-定义64.2.1 短时傅立叶变换-定义o 频率分辨率f、取样周期T、加窗宽度N三者关系：o 窗形状对短时傅立叶变换的影响 矩形窗主瓣窄，衰减慢； 汉明窗主瓣宽，衰减快；o 窗宽对短时频谱的影响 窗宽长频率分辨率高，能看到频谱快变化； 窗宽短频率分辨率低，看不到频谱的快变化；1fNT 74.2.2 短时傅立叶变换-标准傅里叶变换的解释o 短时傅里叶变换可写为o 当n取不同值时窗w(n-m)沿着x(m)序列滑动，所以w(n-m)是一个“滑动的”窗

4、口。o 由于窗口是有限长度的，满足绝对可和条件，所以这个变换是存在的。与序列的傅里叶变换相同，短时傅里叶变换随着作周期变化，周期为2。 mjmjnemnwmxeX)()()(84.2.2 短时傅立叶变换-标准傅里叶变换的解释9o 根据功率谱定义，可以写出短时功率谱与短时傅里叶变换之间的关系o 式中*表示复共轭运算。同时功率谱是短时自相关函数 的傅里叶变换。o 下面将短时傅里叶变换写为另一种形式。设信号序列和窗口序列的标准傅里叶变换为 均存在。当n取固定值时，w(n-m)的傅里叶变换为 2*| )(|)()()(jnjnjnjneXeXeXeS)()()()()(kmxmknwmxmnwkRmn

5、mjmjemxeX)()(mjmjemweW)()()()(jnjmjmeWeemnw4.2.2 短时傅立叶变换-标准傅里叶变换的解释10o 根据傅里叶变换的频域卷积定理，有)(*)()(jnjjjneWeeXeX4.2.2 短时傅立叶变换-标准傅里叶变换的解释11o 用波形乘以窗函数，不仅为了在窗口边缘两端不引起急剧变化，使波形缓慢降为零，而且还相当于对信号谱与窗函数的傅里叶变换进行卷积。o 为此窗函数应具有如下特性：窗函数应具有如下特性：n 频率分辨率高，即主瓣狭窄、尖锐；（矩形窗）（矩形窗）n 通过卷积，在其他频率成分产生的频谱泄漏少，即旁瓣衰减大。（海明窗）（海明窗）n这两个要求实际上

6、相互矛盾，不能同时满足。o 窗口宽度N、取样周期T和频率分辨率f之间存在下列关系f1/NT o 可见：n窗口宽度频率分辨率 时间分辨率n窗口宽度频率分辨率 时间分辨率，因而二者是矛盾的。4.2.2 短时傅立叶变换-标准傅里叶变换的解释12o 第一个零点位置为第一个零点位置为2/N，显然它与窗口宽度成反比。，显然它与窗口宽度成反比。n矩形窗矩形窗，虽然频率分辨率很高，但由于第一旁瓣的衰减只有13.2dB，所以不适合用于频谱成分动态范围很宽的语音分析中。n海明窗海明窗在频率范围中的分辨率较高，而且由于旁瓣的衰减大于42dB，具有频谱泄漏少的优点，频谱中高频分量弱、波动小，因而得到较平滑的谱。n汉宁

7、窗汉宁窗是高次旁瓣低，第一旁瓣衰减只有30dB。o 对语音波形乘以海明窗，压缩了接近窗两端的部分波形，等效于用作分析的区间缩短40%左右，因此，频率分辨率下降40%左右。所以，即使在基音周期性明显的浊音频谱分析中，乘以合适的窗函数，也能抑制基音周期与分析区间的相对相位关系的变动影响，从而得到稳定的频谱。因为乘以窗函数将导致分帧区间缩短，所以为跟踪随时间变化的频谱，要求一部分区间重复移动。4.2.2 短时傅立叶变换-标准傅里叶变换的解释134.2.2 短时傅立叶变换-标准傅里叶变换的解释14o其中图(a)是海明窗的窗选信号，图(b)是其对数功率谱；图 (c)是矩形窗下的窗选信号，图(d)是其对数

8、功率谱。o从图 (a)可以明显看出时间波形的周期性，此周期性同样在图(b)中表现出来。图中基频及其谐波在频谱中表现为等频率间隔的窄峰。图(b)中的频谱大约在300400Hz附近有较强的第一共振峰，而约在2000Hz附近有一个对应于第二、三共振峰的宽峰。此外，还能在3 800Hz附近看到第四个共振峰。最后，由于声门脉冲谱的高频衰减特性，频谱在高频部分表现出下降的趋势。给出了N500时(取样率10 kHz，窗持续时间50 ms)时直角窗及海明窗下浊音语音的频谱。4.2.2 短时傅立叶变换-标准傅里叶变换的解释15o将图(b)和图(d)比较可看出它们在基音谐波、共振峰结构以及频谱粗略形状上的相似性，

9、同样也能看到其频谱之间的差别。o最明显的是图(d)中基音谐波尖锐度增加，这主要是由于矩形窗频率分辨率较高。o另一差别是矩形窗较高的旁瓣产生了一个类似于噪声的频谱。这是由于相邻谐波的旁瓣在谐波间隔内的相互作用(有时加强有时抵消)，因而在谐波间产生了随机变化。这种相邻谐波间不希望有的“泄漏”抵消了其主瓣较窄的优点，o因此在语音频谱分析中极少采用矩形窗。给出了N500时(取样率10 kHz，窗持续时间50 ms)时直角窗及海明窗下浊音语音的频谱。4.2.2 短时傅立叶变换-标准傅里叶变换的解释16o图4-3给出了N50的比较结果(取样率与图4-2中相同，因而窗口持续时间为5ms)。o由于窗口很短，因

10、而时间序列(图(a)和(c)及信号频谱(图(b)和(d)均不能反映信号的周期性。o与图4-2相反，图4-3只大约在400、1 400及2 200Hz频率上有少量较宽的峰值。它们与窗内语音段的前三个共振峰相对应。比较图4-3(b)及(d)的频谱后，再次表明矩形窗可以得到较高的频率分辨率。4.2.2 短时傅立叶变换-标准傅里叶变换的解释17o 结论结论:n 窗口宽度与短时傅里叶变换特性之间的关系窗口宽度与短时傅里叶变换特性之间的关系o 用窄窗可得到好的时间分辨率用窄窗可得到好的时间分辨率o 用宽窗可以得到好的频率分辨率。用宽窗可以得到好的频率分辨率。o 但由于采用窗的目的是要限制分析的时间以但由于

11、采用窗的目的是要限制分析的时间以使其中波形的特性没有显著变化，因而要折使其中波形的特性没有显著变化，因而要折衷考虑。衷考虑。 4.2.2 短时傅立叶变换-标准傅里叶变换的解释18o w(n) -一个滤波器的单位函数响应o -该滤波器的输出o x(n)-滤波器的输入o 过程:调制+滤波4.2.3 短时傅立叶变换-滤波器的解释一mmjjnmnwemxeX)()()()(jneX图4-4 短时傅里叶变换滤波器解释的第一种形式(a)复数运算194.2.3 短时傅立叶变换-滤波器的解释二)()(| )(|)()(nnjjnjnjbaeeXeXn图4-4 短时傅里叶变换滤波器解释的第一种形式 (b)只有实

12、数运算20o 令m=n-m 4.2.3 短时傅立叶变换-滤波器的解释三)()()()()()(mjmnjmnjmjnemnxmweemnxmweX)()()(:mjmjnemnxmweX令)()(:jnnjjneXeeX所以21o 为窄带低通滤波器。第一种形式为低通滤波器；o 由于第二种形式中的滤波器单位函数响应为 ，所以它为带通滤波器。 4.2.3 短时傅立叶变换-滤波器的解释)(jeW)(njenw22o 如果将w(n)的滤波运算除外，短时傅里叶变换实际上是对信号的幅度调制。n第一种形式是在输入端进行调制，x(n)乘以 相当于将x(n)的频谱从移到零频处；而w(n)(直角窗或海明窗等)为窄

13、带低通滤波器。n后一种形式是在输出端进行调制，此时先对信号进行带通滤波，滤波器的单位函数响应为w(n) ,而调制后输出的是中心频率为的短时谱。4.2.3 短时傅立叶变换-滤波器的解释2/1222/122)()(| )(| )(|)()(| )(|nnjnnjjnnnjnbaeXeeXbaeXnjenje23o 恢复出x(n)的过程称为短时傅里叶反变换，是由短时谱合成语音信号的问题o 由于 是n和的二维函数，因而必须对 在所涉及的两个变量，即时域及频域内进行取样，取样率的选取应保证 不产生混叠失真，从而能够恢复原始语音信号x(n)。 4.3 短时傅立叶变换的取样率)(jneX)(jneX)(jn

14、eX)(jneX24o 当当为固定值时为固定值时， 是一个单位函数响应为w(n)的低通滤波器的输出。设低通滤波器的带宽为BHz，则 具有与窗相同的带宽。根据取样定理， 的取样率至少为2B才不致混叠。o 低通滤波器的带宽由w(n)的傅里叶变换 的第一个零点位置01决定，因而B值取决于窗的形状与长度。 4.3 短时傅立叶变换的取样率-时间取样率)(jneX)(jneX)(jneX)(jeW25o 正弦序列的表达式为正弦序列的表达式为 n 幅值幅值A、初相、初相的含义与模拟正弦信号相同的含义与模拟正弦信号相同n 正弦序列的数字角频率正弦序列的数字角频率0的含义与一般模拟信号的含义与一般模拟信号模拟角

15、频率模拟角频率0的概念不同。的概念不同。n 离散信号定义的时间为离散信号定义的时间为kT，显然有，显然有0 =0 T，模拟角频率模拟角频率0的单位是的单位是rad/s，n 数字角频数字角频0的单位为的单位为rad/s s = rad。0表示表示相邻两个样值间弧度的变化量。相邻两个样值间弧度的变化量。 4.3 短时傅立叶变换的取样率-时间取样率)sin()(0kAkf26o 以直角窗和海明窗为例，其第一个零点位置分别为 2N和4No 数字角频率与模拟频率F之间的关系为2FT2Ffs(其中T是信号取样周期，fs是取样率)，因而用模拟频率表示的 的带宽为4.3 短时傅立叶变换的取样率-时间取样率)(

16、jeW274.3 短时傅立叶变换的取样率-频率取样率284.3 短时傅立叶变换的取样率-总取样率294.3 短时傅立叶变换的取样率-总取样率304.4 语音信号的短时综合-滤波器组求和法 314.4 语音信号的短时综合-滤波器组求和法 hk(n)是一个带通滤波器，其中心频率为k。yk(n)是第k个滤波器hk(n)的输出。324.4 语音信号的短时综合-滤波器组求和法 334.4 语音信号的短时综合-滤波器组求和法 LN时，y(n)正比于x(n)且与窗口w(n)的形状无关 LN时，通过合理地选取窗函数，也可以使y(n)得以精确地恢复。 344.4 语音信号的短时综合-滤波器组求和法 354.4.

17、2 短时综合的滤波器组相加法的MATLAB程序实现 o 程序filterbank1.m对应于图4.6中的(b)图，先调制后滤波，实现流程图见图4.10。o 图4.6中的(b)图36图图4.10 filterbank1的流程图的流程图YN读入语音数据读入语音数据分帧，不足补零，共分帧，不足补零，共N帧帧 加哈宁窗加哈宁窗 滤波滤波i=165取取k=1帧数据帧数据用用 调制调制 i=165用用 调制调制 i=165k=k+1输出输出 kN?njienjie)()(2)()(656421nynynyrealnykikikk)(nwi3738o 程序filterbank2.m对应于图4.6中的(a)图

18、，先滤波后调制，实现流程图见图4.12，程序运行结果见图4.13。o 图4.6中的(a)图39)(nhi图图4.12 filterbank2的流程图的流程图YN读入语音数据读入语音数据分帧，不足补零，共分帧，不足补零，共N帧帧 各通道各通道 滤波滤波i=165取取k=1帧数据帧数据并分别送入并分别送入165通道的输入端通道的输入端 各通道各通道用用 调制调制 i=165各通道各通道用用 调制调制 i=165k=k+1输出输出 kN?njienjie)()(2)()(656421nynynyrealnykikikk)(nhi40414.4.3 语音信号的短时综合-快速傅里叶变换求和法424.4

19、语音信号的短时综合-快速傅里叶变换求和法434.4 语音信号的短时综合-快速傅里叶变换求和法444.4 语音信号的短时综合-快速傅里叶变换求和法454.4 语音信号的短时综合-快速傅里叶变换求和法46o (4.41)o 式中r为一整数，0iN-1 ，上式的反变换为o (4.42)o 又 (4.43)o 因而 (4.44)jjj(e)(e)|(e)iiirnn rRrRYXX1jj01( )(e)eiiNnrriy nYN( )( ) (), (-)ry kx k w rR kk( )( )( )()rrry ny nx nw rRn假设在时域上利用周期为假设在时域上利用周期为R的取样对的取样对

20、 取样得取样得)(ijneX4.4.4 短时综合的叠接相加法原理及MATLAB程序实现47o 将式（4.42）代入式（4.44）中，可得o o (4.45)o 如果R选得足够小，这时不论n为何值均可写出：o 因而，式（4.44）写成 o (4.47) o o 上式说明，y(n)与x ( n )只差一个常系数，因而利用式（4.45）就能准确恢复x(n)。 1jj01( )(e)eiiNnrriy nYNj(0)0j0()()e(e )/rRrrw rRnw rRnWR(4.46)j0( )( ) (e )/ y nx nWR48 n = n + L/4 r = r + 1 n=L/4 r=1 形

21、成形成 w(rR-n)x(n) 填充零值得到填充零值得到 N 点序列点序列 N 点点 FFT 改变短时频谱改变短时频谱 y (k) = y (k) +yi (k) k = n-N+1,n-1,n N 点点 IFFT 形成窗函数形成窗函数 w(n) 预置预置 y(k) = 0,全部全部 k L 点点 图图 4.14 短时综合叠接相加法流程短时综合叠接相加法流程图图 49 图图 4.15 利用一个利用一个 L 点哈明窗时点哈明窗时 y(n)的计算过程的计算过程 x(k)-语音语音 第第 1 段段 第第 2 段段 第第 3 段段 第第 4 段段 )4(kLw)43(kLw)2(kLw)(kLw2L4

22、3L4L2L43L4L43L2L4L4L2L43L0 k k k k k 0 50o 图4.15表示了按照式(4.44)的运算过程。o 当0nR-1时，y(n)可写成oo o 当Rn2R-1时,则y(n)可以写成: ( )( ) ()( ) (2) ( ) (3)( ) (4)y nx n w R nx n w R nx n w R nx n w R n( )( ) (2)( ) (3) ( ) (4)( ) (5) y nx n wRnx n w Rnx n w Rnx n w Rn(4.49)(4.50)51o 滤波器组相加法与频率取样有关，它所要求的频率取样数应使窗变换满足下式：o 而重叠相加法要求时间抽样率应使窗满足下式：o o 式（4.51）与式（4.52）构成对偶数关系。1j()01(e)(0)iNiWwN j0(e )()rWw rRnR(4.51)(4.52)52下面给出短时综合的叠接相加法的MATLAB程序实现的运行结果53o 语音的时域分析和频域分析是语音分析的两种重要方法。n这两种方法均有局限性：n时域分析对语音信号的频率特性没有直观的了解；n频域特性中又没有语音信号随时间的变化关系。o 时间依赖于傅里叶分析的显示图形称为语谱图。n语谱图中显示了大量的与语音的语句特性有关的信息，它综合了频谱