语音信号处理课件__第04章短时傅里叶分析

1、1第第4章章 短时傅立叶分析短时傅立叶分析24.1 短时傅立叶变换-概述34.2.1 短时傅立叶变换-定义o定义：短时傅立叶变换也叫定义：短时傅立叶变换也叫短时谱短时谱（加窗的方式）（加窗的方式）o短时谱的特点：短时谱的特点： 1)时变性：既是角频率时变性：既是角频率的函数又是时间的函数又是时间n n的函数的函数2)2)周期性：是关于周期性：是关于的周期函数，周期为的周期函数，周期为22 mmjjnemnwmxeX )()()(短时傅立叶变换主要用于语音分析合成系统，由其逆变换可以精确地恢复语音波形；短时傅立叶变换主要用于语音分析合成系统，由其逆变换可以精确地恢复语音波形；4o短时傅里叶变换是

2、窗选语音信号的标准傅里叶变换。下短时傅里叶变换是窗选语音信号的标准傅里叶变换。下标标n区别于标准的傅里叶变换。区别于标准的傅里叶变换。w(n-m)是窗口函数序是窗口函数序列。不同的窗口函数序列，将得到不同的傅里叶变换的列。不同的窗口函数序列，将得到不同的傅里叶变换的结果。结果。o短时傅里叶变换有两个自变量：短时傅里叶变换有两个自变量：n和和，所以它既是关，所以它既是关于时间于时间n的离散函数，又是关于角频率的离散函数，又是关于角频率的连续函数。的连续函数。o与离散傅里叶变换和连续傅里叶变换的关系一样，若令与离散傅里叶变换和连续傅里叶变换的关系一样，若令2k/N，则得离散的短时傅里叶变换，则得离

3、散的短时傅里叶变换,它实际上是它实际上是在频域的取样。在频域的取样。10)()()()(22NkemnwmxkXeXNmkjmnNkjn4.2.1 短时傅立叶变换-定义5o这两个公式都有两种解释：这两个公式都有两种解释：n 当当n固定不变时，它们是序列固定不变时，它们是序列w(n-m)x(m) (-m)的标准傅里叶变换或标准的离散傅里叶变的标准傅里叶变换或标准的离散傅里叶变换。此时与标准傅里叶变换具有相同的性质，而换。此时与标准傅里叶变换具有相同的性质，而Xn(k)与与标准的离散傅里叶变换具有相同的特性。标准的离散傅里叶变换具有相同的特性。n 当当或或k固定时，和固定时，和Xn(k)看做是时间

4、看做是时间n的函数。它们的函数。它们是信号序列和窗口函数序列的卷积，此时窗口的作用相当是信号序列和窗口函数序列的卷积，此时窗口的作用相当于一个滤波器。于一个滤波器。4.2.1 短时傅立叶变换-定义64.2.2 短时傅立叶变换-标准傅里叶变换的解释o短时傅里叶变换可写为短时傅里叶变换可写为o当当n取不同值时窗取不同值时窗w(n-m)沿着沿着x(m)序列滑动，序列滑动，所以所以w(n-m)是一个是一个“滑动的滑动的”窗口。窗口。o由于窗口是有限长度的，满足绝对可和条件，所由于窗口是有限长度的，满足绝对可和条件，所以这个变换是存在的。与序列的傅里叶变换相同，以这个变换是存在的。与序列的傅里叶变换相同

5、，短时傅里叶变换随着短时傅里叶变换随着作周期变化，周期为作周期变化，周期为2。 mjmjnemnwmxeX)()()(74.2.2 短时傅立叶变换-标准傅里叶变换的解释84.2.2 短时傅立叶变换-标准傅里叶变换的解释o根据功率谱定义，可以写出短时功率谱与短时傅里叶变换根据功率谱定义，可以写出短时功率谱与短时傅里叶变换之间的关系之间的关系o式中式中*表示复共轭运算。同时功率谱是短时自相关函数表示复共轭运算。同时功率谱是短时自相关函数 的傅里叶变换。的傅里叶变换。o下面将短时傅里叶变换写为另一种形式。设信号序列和窗下面将短时傅里叶变换写为另一种形式。设信号序列和窗口序列的标准傅里叶变换为口序列的

6、标准傅里叶变换为 均存在。当均存在。当n取固定值时，取固定值时，w(n-m)的傅里叶变换为的傅里叶变换为 2*| )(|)()()(jnjnjnjneXeXeXeS)()()()()(kmxmknwmxmnwkRmnmjmjemxeX)()(mjmjemweW)()()()( jnjmmjeWeemnw 94.2.2 短时傅立叶变换-标准傅里叶变换的解释o根据傅里叶变换的频域卷积定理，有根据傅里叶变换的频域卷积定理，有 deXeWeeXjjjnjn)()(21)()( deXeWeeWeeXeXeWeeXeXjjjnjnjjjnjnjjjn)()(21)()(21)()()()()( 将 改为

7、- ，得 10o用波形乘以窗函数，不仅为了在窗口边缘两端不引起急剧用波形乘以窗函数，不仅为了在窗口边缘两端不引起急剧变化，使波形缓慢降为零，而且还相当于对信号谱与窗函变化，使波形缓慢降为零，而且还相当于对信号谱与窗函数的傅里叶变换进行卷积。数的傅里叶变换进行卷积。o为此为此窗函数应具有如下特性：n 频率分辨率高，即主瓣狭窄、尖锐；频率分辨率高，即主瓣狭窄、尖锐；（矩形窗）n 通过卷积，在其他频率成分产生的频谱泄漏少，即通过卷积，在其他频率成分产生的频谱泄漏少，即 旁瓣衰减大。旁瓣衰减大。（海明窗）n这两个要求实际上相互矛盾，不能同时满足。这两个要求实际上相互矛盾，不能同时满足。o窗口宽度窗口宽

8、度N、取样周期、取样周期T和频率分辨率和频率分辨率f之间存在下列关之间存在下列关系系f1/NT o可见：可见：n窗口宽度窗口宽度频率分辨率频率分辨率 时间分辨率时间分辨率n窗口宽度窗口宽度频率分辨率频率分辨率 时间分辨率时间分辨率，因而二者是矛，因而二者是矛盾的。盾的。4.2.2 短时傅立叶变换-标准傅里叶变换的解释114.2.2 短时傅立叶变换-标准傅里叶变换的解释2/ )1(10)2/sin()2/sin()(NjNnnjjeNeeWotherwiseNnnw, 010, 1)(o第一个零点位置为2/N，显然它与窗口宽度成反比。n矩形窗，虽然频率分辨率很高，但由于第一旁瓣的衰减只有13.2

9、dB，所以不适合用于频谱成分动态范围很宽的语音分析中。n海明窗在频率范围中的分辨率较高，而且由于旁瓣的衰减大于42dB，具有频谱泄漏少的优点，频谱中高频分量弱、波动小，因而得到较平滑的谱。n汉宁窗是高次旁瓣低，第一旁瓣衰减只有30dB。直角窗直角窗12o频率分辨率频率分辨率f、取样周期、取样周期T、加窗宽度、加窗宽度N三者关系：三者关系：o窗形状对短时傅立叶变换的影响窗形状对短时傅立叶变换的影响 矩形窗矩形窗主瓣窄，衰减慢；主瓣窄，衰减慢； 汉明窗汉明窗主瓣宽，衰减快；主瓣宽，衰减快； 海明窗海明窗主瓣窄，衰减快；主瓣窄，衰减快；o窗宽对短时频谱的影响窗宽对短时频谱的影响 窗宽长窗宽长频率分辨

10、率高，能看到频谱快变化；频率分辨率高，能看到频谱快变化； 窗宽短窗宽短频率分辨率低，看不到频谱的快变化；频率分辨率低，看不到频谱的快变化；1fNT 4.2.2 短时傅立叶变换-标准傅里叶变换的解释13o 对语音波形乘以海明窗，压缩了接近窗两端的部分波形，对语音波形乘以海明窗，压缩了接近窗两端的部分波形，等效于用作分析的区间缩短等效于用作分析的区间缩短40%左右，因此，频率分辨率下降左右，因此，频率分辨率下降40%左右。所以，即使在基音周期性明显的浊音频谱分析中，左右。所以，即使在基音周期性明显的浊音频谱分析中，乘以合适的窗函数，也能抑制基音周期与分析区间的相对相位关乘以合适的窗函数，也能抑制基

11、音周期与分析区间的相对相位关系的变动影响，从而得到稳定的频谱。因为乘以窗函数将导致分系的变动影响，从而得到稳定的频谱。因为乘以窗函数将导致分帧区间缩短，所以为跟踪随时间变化的频谱，要求一部分区间重帧区间缩短，所以为跟踪随时间变化的频谱，要求一部分区间重复移动。复移动。4.2.2 短时傅立叶变换-标准傅里叶变换的解释144.2.2 短时傅立叶变换-标准傅里叶变换的解释15o其中图其中图(a)是海明窗的窗选信号，图是海明窗的窗选信号，图(b)是其对数功率谱；图是其对数功率谱；图 (c)是矩形是矩形窗下的窗选信号，图窗下的窗选信号，图(d)是其对数功是其对数功率谱。率谱。o从图从图 (a)可以明显看

12、出时间波形的周可以明显看出时间波形的周期性，此周期性同样在图期性，此周期性同样在图(b)中表现中表现出来。图中基频及其谐波在频谱中表出来。图中基频及其谐波在频谱中表现为等频率间隔的窄峰。图现为等频率间隔的窄峰。图(b)中的中的频谱大约在频谱大约在300400Hz附近有较附近有较强的第一共振峰，而约在强的第一共振峰，而约在2000Hz附附近有一个对应于第二、三共振峰的宽近有一个对应于第二、三共振峰的宽峰。此外，还能在峰。此外，还能在3 800Hz附近看附近看到第四个共振峰。最后，由于声门脉到第四个共振峰。最后，由于声门脉冲谱的高频衰减特性，频谱在高频部冲谱的高频衰减特性，频谱在高频部分表现出下降

13、的趋势。分表现出下降的趋势。给出了N500时(取样率10 kHz，窗持续时间50 ms)时直角窗及海明窗下浊音语音的频谱。4.2.2 短时傅立叶变换-标准傅里叶变换的解释16给出了N500时(取样率10 kHz，窗持续时间50 ms)时直角窗及海明窗下浊音语音的频谱。4.2.2 短时傅立叶变换-标准傅里叶变换的解释o将图将图(b)和图和图(d)比较可看出它们在比较可看出它们在基音谐波、共振峰结构以及频谱粗略基音谐波、共振峰结构以及频谱粗略形状上的相似性，同样也能看到其频形状上的相似性，同样也能看到其频谱之间的差别。谱之间的差别。o最明显的是图最明显的是图(d)中基音谐波尖锐度中基音谐波尖锐度增

14、加，这主要是由于矩形窗频率分辨增加，这主要是由于矩形窗频率分辨率较高。率较高。o另一差别是矩形窗较高的旁瓣产生了另一差别是矩形窗较高的旁瓣产生了一个类似于噪声的频谱。这是由于相一个类似于噪声的频谱。这是由于相邻谐波的旁瓣在谐波间隔内的相互作邻谐波的旁瓣在谐波间隔内的相互作用用(有时加强有时抵消有时加强有时抵消)，因而在谐波，因而在谐波间产生了随机变化。这种相邻谐波间间产生了随机变化。这种相邻谐波间不希望有的不希望有的“泄漏泄漏”抵消了其主瓣较抵消了其主瓣较窄的优点。窄的优点。o因此在语音频谱分析中极少采用矩形因此在语音频谱分析中极少采用矩形窗。窗。17o图图4-3给出了给出了N50的比较结果的

15、比较结果(取样率与图取样率与图4-2中相同，因而窗中相同，因而窗口持续时间为口持续时间为5ms)。o由于窗口很短，因而时间序列由于窗口很短，因而时间序列(图图(a)和和(c)及信号频谱及信号频谱(图图(b)和和(d)均不能反映信号的周期性。均不能反映信号的周期性。o与图与图4-2相反，图相反，图4-3只大约在只大约在400、1 400及及2 200Hz频率频率上有少量较宽的峰值。它们与窗上有少量较宽的峰值。它们与窗内语音段的前三个共振峰相对应。内语音段的前三个共振峰相对应。比较图比较图4-3(b)及及(d)的频谱后，的频谱后，再次表明矩形窗可以得到较高的再次表明矩形窗可以得到较高的频率分辨率。

16、频率分辨率。4.2.2 短时傅立叶变换-标准傅里叶变换的解释给出了N50时(取样率10 kHz，窗持续时间5 ms)时直角窗及海明窗下浊音语音的频谱。18o结论:n窗口宽度与短时傅里叶变换特性之间的关系o用窄窗可得到好的时间分辨率o用宽窗可以得到好的频率分辨率。o但由于采用窗的目的是要限制分析的时间以使其中波形的特性没有显著变化，因而要折衷考虑。 4.2.2 短时傅立叶变换-标准傅里叶变换的解释19ow(n) -一个滤波器的单位函数响应一个滤波器的单位函数响应o -该滤波器的输出该滤波器的输出ox(n)-滤波器的输入滤波器的输入o过程过程:调制调制+滤波滤波4.2.3 短时傅立叶变换-滤波器的

17、解释一mmjjnmnwemxeX)()()()(jneX图4-4 短时傅里叶变换滤波器解释的第一种形式(a)复数运算204.2.3 短时傅立叶变换-滤波器的解释一 mnmnnnjnmmjjnmnmwmxbmnmwmxajbaeXemxmnweX)(sin)()()(cos)()()()()()()()( 用线性滤波实现短时傅立叶变换的第一种形式用线性滤波实现短时傅立叶变换的第一种形式214.2.3 短时傅立叶变换-滤波器的解释一)()(| )(|)()(nnjjnjnjbaeeXeXn图4-4 短时傅里叶变换滤波器解释的第一种形式 (b)只有实数运算22 w(n)()jnXej ne()()k

18、jX e ()jX e( )kjnx n e( )x n( )x n()()()()kkjjjnX eX eW e w(n)w(n)是窄带低通滤波器是窄带低通滤波器k假设假设 将将x(n)x(n)的频谱向左搬的频谱向左搬移了移了 ，或等效将，或等效将 频率频率上的频谱搬移到了零频率上的频谱搬移到了零频率处。因此为使输出端有：处。因此为使输出端有：k()()kkjjnXeX ew(n)w(n)是窄带低通滤波器是窄带低通滤波器k4.2.3 短时傅立叶变换-滤波器的解释一23k()jX e()jW e()()kjX e ()()kkjjnXeX e4.2.3 短时傅立叶变换-滤波器的解释一24令令m

19、nm ()jnXej ne( )x n( )jnw n e2.2.复数运算实现短时谱的线性滤波表示复数运算实现短时谱的线性滤波表示窄带带通滤波器窄带带通滤波器( )jnw n e()()jW e ( )w n()jW e4.2.3 短时傅立叶变换-滤波器的解释二njnjmmjnjmmnjmmjjneenwnxemnxmweemnxmwemxmnweX )()()()()()()()()()(25 实数运算实现短时谱的线性滤波表示实数运算实现短时谱的线性滤波表示4.2.3 短时傅立叶变换-滤波器的解释二()nacosn sinn()nb()x m() cosw mm() sinw mm()na(

20、)nbcosn3.3.实数运算实现短时谱的线性滤波表示实数运算实现短时谱的线性滤波表示2/1222/122)()(| )(| )(|)()(| )(|nnjnnjjnnnjnbaeXeeXbaeX26o 为窄带低通滤为窄带低通滤波器。第一种形式为低波器。第一种形式为低通滤波器；通滤波器；o由于第二种形式中的滤由于第二种形式中的滤波器单位函数响应波器单位函数响应为为 ，所以它为，所以它为带通滤波器。带通滤波器。 4.2.3 短时傅立叶变换-滤波器的解释)(jeW)(njenw27o如果将如果将w(n)的滤波运算除外，短时傅里叶变换实的滤波运算除外，短时傅里叶变换实际上是对信号的幅度调制。际上是对

21、信号的幅度调制。n第一种形式是在输入端进行调制，第一种形式是在输入端进行调制，x(n)乘以乘以 相当相当于将于将x(n)的频谱从的频谱从移到零频处；而移到零频处；而w(n)(直角窗或海直角窗或海明窗等明窗等)为窄带低通滤波器。为窄带低通滤波器。n后一种形式是在输出端进行调制，此时先对信号进行带后一种形式是在输出端进行调制，此时先对信号进行带通滤波，滤波器的单位函数响应为通滤波，滤波器的单位函数响应为w(n) ,而调制而调制后输出的是中心频率为后输出的是中心频率为的短时谱。的短时谱。4.2.3 短时傅立叶变换-滤波器的解释njenje28o 恢复出恢复出x(n)的过程称为短时傅里叶反变换，的过程

22、称为短时傅里叶反变换，是由短时谱合成语音信号的问题是由短时谱合成语音信号的问题o由于由于 是是n和和的二维函数，因而必须对的二维函数，因而必须对 在所涉及的两个变量，即时域及频域内进行取样，在所涉及的两个变量，即时域及频域内进行取样，取样率的选取应保证取样率的选取应保证 不产生混叠失真，从不产生混叠失真，从而能够恢复原始语音信号而能够恢复原始语音信号x(n)。 4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率)(jneX)(jneX)(jneX)(jneX29o当当为固定值时，为固定值时， 是一个单位函数响应为是一个单位函数响应为w(n)的低通滤波器的输出。设低通滤波器的带宽为的低通滤波器

23、的输出。设低通滤波器的带宽为BHz，则则 具有与窗相同的带宽。根据取样定理，具有与窗相同的带宽。根据取样定理， 的取样率至少为的取样率至少为2B才不致混叠。才不致混叠。o低通滤波器的带宽由低通滤波器的带宽由w(n)的傅里叶变换的傅里叶变换 的第的第一个零点位置一个零点位置01决定，因而决定，因而B值取决于窗的形状值取决于窗的形状与长度。与长度。 4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率)(jneX)(jneX)(jneX)(jeW30o正弦序列的表达式为正弦序列的表达式为 n幅值幅值A、初相、初相的含义与模拟正弦信号相同的含义与模拟正弦信号相同n正弦序列的数字

24、角频率正弦序列的数字角频率0的含义与一般模拟信号的含义与一般模拟信号模拟角频率模拟角频率0的概念不同。的概念不同。n离散信号数字角频离散信号数字角频0 =0 T，模拟角频率，模拟角频率0的的单位是单位是rad/s，n数字角频数字角频0的单位为的单位为rad/s s = rad。0表示表示相邻两个样值间弧度的变化量。相邻两个样值间弧度的变化量。 4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率)sin()(0kAkf31o以直角窗和海明窗为例，其第一个零点位置分别为以直角窗和海明窗为例，其第一个零点位置分别为2N和和4No数字角频率与模拟频率数字角频率与模拟频率F之间的

25、关系为之间的关系为2FT2Ffs(其中其中T是信号取样周期，是信号取样周期，fs是取样率是取样率)，因而用模拟，因而用模拟频率表示的频率表示的 的带宽为的带宽为4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率)(jeW2232(2 )()()jjnnXeXe()()jjmnnmXexme 每帧每帧 中语音信号个数为窗长中语音信号个数为窗长N N( )nx m2,0,1,1()()kjjnnk kLLNLXeXe( )nx m4.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-时间取样率时间取样率334.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-总取样率总取样

26、率344.3 短时傅立叶变换的取样率短时傅立叶变换的取样率-总取样率总取样率354.44.4语音信号的短时综合语音信号的短时综合-滤波器组求和法滤波器组求和法 22,0,1,12()()()( ) ()( , )kkjkjjNnnnk kNNkmjNmX eX eX ex m w n m eX n k 离散短时傅立叶变换离散短时傅立叶变换 离散短时傅立叶反变换离散短时傅立叶反变换 1010)()()()()(LknjjnLkknjjnkkkkkeeXnynyeeXny njjnjnkkkeeXeX )()( 364.4.1 滤波器组相加法滤波器组相加法()jnXej ne( )x n( )jn

27、w n e窄带带通滤波器窄带带通滤波器k假设假设()()kkjjnXeX e4.44.4语音信号的短时综合语音信号的短时综合-滤波器组求和法滤波器组求和法 370()jnXe0jne( )x n0( )jnw n e1()jnXe1jne1( )jnw n e1()NjnXe1Njne1( )Njnw n e0( )h n1( )h n1( )Nhn用带通滤波器组进行短时傅立叶分析用带通滤波器组进行短时傅立叶分析N N个中心频率处于个中心频率处于 的滤波器组成的滤的滤波器组成的滤波器组波器组2,(0,1,1)k kNN4.44.4语音信号的短时综合语音信号的短时综合-滤波器组求和法滤波器组求和

28、法 380()jnXe0jne( )x n0( )jnw n e1()jnXe1jne1( )jnw n e1()NjnXe1Njne1( )Njnw n e0( )h n1( )h n1( )Nhn0jne1jne1Njne2.频域条件频域条件4.44.4语音信号的短时综合语音信号的短时综合-滤波器组求和法滤波器组求和法 )(0ny)(1ny)(1nyL 394.4 语音信号的短时综合语音信号的短时综合-快速傅里叶变换求和法快速傅里叶变换求和法404.4 语音信号的短时综合语音信号的短时综合-快速傅里叶变换求和法快速傅里叶变换求和法414.4 语音信号的短时综合语音信号的短时综合-快速傅里叶

29、变换求和法快速傅里叶变换求和法42o语音的时域分析和频域分析是语音分析的两种重要语音的时域分析和频域分析是语音分析的两种重要方法。方法。n这两种方法均有局限性：这两种方法均有局限性：n时域分析对语音信号的频率特性没有直观的了解；时域分析对语音信号的频率特性没有直观的了解；n频域特性中又没有语音信号随时间的变化关系。频域特性中又没有语音信号随时间的变化关系。o时间依赖于傅里叶分析的显示图形称为语谱图。时间依赖于傅里叶分析的显示图形称为语谱图。n语谱图中显示了大量的与语音的语句特性有关的信息，语谱图中显示了大量的与语音的语句特性有关的信息，它综合了频谱图和时域波形的优点，明显地显示出语音它综合了频

30、谱图和时域波形的优点，明显地显示出语音频谱随时间的变化情况。频谱随时间的变化情况。4.5 语谱图语谱图43o语谱图语谱图实际上是一种动态的频谱。实际上是一种动态的频谱。n语谱图的纵轴为频率，横轴为时间。任一给定频率成分在给语谱图的纵轴为频率，横轴为时间。任一给定频率成分在给定时刻的强弱用点的黑白度来表示，频谱值大则记录得浓黑定时刻的强弱用点的黑白度来表示，频谱值大则记录得浓黑一些，反之则浅淡一些。一些，反之则浅淡一些。o用语谱图分析语音又称为用语谱图分析语音又称为语谱分析语谱分析，记录语谱图的仪器就，记录语谱图的仪器就是是语谱仪语谱仪。n语谱仪实际上是使一个带通滤滤器的中心频率发生连续变化，语谱仪实际上是