第二章语谱图分析

1、1 3.6 语音信号的语音信号的 语谱图分析语谱图分析 3.6.1 语谱图分析语谱图分析 3.6.2 语音信号特性分析语音信号特性分析 2 一段语音的时域波形及其语谱图一段语音的时域波形及其语谱图 语音时域波形语音时域波形 对应的语谱图对应的语谱图 3.6.1 语谱图分析语谱图分析 3 语谱图语谱图 o 语音的时域分析和频域分析是语音分析的两种重要方法。语音的时域分析和频域分析是语音分析的两种重要方法。 但是这两种方法均有局限性：但是这两种方法均有局限性： n 时域分析对语音信号的频率特性没有直观的了解；时域分析对语音信号的频率特性没有直观的了解； n 特性中又没有语音信号随时间的变化关系。特

2、性中又没有语音信号随时间的变化关系。 o 因此人们致力于研究语音的时频分析特性，把和时序相关因此人们致力于研究语音的时频分析特性，把和时序相关 的傅里叶分析的显示图形称为语谱图。的傅里叶分析的显示图形称为语谱图。 o 语谱图在语谱图在19411941年由贝尔实验室研究人员发明，它试图用三年由贝尔实验室研究人员发明，它试图用三 维的方式显示语音频谱特性，维的方式显示语音频谱特性， 纵轴表示频率，横轴表示纵轴表示频率，横轴表示 时间，颜色的深浅表示特定频带的能量大小，语谱图的发时间，颜色的深浅表示特定频带的能量大小，语谱图的发 明是语音研究的一个里程碑，它将语音的许多特征直观的明是语音研究的一个里

3、程碑，它将语音的许多特征直观的 呈现出来。呈现出来。 o 语谱图中显示了大量的与语音的语句特性有关的信息，它语谱图中显示了大量的与语音的语句特性有关的信息，它 综合了频谱图和时域波形的特点，明显地显示出语音频谱综合了频谱图和时域波形的特点，明显地显示出语音频谱 随时间的变化情况，或者说是一种动态的频谱。随时间的变化情况，或者说是一种动态的频谱。 4 语谱图产生流程 语音录制数据读入程序信号分帧加窗 能量密度谱计算 功率谱伪彩色显示 语谱图显示 5 一、语谱图的分类 o 语谱图分为宽带语谱图和窄带语谱图两种。语谱图分为宽带语谱图和窄带语谱图两种。 o 宽带语谱图：带宽约为宽带语谱图：带宽约为30

4、0Hz，具有良好的时，具有良好的时 间分辨率，但是频率分辨率较差；间分辨率，但是频率分辨率较差； n 宽带语谱图能给出语音的共振峰频率及清辅宽带语谱图能给出语音的共振峰频率及清辅 音的能量汇集区，在语谱图里共振峰呈现为音的能量汇集区，在语谱图里共振峰呈现为 黑色的条纹。黑色的条纹。 o 窄带语谱图：带宽约为窄带语谱图：带宽约为45Hz,具有良好的频率具有良好的频率 分辨率，但是时间分辨率较差。分辨率，但是时间分辨率较差。 n 有利于显示基音频率及其各次谐波，不利于有利于显示基音频率及其各次谐波，不利于 观察共振峰的变化。观察共振峰的变化。 o 在不同的语谱图上所表现的语音特征也不同。在不同的语

5、谱图上所表现的语音特征也不同。 6 二、宽带语谱图的典型谱型 o 宽带语谱图的典型谱型：宽带语谱图的典型谱型： n 宽横杠（宽横杠（Bar）：代表元音的共振峰位置，表现为：代表元音的共振峰位置，表现为 图中与水平时间轴平行的较宽的黑杠，不同元音的图中与水平时间轴平行的较宽的黑杠，不同元音的 共振峰位置不同，根据宽带语谱图上各横杠的位置共振峰位置不同，根据宽带语谱图上各横杠的位置 可以区分不同的元音，不同人发音的第一共振峰位可以区分不同的元音，不同人发音的第一共振峰位 置会不同，但其分布结构是相似的。置会不同，但其分布结构是相似的。 n 竖直条竖直条（spike）代表塞音（）代表塞音（b,d,g

6、,p,t,k）或塞）或塞 擦音（擦音（z,zh,j,c,ch,q）,表现为图中与垂直频率轴表现为图中与垂直频率轴 平行的较宽的黑条，在时间上持续时间很短，在频平行的较宽的黑条，在时间上持续时间很短，在频 率轴上集中区位置随不同的辅音而不同率轴上集中区位置随不同的辅音而不同 n 摩擦乱纹摩擦乱纹（fill）:代表摩擦音（代表摩擦音（s,sh,x,f,h）或者）或者 送气音的送气部分，表现为图中无规则的乱纹。送气音的送气部分，表现为图中无规则的乱纹。 7 三、窄带语谱图的典型谱型 o 窄横条：代表元音的基音频率及各次谐波， 表现为图中与水平轴平行的线条，窄横条在 频率轴的位置对应了音高频率值，随时

7、间轴 的曲折、升降变化代表了音高变化的模式 o 无声间隙段：对应于语音的停顿间隙，在图 中表现为空白区，在两种语谱图中都存在。 这种反映语音信号动态频谱特性的时频图在语音这种反映语音信号动态频谱特性的时频图在语音 分析中具有重要的实用价值，被称为分析中具有重要的实用价值，被称为“可视语言可视语言” 8 语谱图分析语谱图分析 l语谱图中的花纹有横杠、乱纹和竖直条等 l横杠是与时间轴平行的几条黑色带纹，它们 是共振峰，从横杠对应的频率和带宽可以确 定相应的共振峰频率和带宽 l在一个语音段的语谱图中，有没有横杠出现 是判断它是否是浊音的重要标志。 l竖直条（又叫冲直条）是语谱图中出现与时 间轴垂直的

8、一条窄黑条。 l每个竖直条相当于一个基音，条纹的起点相 当于声门脉冲的起点，条纹之间的距离表示 基音。条纹越密表示基音频率越高。 9 10 Every salt breeze comes form the sea Wide band narrow band 11 Matlab 命令：命令：specgram lWideband spectrogram：给出共振峰频率给出共振峰频率 lNarrowband spectrogram：基音周期及其谐波：基音周期及其谐波 specgramspecgram computes the windowed discrete- computes the windo

9、wed discrete- time Fourier transform of a signal using a time Fourier transform of a signal using a sliding window. The spectrogram is the sliding window. The spectrogram is the magnitude of this function.magnitude of this function. 12 13 14 010203040506070 0 100 200 300 400 500 600 010203040506070

10、0 100 200 300 400 500 600 N=1024 hamming window 幅度谱幅度谱 15 010203040506070 0 200 400 600 800 1000 1200 010203040506070 0 200 400 600 800 1000 1200 N=2048 hamming window 幅度谱幅度谱 16 欢迎使用微软中国研究院中文语音合成系统欢迎使用微软中国研究院中文语音合成系统 的时域波形和语谱图的时域波形和语谱图 17 18 宽带语谱图：“毕业”语谱图 语谱图因 其不同的 黑白程度， 形成不同 的花纹， 被称作 “声纹” 19 “旷课旷课”

11、语谱图语谱图 v从语谱图上可以看出语音的音调变化，蓝色的就是音调从语谱图上可以看出语音的音调变化，蓝色的就是音调 20 “曼谷”语谱图 21 “受用”语谱图 22 语谱图分析 特点：（特点：（1）窗长短，可以获得较高）窗长短，可以获得较高 的时间分辨率；（的时间分辨率；（2）功率谱的谐波）功率谱的谐波 结构在频率轴方向被平滑掉了，谐波结构在频率轴方向被平滑掉了，谐波 间隙被填平了，因此在频域看不出基间隙被填平了，因此在频域看不出基 音频率和频谱的谐波形式结构，但可音频率和频谱的谐波形式结构，但可 以明显的看成共振峰结构和语谱包络以明显的看成共振峰结构和语谱包络 （3）时间分辨率高，可以清楚的看

12、）时间分辨率高，可以清楚的看 到浊音共振峰时变过程到浊音共振峰时变过程 “你好 你好”宽带宽带语谱图灰度显示语谱图灰度显示 图图 “你好 你好”窄带窄带语谱图灰度显示图语谱图灰度显示图 特点：（特点：（1）窗长长，可以）窗长长，可以 获得较高的频率分辨率。获得较高的频率分辨率。 （2）滤波器的带宽能在浊）滤波器的带宽能在浊 音区分辨出每个谐波。（音区分辨出每个谐波。（3） 语谱的谐波形式的结构在频语谱的谐波形式的结构在频 率方向清晰可见，并能看到率方向清晰可见，并能看到 基音频率的时变过程。基音频率的时变过程。 N=256N=2048 23 语谱图识别语谱图识别 24 瀑布瀑布 语谱图（语谱图

13、（SPECTROGRAM） 时间、频率、幅值三维坐标，时间、频率、幅值三维坐标， 频谱帧随时间频谱帧随时间 变化变化 25 彩色语谱图彩色语谱图 发 “ah.”时的单元音 /a/ 发 “eye”时的双元音 /ai/ 发音 “real” 发音 “mean” 26 同一个人的语谱图同一个人的语谱图 5个不同发音者发音个不同发音者发音“0”的语谱图的语谱图 不同的讲话者不同的讲话者 的语谱图具有的语谱图具有 不同的不同的“声声 纹纹”。据此可。据此可 以区别说话人，以区别说话人， 这与不同的人这与不同的人 有不同的指纹，有不同的指纹， 根据指纹可以根据指纹可以 区别不同的人区别不同的人 是一个道理。

14、是一个道理。 27 话者话者1发音发音“0”的结果的结果 话者话者1另一次发音另一次发音“0”的结果的结果 28 话者话者1发音发音“0”的结果的结果 话者话者2发音发音“0”的结果的结果 29 3.6.2 语音信号特性分析 一首歌曲的截取语音段一首歌曲的截取语音段 30 3.6.2 语音信号特性分析 v语音信号的特性主要指它的声学特性、语音 信号的时域波形和频谱特性以及语音信号的 统计特性。 v关于声学特性前面已做了介绍，下面主要分 析它的时域波形和频谱特性。 31汉语拼音汉语拼音“sou ke”的时间波的时间波 形形 32 元音元音ou的频谱图的频谱图 33 语音特性分析实例：Ten above in suburbs 34 3