语音信号数字处理：第二章 语音信号的声学基础及产生模型

1、第二章语音信号的声学基础及产生模型语音学语音产生过程语音信号的特性分析语音感知语音产生数学模型语音学界定三个分支 基础知识语音学界定语音学是研究人类说话声音的科学 三个分支 基础知识语音学界定三个分支（发音-传递-感知）发音语音学也称生理语音学，研究发音器官在发音阶段的生理特性，确定发音部位和发音方式 声学语音学研究语音在传递阶段的声学特性，用声学和现代信号分析理论来解释各种语音现象 感知语音学研究语音感知阶段的生理和心理特性，也就是研究耳朵是怎样听音的，大脑是怎样解释这些声音的，语言信息在大脑中的存储部位和形式基础知识语音学界定三个分支 基础知识基本声学特征层级结构辅音元音音节结构 基本声学

2、特征音质响度音高音长音段特征，音质超音段特征，音高、响度、音长层级结构由下而上（bottom-to-top）音素(Phoneme)：最小的发音单位音节(Syllable)：最小的节奏单位语音词(Prosodic Word)：最小的韵律组合单位韵律短语(Prosodic Phrase)：非完整语调的短语语调短语(Intonational Phrase)：具备完整语调的可独立的短语例：一九九九年（BP1）十二月（BP1）三十一号（BP2）一 九 九 九 年 十 二 月 三 十 一 号yi1 jiu3 jiu2 jiu3 nian2 shi2 er4 yue4 san1 shi2 yi1 hao4辅

3、音辅音的特点口腔内有阻塞或阻碍气流较强，特别是清辅音器官在遇阻部分是紧张的多数辅音为不带音的清辅音，少数辅音为声带颤动的浊辅音辅音辅音的分类按发音部位分类唇音：b，p，m，f舌尖前音：d，t，n，l，z，c，s舌尖后音：zh，ch，sh，r舌面前音：j，q，x，舌根音：g，k，h，ng（鼻韵尾）按发音方法分类塞音：b，d，g（不送气）p，t，k（送气）塞擦音：z，zh，j（不送气）c，ch，q（送气）擦音：f，s，sh，x，h（清擦）r（浊擦）边音：l鼻音：m ， n，ng（鼻韵尾）半元音：如，i，u， 起头的零声母音节的起始部元音元音的特点声带颤动，其波形呈准周期性变化器官均衡地保持紧张，口

4、腔内无明显阻碍气流较弱元音元音的分类按舌位高低、前后分；按唇形圆展分；调音器官的变化来分单元音（10个）舌面元音：a, i, u, , o, e, 舌尖元音：-i, -ii卷舌元音：er二合元音（9个）前响： ai, ao, ou, ei, e后响： ia, ua, ie, uo 三合元音（4个）iao, iou, uai, uei 音节结构音节声母韵母声调tang1 = t + ang1非轻声音节1268个（新华字典）声母声母（21个） 全部为辅音塞音：b，d，g（不送气）p，t，k（送气）塞擦音：z，zh，j（不送气）c，ch，q（送气）擦音：f，s，sh，x，h（清擦）r（浊擦）边音：l

5、鼻音：m ， n，ng（鼻韵尾）半元音：如，i，u， 起头的零声母音节的起始部韵母韵母（39个） 大部分为元音，或元音加鼻韵尾单元音（10个）舌面元音：a, i, u, , o, e, 舌尖元音：-i, -ii卷舌元音：er二合元音（9个）前响： ai, ao, ou, ei, e后响： ia, ua, ie, uo 三合元音（4个）iao, iou, uai, uei鼻韵尾（7个）an, en, in, ang, eng, ing, ong复合鼻韵尾（9个） ian, iang, iong, uan, uen, uang, ueng, an, en声调声调（5个）孤立音节中有四个声调，调型称

6、之为阴平、阳平、上声、去声，简称1、2、3、4声连续语音中由音节弱化、致使原有调型丢失，形成轻声上声连读变调：上声变阳平主要由韵母音段的音高所负载第二章语音信号的声学基础及产生模型语音学语音产生过程语音信号的特性分析语音感知语音产生数学模型语音产生过程发音过程语音生成模型语音产生过程声带-激励源声道-调节器唇-辐射语音产生过程激励源（体积速度）嗓音声源脉动声门气流噪音声源瞬态过程、摩擦、送气语音产生过程激励源（体积速度）嗓音声源脉动声门气流线谱基频（pitch）、音高（F0）、声调（tone）-12dB/Oct.下倾注：分频斜率（也称滤波器的衰减斜率）用来反映分频点以下频响曲线的下降斜率，用分

7、贝/倍频程（dB/oct）来表示。它有一阶（6 dB/oct）、二阶（12 dB/oct）、三阶（18 dB/oct）和四阶（24 dB/oct）之分，阶数越高，分频点后的频率曲线斜率就越大。较常用的是二阶分频斜率。高阶分频器可增加斜率，但相移位大；低阶分频器能产生较平缓的斜率和很好的瞬态响应，但幅频特性较差。 语音产生过程激励源（体积速度）调节器（声道截面积）元音声道长度舌的位置共振峰（formant）, F1, F2, F3, F4辅音方式: 摩擦、送气、阻塞部位：唇、齿、舌面、舌根、鼻语音产生过程激励源（体积速度）调节器（声道截面积）辐射（差分函数）一阶差分+6dB/Oct. 增益语音产

8、生模型源-滤波-辐射模型冲激序列发生器声门波模型声道 模型信号辐射模型随机噪声发生器第二章语音信号的声学基础及产生模型语音学语音产生过程语音信号的特性分析语音感知语音产生数学模型语音信号的特性分析时域波形（Time-Domain Waveform）频域特征（Frequency-Domain Feature）语谱图（Spectrogram）时域波形samples时域波形samples时域波形samples时域波形直观的特征周期性摩擦停顿时长幅度波形解释发音方式清浊摩擦塞送气鼻时域波形直观的特征周期性摩擦停顿时长幅度波形解释发音方式清浊摩擦塞送气鼻显著程度频域特征samples频域特征直观的特征包

9、络细节频域特征发音部位周期性共振峰位置能量集中区能量语谱图需求：综合显示发音方式-时域发音部位-频域语谱图：语音频谱随时间变化的图形横轴：时间纵轴：频率灰度：能量大小语谱图-samples宽带-300Hz窄带-45Hz语谱图典型特征横杠冲直条乱纹最为经典的语音分析显示手段实现手段Bell Lab. in 40s, 模拟滤波器组Kay Inc. in 80s，基于DSP的数字滤波器组Speech analysis toolspraat, free, professional toolsSFS, free, professional toolsCooledit, popular tools第二章语

10、音信号的声学基础及产生模型语音学语音产生过程语音信号的特性分析语音感知语音产生数学模型语音感知听觉器官(声学特征)感知效应语音感知听觉器官(声学特征)音质、音强、音高、音长感知效应感知效应听阈主观响度主观音高言语的选择性感知感知效应听阈频率范围2020kHz声强0120dB(0dB eq. 20uPa)主观响度主观音高言语的选择性感知主观响度响度级（Loudness Level）, Phon数值上等于1kHz纯音的声强级响度（Loudness）, 1Sone等于1kHz纯音t听阈之上40dB的响度P=33.33lgS+4035kHz频段最为灵敏主观音高美（Mel）1kHz纯音定为1000Mel

11、听感上为1000Mel的n倍，nx1000Mel临界带宽（Critical Band）相同功率的噪声对纯音的屏蔽，噪声的频带宽度2016kHz,划为24个BarkMel与频率的关系言语的选择性感知“鸡尾酒会效应”发音的改变选择性感知感知过程非线性处理过程自下而上（数据驱动）+从上而下（知识驱动）第二章语音信号的声学基础及产生模型语音学语音产生过程语音信号的特性分析语音感知语音产生数学模型语音产生数学模型产生模型激励声道辐射语音产生模型源-滤波-辐射模型冲激序列发生器声门波模型声道 模型信号辐射模型随机噪声发生器激励模型清音随机白噪声均值为0，方差为1的随机序列浊音右斜类三角波斜三角波模型Rosenberg声门波模型 TpTnT0TpTnT0斜三角波Rosenberg声门波激励模型右斜类三角波的Z变换G(z)声道模型声管模型共振峰模型声管模型管子串联管子对应于四端网络反射系数与线性预测的参数相对应（Km对应于线性预测的反射系数）。声门唇1324共振峰模型级联型并联型混合型级联型