第02章基础知识

第2章语音信号基础知识人类语言器官语音产生过程语音信号产生数字模型语音信号特性人类听觉功能11/881.人类语言器官人类能以语言沟通，进而累积知识，形成文化，其中一种主要原因，就是人类具有较其他生物优越发音器官。人类发音器官能够产生多样性声音，组成丰富词汇，无疑是最关键原因。

声音是一种波，能被人耳听到，它振动频率在20～20000Hz之间。1、人类语言器官22/881.人类语言器官人体发音器官—肺、气管、喉（包括声带）和声道，肺是语音产生能源所在；声带为产生语音提供主要鼓励源；声道是指声门至嘴唇所有器官：咽、鼻腔、口腔等，它们具有非均匀截面，且随时间变化，起共鸣器（或谐振器）作用。1、人类语言器官33/881.人类语言器官鼻腔(nasalcavity)口腔(oralcavity)齿(teeth)舌(tongue)咽(pharynx)喉(larynx)齿龈(alveolarridge)硬颚(hardpalate)软颚(velum)小舌头(uvula)声门(glottis)唇(lips)图2-1

人类发音器官注：喉部以上部分统称为声道；气管和肺在声门下列1、人类语言器官44/881.人类语言器官图2-2

最主要发音器官之一：声带(a)闭合状态(b)张开状态甲状软骨杓状软骨环状软骨声门声带1、人类语言器官55/882.语音产生过程肺声带声道直流气流声音嘴唇声压波速度波能源鼓励源谐振源辐射源交流气流2、语音信号产生过程66/88

声门气流和嘴部声压2、语音信号产生过程77/88

物理模型2、语音信号产生过程88/882.语音产生过程语音形成过程—空气由肺部排入喉部，通过声带进入声道，最后由嘴辐射出声波，形成语音。浊音(Voicedsounds)：声带绷紧，气流通过时会使得开口变成一开一闭周期性动作，这时候就造成周期性激发气流，如a，o；清音（UnvoicedorFricativesounds）：声带完全舒展，声道某部位收缩形成一种狭窄通道，产生空气湍流，如t，d；爆破音：声带完全舒展，声道某部位完全闭合，一旦闭合点突然启动，空气压力迅速释放，如b，p。能被人耳听到，它振动频率在20～20000Hz之间

2、语音信号产生过程99/882.语音产生过程语音两个主要声学特性：浊音基音频率(F0)：由声带尺寸、特性和声带所受张力决定，其值等于声带张开和闭合一次时间倒数。人类基音频率范围在80～500Hz左右。共振峰(Fn,n=1,2,...)：声道是一种谐振腔，它放大声音气流某些频率分量而衰减其他频率分量，被放大频率我们称之为共振峰或共振峰频率。声道具有一组共振峰，声道频谱特性主要反应出这些共振峰不一样位置以及各个峰频带宽度。共振峰及其带宽取决于声道某一瞬间形状和尺寸，因而不一样语音对应于一组不一样共振峰参数。实际应用中，头三个共振峰最主要,越多越精确。2、语音信号产生过程1010/88

口腔对声源频谱调制——共振峰2、语音信号产生过程1111/88共振峰是声道主要声学特性。声道对于一种鼓励信号响应，能够用一种具有多对极点线性系统来近似描述。每对极点都对应一种共振峰频率。这个线性系统频率响应特性称为共振峰特性，它决定信号频谱总轮廓，或称谱包络。语音频率特性主要是由共振峰决定。而声道共振峰特性决定所发声音频谱特性，即音色。元音音色和区分特性主要取决于声道共振峰特性。共振峰特性能够从语音信号频谱分析得到幅频特性观测到。在声学语音学中一般考虑F1和F2，但在语音识别技术中最少要考虑三个共振峰，而在语音合成技术中考虑五个共振峰是最为现实。声波共振也称为共鸣。声道截面积随纵向位置而变化函数，称为声道截面积函数，它决定共振峰特性。1212/88频率范围/Hz成年男子成年女子带宽F1200～800250～100040～70F2600～2800700～330050～90F31300～34001500～400060～180前三个共振峰频率范围2、语音信号产生过程1313/882.语音产生过程抱负状态下共振峰计算：假设声道截面是均匀（此时可把声道看作一种粗细均匀圆筒），从喉到唇距离L=17cm，音速c=340m/s，则共振峰将发生在：谐振频率发生在500Hz奇数倍

2、语音信号产生过程1414/883.语音信号产生数字模型在研究了发声器官和语音产生过程后来，便能够建立一种离散时域语音信号产生数字模型，它将是我们将数字信号处理技术应用于语音信号基础。下列图是一个完整语音信号产生数字模型：3、语音信号产生数字模型1515/88语音产生模型(SpeechProduction/GenerationModel)4、语音信号特性1616/88语音信号(SpeechSignal)4、语音信号特性1717/88数字语音信号表达（RepresentationsofSpeechSignals）4、语音信号特性1818/88(1)鼓励模型由此模型框图，我们可将语音信号当作准周期序列或随机噪声序列作为鼓励线性非移变系统输出，此模型可分为三个部分：鼓励模型、声道模型、辐射模型鼓励模型根据发浊音和发清音机理又分为：(a)浊音鼓励(b)清音鼓励3、语音信号产生数字模型1919/88(a)浊音鼓励由前面所讲发音过程可知，发浊音时声带不停地张开和闭合将产生间歇准周期性脉冲波，其周期为基音周期，单个脉冲波形类似于斜三角波，故数字模型中可用周期为T0单位取样序列串作为声门脉冲模型g(n)输入，其输出就是浊音鼓励。由于人类语音频率范围主要集中在300Hz~3400Hz，数字模型中信号取样率一般为8KHz。3、语音信号产生数字模型(1)鼓励模型2020/88由图可见，它是一种低通滤波器。频率分析表白，其幅度谱按12dB/倍频程速率衰减。假如将其表达为Z变换全极模型形式，有G(z)＝1/(1-g1z-1)(1-g2z-1)假如g1和g2值都接近于1，则由此形成鼓励信号频谱很接近于声门脉冲频谱。显然，上式表白斜三角波可描述为一种二阶极点模型。需要指出，不一样人、不一样语音，其声门脉冲形状不一定相同，但在语音合成中对其形状要求不很苛刻，只要其傅里叶变换有近似特性就能够了。2121/88

周期性斜三角波脉冲可看做加权单位脉冲串鼓励上述单个斜三角脉冲成果。而周期冲激序列及幅值因子可表达成下面Z变换形式E(z)＝AV/(1-z-1)(2-5)因此整个鼓励模型可表达为U(z)＝G(z)E(z)＝AV/(1-z-1)·1/(1-g1z-1)(1-g2z-1)(2-6)3、语音信号产生数字模型(1)鼓励模型2222/88(b)清音鼓励发清音时声道被妨碍形成湍流，因此可把清音鼓励模拟成随机白噪声。此处用均值为0方差为1并在幅值上为平稳分布序列,详细实现时可采取随机噪声发生器来产生此序列。3、语音信号产生数字模型(1)鼓励模型2323/88(2)声道模型两种建模办法：(a)声管模型(b)共振峰模型共振峰模型将声道视为一种谐振腔，按此标准导出。基于多种音素发音不一样谐振特点可建立起三种实用共振峰模型：(a)级联型(b)并联型(c)混合型3、语音信号产生数字模型(2)声道模型2424/88(a)级联型：适用于一般单元音,以为声道是一组串联二阶谐振器：这是一种全极点模型，极点就是这个多项式根：若P为偶数，解其根会得到共扼复数(conjugatecomplex)根，表达成：3、语音信号产生数字模型(2)声道模型2525/88F=1/T--取样频率

i/--共振峰频宽。Fi是--共振峰(formant)中心频率这样分解则每一种二阶因式均对应一种共振峰，其幅频特性是典型二阶谐振特性，谐振中心频率值等于共振峰。若把语音各个共振峰所对应二阶系统级联起来就形成了一种完整级联型声道模型，且具有显著谐振特性。3、语音信号产生数字模型(2)声道模型2626/88(b)并联型适用于鼻音、复合元音及大部分辅音，发这些音时发音腔体具有反谐振特性，必须在模型中加入零点以削弱谐振强度，故要考虑用零、极点模型：一般P>R，假设分子与分母无公因子且分母无重根，则此式可分解为下列部分分式之和形式：这就是并联型共振峰模型，每一种二阶因式对应一种共振峰。每个二阶谐振器幅度可单独控制。3、语音信号产生数字模型(2)声道模型2727/88前面两种共振峰模型各自都只能适用于部分语音，级联或并联级数取决于声道长度，一般成人取3到5级。级联型构造较为简单，并联型各谐振器幅度可独立控制,综合考虑二者优缺陷可将两种共振峰模型有机地结合起来就得到一种较为完备共振峰模型。3、语音信号产生数字模型(2)声道模型2828/88(c)混合型我们能够根据发音需要自动切换串联或并联通路，另外并联部分尚有一条直通途径，其幅度控制因子为AB，这是专为某些频谱特性较为平坦音素如[f]、[p]、[b]而考虑，以增强反谐振特性。3、语音信号产生数字模型(2)声道模型2929/88在发音腔道内形成气流经由嘴唇端辐射出来，达到听者耳朵这段过程，声音信号会衰减，并且有高通滤波特性，我们常用一种一阶数字高通滤波器拟这个现象，这个滤波器又叫做辐射模型(radiationmodel)，其数学式如下完整数字模型系统函数由鼓励模型、声道模型和辐射模型级联来表达：3、语音信号产生数字模型(3)辐射模型3030/883131/88总结：1.到此为止组成语音产生数字模型三个组成部分己介绍完成。此模型并非最完备模型，由于它对某些音是不适用如浊音中摩擦音，这种音要有发浊音和清音两种鼓励，而不是简单叠加关系，对这些音我们可用更精确模型来模拟。2.语音产生数字模型中增益控制（对Av或AN）代表了输出语音音响强度；时变线性系统主要用来模拟声道特性；3.数字语音处理中两个基本问题，即语音分析和语音合成，都是基于这个模型来实现；4.此数字模型特点：系统参数固定不变—短时分析；全极点性质—零点可由多种极点逼近；鼓励源和声道互相独立—适用于大多数数字语音处理。3、语音信号产生数字模型3232/884.语音信号特性语音学和语言学概要语音声学特性语音时间波形和频谱特性语音信号统计特性4、语音信号特性3333/884.1语言学和语音学概要对语音学和语言学详尽讨论对我们来讲离题太远，不过对语音信号加以处理以改善或提取信息时，假如我们对语音信号构造(信号中信息编码办法)有尽也许多知识则是很有帮助。1.语言学：是以人类语言为研究对象一门科学，主要对控制语音中各个音排列规则及其含义进行研究。语言(Language)是从千百万个人言语(Speech)中概括总结出来规律性符号系统。因此，研究语言首先要理解一下人言语(说话)过程。4、语音信号特性3434/884.1语言学和语音学概要图3-1人说话过程分为五个阶段(1)想说阶段：人说话首先是客观现实在大脑中反应，经大脑决策产生了说话动机；接着发言神经中枢选择恰当单词、短语以及按语法规则组合，以体现他想说内容和情感。这个阶段与大脑中枢活动有关。(2)说出阶段：由上阶段中枢决策，以脉冲形式向发音器官发出指令，使它们各自有关肌肉协调地动作发出声音来。另外还开动另一种“反馈系统”即发言者听觉系统，来帮助修正语音。(3)传送阶段：说出来话语是一连串声波，凭借空气为媒介传到听话者耳中。(4)接收阶段：听话者从外耳搜集到声波信息，通过中耳放大作用，到达内耳，经内耳基底内膜振动转化为耳蜗内毛细胞电位变化，由听觉神经传给大脑。(5)理解阶段：发言者大脑听觉神经中枢收到脉冲信息后，识别出说话人及其所说信息，从而听懂发言者话。4、语音信号特性3535/884.1语言学和语音学概要从五个阶段来看，言语过程包括着相称复杂因素，其中有心理、生理、物理以及个人和社会原因。这里，个人原因还指讲活者口音和用词造句特色以及听话者听音和理解能力；社会原因则是指发言者和听话音对用于进行交际伎俩有共同理解社会基础。

语言是从言语中概括出来一种符号系统。包括形式和内容两个方面，即语音形式和语义内容。将这两个基本要素相结合起来，能够组成语言语素、词、短语和句子等不一样层次单位；这个组成规则就是语法。目前我们能够利用语法和语义信息减小语音识别中搜索匹配范围，提升语音识别率。4、语音信号特性3636/884.1语言学和语音学概要2.语音学：研究语音中各个音物理特性和分类学科。从某种意义上讲，语音学与语音信号处理这门学科联系更紧密。大多数语言包括汉语在内能够用一组不一样音即音素来加以描述。对于汉语来说约有六十个音素,包括元音、复合元音和辅音。研究语音学途径有很多种,例如语言学家研究音素不一样特性或特性。而对我们来讲,只要研究不一样声学特性就够了,这包括发音部位、姿态、波形和这些声音频谱即语谱特性。本章背面几个话题均以语音学为基础。4、语音信号特性3737/884.2语音声学特性1.物理属性—音色、音调、音强和音长；音色：也叫音质，是一种声音区分于另一种声音基本特性，是由声道位置和形状决定。音调：声音高低，决定于声波频率高低,而声波频率高低又由语音基音频率F0所决定。F0高则音调高，低则音调低。一般说来,老年男性音调偏低，小孩和青年女性音调偏高。音强：声音强弱，由声波振幅所决定。音长：声音长短，取决于发音时间长短。4、语音信号特性3838/884.2语音声学特性2.语音组成—音节(syllable)、音素音素(phoneme)：语音发音最小单位。分类：(1)国际标准分类清音：发清音时声带不振动。浊音：发浊音时声带振动。(2)我国传统分类元音（韵母）：是当声带振动发出声音气流在声道中不受妨碍,这种情况下产生语音称为元音。元音属于浊音。辅音（声母）：从声门呼出声音气流，在声道通路中某一部分封闭起来或受到妨碍不能通畅，为克服发音器官这种妨碍而产生语音称为辅音。4、语音信号特性3939/884.2语音声学特性音节：说话时一次发出，具有一种响亮中心，并被显著感觉到语音片段。一种音节可由一种音素或几个音素组成。音节最典型结构，就是以一种元音或双元音(diphthong)为主体，其前面或背面也许连接一种或多种辅音。3.汉语语音特点—声、韵、调，音节在汉语中占有主要地位，它是由声母、韵母和声调按一定方式组成，是语言最小使用单位；音节构造简单，与其他语言相比汉语语音音节和音素都很少。4、语音信号特性4040/884.2语音声学特性4.语义：语音总是和一定意义相联系着，一定语音要体现一定思想和意义；另外，语音还能体现出一定语调、情感，甚至体现许多“言外之意”。5.元音共振峰特性：元音组成一种音节主干，无论从发音长度还是从能量看，元音在音节中都占主要部分。因此有必要在此研究一下元音共振峰特性或者说研究其频谱特性。4、语音信号特性4141/884.2语音声学特性影响元音共振峰特性发音机制：(1)舌头形状；(2)舌头在口腔中位置，简称舌位；(3)嘴唇形状，即口形；其中由舌位高低前后位置变化，能够发出不一样音素，也就是说舌位与元音共振峰特性有密切关系。4、语音信号特性4242/884.2语音声学特性图4-1汉语单元音舌位梯形图(1)F1与舌位高低有关，舌位越高F1越低；由于舌位越低嘴张得越大,也称舌位高低为开口度。(2)F2与舌位前后密切有关，舌位越靠前F2就越高。(3)F1、F2和嘴唇圆展程度有关，嘴唇越圆,F1、F2越低。(4)F3与舌位关系不密切，但受舌尖活动影响；舌尖抬高卷起时F3就显著下降。4、语音信号特性4343/88多种语音表达信息率4、语音信号特性4444/884.3语音时间波形和频谱特性语音能够直接用它时间波形来表达，根据时间波形能够看出语音信号某些主要特性。就其本性而言，语音波形是时间连续函数，是随时间而变化，但比较迟缓,10~30ms4、语音信号特性4545/884.3语音时间波形和频谱特性语音频谱特性由声道形状和尺寸决定，随时间变化——短时谱（清浊音不一样、对数和线性振幅谱）；语谱图（浊音和清音不一样、宽带和窄带语谱图）4、语音信号特性4646/884.3语音时间波形和频谱特性左图中u(n)就是前面所讲声音鼓励ug(n),由于声门波脉冲模型g(n)引入两个极点，故在语音信号约0.8至1.0kHz以上频率造成12db/倍频程衰减4、语音信号特性4747/884.3语音时间波形和频谱特性语音信号时域波形示意图:静息波

脉冲波（清塞音）准周期波（浊音）噪声波（摩擦音）4、语音信号特性4848/884.3语音时间波形和频谱特性图4-2声音语谱图4、语音信号特性4949/884.3语音时间波形和频谱特性窄频带语谱图(narrowbandspectrograms)语谱图产生是用傅里叶转换(Fouriertransform)，当我们用较长分析窗口(analysiswindows)，约20ms，对应频宽约为45Hz，得到频率辨别率较高，频谱上能够看到谐振成份。在语谱图上展现等距黑白相间横线条，其间距就是基频(F0)。4、语音信号特性5050/884.3语音时间波形和频谱特性宽频带语谱图(widebandspectrograms)若是在转换演算时用较少取样点，分析窗口大约3ms，对应频宽约300Hz，则频谱上看不到谐振成份，在语谱图上看不到等距黑白相间。频率辨别率较低，反而是时轴上辨别率较高，看到显著垂直线条。4、语音信号特性5151/884.3语音时间波形和频谱特性共振峰(formant)在频域上，能量集中处就是共振峰(formant)之所在，在语谱图上就是颜色较深位置。在发元音时，音强较大，声带振动而展现出基频及其谐振频率，也能够显著看到共振峰，能量集中在低频。假如是发辅音，并且声带不振动，就看不到谐振频率。一般辅音音强小，颜色看来就比较淡，并且能量较集中在高频。若是在没有语音空档，则语谱图上展现，就是有一段空白。4、语音信号特性5252/884.3语音时间波形和频谱特性元音与辅音声学特性(一)元音发元音声音时，声带是振动，音强也较大，波形上能够看到大振幅，并且展现周期性。其周期就是音高周期，对应频率就是基频，一般以F0表达。正常说话时，元音音长大约是50到400ms之间。元音在频谱上会展现能量集中现象，集中处频带称为共振峰。在5kHz语音频带范围内，会有5个共振峰，分别以F1﹑F2﹑F3﹑F4﹑与F5代表，其中F1﹑F2与F3比较显著。4、语音信号特性5353/884.3语音时间波形和频谱特性图4-3三个元音语谱图（分别对应汉语拼音元音i,a,u）4、语音信号特性5454/884.3语音时间波形和频谱特性图4-4双元音在语谱图上共振峰转移(过渡)现象分别对应汉语拼音双元音ai,ei,ao,ou4、语音信号特性5555/884.3语音时间波形和频谱特性(二)辅音辅音是对元音前或后作修饰。带声辅音会有类似元音共振峰，由于声带振动，因此和元音同样有谐振成份，但相对于元音，能量小得多。不带声摩擦音（如f,s,sh,x,h）类似噪音，能量倾向在高频。发鼻音时，鼻腔共振效果使得低频成份受到压抑，虽然是声带振动而有共振峰，但低频共振峰能量较弱。下列图分别对应汉语拼音辅音：b,p,m,f,j,q,x,zh,ch,sh4、语音信号特性5656/884.3语音时间波形和频谱特性图4-5塞音（或爆破音）出目前元音前例子下列图分别对应ba,da,ga,pa,ta,ka在一种音节开始若有塞音，当气流放出之后，伴随就发元音，声带开始振动，在语谱图上能够观测到一小段时间之后，才有显著共振峰出现，这一小段时间就叫做嗓音起始时间(voiceonsettime)，简称VOT。返回4、语音信号特性5757/884.4语音信号统计特性语音信号能够当作是一种遍历性随机过程样本函数；语音信号统计特性能够用它振幅概率密度函数和某些平均量（均值和自有关函数）来描述——概率密度估算、逼近办法及意义；自有关函数估计及影响原因（语音段和滤波情况）；语音信号统计特性也能够用功率谱来描述——长期平均功率谱能够用周期图来估计；4、语音信号特性5858/88

语音信号时域波形4、语音信号特性5959/88

语音信号波形与频谱4、语音信号特性6060/88

语音波形幅度分布4、语音信号特性6161/88

基频变化范围4、语音信号特性6262/88自学部分6363/88

美式英语发音4、语音信号特性6464/88

美式英语音素4、语音信号特性6565/88

元音(Vowels)•由固定声道形状产生，可连续声音•声带振动–浊音•声道截面积决定了元音频率响应和声音质量•舌位置（高度，前后），唇形状对确定元音发音有主要作用•一般连续期相对长（歌唱时能够保持），有规则频谱形状4、语音信号特性6666/88

元音产生4、语音信号特性6767/88

美式英语中元音4、语音信号特性6868/88

元音发音器官形状4、语音信号特性6969/88

元音波形与谱图4、语音信号特性7070/88

元音共振峰平均4、语音信号特性7171/88

元音连续期4、语音信号特性7272/887373/885.人类听觉功能用语言作沟通，就是说话人能让对方听懂他在说些什么，双方用说与听来达成信息交换与感情交流。而语言学习过程，更是不停地听，然后学习会说，因此语言与听觉有密切关联性。本节将说明人类听觉器官构造，以及如何听声音。并且对于人耳在听觉上一种主要特性，听觉掩蔽效应做了简要论述，这是语音处理中经常会用到听觉特性。5、语音感知7474/88

语音通信SpeechCommunication5、语音感知7575/88

听觉系统中声音表达框图5、语音感知7676/88

听觉器官5、语音感知7777/88语音感知模型(SpeechPerceptionModel)5、语音感知7878/885.人类听觉功能外耳

从耳翼(pinnas)到鼓膜(eardrum)这一段叫做外耳。耳翼功能在帮助判断声音起源方向，它对于听者前方来声音比较敏感。

耳翼到鼓膜之间通道叫做耳道（meatus)

，这是一种长约2.7公分直径约0.7公分通道。对于声波传输而言，这条通道等于是一种四分之一波长共振腔，它第一种共振频率大约是3kHz，这个共振作用将3～5kHz声波放大15dB左右，因此使得我们听觉对于3～5kHz频率范围比较敏感。5、语音感知7979/885.人类听觉功能中耳

在鼓膜与耳蜗之间有一种大约6立方公分小空间，称之为中耳。在这个小空间内，有三块小骨头，分别是槌骨(hammer，或称为malleus)，砧骨(anvil或称为incus)与镫骨(stapes，或称为stirrup)。槌骨黏接在鼓膜上，声波造成空气振动会使鼓膜振动，进而推进槌骨振动，镫骨贴在耳蜗椭圆形窗(ovalwindow)上，槌骨振动通过砧骨与镫骨传递，将振动信号传到耳蜗内淋巴液，因此中耳能够当作是声波到淋巴液信号转换，在此转换过程中，对于1kHz以上信号做了-15dB/10倍频程衰减，能够当作是一种低通滤波器(lowpassfilter)。5、语音感知8080/885.人类听觉功能人类在辨别声音时，是取决于频域上辨别率，听觉器官等于是将时域声音波形转换成在频域频谱，能否听到声音或辨别声音，是取决于音强(intensity)与频谱(spectrum)。一般人听觉器官能够感知频率范围16Hz到18kHz声音，动态范围约1000倍。超出人类听觉感知范围，如20kHz以上声波，我们称之为超音波(ultrasonic)。人耳对于1kHz到5kHz声音最为敏感，不过对于1kHz下列与5kHz以上声音，就要较大音强才听得到。5、语音感知8181/885.人类听觉功能图5-4人类听觉范围5、语音感知8282/