非特定人语音识别

1、中国地质大学（武汉）专业综合实习报告基于非孤立人语音识别的MFCC特征识别及DTW算法姓名:王钰龙1课题的背景和意义语音识别技术，也被称为自动语音识别 Automatic Speech Recog nition, （ASR），其目标是将人类的语音中的词汇内容转换为计算机可读的输入。语音识别以语音为研究对象，它是语音信号处理的一个重要研究方向，是模式识别的一个分支。语音识别的研究涉及微机技术、人工智能、数字 信号处理、模式识别、声学、语言学和认知科学等许多学科领域，是一个多学科综合性研究领域。根据在不同限制条件下的研究任务，产生了不同的研究领域。这些领域包括：根据对说话人说 话方式的要求，可分为

2、孤立字（词）、连接词和连续语音识别系统；根据对说话人的依赖程度，可分为特定人和非特定人语音识别系统；根据词汇量的大小，可分为小词汇量、中等词汇量、大词汇量 以及无限词汇量语音识别系统。随着计算机技术的飞速发展，语音识别技术也取得突破性的成就，人与机器用自然语言进行对 话的梦想逐步接近实现。语音识别技术的应用范围极为广泛，不仅涉及到日常生活的方方面面，在 军事领域也发挥着极其重要的作用。它是信息社会朝着智能化和自动化发展的关键技术，使人们对 信息的处理和获取更加便捷，从而提高人们的工作效率。同时语音识别最重要的技术就是如何在输 入信号中提取到正确的语音信号，并正确的经过匹配与比对从模板库里找出最

3、接近的信息显示出来。本课题是研究非孤立人语音识别，不限制对象，词汇量较少。课题从最基础的识别孤立字开始，这是语音识别最基础的部分，奠定了完整识别整个句子的基础。本课题还解决了针对不同对象的语 音识别技术，符合大规模应用的条件。课题中的MFCC（梅尔倒谱系数）是常用的提取信号特征的一种算法，DTW（ Dynamic Time Warping ，动态时间归整）算法）更是很早就应用与孤立字识别的一种比 较完善的算法。将二者组合起来能完成非孤立字的语音识别。在说话人识别系统中特征提取是最重要的一环，特征提取就是从语音信号中提取出表示说话人个性的基本特征，同时还要尽量去除语音信号中的噪声信息，提高识别的

4、精度。在理想情况下 ，这些特征应该具有如下特点：能够有效地区分不同的说话人，但又能在同一说话人的语音发声变化时相对保持稳定；易于从语音信号中提取；不易被模仿；尽量不随时间和空间变化。在人类的听觉系统中,人耳中的耳蜗起了很关键的作用 ，其实质上相当于一个滤波器组。当声音传入耳蜗时，耳蜗内流体压强会发生变化 ，从而引起行波沿基底膜传播 ，由于声音的不同频率沿着基底膜的分布是对数型的 因此耳蜗的滤波作用相当于在一个非线性频率尺度上进行。耳蜗的这种非线性频率尺度上的滤波作 用，使人耳对低频信号比对高频信号更敏感。人耳的这种特性在语音识别中得到了广泛的应用。Mel频标倒谱参数（Mel Frequency

5、 Cepstral Coefficient,简称 MFCC）特征是目前使用最广泛的语音特征之 一,具有计算简单、区分能力好等突出优点，因而常常成为许多实际识别系统的首选。2语音识别基础原理语音信号分析可分为时域、频域、倒谱域等方法。语音中最重要的感知特性反应在其功率谱中， 相位变化只起到很小的作用，所以更为有效的是围绕频域来进行的。时域波形容易随外界环境变化,但语音信号的频谱对外界环境变化具有一定的顽健性，频谱有非常明显的声学特性，利用频域分析 获取的语音特征具有实际的物理意义。如共振峰参数，基音周期。倒谱域是将对数功率谱进行反傅 里叶变换后得到，进一步讲声道特性和激励特性有效的分开，因此可以

6、更好的解释语音信号的特征。语音识别系统构建过程整体上包括两大部分：训练和识别。训练通常是离线完成的，对预先收 集好的海量语音、语言数据库进行信号处理和知识挖掘，获取语音识别系统所需要的“声学模型” 和“语言模型”。识别过程通常又可以分为“前端”和“后端”两大模块：“前端”模块主要的作 用是进行端点检测（去除多余的静音和非说话声）、降噪、特征提取等；“后端”模块的作用是利用训练好的“声学模型”和“语言模型”对用户说话的特征向量进行统计模式识别（又称“解码”） 得到其包含的文字信息，此外，后端模块还存在一个“自适应”的反馈模块，可以对用户的语音进 行自学习，从而对“声学模型”和“语音模型”进行必要

7、的“校正”，进一步提高识别的准确率。本课题的研究过程如下 图（a）所示图（a）3. VAD端点检测语音活动检测（Voice Activity Detection,VAD） 又称语音端点检测，语音边界检测。目的是从声音信 号流里识别和消除长时间的静音期。在本课题中VAD检测出语音段的起始帧与结束帧，为下一步的提取语音的MFCC参数提供便利。可以将一段语音片段分为静音段、过度段、语音段、结束。比较常用的VAD技术是基于短时能量和过零率的双门限端点检测。分别对短时能量和过零率设置两个门限值energy_low, energy_high和zcr_low, zcr_highen ergy_highe n

8、ergy_lowzcr_highzcr_low计算一帧的短时能量 enegry和过零率zcr若 enegryenergy_low&zcrzcr_low，则进入过度段计算一帧的短时能量和过零率，若enegryenergy_high&zcrzcr_high,此时还不能断定语音开始，继续计算几帧短时能量和过零率，若en egrye nergy_high&zcrzcr_high，则可判定语音开始。VAD语音端点检测流程图如下图（b所示）JBtKWMIjtX* tf”I Wk内有弋- 琏傩JLF*辟卡于艮向戸布间.弓L-jeV阿隅小孑图（b） 在做端点检测之前要用汉明窗进行分帧，同时分帧的帧长和帧移必须

9、要统一。实验结果QjjAmiy Editor wd吨 差樂題昌| |切|勺心张*:二J33 I Is6t | aiidi1 33154230308382国81572E62746843Arr Editor vad_tndt.SI盘1：|苗自足呼I11 2345|678|9|、| 悩 IflB 2B134U411 引峥鬥_ 鬥 872四：梅尔频率倒谱系数（MFCC）耳蜗实质上相当于一个滤波器组，耳蜗的滤波作用是在对数频率尺度上进行的，在1000HZ下,人耳的感知能力与频率成线性关系；而在1000HZ以上，人耳的感知能力与频率不构成线性关系，而更偏向于对数关系，这就使得人耳对低频信号比高频信号更敏感

10、。Mel频率的提出是为了方便人耳对不同频率语音的感知特性的研究。频率与Mel频率的转换公式为：（如图c）F(mel)=2595*log10(1+f(hz)/700)rrwl ilhftf lir*W3i i*w=i*叫1WQFimrr I 厂电也-斤“卩山卄心 nf r|jr(二 S-kflz : A = 22)图（c）MFC（在 一定程度上模拟了人耳对语音的处理特点，应用了人耳听觉感知方面的研究成果，采用 这种技术语音识别系统的性能有一定提高。MFC数的提取的基本流程如 图（d）语音输入预加重分帧加窗FFT变换MEL滤波图（d）1、预加重处理预加重处理其实是一个高通滤波器，该高通滤波顺的传递

11、函数为：其中的取值为0.97，该高通滤波器作用是滤去低频，使语音信号的高频特性更加突现。2、分帧及加窗处理由于语音信号只在较短的时间内呈现平稳性(一般认为10-30ms)，因此将语音信号划分为一个一个的短时段即一帧。同时为避免丢失语音信号的动态信息，相邻帧之间要有一段重叠区域， 重叠区域一段为帧长的 1/2或1/3。然后再将每帧乘上窗函数，以增加每帧左端和右端的连续性。本次课题我们使用的是汉明窗3、各帧信号的FFT变换对分帧加窗后的各帧信号进行FFT变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。4、三角滤波器系数的求取定义若干个带通三角滤波器 (k)，0=m=M M为滤波

12、器个数，其中心频率为 f(m)，且满足Mel(f(m)-Mel(f(m-1)=Mel(f(m+1)-Mel(f(m)求得滤波系数为m(i),i=1,p， p为滤波器阶数5、三角滤波并进行离散余弦变换DCTC(i)即为所要求提取的特征参数。 实验截图：1*100矩阵的MFCC参数矩阵非孤立人相同发音内容的 MFCC参数矩阵Q * -J 氏告1 心 a *HQi plCMt RWi n i 口hnitMACaiJ2J4557AvDTl.we-ZI4&I1 jji*s-t?T2J-2Mzpawnl.WJI D1JM密2 购 7&t-7.W&-tiiauoi4MfMLU21-iL4S“a皿越1QS57

13、T3jIt-7-13 8ft7.S71-&1UJMaimSttbAUMLQAUJJ*?Q17WB771 11imiillflW7 vww-n*wfUMH6 71：177J3JMT7HH3M-37? 3T40TM-S5l-liJ-SEa-74nzi*1WP址JMK2ISW郵轉律OWi?3阿UFiV2?iip誥章泄M軸,1車艸4JWi钠肚号iOia3&AB37- 14M1191M17ICLTEH-11T3W专eflin24191T-EL9WS-1Z7W1-asM44W4JQ5J54映血21iSiUl-liHl5fcJD 1S 3W5町64UIU2U.wa4馬901 1MB加处!.?*-1.111

14、MiJMK冲比Mkti417S&L512J!4血G-llUTl-a.TM-LiT?dMM4 5W-U74 ?DZT -2AJMQUU4I.Mtiia-03*3?iSITum2MI5WRu站学4LiH?11414住日2E.HU-I4 HUF W?ZW9-CWffTMKItUHi1 1Wa Hia-OJGCMiDl7-VG70S1.WJ-L73O?nwrHUID1 1W-9L1WDIMMfirlUBS-%i4a4 Mi1.M41監MUi_22t1.W2COW-ijou1.柑L励fl-WIF1 IflFi14HTD.MZ-Q43W-?.ri4Waft!时CL4NB九沁成出昭4MUgnJ27非孤立人相

15、同发音一段语音的MFCC参数5.DTW算法在非孤立人语音识别中的应用Dynamic Time Warping （动态时间归整）是一种衡量两个长度不同的时间序列的相似度的方法。应 用也比较广，主要是在模板匹配中，比如说用在孤立词语音识别（识别两段语音是否表示同一个单 词），手势识别，数据挖掘和信息检索等中。在非孤立人语音识别中 DTW算法要欸使用两次。一次是对语音模板提取通用模板的时候使用，另一 次就是测试语音的时候进行 DTW匹配。DTW勺基本原理：假定一个孤立字（词）语音识别系统，禾U用模板匹配法进行识别。这时一般是把整个单词作为识别单元。在训练阶段，用户将词汇表中的每一个单词说一遍， 提取

16、特征后作为一个模板， 存入模板库。 在识别阶段，对一个新来的需要识别的词，也同样提取特征，然后采用DTW算法和模板库中的每一个模板进行匹配，计算距离。求出最短距离也就是最相似的那个就是识别出来的字了。在时间序列中，需要比较相似性的两段时间序列的长度可能并不相等，在语音识别领域表现为 不同人的语速不同。因为语音信号具有相当大的随机性，即使同一个人在不同时刻发同一个音，也 不可能具有完全的时间长度。而且同一个单词内的不同音素的发音速度也不同，比如有的人会把“ A”这个音拖得很长，或者把“ i”发的很短。在这些复杂情况下，使用传统的欧几里得距离无法有效地 求的两个时间序列之间的距离（或者相似性）。例

17、如图所示，实线和虚线分别是同一个词的两个语音波形(在y轴上拉开了，以便观察)。可以看到他们整体上的波形形状很相似，但在时间轴上却是不对齐的。例如在第20个时间点的时候,实线波形的a点会对应于虚线波形的 b点，这样传统的通过比较距离来计算相似性很明显不靠谱。 因为很明显，实线的 a点对应虚线的b点才是正确的。而在图 B中，DTW就可以通过找到这两个波 形对齐的点，这样计算它们的距离才是正确的。70 x轴上并不0102030405060也就是说，大部分情况下，两个序列整体上具有非常相似的形状，但是这些形状在是对齐的。所以我们在比较他们的相似度之前，需要将其中一个(或者两个)序列在时间轴下 warp

18、ing扭曲，以达到更好的对齐。而DTW就是实现这种 warping扭曲的一种有效方法。DTW通过把时间序列进行延伸和缩短，来计算两个时间序列性之间的相似性。假设测试和参考模板分别用 T和R表示，为了比较它们之间的相似度， 可以计算它们之间的距 离DT，R，距离越小则相似度越高。为了计算这一失真距离，应从T和R中各个对应帧之间的距离算起。设n和m分别是T和R中任意选择的帧号，dT(n)，R( m)表示这两帧特征矢量之间 的距离。为了描述这条路径，假设路径通过的所有格点依次为(ni , mi ),(ni , mj), ,(nN , mM )，其中(ni, mi ) = (1, 1) , (nN ,

19、 mM ) = ( N , M)。路径可以用函数 m = Oslash;(n )描述，其中 n =i, i=1 , 2, , N, (1) =1 , (N) =M。为了使路径不 至于过倾斜，可以约束斜率在 0.52的范围内，如果路径已经通过了格点( n , m ),那么下一个 通过的格点(n , m )只可能是下列三种情况之一：如图表达为 TOC o 1-5 h z (n,m)=(n +1, m)(n,m)=(n +1, m +1)(n,m)=(n ,m+1 )用r表示上述三个约束条件。求最佳路径的问题可以归结为满足约束条件r时，求最佳路径函数m = (n ),使得沿路径的积累距离达到最小值，

20、即：搜索该路径的方法如下：搜索从( n , m )点出发，可以展开若干条满足 ？的路径，假设可 计算每条路径达到(n ,m )点时的总的积累距离， 具有最小累积距离者即为最佳路径。易于证明，限定范围的任一格点(n , m )只可能有一条搜索路径通过。对于( ni, mi),其可达到该格点的 前一个格点只可能是(n , m )、( n , m -1 )和(n , m -2 )，那么(n , m ) 定选择这 3 个距离之路径延伸而通过(n , m ),这时此路径的积累距离为：D (n , m ) =dT(n ),R(m )+minD(n+1,m),D(n+1,m+1),D(n,m+1)这样可以从

21、(n , m ) =( 1,1)出发搜索(n , m ),对每一个(n , m )都存储相应的 距离，这个距离是当前格点的匹配距离与前一个累计距离最小的格点(按照设定的斜率在三个格点 中进行比较)。搜索到(n，m )时，只保留一条最佳路径。如果有必要的话，通过逐点向前寻找 就可以求得整条路径。这套DP算法便是DTW算法。DTW算法可以直接按上面描述来实现， 即分配两个NXM的矩阵，分别为积累距离矩阵 D和帧 匹配距离矩阵d，其中帧匹配距离矩阵 d (i, j)的值为测试模板的第i帧与参考模板的第j帧间的距 离。D ( N, M)即为最佳匹配路径所对应的匹配距离。实验截图:| 4 a 3 X S

22、radc匚貝 S#ll dta rc pl*MUEAN 1 234567910Hdo.28x24 do.do.小心do-36x24 de.iB*370 do._ *27x24 血”do.2用DTW做完后提取的模板w1tjHatk； bateLJJ r*e-皿d doe tor MUH. Ll MU3*Ft 1.1）如1234567s91D11121114pl胡如213仍电竝财aueii-11.20ngaikirz-HOL 畑WBIW0S4J0TO罰44-14.700玄肚狛坤誹.Q07-Z1W7&3!阙1.7M7a网4，时備？丹加$1J0174IJM3-1QUC036-5.6757weo4512

23、4737540,1264-11.1054电1却H23瓦朋M-7.133-.37O2-zsaa642.&5SC出丄曲45J145-16J7U-23M5-11J&2W4.7525-zjsa?74-2lK720.757J-JJ6643-Q4M.735.7579凯3刑23123-打MM-ii_i7541.95-S.1155-3.SB7Oi241-I223T2M2ftJ3.O2B処M知*0如-6203“也岀5思111?虽期M弭閒対加册0L7M1 UliOiT倔汕asH.now課孔JTKJ4&KW乜闡嘲i419?J,5il7上視1aaia13砂皿1-52-1I7-6M5-7_5Qft-tkti757.&9

24、1B7,M2&34Jmri阳仙az13*.32恥侶七 joagJ.妁 5A4.1 n 7叮血七辭？a仙於0.7555054014型丑注U.W54-IIJEffi-9574舟？nd-L01&巧14.3751S2J17&诒!73d财-U11A虽沖朋尙J7吐-52661-Q21&1655.i2fl5弧比卵W9B 11 55-IU169出丹弼21714*3.2063T7S1?M00.0! J不同发音内容的非孤立人语音模板(42*24)矩阵6丄LE降维算法LLE ( Locally Li near Embeddi ng )算法，即局部线性嵌入算法。该算法是针对非线性信号特 征矢量维数的优化方法，这种维数

25、优化并不是仅仅在数量上简单的约简，而是在保持原始数据性质 不变的情况下，将高维空间的信号映射到低维空间上，即特征值的二次提取算法的第一步是计算出每个样本点的k个近邻点。把相对于所求样本点距离最近的k个样本点规定为所求样本点的个近邻点。k是一个预先给定值。Sam T.Roweis和Lawrenee K.Saul算法采用的是欧氏距离，则减轻复杂的计算。然而本文是假定高维空间中的数据是非线性分布的，采用了 diijstra 距离。Dijkstra距离是一种测地距离，它能够保持样本点之间的曲面特性，在ISOMAP算法中有广泛的应用。针对样本点多的情况，普通的 dijkstra 算法不能满足LLE算法的

26、要求。LLE算法的第二步是计算出样本点的局部重建权值矩阵。这里定义一个误差函数，如下所示：其中勺心=12必)为兀的k个近邻点，吋 是兀 与汕之间的权值，且要满足条件: 和；二1 。这里求取 w矩阵，需要构造一个局部协方差矩阵 。将上式与相结合，并采用拉格朗日乘子法,即可求出局部最优化重建权值矩阵:77在实际运算中，？可能是一个奇异矩阵，此时必须正则化，如下所示:其中r是正则化参数，I是一个kxk的单位矩阵。LLE算法的最后一步是将所有的样本点映射到低维空间中。映射条件满足如下所示:k3旳工砧凡71/-I其中，呻）为损失函数值，另是兀的输出向量，北）是另 的k个近邻点，且要满足 两个条件，即:其

27、中I是的单位矩阵。这里的汁，：可以存储在I上的稀疏矩阵 W中，当是:的近邻点时,障匕=。则损失函数可重写为:其中M是一个的对称矩阵，其表达式为要使损失函数值达到最小，则取Y为M的最小m个非零特征值所对应的特征向量。在处理过程中, 将M的特征值从小到大排列，第一个特征值几乎接近于零，那么舍去第一个特征值。通常取第科归triifMi19maBI21M1MJ932BI时II IJHIJ1.4UIID昭刃叭F3DJ52O.nwSTfcfirt4.HD1ISM? 砧-i.W“心T2-H.KM7站12.44-tSFMLTZM-OS4UEL 冲 1204.W732 JO-Cl25&4.rae?0.5:11.

28、WA4. mo 77J4awji词.marAt1? WH-4.VFH177Miwn4IW7HZJOXI71 DOi.rajQLF12.44-1.S7MU72rt-0422R斗1利4 W7nj02JO-CL252OElZ冋-t.TMT活挣M-H.PWH沖刼CHM22MiajAUfT吃恥JPW甜5牌0-5l_ 2.&W-1?WTYrAfaLSIHTtj *X77M!呦*Q4垃呷92M靜U9iSTaas-7.44M2L河日3JT5J47-fiTcEn却T2应幵-iiisaoijfrilhi2.B.*II?吐炖 JOr&JSM IkFiUB 0.0!&412 疔1邓也弔w wnpG. *1.14s总7

29、A曾tfiIt1213uIBI10.&M2ItTFifi-11畀昌 5L&b&14UO37Il44fa IJK171IS.ItnUS.KNHIa ep1烁1NMHWT.MHJJWIWTJ!L7IWU4W-l-ijr站册im孔OKUM.5711昇砂$T4,dU&OWJ!5AiiSLtifiiiEM11155$JjSfi-tO2A577-2MI1販4朋上叫HJW15J72畀抚曲TJlbSXiai2h740143电割也4J-IS4I1-1-iar?ass&i4I J.-OHfiAfilM-Z1.1弧MHiIT,SUITho.mb上MMcum里?l42*JIBmioOXkW-12JM4迫W轴!1T.5

30、W皿33沖&0W7.CM1JI阿前4rlW4dJ9l?M沁39押3伽*和抻I2V?阳B蛇-MIK2C5352卿24J21t,mgUNOMMMUt1.H44恤atffcMUJik.iMO _I_ _ *_ _ 1_ -_,_I_ _. _ _ - u 1需要做LLE降维的算法的数据（5500*24矩阵）在做LLE变换的时候当我把数据进行转置并求取LLE降维的时候发现其是一个不可逆的矩阵,会产生奇异矩阵，因此我没有转置。U X J 、虫 Stokil (P Napin hr： dUJL.-J| 4/詐厶11)ds910mnH1HU345“Q34|D轴-12111-QLSSME-ftUU解知Ml 2

31、4-&W2侮丼20733orw20 54.-J59OS时0124403J72-OOI 4i-02077D0U2-2 5M60W703634嗣tUBoer-awflMWCT-BW5&.1K1,73蛙-1.3WS-&S3Dl52M1尅时Mess1LZ7W0476-DL3S73-Dl59ai-2-Z224Daas-DB4X：-$迪对-d.iddeIjWMJ444-DJ4aw址1-fw-oiiirr-DlIIIOa.ftii143435-UhlMWam旳橹wk-U9Mw1JIM4卄tom-AinT-a.74-acm昨TDii曲5704JZ-0.7513aaN5f-ia7-2lDU1HjUQ-f J71

32、Jsrra0.32 2CDLQ014-TA14!1J3273Du5447D吕忙iaa-33-D_3iIC13-ajjjs-D.WOC-Uooa2L2WW-OUU 鹽-nasi-T-13-715OD779-IjCDI&U1B1DGF1-771JM*-0J7-XI191-02219CPE强-D344?QimfEIJWJlUIQCU04JMUIPMF&OM315Q.MJ210Mi細旳恥1 anM7I7-1傑料Ol 冷1J5W0弼站広沁冈打16iBJMWiIjHXM1XXWiamIjDMO10m1OM01KMC1SMC1JW0C16*24矩阵数据。K=8在参数设置中，近邻点个数 k和输出维数d都只作为经验参数，并没有提出很好的理论方法。参数k和d的选取对识别结果会有很大影响，如果k值取值太大，LLE算法不能体现局部线性的d选取太大，数据易受噪特性，如果k值取太小，则不能保持样本点在低维空间的拓扑结构；如果 声影响，如果d选取太小，则不能正确提取样本数据的固有特征。因此在试验中我选取了如图所示的实验值测试03训练勘拥和銅画据S6%LLE隣维S7 -data=tfep:SB -datal-llc (data,乩 3):S9%daialdatal;90 -da