基于语音识别系统性能影响的噪音场景分析

1、基于语音识别系统性能影响的噪音场景分析摘要：噪音场景分析对提高语音识别系统在复杂环境下的鲁棒性具有重要的意义。本文介绍了一种基于语音识别系统性能影响的噪音场景聚类分析方法，是采用数理统计学方法分析噪音场景对于语音识别系统性能的影响效应，依据效应分析来实现对噪音场景的聚类。基于方差分析法的统计模型能够将噪音场景对性能的影响效应分解为训练、测试的单独效应以及二者的交互效应这三个部分并准确地估计这三种效应，进而实现对噪音场景的聚类。最后通过识别实验对聚类合理性进行验证。关键字：语音识别；方差分析；析因设计；噪音聚类。analysis of background noise based on perf

2、ormance influence for speech recognition systemabstract: noise scenes analysis technique plays a very important role for improving the adaptation of speech recognition system in noise background. a new clustering analysis method based on performance influence for speech recognition system has been i

3、ntroduced. by means of statistical analysis methods, it analysis the influence of scene noises on system performance and get the similarity for clustering. a statistical model based on anova was proposed to decompose the effect on system performance into three parts: effect of training data, test da

4、ta and their interaction, and each path is considered dependent on scene noises. finally verify reasonableness of clustering by means of speech recognition experiments.keywords: speech recognition; anova; factorial design; noise clustering.1 引言目前关于提高语音识别系统在真实环境下的鲁棒性问题已经成为了语音识别技术的研究热点123。目前的语音识别系统只能在

5、一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。影响语音识别系统在复杂环境下性能的主要*基金项目：国家“863”计划基金资助项目（2004aa114010）原因有两个：一是背景噪音影响了语音信号的质量；二是训练数据与识别环境不匹配。针对影响系统性能的这两个主要原因，研究者们采取的主要措施一个是研究抗噪算法，另一个就是进行加噪训练。研究抗噪算法是为了消除背景噪音对话音的影响，提高语音信号的质量。加噪训练是为了使训练数据和识别环境更加匹配。由于真实环境里噪音的种类繁多，对每一种噪音都去研究抗噪算法或者用每一种噪音来进行加噪训练都是不合适的。因此我们有必要把各种噪音场景聚成有限的几类

6、，用这几个大类中的典型噪音去代表所有的噪音，从而可以更有针对性地研究抗噪算法，同时也可以更方便地进行加噪训练。所以对噪音场景的分析对于语音识别来说是非常有意义的。通常的音频场景分析大都是采用基于声学特征的分析，需要先对音频进行声学特征的提取，将从不同场景中提取的音频信号特征作为研究对象，通过不同的方法进行音频场景分析。提取的特征通常有短时过零率和能量特征，频域和倒谱域的特征45，以及线性谱频率lsf6等等一些其他特征。目前用的最广泛的特征是梅尔倒谱系数mfcc。本文提出了一种新颖的噪音场景聚类分析方法。区别于其他传统的聚类方法78，它没有声学特征的提取，而是采用是数理统计学方法分析噪音场景对于

7、语音识别系统性能的影响效应，依据效应分析来实现对噪音场景的聚类。该方法对比于其他基于声学特征的聚类方法，是完全从系统性能角度出发，要将复杂繁多的噪音场景归纳为几个典型大类，使得类内场景对系统性能影响不显著，类间场景对系统性能影响显著。而基于声学特征的聚类有可能不能完全反映噪音场景对系统性能的影响，因为可能存在声学特征类似的噪音对系统性能影响显著，而声学特征不同的噪音却对系统性能影响不显著。具体步骤为：1.首先进行语音识别实验，利用htk工具搭建的大词汇连续语音识别系统lvcsr和国家863基础语音库完成加噪训练并测试，得到分析数据；2.然后利用统计学方法和试验优化方法分析实验结果，研究各种噪音

8、场景对语音识别系统性能的影响效应；3.最后根据效应分析结果对噪音场景数据进行聚类分析。该方法的总体流程图如图1所示。另外需要说明的是，本文用的语音识别系统是由剑桥大学开发的htk工具搭建的。 htk是基于hmm的语音识别工具，是目前比较通用和公认的一个工具，大多数的语音识别系统都是在它基础上搭建的。所以利用由它搭建而来的这个基线系统进行我们的研究是比较有代表性和通用性的。聚类有效性验证效应分析噪音聚类n法水平分组系统聚类效应的显著性验证n法水平分组效应估计系统聚类噪音聚类图1 方法总体流程图2 数理统计学方法介绍2.1析因设计首先介绍几个基本概念，将影响语音识别系统性能的语音数据属性称为因素。

9、如噪音场景、信噪比（snr）、说话人性别、说话人口音、语速等。因素的取值或分类称为因素的水平，如“说话人性别”有两个水平：“男”和“女”。析因设计也叫做全因子实验设计，是根据因素的全组合安排试验的试验优化设计方法。析因设计就是实验中所涉及到的全部实验因素的各个水平的全面组合形成不同的实验条件，在每个实验条件下进行两次或两次以上的独立重复实验。析因设计的最大优点是所获得的信息量很多,可以准确地估计各实验因素的主效应的大小,还可估计因素之间各级交互作用效应的大小。本文采用析因设计方法来安排语音识别实验。2.2方差分析方差分析（analysis of variance,简称anova）又称变异数分析

10、或f检验，其目的是推断两组或多组资料的总体均数是否相同，检验两个或多个样本均数的差异是否有统计学意义，是进行假设检验的一种很有效的方法。方差分析在一个或多个因素的不同水平或水平组合下测量一个定量反应变量，将对这个反应变量的总效应分解为由各因素引起的效应或因素的组合产生的交互效应以及随机误差效应；同时将总自由度分解为对应各部分自由度之和。例如在单因素方差分析中，统计量为f值，在一定的显著水平下如果f值大于f界值，说明该因素有统计学意义，即由它引起的效应是显著的，这就是方差分析的基本思想。方差分析的基本应用条件是各样本是相互独立的，各样本数据必须满足正态性和方差齐性。双因素方差分析的模型可以由如下

11、公式描述： （1）表示第一个因素的第个水平，表示第二个因素的第个水平，表示第k次实验当第一个因素取水平，第二个因素取水平时的性能指标值。表示第一个因素取水平时对性能指标的效应。表示第二个因素取水平对性能指标的效应。表示两个因素间交互作用的效应。表示第k次实验的随机实验误差。噪音场景对于系统性能的影响主要表现在训练数据、测试数据和两者交互作用（一致性）三个部分的效应。本文中将训练当成第一个因素，测试当成第二个因素，应用方差分析模型进行如下假设检验考察三者的效应。对场景因素，检验：对信噪比因素，检验：对交互作用，检验：方差分析采用分离偏差平方和以及自由度的方法，采用f分布检验以上几个原假设是否成立

12、。本文主要运用方差分析法对噪音场景进行效应分析。3 效应分析基于识别系统性能影响的噪音场景聚类分析方法，其原理是依据噪音场景对系统性能的影响效应来对噪音场景进行聚类分析。在语音识别训练和测试数据上的分别加上不同的背景噪音形成不同的训练集和测试集，然后进行语音识别实验，得到的系统性能会有差异。这种差异主要是由于训练和测试数据不同造成的，本质上是由于所加的背景噪音不同造成的。我们运用统计学方法分析噪音场景对系统性能的影响效应。 首先要验证效应的显著性，即验证由于噪音场景不同造成的系统性能的差异是显著的，训练和测试都存在影响系统性能的效应并且这两种效应都是显著的。并且通过分析我们会发现：噪音场景因素

13、对性能的影响作用不仅表现在训练和测试的效应上，还表现在训练和测试的一致性对性能的影响，即训练和测试还存在交互作用，交互效应同样也是显著的。其次作效应估计判别出效应的强弱。为了分析不同噪音间的训练、测试的效应以及训练与测试的交互效应，我们需要进行语音识别实验，通过给原始无噪数据加上各种不同的噪音形成不同的训练集和测试集，产生实验结果来研究由于噪音数据的不同导致的训练和测试的不同对于系统性能的影响效应。语音识别工具是利用剑桥大学开发的htk开源工具搭建的大词汇连续语音识别系统lvcsr；声学模型采用三音子的隐马尔可夫模型，声学特征采用mfcc特征。语言模型采用二元语法。由于我们要考察的是噪音场景对

14、于系统性能的影响，所以系统没有采取如语音增强等噪音鲁棒技术，可以排除其他可能会对性能造成影响的因素。原始无噪音训练数据是863基础语音库，原始无噪音测试数据是来自于北方音库，都是标准普通话发音。具体信息如表1所示。语音数据按16khz采样频率数字化，各个采样点用16位进行量化，都是pcm wav编码格式。表1. 原始无噪音训练和测试数据集说话人个数总时长单句个数男女训练集100100100小时71639测试集10101小时1200噪音数据：文章采集的噪音场景数据包括室内、室外及交通工具各种场景，都是现场录音。录入设备采用ibm笔记本电脑外加sound blaster audigy 2 zs专业

15、声卡，录入软件采用cool edit pro 2.0，按16khz采样频率数字化，各个采样点用16位进行量化，存储到计算机中。3.1 四种典型噪音场景的效应分析首先验证效应的显著性。运用析因设计方法安排语音识别实验，选择四种人耳感觉有明显差异的噪音场景数据作为训练和测试的四个水平（factory、restaurant、taxi、white）。把四个噪音数据按相同的信噪比（10db）线性叠加到原始无噪训练集和测试集，得到四个训练集和四个测试集。采用lvcsr系统，分别用四个训练集训练，得到四个识别系统，再用四个测试集对这四个识别系统分别进行测试，得到16组识别结果。每个测试集按不同说话人分成20

16、个子集，作为20次重复试验统计字错误率。然后采用直观分析法以及假设检验法对识别结果进行分析。图2列出的是4种训练与测试集两两交叉实验统计出的总字错误率。图2. 四种典型噪音场景的语音识别实验测试结果直观分析法：作图，对测试的每一个水平分别作训练因素和指标的关系图，如图3所示。从图中可看出，四条折线不平行有交叉，说明训练和测试有交互作用；并且每一条同色折线都与其他三条不同色折线有交点，说明训练和测试对于任意两种噪音之间都存在交互作用；并且每条折线的最低处总是在训练与测试水平一致的时候，说明这种交互作用表现在当训练和测试数据一致的时候，性能要好。图3四场景的训练和测试两因素的关系图假设检验法：利用

17、sas统计软件9对16组测试结果（每组统计20个字错误率）进行假设检验，结果如图4所示，三个因素的pr值都小于显著性水平0.05，在统计学上通常认为当pr=20）个不同的噪音数据文件分别对原始无噪训练数据和原始无噪测试数据作线性叠加。信噪比为10db，形成n个不同训练集和测试集。对训练和测试两因素作析因设计，不同的场景类型看作训练和测试的不同水平，训练和测试都有n个水平，因而要用lvcsr系统作nn的实验，并分别根据不同说话人统计字错误率。按表2方案选取实验得到的数据，两两考察噪音场景之间的训练效应，取两个不同的训练场景，作为因素一来考察，它有两水平（训练场景a和训练场景b），另一个因素是测试

18、因素（它有n个水平，对应n种不同测试场景）。双因素方差分析法考察训练因素的显著性作用。测试训练表2. 双因素方差分析示例场景1场景2场景3场景n场景adataa1dataa2dataa3dataan场景bdatab1datab2datab3databndataij (i=a,b; j=1,2n)是用trai数据训练tesj数据测试的在20个不同说话人情况下的20个分错误率，作为重复试验结果。运用matlab或sas对数据进行双因素方差分析，可以得出训练场景两两之间的对系统性能的影响效应有些是显著性的，有些是不显著的。比如工厂和出租车内两种噪音场景对系统性能的影响是显著的，如表3所示，训练因素(

19、rows)的pr值为0.0006 显著性水平0.05。我们用估计出的各训练场景之间的非显著性概率pr值作为不同场景两两之间的相似度。不同噪音场景两两之间的相似度越大，说明两种噪音对系统性能的显著性影响越小，从而两个场景聚为同一类的可能性就越大。最后用系统聚类法可对不同场景进行聚类。表3 matlab双因素方差分析表（工厂和出租车）sourcefprobfcolumns7.6560rows11.9270.000587interaction10.39270表4 matlab双因素方差分析表（超市和食堂）sourcefprobfcolumns10.82950rows0.0764880.7822int

20、eraction0.0977414 基于训练效应的聚类基于训练效应的噪音场景聚类就是对依据噪音场景的训练效应对噪音场景进行聚类。我们用了单因素方差分析和双因素方差分析两种方式进行训练效应分析，进而分别运用n法和系统聚类法进行聚类。4.1 聚类方法（1）n法（水平分组）适用于单因素方差分析，其思想是首先将各水平均值按大小次序排列，计算相邻两水平均值之差；其次根据公式2计算t检验中的判别尺度，并与每个均值差进行比较，凡比大的地方就划分为不同的两个组；最后判断在组内离组内均值距离最远的那个水平均值是否该留在组内，如果留在组内，这组似乎不需要再分；如果最远的均值不能留在组内，将它从该组剔出，对剩下的均

21、值继续进行考察，直至没有一个均值能剔出为止。判断能否剔除的统计量为，如公式3所示。近于正态分布，用正态表的临界值来进行判断，如果就将该组中与总均值离的最远的那个均值剔出这个组。 （2） （3）表示同一水平试验的重复数；表示试验误差的均方；表示试验误差的自由度；是显著性水平通常取0.05；是查t表上的值。表示该组的水平个数；表示该组个均值与总平均之差最大者。（2）系统聚类依据双因素方差分析对训练效应的估计值（相似度），采用自底向上的系统聚类方法对数据进行聚类，合并的过程为选择相似度最大的两类进行合并，直到任意类之间的相似度小于我们给定的显著性水平为止。这个显著性水平通常取0.01，这样做可以降低

22、犯第一类错误的概率11。4.2 聚类结果表5. 聚类结果及各种不同场景训练下相同测试集识别下得到的识别正确率对照表n法聚类结果加噪训练的噪音场景系统聚类结果加噪训练的噪音场景识别正确率类别1白噪声类别1白噪声7.26%类别2飞机场飞机场12.69%类别3工厂类别2工厂21.93%不加噪训练不加噪训练22.70%办公室办公室23.27%类别4商场类别3商场28.82%羽毛球场羽毛球场29.40%人群人群29.93%教室教室29.95%超市超市30.64%食堂食堂31.03%庭院庭院31.07%餐厅餐厅31.73%类别5大街上类别4大街上33.34%汽车内汽车内34.05%出租车内出租车内34.7

23、9%十字路口篮球场35.28%篮球场十字路口35.92%公交车站公交车站36.32%公交车内公交车内36.94%5 聚类合理性验证从表6聚类结果与识别正确率的对照表中可以直观看出类内性能差别不大，而类间性能差别较大。现通过识别实验对噪音场景聚类结果合理性进行客观验证。从各类中随机抽选1种场景，每种场景按固定比例对原始训练数据进行叠加，形成一个训练集。重复四次得到四个训练集，分别进行语音识别训练，得到四个训练模型，再用同一个测试集（包含各种不同噪音场景）进行测试。测试结果如表6所示。运用方差分析法对测试结果进行假设检验，分析结果如表7所示。得到四个模型之间的非显著性概率pr=0.814420.0

24、5，即四个模型的系统性能是不显著的。从而验证了类内场景对于系统性能的影响是不显著的。由于不同类间的任意两个场景对于系统性能的影响都是显著的（对应pr值都小于0.05），从而也验证了类间场景对于系统性能的影响是显著的。通过实验，本文对于噪音场景的聚类分析方法的合理性和有效性得到了验证。表6 测试结果训练模型字错误率1:factorytaxirestaurantwhite60.08%2:factorybuseaterycockpit61.35%3:officevehicleyardwhite62.29%4:officetaxisupermarketcockpit60.81%表7 matlab单因素

25、方差分析表sourcessdfmsfprobfcolumns0.005656630.00188550.315090.81442error0.45479760.0059841total0.46045796 总结本文是基于噪音场景对于语音识别系统性能的影响，实现对于噪音场景的聚类分析。本文对基于语音识别系统性能影响的噪音场景分析方法进行了比较全面的介绍，包括如何运用数理统计学方法对噪音场景进行效应分析以及依据效应分析实现聚类。该方法对比于其他基于声学特征的聚类方法，是完全从系统性能角度出发，将复杂繁多的噪音场景归纳为几个典型大类，使得类内噪音场景对系统性能影响不显著，类间噪音场景对系统性能影响显著

26、。而基于声学特征的聚类有可能不能完全反映噪音场景对系统性能的影响，并且基于声学特征的聚类分析方法会根据选取不同的声学特征而得到不同的聚类结果。基于本文的方法可以得到唯一的聚类结果。该方法同样还可以用于分析其他影响系统性能的因素，如信噪比、口音等等。参考文献1 刘加. 汉语大词汇量连续语音识别系统的研究进展j. 电子学报, 2000,28(1):85-91.2 俞铁城. 语音识别的发展现状j. 通讯世界, 2006(2):56.3 杨大利, 徐明星, 吴文虎. 噪音环境下的语音识别研究j. 计算机工程与应用, 2003,39(20):1-4.4 魏宇虹, 韩纪庆, 张磊. 一种基于hmm模型的音频场景分析技术j. 计算机工程与应用, 2003,39(20):85-86,191.5 韩纪庆, 徐希利. 一种基于矢量量化的音频场景分析方法j. 电声技术, 2002(3):8-10.6 k. el-maleh, a. samouelian and p. kabal, frame level noise classification in mobile environmentsc. proceeding