基于说话人聚类的说话人自适应

1、基于说话人聚类的说话人自适应摘要本文提出一种改良的基于模型差异度量的说话人聚类(Speakerlustering)方法，并将该说话人聚类算法结合最大似然线性回归算法(axiuLikelihdLinearRegressin，LLR)构成整体的说话人自适应框架。将该方法应用于以音素为识别基元的汉语连续语音识别系统中，可可以进步系统的识别率，较好的满足快速性和渐进性。实验结果说明，该方法可以在仅有一句自适应数据的情况下，使系统字正识率由40.43%进步到50.86%。关键词说话人聚类；说话人自适应近年来，语音识别1技术已经日趋成熟，尤其对于特定人的语音识别非常准确。大量实验结果说明，在训练数据都很充

2、分而且各方面的条件都一样时，特定人(SpeakerDependent，SD)识别系统的性能通常好于非特定人(SpeakerIndependent，SI)系统。然而，当某个特定人的训练数据受限时，由于缺少可靠估计模型所需要的足够多的数据，SD系统的这种优越性就不能得到保证。说话人自适应就是在一个针对原说话人充分训练的SD系统中，或是一个对许多说话者充分训练的SI系统中参加少量新说话人的训练语音数据，通过一定的算法使新老数据结合，从而使系统的识别率接近于对新说话人经过充分训练的SD系统的程度。基于说话人聚类的说话人自适应是说话人自适应技术的一种2，就是将原有的训练数据按照一定的算法聚类，识别时选取

3、待识别语音所属类别的模板进展匹配，可以扩大适用人群，进步系统性能。2主要自适应算法说话人聚类是直接根据说话人的某种特性或者根据某种度量，将训练集中的说话人根据其语音特性分成假设干个子集，每一个子集内的说话人都具有某种度量意义下的相似性，然后专门为每个子集训练声学模型，从而得到一组离散度和混叠度较小的说话人聚类Speakerlustering,S模型；测试时，先判断待测试的语音属于哪一个说话人子集，然后用这个子集的声学模型来进展测试3。应用较为广泛的是基于说话人特性的和基于模型间隔 的聚类方法：说话人特性包括说话人的性别、年龄、口音等。这种方法利用先验的说话人的特性，在满足模型训练量的条件下，将

4、说话人分到更小的子集合中。一个最常用的例子就是按性别将说话人进展分类。这种方法通常需要先验知识，也就通常离不开人工干预。的说话人聚类方法直接根据不同说话人对应的声学模型间的间隔 来进展聚类。首先根据某种模型间隔 度量方法，建立模型间的间隔 矩阵，然后完成基于间隔 矩阵的聚类，其中的关键是声学模型间间隔 的度量方法。高斯混合模型Gaussianixturedel,G是基于模型间隔 说话人聚类常用的模型，G的概率密度分布函数是由个高斯概率密度函数加权求和而得到的，如式(1)所示：1其中是观测值x在某个G模型下的概率密度函数。x是k维的随机向量，是高斯混元的权值。是第i个单高斯分布概率密度函数，如(

5、2)式：2对高斯混合模型而言，模型间隔 的定义最终可以归入分布间的间隔 衡量。其中常用的有如下几种：欧式间隔 (EulideanDistane)：3马氏间隔 ahalanbisDistane4巴特查里亚间隔 BhattaharyyaDistane5其中，表示两个多维高斯分布，为两个分布的均值向量，表示两个分布的协方差矩阵。最大似然线性回归法(axiuLikelihdLinearRegressin，LLR)是一种基于变换的方法，它采用一组变换描绘从初始模型到说话人自适应(SpeakerAdaptatin，SA)后模型的变换关系，另外LLR还能对不同的信道及附加噪声有一定补偿作用。一般认为不同说话

6、人之间的差异主要表如今均值矢量上，式(6)为均值转换的估计式。6其中是混合成份s的转移矩阵，是自适应后的均值后的均值向量，是混合成分s的扩展均值向量，其定义如下：7可以将一个G的参数看作一组语音特征，考察这组特征在另一个G中的输出概率。用输出概率来衡量两个模型间的间隔 4。其方法如下：把GA的个混元的均值向量当作个观测向量，计算这个观测矢量在GB下的概率。类似地，计算GB的个混元的均值向量在GA下的概率。定义GA和GB的单边加权似然度为：8其中，Ai表示GA第i个混元的权值，Ai表示第i个混元的均值向量，表示GA第i个混元的均值向量在GB下的概率，同理可得GB和GA的单边加权似然度：考虑到对称

7、的因素，本文进一步定义GA和GB的加权穿插似然比为：9选择好聚类测度后，一般采用自底向上的方法对备选说话人G进展聚类,合并的过程为选择间隔 最小的两个进展合并，直到得到需要的类数为止。4实验内容及结果分析4.1实验系统构成实验基于汉语大词汇量连续语音识别系统，在声学层上进展。语音特征参数采用梅尔频标倒谱参数(elfrequenyepstrueffiient，F)，共16维。声学模型建立有调的三元音子模型，识别时测试每句话的汉字识别正确性。实验系统所用到的训练语音库是中科院训练语音库，其中女性说话人有148位，每位100句话；相应的测试语音库分别包含女说话人20位，每个说话人都是20句测试语音。

8、测试语音库都同其对应的训练语音库是环境匹配的，这样可以排除因为环境差异带来的自适应性能提升，更加准确地反映说话人聚类的算法效果。全部实验的自适应训练和测试语音长度约为2到3s，实验以这148位说话人语音训练的SI模型作为基线系统。实验的根本流程为：首先，对训练语音库中的所有说话人训练出一个基于H的SI整体模型，再对库中每位参考说话人进展单个的G模型训练，然后用训练出的所有G模型进展说话人聚类，利用聚类后的语料重新训练每一类的G模型。对这些新说话人的自适应语音数据作相似性判决，从中选出与每个新说话人最为近似的参考类，最后根据这些参考类的语音特征运用一定的自适应算法对SI模型的部分参数进展修正，合

9、成出新说话人的自适应模型。实验流程如图1所示。图1基于差异度量的的说话人自适应SA系统实现流程图4.2实验数据及结果分析表1参考类别数量对识别的影响汉字正识率SI3类5类7类9类SDP140.4350.8652.4356.9846.2458.46P244.4354.8650.2757.4851.1460.87P342.3548.8650.9652.3748.5658.43P446.7850.8653.2956.9951.3659.77P541.2950.8952.7655.9846.7459.23P641.6647.7651.4952.9846.1461.23实验一：对于不同的测试说话人，考察

10、似然判决选出的参考类数量对最后识别结果的影响，P1等分别表示不同的测试说话人，自适应语料都为三句。实验结果如表1所示。从表1中可以看出，随着参考说话人数量的增加，对于不同的测试说话人，其识别性能都有明显进步。但也可以发现，当参考说话人数量超过7类时，其识别性能反而有所下降。其原因是：随着参考类的增加，说话人之间的差异也会明显增加，这种差异有可能抵消根据相似性选择出来的类之间对于特定的测试说话人的近似性。表2新说话人自适应数据量的不同对识别效果的影响汉字正识率3句5句10句P156.9857.4557.64P257.4857.4358.02P352.3753.4453.67P456.9957.5

11、657.74P555.9856.2356.43P652.9853.4353.60实验二：选择的类的数据量的不同对识别效果的影响。参考类固定在7类。从表2中可以看出，随着新说话人自适应语料数量的增加，识别率有一定的上升，但增长不大，其原因可归结为，用于类选择的G模型在充分训练的根底上具有一定的稳健性.本文主要研究了在构建说话人自适应模型的过程中参加基于差异度量的说话人聚类后的识别效果。可以得出以下结论：1G模型虽然具有计算量小，速度快等优点，但它不能准确地描绘说话人语音信号的产生过程，因此在构建SA模型中不能被用于合成新说话人的语音模型，只能在挑选近似说话人时起到充分的作用。2似然判决后选出的参考类的数量对自适应模型的性能有相当的影响：随着这个数量的加大，我们可以看到SA的识别性能在逐渐向SD系统靠拢，这说明在各方面条件一样的情况下，供选择的参考类数量的多少是决定SA系统性能的一个因素，但同时我们也可以看到，并不是说这个数量越大识别性能就越好，因为说话人之间的差异也是