语音信号处理 第4版 第8章 说话人识别 思考题答案

第8章说话人识别思考题答案自动说话人识别的目的是什么？它主要可分为哪两类？说话人识别和语音识别的区别在什么地方？在实现方法和使用的特征参数上和语音识别有什么相同点和不同点？目的：从说话人的一段语音中提取出说话人的个性特征，通过对这些个人特征的分析和识别，从而达到对说话人进行辨认或者确认的目的。两类任务：自动说话人确认（AutomaticSpeakerVerification,ASV）和自动说话人辨认（AutomaticSpeakerIdentification,ASI）。区别：和语音识别的区别在于，它不注重包含在语音信号中的文字符号以及语义内容信息，而是着眼于包含在语音信号中的个人特征。实现方法和特征参数的异同点：说话人识别方法的基本原理与语音识别相同，也是根据从语音中提取的不同特征，通过判断逻辑来判定该语句的归属类别。但它也具有其特点，例如，（1）语音按说话人划分，因而特征空间的界限也应按说话人划分；（2）应选用对说话人区分度大，而对语音内容不敏感的特征参量；（3）由于说话人识别的目的是识别出说话人而不是所发的语音内容，故采取的方法也有所不同，包括用以比较的帧和帧长的选定、识别逻辑的制定等。2、什么叫说话人辨认？什么叫说话人确认？两者有何异同之处？说话人辨认：系统需要辨认出识别语音是来自待考察的N个人中的哪一个。说话人确认：系统确认是否为一个人的身份。异：说话人确认只涉及一个特定的参考模型和待识别模式之间的比较，系统只做出“是”或“不是”的二元判决；说话人辨认则要对N个人的信息进行匹配，有时还要对这Ｎ个人以外的语音做出拒绝的判别。同：本质上都是根据说话人所说的测试语句或关键词，从中提取与说话人本人特征有关的信息，再与存储的参考模型比较，做出正确的判断。3、在说话人识别中，应选择哪些可以表征个人特征的识别参数？汉语语音的说话人识别应该注意些什么问题？应该如何使用超音段信息？应该如何使用混合特征参数？常用于说话人识别的特征参数：语音短时能量、基音周期（现已证实基音周期及其派生参数携带有较多的个人信息）、语音短时谱或BPFG特征（包括14~16个BPF）、线性预测系数LPC、共振峰频率及带宽、LPC倒谱等，以及反映这些特征动态变化的线性回归系数等，其他的特征参数还包括鼻音联合特征、谱相关特征、相对发音速率特征、基音轮廓特征等，另外，也可以对这些特征进行变换加工，如K－L变换等，而得到加工后的二次特征。汉语语音的说话人识别应该注意声调对特征参数选取的影响与方言口音差异对识别准确率的影响。超音段信息可以用于预分类技术中加快系统响应的时间。使用混合特征参数时要保证组成矢量的各参量之间的相关性不大，这样才能够反映语音信号中不同的特征效果，如将“动态”参量（对数面积比与基频随时间的变化）与“统计”分量（由长时间平均谱导出）相结合，还有将逆滤波器谱与带通滤波器谱结合，或者将线性预测参数与基音轮廓结合等参量组合方法。4、怎样评价说话人识别特征参数选取的好坏？什么是F比有效性准则？F比的概念是怎样推广到多个特征参量构成的多维特征矢量的？评价特征参数选取是否有效：同一说话人的不同的语音会在参数空间映射出不同的点，若对同一说话人这些点分布比较集中，而对不同说话人的分布相距较远，则选取的参数就是有效的。F比有效性准则：通过选取上述两种分布的方差之比（F比）来作为有效性准则，具体就是不同说话人的特征参数均值的方差与同一说话人特征方差的均值之比。F比推广到多维特征矢量：通过定义说话人内特征矢量的协方差矩阵W和说话人间特征矢量的协方差矩阵B来得到D比，实现多维特征矢量有效性评价。5、请说明基于GMM的说话人识别系统的工作原理？你从文献上看到过有关GMM模型训练的改进方法吗？请介绍其中一种较好的方法。当训练语料不足时，计算协方差矩阵时应注意什么问题？工作原理：将每个人的语音建模为一个GMM来进行表征，训练GMM的过程通常使用期望最大化（EM）算法，通过以似然度为目标进行迭代优化来估计模型参数λ，在说话人辨认时，将说话人的输入语音与语音库中的模型进行匹配，使得待识别语音特征矢量组具有最大后验概率，即可找到对应的说话人。改进方法：自行调研。训练语料不足时应注意的问题：训练语料不足时，GMM模型的协方差矩阵的一些分量可能会很小，这些很小的值对模型参数的似然度函数影响很大，严重影响系统的性能。该问题可以在EM算法的迭代计算中，对协方差的值设置一个门限值，在训练过程中令协方差的值不小于设定的门限值，否则用设置的门限值代替。门限值设置可通过观察协方差矩阵来定。6、怎样解决由时间变化引起的说话人特征的变化？模型训练时应怎样考虑说话人特征随时间的变化？什么叫模型自适应？应该用什么方法来达到这些目的？解决办法1：在训练时所取得语音样本来自不同的时间，比如相隔几天或几周，但这样会加长训练时间而且很难要求用户这样安排。解决方法2：模型自适应，指使系统根据输入数据的变化对自身参数或结构进行一定的调整。因此可以在使用过程中不断更新参考模型，比如说，在每次成功地识别以后，即把当时说话人的语音提取得到的特征按一定比例加入到原来的参考模板中去，以保证对使用者说话状态的跟踪。7、在说话人识别系统中，判别方法和判别阈值应该如何选择？是否应该根据文本内容以及发音时间的差别动态地改变？怎么改变？判别方法：多门限判决（说话人确认）和预分类技术（说话人辨认）判别阈值：一般由FR和FA的相等点附近来确定。说话人确认是一个二值问题，只需判定是否是由申请者所讲即可，而在经典的解决方案中，判定是由对申请者模型的语句得分与某一事先确定的门限比较而得到的。这种方案的问题是得分的绝对值并不只是由使用模型决定的，而且还与文本内容以及发音时间的差别有关，所以不能采用静态的门限。因此判别阈值应该要根据文本内容以及发音时间的差别动态地改变。可以利用HMM输出概率值归一化方法来实现。8、哪些是说话人识别中尚需进一步探索的研究课题？你在学习了有关参考文献后，能否考虑出一个说话人识别的改进方案？基础性课题：（1）关于语音中语义内容和说话人个性的分离，系统地全面地进行研究的人还很少。（2）究竟什么特征参数对说话人识别最有效？如何有效地利用非声道特征？（3）说话人特征的变化和样本选择问题。（4）用听觉和视觉的说话人识别研究是用计算机进行说话人识别的基础，例如什么样的特征对说话人识别有效，语音的持续时间和内容与识别率的关系等。实用性课题：（1）说话人识别系统设计的合理化及优化问题。（2）如何处理长时和短时说话人的语音波动？如何区别有意模仿的声音？（3）说话人识别系统的性能评价问题。（4）可靠性和经济性的相关问题。9、在基于深度学习说话人识别中，原始语音信号经过预处理后转换成了什么参数？是如何输入深度神经网络的？经过预处理后的参数又是如何能代表原始语音信号信息的？原始语音信号经过预处理后可以转换成语谱图。可以将原始语音信号输入深度神经网络，也可以将初步提取出的特征输入深度神经网络。语谱图输入深度神经网络进行特征提取，然后通过句子归一化层、仿射层以及长度标准化层，将特征映射成原始语音信号的嵌入表征。10、在基于深度学习的说话人识别模型中，什么是三元组损失？可以分为哪几类？三元组损失中的anchor和positive为同类的不同样本，anchor与negative为