【毕业学位论文】嵌入式文本相关说话人识别研究-计算机科学与技术系

摘 要 I 摘 要 本论文在文本相关的说话人 识别 方面开展研究，包括嵌入式平台上的文本相关的说话人 确认 系统 （ 的研发 ，以及对文本相关说话人识别噪音鲁棒性的初探 。 用于嵌入式平台的最大障碍是其运行速度太慢，这是由嵌入式设备有限的计算存储资源所决定的 。 为了在嵌入式平台上实现一个实时的文本相关的说话人 确认 系统，本文提出了一个快速算法。通过借鉴语音识别中的非线性分段 （ 方法， 新的系统在段的层面上进行训练和识别，这比基线系统中逐帧计算的处理方式更加快捷，从而达到了 压缩处理信息量 、提升程 序运行速度的效果。然而，基于距离累积的分段规则 对语音中的微小干扰鲁棒性很差，从而导致了系统识别性能的下降。为此，改进的 法采用了新的基于 马氏 距离的分段规则，新的规则 对语音中的微小干扰更加鲁棒，也 使得 分段结果更加稳定。实验证明，改进后的系统 在训练 速度上 比基线系统快了 在识别速度上快了 在识别性能上， 改进后的系统 比基线系统 的 下降了 语音端点检测（ 含噪情况下的 别性能有较大影响， 鉴于此， 本文 首先从 关技术 展开 音鲁棒性 的 研究。 为 了区分不同语音中所含噪音的不一致性，本文提出了基于统计的自动噪音能量估计；为了将湮没于背景噪音中的低音量辅音音节检测出来，本文提出利用过零率对帧能量进行修正的技术。这两个方法的特点是无需任何先验知识，且对每一个具体文件进行区分对待，使处理过程更加符合当前输入语音的实际情况。在 噪短语数据库上的实验证明，改进后的 法使 降到约 关键词： 文本相关 说话人识别 ；嵌入式平台；噪音鲁棒；语音端点检测 I on on of on of to on is is is by on In to a on a is in By in of in of of to a to of is to in a of To an LP in is is is to in a on of in in ER be AD in AD as of To of on is in of in to II in no of of s AD ER to 录 录 第 1 章 绪 论 .本相关的说话人识别的概念 . 说话人识别的概念 . 文本相关的说话人识别的概念 . 究现状介绍 .入式平台上的 . 用于嵌入式平台的意义 . 用于嵌入式平台的难点 . 用于嵌入式平台的现状 .究思路和文章结构 . 研究思路 . 本文结构 . 2 章 嵌入式平台文本相关说话人识别的快速算法研究 .言 .于动态时间弯折的 . 本思想 . 基于 统（ 统） . 10 别性能和时间复杂度分析 . 11 于非线性分段思想的 . 11 想和概念 . 12 于 统（ 统） . 12 别性能和时间复杂度分析 . 13 进的非线性分段的 统 . 15 进的 法 . 17 于 统（ 统） . 19 别性能和时间复杂度分析 . 19 目 录 V 验和结论 . 20 验数据和参数设定 . 20 别性能及分析 . 21 间开销及分析 . 21 论 . 23 章小结 . 23 第 3 章 文本相关说话人识别噪音鲁棒性的研究 . 25 言 . 25 音对 影响 . 25 据库和实验设置 . 26 验结果和结论 . 26 统抗噪方法的初步研究 . 27 究现状 . 27 于统计的自动噪音能量估计 . 29 用过零率修正帧能量 . 30 验和结论 . 33 验数 据和参数设置 . 33 验结果 . 34 论 . 35 章小结 . 35 第 4 章 结束语 . 37 究总结 . 37 一步工作展望 . 38 参考文献 . 40 致 谢 . 43 个人简历、在学期间发表的学术论文与研究成果 . 44 第 1 章 绪论 1 第 1章 绪 论 文本相关的说话人识别的概念 众所周知，语言是人类独有的 功能；在人类众多的交流沟通方式中，语言毫无疑问是最自然、最直接、最有效的。 语言是人区别于其他动物的一大特征，也是促进人类社会形成的基础。没有语言，信息交流就缺乏有效手段；缺乏信息交流，人类社会的形成和发展也就无从谈起。 显然，在日常生活中，人们都习惯于用语言作为最自然和平常的手段 与人交流。因此，当人类步入信息社会， 需要不断地和各式各样的机器进行交互的时候，人们无不梦想着有一天，机器也能听懂自己的语言，人和机器也能很自然地使用语言进行交流。 实际上，为了实现这个夙愿，全球各地的科学家们一直都在努力。 作为机器理解和识别人类语言的一个 部分 ，对说话人自身身份进行 正确的 识别和辨认，一直都是广大研究者所关心和期望的的。 说话人识别的概念 近几十年来，通过提取人的生物特征来进行身份识别的技术不断涌现，并取得了长足发展。这些生物特征能体现特定人物区别于他人的特点，且不容易被仿冒，可靠性高，应用也逐渐广泛。 比较典型的如指纹识别、掌纹识别、人脸识别、虹膜识别等。 说话人识别技术也是其中一种，该技术的特点是其特征提取对象为人的语音信号 。 鉴于语音信号获取的低成本和方便性，它 比起其他生物特征更具有独特优势。 说话人识别（ 也称声纹识别（ 是指利用说话人语音中的能反映其独有的生理和行为特征的参数，来进行身份认定的一种技术。说话人识别所依赖的基本前提是：每个说话人，其声音中包含有区别于其他说话人的特有的语音参数；且对其自身来说，这个参数 的变化具有可以掌握的规律性。 在技术上， 说话人识别 的过程主要包括训练和识别两个部分。所谓训练过程，是指说话人识别系统根据输入的语音，通过一系列的处理和计算，获得相应说第 1 章 绪论 2 话人的模型的过程。 说 话人模型与特定说话人一一对应， 能代表 相应的说话人。识别过程，是指说话人识别系统根据输入的语音，通过一系列的处理和计算，判断该语音是否对应为某个特定说话人。图 示的是一个典型的说话人识别系统。 识 别 过 程训 练 过 程识 别结 果特 征序 列特 征序 列前 端 处 理语 音获 取特 征提 取训 练前 端 处 理语 音获 取特 征提 取识 别模 型图 个典型的 说话人识别 系统 示意图 依据不同准则，说话人识别可以分为不同的种类：（ 1）根据识别语音的内容，可以分为文本无关的说话人识别和文本相关的说话人识别；（ 2）根据实际应用的范围，可以分为说话人确认 （ 和说话人辨认 （ ；（ 3）根据测试说话人身份的异同，可以分为开集 （ 的说话人识别和闭集 （ 的说话人识别；等等。 文本相关的说话人识别的概念 根据识别语音的内容，说话人识别可以分为两类：（ 1） 文本无关的说话人识别（ ；（ 2） 文本相关的说话人识别（ 。 这里以说话人确认为例 ， 来说明这两类技术的异同。 第 1 章 绪论 3 所谓说话人确认，指的是系 统根据一段语音输入，进行一系列处理和计算后，来判定该语音是否与某个特定模型相吻合，进而判定其是否属于某个特定的说话人的发音。 简单的说，确认系统是一个输出为“ 接受 ”或“ 拒绝 ”的系统。 对 说，在训练阶段，说话人可以对任意文本进行发音并建模；识别时，只 要是其自身在发音，而无需考虑发音内容的异同，系统也会确认为“接受”。 只有不同说话人的语音输入，才会被判定为“拒绝”。 而对 统来说，在训练阶段， 说话人需要对特定文本进行发音并建模；在识别阶段，只有当说话人自身相同，并且发音内容也相同时，系统才会确认为 “ 接受 ” ，否则就被判为“拒绝” 。 图 示了 区别。 识 别 过 程训 练 过 程说 话 人的 模 型声 纹 识 别声 纹 识 别声 纹 确 认声 纹 识 别声 纹 确 认T I S S S V T I S S S V T D S S 说话人确认为例，说明 (识别结果用实线表示“接受”，虚线表示“拒绝” ) 对比这两类技术， 对简单可靠，识别性能往往也更好；但 用户更友好更方便，灵活性比 好。 在实际应用中， 统在真实情第 1 章 绪论 4 况下的识别性能往往 还 达不到应用要求，而 统在这方面表现相对要好，故其应用也更广泛。 基于这个原因，本研究主要定位为文本相关的 说话人确认（ 的 研究。 究现状介绍 文本相关的说话人识别的研究， 一直是说话人识别研究中的重要组成部分，同时也是取得相对理想的研究成果的一个部分。 研究重点主要集中于特征层面、建模方式等方面。 在 特征层面 ，几乎所有应用于 这些特征主要包括 ： （ 1） 短时频谱特征，如 1，线性预测 倒谱 系数（ 2， 线谱频率（ 3，感知线性预测系数（ 4。 管存在各种各样的可选特征，然而 色 的 5, 6。 （ 2） 声源特征，主要刻画了 发音时的声门激励，如其脉冲波形以及基准频率 等 。 7, 8 （ 3） 高层特征：如韵律特征 9, 10。 与上述特征不同的是，鉴于 文本相关性，有一些反映文本内容特点的参数也能用作于 特征 。如从频谱图上提取特征 ，直接根据频谱图的特点来进行识别 （类似于指纹识别）。 11提出了一个包含了 文本在时间上变化规律的特征，取得了较好的识别效果。 有多种 建模方式 。比较常用的包括： （ 1） 模板匹配法（ 。典型代表如动态时间弯折（ 12, 13，该方法的一个特点是，其模板由提取于语音中的一个特征序列构成。 另 外还有 最小近邻法（ 14，矢量量化（ 15等。 第 1 章 绪论 5 （ 2） 人工神经网络（ 16, 17。具体模型可能有多种形式，如多层感知（ 但其运算一般较为复杂， 时间 开销很大。 （ 3） 统计概率模型。典型的如隐马尔科夫模型（ 18， 够很好的蕴含特征在时间上的发展以及统计上的变化，反映了 说话人发音时的统计特征。 般可以分为 多 个状态。 在说话人识别中广泛应用的高斯混合模型（ 19, 20是 单状态形式。 （ 4） 支持向量机（ 21。 近几年兴起的一类应用广泛的特征，常与 统结合使用。 在本文的研究中，使用的特征为 16 维的 其一阶差分 ，建模方式主要是模板匹配 （ 和 用于性能评价的指标主要是等错误率（ ， 其描述的是错误 接受 （ 错误拒绝（ 均衡 时的情况。 所谓错误接受，是指不同说话人或者（且）不同内容的语音在确认系统中被判定为“接受”的情况；错误拒绝则指的是相同说话人的相同内容的语音在确认系统中被判定为“拒绝”的情况。 低，表示系统的识别性能越高。但是在实际情况中，不仅要考察 需要具体考虑 情况。这是因为在实际应用时， 往是比加难以忍受的情况。因此在确定阈值时，往往其对应的不是 是 偏低的状态。 以（ 对 生成 的 曲线 图称为 曲线 图。 对于 简单，现已取得的效果也较后者好。其识别性能 在特定情况下能做到很好。如在干净语音条件下， 10 个数字上的 达到 5%到 1%，而在某些特定数据上甚至能 达到 1%到 22。 在实际应用中， 基于 一些软件工具已经商业化。如科大讯飞 的产品 支持 能 23。 第 1 章 绪论 6 嵌入式平台上的 用于嵌入式平台的意义 如前文 所述，得益于其良好的识别性能和相对简单的系统结构， 说话人识别中最接近于实际应用的技术。随着科技和生活的不断发展，移动信息时代、嵌入式时代来临，智能设备逐渐终端化、小型化、移动化。 人类 越来越多的需要和这类 机器进行交互，而交互的方式虽然多样，但使用自然语言显然是最方便的。 在这个背景下， 统 从普通 台走向 智能 手机、 嵌入式平台，也是大势所趋了。 用于嵌入式平台有以下重要意义： （ 1） 嵌入式平台是 广泛发挥作用的平台。如 为一种 加 密工具， 使用声音作为密码，既简单方便又 安全可靠，在很多袖珍平台上都有实用价值。 （ 2） 新平台又将反过来促进 术的发展。与普通 台相比，嵌入式平台具有其独特的特点，对 术 提出了新的要求。 须适应这些新的特点才能在嵌入式平台上变成实用技术。 总之， 用于嵌入式平台能更进一步促进其实用化，而嵌入式平台也需要如 样方便使用、功能多样而又安全可靠的技术。 用于嵌入式平台的难点 然而在嵌入式平台上实现 统，并不是简单把软件从 台往嵌入式平台上进行移植就能宣告大功告成的。移植后我们发现，原本在 台上能够实时处理的系统，在嵌入式平台上运行很慢，用户体验很糟糕。 原因在于嵌入式平台所具有的运算资源远远比不上普通的 器。从便携性方面考虑，嵌入式平 台的尺寸往往很小，这直接决定了其无法装备大容量的存储设备 ；从能耗上考虑，一个尺寸很小 且 往往是人们 随 身携带的 终端（如手机）是无法容忍过高的发热的，这也就限定了高频运算器的使用。 事实上， 绝大部分嵌入式平台都不具备浮点运算器，而 现过程中 却 包含了大量的复杂的浮点运算。 以一个典型的嵌入式设备为例， 800 的主要参数 24包括： 主频为201 储设备为 128M 的 64M 的 有定点运算第 1 章 绪论 7 器，没有浮点运算器。 从这些可以看到，嵌入式平台的存储运算资源显然是无法和 器相提并论的。 因此，嵌入式设备有限的运算存储资源和 大而复杂的运算处理之间的矛盾，是 当前 用于嵌入式平台的主要难点。 用于嵌入式平台的现状 将 语音 识别系统移植到嵌入式设备的研究已经有很长的历史了，一些典型的方法如代码优化、浮点定点转换、运算值域估计等都得到了广泛应用 25。此外一些研究也集中于带有浮点运算器的 的说话人识别系 统开发 26, 27。然而探讨将 用于嵌入式设备（如 能手机等）的研究并不多。 25等通过数值范围预测、定点化运算以及相关运算函数的优化等技术，在移动嵌入式设备上有效提升了 运算速度。在训练语音长度为 2到 3 秒、训练 4 遍的情况下，对一个同等长度的语音的平均识别时间约为 是其识别性能稍差， 达到了约 9%。 国内浙江大学一系统 28通过运用定点化运算以及主成分分类等技术，在台上开发了 统。在训练语音长度为 6 秒、训练 10 遍的情况下，获得了平均识别时间为 2 秒的处理速度。识别正确率达到了约 95%。 总得说来，目前对于嵌入式平台上的 关研究较少，且其研究重点也大多集中于运算的优化，如复杂运算函数的变形、定点化运算等，而鲜有算法层面上的相关研究。 研究思路和文章结构 研究思路 为了使 统得以在嵌入式平台上应用，首先需要解决的是程序的运行速度问题。在提升速度层面， 可以从以下两个方面来 考虑：一是 从嵌入式运行平台的具体情况入手，对程序中用到的复杂运算进行优化，降低单次运算的时间开销；二是优化程序算法结构，从根本上减少运算量来达到速度 提升的效果。对于第一个方面， 本人本科毕业设计时已经进行了相关工作，主要是定点运算的实现。在之前的基础上， 本文主要 从 算法层面上 进行相关探索和改进 。 第 1 章 绪论 8 值得注意的是，单纯的对运算过程进行 优化 往往意味着 实现的 简单化和粗糙化，必将对运算的精度带来损失，因而可能 会对系统性能产生不利影响；而算法层面的改进，则有可能在加快运算速度的同时，也达到提升性能的效果。 因此，对于性能方面， 本研究的目标是 ： 在不降低系统性能的基础上，减小 一个真正实用的 统是要在噪音环境下能够有良好性能表现的。 要获得噪音鲁棒的 统，首先需要去除输入语音中包含的噪音，或者识别出输入语音中包含的有效语音。本研究主要从有效语音检测层面，初步探讨统的噪音鲁棒性。 本文结构 本文第一章为绪论，主要介绍 研究的背景、意义，相关概念以及研究现状。第二章主要探讨了嵌入式平台上 快速算法实现，通过借鉴语音识别中的非线性分段算法，从 加快 速度开始，针对其 在分段合理性方面的缺陷，提出了改进的分段依据，从而同时提升了识别性能。 在 第三章 中，将对 噪音鲁棒性问题进行初步研究和探讨。最后是总结和展望。第 2 章 嵌入式平台文本相关说话人识别的快速算法研究 9 第 2章 嵌入式平台 文本相关说话人识别的快速算法研究 引言 用于嵌入式平台 主要有两个关键性的指标：一是 别性能，足够高的识别率是应用的基础；二是系统的运行速度，快速的乃至实时的反应才能使用户获得最佳体验。 术发展了几十年，其识别性能已经基本能满足一定范围内的应用要求，因此，研究开发嵌入式平台上的 要问题就是系统的时间开销 。 本章将以一个典型的 台上的 统为基础，从提升运行速度的角度着手开展工作，进而提出改进的 统，使得其无论从时间开销还是识别性能上，均能比基线系统更好的满足嵌 入式应用的需求。 基于动态时间弯折的 态时间弯折（ 一种模板匹配方法，由日本学者 出，最早用于解决孤立词识别中的语速不均问题。由于孤立词识别和文本相关的说话人识别具有一定相似性，故 法后 来 也被用于 文本相关的说话人识别 ，是 现中一个经典的形式。 本思想 既然是文本相关的识别，语音内容完全相同，那么很自然的想法就是将识别语音和训练语音（或者它们的提取序列，如特征矢量序列） 在 时间 上进行 匹配。如果两者能匹配得很好，则 可判定它们为同一说话人发出；否则就认定测试语音为假冒语音。 这是模板匹配思想在 的应用。 但这样处理面临的问题是， 即便是同一个说话人的同样文本的 两个 语音，其信号也无法做到完全相同。这种语音信号的随机性给模板匹配带来了挑战。 对识别信号进行线性的缩放，已经被证明无法有效提高识别性能。 过引入动态规划的思想，同时结合时间规整和距离测度，实现了对语音信号的非线性规整。 第 2 章 嵌入式平台文本相关说话人识别的快速算法研究 10 主要思想为：分别给定模板语音（ M 帧）和识别语音（ N 帧， M 不等于 N），通过寻找时间规整函数 ()m ，将识别语音时间轴上的第 n 帧非线性的映射到模板语音的第 m 帧，并且使该时间规整函数满足公式 （ 2： () 1m ( ) , ( ( ) ) nD d V n T w n （ 2 这里 ()n 帧识别矢量， ( ( )T m w n 代表 () m 帧模板矢量，而 ( ), ( ( )d V n T w D 是 这 所有距离中时间最优的情况。 过不断计算两矢量间的距离获得最优匹配路径，这种方式保证了模板序列和识别序列之间存在最大的声学相似特征。 基于 统 （ 统） 统的实现分为训练和识别两个阶段进行。训练阶段主要包括以下步骤： （ 1） 分帧： 按照一定窗长 和窗移 对输入语音 进行 分帧 操作 （ 2） 前期处理：包括静音去除、特征提取等 （ 3） 建立模型： 将语音特征序列 （或其的一个映射）作为模型 识别阶段包括以下步骤： （ 1） 分帧：按照一定窗长 和窗移 对输入语音进行分帧操作 （ 2） 前期处理：包括静音去除、特征提取等 （ 3） 识别匹配：将语音特征序列按照 法与模板序列进行匹配，并计算匹配得分 。根据得分和阈值的相对大小 来确定识别结果。 图 一个典型的基于 法的 统 示意图 。 第 2 章 嵌入式平台文本相关说话人识别的快速算法研究 11 特 征 序 列前 处 理特 征 序 列前 处 理模 型 D T 结 果图 个典型的 识别性能和时间复杂度分析 在干净语音条件下， 统一般有比较好的识别性能 ，其 一般在 5%以内 22。 良好和稳定的识别性能 也是本文选取其作为基线系统的原因之一。 在时间开销上，由于 法本身并不十分复杂， 因此 在输入语音较短的情况下（ 1 秒的有效语 言对应大概 100 帧），其训练和识别在 台上均能做到实时。但若是移植到普通嵌入式平台上，由于计算资源有限，训练和识别的速度都大为降低 ，极易导致 糟糕的 用户体验。 通过分析 统训练和识别的过程，不难发现其处理均是以帧为单位的 ：训练时逐帧建模，识别时逐帧打分。从充分利用帧的信息来看，这样处理 无疑是 合理 的。但这种精细化的处理带来了大量的计算量。 虽然一般的 对于不具备浮点运算器 、运算存储能力有限 的嵌入式系统而言，要实时处理如此多的运算是不现实的。 基于非线性分段思想的 正如前文所提到的，由于在训练和识别过程中需要对输入语音进行逐帧的计算， 其时间开销很大。鉴于语音识别和说话人识别之间紧密的联系，以及许多语音识别 领域 中的技术也在说话人识别中得以成功应用的现实 22，我们引入了孤立词识别领域中的非线性分段（ 29技术。 第 2 章 嵌入式平台文本相关说话人识别的快速算法研究 12 想和概念 非线性分段，顾名思义，是将语音依据非线性的方法划分为段的技术。 在语音识别中， 为一种快速的预挑选算法应用于孤立词识别中，主要通过压缩信息量来加快处理速度 30。 根据语音 在 时间上的 的变化情况， 其划分为 长度 不等的 N 段，对每一段中的所有帧，我们认为它们是相似的。在训练和识别阶段，将以段的形式进行对待，而非以帧的形式进行处理。 一般情况下，段数往往很小，典型的如 N=4，每一段都包含十几到 几十帧的语音， 这就 有效地压缩了计算量，从而达到提升运算速度的结果。 假设一段语音有 T 帧，每一帧所对应的特征为 1 )，则对特征序列 X = ( , 定义 之间的距离为： 2111( , ) ( ) K c e p t t k t d x x W x x （ 2 这里， 定了特征矢量第 k 维的权重，是一个实验经验数据。本文 后续实验 中采用近似的 下标权重 , (1 16)kW k k 。 假定语音将被分为 N 段，那么平均每段的变化值为： 111 T （ 2 得到 D 后，定义 如下 分段 规则： 111*i D d （ 2 这里 1iN, 0)表示段分界点，对应于特征序列上的某一帧序号。 从1 1到 有这些帧将被归为第 i 段 ，特征序列 X 被分成了 N 段。这种基于帧与帧之间距离累积 ( 为 基于 统 （ 统） 和基于 样，基于 统同样分为训练和识别两个阶段。 训练阶段主要包括以下步骤： （ 1） 按照一定窗长和窗移对输入语音进行分帧操作 （ 2） 对训练语音进行前端处理，如去噪， 第 2 章 嵌入式平台文本相关说话人识别的快速算法研究 13 （ 3） 对每帧语音提取出 征，组成特征序列 （ 4） 根据 分段 规则，将该特征序列划分为 设 定的 N 段，(2 （ 5） 分别 对 段 1iN)进 行建模，得到 的 N 个模型 1iN)共同组成了对应的说话人模型 M 识别阶段主要包括以下步骤： （ 1） 按照一定窗长和窗移对输入语音进行分帧操作 （ 2） 识别语音的前端处理，如去噪， 3） 对每帧语音提取出 征，组成特征序列 （ 4） 根据 分段 规则，将该特征序列划分为 设 定的 N 段，(2 （ 5） 分别对 段 1iN)在对应的 1iN)上进行打分，总的得分即为该识别语音在模型 M 上的匹配分数 F （ 6） 如果分数 F 小于一个经验阈值，即其有可能被接受，则进行一次对称测试 (尽量减少错误接受（ 出现 ：用识别语音进行训练，而将训练语音用于识别，将匹配分数 F 和 F 的平均值作为最终的匹配分数。 基于 统流程如图 示 。 识别性能和时间复杂度分析 在基于 现中，以段为单位进行训练和识别相对来说不如以帧为单位进 行处理来得精细，是一种粗线条的计算处理方式。在这种意义上，我们无法期望其能取得较 统更好的识别效果。但有时候并非越精细越好，以段为单位进行处理，在有少量奇异帧存在的情况下，可能比逐帧处理更具鲁棒性。 虽然参数选择