【毕业学位论文】语音识别自适应技术的研究与实现-计算机科学与技术

I 摘 要 尽管非特定人的语音识别系统已经达到了令人鼓舞的性能，但是在实际应用时由于说话人和环境的改变通常会使得系统性能显著下降。当遇到特殊口音的说话人，或者环境有一定的噪音时，系统的误识率甚至有可能增加原来的5倍。语音识别要走向实用，就必须克服这个 性 ， 语音 应 的 非常 要。 文 说话人 应 论了语音 应的 。通 说话人的 学 的 论， 和实了 常用的说话人 应 大率 和大“性 。实 应 说话人 应和环境 应有 。 在 ， 文”一 于语音识别的 应 。通 在的 一个的 ，这 了 的 ， 在应 时 应 ”了 识和 应 的 ，有的性。在 ，的 使用了一个 的 ，用来 环境和说话人 的 ， 了加的 。 的 要用来的 于音 的 ， 时了个 的性。 ， 应 的特， 时 用了一 的使用 应 的 略。在论文的实，这 即使在 应 的情况下可以取得的 。在无噪音和有噪音的环境 别可以降低 识别字错误率。实这 能够有的克服说话人 和环境 识别系统的影响， 语音识别系统的要求。 关键词语音识别，说话人 应，环境 应， in is a an of so to to to of in of By a At of in a is in a is By a to AP to of In a to by a to AP AP is a of to of on AP a of is In is a in a in a is V 目 录 摘 要 I V 第一章 言 1 音识别 1 音识别的 1 音识别的历史与状 2 音识别系统的框架 4 音 应 4 话人 应 5 他 应 6 内 发展动态 7 8 8 8 第二章 说话人 应 定人系统与非特定人系统 话人 话人 应 话人 应的 类 话人 应的 要 述 25第三章 于参 换的 应 大率 30 识 量域平滑 实 大“性 介 估 实 述 46第四章 应 言 境 应 应 体框架 与 的 略 述 54第五章 实与 论 环境 系统框架 与 论 的 应实 境 应的 别 应 应 述 70第六章 总 73参考文献 75附 录 81图表索 85个人历 87致 谢 89 1 第一章 引 言 处于信息革命浪潮时代的今天，人 于 样信息的需求与日俱增，人 急切需要的信息处 式。语音，作 人类信息交流的 、有、 使用的 ， 来 者的关 。 音识别 语音识别 用 算 人的语音信 动取有 的信息， 定语音信 的语言 的 。作 一个 学 域， 与 学、语音学、语言学、 学、 学、 学、人工 能、 字信 处 论、式识别 论、统 信息 论、 论、 算 学 学 。 音识别的意义 人 语音识别 识的 ，人 语音识别”了 来 的目。语音识别的目的就是人与人之间话交流信息一样，实人 由 话，就是以“，使 能“人的语言， 话音的内 语言或有 的 ，或者一使 能够 人的 作，”人类 或的 动 ”来。 ,语音识别键和之,人 交革命的下一 。: 语言是 的。 语音识别有 大的实际应用，其发展、 和实用 的 发展，其 算 、 动、通信、国 、 人 。目 可以 的语音识别 要应用有语音 系统，作 一 的文字第一章 言 - 2 - ，用口述代 键向 算 文字，这 动和”来革命性的变 语音 系统， 人 在 动 以 了一 安、 的 ，特别是当系统工作在一 特定的环境或已 用来其 动作的环境或一 特殊的用 人时 于 话系统的 系统， 用 了 、 和 的 索或 ，可以 用在 、交、 之 ，语音识别 可以用于口语 系统、 算 辅助教学、 动身份 域。 音识别的历史与现状 动语音识别 开 于五十年代。当时电子信 频谱 仪开 用于 语音信 识别 、 量的音节和音 。其有代表性的是1952年美国的和1956年节词识别系统2。 六十年代， 字 算 的 发展使人 语音信 的 由 拟信 的 向 字 。在这一时期，4和语音 的 使人语音 的 有了一个系统的了 。人 人类“的 和 了 ，发了人耳 音的不 频率 有不 的 力的反应力，”了临频 论。这一时期，在语音识别的算 尚未找到 算 的 和算 。但人 了 段 类式匹配 。与 时， 语言 域的一 性 在。六十年代 的性 七十年代语音识别的 发展打下了。 七十年代，语音识别无论在 论， 是在系统实，有了 的发展。1975年发于性 编码谱系 是识别 的特征，不但识别 大有， 算复杂 小。一时期，六十年代 ”的动态时间规 7 的应用于语音识别。 于 和识别系统纷纷建立 来。七十年代一个 大的里 碑，就是和识到可以一章 言 - 3 - 应用于语音识别。七十年代”了 的孤立词识别系统， 0、大词汇量 动语音“写系统11、与话者无关的语音识别系统12。 到了八十年代，语音识别 有了的 性的发展。矢量量13和隐马尔可夫 14，15在语音识别获得了 的应用， 了 6，17这样的 的非特定人 续语音识别系统。 ，八十年代人工神经网络的 热潮波及语音 域，”了于人工神经网络18或者人工神经网络和隐马尔可夫 的混 19，20，21的识别系统。 九十年代， 信 处 、 学 、语言 、 码搜索算 论日益 ， 算 软硬件系统性能不断，”了一 大词汇量 续语音识别系统， 2，3，4。这 系统大体 用了 “的 ，不仅有于隐马尔可夫 的 学 ， 了复杂的语言 以及 的 码算 。有的系统 加 了语言 部 ，使系统性能一。 目 已有不 语音识别系统 实用阶段，走了市，这里列”近个人电 杂报道的世 要语音识别软件的评 25。这个评 表 在实用的语音识别系统已经发展到了非特定人、超大规词汇量和 续语音识别阶段，并有大约93%的 识别 率。 表1000、L&H 音识别系统的性能 000 L&H 别率 95% 91% 93% 95%是否支持 用 支持 支持 支持 支持 动词汇表 160,000 60,000 34,000 64,000 大 动词汇表 250,000 670,000 64,000 2,000,000 第一章 言 - 4 - 音识别系统的框架 虽目 的实用的语音识别系统使用 不 的 和 码 ，但图1语音识别系统的一般性的框架 。语音信 通 信 处 识别使用的一系列特征向量 识别再利用语言 和 学 得到 应 特征向量有大率的词序列 时 应有用的信息用来 语言 和 学 修改。 图1音识别系统的框架 音自适应技术 图1，目 的大 使用语音识别系统 了一个非常 要的 应。 的作用 要是用 应 来调 学 和语言 ，使系统 应的应用状况。虽一个训练的系统可以 应 不 的情况，但 和实际作状况间总存在一定的 。以使语音识别系统可以通 量的矫 尽量 小这 是十 要的。 应 就是这样信 处 (码/识别(学模型(言模型(用(用(音(第一章 言 - 5 - 一 ， 系统参 调， 使系统的匹配由于 克 、 通道、环境噪音、说话人、文体和应用的下文 的 。 话人自适应 目 语音识别 在小词汇量的非特定人别系统已经可以达到 的识别 率。 于 平 的词错误率达到了3% 26。尽管平 错误率 低，但有一 说话人的错误 显与其他人。由于使用 的说话人来训练非特定人的系统 ，使得说话人之间的 当作说话人内部的 处 了。这样使得 一个 学了大量的 ，有可能降低 于 个的说话人的建。这一可以由 一个说话人的语音 非特定人系统和特定人系统SD 有 的 训练这个系统， 特定人系统性能要非特定人系统2到3倍。 文献26”的 ， 表1表1特定人与特定人系统性能于 一说话人的语音 ，非特定人和特定人系统。其训练得到，再训练600个。 说话人 ) ) .3 .6 .9 .0 .2 .3 .6 .5 .8 .1 .6 94第一章 言 - 6 - 特定人系统需 一个 说话者训练，一般 言需的语音 量至 应达600 话汇量在5000以27。 大量的语音于 个使用者是一 的 ， 处 这 需的小时，这使特定人系统的实用性 到 大 。 了 这个 ，开 说话人 应 ，即在一个已经训练的 系统，用一定的说话人的语音 应 ， 图 系统 这个说话人的建 。一 可以是 一个 说话人 训练的特定人系统和一个用 量说话人的训练语音 训练的非特定人系统的 ， 使系统的识别率 近于 说话人经 训练的特定人系统的 平。 了 非特定人系统存在的 之 ，说话人 应 可以用来增识别系统 环境的 应能力，特别是 环境噪音或 克 的 应能力。 文 工作 要 在说话人 应 的 。 他自适应技术 了说话人 应( 说话人的 音特的 应能力) ， 应 下个 环境的 应能力，特别是 环境噪音或 克 的 应能力。环境噪音的 应可以有 的 一 是 语音的噪音，使得语音变得。 时，系统 噪音的 应能力就体在 不 的环境噪音， 取不 的噪 ，尽量 噪音 续作的影响。这需要 噪音 ，以 定 应的处 。 有一 是 有噪音的语音来训练 ，使得噪音 的一个有部 。 时，系统 噪音的 应能力体在噪音 反“ 使用时的噪音环境。当环境噪音与训练噪音不一致时，系统必须 噪 调， 排 噪音 系统识别性能的影响。 第一章 言 - 7 - 说话人的语言特的 应能力。 语言特的 应， 要是 的文体式和语体式的 应能力。系统应 语音流的特一定的调，使得系统的 参 特定的语音 性。在语体式， 要有口语体和体 。口语语言存在 大量的略、临时、 复调、 错以及非 语 和无 语音 28。 说话人的语 特的 应能力。这一是未来 语 复系统的要求，即未来的语音识别系统可以 动识别 语 。 内外发展动态 语音信 处 应 的 是 语音识别 的发展 并发展 来的。目 应 已经 了语音识别 的一个不可缺 的要部 ，并 开 应用在大 实用语音 和 平， ，的。 个语音识别 的发展 ，语音识别系统的”性的 之一29，30。 这是语音识别系统由实 实用 的一个 切关键的 。 说话人 应 是其不的一个和 。这 已经 了 来 的 的关 和 ，有 语音识别 的 与 位开 的力 应 的 。 语音 的国际学 会开 ”说话人 应作 论。 目 ，国际说话人 应的 要 可以大致 下 说话人 规377，其目的是建立一个 规的说话人间，使得 人的语音可以“其。这样可以”说话人间的 降到低。 规的 ，其使用 的有 道 谱 规 说话人类17，43，45，65，通 一定的类或者 类算， 不 说话人的 类 组。识别时取与目说话人 近的 组识别。这 是十 有的 ， 系统 使用。 第一章 言 - 8 - 谱变换476，91，92，是通 使用性或非性的变换”一个说话人的语音谱间“到一个人的谱间， 实 应。需要 ”的是，这 变换即可以 用于特征间可以在。 参 调546，79，82，85，是”原有 识 求”达到大率a 系统 用的 参 。 的 介 和 请参 论文的第二章。 国的语音识别 ，但由于 语语音识别的 要性日益 ”，近十年的发展十 。以 应 九十年代开 的说话人 应的 国 可以和国 。目 国内 这 的 要有清华大学、国 学 学 、国 学 动 、 大学、国 学 大学、国 大学、 电大学 31，36079，73，74，82。 文的工作是语音识别的 应 的 ， 要内 的实及 。 了 下的工作(1) 实于大率 的说话人应。(2) 实于大“性 的说话人 应。(3) ”一个 的 应 。(4) 使用说话人 应 环境和噪音 应。 内 第一章 言 - 9 - 第一章 述语音识别、语音 应、以及 文 要 工作 第二章 了 说话人 的原 ，要介 说话人 应的 和原 ， 介 了 常 的说话人 应 ; 第三章 ”了于大率于大“性 应 的原 和实 ; 第四章 述了 ”的 应 ; 第五章 ”了实和 的 第六章 文总 。 11 第二章 说话人自适应技术 章 ”了说话人 应 的 、 原 、 类、以及一常 的 。 定人系统与非特定人系统 目 语音识别系统 说话人的 类，可以 特定人系统D和非特定人系统I。 ，特定人的语音识别系统 用于个特定的用 ，并要求使用者 够 的个人语音 以训练系统。这 特定性使系统不 的 平 或 信息， 有语言无关性，无论口音 ， 要使用者能在训练及识别 持一致就可得到的识别 。有特定人系统的识别率已达到95 以31。 用 使用的 性大大 了特定人系统的一 与应用，一 有的用 加人，系统 要求 训练，否 识别率降。一般 言，训练需要的语音 量应达到 话以 话 用23 ，录 训练语音20 以。 在有情况下， 人 大量的语音 会令 个使用者 处 这 需的 加 ， 就无须论及是否可以 够的环境与时间来训练了。 在实 ，有 情况要求频 换使用人， 环境下的口述录音， 时间表 的信息索。 时，非特定人的语音识别系统表” 大 。这 非特定人系统能够在 一用大量训练的 下， 当 的用 的识别 。 情况就是 一说话人，无论口音、话 ，能 识别 。第二章 说话人 应 - 12 - 这显与人 的 吻。遗憾的是 第一章表 1示，有非特定人系统的识别 无 满 实际使用的要求，其错误率可 当于 应的特定人系统的至三倍，在 情况下甚至能达 5 倍。 ，即使是一个工作的非特定人系统在遇到特殊的说话人 别， 称 ，识别率会显著下降32。 特定人系统和非特定人系统性能的 距的原 是 显的。非特定人系统使用 的说话人语音来训练识别系统的 ，虽能够的 来 语音 元的 复杂的时变特性、协 发音 ， 时却使得说话人之间的 略， 降低了系统 于 个的说话人建的 。下 体 一下说话人 的 原 和 类。 话人差异（影响识别系统的识别 的 有 ，不 他 可以一般划 类说话人之间的说话人内部的 一个人的说话有 己的特。当一个人说话时，他发”的语音 到的影响， 他的 道的 、宽 和物 形状，年龄，性别，康状况，文 ，个人的发音习惯 。这 使得一个人的语音可能和一个人完 不一样。这一 可以 图 2得 清楚。说话人之间的 要个 和说话习惯 33。 要是缘于 个人的发 官的形状、大小和动态特性不 。这 语音的频有显著的影响，使得不 人 不 的 学特征男女之间 的 要 。这 情况的一个极端的子是说话人性别语音频谱参 的影响。 建立一个 于 的语音 ，可以发，音频率 f 取 于 的尺寸和特性，以及 的张力。一般 言，男性说话者的 f 大致 布在 60200围内，女性说话者和小孩的 f 在第二章 说话人 应 - 13 - 200450。目 表 34，男性和女性在发元音时有 显不 的共振峰频率，男性发的元音频低，共振峰 宽窄，并 频谱平缓。这是 什 用男性语音训练的特定人系统在女性 或双性 时有 的原 。 图2个不 说话人发 字 8语音的时频波形图和语谱图。 可以清楚”不 说话人之间的 。 说话习惯 和说话人学习说话的 有关，这 习惯响发 的清晰 和共振峰 率的不 。体的 说话人的语和口音，这即使在人的“力 十 要。 人不 的说话习惯， 个人的教育和文的不 ，用 言的不 ，属的社会 和 团不 以及个人的经历、气质的 。国 家 影响发音的 社会 ， 域环境，宗教信仰，文 作了 的 ，并著阐述 口音的影响35。文献? ”，音节之间的协 发音 会 口音的改变 变。文献? ”，实口音的影响大约可以使得识别系统的错误率增加23倍。 由于发 的原 是十 复杂的，以这 说话人之间的 用 的 类来 是 困 的。 第二章 说话人 应 - 14 - 即使 略说话人之间的 ， 于 一个说话人，在不 的时间、不的 和 状态下， 述 一内大的 。这是 发音之间存在 道形状和语的 。 当一个人由于感情的变大 或小 说话时这 就加 显。这 一个人 己的发音 称之 说话人内部的 。 要 语、感情语气和康状况 的影响?。这的一个有变，就可能使这个说话者训练的识别系统的性能有 大的退。 总体 不 说话人 学变的 微 ，要个体说话者的语 变 大得 以捕捉和 述。在一 识别系统，需要区 说话人之间的 和说话人内部的 。 人的语音识别个人的语音，就要考虑说话人之间的 ， 轻说话人内部的 。不 ， 于非特定人的语音识别系统，不管是说话人的改变， 是发音条件的变， 要考虑。遗憾的是，迄今 止，人 没有能够建立一套的 述， 有求助于统 的 ，通 大量的训练获取 平 的信息， 个人特性的参与。但 由于个人信息的 削弱， 了系统 个特定人识别 的下降。 了 这个 ，说话人 应 应 。 话人自适应 了 第一章第二节和 章第一节里 到的特定人系统和非特定人系统训练 量和说话人 这一 矛盾，人 ”了建立一 渡性 ，由的说话人 量的 样 ，系统通 取其的有用信息并 一定的算 原有的非特定人 修 ，得到 话者的 。这即称 说话人 应A， 应的系统有人称统。其原有的说话人常称 参考说话人的说话人 目说话人说话人 应可以 是 图使用特定人系统训练需 的 来 特定人的建 的 ， 图2。 第二章 说话人 应 - 15 - 的语音识别系统说话人的 特定人识别系统一般的语音 识说话人特有的信息图2话人 应 一个特定人识别系统可以通 ” 训练的 得到的通用语音 识和 说话人的 得到的说话人特有的信息 来实。 说话人 应算 的 ，在早的语音识别系统建立就开 了。 语音识别 的发展，说话人 应 发得到大家的 。 话人自适应的分类 说话人 应 ， 在什 时候，以什 式 应和怎样使用 应 可以 下 有监督 应即在特定人使用识别系统之 ，由系统规定的语音 ，系统 应 。目说话人说的训练语音 规定，训练的 字、 词或 子是系统已 的。 无监督 应即目人说话人 需 量 或不 应 ，由系统以 式逐调系统参 ，以 应于目说话人。系统不 道目说话人说的语音内 或参 的修 通 识别系统的反馈来实的。 静态的 应即识别系统一 性使用有 应 应， 的识别 。 第二章 说话人 应 - 16 - 的 应即识别系统是在 逐调到 状态的，不断使用的 来 应。调的 一般不使用者 。这 式 在 应 图2个于说话人 应系统 通常使用的是静态有监督的 应和无监督的 应， 者 应 来 册 ，者 应 来 识别的 向反馈。图 2 ”了这样一个实际系统的子36。当 应 的 量无 或系统可以一的 应 时，应使用的 应。这 情况下，有无监督的 可以使用，不 无监督的 条件。 话人自适应的主要 说话人 应的 有 ， 文”他 大致 以下四类说话人类说话人 规谱变换 参 调不 得 ”的是说话人 应 的 类并不唯一，有 之间没有特别清晰的 。 一 文献37，说话人 规算 一 在特征间的谱变换。 在实际的应用，大 系统往往 使用 应 ， 节人语音 用 册语音 用 应用语音 训 练 应 在 应 册D 二章 说话人 应 - 17 - 会 ”个实。下就 文的 类 体介 这 说话人 应 话人 （尽管 说的说话人的 大，但人仍可以 轻松的识别 不口音和性别的 人的语音。这说 人的大 可能可以一 规 ， 语音个性的特征。这样在识别系统说话人之间的 就可以 了。说话人 规 的 就是来源于人的识别 。 说话人 规的目的是建立一个 规的说话人间，使得 人的语音可以“其。这样可以”说话人之间的 降到低 学特性不变。可以 说话人 规是 图”说话人的语音特 参考说话人的，这样可以使用已有的参考说话人的特定人识别系统来识别说话人的语音。图2的示 图。 图2话人 规 示 图 说话人 规 的 在于语音的 样性。要 找到一 一般的 能够 的“到 规间是 困 的。常用的有 谱 规 ?，38表 ，时 谱 可以用来 说话人和信道的特征。实，话人的语音 规 算 规的语音 语音 识别参考说话人的 第二章 说话人 应 - 18 - 是诸 用来补偿说话人和信道影响的 子。处 骤首 ，用一个于能量的有 /无 算 历个语流， 算有 帧的 谱 ，流的有帧参 谱 ，得到的特征参 。由于 训练和 的有语流的 谱 零，时说话人和信道 可能 来的卷积畸变。 道 ?，39，67道 偿 道 的 来规 不 说话人的 。体的实 ，大致可以 类1通 语音频率特性用的 共振峰频率的估 ， 道 子 2利用大“ 来估 道子。 的续处 一样，是利用 ，频率 语音频谱 道 不 的影响。 了 特征参 或语音变的 ，说话人 规的一个 找的特征参 。不 的特征参 ， 于不 的说话人的 性有一定的。有文献表 ，在常 的特征参 ，其他的 ， 说话人的 应性要?。 找的、 性的特征参 ， 是期以来 工作的目之一。 文献40，41，42”一 于征的 应 。由于变性，这 的特征 说话人的 道 是不 感的， 可以大大 小由于 道 的说话人之间的 。在作者的实，特征的识别 谱 ，甚至于大“的 道 应 。 由于说话人 规需要复杂的“，并 有语音信息 样处 ，了语音件的内以 使用率不是十 。 话人 类（说话人类 类实说话人 应的一个 的 。 应不 的说话人有与其 应的 ， 应就是找” 应于目说话人的 。实际由于要 训练 一个