在人工耳蜗中对频谱信息进行有效的语音处理(渣翻译).doc

利用频谱信息的人工耳蜗语音处理 作者 作者 小四号楷体 居中 拟作报告者在作者名下添加下划线 学校专业 邮编 通讯作者邮箱 5 号宋体 Times New Roman 居中 摘要摘要 基于对普通话的声学研究成果 利用频谱信息的人工耳蜗语音处理的两种新的算法在声学仿真 实验得到有效的认证 我们提出的新算法传送基于所述频带的选择的频谱信息 这些新的算法不仅可以提 高在嘈杂的环境中人工耳蜗植入者的语音识别能力 同时也降低了复杂度的计算和所占用的内存 并使其 更适合于临床治疗 关键词关键词 人工耳蜗 语音信号处理 信号处理 人工耳蜗植入 简称助听器 是唯一可以通过提取编码振幅调制一个固定频率的电刺 激脉冲时域语音信号的包络 以恢复听力的能力 帮助完全失聪人士的可用医疗设备 在 中国 160 余人成功地恢复了自己的听觉通过助听器 虽然现代的助听器能够在安静的环境 中识别识 75 左右的语句 但是大多数的助听器用户在嘈杂环境中识别语言的能力还相当 差 尤其是在普通话的语音识别方面 因为即使是一个单音节的色调是也可能是一个有意 义的词汇 许多研究者致力于开发新的语音处理算法 它不仅可以传送时间包络信息 而且传送 的频谱信息 以提高助听器用户的语音识别能力 Chen 等人与仁王克拉人 从听力正常 的受试者的声音信号中导出了调幅 AM 和调频 FM 信息 并进行了声学仿真实验 他们发现 调频额外的编码可以显著提高噪声英语语音识别 伊恩 克拉人 通过提取 和编码的窄带信号的手两个信封和语音信号的基本频率 F0 开发了一种新颖的算法 F0 是用于调制的正弦波的中心频率在声学模拟实验 该算法可以显著改善对汉语的识别 所有这些研究证明了频谱信息可以显著提高言语感知的助听器用户的能力 而根据语音学 研究 我们假设每个通道中传输信息时三个方面都会有冗余信息 更紧凑的算法可以减少 输送频谱信息的冗余信息 首先 输送普通话色调信息的管道有冗余 时域包络信息和频谱信息有助于在语音信 号处理中息识别普通话的 4 个声调 许多研究中分离出的频谱信息和时域包络信息显示 比如元音持续时间和幅度轮廓有助于普通话声调识别 这方面的作用 有时很显著 但是 在多个管道传送音调信息时由基本频率及其谐波引起的频谱间距时作用相对较弱 即使有 些管道中可以得到分离完美的铃声识别 所以输送普通话的声调信息的管道有冗余 其次 完美的声调识别可以通过只提取和编码速度类和频谱信息的范围在低频率相实 现 以前的研究发现 直接获取识别完美的音色的基本频率和低通在 300 赫兹的间接由残 余沥青的谐波结构 可以由低频率滤波实现 因此 在低频段输送的时域和频谱的信息有 可能足以获得完美的语音识别 最后 传统的频谱算法在高频段不能感知声音 许多研究人员专注于如何提取频谱的 信息来提高语音识别能力 两种类型的频谱信息 如 F0 和 FM 语音信号的每个频带编码信 号 但在高频段 F0 和 FM 采用了助听器用户无法感知的频谱信息的传统算法的编码算法 因为无论是在低频或高频波段 光谱信息 而在低的频率范围约 100 赫兹 是用来调节中 心频率的正弦波声模拟实验 因此 在高频波段 频谱中形成的变化范围相对于正弦波对 应于这些频带的中心频率 例如 光谱信息对中心频率比 8 通道人工耳蜗植入正弦波从最 低到最高频带如下 47 4 28 4 17 5 11 1 7 4 5 3 96 1 9 是微不足 道 这使得在高频段使用传统算法编码后助听器用户很难识别 基于这三个方面的研究 我们认为完美的语音识别可以实现 我们在较低的频率编码 的时域包络和频谱信息中提取 但只有在较高的频带编码的时域包络 这使得频带的选择 中的频谱信息提取和编码为频率调制在低频部分的原理 靠近耳蜗的顶点 频谱信息计 算或使用在高频部分防暴 基地附近 的数目与频谱信息的频率范围从顶点 定义为参数 S 是德测定的声学模拟实验结果实验 我们提取和编码的频谱信息有两种方式 即选择性的基本频率控制 SFFC 算法和 选择性频率振幅调制编码 SFAME 算法 通过不同的语音材料在不同环境中来证明在 声学仿真实验算法的有效性 在这项研究中进行的声学仿真实验扩展了调频 形成在白噪 声和混合环境下的语音识别普通话贝丝效果的研究 并且扩大了在 F0 的在多信噪比白噪 声环境中 在多 TMR 混合的语音环境下的研究 类似的结果已经从使用不同的频谱信息 得到与传统算法相比连续交替取样 它还表明使用频谱信息提高人工耳蜗植入者的语音识 别能力的巨大潜力 1 算法 存在于所有主要的临床人工耳蜗产品 CIS 算法 输入的语音信号首先被 1 2 kHz 于 6 分贝 月 然后被分离为几个频带 4 6 8 12 等 通过的带通滤波器组 低频率的频带 对应于耳蜗的顶部 而高频段对应于刺激耳蜗的底电极上的电极 在每个频带的包络信号 可以整流器和低通滤波后得到 在电刺激模式 电刺激脉冲串的幅度是由从各频率波段的 输出中提取的包络信号进行调制 在声学仿真模型模式 包络我们用来调制的正弦信号进 入滤波器频带的中心频率 然后重新合成的调制信号转换成模拟信号 因此 从不同的频 带语音信号的包络的线索可被发送到助听器用户 SFFC 和 SFAME 两种算法可以提取编码后的频谱信息 这避免了现有算法的缺点 SFFC 算法提取和编码语音的基本频率 该算法有两个信号通路 包括传统的带包膜 提取像 CIS 算法和额外的基频处理 在一个信号通路 类似于标准的 CIS 算法 对语音信 号已经预先处理过之后 频段划分包络提取执行的过程 在其他信号转导途径 基本频率是 通过使用提升提取并用的电刺激脉冲调制后期下的频带选择的原则控制的速率 在声学仿 真模型中 当模拟信号被重新合成时 基频信息的频带的选择的作为调制的正弦波信号的 中心频率 从而重新合成的语音的原理 见图 1 图 1 SFFC 算法示意图 同样 SFAME 算法使用的频率的调制信息 以改善语音识别 该算法还具有两个信 号通路 在每个频带中的第一途径中 传统的包络提取 采用类似标准 CIS 算法和 SFFC 但是不同于 SFFC SFAME 没有采用快速频率传送的频谱信息 而是缓慢变化的频率 变化的信息进行调制的脉冲频率在所述第二信号通路 通过删除子带信号的中心频率 并 且限制了频率调制的范围和速度 SFAME 算法变换的快速变化的时域细微结构成一个缓 慢变化的频率调制 FM 的信息 在声学仿真模型中 当模拟信号被重新合成时 FM 信息的频带的选择的作为调制的正弦波信号的中心频率 从而重新合成的语音 见图 2 图 2 SFAME 算法示意图 2 声学模拟实验 人工耳蜗语言处理器的声学模型已经被很多研究者进行正常听力受试者的实验 我们 在声学仿真实验验证两个语音处理算法 试图证明普通话的语音识别的频谱信息 特别是 在白噪声和混合的语音的情况下更为有效 在本文中进行的声学仿真实验 无论是在白噪 声还是混合的语音环境中 扩大调频信息的效果在文献中都没有普通话的研究 而这些实 验也扩大了在识别多信噪比白噪声环境和多 TMR 混合的语音环境中研究 F0 的汉语语音的 影响 这也是文献没有提及的 二十四个以普通话为母语的年轻人参加了这个实验 所有受试者听力正常 实验在一 个非常安静的实验室进行 所有的模拟声音是通过一个森海塞尔的 HD457 耳机播放 发音 材料采用元音 特写集 字 开集 和句子 开集 两个条件分别为白噪声背景和混 合的语音背景 男 FE 男性重叠 采样率为 16 kHz 通道数是 8 每个实验 100 个问题 有元音 词 句和混合 重叠的白噪声 TMR 混合讲话实验 的信噪比为 5 分贝 0 分贝时 0 分贝和 5 分贝 元音实验的识别率等于通过提问的总数 除以人数 这些的字 句 混合的语音实验 用正确的关键字的总数计算 3 结果 基于 VAN OUS 算法 在使用不同的语言不同的材料 5 个级别的识别率的结果示于图 3 图 5 表 1 和表 2 分别给出由 SFFC 算法和在 SFAME 算法计算得到的数据 首先 可以从这个声学仿真实验结果的分析得出以下结论 在无频率波段选择 S 8 的原则的影响 白噪声被添加后 无论什么讲话材料被采用 根据方差分析与 CIS 算法的两个算法 参见图中的表 1 和 3 和 4 行 1 和 2 可以得到显著改善 当语音材料是男女重叠 TMR 5 分贝 SFFC 和 FAME 也将获得显著改善与 CIS 算法相比 参见图 5 和行 1 在表 1 和表 2 因此 提取和编码频谱信息对使用类似普通话这类有声调的语言人工耳蜗植入者非常 重要 根据普通话的频谱特性的语音处理算法比传统算法有更好的语音识别效果 它可以 提高人工耳蜗植入者的识别能力 分析频段选择的原则后 见第 2 行的表 1 和表 2 至 6 行 基于单因素方差分析 我们 可以就如何更有效地使用频谱信息得出以下结论 1 无论背景噪声是白噪声还是掩蔽讲话 不管讲话材料是元音字母 单词或句子 普通话的识别率持续降低 S 持续减少 2 当前频谱中 形成的通道数量等于或大于 5 5 5 中 在频段选择 S 8 情况 下大多数情况下有一个在识别率之间用不同的 S 的算法与没有采用 S 算法的效果的识别率 相比无显著差异 3 当信道数 S 小于 5 S 5 有显著减少 因此 我们基于所述频率范围的选择 的频谱信息提出新的算法 一方面 对频谱信息的提取是类似于通过的原始算法的方法 另 一方面 只用在一个特定的通道 s 5 在对应于电极的低频段中提取的频谱信息不远 的地方的频率编码机理耳蜗的顶点 时空代码 提供了适用方面取得了很好的效果 这 些新的频谱信息的算法不仅可以有效提高在嘈杂的环境中人工耳蜗植入者的语音识别能力 同时也降低了计算和占用的内存的复杂性 例如 通过调频的计算量减少了 37 5 和 F0 和 FM 发射量减少了 37 5 从而使之更适合在临床实践中进行 参 考 文 献 1 Dorman M F Loizou P C Fitzke J et at The recognition of sentences in noise by normal hearing listeners using simulations of cochlear implant signal processors with 6 20 channels J Acoust Soc Am 1998 104 3583 3585A Gelman J B Carlin H S Stern et al J Xxx 2010 44 6 77 83 2 Fu Q I and Shannon R V Phoneme recognition by cochlear im plant users as a function of signal to noise ratio and nonlinear ampli tude mapping J Acoust Soc Am 1999 106 L18 2 3 Stickney G Zeng F G Litovsky R et at Cochlear implant speech recognition with speech masker I Acoust Soc Am 2004 116 1081 1091 4 Wei C G Cao K L Wang Z Z et at Rate discrimination and tone recognition in mandarin speaking cochlear implant listeners Chin J Otorhinolaryngol 1999 34 84 88 5 Wei W I Wong R Hut Y et at Chinese tonal language reha bilitation following cochlear implantation in children Acta Otolaryngol 2000 120 218 221 6 Wu I L and Yang H M Speech perception of Mandarin Chinese speaking young children after cochlear implant use effect of age at implantation Int J Pediatr Otorhinolaryngol 2003 67 247 253 7 Chen H B and Zeng F G Frequency modulation detection in cochlear implant subjects I Acoust Soc Am 2004 116 2269 2277 8 Nie K Stickney G and