自动语音分析技术在俄语发音学习中的应用

自动语音分析技术在俄语发音学习中的应用自动语音分析技术在俄语发音学习中的应用

自动语音分析技术在俄语发音学习中的应用

【

自动语音分析技术在俄语发音学习中的应用

基本功能

本文设计的基于自动语音分析技术的俄语单词发音帮助学习系统包括了示范和评分反馈两个主要功能:

(1)示范。系统显示当前单词、音标、中文意思及标准发音,学习者可以反复的收听系统中存储单词的标准发音;

(2)评分反馈。学习者可以跟读,将自己的发音和系统的中标准发音比较,系统自动给出评分反馈,并给出标准发音和学习者发音的波谱图对比。

2系统框架

依据系统的基本功能,系统的基本框架设计如图1所示:

系统预先在数据库中存储单词的标准发音,并提取其特征,本文使用MFCC(Mel频率倒谱系数)作为语音特征。系统猎取学习者语音后,首先将其和数据库中标准语音在时间上对齐,然后提取特征并计算和数据库中标准发音的相像度,最终将相像度映射为学习者较易理解和接受的等级评分。

3与其他系统的不同

本文设计的系统和其他文献中提到的基于语音分析技术的发音学习系统的不同主要体现在以下几个方面:

(1)本系统使用的技术不是语音识别技术,并不识别学习者发音的含义,而是采纳语音分析技术,分析推断学习者发音和系统存储的标准语音的相像度给出评分反馈;

(2)本系统的设计旨在指导学习者学习俄语单词的发音,是属于语音分析技术中的孤立词分析,孤立词分析技术相对于整句的分析的技术较为成熟,这增加了系统的可行性;

(3)本系统数据库使用标准语音数据库,并没有进行语料库的训练,直接依据相像度评价打分,降低了系统的简单性,这是由于本系统仅仅面对于俄语单词发音的帮助学习。

二系统关键技术

1端点检测

端点检测是指在有背景音的状况下,找出实际语音的开头点和结束点,是语音分析领域的一个基本问题。在孤立词的分析识别中,尤为重要,正确的端点检测不仅是正确语音分析的必要前提,同时也能提高系统的运行速度。

本系统旨在指导学习者学习俄语单词发音,因此属于孤立词语音分析。这种状况下,单词的起始和结束位置较为明显,因此本文使用较为简洁的音量法和过零率检测方法进行端点的检测。音量检测为主,过零率检测为辅,过零率的引入能有效的消退对气音的误判。

2特征

自动语音分析技术在俄语发音学习中的应用

选取

特征的选择和提取是语音分析系统的一个重要部分,特征选取的合适与否将直接影响到整个系统的性能。在语音分析帮助俄语发音系统中,语音特征的选取还体现着评分的意图和侧重,这是由于所选取的特征将被用来比较作为评分依据。

在语音分析领域,常用的特征主要有短时帧平均能量、幅度、短时帧过零率,LPCC(线性猜测倒谱系数)和MFCC(Mel到谱系数)等。其中MFCC考虑了人耳的听觉特性,具有良好的识别特性和抗噪特性,能较好的体现语音的内容,因而本文选择其作为语音特征。MFCC参数的提取流程过程如图2所示:

3MFCC计算流程

首先对系统捕获的原始语音信号S(n)进行预加重、分帧、加窗等预处理,得到每个语音帧的时域信号X(n)。然后对X(n)实施DFT(离散傅里叶变换)得到线性频谱X(k)。接着计算X(k)的能量谱,使用一组Mel尺度的三角形滤波器在频域对能量谱进行带通滤波。求取每个滤波器组输出的对数能量S(m),对S(m)进行DCT(离散余弦变换)最终得到MFCC参数。

4评分算法(相像度度量)

发音水平的衡量评分方法是俄语发音学习系统中使用到的另一项关键技术,不合理的评分算法会对发音给出错误的评分,对学习者造成误导。发音水平的计算机评分结果要牢靠,要求尽可能的和现实专家(老师)对发音的评分保持全都。

现有评估发音质量的主要方法有:段分类评分、段时长评分等、HMM对数似然度评分和对数后验概率评分。它们的原理都是以标准发音为模板,通过计算学习者发音和这些模板之间相像度进行的。本文中系统是对单词发音的孤立词语音分析,因此段分类评分和段时长评分不适用本系统。以往的讨论结果表明,对数后验概率评分具有最好的健壮性,因此本文选取其作为俄语发音学习系统的评分算法。

下面对后验概率评分算法进行简洁的介绍。

对于音素,给出与其相关的第i段语音的每一帧,计算基于帧的后验概率得:

其中,为给定音素q下观测到的的概率分布,在分母上,为音素q的先验概率,M为当前语料中与文本无关的音素总数。

音素在第i段语音每一帧下的后验概率取对数,然后逐帧累加,就可以得到音素在第i段语音下的对数后验概率得分:

其中

自动语音分析技术在俄语发音学习中的应用

表示音素所对应的第i段语音的起始时间。整个单词的后验概率打分,定义为单词或句子中全部音素段的对数后验概率按音素长度归一化后的平均值,为:

其中,N为单词的总音素数,为第i个音素持续的帧数。

对数后验概率评分具有很好健壮性,受学习者个体说话特征或声音通道的变化影响较小,它能更好的反映学习者的发音与标准发音之间相像度,因此,它是目前使用最普遍的一种发音测度方法。

使用对数后验概率评分得到的分数不够直观,不便于学习者理解和接受,因此需要将该得分映射为一个概略的得分。系统将对数后验概率得分映射到A、B、C、D、E五个等级。为了鼓舞学习者学习,评分最高的(和标准语音相像度)的35%都映射为等级A(特别标准),同时为了督促学习者更好的把握标准语音,评分最低后35%都被映射为等级E(特别不标准,建议学习重读)。当用户发音得分等级为D或E时,提示用户发音不合格,建议跟随标准发音重新学习。

论文联盟*编辑。三系统实现

我们使用VC6.0实现了一个简洁的基于语音分析的俄语单词发音学习演示系统,实现了文中提出的基本功能,系统界面截图为图3所示。

论文联盟*系统界面主要分为两个部分,左边部分为单词区,显示的是系统内有标准发音的单词列表(本演示系统使用的标准发音取自高等训练出版社出版的《高校俄语简明教程》随书携带的MP3)。单击左边窗口的单词,系统将会读出标准发音。

系统界面的右边半部分为信息显示区。当学习者选择开启跟读学习模式时,在标准发音结束3秒钟内,学习者跟读,系统比较学习者发音和标准发音给出评分。系统同时给出了标准发音和学习者发音的波谱图对比,直观的显示了学习者发音和标准发音的不同。

我们在小规模小范围的状况下对本演示系统进行了测试,测试结果显示本系统对俄语单词学习具有肯定的指导意义,并能够关心学习者提高俄语单词发音的精确     性。

目前实现的仅仅是一个小规模的演示系统,要将系统应用于实际教学中,需要对系统注册单词的规模及对学习者友好交互性设计等方面加以改进。

四结束语

随着计算机和语音处理技术的不断进展,利用自动语音分析技术对学习者

自动语音分析技术在俄语发音学习中的应用

在学习非母语时进行发音指导成为计算机帮助教学一个热点