聋生唇读语音识别中的适应研究

聋生唇读语音识别中的适应研究

1语音视觉特征嘴唇阅读是“愚蠢人用视觉信息感知语言的特殊方法和技能”。看话人通过观察说话人的口唇发音动作、肌肉活动及面部表情,形成连续的视知觉,并与头脑中储存的词语表象相比较和联系,进而理解说话者的内容”。研究发现,聋人通过唇读进行语音识别的效果受到音素的可见性程度之限制。Fisher(1986)用视素(Viseme)表示语音的视觉特征。一个视素就是根据一个音素的发音位置或口形划分的。视素分为元音视素和辅音视素。元音视素的可见性较高,准确的发音可以表现出不同的唇形(圆唇/不圆唇)和开口度。而辅音视素是根据发音部位确定,比元音要模糊。而且,许多辅音音素的视觉形象完全一样,“例如b和p,d和t,g和k,j和q等,它们只有气流强弱的区别,而气流的强弱则根本无法看见,只有元音a、o、e、i、u、ü几乎各有自己的独特视觉形象”。Young(1986)做了一个很有意义的实验,要求16名被试从照片中进行面部确认,发现在面部辨认中,辨认熟悉面部的反应时间与错误率均少于辨认不熟悉面部,存在明显的熟悉效应(familiarityeffect)。本文试图探讨聋校师生熟悉程度对唇读语音识别效果的影响。2实验方法2.1年级学生基本情况选取武汉某聋校聋生28名为实验被试。其中,二年级学生10名(一个班),五年级学生18名(一个班10名,另一个班8名);男生11人,女生17人;平均年龄为11.25岁(年龄范围为8~15岁)。被试都为3岁前(语前)致聋,听力损失程度平均为99.92分贝(听力损失的范围是78-110分贝)。2.2实验材料的组成采用2×3两因素被试内实验设计。这两个自变量因素是:(1)熟悉程度,包括新任课教师(陌生教师)与原任课教师(熟悉教师)两个水平;(2)音素,包括单字声母、单字单韵母、单字复韵母三个水平。实验材料相对音素的三个水平分为三组:声母测试组、单韵母测试组、复韵母测试组。每组实验材料包括6个目标识别音素,每个目标识别音素提供5个单字识别口形。在目标音素中,目标声母中分别含有/b/、/z/、/t/、/ch/、/q/、/k/,目标单韵母中分别含有/a/、/o/、/e/、/i/、/u/、/ü/,目标复韵母中分别含有/ai/、/uo/、/ie/、/an/、/ong/、/ao/。每组实验材料的测试时间控制在15分钟左右。2.3材料和实验主试实验分以下几个步骤进行:被试的分组:在参加实验的三个自然班的基础上,每个班的被试被分成在性别、年龄、听力损失程度上大致相等的两个组。主试的培训和分配:由6名普通话水平都达到国家普通话甲级标准的教师组成本实验的主试。正式测试之前分别对这6名教师进行半小时的施测培训,要求其默读并提供规范的单字口形。每个自然班的主试由该班1名原任课教师和分配的1名新任课教师组成。实验材料的施测:分两阶段进行。每个班的两名主试首先分别对该班的一个小组进行实验材料的测试;一周后,主试交叉对另一小组进行测试。测试时,主试现场提供规范的口形并要求聋生进行唇读声母、单韵母、复韵母的识别,并将答案填写在答题纸上。为了保证被试能理解测试意图,主试在正式实施测验前通过指导语提供操作示范。测试结束后,回收答题纸,分别计算出被试在原任课教师和新任课教师作主试时不同组实验材料识别的正确率,输入计算机,使用SPSS10.0进行统计分析。3音素识别的单n-ls分布及差异表1呈现了聋生对教师不同熟悉程度下唇读汉字口形识别声母、单韵母、复韵母的平均正确率与标准差。多因素重复测量的方差分析发现,熟悉程度的主效应临近显著(F(1,27)=4.164,P=0.051),音素的主效应显著(F(2,54)=12.929,P=0.000),熟悉程度与音素之间的交互效应显著(F(2,54)=5.106,P=0.009)(见图1)。通过两个方向的简单效应分析及对音素不同水平的差异作事后检验发现:(1)熟悉教师和陌生教师之间的熟悉效应仅显著发生在单韵母识别水平上(F(1,27)=7.879,P=0.009)。(2)在熟悉教师提供汉字口形的情况下,识别不同音素之间的正确率存在显著差异(F(2,54)=18.083,P=0.000),且声母与单韵母之间、声母与复韵母之间、单韵母与复韵母之间的差异都显著(F(1,27)=35.854,P=0.000;F(1,27)=15.953,P=0.000;F(1,27)=4.412,P=0.045)。(3)在陌生教师提供汉字口形的情况下,识别不同音素之间的正确率接近显著差异(F(2,54)=3.028,P=0.057),其中仅声母、单韵母之间的差异显著(F(1,27)=5.733,P=0.024)。4讨论4.1熟悉程度的差异实验结果发现,聋生唇读语音识别中熟悉效应的产生是有条件的。师生之间的熟悉程度在单韵母识别中起到了显著的作用,在一定程度上说明了“说话者与看话者之间的关系越熟悉,看话效果越好”的理论假设。然而,在声母与复韵母识别中,未发现因熟悉程度不同所带来的显著性差异。分析其原因,前者可能与声母可见性程度低有关,后者则可能与由元音与元音、元音与鼻音组合的复韵母的复杂性有关。需指出的是,尽管熟悉程度的不同并未带来识别声母的显著性差异,但聋生唇读熟悉教师提供口形的正确率低于陌生教师值得注意。这可能与聋生参与实验时的注意力集中程度有一定的关系,更可能是有其它更细致的影响因素我们没有分离出来。这种现象的合理解释有待更进一步的研究。4.2音素可见性的影响音素的可见性对聋生的唇读语音识别有很大的影响,但其影响作用在熟悉与陌生教师提供唇读口形时表现出不同的特点。在熟悉教师提供口形情况下,唇读语音识别不同音素的效果极其显著,说明视素可见性的影响作用显著。而在陌生教师提供口形情况下,唇读语音识别不同音素的显著差异仅来源于声母与单韵母。这说明聋生在识别陌生教师提供的口形时总体上存在一定的难度,但视素的可见性还是起到了很强的作用。我们认为,音素可见性对聋生语音识别影响的条件性差异可能与聋校师生长期进行语言交流过程中建立的稳固语音识别模式有关。聋生只要建立了稳固的语音识别模式,就适应了教师的口形表达,能有效而迅速地进行唇读语音,故表现出音素可见性的最大影响。据此推知,提高聋生唇读的效果在一定程度上要加强聋生与任课教师的口语交流,构建聋生稳固的语音识别模式。5音素显示的随机性聋校师生的熟悉程度与音素可见性共同交互作用于聋生唇读语音识别过程。5.1聋生唇读语音识别的熟悉效应仅显著发生在单韵母的识别