面部表情识别即时加工过程的眼动研究

面部表情识别即时加工过程的眼动研究

1影响内在图式识别的因素面部表情的研究始于19世纪。自他著名的作品《人类和动物的表情》（1872）以来，人们对人类面部表情和动物面部表情之间的联系和区别进行了解释。在说到面部表情的含义时，有不同的方法。情绪理论家认为面部表情传达着有关主体情绪状态的信息;行为生态学家则认为面部表情传达着主体的行为目的和行为要求。有人用研究证明了面部表情以传达情绪状态为主,也含有感情、意图和愿望。在人际交往中,面部表情起着重要作用,正确识别他人的表情是保证顺利交往的条件。对于人类个体如何确定或识别他人面部表情的含义引起研究者们的极大兴趣。研究者们普遍认为一般的表情识别可以用单一感官完成,也可以用多种感官相配合来完成。它是一个整体识别和特征识别共同作用的结果。具体说来,远处辨认人,主要是整体识别,而在近距离面部表情识别中,特征部件识别则更重要。此后人们对影响面部表情识别的因素进行了大量研究。Lott等人研究发现,随着年龄增加,面孔识别能力下降,这种能力下降与其空间视觉和认知能力有关。Pfütze等人也发现面孔识别与年龄有关。Saito的研究发现性格与面孔识别关系也非常密切。而Mogg等人研究发现焦虑患者对面部表情的反应与正常人有本质区别。他们会首先选择威胁面孔(threatfaces)或把眼睛更快地转移到威胁面孔上。Mullins等研究也发现情绪状态对表情识别的影响。此外,健康状况、性别以及图片上人物的性别等因素都影响面部表情的识别过程,特别是图片上人物的表情性质对面部表情识别具有显著的影响。此外,人脸上不同部位对识别的贡献也不相同,如眼睛和嘴的重要程度大于鼻子。这说明面部不同部位信息对表情识别具有不同意义。那么,图片上人物表情的性质以及面部不同部位信息是如何影响表情识别的呢?它们在个体表情识别的即时加工过程中如何起作用的呢?这是本研究关心的问题。对于这些问题的探讨,眼动记录是一种很好的技术,它可以考察面部表情识别的即时加工过程。有研究发现,在各种认知任务中对眼睛注视的控制起着巨大的作用,注视的位置和注视的时间与所进行的认知加工任务具有一定的锁时性(time-locked)。在面部表情识别过程中,主体也是通过眼睛的运动来完成对不同表情识别所需信息的搜集,然后对这些信息进行加工进而完成识别,这个过程是伴随信息搜集逐步完成的,也叫即时加工过程。通过分析这一即时加工过程,可以更好地了解面部表情识别过程的实质。本研究通过记录被试面部表情识别过程中的眼动数据,来探讨面部表情识别的即时加工过程,识别不同性质表情的眼动模式如何,以及对面部不同部位信息的依赖程度如何。在实验一中,利用眼动记录技术记录被试识别不同性质面部表情的即时加工过程,考查面部表情的三种性质(正性、中性、负性)对识别过程的影响,并假设加工不同性质面部表情的眼动有规律性,并且时间进程和准确性不同。在实验二中,利用遮蔽技术对实验一的材料进行遮蔽处理,考查眼睛的作用与嘴和鼻子的作用之间有什么差异,在不同部位信息缺乏的条件下,即时加工过程如何改变,并假设面部表情识别对面部不同部位信息依赖程度不同,面部不同部位信息缺乏,眼动模式发生根本性改变。2实验12.1方法2.1.1被试视力及一般资料随机选取辽宁师范大学18名本科生,5男,13女,年龄在18~21岁之间,平均年龄为19.56岁(SD=0.86),所有被试视力(或矫正视力)正常,且均为自愿参加。2.1.2几种表情图片的选取采用“识别-判断”实验范式考察面部表情识别的即时加工过程。实验为单因素重复测量实验设计。自变量为表情性质,包括正性、中性和负性三个水平。正性是指个体的愉快、舒适、满意等;中性是指个体的平静、沉稳和沉思等;负性是指个体的不满、愤怒和仇视等。因变量为反应时、正确率和眼动指标。三种表情图片材料的选取方法如下:选取60幅西方人物图片,所有图片都经过数字化处理,图片为黑白色,亮度和对比度一致,均为肩部以上的正面图片,视角为11.77°。所有图片按照表情性质分成三组,每组各20张,图片人物性别比例一致。正性表情组(男、女各10张)、中性表情组(男、女各10张)、负性表情组(男、女各10张)。把60张图片随机排列,用PowerPoint呈现,由150名大学生进行-5~5分的11级评定,负数代表负性,正数代表正性,靠近0代表中性。结果有效数据143份。对结果进行统计,按照如下标准选取实验图片:负性图片取-5~-2分,中性图片取-1~1分,正性图片取2~5分,每种性质男女各两张,共选取12张图片作为正式实验材料,见表1。2.1.3实验程序测试本实验由一台PentiumⅣ2.8G计算机控制,刺激呈现在19英寸彩色显示器中央。屏幕分辨率为1024×768,刷新频率为100Hz。被试眼睛与屏幕中心的距离为60cm。用ASL504型眼动仪记录被试的眼动情况,数据采集频率为60Hz。眼睛在一个点停留16ms记录为一个凝视点(gazepoint),眼睛在一个点停留100ms记录为一次注视(fixation),两次注视之间的眼动过程记录为眼跳(saccade)。用gazetraker3.12软件运行实验程序并同时记录被试的反应时、正确率和眼动数据。整个实验程序分为练习和正式实验两个阶段。练习过程,首先向被试说明表情性质的判断标准,然后呈现指导语:“这是一个表情识别实验,当图片呈现出来后,请您尽快判断图片上人物表情的性质,是正性、中性,还是负性,然后按键盘上的左、中、右光标键,分别代表正性、中性和负性。如果清楚了,请按空格键开始。”经过练习被试掌握了判断方法后,进入正式实验。正式实验过程:(1)呈现指导语(同练习指导语);(2)然后在屏幕中央呈现注视点,持续2s;(3)注视点消失,接着呈现一张面部表情图片;(4)被试对随机出现的正性、中性、负性图片进行识别;(5)被试识别后,用右手的食指、中指和无名指分别按键盘光标键的左、中、右键(被试之间左右键进行平衡)对图片进行正性、中性、负性判断,按键后,图片自动消失,一次试验(trial)结束。接着重复步骤(2)~(5)一直到整个实验结束,实验流程见图1,12张图片随机排列。2.2结果与分析2.2.1c组图像识别本实验中,被试识别不同性质表情图片的眼动轨迹呈“逆V型”者达83.3%,即倾向于从右侧眼眉开始向嘴部运动,而后向图片左侧的眼睛返回,完成表情识别,见图2。这说明面部表情识别需要特定信息,被试在搜集信息过程中,不是随机观看,而是有规律的。2.2.2下颌温度sd对三种性质面部表情识别的平均反应时及标准差分别为,正性MRT=0.8744s,SD=0.3486;中性MRT=1.1092s,SD=0.4904;负性MRT=1.3633s,SD=0.6458。单因素重复测量方差分析结果表明,面部表情的性质对被试识别的反应时影响显著,F(2,34)=26.861,p<0.001。多重比较(LSD)发现,正性与中性、负性,中性与负性差异都显著。识别每种图片的正确率都在89%以上,不同性质表情图片之间差异不显著。2.2.3正性、中性、负性模型眼动行为检测结果对总注视时间、注视次数、注视点持续时间和瞳孔直径四个眼动指标进行统计,结果见表2。从表2可以发现,对不同性质面部表情识别的眼动数据存在一定差异,其中总注视时间、注视次数、瞳孔直径差异较大。以总注视时间为因变量,进行单因素重复测量方差分析发现,表情性质主效应显著,F(2,34)=25.518,p<0.001。多重比较(LSD)发现,正性与中性、正性与负性、中性与负性差异都显著。以注视次数为因变量,进行单因素重复测量方差分析发现,表情性质主效应显著,F(2,34)=35.58,p<0.001。多重比较(LSD)发现,正性与中性、正性与负性、中性与负性差异都显著。以瞳孔直径为因变量,进行单因素重复测量方差分析发现,表情性质主效应显著,F(2,34)=3.308,ps<0.05。被试识别正性、中性和负性表情图片时,瞳孔直径逐渐增大,且差异都显著。为探讨被试面部表情识别过程中对面部部件的依赖程度,依据空间位置确定了两个兴趣区:兴趣区1为眼睛、兴趣区2为鼻子和嘴。对被试在这两个兴趣区上的两个眼动指标进行统计,结果见表3。从表3可以发现,不同性质、不同兴趣区的眼动指标存在较大差异。以注视时间为因变量,进行两因素(表情性质×兴趣区)重复测量方差分析发现,表情性质主效应显著,F(2,34)=28.372,p<0.001;兴趣区主效应显著,F(1,17)=6.436,p<0.05;两者交互作用不显著。多重比较(LSD)发现,正性与中性、正性与负性、中性与负性差异都显著。兴趣区1的注视时间显著多于兴趣区2。以注视次数为因变量,进行两因素重复测量方差分析发现,表情性质主效应显著,F(2,34)=31.240,p<0.001;兴趣区主效应显著,F(1,17)=7.432,p<0.05。两者交互作用不显著。多重比较(LSD)发现,正性与中性、正性与负性、中性与负性差异都显著,兴趣区1的注视次数显著多于兴趣区2。实验一结果表明,个体识别不同性质面部表情的眼动过程存在共性,眼动轨迹呈逆“V”型;而且不同性质表情对识别的眼动过程影响显著,一般分别需要1.8次、2.4次、3.0次注视完成正性、中性、负性表情识别;最后一次注视的位置在左眼的几率最大;表情识别对面部不同部位信息依赖程度不同。3遮蔽技术及材料实验一可以初步判断面部表情识别对面部不同部位信息的依赖不同,但尚不清楚差异如何,为了进一步回答面部表情识别对面部不同部位信息的依赖程度,在实验二中,采用遮蔽技术对实验一的材料进行遮蔽处理,遮蔽部位包括眼睛、鼻子和嘴。然后考查被试对不同部位遮蔽后的面部表情图片识别的即时加工过程。3.1方法3.1.1被试视力及一般情况重新随机选取辽宁师范大学18名在校本科生,男12,女6,年龄在18~20岁之间,平均年龄为19.11岁(SD=0.58),所有被试视力(或矫正视力)正常,均没有参加过实验一的实验。3.1.2测试设计因素采用“识别-判断”实验范式考察面部表情识别对面部不同部位信息的依赖程度。实验为2(遮蔽部位:眼睛、鼻子和嘴)×3(表情性质:正性、中性和负性)的两因素完全重复测量实验设计。实验材料为对实验一的12张图片进行遮蔽处理而成。采用photoshop6.0软件,采用15个马赛克对面部图片中的眼睛部位、鼻子和嘴部位进行遮蔽,形成新的实验材料,部分图片见图3。3.1.3实验设备和程序同实验一。3.2结果与分析3.2.1非遮蔽部位信息依赖程度本实验中,被试识别遮蔽了不同部位表情图片的眼动轨迹差异较大,判断眼部遮蔽图片的表情性质时,被试眼睛做上下运动的人数占88.8%,对非遮蔽部位信息依赖程度低,仍然在搜索眼部信息;而识别鼻子和嘴部遮蔽图片的表情性质时,被试眼睛做左右运动的人数占83.3%,只平行搜索眼部信息,见图4。3.2.2正性及中性、负性变化分析对眼部遮蔽的三种性质面部表情识别的平均反应时及标准差分别为,正性MRT=0.844s,SD=0.061;中性MRT=1.181s,SD=0.105;负性MRT=1.461s,SD=0.222。单因素重复测量方差分析结果表明,面部表情的性质对被试识别的反应时影响显著,F(2,34)=6.536,p<0.01。多重比较(LSD)发现,正性与中性、负性差异显著。对鼻子和嘴部遮蔽三种性质面部表情识别的平均反应时及标准差分别为,正性MRT=1.472s,SD=0.184;中性MRT=1.429s,SD=0.157;负性MRT=1.573s,SD=0.200。单因素重复测量方差分析结果表明,面部表情的性质对被试识别的反应时影响不显著。进一步进行遮蔽部位×表情性质的重复测量方差分析,结果发现遮蔽部位主效应显著,F(1,17)=17.418,p<0.001,眼睛遮蔽反应时短;表情性质主效应显著,F(2,34)=3.817,p<0.05;交互作用显著,F(2,34)=8.606,p<0.01。识别正性表情与中性表情之间差异显著,而且遮蔽部位对正性表情识别影响大于其它两种表情。对表情识别的正确率分析发现,眼部遮蔽的正确率为87%;鼻子和嘴遮蔽的正确率为95%,两者差异显著,t=3.308,p<0.01。这说明表情识别更依赖眼部信息,尽管反应时缩短,但是准确率显著下降,眼部遮蔽导致有效信息不足,导致被试识别时猜测成分增加。3.2.3眼图片表现及其显著影响因素在表情图片和注视点持续时间上的主效应从表4可以发现,遮蔽部位被注视的时间短,在不同性质表情上差异不大。但是非遮蔽部位的注视持续时间因遮蔽部位和表情性质而异。为了了解三个变量主效应情况,进一步进行重复测量方差分析,发现兴趣区的主效应显著,F(1,17)=16.776,p<0.001;表情性质主效应显著,F(2,34)=4.239,p<0.01;遮蔽部位主效应显著,F(1,17)=4.601,p<0.05。遮蔽部位影响识别,眼部获得更多注视,在三种表情图片上均有体现。对注视次数进行统计,结果见表5。从表5可以发现,遮蔽部位被注视次数少,不同性质表情识别差异不大。但是非遮蔽部位的注视次数因遮蔽部位和表情性质而异。眼部遮蔽的非遮蔽部位被注视次数少于鼻子和嘴被遮蔽的情况,同样是因为鼻子和嘴的信息含量低,有限注视后无信息可以提取。为了了解三个变量主效应情况,进一步进行重复测量方差分析,发现兴趣区的主效应显著,F(1,17)=25.094,p<0.001;表情性质主效应显著,F(2,34)=4.730,p<0.05;遮蔽部位主效应显著,F(1,17)=11.016,p<0.01。遮蔽部位影响识别,眼部被注视次数多,在三种表情图片上均有体现。对注视点持续时间进行统计,结果见表6。从表6可以发现,遮蔽部位注视点持续时间短,不同性质表情识别差异不大。但是非遮蔽部位的注视点持续时间因遮蔽部位和表情性质而异。眼部遮蔽时,非遮蔽部位注视点持续时间比鼻子和嘴被遮蔽时的非遮蔽部位注视点持续时间长,这可能是因为鼻子和嘴的信息同质性高,诱发眼动的力量弱,导致注视点持续时间缩短。而眼睛包含的信息丰富,诱发眼动力量强,使持续时间相对延长。方差分析发现遮蔽主效应显著,F(1,17)=8.889,p<0.01;图片性质主效应显著,F(2,34)=3.514,p<0.05;兴趣区的主效应不显著。遮蔽部位被注视时间短、注视次数少、注视点持续时间也短。与其它两种性质表情识别相比,正性表情识别注视时间最短,注视次数最少,注视点持续时间也最短。4眼动模式的改变实验一发现个体加工不同性质面部表情的基本过程是:从右眼眉心开始,向鼻尖运动,然后回到左眼,结束识别活动,整个轨迹呈逆“V”型。这证明了我们的假设:加工不同性质面部表情的眼动轨迹有共同规律。这种轨迹说明面部表情识别需要不同部位信息,在对不同部位信息整合的基础上做出识别。尽管内部特征与外部特征在面孔识别中作用不同,但是面部表情识别以内部特征为主。依赖的信息也主要集中在眼睛和鼻子、嘴等部位,不同性质面部表情不影响识别的眼动轨迹。我们认为,对不同性质面部表情识别时的采集信息过程是一致的,采集后对获得的信息进行整合,判断是信息采集、整合后发生的。判断过程没有影响早期的信息采集,所以眼动轨迹具有了共性。眼动之所以呈逆V型,我们可以这样理解:面部表情识别主要以眼部信息为主,其他部位信息为辅,在时间短的快速判断过程中,嘴和鼻子部位信息对判断作用也较大,面部表情判断是在整合眼部与嘴和鼻子部位信息的基础上完成的。这个过程通常先从提取眼部信息开始,然后转向鼻子和嘴,形成眼动轨迹的第一部分,接下来转向提取另一只眼睛的信息,形成眼动轨迹的第二部分。在实验二中,我们发现面部表情识别对不同面部位置信息依赖程度不同,遮蔽导致眼动模式的改变。判断眼部遮蔽的面部表情,被试的眼睛做上下运动完成识别,虽然眼睛被遮蔽,但识别过程依然寻求眼部信息;而判断鼻子和嘴遮蔽的面部表情时,被试的眼睛做左右运动,没有寻求被遮蔽部位信息,而是寻求左右眼部信息。这说明依赖眼部信息就可以完成识别。被试注视鼻子和嘴被遮蔽的图片的时间长,判断的准确率高,正确率为95%;被试注视眼部被遮蔽的图片的时间则短,判断的准确率低,正确率为87%,说明判断过程有很大猜测成分。判断眼部被遮蔽和鼻子和嘴被遮蔽面部表情的差异非常显著。这一结果与以往同类研究结果是一致的,眼睛部位条件下的正确判断成绩显著好于嘴部条件下的成绩。眼部遮蔽对表情识别的影响很大,尽管反应时缩短,但是准确率显著下降,说明眼部遮蔽导致有效信息不足,被试完成识别任务的猜测成分增加,这支持面部表情识别以特征部件识别为主的观点。我们认为各部件信息都有利于面部表情识别任务的完成,但研究结果说明不同部件信息的重要性不同,眼部信息是最重要的。提示我们在完成与识别面部表情有关的任务过程中要注意眼部信息的变化。结合两个实验的结果,我们发现面部表情识别的眼动过程是有规律的,眼动不是随意的,并且以部件信息为主,在整合部件信息的基础上做出识别,在部件信息缺乏时,搜索信息则以眼部为主。本研究的两个实验还发现表情性质对面部表情判断的显著作用。负性面部表情判断的注视时间长、注视次数多和瞳孔直径大。证