加工通道下脑事件相关电位的编码特征

加工通道下脑事件相关电位的编码特征

1心算的结构与运算方式心算是指在不外部因素（如纸笔、模拟器等）的帮助下进行的计算活动。心算已经日益成为心理学家们高度关注的研究主题。无论在日常生活还是在学校教育中,人们做心算时最常涉及到的无非是加、减、乘、除四项基本运算。一些神经科学研究证明,加法是心算活动中最为基础的,减法、乘法和除法都有与加法相重合的脑区。不同运算方式的脑生理机制虽然存在一定的共性,但也出现了分离。一般认为心算的加工环节主要包括三个部分:编码(表征)、运算(或提取)和反应(给出答案)(Campbell,2004)。根据信息加工的观点,当有机体对外界信息进行加工(输入、编码、转换、存储和提取等)时,这些信息是以表征的形式在头脑中出现的。从输入通道看,有视觉的方式,有听觉的方式;从输入语言形式看,有阿拉伯数字的输入方式,有各种言语(汉语、英语等)的输入方式。对于心算不同运算方式编码特征的研究,多是采用不同输入语言形式的方法。如No觕l和Seron(1997)用罗马数字和阿拉伯数字呈现乘法问题以考察不同输入形式对心算过程的影响,研究认为数字输入方式的不同不仅影响心算的编码阶段,而且还影响随后的心理操作。周新林和董奇(2003)探讨了加法和乘法算式的心理表征方式问题,要求被试回答一位数加法和乘法问题,这些问题中的算数用阿拉伯数字呈现或者汉字数字呈现。结果发现与阿拉伯数字条件相比,汉字数字条件对加法问题产生更大的影响,检验了加法和乘法算式表征分离的假设:对于加法算式主要形成视觉-阿拉伯数字表征,对于乘法算式主要形成听觉-言语表征。Fehr,Code和Herrmann则进行了心算不同运算方式输入通道的研究,分别进行了视觉(2007)和听觉(2008)任务呈现的实验,考察了一位数和两位数的加减乘除心算任务的特点。研究发现所有运算都激活了一些共同的脑区,比如右侧楔前叶、双侧额上、额中区,其他脑区则是特异性的,主要分布在枕叶和中央区。在听觉形式呈现任务的情况下,共同激活的区域主要有右侧额上回、楔前叶和丘脑,表现出右半球优势。在心算不同运算方式的研究方面,探讨较多的就是加法、减法和乘法的特点。脑损伤研究显示,左脑外侧裂周围脑区受损,被试的乘法和除法能力严重不足,却相对保留了加法和减法运算(Cohen2000)。神经成像研究也证实,与减法相比,乘法运算主要激活了左脑外侧裂周围的语言区(Lee2000)。可见加减法与乘除法存在编码方式的差异。但这也依赖于运算任务的复杂程度,心算任务在提取和实际运算过程中采取的编码方式也是有差异的。Burbaud等人(2000)发现,在一系列减法任务中,当被试报告言语加工策略时,主要是左背外侧裂激活以及少量的顶叶下部激活。当被试报告视觉的加工策略,则观察到两侧前额叶和左顶叶下部激活。相反,Zago等人(2001)在运用PET技术考察复杂乘法运算特点的实验中发现,在26×38这样的复杂乘法活动中两侧颞下回被明显激活。以往的大量研究已得到明确结论,颞下回的活动与视觉信息的加工有密切关系。这意味着,复杂的乘法心算活动也存在视觉空间表征,而不单独依赖言语表征。他们认为复杂的乘法任务的时间空间加工更加要求额叶-顶叶联合区的参与。Lee和Kang(2002)设计了一位数乘法和减法的双任务行为研究范式,对不同的输入通道进行干扰,考察了工作记忆对算术运算的影响。实验结果发现语音回路的双任务影响乘法运算,而不影响减法运算。但是,视空间的双任务只影响减法,却不影响乘法。这可能是由于减法和乘法运算拥有不同表征方式:乘法主要运用听觉的言语表征方式,因此受到语音环路次级任务的影响,而减法主要依赖视空间表征和与心理数字线相关的近似数量表征,因而视空间次级任务对其的影响比较大。从Lee和Kang的行为实验可以看出,干扰不同的输入通道可以在编码方式上分离减法和乘法。但他们对于减法和乘法表征方式不同的猜测仅仅停留在行为实验结果,未得到脑生理机制方面的证实。Fehr等人虽然采用不同输入通道考察了加减乘除四种运算方式的特点,但只是笼统地研究了四种运算方式的脑区差异,并未对不同运算方式的编码差异与通道差异相结合进行详细类比讨论,尤其是没有更进一步对减法和乘法的编码方式进行比较。从以往研究发现,加法和乘法在编码方式和提取方式上都有部分一致性,而除法则是最复杂的运算,编码过程较为复杂,往往是做对乘法的逆运算,而又具有自己本身的加工特点,所以不易于区分研究。减法和乘法的编码方式不一致性较大,更容易在实验中对脑区进行分离。另外,Fehr等人的研究包括简单的一位数提取任务和复杂的两位数运算任务,所以难免产生编码方式的混淆,不能清晰考察心算加工的编码特点。而且他们得出在听觉通道下出现右半球优势,是否真的由于听觉通道所引起,还是也包含了心算任务复杂度的影响,并不清楚。因此,本实验以上述理论为基础,采用视觉和听觉两种输入方式,以简单心算为实验任务,考察视觉和听觉通道下心算加工的特点,同时对减法和乘法编码方式的差异进行分析。不仅能够为减法和乘法在听觉通道下编码方式的不同提供更为直观的脑生理基础,而且能够检验听觉通道下,心算加工所出现的右半球优势是由于采用了听觉通道输入,还是因为任务复杂度本身所产生的影响,从而更深入地探讨两种心算方式在不同通道下的ERP特征,以及在听觉通道下是否存在右半球优势。2方法2.1听力及精神病史14名高校在读学生(男生6名,女生8名),23-27岁(24.5±1.26),身体健康,右利手,视力或矫正视力正常,听力正常。所有被试均无神经系统疾病或精神病史。在实验完成后给予被试一定酬谢。2.2视觉呈现和听力呈现高校刺激材料为个位数乘法及其减法运算,分为视觉材料和听觉材料。减法中所有答案为正。视觉和听觉的呈现条件下各100道题目,其中乘法和减法各50道,视觉呈现和听觉呈现的题目相同,正误各半。听觉任务下的语音材料均由普通话二级甲等播音员录制,并在录制后统一使用Goldwave声音编辑软件进行编辑,使所有声音时间长短一致,且具有统一的音频属性。2.3法和乘法任务的对比采用E-prime编写实验程序。实验包含四种条件:视觉呈现减法运算、听觉呈现减法运算、视觉呈现乘法运算、听觉呈现乘法运算。为了平衡顺序效应,一半被试先参加视觉呈现实验,再参加听觉呈现实验;另一半被试则先参加听觉呈现实验,再参加视觉呈现实验。同样,在减法和乘法任务上也做了类似平衡。在每种呈现条件下,被试都将做减法和乘法运算。两种任务呈现顺序基本一致:首先在屏幕中央呈现“+”注视点250ms(听觉呈现是“嘀”声),然后是200ms的空白延迟,接着呈现第一个操作数250ms,之后是200ms的延迟,之后呈现运算符300ms,之后是200ms的延迟,接着呈现第二个操作数250ms,接着是1500ms的运算时间,之后呈现答案250ms(听觉呈现任务中两位数字的呈现时间是450ms),最后给被试700ms的反应时间,ITI为500ms。计时从呈现完算式的结果开始到被试按下反应键后结束。被试用右手反应,对正确答案按键盘“1”键,对错误答案按“2”键。实验流程如图1所示。脑电数据从运算符呈现后开始分析。所有被试均在隔音避噪、灯光柔和的环境下完成实验。实验前给被试一定的练习时间,确保被试完全熟悉实验流程。2.4u3000精密度和脑电记录采用美国NeuroScan记录与分析系统(Neurosoft,Inc.,Sterling,USA)、按国际10-20系统扩展的32导Quick-cap电极冒记录EEG。脑电记录时采用单极导联,左侧乳突为参考电极,双眼外侧安置电极记录水平眼电(HEOG),左眼上下安置电极记录垂直眼电(VEOG)。所有电极电阻小于5千欧。脑电记录时采样率为500Hz,带通滤波0.05-70Hz。2.5实验条件及分析方法行为数据采用SPSS统计软件对反应时进行重复测量方差分析。ERP数据离线分析。数据转化为双侧乳突参考。所有电极幅值超过±100uv都视为伪迹剔除。对数据进行零相位低通30Hz滤波。ERP分析时程(epoch)为第二个操作数呈现后的1750ms,基线为刺激出现前150ms。根据前人研究及本实验特点,对于N1、P2,选取FZ、CZ、FCZ、FC3、FC4五个电极点进行分析。包含三个自变量,运算方式(减法/乘法)、通道类型(视觉/听觉)和五个电极点,对波峰和潜伏期进行2(运算方式)×2(通道类型)×5(电极位置)三因素重复测量方差分析。对350ms之后的脑电进行分段分析,采用额区、中央区、顶区、颞区和枕区的FZ、F3、F4、CZ、C3、C4、FT7、FT8、OZ、P3、P4、PZ、P7、P8十四个电极,将脑电分为350-450ms、450-550ms、550-650ms、650-750ms、750-850ms、五个时间窗口。对各个时间窗口的平均波幅进行2(运算方式:减法、乘法)×2(通道类型:视觉、听觉)×3(左右脑区:左、中、右)×3(前后脑区:额区、中央区、顶-枕区)的重复测量方差分析,统计分析采用SPSS15.0统计软件进行,方差分析的p值采用Greenhouse-Geisser法校正。3结果报告3.1运算方式、通道类型与正确率的关系该实验得出的反应时即为被试进行正误判断的反应时间。对反应时和正确率做重复测量方差分析(排除了两名反应时过长的被试数据),发现在反应时上,运算方式主效应显著F(1,11)=6.599,p<0.05,运算方式与通道类型的交互效应显著F(1,11)=9.552,p=0.01,视觉减法的反应时小于听觉减法;而视觉乘法的反应时大于听觉乘法。在正确率上,两者的交互效应临界显著F(1,11)=3.349,p=0.094。四种实验条件下的反应时和正确率数据见表1。3.2图像电极点速度特性根据以往研究(Nú觡ez-Pe觡a,Cortinas,&Escera,2006),将算术加工过程的脑电分为两个阶段:刺激辨认阶段和随后的运算加工阶段。本实验设计算式是顺序呈现的,从呈现第二个操作数同时开始记录脑电。由于在此之前,运算符已经呈现,所以脑电包括对运算方式的辨认,第二个操作数一旦被被试所感知,则运算加工开始。所以包含第二个操作数的呈现时间,脑电整体表现为刺激后300ms内的视觉的N1-P2,听觉的N1高频成分和随后持续到850ms左右的慢波成分。部分重要电极点的波形图见图2所示。首先对N1波峰分析,发现通道类型主效应显著F(1,13)=26.873,p<0.01,听觉通道下的波峰明显大于视觉通道下的波峰。通道类型与电极点交互效应边缘显著F(4,52)=2.745,p=0.062,而运算类型主效应不显著。对N1潜伏期进行分析未发现显著差异。N1在部分电极点的波峰和潜伏期数据见表2。由于P2只在视觉任务中出现,所以仅对视觉任务进行分析。从波峰分析可以看出,运算方式主效应显著F(1,13)=5.861,p<0.05,减法任务显著大于乘法任务;电极点主效应显著F(4,52)=8.058,p<0.01,FCZ点最大,其次是FZ和CZ点,FC3和FC4点最小。分析潜伏期得出运算方式和电极点主效应都不显著。P2在部分电极点的波峰和潜伏期数据见表3。3.2.3图像电极位置前后脑区主效应显著F(2,26)=11.104,p<0.01,顶-枕区的平均波幅最大,颞区次之,额区的平均波幅最小。运算方式与前后脑区交互作用显著F(2,26)=5.55,p=0.01,额区和颞区在减法运算下的平均波幅都小于在乘法运算下的,顶-枕区在乘法运算下的平均波幅小于在减法运算下的。单独考察C3和C4,发现两者电极位置主效应显著F(1,13)=7.913,p<0.05,C3的平均波幅大于C4。FT7和FT8运算方式主效应显著F(1,13)=12.967,p<0.01,减法的平均波幅显著小于乘法;运算方式与通道类型交互作用显著F(1,13)=5.154,p<0.05,在视觉通道下,减法任务的平均波幅大于乘法任务,在听觉通道下,减法任务的平均波幅小于乘法任务。P3和P4电极位置主效应显著F(1,13)=8.489,p<0.05,P3的平均波幅大于P4。P7和P8电极点位置主效应显著F(1,13)=4.918,p<0.05,P7的平均波幅大于P8。左右脑区主效应边缘显著F(2,26)=3.857,p=0.055,中央脑区平均波幅最大,左半球次之,右半球的平均波幅最小。运算方式与前后脑区交互作用显著F(2,26)=6.74,p<0.05,额区和颞区在减法任务下的平均波幅都小于在乘法任务下的,顶-枕区在乘法任务下的平均波幅小于在减法任务下的。在两种运算方式下,额区的平均波幅都最小。在减法任务下,颞区的平均波幅小于顶-枕区,在乘法任务下,颞区的平均波幅大于顶-枕区。左右脑区主效应显著F(2,26)=4.174,p<0.05,中央脑区平均波幅最大,左半球次之,右半球的平均波幅最小。运算方式与前后脑区交互作用显著F(2,26)=4.673,p<0.05,额区和颞区在减法任务中的平均波幅小于乘法任务,而顶-枕区在减法任务中的平均波幅大于乘法任务。在减法任务下,顶-枕区的平均波幅最大,额区最小,而在乘法任务下,颞区的平均波幅最大,顶-枕区最小。左右脑区主效应边缘显著F(2,26)=3.563,p=0.066,中央区的平均波幅最大,其次是左半球,右半球的平均波幅最小。运算方式、通道类型与电极位置三者交互效应显著F(1,13)=6.346,p<0.05。P7和P8通道类型与电极位置交互效应显著F(1,13)=8.033,p<0.05,P7的通道类型差异不大,而P8在听觉通道下的平均波幅显著大于P7。脑电已基本接近基线水平,没有明显的波幅变化。另外,各时间段均发现FT7和FT8电极点通道类型和电极位置交互效应边缘显著,表现为FT7在视觉通道下的平均波幅大于听觉通道下的,FT8刚好相反。4速度结构的分异本实验目的考察视觉和听觉两种通道下心算加工的ERP特征,并分析减法和乘法的编码方式。从行为实验结果可以看出,视觉减法的反应时小于听觉减法,且错误率低;而视觉乘法的反应时大于听觉乘法,且错误率高。由于实验任务较为简单,被试在错误率上没有达到显著性差异,但从实验数据统计来看,基本验证了前人的行为实验结果和本实验的假设,即表现出了减法和乘法由于自身编码方式的差异,而使得在不同输入通道下各具优势。在行为实验结果中,明显看出听觉乘法运算的反应时最短,这可能是由于被试在运算过程中受到了直接提取的影响。在简单心算任务中,人们往往不会实际进行运算,而是直接进行提取。本实验为了避免被试过多的使用提取,所以在实验设计显示结果之前有1500ms的思考时间,要求被试必须经过运算,再判断之后显示的结果是正确还是错误。在Jost等人(2004)的研究中,将N400的潜伏期看做是答案激活速度的一种指标,且通过N400检验出,简单乘法运算的答案激活速度比简单加减法都要快,其原因就是简单乘法的提取是最多的(因为受乘法表的影响),而简单加法运算中只有一半是用到了直接提取,简单减法运算的提取最少。在本实验中,因为要求被试有较长时间的运算,从而控制了其短时间内的提取,所以没有产生较明显的N400指标。但乘法运算由于其较依赖于言语表征,而本研究中又直接由听觉通道输入,所以可能更加促进了其结果的提取或者快速运算,因此表现出听觉通道下反应时最短。在处理脑电结果时,根据脑电波的特异性,分为了两个阶段进行分析:对300ms之前的高频成分做波峰与潜伏期的分析;对慢波阶段的五个时间窗口进行平均波幅的分析。心算过程中ERP早期成分是由数字的视觉刺激引起的,这一时期只是对数字的空间和图形属性进行处理,还没有进行具体的运算加工。只有对数字正确识别后,才能进行运算任务,且对数字的空间属性和图形属性的处理是在不同时间内进行的。从图1可以看出,视觉任务和听觉任务的早期成分在额区和中央区呈现明显的相反趋势,在视觉任务下有明显的N1-P2早期成分,在听觉任务下有明显的N1成分。即在早期阶段,通道在额区和中央区产生了分离。P2只在视觉任务中出现,不仅反映了感知觉的视觉编码阶段(Coles&Rugg,1995),而且与数字认知的早期加工有关(Kongetal.,1995)。从对P2的分析可以看出,减法和乘法任务中,被试早期的认知加工过程没有先后差异。从电极点差异可以看出,额中央区激活最为显著,在左右额中区的激活都较小。因此从视觉通道与听觉通道早期成分N1-P2的显著分离中,可以看出心算在不同通道上的编码方式表现出不同的ERP特征。从350ms之后,就是对慢波阶段的分析。从慢波整体波形图可以看出听觉通道与视觉通道的差异表现。Nú觡ez-Pe觡a和Escera(2007)认为,正慢波在功能上与计算加工有关。有研究认为正慢电位和负慢电位都与心算有关,Jost等人(2004)使用单位数乘法研究,在P300后只诱发出与心算过程有关的负慢电位,而没有诱发正慢电位。Urbach和Kutas(2002)则认为负慢电位是单位数乘法在ERP上的特征性表现。本实验在视觉乘法任务中,约500ms之后出现了较明显的负慢电位,但在听觉通道下则没有表现出明显的负慢电位。可以看出,负慢电位是乘法在视觉通道下的特征性表现,但在听觉通道下则未表现出。因此从本研究可以看出,对于以往乘法负慢电位的特征研究,只是视觉心算的特征表现,听觉心算中并不一定显著。大量的研究表明,慢电位与心算过程密切相关,它的平均波幅和时程不但可以反映心算的执行,而且能够反应心算问题的类型和难易。Nú觡ez-Pe觡a等人(2004)在加减心算的研究中,得出减法心算引出的正慢电位比加法心算的要大,即使是在同一种运算中,复杂的心算比简单的心算引起的慢电位要大。研究显示正慢电位的潜伏期随着心算任务难度的加大而延长。同样在本实验中,约400ms以后,减法在视觉和听觉通道都出现了正慢波,但视觉通道下比听觉通道下的平均波幅要大,说明在视觉通道和听觉通道下,虽然做相同难度的运算,但在视觉通道下所引发的心理加工过程明显要比在听觉通道下的复杂。因此,可以认为视觉通道下的慢电位在简单心算任务ERP上具有典型的特征性表现,但在听觉通道下还有待进一步的考证。除了从ERP整体波形图可以看出通道差异与运算方式差异的表现外,在慢波分时间段分析中,也总结出了不同通道与运算方式下脑区差异的表现。一方面是运算方式在通道差异影响下所产生的脑区差异。Kawashima等人(2004)进行的一位数简单运算的fMRI研究中,发现在减法任务中,辅助运动区、左脑额中回、顶叶皮层内部,以及颞下回和两半球的外侧枕叶皮层激活,而在乘法任务中,左侧顶下小叶和额中回皮层,以及顶下小叶、颞下回和两半球外侧枕叶皮层激活。在其研究中,减法和乘法在颞叶和枕叶皮层都有激活。以往关于fMRI和ERP的研究也发现(Turconi,Jemel,Rossion,&Seron,2004),左枕-颞区与辨别阿拉伯数字和视觉符号有着密切关系。而在本实验中,乘法在颞区的平均波幅大于减法,而减法在顶-枕区的平均波幅大于乘法。颞区与枕区出现了激活的明显分离,可以推测是受到视觉和听觉输入通道的影响。乘法主要运用听觉的言语表征方式,在听觉通道下更具优势,因而也就伴随着颞叶的显著激活,而减法主要依赖视空间表征,因而在视觉通道下优势较大,对枕叶的激活也更为强烈。这也验证了Lee和Kang的行为实验研究结果。另外,单独考察FT7和FT8电极点时,发现在整个慢波过程中,在视觉通道下,减法任务的平均波幅大于乘法任务,在听觉通道下,减法任务的平均波幅小于乘法任务。可见在这两个电极点上,通道类型和运算方式都产生了显著分离。由于本实验未设有控制组,所以不能将通道对运算类型的促进作用加以量化。虽然只能将两种通道下的任务加以对比考查,但也得出了与前人研究相呼应的结果。另一方面,不同通道下左右半球激活程度也表现出差异。在450ms-750ms,都发现了中央区激活最为显著,左半球次之,右半球激活最小。可以看出,左半球是心算加工的优势半球。而众多研究也表明了心算加工的左半球优势,除非较复杂的运算会产生引起右半球的过分激活(Pesenti,2001)。在单独考察成对电极点时,却发现在350-450ms,C3的平均波幅大于C4,P3的平均波幅大于P4,P7的平均波幅大于P8。也就是说,在450ms之前虽然没有表现出整体的左半球优势,但在中央区和顶叶的部分电极点中,仍表现出左半球电极点激活程度较高。但是在450-750ms,虽然整体脑区分析都表现出左半球优势,可是发现P7和FT7在视觉通道下的平均波幅较大,而P8和FT8在听觉通道下的平均波幅较大。这表明了顶叶和颞叶的两对电极点,在听觉通道下表现出了显著的右半球优势。这对Fehr等人的研究进行了部分验证,他们研究发现加减乘除四种运算在听觉呈现任务的情况下,共同激活的区域主要有右侧额上回、楔前叶和丘脑,所以总体表现出右半球优势,