基于想象运动思维脑电的脑-机接口的实验研究

基于想象运动思维脑电的脑-机接口的实验研究

1实验设计与信号获取近年来，提出了多个思维方式的脑电气采集接口（bci）和脑功能的新技术。BCI系统实质上就是识别特定的脑电模式,然后按照预设规则将获取的脑电转化为信息。其算法(包括信号预处理、特征提取、模式识别分类)的选择十分重要。然而,在实际应用中,实验设计、控制信号获取(数据采集)、算法选择等方面因素都会影响最后的结果。因此,BCI系统全面建立过程中,实验设计和控制信号的获取是非常重要的第一步,也是获得良好结果的前提。目前,获取脑电的方式主要是非侵入式方法。它有3种类型:(1)在思维作业期间,不进行任何刺激情况下,通过头皮电极记录脑电;(2)利用单次视觉诱发电位获得脑电;(3)在感觉运动皮层区,利用μ节律的同步化和去同步化获得脑电。本研究中,我们采用第1种方式获取BCI的控制信号,即通过想象左右手等运动获取思维脑电信号。本研究的目的是探索一种实用的基于想象运动思维脑电的脑-机接口方式,通过寻找合适的信号处理方法,来提取最能反映不同思维的脑电特征,以得到准确的脑-机接口系统的外部控制命令,从而提高脑-机接口系统通讯识别正确率,为最终实现脑-机接口应用奠定比较坚实的理论和实验基础。其中,不同思维信号获取和特征提取与识别是非常重要和关键的两步。因此,本研究针对前几次实验处理和分析结果的基础上,我们重新对实验方案进行设计,指示信号采用随机获取信号的方式(C语言编程控制),并通过指示信号出现后时段t(即箭头出现2s、1s和0s后提示按键)的长短控制(具体实验见图3),对本实验室6名健康人进行3种不同时段情况下想象左右手运动(Left或Right)思维作业的信号采集实验;随后对离线实验数据进行处理和分析,并对不同时段情况下的结果进行分析与讨论。2t20系统仿真实验由于在脑-机接口系统中,BCI控制信号的获取非常关键,因此,我们着重讨论实验方案的设计和思维脑电信号的采集,这直接关系到后续提取特征质量的好坏,从而影响到识别分类的准确性。本研究采用荷兰BioSemi公司研制的生理信号测量系统(BiopotentialMeasurementSystem)ActiveOne来实现脑电信号采集,它是一个通用的32道生理信号测量系统。对本实验室6名健康受试者(Fzq,Hh,Wyz,Xb,Yqg,Zy),均为男性,右利手,年龄25～35岁,进行信号采集,实验框架见图1。实验前被试者未经任何训练。电极按国际10～20系统标准安放于C3、C4、P3、P4、O1、O2和CZ处,共7导,参考电极为两耳,模拟滤波范围为0～40Hz,见图2。图1中计算机1的主要功能实现实验提示作用,采用软件C语言编程的方式,在计算机屏幕上产生听觉(“嘟嘟...”)和视觉(随机出现向左或向右箭头)提示,以指示不同思维作业实验的进行。计算机2的主要功能是进行信号采集和处理,ActiveOne的接收器、接口板和软件安装在计算机2上。在计算机1与ActiveOne之间设计了专门接口,具体方法是将计算机1的并口输出与ActiveOne的触发输入相联,使得在记录脑电信号的同时,可记录不同时刻的触发事件。具体的实验过程:在隔音的光线微弱的房间内,受试者坐在计算机屏幕前100cm处,头戴电极帽,按提示(提示是按随机方式进行设计,更接近人的实际情况)完成一定的思维作业任务,记录相应的脑电信号,采样率为fs=512Hz,采样时间t=采样点/fs。具体实验过程见图3。这里给出t=2s时的具体的试验过程说明(t=1s和t=0s情况下依次类推):①0s出现“嘟嘟”提示音,此时屏幕为黑屏状态,表明实验开始(准备阶段);②5s后出现一个十字光标“+”,持续2s,此时段不进行任何思维作业(放松状态);③一直到第7s时刻,屏幕随机出现一个向左“→”或向右“←”的箭头,持续大概2s;④到第9s时出现一个小声音“嘟嘟”提示按键,同时立即用左手或右手进行按键(实际实验中,由于提示按键到实际动作之间有一段时间Δt的延缓,Δt很短,因不同人反应不同);⑤到第(11+Δt)s时(即实际按键2s后)再次出现“嘟嘟”提示音,表示第一次实验完毕;⑥间隔2s情况下,下面重复进行按键实验,即从第7s～(11+Δt)s这个过程进行重复实验,总共重复20次。3eeg信号的提取和分类研究表明,思维脑电主要与大脑感觉皮层区域相关,即电极C3、C4分布的区域。进行数据处理时,为了不损失脑电信息,取每次实际动作前1.5s的数据,对所有7导电极数据都进行分析;在提取后的特征分析中,我们主要分析了C3、C4和CZ获得的特征。脑电活动的频率主要分布在0.5～30Hz间,分为若干频带,不同人脑电信号的波形及其幅度都有较大差别;即便是同一个人,在进行不同思维任务时,脑电信号的成分也是不同的。由于思维作业脑电可分类的思想是基于不同思维作业会引起脑皮层不同位置处的低频脑电节律(如μ节律)会发生不同变化的现象而提出的,目前的主要研究工作也都是利用这些变化信息来完成对EEG信号的提取和分类。研究者在处理思维脑电信号时,大多将30Hz以上的频率成分看成是由肌肉活动和工频干扰引起的伪迹,进行特征提取前常用滤波等方法将这部分信号滤除掉。3.1第5-4确定协同小波分解系数ca5-ca8利用小波变换(小波函数选择Bio3.3)对信号进行分解滤波去噪处理,选择第6～8尺度上的细节信号D6、D7、D8来重构信号波形。这些尺度上的小波分解系数(cD6、cD7、cD8)可以表征重构信号的主要特征。所以,本研究中信号特征提取步骤可概括为:①对预处理的信号EEG数据进行小波分解得到第5尺度和第8尺度的小波分解逼近系数cA5、cA8;②用cA8重构出它第5尺度上的分量cA85,在cA5中扣除cA85;③得到新的小波分解系数cA5-8=cA5-cA85,再由CA5-8系数可以完全重构出s′=cD6+cD7+cD8。通过上述提取信号特征过程后,以C3,C4和CZ三个电极的小波系数构建特征向量:①单独以某个电极时:FC3={FLi,C3,FRj,C3},FC4={FLi,C4,FRj,C4},FCZ={FLi,CZ,FRj,CZ}②C3,C4和CZ三个电极合并时:FL={FLi,C3;FLi,C4;FLi,CZ},FR={FRj,C3;FRj,C4;FRj,CZ}总特征向量:F总={FL,FR}={FLi,C3,FRj,C3;FLi,C4;FRj,C4;FLi,CZ,FRj,CZ}其中:i,j分别为每个受试者相对应的左右次数值,且i+j=20(见表1)。由于每个受试者每次试验的左右随机出现总次数和为20,且提取的特征个数为30,所以FC3是30×20维特征矩阵,其它电极情况依次类推。所以,对于三道电极(C3、C4和CZ)来说,总特征向量是90×20维特征。3.2前向bp神经网络对于提取后特征的分类,目前有很多种方法,比如Fisher线性判别、贝叶斯方法等,而神经网络以其强大的非线性映射努能力,在模式识别领域得到了广泛的应用。本研究中,对于最后要识别分类的特征是判别出左或右,所以是属于典型的二分类问题,我们采取BP神经网络进行识别分类。具体识别分类时,用前向BP神经网络对不同脑电特征的两种思维作业的组合进行训练和分类。采用newff函数创建一个前向BP网络,输入层神经元个数为30(或90),隐含层传递函数为tansig,输出层传递函数采用logsig,训练函数为traingscg,学习函数为learngdm,输出值范围为(0,1);以0.5为临界值,小于0.5判别为左(L),大于0.5判别为右(R);当平均误差率小于0.001,训练停止,使得网络能分类出这两类不同的思维作业信号,这样可以保证网络的输出。网络参数的选择和优化过程,篇幅限制这里不详细阐述。以上提取特征和识别分类的具体算法程序采用Matlab6.5编写。识别分类正确率计算公式为:Rclass=L识别正确数+R识别正确数S待识别总数×100%式中:L为识别想象向左运动的正确次数;R为识别想象向右运动的正确次数;S为待识别想象运动的总次数。4结果与分析根据上述的特征提取和识别分类算法过程,通过Matlab和统计分析软件的处理与分析,主要得到以下三个方面结果,并对其进行分析。4.1东南角正常值的延迟时间从以上实验方案的设计和实际的实验情况来看,不管是哪个受试者,都存在着提示按键到实际按键之间一段时间Δt的延缓问题,本研究在箭头出现t=0s,t=1s和t=2s后提示按键三种情况下6个受试者的Δt试验结果见表2。实验结果表明,在三种情况下不同受试者的Δt并不完全一样,对于这段时间的分析和确定,以及这段时间内信号特征的研究都显得极为重要。对表2经过统计分析发现,在箭头出现t=0s,t=1s和t=2s后提示按键三种情况下6个受试者的平均延缓时间Δt0与Δt1和Δt2分别为0.50、0.38和0.40s,且Δt0与Δt1和Δt2有显著性差异(p01=0.010,p02=0.017),而Δt1与Δt2之间没有显著性差异(P12=0.767)。这些结果表明:箭头出现后立即按键得到的延缓时间比其他两种情况下要长,主要是因为担心按键按错,提示按键后有一段时间延缓,使得时间更长;而在箭头出现t=1s和t=2s后提示按键,正是因为有这么长的一段时间准备,使得延缓时间要短些,且这两种情况下没有显著性差异。从这里可以得出结论:箭头出现后t=1s和t=2s这两种情况得到结果比较一致;箭头出现后不超过1s的时间提示按键,实验表明是合理的。4.2平均图像数据处理将实际动作前1.5s(768点)的数据,进行了预处理,随后利用小波变换和多分辨率分析进行信号去噪并提取相应的特征,图4给出了受试者之一Zy在t=0s,t=1s和t=2s时的小波分析结果(由于篇幅限制,其他受试者不一一列出)。由图4可见:小波分解系数的数据长度为30,与原信号的数据长度768(1.5s)相比,数据长度压缩到原来的4%,这里的小波系数即可以作为提取的脑电特征;同时发现在箭头出现t=0s,t=1s和t=2s后提示按键三种情况下,每个受试者不同思维作业脑电在C3、C4处都存在着显著性的差别,而在实际动作前0.5～1s左右表现得更为明显。当然对于不同得受试者而言,由于受到各自注意力、精神状态和其他实验因素等方面影响,使得实验结果存在一定的个体差异,不过总体上看来,这种特征的变化还是非常明显和比较一致的。4.3平均分类正确率为了更好更全面的反应各种情况下的识别分类效果,同时检验所采用的网络识别分类方法的有效性和适应性,这里使用了前向BP神经网络对同一受试者进行训练和测试。训练样本集为某一个受试者的部分样本数据,而测试样本集为该受试者的另外一部分样本数据,同时对于特征向量为C3、C4、CZ和这三个电极全部合并一起的四种情况下分别进行了识别分类研究。表3是在箭头出现t=0s,t=1s和t=2s后提示按键三种情况下6个受试者在每维取30个小波系数时的分类结果,图5为全部受试者再三种情况下取不同特征向量时的平均分类正确率。从表3和图5发现:在不同时间情况下,当我们选择不同的特征向量时,其识别分类正确率也有所变化,比如在特征向量为C3时,箭头出现t=1s后提示按键情况下,识别分类正确率分别为86.67%、76.67%、70%和65%。同时发现,当特征向量选择单独某个电极得到的分类率,比这些电极合并时得到的分类率要高些。从总体看来,当特征向量选择C3,且在箭头出现1s后提示按键这种情况下,得到的识别分类正确率更好些,其识别分类正确率的平均值为86.67%,最小值为80%,最大值为90%。另外,也发现个别受试者在一些情况下的正确率不是特别理想,比如受试者Hh。这些主要是由于个体差异所造成的,比如受试者注意力不集中、疲劳、反应时间上差异等原因造成。总体上看来,通过此方案设计的信号采集实验,在经过合适信号处理方法选择和参数优化基础上,可以获得比较满意的识别分类结果,为BCI系统提供比较理想的控制信号。5测试结果分析针对目前脑-机接口的研究情况来看,本研究在自行进行实验方案设计的基础上,主要从以下几个方面作了尝试和探索分析:(1)三种方式下进行实验设计和分析:由于要研究的信号是思维信号,即实际动作前的信号,所以实际动作点时间的准确定位在本研究中显得极为重要,同时为了探讨箭头提示出现后思维的信号分布情况,所以在这里设想箭头出现t=2s、t=1s和t=0s后提示按键三种情况进行实验分析,更能反映人的思维信号实际情况,从而为BCI系统提供更加可靠的控制信号。实验结果表明:提示时间太短,由于紧张容易造成按键错误;时间太长会引起人的疲劳、注意力不够集中从而导致识别分类率下降,故认为在箭头出现1s后提示按键比较适合,而且可以获得更好的识别效果。(2)随机方式进行控制实验:本实验方案在前几次的基础上进行了改进,认为采用随机的方式产生左右箭头的出现来指示实验的进行,这种方式与人实际思维的随机性特点非常接近,更能说明实际情况。从表1中三种情况下6个受试者左右次数随机分布情况来看,部分受试者的左右分布相差比较大,其原因是重复的总次数只有20次,相对不多造成的;不过总的看来,左右分别是比较均匀的。(3)信号处理算法与识别分类正确率关系:特征的选择和合适的识别分类算法是信号处理中最为关键的问题。网络参数设计优化效果对于分类正确率有着较大的影响,比如不同神经网络方法的选择,各层神经元个数的确定(特别是隐含层神经元个数的确定),传递函数的选择,训练函数的选择等。本研究采用地小波变换方法可以很好地提取信号特征,同时在处理中