脑电与肌电联合控制鼠标的方法

(19)中华人民共和国国家知识产权局(12)发明专利说明书(10)申请公布号CN101776981A

(43)申请公布日2010.07.14(21)申请号CN201010031318.8(22)申请日2010.01.07(71)申请人天津大学地址300072天津市南开区卫津路92号天津大学(72)发明人明东朱誉环綦宏志程龙龙万柏坤(74)专利代理机构天津市北洋有限责任专利代理事务所代理人程毓英(51)Int.CI G06F3/048

G06F3/01

G06F3/038权利要求说明书说明书幅图(54)发明名称 脑电与肌电联合控制鼠标的方法(57)摘要 本发明属于生物医学工程及计算机技术领域，涉及一种脑电与肌电联合控制鼠标的方法：选择适当的头皮导联电极采集操作者的脑电和肌电信号数据，并将其输入计算机鼠标控制接口系统，操作者根据计算机屏幕光标循环控制指示显示的运动方向，通过想象手部运动来确定方向，模拟光标移动过程；当光标移动到目标时，咬牙确定选择，模拟鼠标点击过程。本发明实现全新的无肢体动作控制计算机鼠标过程，可让全身性重症瘫痪但头脑功能正常的残疾人自行实现对计算机屏幕鼠标光标运动的智能控制操作，依托于脑-机接口这个平台并结合头皮肌电，可以显著提高控制速率和正确率。法律状态法律状态公告日法律状态信息法律状态

权利要求说明书1.一种脑电与肌电联合控制鼠标的方法，其特征在于，包括下列步骤：

(1)在操作者头后部C3、C4导联处放置电极来检测脑电信号，在T5处放置电极检测咬牙头皮肌电信号；

(2)在计算机屏幕上显示表征静息不进行想象动作的训练界面，对操作者进行静息训练，并对采集的脑电信号进行功率谱分析，将8-13Hz的功率谱的平均值作为特征值，提取多组特征值；

(3)在计算机屏幕上显示表征想象手部运动的训练界面，对操作者进行想象手部运动训练，并对采集的脑电信号进行功率谱分析，将8-13Hz的功率谱的平均值作为特征值，提取多组特征值；

(4)在计算机屏幕上划分目标选择区和鼠标方向选择区，进入鼠标控制阶段；

(5)在鼠标方向选择区里显示表征控制鼠标移动各个方向的不同的图标，由程序循环控制各个图标依次突出显示；

(6)提取操作者在每个图标突出显示时段内的脑电信号，对测得的数据进行功率谱分析，提取8-13Hz的功率谱的平均值作为特征值，依据步骤(2)和(3)的训练结果，根据马氏距离判别法进行判断，如果判断为想象手部运动，则在目标选择区内，将鼠标在目标选择区内向图标指示方向移动，否则，鼠标不移动；

(7)当鼠标移动到目标区域后，计算T5导联处头皮肌电信号的能量谱，并读取其中频30-35Hz处能量值，若高于所设定的阈值，则表示该目标就是操作者选择的目标，进行确定选择，否则，不进行操作；

(8)重复步骤(6)和(7)，实现鼠标移动和确认控制。

2.根据权利要求1所述的脑电与肌电联合控制鼠标的方法，其特征在于，把操作者静息时脑电信号8-13Hz的能量值，即该段功率谱的平均值，记为V_open，咬牙时肌电信号30-35Hz处能量值记为V_close，其差值记为V_d，则步骤(7)中确定选择的

阈值V_ref按下面公式计算：V_ref＝V_open+0.5V_d。

说明书技术领域

本发明涉及一种智能鼠标控制方法，属于生物医学工程及计算机技术领域。

背景技术

第一次BCI国际会议给出的BCI的定义是：“脑-计算机接口(BCI)是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”它通过采集和分析人的脑电信号，在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。

基本BCI系统如图1所示，含有操作控制意图的脑电信号通过电极从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信号特征，并将之转化为控制外部设备的操作命令。目前BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。

脑-机接口作为一种全新的信息交换和控制技术，将为瘫痪病人，特别是那些丧失了基本肢体运动功能但思维正常的患者，提供一种与外界进行信息交流和控制的新途径，正受到越来越多的重视。

发明人申请的在先专利200610129255.3涉及一种脑-机接口鼠标控制方法，该种控制方法提取采集和提取脑电中alpha(α)波作为特征控制信号，控制计算机屏幕鼠标光标运动。但此项专利只是给出了如果提取鼠标光标移动的脑电控制信号，并没有给出如何对鼠标位置给予确认，存在鼠标控制不精确的缺陷。

发明内容

本发明的主旨是克服现有技术的缺陷，提出一种更为精确的智能鼠标控制方法以实现计算机鼠标控制的无肢体动作遥控过程。本发明将脑电和肌电相结合，比单纯的脑-机接口系统提高了速率和正确率。本发明可让全身性重症瘫痪但头脑功能正常的残疾人自行实现对计算机屏幕鼠标光标运动的遥控操作。

为此，本发明采用如下的技术方案：

一种脑电与肌电联合控制鼠标的方法，包括下列步骤：

(1)在操作者头后部C3、C4导联处放置电极来检测脑电信号，在T5处放置电极检测咬牙头皮肌电信号；

(2)在计算机屏幕上显示表征静息不进行想象动作的训练界面，对操作者进行静息训练，并对采集的脑电信号进行功率谱分析，将8-13Hz的功率谱的平均值作为特征值，提取多组特征值；

(3)在计算机屏幕上显示表征想象手部运动的训练界面，对操作者进行想象手部运动训练，并对采集的脑电信号进行功率谱分析，将8-13Hz的功率谱的平均值作为特征值，提取多组特征值；

(4)在计算机屏幕上划分目标选择区和鼠标方向选择区，进入鼠标控制阶段；

(5)在鼠标方向选择区里显示表征控制鼠标移动各个方向的不同的图标，由程序循环控制各个图标依次突出显示；

(6)提取操作者在每个图标突出显示时段内的脑电信号，对测得的数据进行功率谱分析，提取8-13Hz的功率谱的平均值作为特征值，依据步骤(2)和(3)的训练结果，根据马氏距离判别法进行判断，如果判断为想象手部运动，则在目标选择区内，将鼠标在目标选择区内向图标指示方向移动，否则，鼠标不移动；

(7)当鼠标移动到目标区域后，计算T5导联处头皮肌电信号的能量谱，并读取其中频30-35Hz处能量值，若高于所设定的阈值，则表示该目标就是操作者选择的目标，进行确定选择，否则，不进行操作；

(8)重复步骤(6)和(7)，实现鼠标移动和确认控制。

作为优选实施方式，本发明的智能鼠标控制方法，把操作者静息时脑电信号8-13Hz的能量值，即该段功率谱的平均值，记为V_open，咬牙时肌电信号30-35Hz处能量值记为V_close，其差值记为V_d，则步骤(7)中确定选择的阈值V_ref按下面公式计算：V_ref＝V_open+0.5Vd。

本发明提出了一种新的脑电与肌电复合信源模式控制计算机屏幕鼠标光标运动切换方法和装置，以实现全新的无肢体动作控制计算机鼠标过程，可让全身性重症瘫痪但头脑功能正常的残疾人自行实现对计算机屏幕鼠标光标运动的智能控制操作，依托于脑-机接口这个平台并结合头皮肌电，可以显著提高控制速率和正确率。

附图说明

图1BCI系统及其控制框图。

图2BCI控制系统结构框图。

图3计算机屏幕显示的操作界面，(a)为静息不进行想象动作训练界面，(b)为出现箭头的时候则想象手部运动训练界面。

图4计算机屏幕显示的操作界面。

图5计算机屏幕显示的目标选择画面。

图6(a)、(b)、(c)、(d)四个图分别为第1，2，3，4时刻光标显示位置示意图。

图7鼠标移动流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明选用具有ERD特征的脑电和咬牙产生的肌电作为特征控制信号。当人对肢体动作进行想象的时候动态脑电信号特征频段功率谱密度就会发生改变，其中功率谱比率下降称为ERD，通常在10~11Hz最为明显，由此可以利用大脑在进行想象动作思维时所引发的ERD现象作为思维活动对刺激事件有效应答的标志。而咬牙所产生的肌电具有特征频段明显，信号产生速度快，分辨正确率高的特点。本发明将想象动作ERD和咬牙产生的肌电两种不同的认知原理有机融合在一起，设计了新型双信源生物电通道的复合控制方式，通过在操作者头后部C3、C4导联处放置Ag-AgCl电极来检测脑电ERD特征的变化，提取操作者想象肢体运动时功率谱值的变化特征作为控制信号，实现对计算机屏幕鼠标运动的控制，并通过在T5处放置电极检测咬牙头皮肌电的变化来确定鼠标的选择，从而有效实现了脑电鼠标的“平面移动”和“点击确定”两种基本功能。由于系统操作简单，一般只需简单训练就可以控制计算机屏幕鼠标光标运动。

图2为本发明系统结构示意图。该系统基于VC++平台，利用正常人脑电ERD特征和咬牙诱发的肌电特征计了相应的BCI控制面板、信号采集系统、信号处理平台来实现对计算机屏幕鼠标光标运动的控制。操作者由计算机屏幕光标循环控制指示选择产生含有相关控制信息的脑电信号；该信号先经脑电放大器放大、滤波，然后输入计算机；然后在计算机内Vc++平台上完成去噪、功率谱分析、与门限电压比较、产生控制脉冲等一系列信号处理工作；最后通过调用函数SetCrusorPos使得计算机屏幕鼠标光标在当前位置的基础上向相应方向移动适当数目像素以完成对鼠标移动，当鼠标移动到目标位置则提取头皮肌电变化特征作为确定选择的控制信号，表示此项即为我们的目标选项。

本发明要点在于屏幕光标循环控制指示面板设计、利用脑电控制鼠标和信号处理流程；头皮肌电开关阈值、频带选择等技术环节。

(1)操作界面设计、控制鼠标和信号处理流程

操作主要分为两部分：训练部分和控制部分。训练过程的目的在于采集想象和不想象的数据，作为控制部分判别信号是否有效的基础。点击“训练”按钮后，进入训练界面，训练界面如图3所示。出现十字的时候表示静息不进行想象动作，出现箭头的时候则想象手部运动。当想象与不想象的数据读够10组之后就点击“开始”进入控制阶段。在训练的过程中，将想象与非想象的共20组数据分别做功率谱分析，然后将8-13Hz的功率谱的平均值提取出来作为特征值，这些特征值作为控制阶段分类的基础。

操作界面分为两部分，上部分为目标选择区，下面为鼠标方向选择区(如图4)，鼠标方向选择区有四个箭头分别表示上、下、左、右四个控制移动方向，由相应的程序控制循环现实。目标选择区可以模拟通过电脑控制的设备，当我们把鼠标移动到该位置的时候表示选择该物品，在我们实验过程中可以通过右下方的菜单来选择目标，选择后，选择区域变色表示为目标，然后点击开始进行实验。

图6演示了光标向右、上、左、下四个轮流显示的状态(相应光标为绿色)，每一个方向的光标变为绿色时间持续4秒。

本发明控制鼠标光标流程如下：

(a)界面下方四个箭头循环显示，每一个方向停留4秒钟，将此时间内测得的数据进行功率谱分析，提取8-13Hz的功率谱的平均值作为特征，然后进行分类，如果判断为进行想象则鼠标向箭头指示方向移动一定的距离。

(b)当鼠标移动到目标区域后计算T5导联中头皮肌电信号能量谱，并读取其中频30-35Hz处能量值，通过信号处理确定其参数阈值，当其能量高于阈值则表示该目标就是操作者选择的目标，进行确定选择(目标区域变回白色)。当30-35Hz能量于阈值则不进行操作。

本发明是在Vc++平台上完成的，鼠标移动处理流程如图7所示，先在训练模式下读取C3、C4导联数据，然后进行功率谱分析，将想象和未进行想象的结果分别存入两个数组，等训练数据读够十组后开始进入控制模式，对数据进行功率谱分析后分类，判断为想象则移动鼠标，没有想象则鼠标静止。

(2)模式识别和确定系统参数

1移动鼠标模式识别

对于本发明来说光标移动部分不需要确定参数，只需要通过训练模式获得分类的依据，再通过模式识别判断是否移动鼠标。我们采用的模式识别的分类方法是马氏距离法，马氏距离判别法的基本思想是：假设有两个总体G1和G2，x是一个新样本点。定义x到G1和G2的马氏距离：

<maths><math><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>1</mn></msub><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>Σ</mi><mn>1</mn><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow></mrow></math></maths>

<maths><math><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>Σ</mi><mn>2</mn><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow></mrow></math></maths>

其中：u⁽¹⁾、u⁽²⁾、∑₁、∑₂分别为G1和G2的均值和协方差矩阵。在本发明中，G1为想象手部动作所提取出的特征的总体，G2为空闲静息提取特征的总体，x为控制阶段新提取的特征值。马氏距离的优点是排除了模式样本之间的相关性影响。

构造判别公式为：<maths><math><mrow><mi>w</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>1</mn></msub><mo>)</mo></mrow><mtext>-</mtext><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow><mn>2</mn></mfrac></mrow></math></maths>构造判别规则为：

当判断为进行想象时则将鼠标向箭头指示方向移动一段距离。

2确定目标参数

对于目标确定部分需要确定三个关键技术参数：其一是开关阈值电压，其二是动作时间常数，对应于控制面板上指示灯切换前持续闪烁的时间，其三是各种干扰所引起的最大背景噪声电压。第一个参数反映操作者在安静和咬牙状态下特定频率能量的差别；第二个参数反映操作者咬牙后30-35Hz能量超过阈值所需时间；第三个参数对判断主控制通道信号是真实肌电信号还是干扰噪声具有重要的参考价值。

一、开关阈值

把操作者静息