（通信与信息系统专业论文）基于fpga的实时脑机接口应用研究.pdf

中文摘要 摘要 脑机接i ( b r a i n c o m p u t e ri n t e r f a c e ，b c i ) 是- - 种不依赖于脑的正常输出通路的 通讯系统。通过在人脑与计算机等电子设备之间建立直接通路，脑机接口系统可 以把大脑发出的信息直接转换成控制外部设备的命令，进而代替人类肢体或语言 器官的功能，以新的途径实现人与外界的交流及对周围环境的控制。脑机接1 5 1 在 康复医学、工业、军事等领域都有巨大的潜在应用价值，已然逐渐成为一个研究 热点。然而，脑机接口技术目前仍在发展中，多数研究还处于实验室阶段。 面对b c i 技术发展的机遇与挑战，本文开展了基于f p g a 的实时脑机接口应 用研究。所构建的b c i 系统以瞬态视觉诱发电位为处理对象，相比于稳态视觉诱 发电位，瞬态视觉诱发电位易于检测，而且低刺激频率不易引起视觉疲劳。以f p g a 开发板为核心处理平台，相比于单片机和d s p ，f p g a 在运算速度和逻辑控制方面 具有优势。 根据脑机接口应用的要求，采用f p g a 设计了新的视觉刺激器。每个刺激模 块都是黑白棋盘格交替闪烁的模式，不同点在于模块上的标志信息。在控制短消 息发送的脑机接口应用中，设计了两个刺激界面，受试者首先选择短信接收方， 然后选择短信内容，用汉字标注选项含义。在控制台灯、风扇运行的脑机接口应 用中，刺激界面上的四个选项分别代表台灯的点亮与熄灭、风扇的转动与停止， 在刺激模块上，用图形形象地标注各模块所代表的选项。 b c i 技术的研究重点是选择合适的算法从强背景噪声中提取视觉诱发电位，识 别受试者的选择。研究对l l d , 波分解、主成分分析、k 近邻法、b p 神经网络等信 号处理算法测试，最终选择用d b 5 小波对累加平均后的脑电信号进行5 尺度分解， 提取d 5 、d 4 两层细节系数作为特征向量，用b p 神经网络识别，并用遗传算法对 b p 网络优化。小波分解和b p 网络识别两个处理步骤由n i o si i 系统实现。 本文将b c i 系统用于控制t c 3 5 通讯模块发送短消息。f p g a 将视觉诱发电位 识别结果转换成发送短消息的命令，通过串口向t c 3 5 模块发送a t 指令，t c 3 5 向f p g a 反馈指令处理信息，以此实现发送短消息的控制。在控制台灯、风扇运 行应用中，f p g a 将视觉诱发电位识别结果转换成开关控制命令，通过控制继电器 的状态实现对台灯、风扇的控制。 脑机接口实验表明，所选用算法具有较高的识别率，并且验证了用基于f p g a 的实时脑机接口控制发送短消息和台灯、风扇的运行具有可行性。 关键词：脑机接口，小波分解，b p 神经网络，n i o si i 重庆大学硕士学位论文 二_ 二二二二一 i i 英文摘要 a b s t r a c t b r a i n - c o m p u t e ri n t e r f a c e ( b c l li sak i n do fc o m m u n i c a t i o ns y s t e mt h a td o e sn o t d e p e n do nt h en o r m a lo u t p u tc h a n n e l so fb r a i n w i t ht h ed i r e c tc h a n n e lb e t w e e nb r a i n a n dc o m p u t e r , b c is y s t e mc a nd i r e c t l yc o n v e r tt h ei n f o r m a t i o nf r o mb r a i ni n t o t h e c o m m a n d sc o n t r o l i n gs o m ep e r i p h e r a l s t h e r e f o r e ，b c ip r o v i d e sav a l u a b l ec r e a t i v e c o m m u n i c a t i o na l t e r n a t i v et om o r t a l g e s t u r e s o r l a n g u a g e ，w h i c hh e l p si n c o m m u n i c a t i n go rc o n t r o l i n g b c ih a sd r a w nm o r ea n dm o r ea t t e n t i o nf o rv o r i o u s p o t e n t i a la p p l i c a t i o n si n c l u d i n gr e h a b i l i t a t i o nm e d i c i n e ，i n d u s t r y , m i l i t a r ya f f a i r s ，a n d e t c h o w e v e r ，b c it e c h n o l o g i e sa r es t i l lu n d e rd e v e l o p m e n t ，a n dm o s to fw h i c ha r ei n l a b o r a t o r ys t a g e f a c i n g t h eo p p o r t u n i t ya n dc h a l l e n g eo fb c it e c h n o l o g y , t h er e s e a r c ho ft h e a p p l i c a t i o no nr e a l t i m eb c ib a s e do nf p g ai sc a r r i e do u ti nt h i sp a p e r c o m p a r e dw i t h s t e a d y s t a t ev i s u a le v o k e dp o t e n t i a l ( v e p ) ，t r a n s i e n tv i s u a le v o k e dp o t e n t i a li se a s yt o b ed e t e c t e d ，a n dd o e s n te a s i l yc a u s ev i s u a lf a t i g u e s o ，t r a n s i e n tv i s u a le v o k e d p o t e n t i a l i su s e di nt h eb c is y s t e m c o m p a r e dw i t hd s pa n ds c m ，f p g a p e r f o r m sw e l li n c o m p u t i n gs p e e da n dl o g i cc o n t r 0 1 s o ，f p g ai su s e da st h ec o r ep r o c e s s i n gp l a t f o r m a c c o r d i n gt ot h er e q u i r e m e n t so fb c ia p p l i c a t i o n s ，t h en e wv i s u a ls t i m u l a t o ri s d e s i g n e db yf p g a t h ef l a s h i n gm o d eo fe a c hs t i m u l u sm o d u l ei st h a tt h eb l a c ka 1 1 d w h i t eg r i d sf l a s ha l t e r n a t e l y , a n dt h ed i f f e r e n c ei st h em a r ki n f o r m a t i o n w h e nt h eb c i i su s e dt oc o n t r o ls m ss e n d i n g ，t h e r ea r et w os t i m u l u si n t e r f a c e s f i r s t t h et e s t e e c h o o s e st h er e c e i v e ro fs m s ，a n dt h e nc h o o s e st h ec o n t e n to fs m s e a c ho p t i o ni s l a b e l e db yc h i n e s ew o r d 姗e nt h eb c ii su s e dt oc o n t r o ll a m pa n df a n t h ef o u r c o r r e s p o n dt ot h eo f fo ro no ft h el a m pa n df a n e a c ho p t i o ni sl a b e l e db yf i g u r e t h em o s ti m p o r t a n ts t u d yo nb c i t e c h n o l o g yi st of i n dt h es u i t a b l ea l g o r i t h m st o e x t r a c tw e a kv e pf r o ms t r o n gb a c k g r o u n dn o i s e ，a n dr e c o g n i z et h ev e p s i g n a l h a v i n g c a m p a r e dw a v e l e td e c o m p o s i t i o n ，p c a ，k n na n db pn e u r o nn e t w o r k ，5s c a l ed b 5i s s e l e c t e dt od e c o m p o s et h ea v e r a g e ds i g n a l d 5a n dd 4a r es e l e c t e da st h ef e a t u r eo f v e et h e nb pn e u r o nn e t w o r ki ss e l e c t e dt o r e c o g n i z ev e ea tt h es a m et i m e ， g e n e r a t i o na l g o r i t h mi su s e dt oo p t i m i z eb pn e u r o nn e t w o r k f o rr e a l t i m eb c i ，t h e w a v e l e td e c o m p o s i t i o na n db pn e u r o nn e t w o r kw e r er e a l i z e do nn i o si is y s t e m i nt h i sp a p e r , t h eb c is y s t e mi su s e dt oc o n t r o ls m s s e n d i n g f p g ac o n v e r t st h e r e c o g n i z e dr e s u l to ft h ev e pt ot h ec o m m a n do fs e n d i n gs m s w i t hs e r i a lp o r t ，f p g ac a i l s e n da tc o m m a n d st ot c 3 5m o d u l ea n dg e tr e l a t i v ea c k n o w l e d g e m e s s a g e sf r o mt c 3 5 i nt h i sw a y , i l i 重庆大学硕士学位论文 一一 s m si ss e n t t h eb c is y s t e mi sa l s ou s e dt oc o n t r o ll a m pa n df a n f p g ac o n v e a st h e r e c o g n i z e d r e s u l tt oc o m m a n d ，c o n t r o l st h es t a t eo fl a m pa n df a nb y c o n t r o l l i n gt h es t a t eo f t h ed e l a y e x p e r i m e n t si l l u s t r a t e st h a tt h es e l e c t e da l g o r i t h m si se x c e l l e n ti nr e c o g n i t i o nr a t e f u r t h e rm o r e ，i ti sf e a s i b l e t ou s et h ef p g a b a s e dr e a l t i m eb c it oc o n n 0 1 s m s 。s e n d i n ga n ds t a t e so ft h el a m pa n dt h ef a n k e yw o r d s ：b r a i n - c o m p u t e ri n t e r f a c e ，w a v e l e td e c o m p o s e ，b pn e u r o nn e t w o r k ，n i o si i i v 1 绪论 1 绪论 1 1 脑机接口的基本概念及研究意义 1 1 1 脑机接口的基本概念 脑机接口( b r a i n c o m p u t e ri n t e r f a c e ，b c i ) 是一种新颖的人机接口方式，是 不依赖于脑的正常输出通路( 外周神经系统及肌肉组织) 的脑机通讯系统【l j 。通 过建立的大脑与计算机或其他电子设备的直接通道，人不需要语言就可以表达想 法，不需要动作就可以操作外部设备，而是通过脑直接控制外部设备1 2 j 。要实现脑 机接口系统，必须有一种满足以下两个条件的信号【3 j ： 能够反映人脑的不同状态，随人脑状态的变换而变换； 能够被实时或短时提取，且能够被分类。 人在获得不同的感觉，或者进行不同的认知活动时，人脑会处于不同状态， 此时脑电也是不同的，而且脑电记录简单。此外，随着信号处理技术的日益发展 成熟，已经可以对脑电信号进行实时处理。因此脑电信号满足上述两个条件，是 实现b c i 系统最合适的选择。要指出的是，b c i 系统选用的控制信号只能是来自 大脑皮层的电信号，其他肌肉运动引起的肌电则被视为噪声；基于脑电的b c i 并 非要通过脑电读取人正在进行何种思维活动，而是使大脑产生容易被解释的脑电， 然后识别出这种脑电，根据识别结果作出不同的选择或发出不同的命令。 根据检测脑电信号的不同方式，b c i 系统可分为植入式和非植入式两种【4 j 。植 入式b c i 是指将电极直接插入人脑，从确定的神经元上读取脑电信号，此种方法 虽然可以获取质量较高的脑电信号，但为有创方式，手术风险大，成本高；非植 入式b c i 是无创方式，将电极放置于头皮上采集脑电信号，但这种方法采集到的 脑电信号干扰强，而且脑电信号本身又很弱，其电压只有常用干电池的百万分之 一，因此信号的去噪、提取变得尤为重要。 1 1 2 脑机接口系统的结构 对于不同的脑机接口应用，脑机接口系统的具体结构也有很大的差异，但总 体上一般由输入、输出和信号处理等功能环节组成【5 】。图1 1 是利用脑机接口控制 外部设备的系统结构图。 结构图1 1 中的信号采集部分属于输入环节。b c i 系统从头皮或者大脑内部获 取反映大脑活动的生理电信号，由于脑电信号比较微弱，需要经过放大、滤波等 预处理。采集到的脑电信号是模拟信号，还需要经过a d 转换为数字信号，输入 到计算机或其他信号处理平台，以待下一步处理。 重庆大学硕士学位论文 图1 1 脑机接口系统结构图 f i g1 1s t r u c t u r ed i a g r a mo fb c is y s t e m 图1 1 中的信号处理属于中间环节，也是脑机接口研究的重点之一。首先选择 合适的信号处理算法，从脑电信号中提取出与受试者意图相关的脑电信号特征量， 此过程可能涉及时域、频域和空域等操作；然后对特征量进行模式识别，判别出 受试者的意图。 图1 1 中的控制器对外围设备的控制和对受试者的刺激反馈则属于输出部分。 控制器根据脑电信号识别结果，发出一系列控制命令，实现受试者控制外部设备 的意图，根据不同的需求，可以是不同的外部设备或表现形式。此外，控制器也 可以向受试者反馈识别结果，让受试者根据反馈自主调整脑电信号，以达到预期 结果。 b c i 技术的核心是把检测到的脑电信号转换成输出控制命令的转换算法【6 】，所 以研究工作中最重要的部分就是寻找合适的信号处理与识别转换算法，使得b c i 系统能够实时、快速、准确地将脑电信号转换成能够控制电子设备的操作命令信 号。 1 1 3 脑机接口的研究意义 脑机接v i 技术形成于2 0 世纪7 0 年代，是一种交叉技术【7 1 ，主要涉及神经科 学、信号检测与处理、模式识别等多学科。随着神经系统功能研究的不断深入， 计算机技术的不断发展，b c i 技术研究水平得到逐步提高，尤其是1 9 9 9 年、2 0 0 2 年和2 0 0 5 年三次b c i 国际会议的召开为b c i 技术的发展起到了积极促进的作用 u 岿，j 。目前，b c i 技术研究已引起国际上众多学科研究者的广泛关注，成为生物医 学工程、通信、计算机技术等领域一个新的研究热点 1 0 - i1 】。 脑机接口的最主要的应用领域是康复医学领域【5 1 。当今世界上，脑中风、各种 瘫痪、失语症、帕氏综合征困扰着越来越多人，医疗水平的不断提高，有利于延 长这些患者的生命周期，但由于缺失对肌肉的控制力，他们无法与外界进行正常 2 1 绪论 交流和有效控制，生活质量无法得到保障，这给患者自身和社会带来了沉重的负 担。 目前，治疗运动功能障碍的方案主要有两种选择：一是通过物理治疗方法刺 激神经系统，改善残存神经元控制运动的功能；二是利用功能性电刺激( f u n c t i o n a l e l e c t r i c a ls t i m u l a t i o n f e s ) 系统，代替受损伤的神经通路，以电刺激控制瘫痪的肌 肉，实现运动功能的恢复。这两种方法都在一定范围内取得了成功，尤其是功能 性电刺激的研究已比较成熟i l 玉1 3 j 。 但传统的康复手段都不同程度地需要某种形式的肌肉运动参与，仍会给患者 带来痛苦，此时，脑机接口的应用就凸显出自身的优点，患者在表达想法或控制 外部设备的过程中，无需肌肉运动的参与。脑机接口可以为有严重运动障碍的病 人提供语言交流和环境控制途径【1 4 。16 1 ，甚至可以帮助处于闭锁状态的患者脱离这 种困境【1 7 】。虽然现有的b c i 系统多数处于实验室阶段，测试也多数是在正常人身 上进行的，但从另外一个角度来看，残疾人有可能会取得比正常人更好的效梨博j ， 一方面，残疾人比正常人的动机更强烈，特征脑电信号会更明显；另一方面，残 疾人的感觉运动皮层会有很大的区域不再被正常的功能占用，于是可以训练这些 区域使之适应新的功能。因此，采用脑机接口技术必将成为未来康复治疗的一种 选择。 除康复医学工程领域，脑机接口在其他领域也有潜在的应用价值。 提供一种特殊环境下控制外部设备的新途径。如宇航员在外太空时不方便 移动，可以用b c i 操纵远距离的仪器设备；控制机器人在危险的环境中工作；在 军事领域，为士兵提供控制车辆、武器或其他设备的新通道。 提供一种新的娱乐方式。如用思维玩电子游戏，用意念控制机器人踢足球， 人脑化音乐设备等。 在学术科研领域，脑机接口技术促进了人类对自身脑电活动规律的不断认 知，开拓了大脑新的信息输出通道，扩展了人们与外界交流和控制的能力，极大 地丰富了神经信息学内容。 脑机接口系统是一项多学科交叉的综合研究，随着各学科的不断发展与融合， 脑机接口技术也必将达到更高水平，在更多领域得到实用性应用，最终服务于人 类。 1 2 国内外研究现状 1 2 1 脑电信号的介绍 脑电信号来自大脑皮层神经元的电活动，因此记录和分析脑电信号可以了解 大脑活动。1 9 2 9 年，英国科学家b e r g e r 首次发表了关于人的脑电波的研究报告； 重庆大学硕士学位论文 1 9 3 6 年后，脑电图学广泛应用于临床。尤其是神经精神科的临床诊断，因为研究 发现许多脑病和精神疾病都伴随着e e g ( 脑电信号) 异常现象。从头皮记录的脑 电波幅度一般在1 0 5 0 u v 左右，频率为o 5 1 0 0 h z t l 9 1 ，在应用中，脑电波的频率特 性比幅度特性更为重要。 脑电信号分为自发脑电( s p o n t a n e o u se e g ) 和诱发脑电( e v o k e dp o t e n t i a l ，e p ) 两种【2 0 2 1 1 。 自发脑电是指在没有特定的外加刺激下，大脑皮层自身持续的节律性电位变 化。自发脑电时域波形很不规则，因此主要依据频率段的划分来分类，有以下几 个基本节律【l9 j ：6 波，频率范围1 - 4 h z ，振幅约2 0 2 0 0 u v ；e 波，频率范围4 - 8 h z ， 振幅约1 0 0 1 5 0 u v ；0 c 波，频率范围8 1 3 h z ，振幅约2 0 1 0 0u v ；p 波，频率范围 1 4 3 0 h z ，振幅约5 2 0u v 。 诱发脑电是神经系统( 包括外周和中枢、感觉和运动系统) 受到内外界刺激 时产生的特定电活动，可以在刺激感觉通道对应的感知区域检测到。诱发脑电的 幅度一般在0 1 1 0 u v 范围，非常弱，而e e g 幅度一般在2 1 0 0 u v 范围，所以诱发 脑电完全被自发脑电淹没，需要各种信号处理方法提取出诱发电位。 根据刺激的来源不同，诱发脑电又可以分为两类【2 2 】，一类是外源性刺激相关 诱发电位，包括视觉诱发电位、听觉诱发电位、躯体感觉诱发电位等；另一类是 与大脑认知功能有关的内源性刺激诱发电位。 不同于传统的e e g ，诱发电位有一定的空间、时间、和相位特征。诱发电位 的出现与刺激之间存在较严格的锁时关系，在给予刺激时，诱发电位会在一定时 间内瞬时出现。不同的感觉刺激引起的诱发电位，分布在大脑内不同的空间位置。 自发脑电和诱发脑电都能从不同方面反映大脑的状态，但并不是所有脑电信 号都可以用于脑机接口。在特定的环境下，通过训练或刺激，大脑可能产生某种 稳定的脑电信号，只有这些容易被解释的脑电信号才可以应用于脑机接口。 1 2 2 脑机接口的研究方法 b c i 技术的重要任务是从e e g 中识别出人的主观操作意图，并转换为对外部 设备的控制。根据b c i 利用的脑电信号的来源和利用的方式不同，其研究方法有 以下几种川： 事件相关电位( e v e n tr e l a t e dp o t e n t i a l ，e r p ) p 3 0 0 p 3 0 0 是一种内源性的与认知功能相关的诱发电位，反映了认知过程中大脑的 神经系统生理电改变。其峰值大约出现在事件发生后3 0 0 m s ，相关事件发生的概率 越小，引起的p 3 0 0 电位越明显。使用者不需经过特殊训练就可以使用基于p 3 0 0 的b c i 系统，。 视觉诱发电位( v i s u a le v o k e dp o t e n t i a l ，v e p ) 4 1 绪论 视觉诱发电位是神经系统受到视觉刺激时产生的生理电活动。依照视觉刺激 频率的高低，视觉诱发电位又可分为瞬态视觉诱发电位( t r a n s i e n tv i s u a le v o k e d p o t e n t i a l ) 和稳态视觉诱发电位( s t e a d y s t a t ev i s u a le v o k e dp o t e n t i a l ) 。 瞬态视觉诱发电位对应的视觉刺激频率较低，单个刺激依次出现，每个刺激 都会引起枕叶皮质反应，由于刺激间隔足够长，连续的刺激引起的枕叶皮质反应 问没有干扰。每个刺激产生一系列由正波和负波组成的v e p 波形，即瞬态v e p 。 稳态视觉诱发电位对应的视觉刺激频率较高( 一般大于4 h z 或6 h z ) 。由于刺 激的间隔时间短于视觉诱发电位时程，多次刺激产生的脑电波相互干扰、叠加， 形成节律性正弦样波，即稳态v e p 。 事件相关同步或去同步( e v e n t r e l a t e ds y n c h r o n i z a t i o n so rd e s y n c h r o n i z a t i o n s ， e r s e r d ) 此方法主要用于基于运动想象的b c i 系统研究。单边肢体运动，或想象单边 肢体运动时，大脑对侧产生事件相关去同步电位( e i m ) ，大脑同侧产生事件相关 同步电位( e r s ) 。 皮层慢电位( s l o wc o r t i c a lp o t e n t i a l ，s c p ) 皮层慢电位是皮层电位的变化引起的，变化缓慢，持续时间达到几百毫秒至 几秒，能反应大脑皮层的兴奋性。当大脑皮层兴奋性增强时，s c p 向负向变化； 当大脑皮层兴奋性降低时，s c p 向正向变化。使用者通过反馈训练学习，能够控 制s c p 幅度产生正向或负向偏移。 自发脑电节律波 人处于不同的知觉意识状态时，脑电中的各个节律呈现出不同的活动状态。 即使用者的自身状态会影响脑电中的节律。但通过生物反馈，使用者可以学习控 制某些节律。 精神作业 人进行不同的精神作业时，左右半脑的脑电信号是不对称的。对于空间作业 ( s p a t i a lt a s k s ) ，左半脑的a l p h a 波较强，而右半脑的a l p h a 波较弱；对于语言作业 ( v e r b a lt a s k s ) 则相反。这种现象称为a l p h a 波的不对称性，这一特性为检测使用 者的精神作业提供了依据。 上述方法各有优缺点，在实际应用中需根据应用具体选择。 1 2 3 国内外研究现状及存在的问题 伴随b c i 技术的逐渐兴起，b c i 研究取得了一系列进展。研究b c i 技术的团 体从1 9 9 5 年的不超过6 个，发展到现在已经有数以百计【2 3 1 。除一些著名的大学、 研究机构外，诺基亚等高科技公司也投入巨资从事该研究。在新闻媒体上关于b c i 的报道也越来越多。 重庆大学硕士学位论文 2 0 0 7 年，m a l a y a 大学s y a h u d 和n a a b uo s m a n 成功利用b c i 控制机 械假手幽j ，该假手能够抓取圆柱体，捏取钥匙，用两手指夹取纸片，用三手指夹 取鸡蛋。该假手具有1 6 个自由度，能够灵活地完成手的基本动作。 2 0 0 8 年，由美国公司研发的用大脑操控电子游戏装置上市。美国加利福尼亚 州圣荷西的风险公司n e u r o s k y 在2 0 0 8 年9 月1 0 日开幕的展会“c t i aw i r e l e s s i t & e n t e r t a i n m e n t2 0 0 8 ”上展示了一种系统，该系统能用传感器读取用户的脑波， 并用于各种手机应用。试制系统由读取脑波的传感器和数字信号处理部分等构成。 使用时，系统接触用户额头的任意部位。通过读取0 【波和p 波等脑波，大体掌握 用户大脑的放松程度和集中程度。利用v i s u a l i z e r 可以将检测到的脑波信息显示在 手机画面上，同时，利用大脑的集中程度可以操控游戏和卡通形象等。 美国国家卫生研究院2 0 1 0 年1 0 月2 7 日表示，科学家最新研究表明，通过传 感器，人们可以利用思维来控制显示器上复杂的视觉图像。来自美国力1 1 7 i 1 大学洛 杉矶分校的神经外科教授伊特扎克福瑞德领导的研究团队，在研究中发现，将测 试者的大脑与一台计算机通过传感器相连，该计算机显示两幅重叠图像，测试者 可以使计算机只显示其中的一幅图像，屏蔽另外一幅。这表明，测试者可以用其 思维对计算机显示器上显示的图像进行选择。而且计算机检测到的信号仅来自少 量的脑细胞。这一结论发表在自然杂志上。 为更好地掌握b c i 技术研究的热点、难点以及发展方向，在1 9 9 9 年，第一届国 际b c i 会议由纽约州健康中& , w a d s w o r t hc e n t e r 的b c i 实验室组织在美国召开，此后 每隔三年召开一次。国际b c i 会议成为当前这个领域的灯塔，指引着全球b c i d 、组 的研究方向。为促进b c i 技术的研究，若干国际著名的b c i 研究小组联合组织了b c i 数据竞赛【25 l ，第一届竞赛于2 0 0 1 年举行，重点解决信号处理的算法问题。在我国， 2 0 1 0 年1 1 月，由清华大学承办的“首届中国脑机接口比赛”在北京举行，为我国 脑机接e l 研究的发展起到推动性作用。目前，国际上有影响的b c i 研究团体【2 6 】有： 奥地n a z 理工大学，美国w a d s w o r t h 中心，德i 虱t u b i n g e n 大学，美国伊利若斯大 学，美国s m i t h k e t t l e w e l l 视觉科学研究所，我国清华大学。 作为- f 7 新兴的技术，b c i 目前的发展还存在很多的问题：信息传输速率过低， 与人们正常交流信息的传输速率差距很大；系统识别稳定性差，脑电信号采集和 处理方法还不够完善，存在个体差异；实用性差，目前多数b c i 研究小组仍处在离 线分析数据阶段或只是设计了b c i 演示系统。 1 3 本文研究目的及研究内容 1 3 1 研究目的 目前，全世界因存在运动功能障碍而无法与外界正常交流的患者有上千万， 6 1 绪论 进行脑机接口研究具有重要的意义。本论文的研究目的是继续探索基于f p g a 的实 时脑机接口应用研究。寻找更合适的信号处理算法，以提高脑机接口的正确识别 率。将脑机接口应用于控制短消息发送，使患者可以在独处时随时告知家人或朋 友自己的状况，表达意愿，尤其是在遇到困难时求救，可以在一定程度上避免因 无法得到及时帮助而导致情况恶化；将脑机接口应用于控制台灯、风扇的运行， 使患者可以根据对外界环境的感知自行控制电器设备的状态，以达到舒适的目的。 1 3 2 研究内容 本论文研究内容为基于f p g a 的实时脑机接口应用，将重点研究脑电信号实时 在线处理算法的改进，视觉刺激器在基于f p g a 的脑机接口系统中的应用，以及脑 机接口的应用。 图1 2 基于f p g a 的脑机接口 f i g1 2f p g a b a s e db c i 本论文所设计实时脑机接口系统如图1 2 所示。视觉刺激器产生某种具有代表 意义的刺激模式，受试者注视刺激界面上的某个目标，利用电极在头皮采集脑电 信号，在f p g a 平台，通过对脑电信号的分析处理，识别出受试者的意愿，将结果 一方面反馈到刺激界面，另一方面转换成通讯或控制信号，用于控制其他外部设 备。 主要研究内容： 基于f p g a 的v g a 视觉刺激器的进一步开发。利用f p g a 开发板上的v g a 接口和一台显示器相连，用v h d l 编程设计相应的v g a 视觉刺激器，根据不同的需 要，设计出不同的v g a 视觉刺激器。 基于f p g a 的脑电信号处理算法的改进。首先探寻更合适的视觉诱发电位 提取算法和模式识别算法，然后将选定的算法在f p g a 开发板平台上实现，达到实 时在线运行算法的目的。 基于f p g a 的视觉诱发电位脑机接口系统的应用研究。通过构建好的脑机 接口系统，进行基于f p g a 的脑机接口技术在实际生活中的应用研究。例如，控制 t c 3 5 发送短消息以及控制台灯、风扇等家用电器。 重庆大学硕士学位论文 二二一 基于f p g a 的实时脑机接口应用的实验研究。通过实验验证本论文设计方 案的可行性。 8 2 基于f p g a 的v g a 视觉刺激器 2 基于f p g a 的v g a 视觉刺激器 2 1 脑机接口的视觉刺激器 2 1 1 视觉诱发电位用于脑机接口的原理 脑机接口系统中，应用视觉诱发电位的原理与视觉的生理特性密切相关1 2 。 外界光线通过眼球上的角膜、晶状体和玻璃体等组成的折光系统到达视网膜上， 视网膜上具有感光作用的视细胞层将光能迅速转换成电的兴奋，以神经冲动形式 沿着视神经纤维( 即视网膜神经节细胞的轴突) 和中枢视觉通路传至大脑皮层的 枕叶区，产生视觉。而视觉诱发电位是视网膜收到闪光或图形刺激后，经过视觉 通路的传递，在大脑枕叶区视觉中枢产生的电活动1 2 引。 由于视网膜结构的特性，整个视网膜的视觉分辨率并不是均匀的。视网膜由 色素上皮层和视网膜感觉层组成，而感觉层又由三层神经元组成幽j ，第一层神经 元是视细胞层，负责感光，包括锥细胞和杆细胞；第二层是双节细胞层，负责联 络第一和第三层；第三层是神经节细胞层，负责传导视觉信息。在视网膜后极部， 有一个称为黄斑区的浅漏斗状凹陷区，其中央的凹陷称为黄斑中央凹，此处有大 量的视锥细胞，而在中央凹外，越接近视网膜周边，视锥细胞数目越少( 视柱细 胞逐渐增加) 。在中央凹处，视锥细胞与双极细胞之间、双极细胞与神经节细胞之 间一一对应形成突触关系，然而在视网膜周围区域则是多个感光细胞与一个双极 细胞形成突触关系，多个双极细胞再与一个神经节细胞形成突触关系，以至于只 有极少的视觉信息传递到大脑皮层。综上所述，黄斑区是视网膜上视觉最敏锐的 部位，而周围区域视觉敏锐性很差。此外，黄斑区虽占视网膜总面积比例很小， 但经神经纤维投射到大脑枕叶皮层时，所占面积与代表周围视野的面积大小相近。 所以视觉的电活动主要来源于黄斑区。 受试者在做实验时，虽然界面上会有多个刺激目标，但每次只注视其中想选 择的一个目标，这样所注视的目标形象就会进入受试者的以黄斑视野为中心的中 央视野，而其他目标形象则仅进入周围视野，因此，主要是注视的刺激目标在大 脑枕部引发视觉诱发电位的产生。如果能找出视觉诱发电位与刺激目标的关系， 就可以依据检测到的诱发电位判别出受试者注视的目标，从而实现把视觉诱发电 位应用于脑机接口系统。 2 1 2 视觉刺激器的设计 脑机接口系统应用中，视觉刺激器既要给受试者提供视觉刺激以诱发出视觉 诱发电位，又要满足人机界面的要求，因此设计时需满足以下因素 3 0 - 3 i i ： 能够产生有效的视觉刺激，只有对视觉进行有效的刺激才能产生视觉诱发 9 重庆大学硕士学位论文 电位，才能检测到可靠的脑电信号； 刺激界面的多个刺激目标代表受试者可能做出的不同选择，即想要表达的 某个意图； 作为人机界面，界面上的内容要让受试者尽可能容易地接受； 要具有灵活性，便于修改或升级，以满足不同需要。 基于上述因素，本文从以下几方面对视觉刺激器进行了设计。 刺激方式 按刺激光的形态不同，视觉诱发刺激有闪光刺激和图形刺激两种方式。 闪光刺激指采用弥散的非图形闪光刺激视觉，包括白色和颜色闪光，主要用 于视力差和不能或不愿凝视视觉刺激器的受试者【3 2 1 ，闪光诱发电位反映黄斑区的 功能【33 l 。闪光刺激的最大缺点是对健康人刺激产生的v e p 的潜伏期，正常值不稳 定、变异过大，而对于视觉经路有病变的患者，v e p 交叉与重叠严重【3 4 1 。 图形刺激是指以图形的变换刺激视觉，刺激图形可是棋盘格、条栅、随机点 图等，而静止的图形是无法诱发视觉诱发电位的，所以图形必须不断地变化，刺 激形式有闪光给图形、图形的给撤、图形的翻转和图形运动等。主要反映黄斑中 心凹的功能1 3 3 。 本文的刺激方式采用目前普遍使用的图形刺激，利用黑白棋盘格翻转刺激视 觉。 刺激界面 脑机接口系统中，刺激界面除为受试者提供视觉刺激外，还要提供多个可选 项，即在同一刺激界面上，有多个刺激目标分别与受试者的可能选择对应。本文 在刺激界面设置有四个刺激目标，分别位于屏幕的上、下、左、右，以尽量减小 目标间的干扰。刺激界面作为人机界面，需要尽可能让受试者容易接受、理解， 所以为区分不同刺激目标代表的不同含义，在图形上用文字或符号标注，因标注 信息在刺激过程中是静止的，所以不会影响黑白棋盘格的刺激效果。 刺激时序 视觉刺激模式决定提取诱发脑电信号的方法。不同的刺激频率会诱发出不同 的诱发电位，本文采用频率较低的瞬态视觉诱发，瞬态视觉诱发电位与刺激之间 存在严格的锁时同步关系，在现有技术条件下，能更方便、准确地提取到诱发电 位信号。 为区分不同刺激目标引起的刺激，不同刺激目标的闪烁时刻需要有区分。刺 激时序可以分为三大类：单一顺序刺激，不同频率符合刺激，同频次复合刺激【2 扪。 经前人分析，同频次复合刺激方法更适合基于瞬态视觉诱发电位的脑机接口 2 2 】。 同频次复合刺激即各个视觉刺激模块闪烁的频率和时间长度相同，但各个刺激模 1 0 2 基于f p g a 的v g a 视觉刺激器 块依次启动闪烁，使闪烁时刻错开，同时，为避免干扰，在首个闪烁模块第二次 闪烁前，其余三个模块都需要启动闪烁。注视任意一个刺激目标会产生相同诱发 电位，但是依据刺激与诱发电位间存在的锁时关系，可以分析出检测到的视觉诱 发电位是由哪个刺激目标引起的。 实现装置 用于临床检测的视觉刺激器大多采用硬件实现图形刺激，优点是性能稳定， 但难于修改和升级。本文利用液晶显示器作为刺激界面，f p g a 通过v g a 接口与 其相连，用v h d l 语言编程实现对刺激器的控制。软件与硬件相结合，即保证了 刺激器性能的稳定，又方便了对刺激界面的修改。 2 2v g a 显示原理 目前的显示器多数采用r g b 标准。r g b 彩色模式是一种颜色标识，r ( 红) 、 g ( 绿) 、b ( 蓝) 三种基本颜色亮度值在0 - 2 5 5 范围内变化，三种颜色的不同亮度值组 合可以得到各种各样的颜色。v g a ( v i d e og r a p h i ca r r a y ) ，即视频图形阵列【3 5 】， 由i b m 公司在1 9 8 7 年随同p s 2 个人电脑引入的一种图形控制标准。待显示的图 像信息以数字信号方式生成，被v g a 显卡中的d a 转换器转换成r 、g 、b 三原 色的模拟信号，再通过电缆传输到显示器中。显示器上输出的一切信息都是由像 素构成，图像的显示采用逐行扫描方式，从左到右、从上到下。每扫描完一行会 有行消隐期，用h s ( 行同步) 信号进行同步；扫描完所有行会有场消隐期，用 v s ( 场同步) 信号进行同步，在消隐期r g b 信号无效。 v g a 物理接口 3 6 j j t h 图2 1 所示，是一种1 5 针高密d 型连接器，主要传送r 、 g 、b 信号以及行、场同步信号。 自测试 数字地 地址码 蓝基色绿基色红基色 地址码场同步行同步 地址码 地址码 图2 1v g a 接v i 示意图 f i g2 1d i a g r a m o fv g ai n t e r f a c e 重庆大学硕士学位论文 本论文中使用的显示器的分辨率为6 4 0 * 4 8 0 ，即每行有8 0 0 点，有效显示区为 6 4 0 点，每场有5 2 5 行，其中有效显示行为4 8 0 行。按照工业标准，场频为6 0 h z 时，则行频为3 1 4 6 9 h z ，像素点输出频率为2 5 1 7 5 h z t 3 7 1 。在设计v g a 图像控制 器时需要严格遵守时序的准确性，稍有偏差显示就会不正常，甚至给彩色显示器 带来损坏。 2 3 基于f p g a 的v g a 视觉刺激器 2 3 1 基于f p g a 的v g a 控制器 f p g a 开发板通过自带的v g a 接口与一个v g a 显示器连接，构成基于f p g a 的v g a 视觉刺激器的硬件系统。通过v h d l 编程，f p g a 实现对r 、g 、b 信号， 以及h s 、v s 信号的控制，从而实现对v g a 显示器的控制。r 、g 、b 三个信号 都是8 位宽，其中r g b ( 0 ，0 ，0 ) 为黑色，即亮度最低，r g b ( 2 5 5 ，2 5 5 ，2 5 5 ) 为白色，即 亮度最高。r g b 信号在传输给v g a 接口前，利用f p g a 开发板上的v g a 数模转 换器f m s 3 8 1 8 转换成模拟信号。 图2 2 基于f p g a 的v g a 视觉刺激器示意图 f i g2 2d i a g r a mo fv g a v i s u a ls t i m u l a t o rb a s e do nf p g a f p g a 通过控制h s 、v s 确定扫描的像素点的位置，对相应位置的像素点赋予 相应的像素值，实现刺激界面图形的描述。刺激目标设计为黑白棋盘格，以汉字 或符号作为其上的标志信息。对于黑白棋盘格，由于其图形为标准的正方形，便 于描述，可直接设定图形范围，对该范围内的像素点赋值。然而对于其上的标志 信息，由于其图形难以直接描述，将其转换成点阵信号存在r o m 内【3 8 1 ，在描述标 志信息图形时，依次读取r