国创项目申请书模板

1、国创项目申请书模板项目编号创新训练项目立项申请书项目名称基于SSVEP脑机接口的自然交互式光标定位及文字输入控制工 具研发 项目执行时间 一年 项目团队人数 3人项目 负责 人 姓名 学号1408010112院系班级 信电学院电气 141班 手机电子邮箱 项目成员1姓名学号 1408010104院系班级 信电学院电气141班 项目 成员2姓 名 学号1408010101院系班级 信电学院电气 141班 导师 情况姓名职务职称讲师电话电子邮箱 填表日期 2015年11月27日 项目简介（100字以内） 旨在基于脑机接口研发一套工具，实现对计算机光标、文字输入的控制，实现人机自然交互。工具包含脑电

2、采集设备、信号分析转换、光标定位及文 字输入控制等功能。将通过研究对工具准确率、响应时间等参数进行优化。一、申请理由1、自身的知识条件、特长、兴趣。本团队成员均来自于信电学院电气 141班 队长获学习 优秀二等奖学金，学习能力强，于程序设计方面有一定基础。参加过数学建模竞赛及其培训，有处理实验数据的经验。曾经在面向对象的程序设计课程中担任项目组长，有组 织能力。队员1高中曾获数学竞赛市级二等奖，生物竞赛市级一 等奖，思维活跃，善于应用语言文字编写文书，发现和提由 问题，并且热爱编程，学习能力较强，乐观进取。队员2获学习优秀三等奖学金，英语基础较好，已通过 国家英语六级考试，可以较高效率阅读英文

3、文献，对于C,C都有较好基础，并自学了 C,有一定的探索精神，所写文 章曾获 海淀区科技创新大赛”三等奖及 海尔科技奖”三等奖二、已有的知识基础 已经学习大学计算机基础、C语言程序设计、C程序设计、Qt程序开发等必要课程，并通过小 学期面向对象编程课程的学习，独立完成小程序的设计开 发，为项目实施打下了理论和初步实践基础。从今年8月开始，团队开始接触脑机接口方面的研究工 作。1）团队每个成员均切身体会了清华大学组织的脑机接 口实验，对本项目的应用前景及技术优势有更深的理解。2）学习掌握了 OpenViBE这一脑机接口数据信号处理的 成熟工具，通过对该工具源代码的分析，加强了 C编程的技 能，能

4、够实现基于该工具的二次开发。3）学习掌握了脑机接口设备驱动的编写，能够实现设 备与信号处理工具的连接。4）学习掌握了 C等编程语言及Visual Studio程序开发工具，为研发基于脑机接口桌面软件提供了必要准备。这个项目的展开，不仅得到了信电学院老师的指导，还 得到了清华大学心理系老师的指导。清华大学心理系在脑机接口研究方面居于国际领先地 位，他们的指导保障了团队成员能够获取最先进的相关知识 和技能培训。对硬件设备的了解和二次开发能力及软件编程能力，是 电气专业学生必备技能，我们想通过这次项目实践，提高这 些技能，为以后的学习工作奠定基础。综上所述，我们团队有较强的学习能力，较好的专业基 础

5、，对所开展的创新项目有自己独特的想法，并有初步的实 践，我们相信在我们的努力下，在信电学院老师和清华心理 系老师的指导下，我们一定能圆满完成项目。二、立项背景 背景情况1995年12月8日，法国Elle 杂志主编Jean-Dominique Bauby因意外严重创伤而导致闭锁 综合症(locked-in syndrome )。他几乎完全瘫痪，虽然思维健全，但全身只有左眼皮可 以眨动。在医院，他最害怕护士不关电视就离开，因为他没有办 法更换电视频道或关电视。即使护士在他身边，他的很多请求仍然没能被人注意到 或理解。为了表达由处于闭锁状态的生命感受，他利用眨眼这唯 一的动作，艰难地完成了思维的表达

6、。书写人不停地念字母，当他听到他需要的字母，便眨一 下眼皮，就这样以及其繁复的方式写下了几万字的著作潜水 钟和蝴蝶。该书的由版引起了极大的震动，唤起了人们对与Dauby有相似处境的人的理解和同情，也让社会开始反思如何给瘫 痪、残疾病人以更好的关怀。近年来随着脑科学、计算机科学、信号处理技术的飞速 发展以及残疾患者需求意识的不断提高，一项被称为脑机接 口 Brain Computer Interface ,BCI的技术正在逐步使得人类利 用脑电信号同计算机或其它装置进行通讯成为可能。有别于传统的人机交互方式，脑机接口技术通过大脑与 外界的直接通道，实现人脑与外界进行信息交互，不需要再 由外周神经

7、和肌肉组成的输由通道参与，从而为思维正常但 有严重运动功能障碍的人提供一种与外界环境进行交流和 控制的途径。其中，稳态视觉诱发电位（SSVEP）是当视觉神经受到一个固定频率的视觉刺激的时，人的大脑视觉皮层会产生一 个连续的与刺激频率有关（刺激频率的基频或倍频处）的响 应；基于SSVEP的脑机接口具有高分类准确率和高信息传 输率的性能及较高的识别性能，可满足残疾人进行表达的需求。清华大学高上凯课题组研究的基于SSVEP脑机接口系统已经能够帮助脊髓损伤患者完成家居环境的操作，为残疾人 士的生活带来许多便利。止匕外，基于人机自然交互的脑机接口对于普通用户也有 非常重要的意义。自然人机交互是强调以人为

8、中心的交互方式。它注重人和计算机以人和人的自然交流的方式进行无障 碍的交互如语音交互， 体态语言交互，其他姿态语言交互等。计算机的控制技术从二进制编码操作到命令行操作（Dos系统，早期的Linux系统）到图形用户界面交互 （windows95 等）再到基于网络用户界面的交互方式（搜索引擎，多媒体 动画，聊天工具等）。从计算机控制发展历程中及目前的研究趋势中，可以看 由自然交互是未来计算机控制技术发展的重要方向。自然人机交互的发展能使人和计算机的交流变得更加自 然通畅，能让人们非常方便的使用计算机。本项目旨在基于 SSVEP的脑机接口研发一套工具，实 现对计算机光标、文字输入的控制，实现人机自然

9、交互。本项目的成果既可以造福于残障人士，满足其基本的电 脑控制及语言表达需求；也可以作为软件的插件，提升普通 用户的用户体验1-3 o国内外研究现状 脑机接口技术是现今脑科学、计算机 工程、生物医学工程及人机自动控制研究领域的一个研究热 点，从1999年开始，连续多次脑机接口国际会议被举办。随着国内外研究团队的不断壮大，一些有关脑机接口技 术的研究成果相继被提由来。在国外关于脑机接口技术的研究较为突生，例如，美国 的Wadsworth中心、乔治亚州立大学脑实验室和加拿大 NSF、伊利若斯大学，在以节律、视觉诱发电位和 P300电位 等研究方向上都有较大进展。在国内有一些高校研究视觉诱发电位、运

10、动想象、P300电位等方向，以清华大学高上凯课题组为代表，取得了良好 的研究成果。脑机接口技术已经初步得到了应用，如美国Wadsworth中心搭建的节律调节脑机接口系统帮助脊髓损伤患者成功 实现了二维光标运动控制；清华大学高上凯课题组研究的基 于SSVEP脑机接口系统能够帮助脊髓损伤患者操作家居环境4,5 o另外，在人机自然交互方面，虽然我国在这些方面起步 较晚，但其技术近年来已引起国家有关部门和科学家们的高 度重视，在973、S-863、十五计划及未来的H一五计划均将 其列为主要研究课题12。目前关于人机自然交互的研究还主要集中在感觉通道输 入和动作通道输入（如语音、手写、姿势、视线、表情等

11、） 以并行、非精确的方式与可见或不可见的计算机环境进行交 互。如美国主要电信运营商 Sprint的PCS部门为客户开通了 语音驱动系统8,9,提供客户服务、语音拨号、查号和更改 地址等业务；美国宇航局 NASA的Ames实验室研制了一套 数据手套工程化系统研究人的体态识别，实现了在约翰逊空 间中心完成空间站操纵的实时仿真11,13;日本京都的先进电子通信研究所 ATR开发了一套系统，它能够用图像处理的 方法来识别手势和面部表情，并把它们作为系统的输入操纵 系统运行11,14。但将脑机接口技术应用于自然人机交互的研究还较少， 其应用前景却十分可观。光标控制方面，清华大学程明、高上凯设计了基于 S

12、SVEP的光标控制系统，屏幕上代表不同方向的四个方块以 不同频率（6-9Hz）闪烁，用快速傅立叶变换（FFT）进行频 谱分析，在线处理 SSVEP,通过比较诱发电位信号频谱峰 值，可以判别由受试者眼睛注视的方块，从而控制光标移动 15。该方法具有准确率高的特点，不过与用户的操作习惯有 较大的区别，不利于提升用户的体验。文字输入方面，韩国的Hwang等完成了基于SSVEP脑机接口的外接键盘式字符拼写系统16,该系统可以实现在线字符拼写，平均每分钟输由 9.39个字符。具有输入较快的优点。但其实现需要外接设备，可能给残障人士带来新的困扰。参考文献1程光辉.脑机接口视觉刺激器实现技术的 研究D.重庆

13、大学,2006. 2 Denby B, chultz T, Honda K, et al.Silent speech interfacesJ. Speech Communication, 2010, 524 270-287. 3 Wolpaw J R, Birbaumer N, Heetderks W J,et al. Brain-computer interface technology a review of the first international meeting J. IEEE Transactions on Rehabilitation Engineering, 2000, 8

14、2164-173. 4刍B霞.基于 SSVEP 的脑机 接口系统设计与研究D.南昌大学,2014. 5何庆华.基于视 觉诱发电位的脑机接口实验研究D.重庆大学,2003. 6黄超.自然人机交互相关技术研究与系统实现D.上海交通大学,2010. 7 Wolpaw J R, Mc Farland D J. Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humansJ.Proceedings of the National Academy of Sciences of

15、 the United States of America, 2004, 10151 17849-17854. 8姚文冰，姚天任.稳健语音识别技 术发展现状及展望.信号处理2001年第17期.pp.484-484 9 高新涛，陈乖丽.语音识别技术的发展现状及应用前景.甘肃科技纵横2007年第36卷第04期.pp.13-13 10软博会.第十二届中国国际软件博览会11创视，虚拟现实研究现状及发展趋 势./newsshow.aspid757. 2008-9-1.pp.1-112 刘伟.人机工程技术研究的现状及发展趋势.海淀走读大学学报.2003年第 四卷.pp.1-4 13吴迪,黄文骞.虚拟现实技

16、术的发展过程及研 究现状.海洋测绘.2002年第22期.pp.15-17 14李志文， 韩晓玲.虚拟现实技术研究现状及未来发展.信息技术与信息 化.pp.94-96 15 Cheng Ming Gao Shangkai. An EEG-based cursor control system. Proceedings of the first joint BMES/EMBS conference. Atlanta, GA, USA IEEE BMESEMBS. 1999. 669. 16 Hwang H J, Lim J H, et al. Development of an SSVEP-bas

17、ed BCI spelling system adopting a QWERTY-style LED keyboard J. Journal of Neuroscience Methods, 2012, 208 59-65.三、特色与创新1、重要性(1)对于特殊人群的帮助脑机接口系统，是大脑与外界直接进行交互的通道，而目前在 全球范围内，因为自然灾害、事故和各种疾病而导致行动不 便的人越来越多，以脑机接口为理论依据建立的基于视觉控 制的光标定位装置可以为这类人提供便利，并且能以此为基 础，研发脑机接口系统在更多领域的应用。(2)具有广阔的发展前景以VR为基础的人机自然交互是未来计算机控制的重要

18、发展方向，能从用户自身的角度 提升计算机的实用性，使计算机的性能提升更大的反映到用 户实际的个人体验上。2.创新性（1）基于脑机接口的人机自然交互与之前类型相近的研究相比，我们的项目旨在利用 SSVEP,通过对于屏 幕不同区域的闪烁形成闹点信号，不断分割细化闪烁区域， 最终确定光标的位置，只需要目光聚焦即可选择目标，更符 合人自然的选择反应，能够实现人与计算机的自然交互，节 省了用户的学习成本，提高了用户的选择效率。（2）细致科学的对比研究 通过多次试验对比，邀请志 愿者参与测试，确定最科学有效的分割方式及分割次数，保 证软件设计的合理性及高效性，从人机交互的角度上提升用 户的体验满意度。（3

19、）基于新式硬件开发 应用EPOC装置开发，有较高 的性价比、精度和普及性，价格适中且便于携带，有利于项 目成果的实际应用与推广。同时，EPOC装置具有较高的可开发性，还可研发更多类似软件。四、实施计划及方案1.进度安排 设备选型（2016年1月） 通过测试选取合适脑电信号采集设备（现已知设备有 Emotiv epoc、Emotiv epoc、Emotiv insight）,实现用户在注 视以指定频率闪烁的图像时脑电信号的采集。驱动编写（2016年2月-2016年3月）基于其原有的配 套程序为之编写相匹配的驱动软件，实现信号采集设备与计 算机的连接，并按照一定的格式（暨OpenV旧E所要求的数据

20、格式）打包传输到 PC端。PC端软件开发（2016年4月-2016年6月） 利用汇编 语言编写训练模块、数据模块、屏幕分割光标定位模块、文 字输入模块。试验测试（2016年6月-2016年11月）依照下文中试验 方案进行试验测试并在此过程中不断进行改进优化。结项（2016年12月）完成设备及软件，撰写报告，准 备答辩，结题。2.研发方案1）设计思路a.光标定位根据SSVEP脑机 接口原理，人脑在注视以不同频率闪烁的物体时，大脑中会 产生不同的特征脑电。在电脑显示界面上绘制以指定频率闪烁的区域，并令用 户注视显示界面，产生相应的特征脑电，利用数据处理模块， 从而判断由用户注视区，之后将用户注视区

21、再次划分成四块 等比缩小的、以不同频率闪烁的区域，重复上述循环。当区域缩小到一定值时，该小区域即可认为是用户所希 望光标点选的位置，即实现光标点选。b.文字输入 方案一以全键盘方式展示由虚拟键盘，利用上述光标定位原理模拟键盘敲击，实现文字输入方案二仿照多级菜单机制，构建初始菜单及多级子菜 单，将不同字符作为选项归类到各菜单中。通过用户注视不同闪烁频率的同级菜单，实现对同级菜 单的点选，进而进入不同子菜单，最终确认输入字符选项， 实现文字输入。2）初步设计方案 a.用户注视不同闪烁区域，产生特征 脑电信号；b.通过设备采集特征脑电信号；C.将采集到的信号输入计算机，并将其转化为规范数据；d.用户

22、进行初始训练，计算机学习并记录用户对于特定频率的特征脑电信 号，使其适应用户对特定频率的脑电响应；e.实现光标点选、文字输入，实现对计算机的控制3）设备系统研发方案a.设备选型 通过调研，选取合适脑电信号采集设备（现已知 设备有 Emotiv epoc、Emotiv epoc、Emotiv insight ）, 在用户 注视以指定频率闪烁的图像时，实现脑电信号的采集以及信 号的模数转换。b.驱动编写 基于其原有的配套程序为之编写相匹配的 驱动软件，实现信号采集设备与计算机的连接，并按照一定 的格式（即OpenVibe所要求的数据格式）打包传输到PC端。c.闪烁绘制、屏幕分割模块 利用Direc

23、tX或GDI在界面 上绘制以指定频率闪烁的区域，根据SSVEP脑机接口原理，利用OpenViBE的数据处理模块，对用户通过注视闪烁区域 而产生的相应特征脑电进行分类，判别用户所注视的闪烁区，该区域再次划分成四块等比缩小的、以不同频率闪烁的 区域，重复上述循环，完成点选。d.编写训练模块以OpenViBE已有的函数、模块为基础， 编写与采集设备相匹配的训练记录模块。从而记录训练过程中采集到的特征脑电信号，所记录的 数据作为数据处理模块中判别的依据。e.编写数据处理模块 基于 OpenViBE （OpenViBE是一 个为实时BCI处理脑电信号的有效软件工具，当今最流行的脑-机接口软件系统，Ope

24、nViBE最显著的特点是高模块化， 它是由C编写的一组软件模块， 可以轻松地集成和高效地设 计脑机接口应用程序）并利用其提供的数据处理函数进行数 据处理模块的编写，达到通过该模块对数据的处理，判断由 用户此时此刻所注视的区域的的目的。f.将先前模块与现有光标控制和输入方式结合将预先编写的驱动程序、闪烁绘制、屏幕分割模块、训练模块、数 据处理模块与现有光标控制和输入方式结合，实现基于 SSVEP脑机接口的自然交互式光标定位及文字输入控制。4）试验方案a.面向小组内部成员及其周边人进行小规 模的实验，实验包括正式实验以及之前的训练过程，纪录实 验过程中的所有实验数据以及参试人员执行约先设定的指 令

25、的完成时间以及完成度准确度。根据完成时间和完成准确度对程序进行优化。b.重复a步骤中进行的小范围实验，根据完成时间和完 成准确度对程序进行优化，直至达到理想效果。c.面向农大师生，对优化后的程序进行大范围测试，记 录实验过程中的所有实验数据以及参试人员执行事先设定 的指令的完成时间、准确度及参试人员的实验感受。五、实施基础与条件 专业知识基础已经学习大学计算机 基础、C语言程序设计、C程序设计、Qt程序开发等必要课 程，并通过小学期面向对象编程课程的学习，独立完成小程 序的设计开发，以及自学了C等编程语言和 Visual studio等软件二次开发工具，为项目实施打下了理论和初步实践基 础。已完成的工作准备从今年 8月开始，团队开始接触脑机 接口方面的研究工作。团队每个成员均切身体会了清华大学组织的脑机接口实 验，对本项目的应用