基于深度学习的运动想象脑机接口研究综述

脑机接口（Brain-ComputerInterface，BCI）技术是一种能在人脑意识行为和外部设备之间建立起不依赖于人体肌肉组织和神经组织的直接交互的通道。作为一种新型的人机交互技术，脑机接口是当前神经工程领域最活跃的研究方向之一，在生物医学、神经康复和智能机器人等领域具有重要的研究意义和巨大的应用潜力。运动想象（MotorImagery，MI）是BCI研究领域常见的任务模式之一，在不同的运动想象状态下，大脑皮层相关的区域产生与任务相关的脑电活动振荡回应。基于脑电（Electroencephalogram，EEG）的运动想象脑机接口（MI-BCI）系统将采集到的某一具体的人脑意识任务信号进行处理和分析，并将模式识别结果转化为相应的指令来控制外部设备，被广泛应用于康复医学应用，如人工假肢的神经控制。MI-BCI的出现为解决高度残疾患者提高与环境的交互能力这一问题提供了新的解决方向，即将患者的意图脑信号转换为外部肢体的运动。脑机接口技术的应用依赖于可以对脑电信号进行准确分类以及系统的鲁棒性。BCI系统常用的脑电信号特征提取方法（时域特征提取、频域特征提取、空域特征提取）无法从高维脑电数据中提取出更有效的脑电特征，而深度学习（DeepLearning，DL）的自动学习高维数据选择特征的特点解决了这一问题，且能够在很大程度上缓解传统的手工选择特征的问题。通过深度学习强大的分析能力，可以实现对脑电信号的有效表征，为准确识别不同的大脑状态提供了方向。提取脑电信号准确有效的特征，难点在于脑电信号是一种随机性强、背景噪声强、非平稳的信号，且不同被试者间存在较大的个体差异，这些都使脑电信号分析面临着较大的挑战。选择合适的深度学习模型进行脑电信号分析，不仅是为了提高分类精度，也是为了解决在跨范式、跨被试、跨试验情况下系统仍具有良好的鲁棒性等问题。为选择合适的深度学习模型，本文首先讨论了卷积神经网络（ConvolutionNeuralNetwork，CNN）、深度信念网络（DeepBeliefNetwork，DBN）和递归神经网络（RecurrentNeuralNetwork，RNN）等深度学习模型，以及在通用架构上改进的适用于脑电信号的深度学习模型变体，还讨论了深度学习模型和其他脑电特征提取方法结合的混合模型，最后讨论了深度学习模型之间的融合。1基于卷积神经网络的运动想象脑电识别方法1.1卷积神经网络卷积神经网络最早由纽约大学1998年提出，其本质是一个多层感知机，主要思想是局部感知（localfield）、权值共享（sharedweights）和下采样（subsampling），主要用于图像与一维时序信号的自动特征提取和分类，其在计算机视觉和语音识别领域中的使用已经非常广泛。使用CNN进行深度学习是生物医学信号领域新的研究热点，而且在EEG数据分析方面表现非常出色。CNN是一种多层前馈神经网络，其典型结构如图1所示，主要由卷积层、激励层、池化层和全连接层4种结构组成。图1CNN典型结构1.2EEGNet模型1.2.1EEGNet模型的架构Lawhern等人提出的EEGNet，是一种用于基于EEG的BCI的紧凑型的深层卷积神经网络。在训练数据有限的情况下，EEGNet具有更强的泛化能力和更高的性能，可以有效地推广到事件相关电位（EventRelatedPotential，ERP）和基于振荡的BCI。此外，EEGNet能提取出神经生理学上可以解释的特征。如图2所示，EEGNet模型的架构包括两个卷积块和一个分类块。第1个卷积块包含了一层常规的二维卷积和一层深度卷积（DepthwiseConvolution，DC），第2个卷积块使用了深度可分离卷积（DepthwiseSeparableConvolution，DSC），分类块直接使用Softmax进行分类。并且在每一个卷积操作后都使用了BN操作，每一个卷积块中都添加了dropout，激活函数选择了Linear函数和指数线性单元（ExponentialLinearUnit，ELU）函数。图2中，参数C为原始脑电信号的通道数，T是每个trail的采样点数，是时间滤波器的个数，D是空间滤波器的个数，是点滤波器的个数，N是类别数。在Dropout层，对于同一被试数据，分类任务以概率p=0.5随机断开一部分神经元的连接，对于不同被试数据，分类任务则以概率p=0.25随机断开一部分神经元的连接。图2EEGNet模型架构1.2.2深度可分离卷积深度可分离卷积是轻量级神经网络的主要结构，其主要功能是在保证网络非线性和充分利用特征信息的同时，压缩网络结构，大大减少了模型的参数和计算量。深度可分离卷积结构上包含一个深度卷积层和一个点卷积层（pointwiseconvolutionlayer），其主要原理是先使用深度卷积对上层输出的特征图的空间信息进行融合，然后使用点卷积对特征图的通道信息进行融合。深度卷积是一个逐通道卷积的操作，具体实现是先将来自上一层输出的N通道特征图（featuremap）拆分为N个单个通道的特征图，再分别对它们进行单通道卷积，最后重新堆叠到一起。因为一个卷积核负责一个通道，一个通道只被一个卷积核卷积，所以深度卷积层的卷积核数量是上一层输出的通道数。点卷积是一个逐点卷积的卷积操作，对来自深度卷积层的特征图进行卷积，点卷积与常规的卷积操作很类似，只是点卷积的卷积核的大小固定为（1，1）。因此，点卷积弥补了深度卷积没有有效利用不同通道在相同空间位置上的特征信息的不足。1.2.3EEGNet模型的优点EEGNet模型的优点是使用了激活函数ELU，以及架构上选择了深度可分离卷积。ELU函数融合了sigmoid函数和ReLU函数，右侧的线性部分无饱和性，能够缓解梯度消失问题，左侧具有软饱和性能，对输入变化或者噪声更鲁棒。由于EEG信号是一种背景噪声和随机性很强的非平稳信号，因此ELU函数抗噪声能力强的特点很适合用来处理EEG数据。架构上选用深度可分离卷积能够减少网络参数和计算量，使得模型能够更快收敛。1.3基于图谱的卷积神经网络1.3.1小波变换的特点一般的信号处理方法如傅里叶变换在处理平稳信号、理想信号时表现比较优秀，但对于不平稳、随机性强的脑电信号来说并不适用。同时注意到，如果使用一个窗函数将不平稳信号切割成比较小的信号片段，就能将这些短时信号片段看成平稳信号，就可以使用傅里叶变换对其进行分析，这种方式就是短时傅里叶变换（Short-TimeFourierTransform，STFT）。然而其窗口的大小和形状是固定的，不具有自适应性，因此在实际问题的应用中，无法很好地兼顾高频谱信息。在这样的背景下，引入了小波变换（WaveletTransform，WT）。小波变换也是常用的时频分析方法，可以通过对小波基函数的伸缩和平移对原始信号进行多尺度分解。本文将尺度理解为时间窗口，较大的尺度因子对应着宽小波，频带较低，此时能得到原信号中的低频成分信息。因此对不同频谱的信号都能进行比较全面的细化分析，具有多分辨率分析的优点。小波变换像是一个数学显微镜，能够放大局部信号的细节部分，这一优点是对短时傅里叶变换的局部化思想的继承和发展，同时又克服了短时傅里叶变换窗口大小不具有自适应性等缺点。1.3.2小波时频图提出了使用连续小波变换（Continuous

WaveletTransform，CWT）提取脑电信号时频特征，并将生成的小波时频图作为一维CNN的输入。结果表明，与传统的基于机器学习的分类方法相比，该模型具有更好的分类准确率。小波变换主要包括CWT和离散小波变换（DiscreteWaveletTransformation，DWT）。这里讨论的是连续小波变换。连续小波变换将信号从时域转换为时频域进行分析。它的优点是能够对小波基函数的尺度因子和位置参数进行调节，使小波变换能够在短时间内适用于信号分析。Morlet小波变换是连续小波变换的一种，其基本思想是：将连续的时间信号和Morlet小波进行卷积，从而获得随时间变化的时频能量分布。使用多尺度小波分解对原始脑电信号进行分解，不同运动想象任务下小波能量具有显著差异，因此可以推断在不同任务的运动想象状态下，由小波变换得到的小波时频图能提取出有效特征。这种方法将EEG信号从一维时间序列转换为二维图像来处理，通过对原始脑电信号进行连续小波变换得到的时频图作为CNN的输入，得到任务分类结果。基于小波时频图谱的卷积神经网络对运动想象脑电信号进行分类处理的方法属于比较传统的做法。1.3.3脑地形图作为CNN的输入众所周知，和传统的机器学习算法相比，深度学习表现出更强的数据依赖性，在样本量增加的时候，使用深度学习进行脑电信号分类可以得到更好的分类性能。由于使用小波变换一次试验只产生一个小波时频图，样本量较少，因此CNN分类精度无法得到很大的提高。在2020年提出的将一维脑电信号的时间序列转换为二维脑电地形图，每次试验选取两秒的时间窗，每一个采样点产生一个地形图，每次试验能产生2×采样率个地形图，大大扩充了样本量，同时也可以让CNN从空间和时间两个维度学习到不同运动想象任务的细微特征，因此可能得到更好的分类精度。1.4基于迁移学习的VGG网络1.4.1迁移学习BCI在线系统通常需要在被试者使用系统前采集大量该被试者的脑电数据，从而对分类模型进行离线训练。并且需要让训练数据和测试数据在相同的特征空间中，服从相同的统计分布。然而采集被试者大量的数据比较困难，不同被试者的脑电数据之间存在较大的差异，直接使用其他被试者的脑电数据训练分类模型对系统的鲁棒性要求比较大。因此，为了克服脑电数据样本量缺乏导致网络训练不足的缺点，以及针对被试者个体间存在较大差异这一特点，提出的另一个方法是在深度卷积神经网络的基础上引入迁移学习。迁移学习将在相关领域学习到的特征应用到当前领域的任务上来，使得模型在目标域中没有大量脑电数据的情况下，通过在相似域中学习到的先验知识也能对目标任务进行学习。迁移学习是一种深度学习技术，基于卷积神经网络的迁移学习用于快速准确地训练一个CNN，且CNN网络参数不从0开始初始化，而是把在其他被试者的脑电数据集上训练好的模型参数迁移到该被试者的CNN模型并作为该模型的参数初始值。1.4.2VGGNetVGGNet是卷积神经网络中具有优良分类性能的网络模型。其特点是全部使用3×3的小卷积核和2×2的池化核来进行架构，每层卷积层包含2～4个卷积操作，其网络深度一般为11～19层，比较常用的是VGGNet-16（包含16层）和VGGNet-19（包含19层）。将多个小卷积核堆叠形成的一个卷积层代替只包含一个大卷积核的卷积层，可以增加空间感受野、减少参数并且增加非线性映射次数，增强了模型对数据的拟合能力。VGGNet不仅对大规模数据集有良好的分类效果，对小数据集也有良好的扩展能力。迁移学习应用到脑电分析领域，将预先训练好的深度学习网络进行微调，让它对新任务进行学习，需要通过以下几个步骤实现：（1）由于VGGNet的输入要求是224×224的RGB图像，所以需要先把脑电信号从一维的时间序列转换为224×224的二维图片，实现方法可以参考本文1.3节。（2）选择一个预先训练好的VGG网络。（3）使用新数据集训练好的网络层替换原来训练好的VGGNet的最后面几层，并指定输出层的分类数。（4）选择合适的优化器、初始学习率和batchsize等一些训练参数并训练模型。提出了另一种方法，使用预先训练的网络直接从指定层中提取图像特征，并使用SVM分类器对特征进行分类，也得到了比较好的准确率。２基于深度信念网络的运动想象脑电识别方法2.1深度信念网络2.1.1深度信念网络概述深度神经网络（DeepNeuralNetwork，DNN）和简单神经网络架构上相似，但因其能对网络输入和输出之间复杂的非线性关系进行灵活、高阶的建模而备受关注。DNN也存在一些问题，当神经网络的层数增加时，模型参数迅速增长，带来了模型训练时间长、反向传播过程容易出现梯度消失且需要大量训练样本等一些缺点。为了解决深度神经网络的训练问题，2006年提出了DBN，其通过逐层训练的方式解决了深层网络的上述问题。DBN的优势在于通过无监督逐层训练的预训练方法，可以在不需要带标签数据的情况下生成模型权重，且逐层训练的方式大大减少了计算量。预训练结束后对带标签的数据使用BP算法可以对模型的性能进行调优，这在没有大量标签数据的情况下非常有效。2.1.2限制玻尔兹曼机DBN是由多个限制玻尔兹曼机（Restricted

BoltzmannMachines，RBM）组成的，从底层到顶层逐层训练。RBM具体分为两个层次，分别是可视层和隐藏层，其中可视层用于接收输入的训练数据，隐藏层用于提取特征，且具有层内无连接、层间进行全连接的特点。具体的逐层训练过程：（1）最底层的RBM接收输入层的原始训练数据，经过训练提取特征；（2）前一层RBM提取到的特征作为下一层RBM的输入继续训练。于是将DBN复杂的训练过程简化成对多个RBM进行训练。2.2基于微分熵的DBN熵是热力学中表征物理状态的度量之一，其物理意义是表示体系的混乱程度。在信息论中，信息熵表示了信号的不确定性程度，是系统内信息含量的量化指标。对于脑电信号这类随机性、不确定性强的信号而言，信号的具体取值具有很大的不确定性，因此信息熵可以作为脑电信号所携带信息量的度量。微分熵是一种连续随机变量的熵，用来度量连续随机变量的复杂度。对于一定长度的脑电信号序列，它在某一频段的微分熵等价于它在该频段的能量谱的对数值，而取对数可以在一定程度上平衡高、低频带能量特征值之间悬殊的差距，因此使用微分熵特征作为DBN的输入比傅里叶变换直接得到的能量谱特征更能降低由于能量悬殊的差距给后续计算带来的误差。2.3基于小波包分析的DBN小波包分解（WaveletPacketDecomposition，WPD）是在WT的基础上发展起来的，它克服了WT在高频段频率分辨率较差、低频段时间分辨率较差的问题，可以对中、高频信号进行更好的时频局部化的分析，是一种更精细的时频分析方法。同时，WPD继承了WT的优点，可以根据被分析信号的特点，自适应选择合适的频带与被分析信号相匹配，提高信号的分析能力。小波包分析方法利用多次迭代对原信号进行多尺度的小波包分解，再对小波包子空间的高频和低频信息同时进行分解。选取合适的小波基函数和尺度因子是能够提取到有效脑电特征的保障，且往往需要在实验中不断进行调整。小波包分析方法可以以小波系数的对数值、均值、方差值等作为特征，也可以提取多尺度的空间能量特征将其作为DBN的输入。提出了一种频域深度信念网络（FrequentialDBN，FDBN）用于对MI任务进行分类。该模型首先使用快速傅里叶变换（FastFourierTransform，FFT）和WPD提取EEG信号的频域特征，并将这些特征作为DBN的输入去训练DBN网络。结果表明，FDBN的性能得到了显著提升，并且对同一被试者跨会话的MI-EEG信号分类具有比较好的效果。３基于循环神经网络的运动想象脑电识别方法3.1循环神经网络3.1.1循环神经网络概述在传统的神经网络模型中，都是从输入层经过隐藏层，然后再到输出层，层间的节点是没有连接的，也不会保存任何状态信息。而循环神经网络（RecurrentNeuralNetwork，RNN）是一种特殊的神经网络，其核心部分是循环单元进行链式连接，对每一次输出信息都进行记忆并且作用于下一次输出的计算中，隐藏层之间的节点建立起了连接，给定了当前输入的上下文环境，对于处理时间序列问题有比较好的效果。因此，将RNN应用到脑电分析识别任务中。RNN可以在预处理阶段增强EEG信号，从而提高BCI性能，且RNN不会对混合在待滤波信号中的噪声性质做任何假设，因此十分适合处理EEG信号这样的混合着未知特性噪声的信号。RNN的输入可以是原始的脑电信号，也可以是提取的脑电特征。3.1.2长短时记忆神经网络1991年，提出了RNN有长期依赖的问题，在对长序列进行学习时，RNN会出现梯度消失和梯度爆炸现象。为解决这一问题，提出了一个结合基于梯度的学习算法的新型循环网络结构，即长短时记忆（LongShortTermMemory，LSTM）神经网络，其特点是在标准RNN网络结构的基础上引入了一个由sigmoid层和点积操作构成的门单元（遗忘门、输入门、输出门）。实现LSTM需要经过4步：（1）通过遗忘门将当前输入和前层输出信息中选择性丢弃一些信息；（2）通过输入门的sigmoid层决定哪些是需要更新的信息，tanh层生成需要更新的内容；（3）更新细胞状态；（4）通过输出门输出基于细胞状态过滤后的部分。LSTM通过控制上层输出和当前输入的记忆和遗忘程度选择性存储信息，因此能实现长时记忆的效果。使用多层感知机（MultilayerPerceptron，MLP）和LSTM模型对手脚运动想象任务的数据进行分类，结果表明LSTM具有更好的性能。Wang等人提出使用一维聚合近似（1d-AX）提取的MI脑电特征作为LSTM网络的输入的AX-LSTM模型具有较好的分类性能。3.2BLSTM1997年，提出了具有深度结构的双向递归神经网络（BidirectionalRNN，BRNN），它可以在两个时间方向上训练网络并且同时最小化两个时间方向上的目标函数，真正意义上给出了当前输入的上下文环境。双向和门单元的特点大大提高了RNN的学习能力。在此基础上，2005年提出了双向长短时记忆（BidirectionaLSTM，BLSTM）网络，即把具有门机制的LSTM和双向递归的BRNN结合起来，从而能够获得长时的上下文信息，更有利于RNN网络的学习。BLSTM把从两个时间方向处理信号得到的特征向量组合起来用于识别EEG信号状态的特征，这样的结构能够使在线系统更加准确地捕捉到运动想象事件发生的起点和终点，有利于连续脑电信号的识别与分析。使用BLSTM对左右手运动想象任务进行分类并取得了不错的效果。使用标准LSTM和BLSTM的并行网络来学习EEG信号的时空信息，充分利用了有限的数据并且在试验之间具有更好的泛化能力。3.3基于共空间模式的LSTM基于空间滤波的深度学习是通过空间滤波提取EEG通道间的差异性作为神经网络的输入。最常见的应用于MI任务的空间滤波方式是共空间模式（CommonSpatialPattern，CSP）。提出了一种结合CSP和LSTM网络对MI任务进行分类的模型，该模型的主要工作流程是通过滑动窗口从空间滤波后的数据中获取时间序列，并将其作为LSTM网络的输入。由于脑电信号中常常存在一些与任务无关的噪声和其他非任务相关活动（比如眼电、肌电信号等），这些信号对MI任务的精确分类造成了比较大的影响，而该模型证明了对含非任务相关活动的不同MI任务进行实时分类的有效性。CSP是一种监督学习方法，训练样本是两组含标签的脑电数据。CSP的目标是通过适当的矩阵变换，将高维的脑电信号转换到低维子空间，得到的一个最优矩阵可以最大化两类数据的方差。具体实现步骤是通过对每组训练数据求平均协方差矩阵，然后对公共协方差矩阵进行主成分分解、白化等操作，将生成的白化矩阵作用于两类训练数据的平均协方差矩阵，使得两类训练数据方差最大化，此时两组脑电信号具备了区分的特征。再通过主成分分解等操作得到公共特征矩阵W，利用矩阵W得到投影矩阵。最后将投影矩阵作用到原始脑电信号上，得到脑电特征数据。测试数据通过公共空间滤波器能够实现两类数据的协方差最大化，即一类方差最大，一类方差最小，得到的特征向量增强了两类数据的差别。采用近似联合对角化（Joint

ApproximateDiagonalization，JAD）方法可以将两类CSP方法推广到多类CSP方法。４混合型网络单一的深度学习模型不能满足对EEG信号进行全面分析的要求，除了其他方法和深度学习结合，这三大深度学习算法之间也进行一定程度的结合，从而更好地进行EEG信号的分析。在MI的分类识别任务中，CNN和RNN是实际应用中采用最多的深度网络