Abstract
运动想象脑电信号是低信噪比的非平稳时间序列,单通道脑电分析方法难以有效刻画多通道信号之间的交互特征。本文提出了一种基于多通道注意力的深度学习网络模型,该模型对预处理后的数据进行稀疏时频分解,增强了脑电信号时频特征的差异性。然后利用注意力模块在时间和空间对数据进行注意力映射,让模型可以充分利用脑电信号不同通道的数据特征。最后利用改进的时间卷积网络进行特征融合并进行分类识别。利用BCI competition IV-2a数据集对所提算法进行验证,结果表明所提算法可有效提升运动想象脑电信号的分类正确率,9名受试者的平均识别率为83.03%,与现有方法相比,提高了脑电信号的分类精度。所提方法增强了不同运动想象脑电数据之间的差异特征,对提升分类器性能的研究具有重要意义。
Keywords: 脑-机接口, 运动想象, 注意力机制, 稀疏分解, 深度学习
Abstract
Motor imagery electroencephalogram (EEG) signals are non-stationary time series with a low signal-to-noise ratio. Therefore, the single-channel EEG analysis method is difficult to effectively describe the interaction characteristics between multi-channel signals. This paper proposed a deep learning network model based on the multi-channel attention mechanism. First, we performed time-frequency sparse decomposition on the pre-processed data, which enhanced the difference of time-frequency characteristics of EEG signals. Then we used the attention module to map the data in time and space so that the model could make full use of the data characteristics of different channels of EEG signals. Finally, the improved time-convolution network (TCN) was used for feature fusion and classification. The BCI competition IV-2a data set was used to verify the proposed algorithm. The experimental results showed that the proposed algorithm could effectively improve the classification accuracy of motor imagination EEG signals, which achieved an average accuracy of 83.03% for 9 subjects. Compared with the existing methods, the classification accuracy of EEG signals was improved. With the enhanced difference features between different motor imagery EEG data, the proposed method is important for the study of improving classifier performance.
Keywords: Brain-computer interface, Motor imagery, Attention mechanism, Sparse decomposition, Deep learning
引言
脑-机接口技术(brain computer interface,BCI)[1]通过分析大脑中神经元活动的电信号来解码人类的意图,实现人体对外部环境或设备的控制,如脑控神经假肢、外骨骼机器人、机械臂和无人机等。BCI系统也为人工智能的发展提供了更多的解决方案,如直接通过大脑意识实现智能家居的控制、网页浏览和娱乐游戏等。BCI系统可以使用多种类型的脑电图(electroencephalography,EEG)信号,包括事件相关电位(event-related potentials,ERP)[2]、慢皮层电位(slow cortical potentials,SCP)[3]和感觉运动节律变化(sensorimotor rhythm,SMR)[4]等。基于运动想象[5]的BCI系统用于控制的脑电信号只是通过想象产生,不依赖于任何刺激,可以实现异步通讯,属于真正意义上的BCI系统。开发基于运动想象的BCI系统对中风以及其他患有严重运动障碍的患者具有重要意义。失去运动能力的患者经过运动想象训练后,可以通过想象肢体或者肌肉的运动自主进行康复训练或完成对外部设备的控制,例如控制轮椅或假肢以改善生活质量。
基于运动想象的BCI系统建立在运动想象的事件相关同步化电位(event related synchronization,ERS)和事件相关去同步化电位(event-related desynchronization,ERD)[6],其特点是非平稳、信噪比低[7],且由于不同的电极阻抗、肌肉动作、眼球运动和用户精神状态等的变化会进一步增加数据的不稳定性,因此准确解码大脑运动想象任务并对不同的运动想象进行分类具有非常大的挑战性。运动想象解码任务的核心问题就是从其混乱的脑电图序列中提取尽可能多的特征来进行分类识别。为了高精度地识别运动想象模式,早期研究主要是根据经验进行特征提取以及利用机器学习完成分类。小波变换、功率谱密度和频谱图等是经常使用的时频特征提取方法,有助于探索EEG信号随时间变化的频率信息。后来,学者们开始研究脑电信号中存在的空间相关性,其中共空间模式(common spatial pattern,CSP)[8-10]是用来提取运动想象脑电数据空间特征的经典算法。该算法通过构造最优的空间滤波器,来提高不同运动想象任务之间的特征差异。 由于个体差异,CSP选择的带宽频率可能并不适合所有个体,于是Ang等[11]提出了一种滤波组共空间(filter bank common spatial pattern,FBCSP)算法,该算法通过带通滤波器将原始脑电信号分成多个频带,再利用CSP提取对应频带信号特征完成分类。在特征提取工作完成后,可以采用主流的机器学习模型如支持向量机(support vector machines,SVM)或线性判别算法完成分类。Zayyanu等[12]还将FBCSP和深度神经网络(deep neural networks,DNN)相结合,通过构造一种改进的DNN框架来替代传统的SVM分类器,对数据的特征进行进一步处理。CSP特征提取虽然拥有良好性能,但是该算法只考虑了脑电信号的空间特征信息,忽略了运动想象过程中信号的时频特征。CSP改进算法主要是从特定对象中提取、选择和融合多个特定时间窗和子频带脑电图信号的CSP特征,以此来弥补CSP对动态特征捕捉能力差的缺陷,并没有考虑到随着数据量和特征维数的增加,模型的计算复杂度也会急剧增大。另外,时频带的过度划分又会导致信息冗余,造成分类精度的降低。
近年来,随着技术的飞速发展,深度学习方法逐步应用于脑电信号分类,其中卷积神经网络(convolutional neural network,CNN)[13-15]可以显著地提高模型的识别性和鲁棒性。Wu等[16]提出并行的多尺度滤波器组CNN来进行运动想象分类,建立多尺度卷积用于时频特征提取,并将提取的输出特征连接到空间卷积层中,完成脑电信号多模态特征的融合。Michielli等[17]提出了一种新的基于长短期记忆(long short-term memory,LSTM)块的级联递归神经网络结构来分析脑电图信号。Wang等[18]为解决网络的时间移动特性和网络过拟合的问题提出了一种结合通道加权技术的长短期网络(1d-AX-based LSTM,AX-LSTM)。深度学习模型在进行特征提取时表现优于人工提取,但是在进行运动想象解码时都是基于对特征细分后再进行加权融合,并没有考虑到脑电信号处理前数据空间结构和时间局部特征组合表达的合理性。基于深度学习的改进算法也只是进行数据输入形式的转变,将特征之间的相似性归一化以用作后续处理,并且每个特征由所有特征的加权和来更新,导致相似的特征会具有较大的权重,使得模型不能有效地获取脑电信号的全局特征,无法完全满足解码脑电信号的复杂任务要求。
为了充分利用原始脑电信号的空间结构和时间特征,本研究提出了一种基于通道注意力和稀疏时频分解(sparse spectrotemporal decomposition,SSD)的深度神经网络模型,以实现对原始脑电信号时间和空间特征的提取与识别。首先利用SSD算法[19]来增强脑电信号在时频平面上的稀疏性。然后结合脑电信号的特性,在模型中加入了注意力模块(convolutional block attention module,CBAM)[20],利用全局关系信息来沿着时间和空间两个不同的维度依次对脑电信号进行映射,提取运动想象脑电信号的时间和空间特征。注意力模块是从信号的全局关系出发,进行对应的特征提取并生成通道注意图和空间注意图,每个通道的注意力由它的特征和对应的关系向量决定,能够有效捕捉局部与全局信息,同时又能够在空间位置上提取和增强特征,从全局特征出发抑制脑电信号的无价值通道特征。最后利用改进的时间卷积网络(temporal convolutional networks,TCN)[21]进行特征融合分析,实现对运动想象脑电信号的解码任务。
1. 研究方法
1.1. 网络模型
本研究提出的网络模型的整体结构如图1所示,该网络结合了EEGNet模型紧凑的结构特点,在TCN模型中引入深度和可分离的卷积来构造一个特定的脑电分类模型。利用深度卷积进行特定频率的过滤,可分离卷积单独学习每个特征图的时间特性,最后在TCN层进一步利用时间信息,提高模型分类正确率。同时数据在输入网络前经过稀疏处理模块和注意力模块处理后,特征会得到明显加强,可进一步提高网络的分类性能和稳定性。在TCN模块堆叠L个残差块,捕捉到所有时间信息后,将提取到的最后特征输入到一个全连接层进行分类。网络各部分参数具体数值如表1所示,选择指数线性ELU函数作为激活函数,可比ReLU函数表现出更好的性能,同时根据大脑数据集的通道数以及提取特征要求,选择适合的卷积核大小和数量。
图 1.

Network structure
网络整体结构图
表 1. Network parameters table.
网络参数表
| 网络结构层 | 类型 | 卷积核参数 | 输入尺寸 | 输出尺寸 | 参数数量 |
| 注意力模块 | 空间注意力 | (1,1) | (1,22,1 125) | (1,22,1 125) | |
| 深度卷积 | 深度卷积层 | (22,1) | (1,22,1 125) | (1 125,1,16) | 352 |
| BN层 | (1,8) | (1 125,1,16) | (140,1,16) | 64 | |
| 可分离卷积 | 可分离卷积层 | (1,8) | (140,1,16) | (17,1,16) | 512 |
| 时间卷积 | 时间卷积 | FT=12 | (17,1,16) | (17,12) | 780 |
| 全连接层 | 全连接层 | (17,12) | 4 |
1.2. 稀疏频谱分解
EEG信号的时频分析处理在近几年应用广泛,可以同时从时间域和频域中对信号进行全面分析进而增强非平稳信号的特征。常见的时频表示法如短时傅里叶变换(short-time Fourier transform,STFT)和离散小波变换(discrete wavelet transform,DWT)[22],由于算法简单和准确度高而被多数模型使用,但在处理脑电信号的动态性能方面表现较差,不能有效利用数据的时间连续性,而且容易受噪声干扰,导致模型分类正确率下降。Sun等[19]从压缩感知领域[23]提出了稀疏频谱分解算法,本研究将该算法应用于运动想象脑电信号的特征提取,得到脑电信号在时频面的稀疏频谱估计。通过加强跨时间的平滑性,可以有效适应脑电数据的变化特性,并且能够抑制频带外的噪声干扰。模型可以更好地捕获ERD/ERS现象,并提高特征提取性能。
假设
是一个频率为
离散信号、给定长度为W的任意区间,可以找到最能代表y的时间频率系数
的集合,其中K和N是集合所需的频率区间数和时间窗口的数量。利用这种表示法,信号y可以表示为
,其中频率系数为矩阵形式,经过转换可以得到
的频率分辨率[23]。模型可以简写为式(1)形式。
![]() |
1 |
式中
是信号y的矩阵形式,
是每个区间对应频率系数组成的系数矩阵,
是噪声矩阵。可以利用
范数最小化估计和Y的离散傅里叶变换来求得稀疏系数。
为确保信号在频率上的稀疏性和时间上的连续性,通过经典傅里叶测量模型的联合最小化对信号进行时频分解,该模型可以增加相邻时间窗口频率系数的组间稀疏性。通过定义列为
的矩阵,给出了群稀疏正则化函数,也称为
范数。群稀疏正则化函数可以应用在具有时间差异的频率系数中,可确保在给定的时间序列中大多数频率系数不发生变化,并使得发生变化的频率系数变得更加平滑。将此约束函数引入式(1)中,可以获得信号去噪后的频域表达。式(2)给出了具有
范数正则化的稀疏系数求解问题。
![]() |
2 |
式中
是矩阵系数,
是定义在实数上的一阶差分矩阵[24]。
式(2)引入了
范数增加了模型的实用性但是增加了系统计算难度,为方便求解引入辅助变量Z[24]。通过变量分裂技术和交替法[25]可以得到X和Z的增广拉格朗日交替最小化,然后通过对X的损失函数进行微分可以推导出X的最小化问题如式(3)所示。
![]() |
3 |
这是一个凸二次问题,可以通过计算来推导出X的最优解,公式中
代表转置矩阵,
是拉格朗日乘数,
是惩罚因子。Z的最小化求解问题由式(4)求得。
![]() |
4 |
可以将式(4)看作
正则化近端算子,通过一个逐行收缩算子[26]来进行求解,其中 
,
与收缩量成正比关系,
越大Z中产生非零行越少。通过上述稀疏频谱分解法,求得信号的频率系数的稀疏矩阵X,得到显著去噪的稀疏时频信号,有效增强了不同运动想象脑电数据之间的差异特征,为不同运动想象任务的分类识别打下基础。
1.3. 注意力模块
注意力模块由通道和空间两个模块组成,在图像处理方面应用广泛,本研究将注意力模块应用于运动想象脑电分类。与传统时频特征提取方法相比,注意力分析可以有效提高模型框架的解码能力和对脑电数据特征的敏感性,使得模型能够进一步放大有价值的特征,并且可以利用脑电信号的全局特征抑制无价值的特征通道。注意力模块结构如图2所示。
图 2.

Attention module
注意力模块图
1.3.1. 通道注意模块
脑电信号每个通道对特征敏感度不同,利用信号的通道关系生成一个通道注意图。每个通道作为特征检测器,有效地聚合了信号的通道信息,提高特征敏感性。首先将稀疏分解过的脑电信号进行平均池化和最大池化操作,生成两种不同的空间特征描述
和
,分别表示平均合并特征和最大合并特征。然后将这两个特征描述转发到共享网络进而生成通道注意力图
。其中共享网络是一个具有隐藏层的多层感知器(multilayer perceptron,MLP)组成。将共享网络应用于两个特征描述后,利用元素级求和来合并输出,得出信号的通道注意力输出向量如式(5)所示。
![]() |
5 |
式中
表示S型函数,
和
是MLP的输入共享权值。
1.3.2. 空间注意模块
与通道注意不同,空间注意模块关注的是脑电信号的全局空间特征,是对通道注意力的进一步补充。与通道注意力一样,先对输入信号进行平均池化和最大池化,不同的是在连接两个特征描述时用的是标准卷积层,这样可以更好地增强需要的特征信息,计算方法如式(6)所示。
![]() |
6 |
式中
表示S型函数,
表示滤波器大小为
的卷积操作。
1.4. TCN模块
TCN与传统卷积网络不同,首先TCN内部应用到了因果卷积,是一个一维全卷积网络结构,其中每个隐藏层与输入层大小相同,并添加内核大小为 − 1的全零填充,以确保后续层长度相同,产生与输入长度相同的输出。此外,因果卷积强制不让未来的信息流回到过去,即时刻T的输出只与时刻T和T之前的输入有关。但是常规的因果卷积只能在网络深度中线性地增加其感受野的大小,这就导致需要极深的网络模型才能获得合适的感受野。所以TCN使用了一系列膨胀卷积[27],通过指数增加的扩张因子,使得网络深度成比例地增加其感受野。TCN的残差连接由两层膨胀卷积组成,包括批量归一化、非线性和卷积之间的dropout层,具体结构如图3所示。通过使用多个残差块,卷积的感受野随着残差块增加成指数扩增。感受野大小由式(7)计算。
图 3.
Residual connection of time convolution
TCN的残差连接图
![]() |
7 |
式中
为内核大小,L为残差块数量。本研究用TCN代替传统的卷积网络,通过使用残差块和膨胀卷积减小了模型深度,同时本研究对TCN进行了改进,在TCN模型中加入了深度卷积层和可分离卷积层,将数据特征在空间维度上进行加权组合,减小了模型参数的计算成本。
2. 运动想象数据处理
2.1. 数据集
本研究在BCI competition IV-2a公开数据集(http://www.bbci.de/competition/iv/)上进行实验测试。数据集包括四种不同的运动想象任务,分别是想象左手、右手、脚部和舌头,标签分类为左手(第一类)、右手(第二类)、脚部(第三类)、舌头(第四类)。数据集通过22个Ag/AgCl脑电极从9个不同的受试者采集而来,采样频率为250 Hz。除了22个脑电极外,还有三个眼电图(electrooculogram,EOG)通道提供了眼球运动的信息,可以用于后续数据处理进行EOG消除,得到纯净的脑电信号。每次运动想象实验分为五个部分,首先是静息等待调整状态,然后是短时间声音刺激提醒受试准备开始实验,电脑屏幕会出现四个不同方向的箭头指示不同的运动想象任务,然后受试进行对应的运动想象时间为4 s,最后是结束提示休息。每个受试数据的采集分为6个时段,每个时段受试需要进行48次运动想象实验,共288次实验数据。
2.2. 数据预处理
将得到的9个受试的数据进行裁剪,为确保数据准确性,选择裁剪的时间窗为开始运动想象后0.5 ~ 5 s之间的4.5 s,比实际运动想象时间多了0.5 s,得到每次运动想象数据格式为(22,1125),共有288组运动想象数据以及对应的标签。利用5阶的Butterworth带通滤波器去除信号超过40 Hz的噪声和在4 Hz以下的慢基线信号,并利用独立成分分析算法(independent component correlation algorithm,ICA)将数据中的EOG信号去除掉。通过分析9个受试不同频率段脑电节律能量变化的脑地形图可知,9个受试的整体变化趋势一致,在频率为8 ~ 12 Hz 的α波和12 ~ 30 Hz的β波中呈现出较为明显的脑电节律能量变化,这也是运动想象过程中大脑皮层产生的两种变化较大的节律信号,因此运动想象分类模型选择利用这个频率段的数据完成脑电信号解码任务。以受试3为例,其四种运动想象不同频段能量变化的脑地形图如图4所示,其他受试脑地形图与受试3变化趋势类似。经过预处理的脑电信号放入稀疏分解模块可增强其在时频域的稀疏性,提高信号对噪声的鲁棒性,后续处理能够更好地区分特征并进行准确分类。
图 4.
Brain topography of energy changes maps in different frequency bands of four kinds of motor imagery for Subject 3
受试3四种运动想象不同频率段能量变化的脑地形图
2.3. 实验环境
整个网络模型在Python上的Tensor Flow框架下进行搭建,利用其各种张量进行网络卷积核的构造。网络选用自适应随机优化算法[28]进行损失函数的优化,训练采用的是小批样本梯度下降策略,在训练过程中对每次的训练结果和损失函数结果进行更新,并对比每次训练精度和Kappa值选取最优的网络模型进行保存。Kappa值是一种用来衡量模型分类精度的标准,其计算表达式如式(8)所示。
![]() |
8 |
式中
表示整体分类精度,即分类正确的样本数量之和与总样本数的比值,
表示模型对数据的随机分类率。通过Kappa值的对比分析,消除了随机分类对模型精度的影响。训练时将每个受试数据中的80%用于训练,20%用于测试,迭代训练次数为810次。
3. 实验结果与分析
3.1. 分类结果比较
为对比分析本研究提出的网络模型性能,将BCI competition IV-2a数据集应用在不同的分类模型中,不同模型的分类正确率如表2所示。
表 2. Classification accuracy of different models (%).
不同模型的分类正确率(%)
| 受试 | FBCSP | FBCSP-DNN | CNN | Shallow-ConvNet | DFFN | Deep-ConvNet | EEGNet | 本文方法 |
| 注:粗体数字为结果最优者 | ||||||||
| 受试1 | 86.41 | 87.70 | 77.39 | 79.51 | 83.46 | 81.28 | 84.38 | 86.85 |
| 受试2 | 65.28 | 68.21 | 60.14 | 56.25 | 69.30 | 59.52 | 52.12 | 71.76 |
| 受试3 | 90.28 | 85.59 | 82.92 | 88.89 | 90.29 | 88.12 | 87.82 | 93.54 |
| 受试4 | 66.67 | 66.71 | 72.28 | 78.90 | 71.07 | 63.88 | 63.18 | 75.68 |
| 受试5 | 62.50 | 67.00 | 75.83 | 57.29 | 65.41 | 70.24 | 66.57 | 80.75 |
| 受试6 | 45.49 | 67.40 | 68.98 | 53.82 | 69.45 | 64.82 | 57.58 | 67.77 |
| 受试7 | 89.58 | 91.00 | 76.03 | 91.67 | 88.18 | 87.12 | 87.82 | 91.97 |
| 受试8 | 83.32 | 83.80 | 76.85 | 81.25 | 85.76 | 82.14 | 78.36 | 86.21 |
| 受试9 | 79.51 | 87.60 | 84.66 | 79.17 | 90.54 | 83.66 | 82.79 | 92.68 |
| 标准差 | 15.22 | 10.62 | 11.35 | 14.44 | 10.26 | 11.01 | 13.71 | 9.53 |
| 平均值 | 74.46 | 78.33 | 75.00 | 74.31 | 79.71 | 75.64 | 73.39 | 83.03 |
表2中FBCSP[11]通过带通滤波器将原始脑电信号分成多个频带后,用CSP算法提取对应频带信号特征并完成分类,解决了CSP高度依赖频带的问题。FBCSP-DNN[12]将FBCSP算法用作特征提取,将DNN网络构造成分类器,取代传统分类器SVM。CNN[14]模型将脑电信号转变成图像信息输入到卷积网络中进行分类,去掉了数据预处理的过程,利用深度网络结构对脑电信号进行解码。Shallow-ConvNet[29]模型卷积网的前两层执行时间卷积和空间滤波器,与深度卷积网络相同。这些步骤类似于FBCSP中的带通步骤和CSP空间滤波器步骤。与深度卷积相比,浅卷积的内核大小更大,允许在这一层进行更大范围的转换。DFFN[30]模型利用CSP提取独特的空间滤波器,然后将提取的数据空间特征输入CNN,对数据的特征进行融合。Deep-ConvNet[29]模型有四个卷积最大池块,其中有一个特殊的卷积池块处理脑电图输入,然后用三个标准的卷积大池块和一个密集的softmax分类层来处理多通道脑电数据。EEGNet[31]模型利用深度和可分离卷积对脑电数据进行处理,显著地减少了模型参数。从表格中可以看出本研究提出的模型平均正确率为83.03%,高于其他七种模型。在9个受试分类结果中,本研究的模型始终优于FBCSP模型、CNN模型、Deep-ConvNet模型和EEGNet模型,说明提出的基于多通道注意力的稀疏分解和TCN的网络模型能有效地提高分类性能。经计算本研究所提出模型正确率的标准方差仅为9.53%,小于FBCSP-DNN的10.62%、Shallow-ConvNet的14.44%和DFFN的10.26%,证明所提出模型有较好的分类性能,并且在不同受试之间具有较好的鲁棒性。表2显示FBCSP-DNN模型下的受试1、DFFN模型下的受试6和Shallow-ConvNet模型下的受试4的分类结果高于本研究提出模型,这是由于不同的网络模型对不同的脑电信号数据敏感性有差异,同时本研究提出的模型会出现个别受试数据特征过度拟合导致正确率下降,但是正确率差别不大,并且所提模型的平均正确率更高,分类性能更好。
3.2. 模型性能分析
3.2.1. 通道注意力性能分析
数据集22个通道中,局部特征对运动想象分类影响力较大的通道为C3、C4和Cz[32-33],但是其他通道也有一定影响,因此其他网络模型选择舍弃其他通道的方法是不可取的。本研究通过注意力模块对不同通道进行了系数选择,既利用了影响占比较大的通道数据特征,又充分地使用到其他通道的数据特征,最终将含有22个通道特征的信号输入后续网络模型进行处理分析。图5是模型有无注意力前后分类结果的对比分析,从图中可以看出通道注意力模块的加入可以明显提高该模型的分类正确率。特别是受试2和受试5两个分类效果较差的受试,在经过通道注意力模块的处理后,分类效果得到显著提升,说明通道注意力模块有利于提高脑电信号的分类正确率。
图 5.
Performance comparison of attention module
注意力模块性能比较图
3.2.2. TCN性能分析
加入TCN后的模型可以进一步地利用脑电信号的时间特性,在对脑电信号等长输入序列进行处理时,TCN够以指数方式扩展卷积核的感受野大小,同时其参数数量和内存数量呈线性增长。与循环神经网络相比,TCN不会受到梯度爆炸或消失的影响,使得模型更加稳定。TCN模块与传统卷积网络性能比较结果如图6所示,可以看出TCN对分类结果准确度有不同程度的影响,其中受试1和受试7有较为明显的提升,受试2和受试4分类结果有所下降,说明受试虽然存在个体差异,但TCN总体有利于脑电信号的解码分类。
图 6.
Performance comparison of TCN module
TCN模块性能比较图
3.2.3. 混淆矩阵分析
为分析本研究所提模型对每类运动想象脑电数据识别效果的影响,计算出9个被试数据集在3种不同模型下的平均混淆矩阵。如图7所示,混淆矩阵的横轴代表模型预测的运动想象类别,纵轴代表实际的运动想象类别,对角线表示正确分类的比例,而非对角线元素表示错误分类的比例。从图中可以看出FBCSP+SVM和DFFN两个模型在左手、右手和脚部的分类正确率均小于80%,尤其是在左右手脑电数据分类上,FBSCSP+SVM的错误比例达到了12.63%和14.31%,DFFN的错误比例达到了11.63%和13.27%。这是因为左右手运动想象占据相同的运动感觉区,导致模型在进行空间提取时不能得到有效的空间特征,此外FBCSP和传统的卷积神经网络提取脑电数据的空间特征和通道特征的能力有限,导致在模型区分左右手类别时产生较大错误。本研究通过将注意力模块和TCN相结合对脑电数据进行进一步处理,从全局角度出发进行对应的特征提取并生成通道注意图和空间注意图,降低了左右手的错误比例,正确率达到了84.31%和82.05%。相较于FBCSP和DFFN,本研究提出的模型在特征提取方面有着更好的性能,可以将空间特征和通道特征相结合,提高运动想象脑电数据的空间分辨率。此外,通过TCN网络的卷积计算,本研究所提模型可以学习分辨率更强的通道和空间特征,进一步提升运动想象分类正确率。
图 7.

The confusion matrix for three different model
三种不同模型的混淆矩阵
4. 总结
与现有的运动想象分类模型相比,本研究的模型在三个方面具有明显优势。首先,利用稀疏时频分解,可提高脑电信号在时频域的稀疏性,增强脑电信号时频特征的差异性。其次,在模型中加入注意力模块,充分利用脑电信号的多通道特征,可进一步提高模型的分类性能。最后,利用TCN对提取的特征进行融合分析,在模型中加入了深度卷积层和可分离卷积层,显著减少了卷积层的参数数量,并将数据特征在空间维度上进行加权组合,减小模型参数计算成本。实验结果表明,四分类运动想象多通道数据分析中,本研究提出的模型性能优于现有的通道特征分析方法。目前本研究所提模型在网络结构的优化以及参数的选择上仍然存在一些限制,未来工作将进一步探索卷积层神经元输出的可视化方法,为优化网络结构参数配置提供参考依据。自行设计脑电信号采集实验,利用自行采集的数据集测试所提方法的性能,并将其应用于在线运动想象系统。同时将此模型应用到BCI其他范式上,验证模型对其他范式的分类性能。
重要声明
利益冲突声明:本文全体作者均声明不存在利益冲突。
作者贡献说明:所有作者都参与了本研究的构思和设计。尹飞超和李红利完成编写模型代码、数据收集和分析。张荣华、马欣和陈虹宇完成论文修改和项目的前期研究。尹飞超撰写论文初稿;所有作者都提供了稿件修改建议,阅读并批准了最终稿件。
Funding Statement
国家自然科学基金(62071328);天津市技术创新引导专项(基金)(21YDTPJC00540,21YDTPJC00550)
The National Natural Science Foundation of China
References
- 1.Ball T, Demandt E, Mutschler I, et al Movement related activity in the high gamma range of the human EEG. Neuroimage. 2008;41(2):302–310. doi: 10.1016/j.neuroimage.2008.02.032. [DOI] [PubMed] [Google Scholar]
- 2.Wolpaw J R, Birbaumer N, Heetderks W J, et al Brain-computer interface technology: A review of the first international meeting. IEEE Trans Rehabil Eng. 2000;8(2):164–173. doi: 10.1109/TRE.2000.847807. [DOI] [PubMed] [Google Scholar]
- 3.Chaudhary U, Birbaumer N, Ramos M A Brain–computer interfaces for communication and rehabilitation. Nat Rev Neurol. 2016;12(9):513. doi: 10.1038/nrneurol.2016.113. [DOI] [PubMed] [Google Scholar]
- 4.Lotte F, Bougrain L, Cichocki A, et al A review of classifification algorithms for EEG-based brain–computer interfaces: a 10 year update. J Neural Eng. 2018;15(3):031005. doi: 10.1088/1741-2552/aab2f2. [DOI] [PubMed] [Google Scholar]
- 5.Pichiorri F, Morone G, Petti M, et al Brain-computer interface boosts motor imagery practice during stroke recovery: BCI and motor imagery. Ann Neurol. 2015;77(5):851–865. doi: 10.1002/ana.24390. [DOI] [PubMed] [Google Scholar]
- 6.Olivas-Padilla B E, Chacon-Murguia M I Classification of multiple motor imagery using deep convolutional neural networks and spatial filters. Appl Soft Comput. 2019;75:461–472. doi: 10.1016/j.asoc.2018.11.031. [DOI] [Google Scholar]
- 7.Raza H, Chowdhury A, Bhattacharyya S, et al Single-trial EEG classification with EEGNet and neural structured learning for improving BCI performance// IEEE International Joint Conference on Neural Networks (IJCNN) Glasgow: IEEE. 2020:1–8. [Google Scholar]
- 8.Thomas K P, Guan C, Lau C T, et al A new discriminative common spatial pattern method for motor imagery brain–computer interfaces. IEEE T Bio-Med Eng. 2009;56(11):2730–2733. doi: 10.1109/TBME.2009.2026181. [DOI] [PubMed] [Google Scholar]
- 9.王玉潇, 姜威, 刘治, 等 基于共空间模式算法和支持向量机二重分类的癫痫发病预测. 生物医学工程学杂志. 2021;38(1):39–46. doi: 10.7507/1001-5515.201911042. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 10.孟明, 尹旭, 高云园, 等 运动想象脑电的块选择共空间模式特征提取. 控制理论与应用. 2021;38(3):301–308. doi: 10.7641/CTA.2020.00290. [DOI] [Google Scholar]
- 11.Ang K K, Chin Z Y, Zhang H, et al Filter bank common spatial pattern (FBCSP) in brain-computer interface// IEEE International Joint Conference on Neural Networks (IJSCNN) Hong Kong: IEEE. 2008:2390–2397. [Google Scholar]
- 12.Zayyanu S, Li Q Optimized DNN classification framework based on filter bank common spatial pattern (FBCSP) for motor- imagery-based BCI. Int J Comput Appl. 2020;175(15):16–25. [Google Scholar]
- 13.An X, Kuang D, Guo X, et al A deep learning method for classification of EEG data based on motor imagery// International Conference on Intelligent Computing (ICIC) Taiyuan: Springer. 2014:203–210. [Google Scholar]
- 14.褚亚奇, 朱波, 赵新刚, 等 基于时空特征学习卷积神经网络的运动想象脑电解码方法. 生物医学工程学杂志. 2021;38(1):1–9. doi: 10.7507/1001-5515.202007006. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 15.Kim J, Park Y, Chung W Transform based feature construction utilizing magnitude and phase for convolutional neural network in EEG signal classification// 2020 8th International Winter Conference on Brain-Computer Interface (BCI) Gangwon: IEEE. 2020:1–4. [Google Scholar]
- 16.Wu Hao, Niu Yi, Li Fu, et al A parallel multiscale filter bank convolutional neural networks for motor imagery EEG classification. Front Neurosci. 2019;26(13):1275. doi: 10.3389/fnins.2019.01275. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 17.Michielli N, Acharya U R, Molinari F Cascaded LSTM recurrent neural network for automated sleep stage classification using single-channel EEG signals. Comput Biol Med. 2019;106:71–81. doi: 10.1016/j.compbiomed.2019.01.013. [DOI] [PubMed] [Google Scholar]
- 18.Wang P, Jiang A, Liu X, et al LSTM-based EEG classification in motor imagery tasks. IEEE Trans Neural Syst Rehabil Eng. 2018;26(11):2086–2095. doi: 10.1109/TNSRE.2018.2876129. [DOI] [PubMed] [Google Scholar]
- 19.Sun Biao, Zhao Xing, Zhang Han, et al EEG motor imagery classification with sparse spectrotemporal decomposition and deep learning. IEEE T Autom Sci Eng. 2020;18(22):541–551. [Google Scholar]
- 20.Woo S, Park J, Lee J Y, et al CBAM: Convolutional block attention module// European Conference on Computer Vision (ECCV) Munich: Springer. 2018:1–17. [Google Scholar]
- 21.Chollet F Xception: Deep learning with depthwise separable convolutions// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Honolulu: IEEE. 2017:1800–1807. [Google Scholar]
- 22.Chaudhary S, Taran S, Bajaj V, et al Convolutional neural network based approach towards motor imagery tasks EEG signals classification. IEEE Sens J. 2019;19(12):4494–4500. doi: 10.1109/JSEN.2019.2899645. [DOI] [Google Scholar]
- 23.Donoho D L Compressed sensing. IEEE T Inform Theory. 2006;52(4):1289–1306. doi: 10.1109/TIT.2006.871582. [DOI] [Google Scholar]
- 24.Schamberg G, Ba D, Coleman T P A modularized efficient framework for non-Markov time series estimation. IEEE T Signal Proces. 2018;66(12):3140–3154. doi: 10.1109/TSP.2018.2793870. [DOI] [Google Scholar]
- 25.Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alter nating direction method of multipliers. Boston-Delft: Now Foundations and Trends, 2011.
- 26.Hu Yaohua, Li Chong, Meng Kaiwen, et al Group sparse optimization via l (p), (q) regularization. J Mach Learn Res. 2017;18(1):960–1011. [Google Scholar]
- 27.Cao Yudong, Ding Yifei, Jia Minping, et al A novel temporal convolutional network with residual self-attention mechanism for remaining useful life prediction of rolling bearings. Reliab Eng Syst Saf. 2021;215:107813. doi: 10.1016/j.ress.2021.107813. [DOI] [Google Scholar]
- 28.Kingma D P, Ba J Adam: a method for stochastic optimization// The 3rd International Conference on Learning Representations, San Diego, 2015. arXiv. 2015:1412.6980. [Google Scholar]
- 29.Schirrmeister R T, Springenberg J T, Fiederer L D J, et al Deeplearning with convolutional neural networks for EEG decoding and visualization. Hum Brain Mapp. 2017;38(11):5391–5420. doi: 10.1002/hbm.23730. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 30.Amin S U, Alsulaiman M, Muhammad G, et al Deep learning for EEG motor imagery classification based on multi-layer CNNs feature fusion. Future Gener Comput Syst. 2019;101:542–554. doi: 10.1016/j.future.2019.06.027. [DOI] [Google Scholar]
- 31.Lawhern V J, Solon A J, Waytowich N R, et al EEGNet: a compact convolutional neural network for EEG-based braincomputer interfaces. J Neural Eng. 2018;15(5):056013.1–056013.17. doi: 10.1088/1741-2552/aace8c. [DOI] [PubMed] [Google Scholar]
- 32.何群, 杜硕, 张园园, 等 融合单通道框架及多通道框架的运动想象分类. 仪器仪表学报. 2018;39(9):20–29. [Google Scholar]
- 33.张绍荣, 赵紫宁, 莫云, 等 特征提取对通道选择方法的影响研究. 国外电子测量技术. 2020;39(9):1–6. [Google Scholar]












