基于时间序列数据增强的运动想象脑电多尺度特征提取分类

Abstract

基于运动想象脑电（MI-EEG）的脑机接口（BCI）可以实现人脑与外部设备的直接信息交互。本文提出了一种基于时间序列数据增强的脑电多尺度特征提取卷积神经网络模型，用于MI-EEG信号解码。首先，提出了一种脑电信号数据增强方法，能够在不改变时间序列长度的情况下，提高训练样本的信息含量，同时完整保留其初始特征。然后，通过多尺度卷积块自适应地提取脑电数据的多种整体与细节特征，再经并行残差块和通道注意力对特征进行融合筛选。最后，由全连接网络输出分类结果。在BCI Competition IV 2a和2b数据集上的应用实验结果表明，本模型对运动想象任务的平均分类正确率分别达到了91.87%和87.85%，对比现有的基准模型，该方法具有较高的正确率和较强的鲁棒性。该模型无需复杂的信号预处理操作，具有多尺度特征提取的优势，具有较高的实际应用价值。

0. 引言

脑-机接口（brain-computer interface，BCI）可实现人与外部设备的信息交互，其中通过脑电传感器采集大脑电信号，利用脑电解码算法即可把人的思维活动转变成命令信号驱动外部设备，实现在无需进行肢体活动的情况下，人脑对外部设备的操控^[1]。BCI技术的应用前景非常广阔：在康复方面，可以促进运动能力恢复，控制轮椅、假肢等，还可以强化人的身体机能；在娱乐方面，结合虚拟现实技术，通过思维来控制游戏中的角色，获得更加沉浸式的游戏体验；在军事方面，可以帮助人们更好地操控无人机、无人车、机器人等设备，替代人类从事各种危险的任务，还能实时反馈执行任务时人员的精神状态。

运动想象（motor imagery，MI）是最常用的BCI范式之一^[2]。运动想象脑电（motor imagery electroencephalography，MI-EEG）信号是人想象自己身体不同部位运动时的脑电信号，利用信号分析与处理方法，可以解码人的思维意图。由于脑电信号是非线性、非平稳、信号幅度微弱以及低信噪比的电信号，所以对其特征的有效提取和准确分类是关键。脑电信号主要有时域、频域和空间三种特征。时域和频域特征的提取，主要利用小波变换、功率谱密度、快速傅里叶变换等方法；空间特征的提取，主要利用共空间模式（common spatial pattern，CSP）^[3]、滤波器组共空间模式（filter bank common spatial pattern，FBCSP）^[4]等方法。上述特征提取方法需要丰富的先验知识以及大量的特征选择过程，而且不可避免地会失去一些有用的特征信息。特征提取之后需要进行分类，常用的特征分类算法有线性判别分析、支持向量机、贝叶斯分类器等。上述分类算法对多分类任务表现很差，且同样需要丰富的先验知识。

随着计算机技术的发展，以及近年来以卷积神经网络（convolutional neural network，CNN）为代表的深度学习算法在机器视觉方面的成功应用，越来越多的研究人员尝试着将此类模型应用到运动想象分类^[5]。与静态的二维图像数据不同，脑电信号是从拥有三维特性的大脑皮层上测量的一维动态时间序列，脑电信号所包含的与运动想象任务相关的信号往往比其他噪声信号更弱，这使得应用端到端模型学习脑电数据特征比图像更为困难。该类模型首先从原始输入中提取本地、低级的特征，然后在更深层次中提取全局和高级特征。采用深度学习算法的目的是减少预处理的难度，同时避免人工提取特征的环节，使用卷积作为关键组件来学习数据的局部特征，将数据处理、特征提取、特征分类结合到一起，提升了特征提取能力，在各类任务中普遍取得了很好的结果。Han等^[6]提出了并行卷积神经网络（parallel convolutional neural network，PCNN）模型，把三种不同形式的卷积核组合在一个网络中，即三个独特的子模型堆叠在一起，以优化分类性能。Amin等^[7]提出了一种新型多层卷积神经网络（multi-convolutional neural network，MCNN）和连续卷积神经网络（continuous-convolutional neural network，CCNN）融合方法，利用不同的卷积滤波器从原始EEG数据中捕获空间和时间特征。Dai等^[8]提出了混合尺度卷积神经网络模型（hybrid convolution scale-convolutional neural network，HS-CNN），通过带通滤波算法将脑电信号分为三个频带（4～7、8～13和13～32 Hz），利用不同的分支分别提取三个频带信号的特征，最后聚合在一起。Altuwaijri等^[9]提出了一种具有挤压和激励块的多分支EEGNet的运动想象解码模型（multi-branch EEGNet with squeeze-and-excitation blocks，MBEEGSE），采用具有注意力块的多分支CNN模型自适应地改变信道特征响应。Li等^[10]提出了一种基于注意机制的多尺度融合卷积神经网络（multi-scale fusion convolutional neural network based on the attention mechanism，MS-AMF），将三种特征予以融合，再使用注意力模块对特征进行筛选。Wu等^[11]提出了并行多尺度滤波器组卷积神经网络（parallel multiscale filter bank convolutional neural network，MSFBCNN），引入了分层的端到端网络结构，并使用特征提取网络来提取时间和空间特征。Fan等^[12]提出了一种Q形结构的网络，使用残差学习模块作为基本特征提取模块并引入一个新颖的3D-注意力模块，使用双分支结构来融合双线性向量进行分类，在样本数量多时具有良好的性能。何群等^[13]提出多特征卷积神经网络（multi feature convolutional neural network，MFCNN），将原始信号、能量特征、功率谱特征以及融合特征四种输入分别在网络中训练，最后通过加权投票的集成分类方法得到最终分类结果。Wang等^[14]提出了EEG-GENet的网络模型，在原有的EEGNet网络的基础上，引入特征级图嵌入的方法，提高了网络对原始EEG信号的解码能力。Yang等^[15]提出了一种多层次表示融合（multi-hierarchical representation fusion，MHRF）的深度学习解码方法，由双向长短期记忆网络（bidirectional-long short term memory，Bi-LSTM）和CNN构建的并发框架组成，以充分捕捉频谱特征的上下文相关性。

上述模型分别利用了数据的时域、频域和空间特征，研究方向主要围绕着增强特征的多样性、扩展模型的宽度与注意力机制的引入。考虑到脑电信号所存在的个体差异性和时间差异性，具有单一尺度卷积滤波器和单一分支的网络结构，在特征提取过程中会丢失一些有用特征，导致正确率下降^[16]。

为了在脑电数据量很少的情况下充分学习到更有效的特征，本研究提出了一种基于时间序列数据增强的运动想象脑电多尺度特征提取分类模型，通过零均值归一化、样条插值与滑动窗口、高斯噪声数据预处理方法，提升样本的多样性。所提模型将改进的Inception^[17]结构用于运动想象分类，构建了多尺度卷积块作为其特征提取单元，自适应地提取脑电信号丰富的整体和细节特征，再经过新颖的并行残差块和通道注意力对特征进行融合筛选，达到分类目的，具有良好的泛化能力和鲁棒性。

1. 研究方法

1.1. 整体模型

本文提出的基于时间序列数据增强的脑电多尺度特征提取卷积神经网络模型，是一种可以从脑电数据中自适应地提取多尺度的整体以及细节特征，并进行准确分类的端到端模型。其特点就是拥有多尺度卷积块，包含多种不同尺度的卷积核，提取脑电数据的多种特征信息，经过并行残差块和通道注意力对特征进行融合和筛选，整体网络的结构如图1所示。两个分支具有完全相同的结构，将两个分支提取到的特征映射做串联操作，再经过激活函数为sigmoid的全连接网络，得到分类结果。整体网络的超参数设置如表1所示，卷积核和最大池化的长度L和步长S表示为 ，在多尺度卷积块和并行残差块中所有卷积核个数和dropout系数均相同。

图 1.

Overall architecture of the proposed network

所提网络的整体框架

表 1. Hyper-parameters setting of the proposed network.

所提网络的超参数设置

网络层	小尺度分支	大尺度分支	输出尺寸
多尺度卷积块	卷积核：1×4(2)，1×6(2)，1×10(2)，1×1(1) 滤波器个数：6 最大池化：1×3(2)	卷积核：1×50(4)，1×70(4)，1×120(4)，1×1(1) 滤波器个数：6 最大池化：1×20(4)	(500，24) (250，24)
最大池化层	最大池化：1×4(4)	最大池化：1×3(3)	(125，24) (84，24)
Dropout层	dropout：0.6	dropout：0.6
并行残差块	卷积核：1×8(1) 滤波器个数：8 dropout：0.6	卷积核：1×5(1) 滤波器个数：8 dropout：0.6	(125，24) (84，24)
Dropout层	dropout：0.8	dropout：0.8
通道注意力
最大池化层	最大池化：1×6(6)	最大池化：1×4(4)	(21，24) (21，24)
Flatten层			(504) (504)
Concat			(1 008)
全连接层	激活函数：Softmax		(2)

1.2. 多尺度卷积块

大尺度卷积核可以捕获整体特征，但它对捕获细节特征不敏感，而小尺度卷积核可以更有效地捕获细节特征^[18-19]。基于Inception结构，我们提出了多尺度卷积块（小尺度和大尺度），分别提取脑电信号的细节和整体特征，具体结构如图2所示。其中包含三个不同尺度的卷积核，用于提取更为丰富的特征。最大池化操作一方面对数据进行下采样，去掉冗余信息；另一方面保留特征图的特征信息，提高模型分类正确率。最大池化操作后的卷积核长度为1，目的是保持和前三个分支同样的特征图通道数。将四个并行特征提取层得到的特征映射做串联操作，输出给后续模块。

图 2.

Structure of multi-scale convolution module

多尺度卷积块结构

1.3. 并行残差块

残差网络被提出的背景是随着网络深度的增加，训练误差没有降低反而升高。引入该模块可以改善加深网络深度而带来的网络退化问题，同时并行残差块引入了一个新的维度：“基数”^[20]。增加基数比设计更深或更宽的网络对分类更有效，不仅可以提高正确率，还可以使网络更加稳定。其表达式如式(1)所示。

1

式中为输入特征，表示对的卷积变换操作，为基数（卷积变换的分支个数），设置为3。具体结构如图3所示。

图 3.

Structure of parallel residual module

并行残差块结构

1.4. 通道注意力

为网络添加注意力机制是为了提高框架的表达能力，提高模型对有效特征的敏感性，除去非必要和错误的特征信息^[21]。通道注意力可以在少量增加计算量和参数量的前提下提升网络模型的特征提取能力，同时增强有效特征的表征，其示意图如图4所示。通道注意力应用了全局最大池化和全局平均池化，同时保留了通道显著特征和通道平均特征。设模块的输入为脑电图的特征图，L代表每个通道特征点个数，代表通道数。通道注意力的计算公式如式(2)～(3)所示。

图 4.

Diagram of channel attention

通道注意力示意图

2

3

式中、 分别表示全局平均池化和全局最大池化操作后的特征映射。 表示多层感知机，它包含一个隐藏层：由C/r个神经元构成（r为缩减率），将r设为2。 为sigmoid激活函数， 表示对应位置元素乘积。通道注意力向量 表示在通道维度上做注意力操作后的特征向量， 为模块的输出。通道注意力具体结构如图5所示。

图 5.

Structure of channel attention

通道注意力结构

2. 运动想象实验数据

2.1. 数据集介绍

本文采用BCI Competition IV 2a和2b数据集来评估本模型的有效性。2a数据集中包含了9名受试者的22通道脑电图数据，由四种运动想象任务（左手、右手、双脚和舌头）组成。每例受试者两个不同日期记录的脑电图数据被分为两个数据集，一个为训练集，另一个为测试集。每个数据集含288次实验，合计每例受试者576次实验。2b数据集中包含了9名受试者的3通道（Cz、C3和C4）脑电图数据，由两种运动想象任务（左手、右手）组成。每个受试者分别进行五次记录。前两次记录均为无反馈的运动想象，每次记录包含120次实验。后三次记录是有微笑反馈的运动想象，每次记录包含160次实验。

本文将运动想象脑电信号定义为：。其中，表示运动想象脑电信号的样本个数；表示每个脑电信号时间点的个数，其中t表示运动想象片段的持续时间（单位为s），f表示采样频率（单位为Hz）；C表示脑电信号的通道数。

2.2. 预处理方法

对于2a和2b数据集，我们均截取采样时间为4 s的数据，采样率为250 Hz，采样点为1 000。采用零均值归一化方法对原始数据进行归一化，使其符合标准正态分布，计算方法如式(4)所示。

4

式中为原始脑电数据，和分别为平均值和标准差。

根据现有的研究表明，使用滑动窗口方法对运动想象数据进行裁剪，若裁剪窗口长度小于原序列的长度（T=1 000），会造成相关运动信息的丢失，导致模型分类精度降低。我们应用了二阶样条插值算法对原数据进行扩充，通过插值函数在有限个点处的取值状况，估算出函数在其他点处的近似值，完整地保留了数据的细节特征。将原序列的长度扩充到1 050。然后，利用滑动输入窗口的方法对扩充后的数据进行裁剪，设置步长为10以及裁剪窗口长度为1 000，将每一个训练样本分为五个训练样本，这些数据会得到与原始数据相同的标签。

由于脑电信号是一类时间序列信号，改变其几何特征会破坏原有的时域特征，为了提升模型分类的正确率和鲁棒性，我们在不改变脑电信号时序性的条件下，通过向时间序列中添加高斯噪声的方法来增强脑电信号样本，高斯随机变量的概率密度函数定义如式(5)所示。

5

式中为随机变量输入；为随机噪声的平均值，设置为0；为随机噪声的标准差，设置为0.005。

3. 实验与结果

3.1. 评价指标

本文采用正确率来评价实验结果，为准确预测样本数与总样本数的比率，以百分比表示。此外，使用配对t检验比较本文所提模型和其他基准模型的性能，检验水准为0.05。

3.2. 训练流程

为了评估模型的有效性，本文将数据集分为训练集、验证集和测试集，比例为4∶1∶1，并且数据增强方法仅应用在训练集上。我们采用二元交叉熵函数作为损失函数，用来表征预测值的概率分布与实际标签的距离，计算公式如式(6)所示。

6

式中 为第i个样本的真实标签（0或1）， 为样本预测为正的概率，N为每批样本的大小。

网络选用自适应矩估计（adaptive moment estimation，Adam）优化器，初始学习率为0.000 1。为了进一步防止过拟合，在训练过程中应用早停训练（early stopping）方式，若验证集损失在50次迭代内不再减小，则停止运行；利用ReduceLROnPlateau优化学习率技术，该技术可以允许设置较大的初始学习率来避免模型陷入局部最优，也能使模型快速收敛，在训练过程中不断缩小学习率，可以准确地获得最优模型；利用ModelCheckpoint技术，保存验证集正确率最高的网络模型参数；利用L2正则化，通过在损失函数中加入L2范数惩罚项，防止模型获得过大的参数值和产生爆炸梯度。迭代训练次数为500（2a数据集）和400（2b数据集），批大小均为128。该模型建立在基于tensorflow的Keras深度学习框架，由Nvidia GeForce RTX 3060 GPU进行训练。本文的所有实验都是基于特定受试。

3.3. 实验结果分析

表2^{[8, 22-27]}展示了应用于BCI Competition IV 2a数据集时，七种基准模型与本模型平均正确率的比较。单个受试者的正确率见附件1。在平均正确率方面，本文所提出的模型平均正确率为91.87%，优于其他七种基准模型，反映了本模型能够利用由多种尺度卷积核构成的多尺度卷积块自适应地提取不同受试者丰富的特征，可以更好地分类运动想象脑电数据。对比单个受试者的正确率，本模型仅在受试者2、受试者4和受试者6中未得到最高的正确率，我们分析可能是因为这三例受试者的脑电信号被过多的伪影和噪声覆盖，导致本模型提取的特征较差，以及个别模型对特定受试者脑电信号的敏感性较强。此外，这种现象也可能是由于参数设置不当导致的过度拟合。本模型正确率的标准差为9.20%，高于HS-CNN的5.74%、EEG-inception的7.06%以及ETR-CNN的7.51%，反映了本模型对不同受试者的脑电信号有着一定的敏感性偏差。统计学结果显示，部分基准模型与本模型之间分类精度的差异具有统计学意义。

表 2. Classification accuracy (%) of different models on BCI Competition IV 2a.

不同模型在BCI Competition IV 2a上的分类正确率（%）

指标	PSO-CNN[22]	ETR-CNN[23]	ALCSD[24]	TSGSP[25]	SS-MEMDBF[26]	EEG-inception[27]	HS-CNN[8]	Ours
注：*：P < 0.05；**：P < 0.01
平均值	80.44	85.57	73.84	82.5	79.93	88.39	91.57	91.87
标准差	9.53	7.51	15.93	12.2	14.99	7.06	5.74	9.20
P值	<0.001**	0.096	0.002**	0.001**	0.017*	0.106	0.849

表3^{[8, 11, 19, 27-30]}展示了应用于BCI Competition IV 2b数据集时，七种基准模型与本模型平均正确率的比较。单个受试者的正确率见附件2。在平均正确率方面，本文所提出的模型平均正确率为87.85%，标准差为7.16%，仅次于EEG-inception模型88.58%的平均正确率和5.50%的标准差。主要原因是与具有22通道的2a数据集相比，2b数据集只有3通道，数据量明显减少。此外，EEG-inception在应用于2a数据集时采用五个卷积层的网络，应用于2b数据集时采用了三个卷积层的网络，模型的复杂程度降低，进一步减少了过拟合。本模型没有改变结构和超参数，需要更大的训练数据集来学习模型的可训练参数，以获得更好的特征提取能力。因此，我们认为本模型因可训练参数较多、模型较深，更适用于通道数较多的运动想象分类任务。总的来说，本模型在受试者1和受试者7中取得最高正确率，整体达到87.85%的平均正确率，体现了本模型分类较好的准确性和鲁棒性。

表 3. Classification accuracy (%) of different models on BCI Competition IV 2b.

不同模型在BCI Competition IV 2b上的分类正确率（%）

指标	EEGnet[28]	Multi-scale CNN[19]	MSFBCNN[11]	WPD+SE-Isomap[29]	RSMM[30]	EEG-inception[27]	HS-CNN[8]	Ours
注：*：P < 0.05；**：P < 0.01
平均值	77.19	82.61	81.38	84.68	77.97	88.58	87.6	87.85
标准差	8.09	11.00	9.44	12.73	14.56	5.50	8.48	7.16
P值	0.001**	0.033*	<0.001**	0.294	0.016*	0.616	0.906

3.4. 消融实验分析

为了研究并行残差块和通道注意力在整个模型中的作用，构建了除去残差模块的网络模型和除去注意力模块的网络模型，应用于2a数据集的实验结果如图6所示。结果显示，将并行残差块和通道注意力应用于大多数受试者的分类任务中，可以提高正确率，不仅增强了网络的特征提取能力，而且增强了稳定性，特别是受试者1、受试者2和受试者4的正确率得到显著提高。对于大多数受试者，通道注意模块力对模型分类正确率的提升作用大于并行残差模块，体现了增强有效特征的权重、弱化非必要和错误特征信息的重要性。

图 6.

Model classification accuracy with or without parallel residual module and channel attention

有无并行残差块和通道注意力的模型分类正确率

4. 结论

本文提出的基于时间序列数据增强的脑电多尺度特征提取卷积神经网络模型，是一种可以从脑电数据中自适应地提取多尺度的整体和细节特征，并进行准确分类的端到端模型。它有三方面优势：拥有多尺度卷积块，包含多种不同尺度的卷积核，可以提取脑电数据的多种特征信息；并行残差块和通道注意力对特征进行融合和筛选，增强有效特征的表征；提出的数据增强方法加快了模型收敛的速度，并进一步提高了模型的分类正确率。实验结果表明，所提出的方法在BCI Competition IV 2a和2b脑电数据集上均达到了较高的正确率。未来研究中，我们将着眼于设计更为先进的模块去简化整体模型并提升其分类性能，通过测试模型在更多数据集中的分类结果去寻找最佳的超参数组合。同时，设计一些针对中间层特征和通道注意力权值的可视化方法以增强模型的可解释性。本文提出的运动想象分类框架将数据处理、特征提取、特征分类结合到一起，具有一定的通用性和鲁棒性，未来可以进一步推广到BCI的其他范式或生物信息的其他分析领域。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献说明：所有作者都参与了本研究的构思和设计。基础理论研究、编写模型代码由李红利完成，论文初稿的撰写、数据收集和分析由刘浩雨和陈虹宇完成，论文的修改与指导由刘浩雨和张荣华完成。所有作者都阅读并批准了最终稿件。

本文附件见本刊网站的电子版本（biomedeng.cn）。

Funding Statement

国家自然科学基金（62071328）；天津市技术创新引导专项（基金）（21YDTPJC00540，21YDTPJC00550）