Abstract
多任务运动想象脑电信号有效分类有助于实现精准的多维人机交互,充分利用受试者的高度频域特异性可提升分类准确率和鲁棒性。为此,本文提出基于自适应时频共空间模式结合卷积神经网络的多任务脑电信号分类方法。通过自适应频谱感知提取受试者个性化节律特性,再采用一对多共空间模式计算空域特性,进而表征复合时域特性构建时空频多层次融合特征,最后利用卷积神经网络进行高精度高鲁棒性四分类。本文采用包含10位受试者[(33 ± 3)岁]实测数据的自测数据集以及第四届2018脑机接口竞赛数据集2a(BCI competition Ⅳ-2a)对本文算法进行验证,所提算法四分类平均准确率分别达到了93.96%和84.04%,且在公开数据集中本文算法相较于其它先进算法平均分类准确率明显提高,受试者间准确率范围误差则大幅降低。结果表明,本文所提算法在多任务分类中表现出良好性能,能有效提高分类精度和鲁棒性。
Keywords: 脑机接口, 运动想象脑电, 共空间模式, 时空频特征融合, 卷积神经网络
Abstract
The effective classification of multi-task motor imagery electroencephalogram (EEG) is helpful to achieve accurate multi-dimensional human-computer interaction, and the high frequency domain specificity between subjects can improve the classification accuracy and robustness. Therefore, this paper proposed a multi-task EEG signal classification method based on adaptive time-frequency common spatial pattern (CSP) combined with convolutional neural network (CNN). The characteristics of subjects' personalized rhythm were extracted by adaptive spectrum awareness, and the spatial characteristics were calculated by using the one-versus-rest CSP, and then the composite time-domain characteristics were characterized to construct the spatial-temporal frequency multi-level fusion features. Finally, the CNN was used to perform high-precision and high-robust four-task classification. The algorithm in this paper was verified by the self-test dataset containing 10 subjects (33 ± 3 years old, inexperienced) and the dataset of the 4th 2018 Brain-Computer Interface Competition (BCI competition Ⅳ-2a). The average accuracy of the proposed algorithm for the four-task classification reached 93.96% and 84.04%, respectively. Compared with other advanced algorithms, the average classification accuracy of the proposed algorithm was significantly improved, and the accuracy range error between subjects was significantly reduced in the public dataset. The results show that the proposed algorithm has good performance in multi-task classification, and can effectively improve the classification accuracy and robustness.
Keywords: Brain-computer interface, Motor imagery electroencephalogram, Common spatial pattern, Spatiotemporal-frequency domain feature fusion, Convolutional neural network
引言
脑机接口(brain-computer interface,BCI)在游戏娱乐、工业流程、航空航天以及康复医学工程等领域有着广泛的应用前景[1-2]。目前,基于无创脑电图(electroencephalogram,EEG)的运动想象(motor imagery,MI)范式以其无需长期视觉聚焦和无损害风险的优点逐渐得到了越来越多的关注[3]。为了有效扩展MI-BCI系统的输出指令集,聚焦于左右手MI的传统模式逐渐发展为复杂度更高的三、四任务的分类识别。其中,精准特性表征和有效分类器构建是多任务MI-EEG信号高精度解码的关键。
MI-EEG信号的特征提取方法可以归纳为从时域、频域、空域角度寻找多任务之间有区分度的信息表征[4]。其中,共空间模式(common spatial pattern,CSP)是BCI领域特征提取方法中公认效果优势明显并且已广泛应用的算法之一[5]。它通过融合多通道EEG信号求取最优空间滤波器矩阵,经投影后使不同类别信号的方差最大化,从而得到空域上最具区分度的特征[6]。Lotte等[7]针对该算法对噪声敏感且极易出现过拟合的问题提出了正则化CSP。在此基础上,Song等[8]提出在学习过程中不断更新两类空间滤波器的自适应CSP,从而降低因EEG信号不平稳导致试次间差异性的不利影响。Jin等[9]提出结合EEG信号相关性的多导联选择算法消除在传统CSP中可能存在的通道信息冗余。
虽然以上算法从不同角度对传统CSP进行了改进,但是其目的仍然停留在提取更优的空域特征,没有突破单一维度空域分析表征信息的局限性。考虑到在执行MI任务时感觉运动皮质特定频段EEG信号振幅发生变化的现象,研究者们认为将频域特性纳入考虑是一种有效手段[10]。Ang等[11]提出滤波器组CSP(filter bank CSP,FBCSP)通过若干个带通滤波把EEG信号划分为窄频带并分别提取CSP特征,再利用互信息筛选关键特征纳入分类器,相较于经典CSP分类精度提升了7.8%。Das等[12]通过5个自选滤波器组采用一对一(one versus one,OVO)和一对多(one versus rest,OVR)FBCSP算法结合自适应增强分类器开发了高鲁棒性分类模型。Zhang等[13]采用一种基于非凸对数正则化的特征选择方法优化FBCSP算法,在有效提高分类精度的同时提升特征提取效率。Blanco-Diaz等[14]探索了更高效的频带划分方式,仅利用3个固定的最优滤波器组和最优时间段的选择提升BCI系统的分类性能和信息传输率。
虽然上述算法在频、空域有效融合方面存在一定的先进性,但是其固定的频带划分方式忽略了不同受试者执行MI任务时感觉运动皮质激活频带响应之间的特异性。另外,子频带包含信息量有限,特征选择进一步导致了相邻频带相关性信息的丢失[15]。最后,从特征描述丰富性的角度考虑,包括FBCSP算法在内的改进方法都忽略了通过MI-EEG信号中丰富的时域信息可以对内在神经活动进行更直观的表征解读[16]。因此如果将受试者频域特异性纳入考虑,结合时、频、空域信息对MI-EEG信号进行多层次特征提取,或可有助于为后续分类器提供有区分度的特性表征,实现分类性能的进一步提升。
另外,关于分类器的构建,支持向量机(support vector machine,SVM)和线性判别分析(linear discriminant analysis,LDA)等传统机器学习方法被广泛应用于MI-EEG信号的分类[17-18]。Hou等[19]融合多含义特征高阶谱、熵、CSP描述大脑信号的复杂信息,结合高效特征选择和SVM构建高精度分类模型。随着深度学习的发展,长短期记忆网络、门控循环单元、自动编码器等深度网络在BCI领域的应用也逐渐受到重视[20-21]。有研究证明,浅层卷积神经网络(convolutional neural network,CNN)能够充分挖掘MI-EEG信号的深层次隐含信息,其分类性能优于传统机器学习算法以及其它深度网络[22]。Amin等[23]提出利用多个不同深度CNN捕获时空信息输入多层感知机和自动编码器进行融合分类。Lun等[24]提出采用兼具时间和空间滤波器的CNN结构,混合不同受试者运动皮层区域上电极对的原始EEG信号作为输入实现四分类。以上端到端的深度网络虽然取得了一定的效果,但是有效特征提取可以引入针对性更强、可靠性更高的先验知识,帮助深度模型更好地学习输入的内在模式。例如,Xu等[25]采用搜索树确定最优窄带加以CSP算法描述MI-EEG信号的动态特征,结合CNN对多任务MI-EEG信号进行频段特征融合和高精度分类。
为解决上述问题,本研究提出基于自适应时频CSP(adaptive time-frequency CSP,ATFCSP)结合CNN的多任务MI-EEG信号分类方法。在考虑受试者频域差异性的同时引入空域滤波以及时域特征刻画实现MI-EEG信号的个性化时空频多域融合特征提取。基于CNN挖掘特征矩阵深层次隐含信息构建高效分类模型,为实现高精度高鲁棒性的多任务大脑MI意图解码提供新方法。最后,利用自测数据集和公开数据集对本研究提出的算法性能进行评估。
1. 试验与数据
1.1. 自测数据集
本研究共招募10名身体健康的志愿者,其中男性6名,女性4名,平均年龄33岁,均为右利手且无BCI经验。所有自愿进行本试验的受试者均已签署书面知情同意书,本研究已通过南京大学医学院附属苏州医院伦理审查(IRB202207004RI)。EEG信号由EEG采集仪BioSemi(Active Two,Biosemi Inc.,荷兰)记录,64个主动电极通过电极帽固定到头皮上,其位置排布遵循国际标准10-20系统,试验时保证接触阻抗在50 kΩ 以内。采样频率为512 Hz,用独立的共模感应(common mode sense,CMS)电极和右腿驱动(driven right leg,DRL)电极代替接地电极,采用平均参考。
单次试验持续时长为10 s。每次试验开始时有1 s的准备时间,准备结束后在黑色屏幕上出现白色十字,同时响起持续500 ms的提示音提醒受试者集中注意力。白色十字持续显示1 s消失,屏幕中央随机出现一个上/下/左/右的箭头,分别提示受试者进行舌头/双脚/左手/右手的MI任务。箭头持续显示2 s,消失后受试者同步开始进行时长为4 s的MI,当屏幕中重新出现白色十字时想象结束,受试者进入放松状态等待下一次任务开始。为保证大脑得到充分休息,每个受试者的试验分为3组进行,组间间隔1~2 d。为防止在试验过程中出现过度视觉疲劳,每组试验分成4个小节进行,并设置3 min闭眼休息时间。每个小节包含60次试验,四种任务出现概率相同且顺序随机。每位受试者共计进行了60 × 4 × 3 = 720次MI试验。
1.2. 公开竞赛数据集
为进一步评估算法优越性,本文采用由格拉茨工业大学知识发现研究院(Institute for Knowledge Discovery,Graz University of Technology)BCI实验室提供的第四届BCI竞赛2a(BCI competition Ⅳ-2a)(网址为:http://www.bbci.de/competition/iv/)公开数据集进行验证。该数据集中包含9位受试者来自22个EEG通道的四种(左手/右手/舌头/双脚)MI-EEG信号记录,采样频率为250 Hz。每位受试者数据都分为两组记录,每组288次数据,分别为训练集和测试集;每位受试者共计包含288 × 2 = 576次MI数据。
2. 基于ATFCSP-CNN的MI-EEG多任务分类
基于ATFCSP-CNN的MI-EEG信号多任务分类算法主要包括预处理、特征提取和分类器构建3个模块,具体流程图如图1所示。每个受试者的数据分别处理,采用五折交叉验证策略对自测数据集进行划分,保留训练集的空域滤波器以及分类模型用于测试集分类。
图 1.
Flow chart of classification algorithm based on ATFCSP-CNN
基于ATFCSP-CNN的分类算法流程图
2.1. 预处理
预处理操作包括两部分:数据准备,用于去除伪迹的不利影响;数据扩增,用于为模型训练提供充足样本。首先,对MI-EEG信号依次执行50 Hz陷波、带通滤波、独立成分分析以及基线校正操作。为提取信号有效成分同时匹配后续时频分析二进制细分频带的特性,本文将带通滤波范围设置为0.1~32 Hz。其次,研究证明通过裁剪策略进行数据扩增可以直接影响深度学习分类模型的表现[21]。因此本文选取开始想象后的0~2 s时间段采用滑窗裁剪方式进行数据扩增,期望从早期高质量MI-EEG信号中实现运动意图的高效解码,为今后BCI实时系统应用提供理论基础。本研究设置窗口宽度为1 s,以50个采样点为滑窗步长将2 s的时间序列分割成若干段[26]。由于采样频率不同,自测数据集和公开数据集经滑窗裁剪后,数据分别扩增了11倍和6倍。
2.2. ATFCSP特征提取
ATFCSP特征提取包括三个步骤。首先基于小波包分解(wavelet packet decomposition,WPD)子带信号能量分布,提取活跃频段实现自适应频谱感知,其次通过OVR策略扩展得到多类CSP空间滤波器,最后计算8种复合时域特征完成融合时空频多层次信息特征表达。
2.2.1. 自适应频谱感知
本节通过WPD对经过预处理的MI-EEG信号进行时频分析,结合基于种子生长的自适应选频,筛选出个性化活跃状态频段范围,用于捕获MI控制相关节律信息,对筛选后的感兴趣信号重建,完成自适应频谱感知。该算法原理共包含3个步骤,如图2所示。
图 2.
Flow chart of adaptive spectrum awareness algorithm based on WPD
基于WPD的自适应频谱感知算法流程图
步骤一:基于4层WPD的时频分析。WPD可以对信号高频以及低频部分进行细致的频带划分,从而提取EEG信号的近似系数和细节系数,适用于与MI任务相关频域信息的表征[26]。WPD提供了若干类小波基,其中多贝西(Daubechies,Db)小波基常用于MI-EEG离散型信号分析[27]。本文设置滤波器长度为4,选取Db5小波对经预处理的MI-EEG信号进行4层分解,cj代表第4层第j(j = 1, 2, , 16)个节点的小波包系数。
步骤二:基于种子生长的自适应选频。种子生长可以基于给定的生长准则形成具有特定性质的信号集合。本文利用该原理选取最大能量种子点,目标是按照既定规则对相邻频段子带进行生长,提取感兴趣集合 ,V中包含q个元素,其中下标
。首先定义能量系数向量
,其中节点j的能量系数Ej计算公式如式(1)所示:
![]() |
1 |
以E最大值所在节点定义种子点m,其对应的能量系数记为Em,如式(2)所示:
![]() |
2 |
以m为起始点向高频(+)和低频(−)方向交替进行生长,生长位移向量 ,di对应D中第i个元素,且始终满足约束条件
,任一方向的位移超出以上范围则停止该方向的生长。当子带能量系数累加和达到能量阈值δ时停止所有生长。此时对应的最大位移即为边界,其索引imax计算公式如式(3)所示:
![]() |
3 |
构建感兴趣集合,V中元素为生长区域内包含的小波包系数,代表了自适应选频筛选结果,即受试者数据中最活跃的个性化频率成分。
步骤三:感兴趣信号重建。重建V内所有小波包系数生成自适应频谱感知信号。
通过种子生长得到感兴趣频段范围并信号重建的过程相当于一个自适应感知输入信号频谱特性的滤波器,相比于固定滤波器组来说拥有更强的适应性和更优的滤波性能。生理学基础和实验观察表明,活跃频带能量分布存在一定集中趋势,与其它冗余子带相比区别较大,因此本文认为将δ设置为0.90即可实现较为精准的频段范围筛选。δ参数寻优将在3.2节中给出实验证明。
2.2.2. OVR-CSP空域滤波
现有研究常采取OVR策略对CSP空域滤波进行扩展实现MI-EEG信号多任务特征提取[28-29]。类比传统算法构建两类信号,将四分类问题转化为4个二分类问题。定义四类自适应频谱感知信号为 ,当
时,
。构建类别k区别于其它三类的最佳空间滤波器计算步骤如下所示。
将第k类自适应频谱感知信号表示为X,求归一化后的协方差矩阵Rk,如式(4)所示:
![]() |
4 |
式中,(·)T表示对矩阵转置,trace(·)表示对矩阵求迹。计算混合空间协方差矩阵R,并对其进行特征值分解,如式(5)所示:
![]() |
5 |
式中, 分别表示四类任务的平均协方差矩阵,U为特征向量矩阵,λ为特征值矩阵。通过构造白化矩阵和主分量分解寻求最大化类别k与其它类差异的空间滤波器W,取W中包含有效特征信息的前n行和后n行对信号X投影,生成空间滤波信号Z2n × T,如式(6)所示:
![]() |
6 |
式中,n代表空间滤波器对数,本文中取值为5,N为MI-EEG信号通道数,T为总采样点数。
2.2.3. 时域特性表征
时域特征可以捕获并整合MI-EEG信号不同时间点的非线性非平稳性信息,进一步对频域和空域特性进行直观信息的补充。传统CSP计算Z2n × T每一行的方差作为最后的特征,但是将信号的时间序列浓缩为一个值,存在特征表达不够充分的缺陷。因此,本文考虑统计Z2n × T包含方差在内的8个时域特征,丰富CSP的信息表达,包括最大值、峰值、峰峰值、均值、绝对平均值、方根幅值、方差和标准差。以方差为例求取特征向量fp,如式(7)所示:
![]() |
7 |
式中,varp代表第p行的方差,log(·)为对数运算符。将所有时域特征经上式计算并按列整合后得到类别k的特征矩阵。按照此规则依次构建其余类别的特征矩阵并拼接,即可完成融合时空频域多重信息的ATFCSP特征矩阵构建,记为F40 × 8。
2.3. CNN信号分类
本文构建CNN分类器对融合ATFCSP特征矩阵进行四分类。CNN作为一种高效精准的分类器已经被证明可以有效改善BCI系统的性能,在多分类任务中已广泛应用[30],CNN结构如图3所示。结合特征矩阵F40 × 8两个维度分别代表空域和时域信息的特点,本文采取时空可分离卷积策略对卷积核进行拆分。首先进行三层空间卷积:采用[5 × 1]、[10 × 1]、[15 × 1]三个卷积核对空间维度信息进行学习,遵循由低复杂度到高复杂度的学习规则,三个卷积核的个数分别设置为8、16、32。其次进行两层时间卷积:设置[1 × 2]、[1 × 4]卷积核学习时间维度提供的特征,卷积核个数设置为32。连接两个全连接层用于整合前述特征,将学习到的特征表示映射到样本标记空间,节点数分别为100和32。最终,以归一化指数(softmax)函数作为网络最后一层将四个神经元的输出映射到(0, 1)区间内进行多分类。
图 3.
Structure of spatio-temporal separation CNN
时空分离CNN结构
采用批归一化处理防止网络训练过程中出现过拟合以及梯度消失问题,批处理大小为16。本文选取线性整流(rectified linear unit,ReLu)激活函数增加信号之间的稀疏性,自适应矩估计优化算法作为优化器,以初始值为的网络学习率最小化交叉熵损失函数。训练迭代64次,经过参数寻优设置学习率以0.9倍速率进行衰减保证前期加速收敛和后期性能稳定。网络结构中不设置池化层降维,最大程度地保留输入特征的原始信息。
3. 实验结果与分析
为确定算法最优参数并验证本文所提方法的有效性,设计如下3个对比实验:
(1) 探讨δ参数对分类性能的影响,并确定最优参数。
(2) 为验证ATFCSP特征提取算法中融合时空频信息策略的有效性,分别对自适应频谱感知模块以及时域特性表征模块进行消融开展对比实验,并对特征进行可视化。
(3) 为进一步评估本文算法的优越性,同时保证公平公正原则消除数据质量影响,将相关实验结果与基于相同公开数据集的先进研究结果进行对比。
3.1. 评估指标
本文采用自测数据集以及BCI competition IV-2a数据集对所提方法进行验证。四分类的准确率(accuracy,ACC)和卡帕(Kappa)系数用于分类结果评价。ACC定义为正确分类样本数占总样本个数的比例,可以体现预测正确的概率。Kappa系数用于评估模型预测结果与真实分布的一致性,取值在-1~1之间,越接近1表示分类模型效果越好。计算公式如式(8)~式(9)所示:
![]() |
8 |
![]() |
9 |
式中,Pa为分类ACC,也称为观测一致率;Pe机遇一致率;a1、a2、a3、a4分别为四类MI真实样本的个数,b1、b2、b3、b4分别为相对应预测得到的四类样本个数,Q为样本总数。
3.2. δ参数对分类性能的影响
不同δ参数对种子生长自适应选频起着不同的约束作用,从而得到不同带宽的重建信号,它对能否获得MI-EEG信号准确的频域信息起着至关重要的作用。因此为讨论δ参数对本算法整体分类性能的影响并确定最佳参数,本文根据先验知识设置参数范围为0.5~1.0,间隔为0.05,并基于两个基准数据集中所有受试者数据开展寻优实验,结果如图4所示。
图 4.
Comparison of classification accuracy of different δ parameters
不同δ参数的分类精度对比
由图4可知,δ为0.9的情况下,自测数据集中所有受试者的分类ACC均高于其它情况,公开数据集中6位受试者分类ACC达到了最佳,并且其它3位受试者(2、3、9)在取值0.9的条件下分类精度接近于最佳水平。因此本文确定最优参数δ取值为0.9,后续实验都在此基础上完成。
3.3. ATFCSP时空频融合特征有效性分析
为验证ATFCSP算法中自适应频谱感知模块以及时域特性表征模块的有效性,说明融合时空频多域特征表达的优势,本文对以上两个模块进行消融,开展以下对比实验:ATFCSP代表本文所提算法用于提取时空频融合特征;自适应频CSP(adaptive frequency-CSP,AF-CSP)代表仅加入自适应频谱感知模块提取频-空域特征;时域CSP(time-CSP,T-CSP)代表仅加入时域特性表征模块提取时-空域特征;CSP代表仅提取空域特征。以上四种特征提取方法结合CNN分类在五折交叉验证条件下的平均ACC和标准差如图5所示。
图 5.
Comparison of ablation results of feature extraction methods
关于特征提取方法的消融实验结果对比
如图5所示,自测数据集中受试者1、2、3、4、5、9、10数据基于本文融合特征提取方法所得分类ACC均优于其它方法。公开数据集中在本文所提方法条件下所有受试者数据的分类ACC均达到了最优。以数据集为单位,统计自测数据集中CSP、T-CSP、AF-CSP以及本文所提ATFCSP特征提取方法平均分类精度分别为88.82%、92.25%、90.05%和93.96%;公开数据集中所有受试者的平均ACC分别为79.39%、81.06%、80.21%和84.47%;t检验证明,P<0.05,差异具有统计学意义。这表明本文所提自适应频谱感知模块与时域特性表征模块都能不同程度地提升CSP算法的分类精度,同时融合时空频域信息的ATFCSP特征构建方法可以表现出最佳性能,充分说明了两个模块的有效性和必要性。
为进一步直观展示ATFCSP特征矩阵对多任务MI-EEG信号表征信息的有效性,本文通过非线性降维模式在二维空间中可视化不同类别数据的高维特征。选取自测数据集中分类ACC最高(受试者3)和最低(受试者10)的训练集与测试集样本进行CSP特征以及ATFCSP特征可视化展示,如图6所示。四种颜色的散点分别代表四类MI-EEG信号所构建的特征,若同类点集间呈团簇态,则说明该特征具有区分度。可视化结果与上文结论相符,两名受试者的ATFCSP特征图统一呈现聚集趋势,相较于CSP特征类内间距减小而类间距离加大,分类ACC较高的受试者3在特征图中四种散点区分度更加明显。以上不同数据质量的受试者特征图可视化可以证明本文所提算法显著增加了MI-EEG信号四种类别数据之间的可分性。
图 6.
Visualization of ATFCSP and CSP features
ATFCSP与CSP特征可视化
3.4. 算法性能对比
为验证本文所提算法与现有方法相比的先进性,同时保证公平公正原则,避免因设备性能或参数设置问题导致无法在自测数据集中对现有先进研究成果进行完全复现,本研究将基于公开数据集的分类结果与竞赛优胜算法以及相关先进工作进行对比。Ang等[31]在竞赛获胜算法的基础上采用OVR策略对FBCSP进行扩展,并结合朴素贝叶斯分类器(naive Bayes classifier,NB)进行分类。Luo等[32]应用FBCSP提取空间频率特征后,用滑动裁剪技术生成空间频率序列输入深度循环神经网络(recurrent neural network,RNN)进行四分类。Liu等[33]提出基于卷积滤波器学习不同时间窗CSP特征并进行稀疏表示,通过混合神经网络(hybrid neural network,HNN)进行分类。Altuwaijri等[16]提出多分支CNN结构,充分利用不同尺寸卷积核对原始EEG信号进行多层次时空信息挖掘。基于公开数据测试集的算法分类结果如表1所示,加粗字体表示最优指标。
表 1. Comparison of algorithm classification results based on open data test sets.
基于公开数据测试集的算法分类结果对比
文献 | 方法 | 指标 | 受试者1 | 受试者2 | 受试者3 | 受试者4 | 受试者5 | 受试者6 | 受试者7 | 受试者8 | 受试者9 | 平均值 |
[31] | FBCSP + NB | Kappa | 0.77 | 0.48 | 0.83 | 0.48 | 0.60 | 0.35 | 0.86 | 0.81 | 0.79 | 0.67 |
[32] | FBCSP + RNN | ACC | 84.82% | 65.32% | 83.54% | 67.67% | 64.00% | 70.87% | 84.96% | 71.95% | 68.90% | 73.56% |
[33] | 端到端+HNN | ACC | 82.76% | 68.97% | 79.31% | 65.52% | 58.62% | 48.28% | 86.21% | 89.66% | 89.87% | 74.26% |
Kappa | 0.77 | 0.59 | 0.75 | 0.54 | 0.45 | 0.35 | 0.82 | 0.86 | 0.85 | 0.66 | ||
[16] | 端到端 + CNN | ACC | 82.58% | 70.01% | 93.79% | 82.60% | 77.81% | 64.79% | 88.02% | 86.91% | 83.83% | 81.15% |
Kappa | 0.77 | 0.60 | 0.92 | 0.77 | 0.70 | 0.53 | 0.84 | 0.83 | 0.78 | 0.75 | ||
本文 | ATFCSP + CNN | ACC | 86.88% | 78.09% | 90.19% | 75.64% | 74.88% | 84.25% | 85.42% | 92.80% | 90.36% | 84.04% |
Kappa | 0.82 | 0.71 | 0.87 | 0.67 | 0.66 | 0.79 | 0.81 | 0.90 | 0.87 | 0.79 |
由表1得知,对于受试者1、受试者2、受试者6、受试者8、受试者9,本文所提算法所有评价指标均达到了最优。9位受试者的四分类平均ACC和Kappa值分别为84.04%和0.79。其中,平均精度与文献[32]、[33]、[16]相比均有提升,平均Kappa值与竞赛优胜算法相比也有提升。受试者间ACC范围误差定义为最大ACC与最小ACC的差值,可衡量不同受试者之间分类性能的差异。本文算法所得ACC范围误差为17.92%,与文献[32]、[33]、[16]相比均有下降。值得注意的是,以往被公认为数据质量较差的受试者2和受试者6的分类精度分别提升到了78.09%和84.25%,接近于平均水平。因此本文合理推测,特征工程中自适应频谱感知模块最大限度地发挥了潜在特异性频域信息的影响,可以提升BCI能力较差的受试者数据的分类效果。综上所述,基于ATFCSP特征提取的CNN分类方法不仅能整体提升BCI系统的分类性能,还能有效降低受试者特异性对分类效果带来的不利影响,增强算法鲁棒性。
4. 结论
本文提出一种融合时空频域信息的ATFCSP特征提取算法,时域上提取最直观的信号幅值能量相关表征,频域上自适应筛选受试者个性化激活频带范围,空域上基于最优空间滤波器实现类间距离最大化,从多角度实现MI过程中大脑皮质神经活动信息的精细解释和刻画;进一步设计浅层时空分离CNN对四种MI任务进行分类,自测数据集平均分类精度达到93.96%,公开数据集平均分类精度达84.04%,相较于现有最先进水平有所提升,不同受试者分类性能之间的差异也显著降低。
本文提出基于ATFCSP特征提取和CNN的方法在MI四分类任务中表现出良好性能,相较于现有方法表现出更高的ACC和更强的鲁棒性,对实现多维光标和外部设备的精准控制有重要意义。本文所提算法仍需进一步积累数据库进行充分验证。另外,基于迁移学习构建多任务MI-EEG信号分类模型为克服小数据集的障碍和解决受试者特异性问题提供了一种有效途径,这将指导本研究下一步的技术方向[34]。
重要声明
利益冲突声明:本文全体作者均声明不存在利益冲突。
作者贡献声明:胡莹、刘燕主要负责数据记录与分析、算法程序与设计以及论文编写;程晨晨、耿辰、戴斌、彭博主要负责实验流程、协调沟通以及计划安排;朱建兵、戴亚康主要负责项目主持、平台搭建、提供实验指导以及论文审阅修订。
伦理声明:本研究通过了南京大学医学院附属苏州医院伦理审查机构审批(批文编号:IRB202207004RI)。
Funding Statement
国家自然科学基金(61971413);江苏省重点研发计划(BE2021012-5);科技创新2030“脑科学与类脑研究”重大项目(2022ZD0208500);苏州市基础研究试点项目(SJC2022012)
References
- 1.Vasiljevic G A M, Miranda L C Brain–computer interface games based on consumer-grade EEG devices: a systematic literature review. Int J Hum-Comput Int. 2020;36(2):105–142. doi: 10.1080/10447318.2019.1612213. [DOI] [Google Scholar]
- 2.Chaudhary U, Birbaumer N, Ramos-Murguialday A Brain–computer interfaces for communication and rehabilitation. Nat Rev Neurol. 2016;12(9):513–525. doi: 10.1038/nrneurol.2016.113. [DOI] [PubMed] [Google Scholar]
- 3.Abiri R, Borhani S, Sellers E W, et al A comprehensive review of EEG-based brain-computer interface paradigms. J Neural Eng. 2019;16(1):011001. doi: 10.1088/1741-2552/aaf12e. [DOI] [PubMed] [Google Scholar]
- 4.Lotte F, Congedo M, Lécuyer A, et al A review of classification algorithms for EEG-based brain–computer interfaces. J Neural Eng. 2007;4(2):R1–R13. doi: 10.1088/1741-2560/4/2/R01. [DOI] [PubMed] [Google Scholar]
- 5.刘锦, 吴小培, 周蚌艳, 等 单次样本对的CSP滤波器设计及其在脑电训练样本优化中的应用. 信号处理. 2017;33(7):993–1001. [Google Scholar]
- 6.Ramoser H, Muller-Gerking J, Pfurtscheller G Optimal spatial filtering of single trial EEG during imagined hand movement. IEEE Trans Rehabil Eng. 2000;8(4):441–446. doi: 10.1109/86.895946. [DOI] [PubMed] [Google Scholar]
- 7.Lotte F, Guan C Regularizing common spatial patterns to improve BCI designs: unified theory and new algorithms. IEEE Trans Biomed Eng. 2011;58(2):355–362. doi: 10.1109/TBME.2010.2082539. [DOI] [PubMed] [Google Scholar]
- 8.Song X, Yoon S C Improving brain-computer interface classification using adaptive common spatial patterns. Comput Biol Med. 2015;61:150–160. doi: 10.1016/j.compbiomed.2015.03.023. [DOI] [PubMed] [Google Scholar]
- 9.Jin J, Miao Y, Daly I, et al Correlation based channel selection and regularized feature optimization for MI based BCI. Neural Netw. 2019;118:262–270. doi: 10.1016/j.neunet.2019.07.008. [DOI] [PubMed] [Google Scholar]
- 10.于沐涵, 陈峰 基于HCSP和模糊熵的脑电信号分类. 计算机工程与设计. 2018;39(2):557–562. [Google Scholar]
- 11.Ang K K, Chin Z Y, Zhang H H, et al. Filter bank common spatial pattern (FBCSP) in brain-computer interface// 2008 IEEE International Joint Conference on Neural Networks (IJCNN), Hong Kong: IEEE, 2008: 2390-2397.
- 12.Das R, Lopez P S, Khan M A, et al. FBCSP and adaptive boosting for multiclass motor imagery BCI data classification: a machine learning approach//2020 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Toronto: IEEE, 2020: 1275-1279.
- 13.Zhang S, Zhu Z, Zhang B, et al. The CSP-based new features plus non-convex log sparse feature selection for motor imagery EEG classification. Sensors (Basel). 2020, 20(17): 4749.
- 14.Blanco-Diaz C F, Antelis J M, Ruiz-Olaya A F. Comparative analysis of spectral and temporal combinations in CSP-based methods for decoding hand motor imagery tasks. J Neurosci Methods. 2022, 371: 109495.
- 15.Pei Y, Luo Z G, Zhao H Y, et al. A tensor-based frequency features combination method for brain–computer interfaces. IEEE Trans Neural Syst Rehabil Eng. 2022, 30: 465-475.
- 16.Altuwaijri G A, Muhammad G A multibranch of convolutional neural network models for electroencephalogram-based motor imagery classification. Biosensors. 2022;12(1):22. doi: 10.3390/bios12010022. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 17.Kumar S, Sharma R, Sharma A OPTICAL+: a frequency-based deep learning scheme for recognizing brain wave signals. Peerj Comput Sci. 2021;7:e375. doi: 10.7717/peerj-cs.375. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 18.Lotte F, Bougrain L, Cichocki A, et al A review of classification algorithms for EEG-based brain–computer interfaces: a 10 year update. J Neural Eng. 2018;15(3):031005. doi: 10.1088/1741-2552/aab2f2. [DOI] [PubMed] [Google Scholar]
- 19.Hou Y, Chen T, Lun X, et al A novel method for classification of multi-class motor imagery tasks based on feature fusion. Neurosci Res. 2022;176:40–48. doi: 10.1016/j.neures.2021.09.002. [DOI] [PubMed] [Google Scholar]
- 20.Rashid M, Sulaiman N, Abdul Majeed A P P, et al Current status, challenges, and possible solutions of EEG-based brain-computer interface: a comprehensive review. Front Neurorobotics. 2020;14:25. doi: 10.3389/fnbot.2020.00025. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 21.Zhang R, Zong Q, Dou L, et al A novel hybrid deep learning scheme for four-class motor imagery classification. J Neural Eng. 2019;16(6):066004. doi: 10.1088/1741-2552/ab3471. [DOI] [PubMed] [Google Scholar]
- 22.Schirrmeister R T, Springenberg J T, Fiederer L D J, et al Deep learning with convolutional neural networks for EEG decoding and visualization. Hum Brain Mapp. 2017;38(11):5391–5420. doi: 10.1002/hbm.23730. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 23.Amin S U, Alsulaiman M, Muhammad G, et al Deep learning for EEG motor imagery classification based on multi-layer CNNs feature fusion. Future Generation Computer Systems. 2019;101:542–554. doi: 10.1016/j.future.2019.06.027. [DOI] [Google Scholar]
- 24.Lun X, Yu Z, Chen T, et al A simplified CNN classification method for MI-EEG via the electrode pairs signals. Front Hum neurosci. 2020;14:338. doi: 10.3389/fnhum.2020.00338. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 25.Xu S, Zhu L, Kong W, et al A novel classification method for EEG-based motor imagery with narrow band spatial filters and deep convolutional neural network. Cogn Neurodyn. 2022;16(2):379–389. doi: 10.1007/s11571-021-09721-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 26.Ma X, Wang D, Liu D, et al DWT and CNN based multi-class motor imagery electroencephalographic signal recognition. J Neural Eng. 2020;17(1):016073. doi: 10.1088/1741-2552/ab6f15. [DOI] [PubMed] [Google Scholar]
- 27.乔晓艳, 王春晖, 任兆麟 小波统计方法提取想象运动诱发脑电特征. 测试技术学报. 2013;27(3):201–207. doi: 10.3969/j.issn.1671-7449.2013.03.004. [DOI] [Google Scholar]
- 28.张义, 潘赛虎, 邹凌, 等 基于OVR-CSP的情绪认知重评脑电信号晚正成分研究. 生物医学工程学杂志. 2014;31(6):1212–1217. [PubMed] [Google Scholar]
- 29.曾庆山, 范明莉, 宋庆祥 基于CSP与卷积神经网络算法的多类运动想象脑电信号分类. 科学技术与工程. 2017;17(27):144–149. doi: 10.3969/j.issn.1671-1815.2017.27.023. [DOI] [Google Scholar]
- 30.Stieger J R, Engel S A, Suma D, et al Benefits of deep learning classification of continuous noninvasive brain-computer interface control. J Neural Eng. 2021;18(4):046082. doi: 10.1088/1741-2552/ac0584. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 31.Ang K K, Chin Z Y, Wang C, et al Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b. Front Neurosci. 2012;6:39. doi: 10.3389/fnins.2012.00039. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 32.Luo T J, Zhou C L, Chao F Exploring spatial-frequency-sequential relationships for motor imagery classification with recurrent neural network. BMC Bioinformatics. 2018;19(1):344–362. doi: 10.1186/s12859-018-2365-1. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 33.Liu C, Jing J, Daly I, et al SincNet-based hybrid neural network for motor imagery EEG decoding. IEEE Trans Neural Syst Rehabil Eng. 2020;30:540–549. doi: 10.1109/TNSRE.2022.3156076. [DOI] [PubMed] [Google Scholar]
- 34.Roy A M Adaptive transfer learning-based multiscale feature fused deep convolutional neural network for EEG MI multiclassification in brain–computer interface. Eng Appl Artif Intel. 2022;116:105347. doi: 10.1016/j.engappai.2022.105347. [DOI] [Google Scholar]