融合差分注意力与多尺度自适应时间卷积网络的运动想象解码研究

Abstract

Motor imagery electroencephalogram (MI-EEG) decoding algorithms face multiple challenges. These include incomplete feature extraction, susceptibility of attention mechanisms to distraction under low signal-to-noise ratios, and limited capture of long-range temporal dependencies. To address these issues, this paper proposes a multi-branch differential attention temporal network (MDAT-Net). First, the method constructed a multi-branch feature fusion module to extract and fuse diverse spatio-temporal features from different scales. Next, to suppress noise and stabilize attention, a novel multi-head differential attention mechanism was introduced to enhance key signal dynamics by calculating the difference between attention maps. Finally, an adaptive residual separable temporal convolutional network was designed to efficiently capture long-range dependencies within the feature sequence for precise classification. Experimental results showed that the proposed method achieved average classification accuracies of 85.73%, 90.04%, and 96.30% on the public datasets BCI-IV-2a, BCI-IV-2b, and HGD, respectively, significantly outperforming several baseline models. This research provides an effective new solution for developing high-precision motor imagery brain-computer interface systems.

0. 引言

脑机接口（brain computer interface，BCI）通过建立大脑与外部设备的直接信息通路，帮助严重运动功能障碍患者恢复交流与控制能力^[1]，是医疗康复^[2-4]领域的一项重要技术手段。

基于脑电图（electroencephalogram，EEG）的运动想象（motor imagery，MI）是一种为BCI系统提供的内源性范式^[5]，其核心在于通过解码想象运动时的脑电活动以实现意图识别^[6]，该技术在康复领域应用潜力巨大^[7]。然而，EEG信号固有的低信噪比、非平稳性和个体差异等特性，严重制约了MI-BCI解码的精度和鲁棒性，构成了其临床应用的主要技术瓶颈^[8]。

针对MI-EEG信号的解码，研究范式已从传统的共空间模式^[9]等手动特征提取方法，转向以深度学习为代表的端到端智能模型^[10]。卷积神经网络（convolutional neural network，CNN）因其能自动学习深层时空特征，解码精度已超越传统方法，典型模型如DeepConvNet^[11]和EEGNet^[12]。

然而，为实现BCI系统在复杂临床与日常环境下的可靠应用，当前深度学习模型在设计上仍面临若干局限。首先，在脑电信号时空特征提取层面，现有CNN模型（如DeepConvNet、EEGNet）因采用单尺度卷积，其固定的感受野难以全面捕捉运动想象任务中复杂的神经电活动。为此，虽有研究者构建了多尺度CNN架构（如FBCNet^[13-14]），但这类模型普遍采用简单的拼接或相加来融合多分支特征，未能有效评估并整合各尺度特征的重要性，易引入冗余信息，从而限制了模型性能的实质性提升。

其次，在对信号长时程动态信息的建模方面，现有方法亦存在不足，准确捕捉时序依赖性对意图解码至关重要^[15]。引入的注意力机制，如EEG Conformer^[16]虽结合CNN与Transformer^[17]提取全局依赖，但其通用设计在低信噪比的脑电信号中易受噪声干扰，导致“注意力”分散，稳定性不足。另一方面，时间卷积网络（temporal convolutional network，TCN）^[18]及其变体（如EEG-TCNet^[19]、TCNet-Fusion^[20]和ATCNet^[21]）也被广泛应用。但这些基于TCN的方法，其感受野的增长依赖于网络层数堆叠，要捕获贯穿想象过程的超长距离依赖关系，往往需要极深的网络，这在限制模型效率的同时，也使其难以捕捉关键认知意图间的长程关联。

为突破上述瓶颈，本文提出一种新型深度学习模型，旨在提升MI-BCI系统的解码性能与鲁棒性。主要贡献如下：① 设计了多分支特征融合模块，从不同尺度提取多样的时空特征，以解决单尺度模型特征提取不完整的问题，同时保持了低复杂度。② 构建了滑动窗口与差分注意力机制相结合的模块，利用差分方法消除注意力计算中的共模噪声，从而稳定地聚焦关键信息，解决了传统注意力易受干扰的问题。③ 设计了一款自适应残差可分离时间卷积网络，通过自适应扩张卷积捕捉多尺度动态，并利用长距离残差连接融合深度特征与初始上下文信息，以实现精准分类。

1. 方法

为实现高精度的运动想象解码，提出的多分支差分注意力时间网络（multi-branch differential attention temporal network，MDAT-Net）构建了一个端到端的串联架构（见图1），通过三个核心模块解决现有挑战。

图 1.

The proposed MDAT-Net network architecture

提出的MDAT-Net网络结构

首先，多分支特征融合模块（multi-branch feature fusion module，MFM）通过并行多尺度卷积提取时空特征，以克服单尺度感受野的局限。然后，滑动窗口（sliding window，SW）与多头差分注意力（multi-head differential attention，MDA）^[22]模块利用时间差分来抑制共模噪声，解决了注意力易分散的难题。最后，自适应残差可分离时间卷积网络（adaptive residual separable temporal convolutional network，ARSTCN）高效捕获长距离时间依赖关系并输出最终分类结果，实现对运动想象意图的精准识别。

1.1. 多分支特征融合模块

为有效应对运动想象任务中神经电活动的复杂性，设计了MFM，旨在自适应地捕获并整合多尺度时空表征。该模块的设计遵循提升模型鲁棒性与可复现性的原则，其处理流程包含初步时空特征提取、多尺度并行处理与特征融合。

该模块首先通过一个共享的时间卷积层进行初步特征提取，随后由深度可分离卷积进行空间滤波，并采用指数线性单元（exponential linear unit，ELU）激活函数引入非线性。该架构的核心在于四个并行的特征提取分支。这些分支接收相同的空间特征图，第一分支采用标准的二维卷积层（卷积核大小15 × 1），而另外三个分支则采用了计算效率更高的可分离卷积层（通过将标准卷积分解为深度卷积和逐点卷积），并配置了大小分别为13 × 1、11 × 1和9 × 1的卷积核，以并行捕捉宏观至精细的多尺度动态特征。

为有效整合从不同尺度提取的异构特征，模块并未采用简单的拼接，而是通过逐元素相加的方式融合四个分支的输出。该策略旨在引导各分支学习互补信息，从而增强最终特征表示的鲁棒性。融合后的特征图最终经过一个Dropout层处理，以生成该模块的最终输出。为确保模型的泛化能力并防止过拟合，所有卷积层均采用了L2权重正则化（衰减系数）与最大范数约束（）。

1.2. 滑动窗口和差分注意力模块

为增强对关键时间片段的关注并抑制EEG中的噪声，模型引入了SW与MDA模块。该设计旨在解决传统注意力机制在低信噪比下易分散的问题，放大有效信号并消除无关干扰。

首先，采用SW策略将融合后的特征图 切分为多个重叠的短序列，其中为批量大小，为特征通道数，为时间点数量。此方法在提升计算效率的同时，也为注意力机制的稳定运行提供了局部化的上下文。第个窗口的生成过程如下：

1

其中，代表第个窗口的特征序列，和为该窗口的起止索引。

随后，各特征窗口被送入MDA模块处理，MDA模块的结构如图2a所示。该机制的设计借鉴了差分放大器原理，通过计算两个独立注意力图谱的差值来消除共模噪声，从而增强与任务相关的信号动态。输入特征首先经线性变换投影得到查询（Query，）、键（Key，）及值（Value，）：

图 2.

Architecture of the core processing modules in MDAT-Net

MDAT-Net核心处理模块结构

a. 多头差分注意力模块；b. 自适应残差可分离时间卷积网络

a. multi-head differential attention module; b. adaptive residual separable temporal convolutional network

2

3

4

其中，，，为可学习的投影矩阵。和被均分为两组独立的（，）与（，），用于计算差分注意力。单头差分注意力的计算如下：

5

其中，为注意力头维度，可学习标量（初始值= 0.8）用于动态平衡两个注意力图谱。此差分操作可有效抑制共模噪声，使注意力更稀疏和集中。

为从不同表征子空间捕捉信息，该机制被扩展为多头形式。各头独立计算后其输出被拼接，并依次经过组归一化与缩放因子处理，以应对注意力稀疏化导致的统计特征差异并平衡差分。最终通过一个线性投影得到模块输出：

6

其中，为输出投影矩阵。处理完所有窗口后，将各窗口的输出拼接，恢复为与输入等长的增强特征序列：

7

其中为窗口总数，即为最终输出的、经过噪声抑制和关键信息增强的特征序列。SW与MDA的结合，为后续的时间依赖建模提供了高质量的输入。

1.3. 自适应残差可分离时间卷积网络

经过特征增强的序列被送入ARSTCN进行深层时序建模，其结构见图2b。该网络旨在高效捕获长距离依赖关系，以突破传统模型的感受野限制，实现对时序信息的精细化解码。

ARSTCN由多个残差块堆叠而成。每个块的核心采用一维可分离卷积，以降低参数量与计算复杂度，同时保持强大的特征提取能力。单个卷积单元的处理流程概括如下：

8

其中，为输入序列，W为卷积核权重，D为膨胀系数。为确保深层网络中的梯度有效传播，模型采用了残差连接。首个残差块的输出为内部卷积结果与初始输入的加和。若通道不匹配，则通过1 × 1卷积适配输入维度，该适配后的输入定义为“残差源”，供后续所有块使用。

9

为增强时序建模能力，ARSTCN的深层块引入了自适应膨胀卷积与密集残差结构。其卷积层从指数级增长的膨胀系数集合（）中动态选择膨胀率，以灵活调整感受野，捕捉多尺度时间依赖。同时，块内每个卷积单元的输出均与原始“残差源”相加，这种密集的快捷连接增强了梯度流，避免了性能退化。

经过深度为depth的网络处理后，模型输出特征序列。因其巨大的感受野已融合全序列上下文，故仅提取最后一个时间点的输出向量用于分类决策：

10

其中，蕴含了全序列的动态特征。最后，为融合前端滑动窗口产生的所有信息，模型对每个窗口提取的特征向量分别通过一个全连接层，然后对所有结果取算术平均值，最终通过Softmax函数输出各类别预测概率。

2. 实验

2.1. 数据集与预处理

为评估方法性能，实验采用三个公开数据集：BCI Competition IV 提供的BCI-IV-2a^[23]和BCI-IV-2b^[24]，以及一个大规模高伽马数据集（HGD）^[11]。BCI-IV-2a包含9名受试者的四类MI任务，信号覆盖22个EEG通道。BCI-IV-2b同样包含9名受试者，但为两类MI任务，数据通过3个双极EEG通道记录。HGD则包含14名受试者的四类任务（三类MI及静息态），使用覆盖运动皮层的44个通道。

为适配模型输入，所有数据集均经过统一的预处理流程。首先，针对HGD数据集进行伪影去除，剔除在0~4 000 ms时间窗内绝对振幅超过800 μV的试次。随后，所有数据集的信号均重采样至250 Hz，经高通滤波（>4 Hz）及指数移动标准化处理。最后，从每个试次中截取相对于运动想象提示–500~4 000 ms的时间窗作为输入数据。为确保实验可复现性，数据在送入模型前均使用固定随机种子打乱，并重塑为（试次数，1，通道数，时间点数）的四维张量，类别标签亦同步转换为独热编码格式。

2.2. 训练环境设置与评价指标

实验硬件为配备2块A6000 GPU与128 GB内存的服务器（Windows 10），软件环境为Tensorflow及CUDA 11.3。模型采用Adam优化器进行训练，学习率设为0.000 9，最大训练轮数为500。训练中引入早停机制：若验证集准确率连续100个epoch无提升，则终止训练并恢复性能最佳的模型权重。

为客观评估模型性能，采用分类准确率与卡帕系数（Kappa score，K-score）作为核心指标。分类准确率是评估模型整体性能的基本基准。为排除偶然性对评估结果的影响，引入K-score以更鲁棒地评估分类性能，该指标通过校正机会一致性，衡量模型预测与随机猜测的一致性，值越接近1表明性能越优越。

3. 结果与分析

3.1. 消融实验

为系统性验证MDAT-Net中各核心模块的必要性，在BCI-IV-2a数据集上进行了消融实验。通过逐一移除MFM、SW、MDA及ARSTCN模块，量化了各组件对模型性能的影响。

实验结果（见表1）表明各组件间存在紧密的协同关系。移除负责深度时序建模的ARSTCN，模型准确率由85.73%骤降至62.38%，证实了其在捕获长时依赖中的关键作用。移除MFM模块后，准确率降至70.02%，凸显了多尺度特征提取是高精度解码的重要前提。此外，移除MDA或作为其基础的SW模块，准确率分别下降至83.91%和82.02%，证明了差分注意力机制在抑制噪声、聚焦关键信息上的有效性，且其性能发挥依赖于分段处理策略。综上，消融实验证实MDAT-Net的架构具有高度的整体性，各模块功能互补，缺一不可，共同保障了模型的优越性能。

表 1. Performance comparison of model decoding under different component removals.

不同组件移除下的模型解码性能对比

模块	模型配置	准确率（%）	K-score
完整模型MDAT-Net	MFM + SW + MDA + ARSTCN	85.73	0.809 7
模型无ARSTCN	MFM + SW + MDA + 分类层	62.38	0.498 5
模型无MFM	单分支 + SW + MDA + ARSTCN	70.02	0.600 3
模型无MDA	MFM + SW + ARSTCN	83.91	0.785 5
模型无SW	MFM + MDA + ARSTCN	82.02	0.760 3

3.2. 性能比较

为全面评估MDAT-Net的性能，该模型与脑电运动意图分类中的十种先进方法进行了对比，包括EEGNet^[12]、EEG-TCNet^[19]、TCNet-Fusion^[20]、FBCNet^[25]、EEG Conformer^[16]、ADFCNN^[26]、TMSA-Net^[27]、CLTNet^[28]、HCANN^[29]、SMANet^[30]。为确保比较的稳定可靠，每个对比模型均在三个数据集上按其原始配置重新训练和评估。

在四分类BCI-IV-2a数据集上（见表2），MDAT-Net展现出全面的性能优势，其平均准确率（85.73%）与K-score（0.809 7）均显著高于所有对比方法，相较于表现次优的CLTNet（83.03%），实现了2.7个百分点的显著性能提升。该模型与简单卷积结构（如EEGNet、FBCNet）的较大性能差距，以及相对于其他TCN架构（EEG-TCNet、TCNet-Fusion）和自注意力模型（EEG Conformer、ADFCNN）的优势，共同凸显了其架构设计的先进性。此优势主要归因于MFM与MDA模块在增强特征和抑制噪声上的关键作用，特别是差分注意力机制在低信噪比信号中表现出更强的鲁棒性，有效缓解了注意力分散问题。此外，该模型在所有方法中取得了最低的标准差（7.81%），证明它具备卓越的跨被试稳定性。

表 2. Performance comparison of MDAT-Net and baseline methods on BCI-IV-2a dataset.

MDAT-Net与基准方法在BCI-IV-2a数据集上的性能对比

方法	受试者分类准确率（%）									平均准确率 （%）	标准差 （%）	K-score
	S01	S02	S03	S04	S05	S06	S07	S08	S09
注：加粗数字表示最优结果
EEGNet[12]	85.07	60.42	90.28	63.54	71.53	57.64	84.72	82.64	77.78	74.85	11.32	0.664 6
EEG-TCNet[19]	82.29	61.46	93.40	70.49	77.08	62.50	89.58	84.03	80.90	77.97	10.57	0.706 3
TCNet-Fusion[20]	86.81	65.28	92.36	71.18	76.74	64.93	91.67	85.42	84.72	79.90	10.11	0.732 0
FBCNet[25]	83.33	56.60	90.97	78.47	73.62	55.21	87.50	79.86	82.64	76.47	11.96	0.686 2
EEG Conformer[16]	84.38	54.86	94.44	73.26	78.13	65.97	89.58	86.11	82.29	78.78	11.67	0.717 1
ADFCNN[26]	89.24	70.14	95.14	83.68	73.26	71.18	90.28	87.15	85.76	82.87	8.59	0.771 6
TMSA-Net[27]	87.15	64.24	95.83	83.33	79.51	68.40	93.06	90.28	85.42	83.02	10.10	0.773 7
CLTNet[28]	88.54	68.06	95.49	81.60	80.56	68.40	90.63	87.85	86.11	83.03	8.96	0.773 7
HCANN[29]	83.68	61.81	94.44	78.47	79.86	68.75	89.93	84.72	83.68	80.59	9.51	0.741 2
SMANet[30]	87.50	66.32	91.67	80.56	75.00	64.24	86.81	85.07	84.72	80.21	9.11	0.736 1
MDAT-Net	90.97	72.22	95.49	84.03	82.29	75.35	95.14	84.72	91.32	85.73	7.81	0.809 7

该优势在两分类任务（BCI-IV-2b数据集，见表3）和四分类任务（HGD数据集，见图3a）中均得到保持。值得注意的是，尽管BCI-IV-2b的两分类任务理论上应比四分类的HGD任务更简单，但MDAT-Net在后者上取得了更高的平均准确率（96.30% vs 90.04%）。分析认为此性能差异主要源于两个数据集在数据质量、规模及任务内在可分性上的根本不同。

表 3. Performance comparison of MDAT-Net and baseline methods on BCI-IV-2b dataset.

MDAT-Net与基准方法在BCI-IV-2b数据集上的性能对比

方法	受试者分类准确率（%）									平均准确率 （%）	标准差 （%）	K-score
	S01	S02	S03	S04	S05	S06	S07	S08	S09
注：加粗数字表示最优结果
EEGNet[12]	70.25	70.94	78.44	95.00	93.44	82.19	91.67	87.19	71.88	82.33	9.40	0.646 5
EEG-TCNet[19]	76.56	71.88	81.25	97.50	98.75	84.38	92.50	90.63	83.48	86.33	8.68	0.726 4
TCNet-Fusion[20]	73.44	69.38	89.38	96.56	97.19	83.13	93.44	94.69	85.31	86.95	9.51	0.738 9
FBCNet[25]	77.19	55.63	62.81	97.19	93.44	88.44	81.25	92.81	90.31	82.12	13.65	0.642 4
EEG Conformer[16]	77.81	71.25	84.38	97.81	97.50	87.19	91.56	94.06	91.25	88.09	8.46	0.761 8
ADFCNN[26]	78.44	71.88	88.75	98.44	97.50	90.63	93.13	92.50	90.94	89.13	8.18	0.782 6
TMSA-Net[27]	82.50	71.56	87.19	98.13	98.44	91.25	94.38	95.31	86.56	89.48	8.16	0.789 6
CLTNet[28]	75.94	69.29	84.68	97.81	97.50	85.31	93.13	91.88	88.44	87.11	9.03	0.742 2
HCANN[29]	75.93	64.28	87.19	97.81	93.75	90.31	93.43	96.56	90.00	87.70	10.27	0.753 6
SMANet[30]	71.56	67.14	81.25	97.50	89.38	86.56	83.44	90.01	89.38	84.02	9.00	0.680 4
MDAT-Net	81.14	73.88	91.30	98.37	98.17	89.24	95.26	95.65	87.35	90.04	7.77	0.801 0

图 3.

Performance analysis of MDAT-Net on the HGD dataset

MDAT-Net在HGD数据集上的性能分析

a. 与基准方法的平均准确率对比；b. 各受试者的分类准确率

a. comparison of average accuracy with baseline methods; b. classification accuracy for each subject

BCI-IV-2b仅有的3个EEG通道提供了有限的空间分辨率，难以捕捉区分高度相似的左右手任务所需的精细空间模式^[24]。相比之下，HGD覆盖运动皮层的44个通道则提供了更丰富的空间信息，有利于提取高区分度的特征^[11]。此外，HGD在受试者数量与试验次数上均具有更大规模，为深度学习模型提供了更充分的训练，从而提升了泛化能力与鲁棒性。同时，BCI-IV-2b的左右手任务脑电模式高度重叠，分类挑战性大^[24]；而HGD的四分类任务因包含了神经表征差异更显著的双脚和静息状态，客观上降低了类别间的混淆，有助于提升整体分类性能^[11]。

在HGD数据集上，MDAT-Net的整体性能优于基准方法（见图3a），其在大规模样本中的稳定优势得以验证。然而，各受试者的分类准确率（见图3b）存在显著差异，这主要归因于MI-EEG信号固有的“被试间高变异性”挑战，该现象源于个体神经生理差异、任务执行状态及信号质量等多种因素^[31]。

尽管存在此固有挑战，MDAT-Net的鲁棒设计使其仍为绝大多数受试者（14名中的13名）实现了超过90%的准确率，整体性能与稳定性均优于基准方法，凸显了其处理复杂脑电信号的强大泛化能力。综合三个基准数据集的分析，MDAT-Net在运动想象解码任务中，较现有先进方法具有更优的准确性和鲁棒性。

3.3. 可视化

本节针对模型在BCI-IV-2a数据集上的解码结果开展了可视化分析。为评估模型对四种运动想象任务的辨识能力，图4a展示了BCI-IV-2a数据集上的平均分类混淆矩阵。矩阵对角线元素值（0.85~0.88）表明模型对所有类别均实现了准确且均衡的识别。同时，所有非对角线元素值均不超过0.068，说明任务间混淆极少，即使在神经模式相近的左右手任务之间，模型也表现出较强的区分能力。这表明MDAT-Net所提取的特征具有高可辨识性，从而确保了准确的意图解码。

图 4.

Visualization analysis of the discriminative performance of MDAT-Net on the BCI-IV-2a dataset

MDAT-Net在BCI-IV-2a数据集上的判别性能可视化分析

a. 分类混淆矩阵；b. 二维特征空间分布

a. confusion matrix; b. two-dimensional feature space distribution

继任务混淆分析之后，图4b通过二维特征空间可视化进一步揭示了模型的内在判别机制。图中各运动想象任务的数据点呈现显著的类内聚合与类间分离趋势，即使在神经表征相似的左右手任务间也保持了清晰的区分边界。这种有序的低维特征分布直观证实了模型强大的特征解耦能力，为图4a所示的低混淆率提供了空间层面的支撑，从而印证了其对运动想象意图的高辨识度。

4. 讨论与结论

本研究提出名为MDAT-Net的端到端深度学习模型，旨在解决MI-EEG解码中特征提取不充分、注意力机制易受噪声干扰及长时序依赖建模等挑战。其优越性能源于针对MI-EEG信号特性设计的协同处理架构：该架构通过MFM提取多样化时空特征，借助MDA增强关键信号并抑制噪声，并利用ARSTCN捕获长程依赖。

实验结果表明，该模型性能优于当前主流方法，在BCI-IV-2a、BCI-IV-2b及HGD数据集上的平均分类准确率分别达到85.73%、90.04%和96.30%。尽管性能优越，MDAT-Net仍存在局限性。其一，模型的可解释性有限，其决策机制与神经生理学的关联尚不明确，未来可利用特征可视化方法增强其神经解释性。其二，研究聚焦于算法性能，尚未评估其在资源受限环境下的计算效率与能耗，这是实际部署前需优化的方向。总之，本研究为MI-EEG解码提供了一种新的有效思路，对开发高性能脑机接口系统具有参考意义。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：董政负责提出研究思路、设计算法模型、进行实验验证、撰写论文；鲍学亮负责指导研究方向、提供理论支持、修改论文；杨亚兵和武姣负责协助论文修改。

Funding Statement

宁夏自然科学基金重点项目（2025AAC020036）；国家自然科学青年基金（62001258）；宁夏回族自治区重点研发计划重点项目（2023BEG02030）