不同复杂度汉字模式下运动想象脑机接口性能研究

Abstract

The traditional paradigm of motor-imagery-based brain-computer interface (BCI) is abstract, which cannot effectively guide users to modulate brain activity, thus limiting the activation degree of the sensorimotor cortex. It was found that the motor imagery task of Chinese characters writing was better accepted by users and helped guide them to modulate their sensorimotor rhythms. However, different Chinese characters have different writing complexity (number of strokes), and the effect of motor imagery tasks of Chinese characters with different writing complexity on the performance of motor-imagery-based BCI is still unclear. In this paper, a total of 12 healthy subjects were recruited for studying the effects of motor imagery tasks of Chinese characters with two different writing complexity (5 and 10 strokes) on the performance of motor-imagery-based BCI. The experimental results showed that, compared with Chinese characters with 5 strokes, motor imagery task of Chinese characters writing with 10 strokes obtained stronger sensorimotor rhythm and better recognition performance (P < 0.05). This study indicated that, appropriately increasing the complexity of the motor imagery task of Chinese characters writing can obtain stronger motor imagery potential and improve the recognition accuracy of motor-imagery-based BCI, which provides a reference for the design of the motor-imagery-based BCI paradigm in the future.

引言

脑机接口（brain-computer interface，BCI）系统通过将大脑神经信号转化为控制指令，在大脑和计算机等外部设备之间建立了一种不依赖于外周神经与肌肉组织直接交流和控制的通信通道，能有效改善如闭锁综合症、脑卒中和肌肉萎缩等意识清醒但身体运动功能受限患者的沟通和控制能力^[1–3]。头皮脑电（electroencephalogram，EEG）信号由于时间分辨率高、其采集设备具有良好的便携性而被广泛用于 BCI 的研究^[4–7]。目前已有多种不同的神经模式应用于基于 EEG 信号的 BCI 中，其中最常用的包括感觉运动节律（sensorimotor rhythm，SMR）、稳态视觉诱发电位（steady-state visual evoked potential，SSVEP）和事件相关电位（event-related potential，ERP）^[8–13]。

运动想象是身体运动行为的一种心理表征，已广泛应用于基于 EEG 信号的 BCI 系统^[14-15]。基于运动想象的 BCI 系统通过使用者想象不同肢体运动时感觉运动节律的变化来确定使用者运动行为的心理活动，从而转化为外部控制命令。当受试者想象不同肢体（如左/右手）运动时，对应的大脑感觉运动皮层区域出现 EEG 信号波幅增强或减弱的现象，其中，对侧感觉运动区域 EEG 信号波幅减弱的现象称为事件相关去同步（event-related desynchronization，ERD）现象，同侧感觉运动区出现 EEG 信号波幅增强的现象称为事件相关同步（event-related synchronization，ERS）现象，这些现象通常可以在 Mu 节律（8～12 Hz）和 Beta 节律（13～30 Hz）观察到^{[8, 16]}。由于运动想象 EEG 信号是一种不依赖于外部刺激的内源性 EEG 信号，在轮椅、光标、机械手控制等实际应用领域具有广泛的前景^[17–20]。此外，最近的研究表明，基于运动想象 BCI 的反馈训练在脑卒中康复训练领域具有非常大的应用潜力^[21–23]。

然而，运动想象信号的识别性能在受试者之间具有很大的差异性，甚至大约有 20% 受试者的运动想象信号的识别性能无法满足有效控制外部设备的需求^[24]。研究表明，通过一段时间的运动想象训练能有效提高受试者调节大脑节律的能力，从而提高运动想象信号的可识别性^[25]。最常见的训练范式是通过屏幕上的箭头来提示受试者想象相应肢体的运动^[26]。为了提高运动想象的训练效果，多种改进的训练范式被相继提出。Hwang 等^[27]提出了一种基于神经反馈的运动想象训练方法，将受试者在执行运动想象任务期间的 EEG 特征直接显示在电脑屏幕上，使受试者可以直接观察到 EEG 节律的变化。Xia 等^[28]提出了一个在线反馈训练范式，在视觉反馈中提供了不同的运动想象强度信息来帮助受试者找到正确的方式来调节大脑节律。为了给受试者提供更真实的反馈，Vourvopoulos 等^[29]提出了一种基于虚拟现实反馈的运动想象训练范式，并应用于脑卒中后的康复训练。以上研究表明，通过在线反馈的训练方式有助于提高受试者运动想象的性能^[30]。但是，大部分训练范式关注改进运动想象的反馈方式，而并没有对想象的动作进行明确的提示。想象的动作类型同样对运动想象的性能具有重要影响，通过想象熟悉的动作可以获得更好的运动想象识别效果^{[9, 31–32]}。

研究表明，汉字书写运动想象训练范式是一种对大多数以汉语为母语的受试者而言容易接受和熟悉的训练方式，有助于调节大脑感觉运动节律^[9]。然而，汉字的复杂度（笔画数）对运动想象性能的影响尚不清楚。本文通过试验探究了在相同时间内想象不同复杂度的汉字书写对运动想象 BCI 性能的影响，通过 12 名未经过运动想象训练的健康受试者，在 5 笔画和 10 笔画的汉字书写运动想象模式下对运动想象的不同表现进行了性能对比分析。最终，希望借助功率谱以及脑地形图分析在不同笔画模式下感觉运动节律和运动想象识别性能的差异，以期为运动想象 BCI 的范式设计提供参考依据。

1. 材料和方法

1.1. 试验受试者

本研究共招募 12 名没有接受过运动想象训练的健康受试者参与研究，8 名男性、4 名女性，22～28 岁，均为右利手，均以汉语为母语，无临床神经疾病史。所有受试者签署了知情同意书，试验得到了上海市徐汇区中心医院伦理委员会的批准。

1.2. 试验设计

试验在封闭的房间中进行，受试者坐在舒适的椅子上，椅子距离发光二极管（light emitting diode，LED）显示器（E2216HV，Dell，中国）约 80 cm，显示器参数为 19 英寸、刷新率：60 Hz、屏幕分辨率为 1 920 × 1 080。在试验之前，受试者被告知在整个试验过程中保持肌肉放松并避免不必要的身体动作。

本研究比较了两种汉字书写运动想象模式：① 5 笔画模式；② 10 笔画模式。在相同的时间内（5 s）分别用 5 笔画和 10 笔画的汉字指示受试者执行相应的运动想象任务。两种模式分别选择了 10 个常见的汉字进行试验，其中 5 笔画的汉字包括：“北”、“生”、“仕”、“仗”、“失”、“本”、“古”、“击”、“未”、“正”；10 笔画的汉字包括：“爱”、“高”、“倍”、“铂”、“倒”、“读”、“部”、“党”、“调”、“俺”。两种不同模式的汉字选择依据是：首先，5 个笔画和 10 个笔画具有明显的复杂度区别；其次，基于试验前期对于受试者的测试发现，笔画数过少会导致想象时间过短，而笔画数过多会导致无法在规定时间完成书写想象任务，对于大部分受试者 10 个笔画以内是可接受的。

在两种试验模式中，均通过电脑屏幕来提示受试者执行相应的运动想象任务。在单次任务中，受试者根据如图 1 所示的试验时间序列，执行相应的任务。首先，0～2 s 为准备阶段，屏幕上显示一个十字架，提示受试者集中注意；2～7 s 为运动想象阶段，屏幕上显示一张包含手臂和汉字的图片，创造了一个在屏幕上书写的虚拟环境，如图 1 所示，左边为 5 笔画的汉字示例，右边为 10 笔画的汉字示例，图中的左/右手臂用于提示受试者执行相应的左/右手运动想象任务；7～9 s 为休息阶段，屏幕上出现一张空白的背景图片。在运动想象阶段，受试者被要求根据提示图片进行相应手的运动想象任务（想象相应的手根据图片中汉字的笔画进行相应的书写动作）。在每个试验模式中，10 个不同的汉字随机出现。每个试验模式包括 3 轮试验，前两轮为离线模式，第三次轮为在线模式。每轮试验后，受试者休息 3～5 min。每轮试验包括 40 次运动想象任务（左/右手运动想象各一半）。这些左/右手运动想象任务以及汉字在整个试验过程中都是随机出现的。为了避免两个模式的测试顺序对性能的影响，在本试验中对两个模式的测试顺序进行了平衡，随机选择 6 名受试者对 10 笔画模式先进行测试，另外 6 名受试者则对 5 笔画模式先进行测试。

图 1.

Timing of the experiment paradigm

试验范式时序图

1.3. EEG 数据采集

EEG 数据通过电极帽（g.EEGcap，g.tec，奥地利）和放大器（g. HIMP，g.tec，奥地利）采集得到。本试验共采集了 16 个通道的 EEG 数据，16 个头皮电极（FC5、FC1、FCz、FC2、FC6、C5、C3、C1、Cz、C2、C4、C6、CP5、CP1、CP2、CP6）按照国际 10-20 系统分布，所有电极以右乳突上的电极（R）为参考，接地电极（ground，GND）位于前额，如图 2 所示。试验开始前保证所有电极的阻抗值低于 20 kΩ，采样率为 256 Hz，通过放大器的硬件滤波器对 EEG 数据进行了 0.1～30 Hz 的带通滤波以及 50 Hz 的陷波滤波。

图 2.

Position of electrodes distribution

电极位置分布示意图

1.4. EEG 特征提取及分类

利用 5 阶巴特沃斯（Butterworth）带通滤波器对 EEG 信号进行带通滤波，滤波频带为 8～30 Hz，该频带包含了主要的运动想象信号的频率范围。然后通过共空间模式（common spatial pattern，CSP）方法对滤波后的信号进行特征提取。CSP 是一种在基于运动想象 BCI 系统中广泛使用的特征提取方法^[33–35]。CSP 算法通过寻找一组空间滤波器将多通道 EEG 信号投影到一个新的特征空间中，使其中一类信号的方差最大化，另一类信号的方差最小化，从而提高了 EEG 信号的可判别性。CSP 的目标函数如式（1）所示：

1

式（1）中，J 代表损失函数，C₁ 和 C₂ 分别代表两类信号的协方差矩阵，u 代表权重向量，U 代表空间滤波器，代表二范数操作。式（1）可以等价为解一个广义特征值分解问题，如式（2）所示：

2

式（2）中λ表示特征值。

通过选取前M个最大和后M个最小广义特征值对应的特征向量可以得到一组空间滤波器U^* =［u₁, u₂, ···, u_2M］。对于一个给定的 EEG 样本 ，特征向量可以表示为a =［a₁, a₂, ···, a_2M］，具体计算如式（3）所示：

3

式（3）中，var（·）表示方差。

支持向量机（support vector machine，SVM）是一种在 BCI 系统中广泛使用的机器学习方法，在两类 EEG 信号的分类上具有较好的性能^[36]。本文利用 SVM 对通过 CSP 提取后的特征进行分类，并将分类准确率作为受试者运动想象表现的一种评价指标。本文中 SVM 使用的核函数为线性核函数，正则化参数设置为默认值 1。

1.5. 受试者反馈调查

在整个试验结束时，每个受试者都被要求对每个试验范式的疲劳度和运动想象难度进行评分。每个受试者都被问到两个关于范式的问题：① 在这种试验模式下进行运动想象困难吗？② 在这种试验模式下进行运动想象感觉到疲劳吗？这两个问题的回答通过评分进行量化，评分范围为 1～5 分，分数越高代表困难度或疲劳度越高。

2. 试验结果

2.1. EEG 数据分析

为了直观地呈现两种试验模式下受试者进行运动想象时 EEG 信号变化的强弱程度，如图 3 所示，展示了 12 名受试者在执行左/右手运动想象任务时 C3 和 C4 电极 EEG 信号的平均功率谱密度图，其中，左边两幅为 5 笔画模式下的功率谱密度图，右边两幅为 10 笔画模式下的功率谱密度图。本文使用的功率谱密度估计方法为韦尔奇（Welch）功率谱估计法，窗口函数为汉明窗，窗口长度为 128，窗口重叠长度为 64。在两种试验模式下，当受试者执行左手运动想象时，C4 电极（大脑右侧感觉运动区）的平均功率谱密度低于 C3 电极（大脑左侧感觉运动区），而当受试者执行右手运动想象时，C3 电极的平均功率谱密度低于 C4 电极，这表明想象汉字书写能够产生较明显的 ERD/ERS 现象。并且在 10 笔画模式中，C3 和 C4 电极的左手（实线）和右手（虚线）运动想象对应的平均功率谱密度差异均比 5 笔画模式更大。此外，在 10 笔画模式中执行左/右手运动想象时 C3 和 C4 电极的平均功率谱密度也大于 5 笔画模式。

图 3.

Power spectrogram of 5-stroke and 10-stroke patterns

5 笔画和 10 笔画模式下的功率谱图

如图 4 所示，展示了在两种试验模式下受试者 S1、S2、S6 和 S9 在左/右手两类运动想象中的 CSP U⁻¹ 对应的脑地形图。 CSP U⁻¹ 为空间滤波器 U 的逆矩阵，表示运动想象 EEG 信号的能量分布情况，两种试验模式下的第一列和最后一列分别反映了左侧和右侧大脑皮层感觉运动区的 ERD/ERS 现象^[9]。在两种试验模式下，受试者在想象左/右手运动时 C4/C3 电极附近出现了比较明显的能量减小的现象（ERD 现象），这与神经生理学现象一致。而且 10 笔画模式比 5 笔画模式下能量减小的更明显，这表明了在 10 笔画模式下能引起更大程度的神经激活。

图 4.

Brain topographic of 5-stroke and 10-stroke patterns

5 笔画和 10 笔画模式下的脑地形图

2.2. 离线分类结果

为了评估汉字复杂度对运动想象分类性能的影响，如图 5 所示，给出了 12 名受试者在两种模式下通过 10 折交叉验证得到的离线分类准确率。利用配对t检验来评估两种模式下分类准确率的差异性。用里列福斯（Lilliefors）检验来验证样本分布是否满足配对样本t检验的条件。如图 5 所示，受试者在 10 笔画模式下比 5 笔画模式下获得了更高的平均分类准确率。10 笔画模式下的平均分类准确率为 83.89% ± 12.18%，比 5 笔画模式下 78.20% ± 15.48% 提高了 5.69%。配对t检验显示 10 笔画模式的分类性能优于 5 笔画模式，差异具有统计学意义（P < 0.05）。

图 5.

Offline classification accuracies in 5-stroke and 10-stroke patterns

5 笔画和 10 笔画模式下的离线分类准确率

2.3. 在线分类结果

12 名受试者在两种模式下获得的在线分类准确率如图 6 所示。10 笔画模式下在线分类的平均分类准确率为 80.00% ± 12.01%，比 5 笔画模式下 76.04% ± 13.46% 有所提高。配对t检验显示，10 笔画模式的在线分类性能优于 5 笔画模式，差异具有统计学意义（P < 0.05）。

图 6.

Online classification accuracies in 5-stroke and 10-stroke patterns

5 笔画和 10 笔画模式下的在线分类准确率

2.4. 受试者反馈结果

如表 1 所示，展示了 12 名受试者在两种试验模式下对运动想象难度和疲劳度问题的反馈统计结果。利用非参数弗里德曼（Friedman）检验来测试受试者对于两种试验模式下反馈评分的差异性。10 笔画模式下的运动想象难度以及受试者疲劳度的均值略高于 5 笔画模式。但是，弗里德曼检验显示两种模式下的运动想象难度（χ²=1.60，P > 0.05）以及受试者疲劳度（χ²=2.23，P > 0.05）的差异没有统计学意义。

表 1. The feedback score of all subjects in 5-stroke pattern and 10-stroke pattern.

两种模式下受试者的反馈评分

受试者	疲劳度			运动想象难度
	5 笔画模式	10 笔画模式		5 笔画模式	10 笔画模式
S1	2	2		1	2
S2	2	2		2	2
S3	3	3		3	4
S4	3	4		2	3
S5	4	4		2	3
S6	4	3		3	3
S7	3	3		3	4
S8	3	4		3	2
S9	2	3		2	3
S10	3	4		3	2
S11	4	4		2	3
S12	3	4		3	2
均值 ± 标准差	3.00 ± 0.74	3.33 ± 0.78		2.42 ± 0.67	2.75 ± 0.75

3. 讨论分析

本文的主要目的是探究高复杂度的汉字书写的运动想象范式能否帮助受试者增强感觉运动节律，从而改善左/右手两类运动想象分类性能。分别在低复杂度（5 笔画）和高复杂度（10 笔画）的汉字条件下对 12 名受试者的运动想象分类性能以及 EEG 节律变化进行了对比分析。从离线和在线分类准确率来看，大部分受试者在 10 笔画模式下的准确率高于 5 笔画模式。并且在 5 笔画模式下有 5 名受试者的分类准确率低于有效的控制性能要求（两分类准确率小于 70%），而在 10 笔画模式下只有 3 名受试者。说明想象高复杂度的汉字书写能促使产生 ERD/ERS 特征更明显的 EEG 信号。另外，从功率谱密度图以及脑地形图可以发现高复杂度模式下产生了更强的感觉运动节律。这种 EEG 节律的增强可能有两方面的原因：一是高复杂度模式下，受试者需要更高的专注度来完成运动想象任务，根据受试者的自述，与 5 笔画模式相比，大部分受试者在想象 10 笔画的汉字书写时注意力更集中；二是高复杂度模式下，运动想象任务的节奏被加快，需要更大程度的神经激活，从而调动了更多的神经来参与运动想象任务。以往的研究也从功能磁共振成像和功能近红外光谱发现复杂的心理想象任务能在大脑中产生更大的血流动力学变化^[37-38]。文献[39]的研究发现，随着运动想象任务复杂程度的提高，皮质脊髓兴奋性也会增加。感觉运动皮层和皮质神经激活程度的提高，对于脑卒中患者的运动功能康复可能会起到促进作用，因为感觉运动皮层和皮质区的重复激活被认为是通过运动想象训练来改善患者运动功能的基础^[40]。此外，更高的运动想象识别准确率有利于减少错误的反馈，从而有助于帮助脑卒中患者进行更有效的运动功能康复训练。

但是随着想象的汉字复杂度的提高，可能会导致受试者疲劳度的增加以及任务难度的增加。尽管从受试者的反馈结果来看，两种模式下的疲劳度以及任务难度没有明显的区别，但是有部分受试者反映，在 10 笔画的汉字模式下他们觉得更加疲劳，如受试者 S4、S8、S9、S10、S12。也有个别受试者反映，在 5 s 内想象 10 笔画的汉字书写有一定难度。因此，在实际训练中需要针对不同受试者选择合适的复杂度的汉字来进行运动想象训练。

本文针对健康受试者的研究结果表明，适当增加汉字书写运动想象任务的复杂度可以帮助受试者更有效地调节感觉运动节律。未来将对基于想象汉字书写的运动想象 BCI 范式在脑卒中患者上的性能进行研究。

利益冲突声明：本文全体作者均声明不存在利益冲突。

Funding Statement

国家重点研发项目（2017YFB13003002）；国家自然科学基金项目（61573142，61773164，91420302）；111 引智计划（B17017）；上海曙光计划项目（19SG25）