Abstract
运动想象(MI)是驱动脑机接口(BCI)的一种重要范式,但 MI 心理活动不易控制或习得,MI-BCI 的性能严重依赖被试 MI 的表现。因此 MI 心理活动的正确执行以及能力的评估和提高对 MI-BCI 系统性能的提升及应用具有重要的甚至关键性的作用。然而,在 MI-BCI 的研发中,已有研究主要聚焦于解码 MI 的算法,对 MI 心理活动的这三个方面没有足够的重视。本文针对 MI-BCI 的这些问题进行详细论述,指出被试易把动觉运动想象执行为视觉运动想象;未来需要研发客观的、定量可视化的 MI 能力评估方法,并且需要研发有效的、训练时间短的 MI 能力提高方法,也需要在一定程度上解决个体之间和内部 MI 的差异性、共性和 MI-BCI 盲问题。
Keywords: 动觉运动想象, 视觉运动想象, 运动想象能力评估, 运动想象能力提高, 脑机接口
Abstract
Motor imagery (MI) is an important paradigm of driving brain computer interface (BCI). However, MI is not easy to control or acquire, and the performance of MI-BCI depends heavily on the performance of the subjects’ MI. Therefore, the correct execution of MI mental activities, ability evaluation and improvement methods play important and even critical roles in the improvement and application of MI-BCI system’s performance. However, in the research and development of MI-BCI, the existing researches mainly focus on the decoding algorithm of MI, but do not pay enough attention to the above three aspects of MI mental activities. In this paper, these problems of MI-BCI are discussed in detail, and it is pointed out that the subjects tend to use visual motor imagery as kinesthetic motor imagery. In the future, we need to develop some objective, quantitatively visualized MI ability evaluation methods, and develop some effective and less time-consumption training methods to improve MI ability. It is also necessary to solve the differences and commonness of MI problems between and within individuals and MI-BCI illiteracy to a certain extent.
Keywords: kinesthetic motor imagery, visual motor imagery, assessment of motor imagery, improvement of motor imagery, brain-computer interface
引言
脑机接口(brain-computer interface,BCI)是一种变革性的人机交互[1-4]。在典型的 BCI 范式中,运动想象(motor imagery,MI)是一种重要的 BCI 范式,MI-BCI 在运动功能障碍康复训练中具有重要的应用价值[5-7],也能用于脑控智能设备(如脑控智能机器人[8-9]),如图 1 所示。
图 1.

The schematic diagram of MI-BCI system
MI-BCI 系统示意图
在图 1 中,执行 MI 心理活动的人是整个 MI-BCI 系统的控制器,MI-BCI 的性能严重依赖于被试 MI 的表现。然而,MI 心理活动不易控制或习得,存在 BCI 盲或操控 BCI 较差的被试[10]。因此,MI 心理活动的正确执行、能力的评估和提高这三个方面的研究对 MI-BCI 系统性能的提升及应用具有重要的作用。迄今为止,已有的 MI-BCI 研究主要聚焦于解码 MI 的算法[11-13],对上述 MI 心理活动的三个方面研究不多或不够深入,也没有足够的重视,也少有文献对 MI 心理活动的这些内容进行阐述。本文针对 MI-BCI 的这些问题进行详细论述,指出存在的问题和需要注意的事项,并提出未来的研究方向。
1. 实际运动、动觉运动想象与视觉运动想象
肢体或身体其他部位的运动对人们的日常生活极为重要,运动功能的障碍或丧失会给患者的生活带来极大的不便[5-6]。MI-BCI 有望为运动功能障碍的患者提供可选的康复训练新方法[7,14-15],改善其与外界的交流。BCI 中的 MI 范式涉及肢体或身体其他部位运动的想象,大多数 MI-BCI 文献报道的是动觉运动想象(kinesthetic motor imagery,KMI),但实际上还有另一类 MI 是视觉运动想象(visual motor imagery,VMI)[16-17]。
1.1. 实际运动的执行
在日常生活中,人们频繁地执行一些肢体或身体其他部位的运动(即实际运动的执行,motor execution,ME),如步行、左右手臂运动、左右手部运动、头部运动、眼球运动、面部肌肉运动、舌部运动、咀嚼或咬牙等,除此而外,也执行不同肢体的一些协调运动或复合运动,其方式具有多样性。一些肢体或身体其他部位的运动如图 2 所示。
图 2.
Examples of movements involving limbs and other parts of the body
肢体和身体其他部位运动示例
a. 步行;b. 舌部运动;c. 眼动;d. 手臂伸曲;e. 脚前掌轻敲;f. 微笑;g. 穿针引线;h. 握拳;i. 咬牙
a. walking; b. tongue movements; c. eye movements; d. extension and flexion involving arm; e. tapping with forefoot; f. smiling; g. threading; h. clenching; i. gritting one’s teeth
当个体准备 ME 时,其中枢神经系统(central nervous system,CNS)会进行运动规划,即产生运动意图,特定的脑区或脑网络被激活[1-2]。之后,CNS 传出的运动控制信号通过外周神经系统被发送到相应的肌肉组织,产生相应的运动,如图 3a 所示。运动的意图或想象可以通过 BCI 进行探测,直接产生运动,而旁路肌肉组织不会被激活,如图 3b所示。
图 3.
The comparison between muscular action generated by CNS and BCI-based action[1-2]
a. CNS/肌肉系统;b. CNS/BCI 系统
a. CNS/Muscular system; b. CNS/BCI system

在图 3a 中,CNS 控制 ME 通常包括三个阶段:运动准备和规划阶段、运动执行阶段和运动精确控制阶段[18]。这三个阶段分别诱发三种不同的电位:准备电位、运动电位和运动监测电位。CNS“自上而下”地把运动意图、执行和精确控制的指令传递给外周神经和肌肉以实现运动,运动的结果又通过肌肉和外周神经“自下而上”地传递到 CNS,通过比较运动或动作的目标与系统的当前状态来控制动作,以达成运动的目标。
1.2. 动觉运动想象的执行
与上述 ME(可见的显式运动)相比,KMI 要求被试以第一人称视角在心里感觉或排演自己肢体或身体其他部位的运动过程但不发生实际运动[16,19-20],即 KMI 要求个体一方面在心里创建运动的心理表征和肌肉收缩的感觉,但同时又要阻止该动作实际发生[21],这是一种矛盾的对抗过程,是一种不自然的心理活动,不易执行和控制该心理活动[22]。
KMI 能力的习得往往需要大量的训练,因为人们在日常生活中很少进行这种心理活动,从而缺少操控该心理活动的经验或技能,存在较严重的运动想象盲(MI illiteracy)[23]。在这里,运动想象盲主要是指没有 MI 能力或者 MI 能力很差的被试,即使经过训练也难以获得 MI 能力[23]。图 4a 为被试在心里执行握拳的 KMI 示意图。
图 4.
Schematic diagram of KMI and VMI
KMI 和 VMI 示意图
a. KMI 示意图;b. VMI 示意图
a. schematic diagram of KMI; b. schematic diagram of VMI
1.3. 视觉运动想象的执行
还有一类 MI 是 VMI,目前已有基于 VMI 的 BCI 研究[24-25]。VMI 要求被试在心里可视化特定肢体或身体其他部位的动作,即被试应以第三人称视角在脑海中清晰地看到自己或他人特定肢体或身体其他部位运动过程的画面[26]。与需要大量训练的 KMI 心理活动相比,VMI 心理活动仅需要少量的训练,甚至不需要训练,因为人们在日常生活中经常进行视觉想象(visual imagery,VI),如在脑海中回忆或看到某个情景或图片[25]。VI 是一种自然的心理活动,被试往往可以熟练地、自由地操控此种心理活动。例如,我们能在脑海中浮现出自己母亲清晰的面孔,更能够在脑海中浮现出自己的形象;也能够轻易地在脑海中浮现出一个物体并在心里操控该物体做各种运动,例如旋转;我们还能够在脑海里回忆一段电影里的视频或日常生活中的一个社交场景,这些均是 VI 心理活动。VMI 是 VI 中的一种,图 4b 为被试在心里执行步行的 VMI 示意图。
1.4. 实际运动、动觉运动想象和视觉运动想象的比较
1.4.1. 执行的差异
ME 是自己执行的显式运动,自己和他人往往能够观察到该运动的外在表现,是长期大量训练而习得的自然运动,已习惯或自动化了,容易执行,通常不需要投入过多的心理资源或脑力。与 ME 相比,KMI 和 VMI 都是内隐性或内源性的心理活动,即隐式的运动,自己和他人往往观察不到该运动的外在表现。然而,KMI 和 VMI 是两种不同的心理活动,KMI 是以第一人称视角在心里感觉或排演一个实际运动过程但不显示出来,而 VMI 则是以第三人称视角在心里看到或回忆之前观察到的运动画面。表 1 列举了 5 种运动的 ME、KMI、OOM 和 VMI 的执行比较。其中 OOM 为观察运动(observation of movement),是指个体观察特定肢体或身体其他部位运动的过程或计算机屏幕上显示的特定肢体或身体其他部位运动过程的动画或视频[16]。
表 1. Comparison for execution of ME, KMI, OOM and VMI of five kinds of movements.
5种运动的 ME、KMI、OOM 和 VMI 的执行比较
| 运动 类型 |
ME | KMI | OOM | VMI | |||
| 左手食指轻敲 | 被试左手食指平放桌面,轻轻抬起至一定高度,然后返回桌面。 | 被试在心里排演自己的左手食指轻敲运动的动觉体验(将注意力集中于左手食指。 | 被试观察计算机屏幕上显示的左手食指轻敲运动的动画或视频。 | 被试在脑海中清晰地看到此前观察到的左手食指轻敲运动的心理画面。 | |||
| 脚前掌轻敲 | 被试脚前掌平放于地面,轻轻抬起至一定的高度,然后返回地面。 | 被试在心里排演自己的脚前掌轻敲运动的动觉体验(将注意力集中于脚上)。 | 被试观察计算机屏幕上显示的脚前掌轻敲运动的动画或视频。 | 被试在脑海中清晰地看到此前观察到的脚前掌轻敲运动的心理画面。 | |||
| 舌部舔冰淇淋 | 被试张开嘴巴,伸出舌头并舔冰淇淋,恢复到舌部原来的位置。 | 被试在心里排演自己的舌部舔冰淇淋的动觉体验(将注意力集中于舌部)。 | 被试观察计算机屏幕上显示的舌部舔冰淇淋运动的动画或视频。 | 被试在脑海中清晰地看到此前观察到的舌部舔冰淇淋运动的心理画面。 | |||
| 步行 | 被试以正常步速步行到指定的终点,再从终点返回到起点。 | 被试在心里以正常步速步行到指定的终点,再返回到起点,感受步行的动觉体验(将注意力集中于下肢双腿的交替抬腿、迈步、落腿, | 被试观察计算机屏幕上显示的步行的动画或视频,要求着重观察下肢双腿的交替抬腿、迈步、落腿。 | 被试在脑海中清晰地看到此前观察到的步行画面,着重回忆下肢双腿的交替抬腿、迈步、落腿的画面。 | |||
| 穿针引线 | 被试左手拿针,右手拿线头,眼睛观察针孔和线头的位置和距离,通过眼手的协作,完成穿针引线。 | 被试在心里排演穿针引线的动觉体验过程(将注意力集中于眼手的协作。 | 被试观察计算机屏幕上显示的穿针引线的动画或视频,要求着重观察眼手的协作。 | 被试在脑海中清晰地看到此前观察到的穿针引线,着重回忆眼手的协作画面。 |
1.4.2. 脑成像的差异
上述四种运动模式(ME、OOM、KMI 和 VMI)的执行在心理和行为上存在差异,这些执行上的差异会使它们的脑成像存在差异,在 MI-BCI 的研发中,需要特别注意这些差异。除了执行上的差异,不同肢体的不同运动方式或不同的运动学和动力学参数(如运动时间、运动路径、运动速度和作用力等)也可能诱发不同脑区和脑网络回路的激活[23,27],如左、右脚 MI 的成像就有差异[28-29]。因此,在 MI-BCI 的研发中,需要指明参与运动的肢体和具体的运动方式和运动参数,即明确特定肢体的特定运动。
关于 MI 激活的脑区目前还没有统一的结论,这是由于不同研究采用的实验范式存在差异(MI 涉及的肢体不同,运动的方式也不同)。尽管如此,通过总结 MI 脑成像的相关文献[30-32],仍然可以发现一些目前已达成共识的激活脑区,如表 2 所示。
表 2. Comparison for cortical activations of ME, OOM and MI.
ME、OOM 和 MI 激活的脑区比较
| 任务类型 | 激活的脑区 |
| ME | 激活了感觉运动区和运动前区,包括顶下小叶的小部分区域,也发现皮层下双侧丘脑、壳核和小脑有激活。虽然在左侧半球激活的区域更大,但双侧脑区两个激活簇跨越了运动前区和躯体感觉皮层,激活簇前部延伸至背侧运动前区。运动前区的激活簇有 3 个;一个横跨双侧辅助运动区并向下延伸至扣带回,另外两个双侧激活簇横跨腹侧运动前区。皮层下活动区包括丘脑的双侧激活簇(主要左侧化)和小脑第六小叶的双侧激活簇(主要右侧化)。 |
| OOM | 激活了运动前区和顶叶区的双侧网络;也包括较大的顶枕区和更多的双侧激活。两个较大的双侧激活簇横跨背侧和腹侧运动前区,而在辅助运动区前部(pre-SMA)中发现了第三个较小的运动前区激活簇。其中较小的激活簇包括右侧枕上回,两个较大的激活簇覆盖了双侧顶枕区,横跨了顶上小叶和顶下小叶,以及部分枕叶皮层。值得注意的是,OOM 并不总是招募皮层下区域。虽然激活的顶枕簇包括小脑的一小部分,但这些区域不出现最大峰值。 |
| MI | 激活了双侧运动前区、中上顶叶及下顶叶头侧头侧、基底神经节和小脑区域的网络,并激活了背外侧前额叶的左侧。两个较大的双侧运动前区激活簇横跨辅助运动区,延伸至背侧和腹侧运动前区。左运动前激活簇也延伸到扣带回和壳核(一个单独较小的激活簇,其包括了右壳核)。两个双侧顶叶激活簇跨越顶下和顶上小叶,在顶叶下回右侧激活。 |
为了使读者更好地理解表 2 的内容,图 5 示意了 ME、OOM 和 MI 激活脑区的元分析[28]。
图 5.
Meta-analyses of the cortical activations for ME, OOM and MI
ME、OOM 和 MI 激活脑区的元分析
从表 2 和图 5 可以看出,MI 与 ME 激活的区域较为接近,这与许多已有研究的结果一致,即 MI 与 ME 具有相似的神经机制,都会诱发与运动相关的脑节律事件相关去同步(event-related desynchronization,ERD)[17]。需要注意的是,由于 MI 心理活动需要抑制实际运动的发生,因此,MI 与 ME 激活的脑区或脑网络并不完全一样。关于 MI 的神经机制,还有很多争议的地方,如因脑区定义的不清晰而导致存在争议的初级运动皮层[17]、早期视觉皮层[33]等。
如前所述,KMI 与 VMI 是两种不同的心理活动,可以假定这两种心理活动激活的脑区存在差异。归纳关于这两种心理活动脑成像的研究,目前为止发现差异具有统计学意义的是:与 KMI 相比,在 VMI 期间,视觉皮层的活动抑制程度更高[30-31]。这也提示我们在研发 KMI-BCI 和 VMI-BCI 时,需要注意脑区激活和抑制的差异并选择合适的电极。对这两种不同的 MI 心理活动,未来需要深入研究它们的神经机制。
1.5. 特别值得注意的问题
(1)MI 不是瞬间完成的,需要持续一段时间,着重感觉运动的过程,且 MI 过程的时间与相应的 ME 过程时间一致[34]。因此,无论是 KMI-BCI 还是 VMI-BCI,要求被试控制自己想象过程的时间要和相应的 ME 过程时间一致,避免仓促完成 MI 而导致 MI-BCI 性能降低。
(2)在构建 MI-BCI 过程中,既有构建基于 KMI 的 BCI,也有构建基于 VMI 的 BCI[35-36]。目前,对训练有素的 MI 被试,KMI-BCI 的分类精度要高于 VMI-BCI 的分类精度[14]。尽管 VMI 要比 KMI 容易执行,但 VMI 的分类比 KMI 的分类挑战性更大。
目前已有少量研究对 VMI-BCI 进行了探索[35-37],但总体而言,实验范式的设计尚存在局限,这严重影响了分类精度[24]。从这一方面来看,VMI-BCI 还需要更深入的研究。未来,VMI-BCI 需要精心设计 VMI 任务组,使得任务组相关的脑电特征具有显著的差异,或者进一步提取具有可分性的特征。
(3)被试易把 KMI 执行为 VMI,反过来则较少。这是因为对大多数人来说,VMI 要比 KMI 容易执行。为了确保被试正确地执行 KMI 或 VMI,需要设计精确的实验指导语(如左手食指轻敲的实验指导语,可以参考表 1),并在实验开始之前对被试进行离线训练。例如,对于 KMI-BCI 实验,可以先让被试执行肢体或身体其他部位的实际运动,紧接着要求被试在心里排演或感觉实际运动的过程,重复训练一定时间;对于 VMI-BCI 实验,先让被试观看肢体或身体其他部位运动的过程,紧接着要求被试在心里回忆或看到之前观看的运动过程画面,重复训练一定时间。
为评估被试是否正确执行 KMI 或 VMI 心理活动,可通过下文介绍的 MI 能力评估方法确定,如脑功能成像方法或神经反馈(neurofeedback,NF)可视化方法等。
(4)在 MI-BCI 范式创新设计时,可供考虑的建议:① 与单个肢体 MI 相比,涉及多个肢体参与的协调 MI 或复合 MI,具有重要的研究意义和价值,如图 1 中的步行和穿针引线;② 与粗略的肢体 MI 解码相比,更加精细的肢体 MI 解码更具有挑战性和价值,如不同手指的运动;③ 与识别参与 MI 的肢体类型相比,解码 MI 的运动学参数(如运动时间、运动轨迹、运动速度)和动力学参数(如作用力的变化和加速度)更具有挑战性和潜在的价值,如步行的速度、轨迹等[27]。
2. 动觉运动想象和视觉运动想象能力的评估方法
一些被试 MI 能力较强,但也有一些被试 MI 能力较差或没有 MI 能力(MI 盲[23])。在 MI-BCI 的研发中,对被试 KMI 和 VMI 能力的评估至关重要,可以根据评估结果初步确定其是否有操控这一类 BCI 的潜在能力,也可为提高这类被试或用户的 MI 能力提供方案。
尽管 MI 是一种主观的心理体验,但在过去的几十年中,许多研究表明,对 MI 的能力进行客观的评估和分析是可能的[38-40]。目前常用的 MI 能力评估方法有问卷调查法(或国际量表)[7,40]、心理测时法(mental chronometry)[34]、脑功能成像、NF [41]、心理旋转法(mental rotation)[38,42]等。MI 是由一系列过程组成的,包括运动图像(motor images)的生成、维持、操纵和可控性 [43-44],这 4 个成分代表了 MI 的不同阶段或维度[34,44],并分别可以采用问卷调查、心理测时法、心理旋转法和可控性测试进行评估[45]。
2.1. 国际量表
迄今为止,有若干评估 KMI 和 VMI 能力的国际量表,有的量表针对健康个体,如运动想象问卷调查(Movement Imagery Questionnaire,MIQ)[46];有的量表针对运动残疾患者,如动觉和视觉想象问卷调查(Kinesthetic and Visual Imagery Questionnaire,KVIQ)[40];有的针对 MI 的可控性,如运动想象的可控性测试(Controllability of Motor Imagery Test,CMI test)[47];有的针对 MI 的生动性,如运动想象生动性问卷调查(Vividness of Motor Imagery Questionnaire,VMIQ)[48]。MI 能力的两个关键特征是生动性和可控性[49],MI 能力问卷调查量表主要围绕这两个关键特征进行评估。下面主要介绍常用的 4 种 MI 问卷调查量表。
2.1.1. 运动想象问卷调查
MIQ[46]从视觉和动觉各 9 个任务项目评估被试的 MI 能力,采用 7 分制,是一种依赖被试自我报告的调查问卷形式。该问卷要求被试在 MI 前执行实际运动,并为被试提供 MI 指导语。由于 MIQ 需要参与者执行一些实际运动,在运动功能障碍人群中难以推广,因此常用于健康人群和运动员。目前有 MIQ 和 MIQ-R 两个版本。
2.1.2. 运动想象生动性问卷调查
MI 的生动性及其评估很重要。VMIQ 旨在评估 MI 在视觉和动觉方面的生动性,其从第一人称视角和第三人称视角两个角度评估被试的 MI 能力,每个角度各 24 个任务项目,采用 5 分制打分表,被试在 MI 评估之前无需进行实际运动。VMIQ 的打分机制如表 3 所示[48]。目前有 VMIQ 和 VMIQ-R[50]两个版本。
表 3. Explicit/Vividness evaluation scale of MI.
MI 的清晰度/生动性评价量表
| 评价等级 | 想象引起画面的清晰度或生动性 |
| 1 | 非常清晰,像正常看到的一样生动 |
| 2 | 清晰且相当生动 |
| 3 | 中等程度的清晰和生动 |
| 4 | 模糊不清 |
| 5 | 完全想象不出画面,不是想象,只知道思考该技能 |
对 VMIQ 的可靠性和有效性的研究表明,它是一种很有前景的方法,但该问卷目前的项目更侧重于评估运动的 VI 而不是动觉想象(kinesthetic imagery,KI)的生动性[50]。然而,评估运动的 KI 生动性极为重要,因为在目前的 MI-BCI 研究中,主要采用的是 KMI,具有生动性的 KMI 可能会诱发显著的 EEG 特征,有利于 KMI-BCI 的分类。此外,通常来说,KMI 不容易正确执行,往往缺少生动性,而 VMI 相对容易执行,其生动性较好,因此更需要侧重评价 KMI 的生动性。
2.1.3. 运动想象的可控性测试
CMI 是指被试根据顺序运动的指示,自主地按顺序想象操控自己肢体的能力,可以采用 CMI test 来评估这项能力[47]。CMI test 由 15 个不同的任务项目构成,每个任务项有 6 个想象控制项(即测试指导语)。表 4 为 CMI test 中 1 个任务的 6 个想象控制项示例。
表 4. Examples of six imaginary controls of one task in CMI test.
CMI test 中 1 个任务的 6 个想象控制项示例
| 序号 | 想象控制项 |
| 1 | 双脚并拢站立 |
| 2 | 右腿前伸 50 cm |
| 3 | 躯干左转 90° |
| 4 | 头部右转 90° |
| 5 | 右臂水平前伸 |
| 6 | 左臂水平向左 |
CMI test 要求被试想象一种基本的运动姿势(即第 1 个想象控制项),然后根据实验指导语依次想象控制或操纵该姿势。在连续想象 6 个控制项后,要求被试从 6 个选项(包括 5 种不同的肢体姿势和忘记选项,以图片的形式展示)中选择与内心想象的肢体姿势相匹配的选项。被试完成 15 个任务项的测试,根据被试选择的正确率来评估被试 MI 的可控性,准确率越高,说明被试对 MI 的控制性越好。
上述 MI 的可控性及其测试很重要,因为 MI 要求被试在心里排演相应的实际运动过程,想象该过程的顺序控制和所需的时间要求与实际运动过程一致,良好的 MI 可控性可能诱发显著的头皮脑电(electroencephalography,EEG)特征,进而有利于 MI-BCI 的解码。
2.1.4. 动觉和视觉想象问卷调查
KVIQ[39-40,51]综合了 MIQ 和 VMIQ 的优缺点(MIQ 评测前需要被试执行实际动作,不适合运动功能障碍患者,VMIQ 更侧重 VI),问卷调查者根据被试执行 KMI 或 VMI 时的主观感受进行评分。也就是在想象结束后,被试根据评分等级的评估词,如“不能想象”或者“没有感觉”等,向问卷调查者描述 VI 内容的清晰度和 KI 的感觉强度,然后由调查者按 5 分制进行评估,如表 5 所示[52]。被试在 KVIQ 评估之前无需进行 ME,因此,该问卷适合那些因故不能站立或执行复杂动作的人,如脑卒中患者[39,51]。目前,KVIQ 有 KVIQ-20 和 KVIQ-10 两个版本,其中 KVIQ-20 有 20 个任务项目,而 KVIQ-10 只有 10 个任务项目,耗时短,常用于临床。
表 5. Rating scales of the KVIQ.
KVIQ 评分表
| 评价 等级 |
VI 的清晰度 | KI 的感觉强度 |
| 5 | 非常清晰,像看到的画面 | 像执行实际动作一样强烈的感觉 |
| 4 | 清晰的画面 | 强烈的感觉 |
| 3 | 中等程度清晰和生动的画面 | 中等程度的感觉 |
| 2 | 模糊不清的画面 | 轻度的感觉 |
| 1 | 完全想象不出画面 | 没有感觉 |
以上介绍的问卷调查评估方法具有一定的局限性,因为被试心理想象的过程和结果只有被试本人知道,实验者无法知道,被试做出选择的正确与否或评分依赖被试的判断,具有一定的主观性。而 NF 等评估方法可能在一定程度上克服这个局限。
2.2. 心理测时法和心理旋转
除了上述问卷调查法,还可采用心理测时法针对 MI 的执行时间来评估 MI 的能力[34]。此外,肢体的心理旋转也是一种 MI,可以作为驱动 BCI 的一种心理任务,其往往与心理测时法相结合。
2.2.1. 心理测时法
心理测时法是对人脑信息加工的时序或心理活动过程的精确测量[34]。执行心理任务所花费的时间反映出该心理任务的认知过程,心理测时法可评测认知加工速度。认知加工速度常采用反应时间(reaction time,RT)衡量,RT 为从刺激(如视觉或听觉)或提示出现到被试做出反应所需的时间。心理测时法通常采用基本的、简单的认知任务,包含的心理过程或操作数量相对较少,RT 为毫秒级。
MI 是一个过程,往往不是瞬间就完成的,需要花费一定的时间,因此心理测时法可以作为评估被试 MI 能力的一个指标[53-54]。在周期性的运动中,MI 和相应 ME(如抓握、书写和跑步)的持续时间相一致[34],因此被试执行 MI 的持续时间与相应实际运动的持续时间越接近,表明该被试的 MI 能力越强。MI 能力的心理测时法是对 MI 感知加工速度的测量,执行 MI 所花费的时间反映出该心理任务的感知过程。
MI 的 RT 可以这样测量:提示 MI 开始的时刻与 MI 结束时被试的按键反应时刻之差,该时间反映了在心里排演一个实际运动的感知过程或处理速度。
2.2.2. 心理旋转
心理旋转是一种在心里操控物体旋转的认知任务,要求被试“旋转”二维或三维物体的心理表示[55]。研究表明肢体某部分或整体(不一定是被试的)的心理旋转过程也会使被试的相应肢体参与心理旋转运动[38],这提示我们,在运动功能障碍康复训练的 BCI 研发中,可以设计肢体的心理旋转作为驱动 BCI 的一种心理任务,把肢体的旋转图像先呈现给被试,然后让被试在心里旋转该肢体。
由上可知,心理旋转是一种心理任务,而心理测时法是一种测量心理加工速度的方法,心理旋转因其可操控性,可作为心理测时法的心理任务,因此通常把心理旋转和心理测时法结合起来进行研究和应用。作为具体应用,肢体的心理旋转及其心理测时法评估通常分以下几个认知阶段:① 从所要求的角度在心里创建肢体旋转的图像(旋转的起始位置);② 在心里旋转肢体图像,直到可以进行比较(旋转的目标位置);③ 执行比较;④ 确定肢体的心理旋转角度是否达到要求;⑤ 做出决策(按下按钮时记录 RT)。被试完成肢体心理旋转的反应时间越短,准确率越高,表明被试的 MI 能力越好[38]。
2.3. 脑功能成像
MI 期间的脑成像特征可以作为评估 MI 能力的一种客观指标。目前,常用的脑成像方法有 EEG[16]、功能磁共振成像(functional magnetic resonance imaging,fMRI)[56-58]、功能性近红外光谱成像(functional near-infrared spectroscopy,fNIRS)[59]等。其中 fMRI 具有较高的空间分辨率[56-57],可以定位特定感觉、知觉或认知任务下大脑的功能激活分布[58],因此可以用来评估 MI 期间大脑激活的分布特征。一种可选的方法是,首先在被试 KMI 和 VMI 任务态期间进行 fMRI 成像并提取特征,然后以具有较强 MI 能力被试的 fMRI 成像特征作为参考来比较,如果具有可比性,可评估为具有较强的 MI 能力,如果没有可比性,可评估为 MI 能力较差[60]。
除此而外,也有研究采用静息态下的 fMRI 和 EEG 成像来评估 MI 能力[61],但这两种方法不是在 MI 任务态下进行评估,可作参考。
2.4. 神经反馈
NF 是生物反馈的一种,有若干可以实现 NF 的脑信号采集方法[如 EEG、fMRI、fNIRS[59]和神经元脉冲发放(Spikes)等],其中 EEG 具有较高的时间分辨率,基于 EEG 的 NF 可以在线实时可视化呈现被试大脑活动的分布特征[62],如 MI 期间大脑活动分布特征的实时呈现。
如前所述,MI 是一种隐式的运动或心理活动,实验者无法直接得知被试想了没有以及想象如何,也观察不到该运动的外在表现,因此难以评价被试 MI 的能力或表现[27]。然而,MI 期间的 EEG-NF 能够可视化地显示 MI 诱发的 EEG 特征,因此,EEG-NF 可以作为评估被试 MI 能力的一种方法,具有一定的客观性。利用 EEG-NF 评价 MI 能力的一种可选方法是,通过呈现被试的 MI 脑电特征分布的地形图、分类结果或控制外部设备的效果,以此作为评价被试 MI 的能力。
2.5. 事件相关同步/去同步
在执行左右手 MI 时,对侧感觉运动区 EEG 中 μ 频段和 β 频段出现振幅降低,即 ERD,表示该运动区激活。同时,同侧感觉运动区 EEG 中 μ 频段和 β 频段出现振幅增加,即事件相关同步(event-related synchronization,ERS),表示该运动区去激活[59]。基于 MI 的 BCI 主要利用这一差异对 MI 任务进行解码[29]。ERD/ERS 可以用来反映被试脑区的激活强度[63],通过观察 ERD/ERS 特征是否稳定来判断被试 MI 能力。
3. 动觉运动想象和视觉运动想象能力的提高方法
目前,要能够或熟练操控 BCI 系统,通常需要掌握操控 BCI 系统的技能,这种技能可以通过训练获得。有研究表明,被试或用户需要学会调节或控制自己的脑活动以产生差异显著的特定 EEG 成分,从而驱动 BCI 系统,该研究认为 BCI 技术依赖于个体自主和可靠地产生脑电活动变化的能力[64]。
迄今为止,MI 是 BCI 中最常用的任务,然而,MI-BCI 的性能严重依赖被试或用户的 MI 能力或表现,为提高该类 BCI 系统的操控性,被试或用户需要接受一定量甚至是大量的训练。无论是 KMI-BCI 还是 VMI-BCI,均需要相应提高 KMI 和 VMI 的能力。
3.1. 动觉运动想象能力的提高方法
通常采用两种方法提高 KMI 能力:离线训练和 NF 训练。
3.1.1. 离线训练
被试离线操控 BCI 系统,首先以特定的肢体(需要明确参与运动的肢体,如右手食指)和运动方式(需要明确运动方式,如轻敲、屈伸或按压)及运动参数[需要明确运动参数,如轻敲或屈伸的速度(0.5 Hz/1 Hz/2 Hz 等)、按压力的大小(如最大/中等/最小等)]执行实际运动,获得 ME 过程的体验,然后在心里排演或模拟刚才执行的 ME 过程,但不发生实际运动[27,65-67],要求 KMI 过程与 ME 过程所用时间一致。重复以上过程,通过一定的训练量,直到获得一定程度的 KMI 生动性和可控性,训练后填写 KMI 能力问卷调查表进行评估[68]。
特别值得注意的是,不同的肢体以不同的运动方式和运动参数进行运动,其诱发的脑信号可能不完全相同,对应的 KMI 相关的脑信号也可能不完全相同[27]。经离线训练后具有一定 KMI 能力的被试可作为 MI-BCI 的候选被试,其他被试可以排除。由于此种方法是离线训练,提高 KMI 的能力有限[69],训练后的问卷调查评估具有一定的主观性,可能纳入或排除了不合适的被试。
3.1.2. NF 训练
NF 除了可以作为评估被试 MI 能力的一种方法,还可以作为训练并提高被试 MI 能力的手段,它是一种在线训练方法。有研究表明,被试可以通过脑电 NF 学习调节感觉运动皮层的电活动[70],这样自我诱发的脑电变化可以作为 BCI 的控制信号[62]。在反馈调节 KMI 期间,所有被试在对侧中央区域均出现显著的 ERD,与无反馈的初始对照实验相比,ERD/ ERS 显示出增强的半球不对称性,NF 训练后,所有被试的分类准确率达到 85%~95%[71]。其他 MI-BCI 研究[69,72]也表明 NF 训练可以在一定程度上提高被试的 MI 表现或能力。
用 NF 训练提高被试 MI 的能力,通常的方法是:被试根据计算机显示器上呈现的视觉提示执行相应的 KMI 运动。被试 KMI 任务的表现由设计的反馈形式(如反馈条[73]、脑激活地形图[74]、控制光标移动[75]、控制移动机器人[8]、控制机械臂[76]、控制智能小车[72]、控制简单有趣的游戏[77]等)在线实时可视化呈现,这些反馈形式代表了当前的脑电模式。被试根据 NF 呈现的结果可以了解自己的 KMI 表现,同时可以调整自己的 KMI 心理策略,直到看到满意的反馈结果[15],通过这样的 NF 训练,找到适合自己的 KMI 执行方式,从而提高自己的 KMI 能力。图 6 为 MI-BCI 控制机器人的神经反馈训练示意图。
图 6.
Schematic diagram of neurofeedback training for KMI-BCI controlled robot
KMI-BCI 控制机器人的神经反馈训练示意图
与离线训练方法相比,NF 训练方法的独特优势是在线实时学习和调节,把隐式的 KMI 心理活动以可视化的反馈形式呈现出来,即“所想即所见”,从而提高 KMI 表现。
3.2. 视觉运动想象能力的提高方法
对被试的 VMI 进行提高,可以先为被试示范相应的动作,或者播放演示动作的视频,然后要求被试在内心可视化之前观看到的肢体动作[68]。即被试先仔细观察运动过程和细节,进行记忆(情景记忆),然后在脑海中回忆观察到的运动过程(情景回忆)。对于大多数人,无需训练即可获得正常的 VMI 能力,并且该能力比 KMI 能力强[45]。
3.3. 冥想训练
冥想是一种提高正念和意识的心理训练方法,对人的精神状态有积极作用。冥想训练也是提高 MI 能力的一种方法,因为冥想可增强注意力和控制脑节律[78-79]。如在使用 MI 控制一维和二维光标的任务中,冥想者的表现均优于无冥想经验者,并且在冥想者组中,BCI 盲的人数较少[78]。最后,对冥想组和无冥想经验组进行神经生理学分析,结果表明冥想者在任务期间的静息感觉运动节律预测因子更高,静息态 μ 节律更稳定,并且控制信号比对照组更强[78]。值得一提的是,冥想训练和 MI-BCI 是相互促进的,MI-BCI 也可以提高冥想者的专注度[80]。
4. BCI 中运动想象的执行、能力的评估和提高方法:未来的趋势
4.1. MI 的自动化执行、实时可视化客观评估和高效的神经反馈训练
4.1.1. BCI 中 MI 的执行:训练直到自动化
无论采用 KMI 还是采用 VMI 心理活动驱动 MI-BCI 系统,在最初阶段都需要正确的指导语来指导被试正确地执行这两种心理活动,以诱发出期望的脑信号特征。随着被试操控 MI-BCI 系统经验的积累,可通过操作性条件反射训练找到适合他自己的 MI 心理策略,甚至可望达到不需要投入过多的脑力资源,也能自动化地执行 MI,并很好地操控 MI-BCI[64]。
4.1.2. BCI 中 MI 能力的评估:在线实时可视化的客观评估
由于 MI 是一种隐式的心理活动,被试和实验者均难以显式地进行监测或评估,为此需要采用脑成像的方法把 MI 期间激活的脑区分布或脑网络特征(定量指标)可视化地呈现出来。除此而外,离线的问卷调查存在一定的主观性,为弥补此缺点,需要在线实时、定量、客观地评估 MI 表现。总之,未来需要研发客观的、定量的 MI 能力评估方法。
4.1.3. BCI 中 MI 能力的提高:在线实时高效的 NF 训练方法
为提高被试 MI 的能力,离线训练可以作为初级阶段的训练,进一步的训练则需要通过 NF。基于精准的时-频-空特征[精准的脑区(对应电极)、精准的频率、精准的时间]NF 调节训练是未来的一个研究方向。这种训练需要对 MI 相关脑区[KMI 激活的感觉运动区、VMI 激活的额叶和顶枕区(与电极位置对应)]的神经振荡频段或频率(如 μ、β 和 γ 节律)的功率、运动相关电位的成分进行精准的调节。
除上面精准特征的 NF 调节外,NF 的形式设计也很重要,反馈信号丰富的视觉再现可以促进被试的学习,并且呈现 NF 内容的可视化界面要求易理解、直观和美观。总之,NF 的内容和形式要求能够集中被试的注意力,如可以将 MI-BCI 和虚拟现实(virtual reality,VR)相结合,构建高度逼真、沉浸感强的 NF 训练系统[81],这样训练效果可能会更好。因此,未来需要研发新的、更有效、训练时间短(5~10 min)的 MI 能力提高方法。
4.2. 个体之间和内部 MI 的差异性、共性和 MI-BCI 盲问题
4.2.1. 个体之间和内部 MI 的差异性、共性问题
充分考虑个体之间 MI 诱发脑信号的差异性,需要为特定个体定制 MI-BCI 系统;另一方面,也要考虑个体之间 MI 诱发脑信号的共性,可以采用迁移学习[11,82]构建具有一定通用性的 MI-BCI 基本模型。除此而外,还要充分考虑个体内部不同时间段 MI 的差异和共性,可以采用自适应的机器学习算法[83]、自适应的通道选择[84]和深度学习[85]等方法进行优化。
4.2.2. MI-BCI 盲
没有 MI 能力或经过 MI 能力提高训练之后其 MI 表现依然较差的被试,可建议不选用 MI-BCI 系统,而是考虑其他类型的 BCI 系统。通过 MI 能力提高训练后,原来 MI 能力较差的被试如 MI 表现提高了,则可以考虑采用 MI-BCI 系统。
5. 结束语
MI-BCI 是一种重要的 BCI,其中 MI 心理活动的正确执行、能力的评估和提高方法对该类 BCI 具有重要的作用。本文阐述了与 MI-BCI 相关的 ME、KMI 和 VMI 的执行,进而对它们进行了比较,并指出需要特别注意的问题。接着论述了 KMI 和 VMI 能力的评估方法,包括评估二者能力的国际量表,主要是 CMI test、VMIQ 以及 KVIQ;还介绍了心理测时法、脑功能成像以及 NF 评估 MI 的能力。然后,概述了 KMI 和 VMI 能力的提高方法,包括离线训练、在线 NF 调节训练和冥想训练。最后指出 MI-BCI 中 MI 执行、能力的评估和提高方法是未来需要进一步研究的问题。希望本文能够启示和促进 MI-BCI 系统的研发并走向实用化。
利益冲突声明:本文全体作者均声明不存在利益冲突。
Funding Statement
国家自然科学基金资助项目(81771926,61763022,81470084,61463024,62006246)
The National Natural Science Foundation of China
References
- 1.伏云发, 杨秋红, 徐宝磊, 等. 脑机接口原理与实践. 北京: 国防工业出版社, 2017.
- 2.Wolpaw J R, Wolpaw E W. Brain-computer interfaces: Principles and practice. Oxford: Oxford University Press, 2012.
- 3.伏云发, 郭衍龙, 张夏冰, 等. 脑机接口: 变革性的人机交互. 北京: 国防工业出版社, 2020.
- 4.Graimann B, Allison B, Pfurtscheller G. Brain-computer interfaces: Revolutionizing human-computer interaction. Berlin: Springer Publishing Company, 2013.
- 5.伏云发, 龚安民, 陈超, 等. 面向实用的脑-机接口: 缩小研究与实际应用之间的差距. 北京: 电子工业出版社, 2021.
- 6.Allison B Z, Dunne S, Leeb R, et al. Towards practical brain computer interfaces: Bridging the gap from research to real-world applications. Berlin: Springer Publishing Company, 2012.
- 7.许敏鹏, 魏泽, 明东 基于脑卒中后运动康复领域的运动想象的研究. 生物医学工程学杂志. 2020;37(1):169–173. doi: 10.7507/1001-5515.201904009. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 8.徐宝国, 何小杭, 魏智唯, 等 基于运动想象脑电的机器人连续控制系统研究. 仪器仪表学报. 2018;39(9):10–19. [Google Scholar]
- 9.Saduanov B, Tokmurzina D, Kunanbayev K, et al. Design and optimization of a real-time asynchronous BCI control strategy for robotic manipulator assistance// 2020 8th International Winter Conference on Brain-Computer Interface (BCI). Gangwon: IEEE, 2020: 1-5.
- 10.Lee M H, Kwon O Y, Kim Y J, et al EEG dataset and OpenBMI toolbox for three BCI paradigms: an investigation into BCI illiteracy. GigaScience. 2019;8(5):1–16. doi: 10.1093/gigascience/giz002. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 11.Lotte F, Bougrain L, Cichocki A, et al A review of classification algorithms for EEG-based brain-computer interfaces: A 10-year update. J Neural Eng. 2018;15(3):03155. doi: 10.1088/1741-2552/aab2f2. [DOI] [PubMed] [Google Scholar]
- 12.Fu R, Li W, Chen J, et al Recognizing single-trial motor imagery EEG based on interpretable clustering method. Biome Signal Process Control. 2021;63:102171. doi: 10.1016/j.bspc.2020.102171. [DOI] [Google Scholar]
- 13.Al-Saegh A, Dawwd S A, Abdul-Jabbar J M Deep learning for motor imagery EEG-based classification: A review. Biomed Signal Process Control. 2021;63:102172. doi: 10.1016/j.bspc.2020.102172. [DOI] [Google Scholar]
- 14.Ruyi F, Keng A K, Chai Q, et al Assessment of the efficacy of EEG-based MI-BCI with visual feedback and EEG correlates of mental fatigue for upper-limb stroke rehabilitation. IEEE Trans Biomed Eng. 2020;67(3):786–795. doi: 10.1109/TBME.2019.2921198. [DOI] [PubMed] [Google Scholar]
- 15.李青敏, 李忠正, 邱继文, 等 基于EEG脑机接口的研究现状及在康复中的应用. 北京生物医学工程. 2017;36(3):310–316. doi: 10.3969/j.issn.1002-3208.2017.03.15.. [DOI] [Google Scholar]
- 16.Neuper C, Scherer R, Reiner M, et al Imagery of motor actions: differential effects of kinesthetic and visual-motor mode of imagery in single-trial EEG. Brain Res Cogn Brain Res. 2005;25(3):668–677. doi: 10.1016/j.cogbrainres.2005.08.014. [DOI] [PubMed] [Google Scholar]
- 17.Chholak P, Niso G, Maksimenko V, et al Visual and kinesthetic modes affect motor imagery classification in untrained subjects. Sci Rep. 2019;9:9838. doi: 10.1038/s41598-019-46310-9. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 18.Fu Y, Xu B, Li Y, et al Single-trial decoding of imagined grip force parameters involving the right or left hand based on movement-related cortical potentials. Chinese Sci Bull. 2014;59(16):1907–1916. doi: 10.1007/s11434-014-0234-5. [DOI] [Google Scholar]
- 19.Feng Z, He Q, Zhang J, et al A hybrid BCI system based on motor imagery and transient visual evoked potential. Multimed Tools Appl. 2019;(2):1–14. [Google Scholar]
- 20.Chadwick T, Kevin B, Erin A, et al Accuracy and vividness in motor imagery ability: differences between children and young adults. Dev Neuropsychol. 2020;45(5):1–12. doi: 10.1080/87565641.2020.1788034. [DOI] [PubMed] [Google Scholar]
- 21.Tariq M, Trivailo P, Simic M EEG-based BCI control schemes for lower-limb assistive-robots. Front Hum Neurosci. 2018;12:312. doi: 10.3389/fnhum.2018.00312. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 22.Igasaki T, Takemoto J, Sakamoto K. Relationship between kinesthetic/visual motor imagery difficulty and event-related desynchronization/synchronization// 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Honolulu: IEEE, 2018: 1911-1914.
- 23.Thompson M C Critiquing the concept of BCI illiteracy. Sci Eng Ethics. 2019;25(4):1217–1233. doi: 10.1007/s11948-018-0061-1. [DOI] [PubMed] [Google Scholar]
- 24.Kosmyna N, Lindgren J T, Lecuyer A Attending to visual stimuli versus performing visual imagery as a control strategy for EEG-based brain-computer interfaces. Sci Rep. 2018;8(1):13222. doi: 10.1038/s41598-018-31472-9. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 25.李昭阳, 龚安民, 伏云发 基于EEG脑网络下肢动作视觉想象识别研究. 南京大学学报(自然科学) 2020;56(4):570–580. [Google Scholar]
- 26.Dijkstra N, Bosch S, Van Gerven M Vividness of visual imagery depends on the neural overlap with perception in visual areas. J Neurosci. 2017;37(5):1367–1373. doi: 10.1523/JNEUROSCI.3022-16.2016. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 27.Fu Y, Xiong X, Jiang C, et al Imagined hand clenching force and speed modulate brain activity and are classified by NIRS combined with EEG. IEEE Trans Neural Syst Rehabil Eng. 2017;25(9):1641–1652. doi: 10.1109/TNSRE.2016.2627809. [DOI] [PubMed] [Google Scholar]
- 28.Phang C-R, Ko L-W Global cortical network distinguishes motor imagination of the left and right foot. IEEE Access. 2020;8:103734–103745. doi: 10.1109/ACCESS.2020.2999133. [DOI] [Google Scholar]
- 29.Tariq M, Trivailo P, Simic M Mu-beta event-related (de)synchronization and EEG classification of left-right foot dorsiflexion kinaesthetic motor imagery for BCI. PLoS One. 2020;15(3):e0230184. doi: 10.1371/journal.pone.0230184. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 30.Kilintari M, Narayana S, Babajani-Feremi A, et al Brain activation profiles during kinesthetic and visual imagery: An fMRI study. Brain Res. 2016:249–261. doi: 10.1016/j.brainres.2016.06.009. [DOI] [PubMed] [Google Scholar]
- 31.Fulford J, Milton F, Salas D, et al The neural correlates of visual imagery vividness - An fMRI study and literature review. Cortex. 2017;105:26–40. doi: 10.1016/j.cortex.2017.09.014. [DOI] [PubMed] [Google Scholar]
- 32.Hardwick R, Caspers S, Eickhoff S, et al Neural correlates of action: Comparing meta-analyses of imagery, observation, and execution. Neurosci Biobehav R. 2018;94:31–44. doi: 10.1016/j.neubiorev.2018.08.003. [DOI] [PubMed] [Google Scholar]
- 33.Monaco S, Malfatti G, Culham J, et al Decoding motor imagery and action planning in the early visual cortex: Overlapping but distinct neural mechanisms. Neuroimage. 2020;218:116981. doi: 10.1016/j.neuroimage.2020.116981. [DOI] [PubMed] [Google Scholar]
- 34.Williams S E, Guillot A, Di Rienzo F, et al Comparing self-report and mental chronometry measures of motor imagery ability. Eur J Sport Sci. 2015;15(8):703–711. doi: 10.1080/17461391.2015.1051133. [DOI] [PubMed] [Google Scholar]
- 35.Koizumi K, Ueda K, Nakao M. Development of a cognitive brain-machine interface based on a visual imagery method// 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Jeju: IEEE, 2018: 1062-1065.
- 36.Sousa T, Amaral C, Andrade J, et al Pure visual imagery as a potential approach to achieve three classes of control for implementation of BCI in non-motor disorders. J Neural Eng. 2017;14(4):046026. doi: 10.1088/1741-2552/aa70ac. [DOI] [PubMed] [Google Scholar]
- 37.Mizuguchi N, Suezawa M, Kanosue K Vividness and accuracy: Two independent aspects of motor imagery. Neurosci Res. 2019;147:17–25. doi: 10.1016/j.neures.2018.12.005. [DOI] [PubMed] [Google Scholar]
- 38.周慧琳, 左国坤, 万小平, 等 基于心理旋转的运动想象行为学实证探索. 生物医学工程学杂志. 2017;34(2):173–179. doi: 10.7507/1001-5515.201608055. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 39.刘华, 程钰琦, 李洋, 等 中文版运动觉-视觉想象问卷的结构效度. 中国康复理论与实践. 2017;23(5):580–583. doi: 10.3969/j.issn.1006-9771.2017.05.019. [DOI] [Google Scholar]
- 40.Nakano H, Kodama T, Ukai K, et al Reliability and validity of the japanese version of the kinesthetic and visual imagery questionnaire (KVIQ) Brain Sci. 2018;8(5):79. doi: 10.3390/brainsci8050079. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 41.Lioi G, Butet S, Fleury M, et al A multi-target motor imagery training using bimodal EEG-fMRI neurofeedback: A pilot study in chronic stroke patients. Front Hum Neurosci. 2020;14:37. doi: 10.3389/fnhum.2020.00037. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 42.王鹤玮, 贾杰 心理旋转实验在脑卒中患者运动想象能力评估中的应用. 中国康复医学杂志. 2020;35(10):1260–1263. doi: 10.3969/j.issn.1001-1242.2020.10.023. [DOI] [Google Scholar]
- 43.Ptak R, Schnider A, Fellrath J The dorsal frontoparietal network: A core system for emulated action. Trends Cogn Sci. 2017;21(8):589–599. doi: 10.1016/j.tics.2017.05.002. [DOI] [PubMed] [Google Scholar]
- 44.Cumming J, Eaves D L The nature, measurement, and development of imagery ability. Imagin Cogn Personal. 2018;37(4):375–393. doi: 10.1177/0276236617752439. [DOI] [Google Scholar]
- 45.Kraeutner S N, Eppler S N, Stratas A, et al Generate, maintain, manipulate? Exploring the multidimensional nature of motor imagery. Psychol Sport Exerc. 2020;48:101673. doi: 10.1016/j.psychsport.2020.101673. [DOI] [Google Scholar]
- 46.Butler A J, Cazeaux J, Fidler A, et al The movement imagery questionnaire-revised, second edition (MIQ-RS) is a reliable and valid tool for evaluating motor imagery in stroke populations. Evid-based Compl Alt Med. 2012;2012(8):497289. doi: 10.1155/2012/497289. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 47.Naito E Controllability of motor imagery and transformation of visual imagery. Percept Motor Skills. 1994;78:479–487. doi: 10.2466/pms.1994.78.2.479. [DOI] [PubMed] [Google Scholar]
- 48.Campos A, Perez M J Vividness of movement imagery questionnaire: Relations with other measures of mental imagery. Percept Motor Skill. 1988;67(2):607–610. doi: 10.2466/pms.1988.67.2.607. [DOI] [Google Scholar]
- 49.Start K, Richardson A Imagery and mental practice. Brit J Educ Psychol. 2011;34:280–284. [Google Scholar]
- 50.Roberts R, Callow N, Hardy L, et al Movement imagery ability: Development and assessment of a revised version of the vividness of movement imagery questionnaire. J Sport Exercise Psy. 2008;30(2):200–221. doi: 10.1123/jsep.30.2.200. [DOI] [PubMed] [Google Scholar]
- 51.刘华, 程钰琦, 李洋, 等 中文版运动觉-视觉想象问卷在不同年龄、性别正常人群中的信度. 中国康复医学杂志. 2017;32(6):700–703. doi: 10.3969/j.issn.1001-1242.2017.06.019. [DOI] [Google Scholar]
- 52.Malouin F, Richards C L, Jackson P L, et al The kinesthetic and visual imagery questionnaire (KVIQ) for assessing motor imagery in persons with physical disabilities: A reliability and construct validity study. J Neurol Phys Ther. 2007;31(1):20–29. doi: 10.1097/01.NPT.0000260567.24122.64. [DOI] [PubMed] [Google Scholar]
- 53.Subirats L, Allali G, Briansoulet M, et al Age and gender differences in motor imagery. J Neurol Sci. 2018;391:114–117. doi: 10.1016/j.jns.2018.06.015. [DOI] [PubMed] [Google Scholar]
- 54.Cuenca-Martínez F, Suso-Martí L, Grande-Alonso M, et al Combining motor imagery with action observation training does not lead to a greater autonomic nervous system response than motor imagery alone during simple and functional movements: A randomized controlled trial. PeerJ. 2018;6:e5142. doi: 10.7717/peerj.5142. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 55.Shepard R N, Metzler J Mental rotation of three-dimensional objects. Science. 1971;171(3972):701–703. doi: 10.1126/science.171.3972.701. [DOI] [PubMed] [Google Scholar]
- 56.李梦晨. 基于fMRI的运动想象大尺度脑网络研究. 成都: 电子科技大学, 2018.
- 57.周伊婕, 宋西姊, 何峰, 等 基于脑电的多模态神经功能成像新技术研究进展. 中国生物医学工程学报. 2020;39(5):595–602. doi: 10.3969/j.issn.0258-8021.2020.05.010. [DOI] [Google Scholar]
- 58.Yadav D, Yadav S, Veer K A comprehensive assessment of brain-computer interfaces: Recent trends and challenges. J Neurosci Meth. 2020;346:108918. doi: 10.1016/j.jneumeth.2020.108918. [DOI] [PubMed] [Google Scholar]
- 59.Ota Y, Takamoto K, Urakawa S, et al Motor imagery training with neurofeedback from the frontal pole facilitated sensorimotor cortical activity and improved hand dexterity. Front Neurosci. 2020;14:34. doi: 10.3389/fnins.2020.00034. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 60.张锐. 运动想象脑-机接口的神经机制与识别算法研究. 成都: 电子科技大学, 2015.
- 61.Zhang R, Yao D, Valdés-Sosa P, et al Efficient resting-state EEG network facilitates motor imagery performance. J Neural Eng. 2015;12(6):066024. doi: 10.1088/1741-2560/12/6/066024. [DOI] [PubMed] [Google Scholar]
- 62.伏云发, 龚安民, 南文雅. 神经反馈原理与实践. 北京: 电子工业出版社, 2021.
- 63.Wang Zhongpeng, Chen Long, Yi Weibo, et al. Enhancement of cortical activation for motor imagery during BCI-FES training* // 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Honolulu: IEEE, 2018: 2527-2530.
- 64.Curran E, Stokes M Learning to control brain activity: A review of the production and control of EEG components for driving brain-computer interface (BCI) systems. Brain Cogn. 2003;51:326–336. doi: 10.1016/S0278-2626(03)00036-8. [DOI] [PubMed] [Google Scholar]
- 65.陈睿, 伏云发 基于EEG握力变化及想象单次识别研究. 南京大学学报(自然科学) 2020;56(2):159–166. [Google Scholar]
- 66.伏云发, 徐保磊, 李永程, 等 基于运动相关皮层电位握力运动模式识别研究. 自动化学报. 2014;40(6):1045–1057. [Google Scholar]
- 67.Liu C, Fu Y, Yang J, et al Discrimination of motor imagery patterns by electroencephalogram phase synchronization combined with frequency band energy. IEEE/CAA J Automatic. 2017;4(3):551–557. doi: 10.1109/JAS.2016.7510121. [DOI] [Google Scholar]
- 68.Lebon F, Horn U, Domin M, et al Motor imagery training: Kinesthetic imagery strategy and inferior parietal fMRI activation. Hum Brain Mapp. 2018;39(4):1805–1813. doi: 10.1002/hbm.23956. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 69.Lee D, Jang C, Park H J Neurofeedback learning for mental practice rather than repetitive practice improves neural pattern consistency and functional network efficiency in the subsequent mental motor execution. NeuroImage. 2019;188:680–693. doi: 10.1016/j.neuroimage.2018.12.055. [DOI] [PubMed] [Google Scholar]
- 70.Choi J W, Huh S, Jo S Improving performance in motor imagery BCI-based control applications via virtually embodied feedback. Comput Biol Med. 2020;127:104079. doi: 10.1016/j.compbiomed.2020.104079. [DOI] [PubMed] [Google Scholar]
- 71.Neuper C, Schlögl A, Pfurtscheller G Enhancement of left-right sensorimotor EEG differences during feedback-regulated motor imagery. J Clin Neurophysiol. 1999;16(4):373–382. doi: 10.1097/00004691-199907000-00010. [DOI] [PubMed] [Google Scholar]
- 72.李松, 熊馨, 伏云发 基于脑电信号神经反馈控制智能小车的研究. 生物医学工程学杂志. 2018;35(1):15–24. doi: 10.7507/1001-5515.201612080. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 73.Omura T, Kanoh S. A basic study on neuro-feedback training to enhance a change of sensory-motor rhythm during motor imagery tasks// 2017 10th Biomedical Engineering International Conference (BMEiCON). Hokkaido: IEEE, 2017: 1-5.
- 74.Hwang H J, Kwon K, Im C H Neurofeedback-based motor imagery training for brain-computer interface (BCI) J Neurosci Meth. 2009;179(1):150–156. doi: 10.1016/j.jneumeth.2009.01.015. [DOI] [PubMed] [Google Scholar]
- 75.Jo S, Choi J W. Effective motor imagery training with visual feedback for non-invasive brain computer interface// 2018 6th International Conference on Brain and Computer Interface (BCI). Gangwon: IEEE, 2018: 1-4.
- 76.Faiz M, Alhamadani A. Online brain-computer interface based five classes EEG to control humanoid robotic hand// 2019 42nd International Conference on Telecommunications and Signal Processing (TSP). Budapest: IEEE, 2019: 406-410.
- 77.Yang C, Ye Y, Li X, et al Development of a neuro-feedback game based on motor imagery EEG. Multimed Tools Appl. 2018;77:15929–15949. doi: 10.1007/s11042-017-5168-x. [DOI] [Google Scholar]
- 78.Jiang X, Lopez E, Stieger J, et al Effects of long-term meditation practices on sensorimotor rhythm-based brain-computer interface learning. Front Neurosci. 2021;14:584971. doi: 10.3389/fnins.2020.584971. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 79.Stieger J, Engel S, Jiang H, et al Mindfulness improves brain-computer interface performance by increasing control over neural activity in the alpha band. Cereb Cortex. 2020;31(1):426–438. doi: 10.1093/cercor/bhaa234. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 80.宋逍雄, 高瞻, 周海昌 基于脑机接口的虚拟冥想训练系统研究. 软件导刊. 2018;17(7):19–22. [Google Scholar]
- 81.胡晨潇, 杨帮华, 汪金龙, 等. 基于VR-BCI的上肢康复训练系统设计// 2017中国自动化大会(CAC2017)暨国际智能制造创新大会(CIMIC2017). 济南: IEEE, 2017: 6.
- 82.Zheng X, Li J, Ji H, et al Task transfer learning for EEG classification in motor imagery-based BCI system. Comput Math Method M. 2020;2020(10):1–11. doi: 10.1155/2020/6056383. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 83.Raza H, Rathee D, Zhou S, et al Covariate shift estimation based adaptive ensemble learning for handling non-stationarity in motor imagery related EEG-based brain-computer interface. Neurocomputing. 2018;343:154–166. doi: 10.1016/j.neucom.2018.04.087. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 84.Zhang H, Zhao X, Wu Z, et al Motor imagery recognition with automatic EEG channel selection and deep learning. J Neural Eng. 2021;18(1):016004. doi: 10.1088/1741-2552/abca16. [DOI] [PubMed] [Google Scholar]
- 85.Zhang K, Robinson N, Lee S-W, et al Adaptive transfer learning for EEG motor imagery classification with deep convolutional neural network. Neural Netw. 2020;136:1–10. doi: 10.1016/j.neunet.2020.12.013. [DOI] [PubMed] [Google Scholar]




