基于增强现实脑机接口和计算机视觉的机械臂控制系统

Abstract

Brain-computer interface (BCI) has great potential to replace lost upper limb function. Thus, there has been great interest in the development of BCI-controlled robotic arm. However, few studies have attempted to use noninvasive electroencephalography (EEG)-based BCI to achieve high-level control of a robotic arm. In this paper, a high-level control architecture combining augmented reality (AR) BCI and computer vision was designed to control a robotic arm for performing a pick and place task. A steady-state visual evoked potential (SSVEP)-based BCI paradigm was adopted to realize the BCI system. Microsoft's HoloLens was used to build an AR environment and served as the visual stimulator for eliciting SSVEPs. The proposed AR-BCI was used to select the objects that need to be operated by the robotic arm. The computer vision was responsible for providing the location, color and shape information of the objects. According to the outputs of the AR-BCI and computer vision, the robotic arm could autonomously pick the object and place it to specific location. Online results of 11 healthy subjects showed that the average classification accuracy of the proposed system was 91.41%. These results verified the feasibility of combing AR, BCI and computer vision to control a robotic arm, and are expected to provide new ideas for innovative robotic arm control approaches.

引言

肌萎缩侧索硬化症、脑干中风、脊髓损伤等疾病/损伤会使患者的肢体肌肉控制受到限制或丧失自主控制能力^[1-3]，在某些情况下，甚至会完全丧失交流沟通能力。而这些患者通常在认知上完好无损，却需要持续的照料才能完成日常生活活动。开发针对这类人群的智能辅助系统的必要性已经显现。近年来，辅助机器人（assistive robot）的应用逐步渗透至日常生活中的各个方面，为需要照料的残疾人和老年人提供了便利^[4]。但目前辅助机器人的操控大多采用操作杆、键盘或触觉接口等输入设备，这些传统的人机接口通常需要用户具有残余的运动能力^[5]。而严重运动障碍患者可能不得不依赖于其他的人机接口，例如能够检测和处理眼电、脑电和肌电信号的人机接口。在上述的人机接口的解决方案中，脑机接口（brain-computer interface，BCI）技术引起了越来越多的关注^[6-8]。脑机接口允许患者利用其脑信号与外界环境进行交互^[9-10]，为严重运动障碍患者提供了一种全新的与外界交互的方式。基于脑机接口控制的辅助机器人有望提高严重运动障碍患者的生活自理能力。

现有的研究已成功显示了利用脑机接口控制辅助机器人的可能性^[10-15]。在基于脑机接口的辅助机器人研究中，脑机接口通常采用三种控制策略（直接控制、高级控制和共享控制）作用于辅助机器人^[16-17]。在直接控制策略中，脑机接口的输出命令直接用于控制辅助机器人，如左转、前进。高级控制策略允许用户发送高级命令，如选择被操作的物体，而辅助机器人自动完成抓取操作。采用高级控制策略的系统通常具有机器智能，而无需用户发送特定的直接控制命令。在共享控制策略中，用户和机器智能系统共享控制整个系统，允许在用户自主控制与机器智能系统控制之间进行切换。直接控制策略的易用性以及系统无需配置机器智能使其应用广泛^{[12, 15, 18-19]}，但需要用户频繁发送命令，容易造成用户疲劳。近年来，高级控制策略和共享控制策略因能够减少用户心理负荷而备受关注^{[14, 20-21]}。例如，Zeng 等^[20]将混合脑机接口与图像处理相结合以控制机械臂，混合脑机接口是通过将基于运动想象脑机接口与眼动信号相结合而构建的。图像处理对潜在目标进行分割，用户通过眼动信号来选择分割的目标，脑机接口用于确认所选目标或启动控制命令。然后，机械臂自动完成到达、递送和释放过程，而用户需要手动控制抓握和提取过程。八名健康受试者的平均脑机接口分类正确率为 85.16%。在 Xu 等^[21]的研究中，用户通过运动想象脑机接口将机械臂移动至目标周围区域，目标的准确位置是由机器人系统配备的深度摄像头来估算的，一旦机械臂的末端进入预定的视觉引导区域，机械臂将自动抓取目标。五名健康受试者的在线实验结果显示该系统的最高平均成功率为 73.74%。尽管近年来高级控制策略和共享控制策略已经进行了一些成功的尝试，但是整个系统的实用性仍有很大的改进空间。

本文以高通讯速率的稳态视觉诱发电位脑机接口为研究对象，并将其与计算机视觉相结合，控制机械臂完成抓取任务。为了提高系统的便携性，选择微软增强现实眼镜 HoloLens 作为视觉刺激器以诱发稳态视觉诱发电位，同时采用 Neuracle 无线便携式脑电设备来获取脑电数据。计算机视觉负责提供工作空间内物体的形状、颜色和位置信息。用户只需通过脑机接口选择被抓取的物体，而无需频繁地发送特定的直接控制命令。根据脑机接口和计算机视觉的输出，机械臂能够自动完成对物体的抓取和放置任务。最后，通过离线和在线实验验证了所构建系统的可行性。

1. 材料和方法

1.1. 受试者

共有 15 名健康受试者（12 男 3 女，年龄 18～26 岁）自愿参加本实验研究，所有受试者的视力或矫正视力正常。离线实验和在线实验分别有 11 名受试者参加，有 7 名受试者同时参加离线实验和在线实验。本实验研究已通过清华大学医学伦理委员会批准，并且所有受试者在实验前签署了知情同意书。实验在安静的办公室内进行。

1.2. 脑电信号获取

脑电信号通过 Neuracle 无线便携式脑电设备来获取，采样率为 1 000 Hz。只记录了顶枕区 9 个电极（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2）。参考电极位于头顶（Cz）处，接地电极位于 Fz 与 FPz 电极之间。所有电极的阻抗低于 10 kΩ。

1.3. 系统描述

整个系统主要由脑机接口、计算机视觉和机械臂三个子系统组成。图 1 显示了整个系统的示意图。脑机接口和计算机视觉两个子系统工作于同一台计算机，并通过 TCP/IP 与机械臂相连。机械臂主体是一台日本 Denso 公司的 VS-060 型 6 轴机械臂，并在其末端装有德国 FESTO 公司的 DHPS-25-A 平行气爪。机械臂的工作空间是一个包含 25 个编码圆圈的区域。该 25 个圆圈分别代表 25 个位置，并且这 25 个位置精确三维坐标的获取是通过示教器来实现的。九个物体由机械臂分别放置在 25 个位置中的任意 9 处。受试者被要求利用所构建的系统分别将这 9 个物体移至一个特定的区域。脑机接口子系统为 9 目标的稳态视觉诱发电位脑机接口，主要用于用户选择需要被机械臂操作的物体。选用微软增强现实眼镜 HoloLens 作为视觉刺激器来诱发稳态视觉诱发电位，脑机接口的刺激界面呈现在 HoloLens 中，并通过 Unity 3D 来实现视觉刺激。HoloLens 的刷新率为 60 Hz。为了确保 HoloLens 中闪烁刺激频率的精准性，实验过程中 HoloLens 一直保持呈现闪烁视觉刺激。实验过程中，HoloLens 中刺激界面固定于同一位置。脑机接口的刺激界面包含 9 个命令（见图 2），分别用于机械臂操控相应的物体。“RC1”“BC2”“YC3”“RR4”“BR5”“YR6”“RT7”“BT8”“YT9”命令分别表示红色圆形物体、蓝色圆形物体、黄色圆形物体、红色长方形物体、蓝色长方形物体、黄色长方形物体、红色三角形物体、蓝色三角形物体、黄色三角形物体。采用频率编码的方法对命令进行编码，“RC1”“BC2”“YC3”“RR4”“BR5”“YR6”“RT7”“BT8”“YT9”命令对应的刺激频率分别为 8.0、9.5、11.0、8.5、10.0、11.5、9.0、10.5、12.0 Hz。计算机视觉子系统负责识别工作空间内 9 个物体的形状、颜色和位置。深圳市威鑫视界科技有限公司研发的 U801 工业广角摄像头被安装在机械臂的抓手上，以获取工作空间图像。摄像头通过 USB 与计算机相连。

图 1.

Schematic diagram of the entire system

整个系统的示意图

图 2.

Brain-computer interface subsystem

脑机接口子系统

a. 脑机接口子系统用户界面；b. 各目标对应的刺激频率

a. user interface of BCI subsystem; b. stimulation frequency corresponding to each target

1.4. 离线实验

离线实验主要是为在线实验优化系统参数。脑机接口的离线实验分为 5 个组块（block），每个 block 包含 36 个试次（trial）。脑机接口的刺激界面包含 9 个目标。在每个 block 中，每个目标有 4 个试次，受试者注视各目标的顺序是随机的。受试者根据语音提示注视相应的目标。因此，在脑机接口的离线实验中，对于每名受试者而言，每个目标有 20 个试次。每个试次的持续时间为 9.2 s，其中受试者注视视觉闪烁刺激的时间为 5 s，受试者注意力切换时间为 4.2 s。另外，为了测试计算机视觉系统的性能，获取了 200 张工作空间图像，每张图像中 9 个物体的位置不尽相同。在离线实验的过程中，机械臂保持不动。

1.5. 在线实验

在线实验分为 10 个 block，每个 block 包含 9 个试次，分别对应于 9 个目标。因此，每个目标有 10 个试次。通过离线分析，为在线实验确定了 3.6 s 的闪烁刺激时间。在线实验时，每个试次的持续时间为 7.8 s，其中受试者注视视觉闪烁刺激的时间为 3.6 s，受试者注意力切换时间为 4.2 s。受试者根据语音提示注视相应的闪烁刺激，机械臂则根据识别的命令执行相应的操作。

1.6. 数据处理

计算机视觉子系统利用 U801 工业广角摄像头捕获工作空间的 RGB 图像。获取的 RGB 图像通过同态滤波器来校正图像的亮度并增强图像的细节。利用 MATLAB 的 Color Thresholder 工具箱对同态滤波增强图像进行分析以生成包含三种颜色（即红色、蓝色、黄色）标记功能的 MATLAB 代码。这些代码将首先执行从 RGB 颜色空间到 HSV 颜色空间的颜色空间转换，然后基于每种颜色阈值创建蒙版图像。通过对离线实验获取的 200 张工作空间图像的分析，定义了三种颜色的色调、饱和度和明度的最小值和最大值。对于红色，色调的最小值和最大值分别为 0.928 和 0.991，饱和度的最小值和最大值分别为 0.133 和 1.000，明度的最小值和最大值分别为 0.361 和 1.000；对于蓝色，色调的最小值和最大值分别为 0.541 和 0.764，饱和度的最小值和最大值分别为 0.092 和 1.000，明度的最小值和最大值分别为 0.118 和 1.000；对于黄色，色调的最小值和最大值分别为 0.541 和 0.764，饱和度的最小值和最大值分别为 0.092 和 1.000，明度的最小值和最大值分别为 0.118 和 1.000。最后对每种颜色的蒙版图像进行腐蚀和扩张操作，以平滑图像边沿。通过上述操作，可以实现对物体颜色的识别。为了确定相同颜色的物体的形状，分别对上述三种颜色的物体图像进行中值滤波、二值化，删除所有小于 3 000 像素的连接区域，均匀分割成 25 子图。通过检测各子图的物体边界，可以确定 25 子图中哪些子图存在物体，并将其与工作空间中 25 个示教位置进行映射可以确定这些物体的位置。对于存在物体的子图，计算所有边缘点与质心之间的距离，并通过最大值对这些距离进行归一化。以归一化距离数据为特征，可以确定三种形状物体，即三角形物体的归一化距离数据中有 3 个峰，而长方形物体则有 4 个峰，圆形物体的所有归一化距离大于 0.7。

脑机接口子系统采用滤波器组典型相关分析（filter bank canonical correlation analysis，FBCCA）对 9 通道脑电数据进行解码^[22]。在对脑电进行解码前，需要对脑电进行预处理。首先，根据刺激程序的标记信号对脑电数据进行分段。考虑到视觉系统的延迟^[23]，离线实验和在线实验的数据分段分别为［0.14 s 5.14 s］和［0.14 s 3.74 s］，其中 0 时刻表示刺激开始的时间。然后，对所有分段数据，进行去除基线漂移、50 Hz 陷波以及降采样至 250 Hz。

滤波器组典型相关分析主要包括滤波器组分析、典型相关分析、目标识别三个步骤。滤波器组分析主要是通过带通滤波的方式将脑电分解为多个子带成分，更为有效地提取嵌入谐波成分中的独立信息，进而提高稳态视觉诱发电位的检测精度。根据先前研究^[22]，本文中第 个子带的下限截止频率和上限截止频率分别设置为 和 90 Hz，子带数量 设置为 7。然后，对各个子带成分进行典型相关分析，正余弦参考信号的谐波数量为 4，进而得到各子带成分与正余弦参考信号的相关系数（）。最后，计算与所有子带成分相对应的组合相关值的加权平方和作为目标识别的特征：

1

式中，为各子带成分的权重系数。基于先前研究^[22]，本文的 设置为 。因此，目标可被识别为：

2

2. 结果

2.1. 离线实验结果

利用计算机视觉子系统对离线实验所获取的 200 张工作空间图像进行分析与处理，实验结果显示所构建的计算机视觉子系统能够精确地识别出 197 张工作空间图像中的 9 个物体。通过将 9 个物体在 25 子图的位置与工作空间中 25 个示教位置相对应，就可获得 9 个物体的精确三维坐标，以供机械臂操作。为了进一步阐明计算机视觉子系统，将其应用于示例图像，并显示了计算机视觉子系统的主要输出结果，如图 3 所示。

图 3.

An example implementation of the computer vision subsystem

计算机视觉子系统的示例实现

a. 原始图像；b. 同态滤波图像；c. 平滑蒙版图像边沿；d. 中值滤波图像；e. 二值图像；f. 删除小对象图像；g. 分割图像；h. 检测物体边界；i. 边缘点与质心之间的归一化距离

a. original image; b. homomorphic filtered image; c. smoothing the edges of the mask image; d. median filtered image; e. binary image; f. removing small objects from binary image; g. segmented image; h. detecting object boundaries; i. normalized distances between all edge points and the centroid

图 4 显示了受试者 llw 在各刺激频率下 Oz 电极处稳态视觉诱发电位的幅度谱。从图可知，所诱发的稳态视觉诱发电位在刺激频率的基频和谐波处有明显的峰值。这些结果验证了利用微软增强现实眼镜 HoloLens 诱发稳态视觉诱发电位的可行性。

图 4.

Amplitude spectrum of SSVEPs at each stimulation frequency

各刺激频率所诱发的稳态视觉诱发电位的幅度谱

图 5 显示了不同数据长度下脑机接口的分类正确率和信息传输率（information transfer rate，ITR）。信息传输率是评估脑机接口性能最常用的指标，在计算信息传输率时包含了 4.2 s 的注意力切换时间。从图可知，随着数据长度的增加，脑机接口的分类正确率不断增加直至达到一个稳定状态。在数据长度为 3.6 s 时，脑机接口的信息传输率达到最高水平，即 19.25 bits/min。并且该数据长度下，脑机接口的分类正确率达 90.91%。基于此，为后续的在线实验确定了 3.6 s 的视觉闪烁刺激时间。

图 5.

Classification accuracy and ITR for the proposed BCI as a function of data length

所构建的脑机接口的分类正确率和信息传输率与数据长度的关系

2.2. 在线实验结果

本文利用在线实验测试整个系统的性能。在线实验时，受试者注视视觉闪烁刺激的时间为 3.6 s，受试者注意力切换时间为 4.2 s，因此系统发送命令的速度为 7.8 s/命令。在线实验时，计算机视觉子系统能够精确地识别工作空间中的 9 个物体，识别正确率达 100%。表 1 列出了 11 名受试者的在线脑机接口的性能。从表 1 可知，脑机接口的平均分类正确率和平均信息传输率分别为 91.41% 和 19.67 bits/min。有 7 名受试者（即表 1 中加粗的受试者）同时参加了离线实验和在线实验。配对 t 检验结果显示这 7 名受试者的离线性能（平均分类正确率：93.49%，平均信息传输率：20.34 bits/min）和在线性能（平均分类正确率：92.70%，平均信息传输率：20.16 bits/min）未见明显差异。本组结果表明机械臂能够根据脑机接口的意图命令和计算机视觉提供的物体信息顺利完成对物体的抓取和放置任务。这些结果验证了所构建系统的有效性。

表 1. Online BCI performance.

在线脑机接口的性能

受试者	正确率（%）	信息传输率/（bits·min−1）
gjc	86.67	16.95
hh	90.00	18.47
lgr	98.89	23.45
lk	96.67	21.99
llw	100.00	24.38
lyp	72.22	11.42
mj	98.89	23.45
qzh	87.78	17.44
wkn	94.44	20.72
ymm	81.11	14.65
zx	98.89	23.45
均值 ± 标准差	91.41 ± 8.89	19.67 ± 4.23

3. 讨论

本文结合增强现实脑机接口和计算机视觉技术设计与实现了一套机械臂控制系统。该系统允许用户将高级控制命令发送至机械臂，从而控制机械臂完成抓取和放置任务。计算机视觉负责检测工作空间中物体，以提供物体的颜色、形状和位置信息。脑机接口则用于用户选择需要被机械臂操作的物体。根据脑机接口和计算机视觉的输出，机械臂能够自主抓取该物体并将其放置于特定的位置。由于采用了高级控制策略，用户无需一步一步地控制机械臂的运动，极大地减少了用户的心理负荷。11 名健康受试者的在线实验结果显示所构建的系统能够获得 91.41% 的正确率，验证了所构建的系统的可行性。

目前的稳态视觉诱发电位脑机接口研究大多采用计算机显示器来诱发稳态视觉诱发电位^[24-27]。虽然计算机显示器便于实现复杂视觉刺激，但是“笨重”的计算机显示器在一定程度上限制了系统的便携性。近年来，增强现实技术的日益成熟，为诱发稳态视觉诱发电位提供了新的途径^[28]，但这方面的研究仍较少且较为初步^{[7, 15, 29-30]}。在本文中，采用 HoloLens 来实现增强现实效果，并将所构建的增强现实脑机接口用于机械臂的控制。本文创新地将增强现实、脑机接口、计算机视觉整合在一起从而实现对机械臂的高级控制，创新了控制机械臂的新方式。由于 HoloLens 的增强现实特性，其允许用户既能看见 HoloLens 中的刺激界面，又能够看见 HoloLens 之外的机械臂运动，避免了用户在刺激界面和机械臂之间来回切换注意力。11 名受试者的在线实验验证了 HoloLens 能够作为诱发稳态视觉诱发电位的视觉刺激器，以及基于 HoloLens 的增强现实脑机接口可以用于机械臂的控制。可穿戴式视觉刺激器和无线便携脑电放大器的采用极大地提高了本文所构建系统的便携性。另外，相比于现有的基于脑机接口的机械臂研究^{[12, 14-15, 18-20]}，本文所构建的系统具有较高的识别精度。尽管在本文中基于增强现实脑机接口可以实现较高的识别精度，但与我们以前使用传统计算机显示器作为视觉刺激器的研究^[12]相比，使用 HoloLens 似乎会稍微降低稳态视觉诱发电位脑机接口的性能。在最近的三项基于 HoloLens 的增强现实研究中，也观察到类似的脑机接口性能下降^{[15, 29-30]}。可能的原因是 HoloLens 和传统计算机显示器的固有属性不同。与计算机显示器不同，HoloLens 的透视特性允许用户同时看到视觉刺激和周围的场景，这可能会分散用户对视觉刺激的注意力^{[15, 29]}，而且 HoloLens 上视觉刺激的亮度和对比度低于计算机显示器上显示的亮度和对比度^[29]。但本文的高识别精度表明类似的性能下降不会影响基于 HoloLens 的稳态视觉诱发电位脑机接口的实际应用。

下一步工作将尝试利用该高级控制策略帮助健康受试者和运动障碍患者完成更为广泛的日常活动。而且，基于动态窗长的解码算法^[31]将被应用于提高脑机接口的识别精度。为了构建一个用户友好型脑机接口，仅利用较少电极获取脑电信号尤为重要。目前的研究大多采用多个电极来检测稳态视觉诱发电位^[24-25]。虽然多个电极的使用能够提高脑机接口的识别精度，但多个电极需要相对长的准备时间且会降低用户舒适度。下一步将尝试在保证较高识别精度的前提下，减少电极的数量，同时将电极布置在耳后以提高脑机接口的移动性^[32]。在本文中，针对三种物体颜色（即红、黄、蓝）和三种物体形状（即长方形、圆形、三角形），有针对性地开发了计算机视觉系统来识别物体的颜色和形状。未来的研究将进一步开发针对多种物体颜色/形状的计算机视觉算法。另外，也将尝试通过更多的传感器获取更多的信息以改善机械臂的控制，如抓取不同高度的物体。

4. 结论

在本文中，基于增强现实脑机接口和计算机视觉的高级控制策略被应用于控制机械臂完成抓取和放置任务。得益于高级控制策略，受试者仅通过九个命令就可以控制机械臂完成对九个物体的操作。增强现实与脑机接口的结合不仅避免了受试者在刺激界面和机械臂之间来回切换注意力，还提高了系统的便携性。脑机接口与计算机视觉的结合有助于减轻受试者的心理负荷以及改善对抓取和放置操作的控制。11 名健康受试者的在线实验结果显示所构建的系统能够在 7.8 s 内从 9 个可选的命令集中识别出一个命令且平均识别正确率达 91.41%，验证了所构建系统的可行性。

利益冲突声明：本文全体作者均声明不存在利益冲突。

Funding Statement

广东省重点领域研发计划（2018B030339001）；国家自然科学基金（61603416）；中央高校基本科研业务费专项资金资助项目（3332019015）

The Key Research and Development Program of Guangdong Province; The National Natural Science Foundation of China; The Fundamental Research Funds for the Central Universities