基于元脑机开源软件平台的脑控无人机系统

Abstract

Brain computer interface (BCI) system includes multiple links such as stimulus presentation, data acquisition, signal processing, external device control and command feedback. As an open-source software platform which covers all links of BCI chain, meta brain computer interface (MetaBCI) has provided flexible solutions for effectively encoding, decoding and feeding back brain activities, but has not yet provided an integrated tool that can support the implementation of a complete BCI system. In view of the above shortcoming, this paper designed and constructed a brain-controlled unmanned aerial vehicle system by using MetaBCI, which realized the online control of the physical unmanned aerial vehicle. The results of the experiment involving 10 subjects indicated that the average online classification accuracy and information transfer rate (ITR) of this system could reach 93.83% and 38.57 bits/min, respectively, which verified the feasibility of constructing a practical BCI system for external device control by using MetaBCI. Meanwhile, this paper elaborated the design idea, implementation process and the usage logic of MetaBCI toolkit involved in this brain-controlled unmanned aerial vehicle system in detail, hoping to provide guidance for subsequent developers to design and construct BCI systems that can meet individual needs by using MetaBCI independently.

0. 引言

脑机接口（brain computer interface，BCI）旨在大脑与外设之间建立不依赖于外周神经和肌肉的直接交流通路，将大脑活动意图转化为外设控制命令^[1-2]。BCI根据信号采集方式可以分为侵入式和非侵入式两类^[3-4]。侵入式BCI通过外科手术将电极阵列植入颅内，可采集高信噪比和高空间分辨率的神经信号，但面临生物相容性和长期稳定性的问题^[5-6]。非侵入式BCI通过部署于头皮表面的传感器持续记录与大脑神经活动相关的生物电信号，安全性较高，更易被用户接受^[7-8]。例如基于脑电图（electroencephalogram，EEG）的非侵入式BCI，凭借其无创、时间分辨率高且操作简单的优势，已广泛应用于康复训练、情绪识别以及外设控制等多个领域^[9-19]。然而，构建一套完整且实用的BCI系统面临诸多挑战，不仅需要集成BCI的全部核心模块，即刺激呈现、数据采集、信号处理、外设控制和指令反馈模块，还要实现与外设的稳定通信、可靠控制，同时还涉及数据存储、指令传输等复杂工程问题^[20-23]。因此，在BCI应用场景不断拓宽的背景下，如何高效、便捷、灵活地构建一套具备稳定编解码能力且能适应用户实际需求的实用型BCI系统，已成为提高BCI领域研发效率、推动BCI产业落地发展的重要问题。

2024年，天津大学神经工程团队针对BCI领域数据分散、算法复现困难、在线效率低下等问题，推出了中国首款BCI 开源软件平台——元脑机（meta brain computer interface，MetaBCI）^[24-25]。该平台由三大核心模块组成：负责离线数据分析的“脑数据”（Brainda）、支持范式自定义设计的“脑刺激”（Brainstim）以及双进程、双线程的实时在线处理框架“脑流程”（Brainflow）。该平台满足了开发者无需学习、使用额外的平台、软件，即可有效地编码、解码和反馈大脑活动的需求。然而，尽管MetaBCI提供了覆盖BCI全链路环节的功能模块，但完整BCI系统的实现仍需要集成化工具与统一框架；同时，现有BCI研究多聚焦于编解码算法层面，缺乏对系统架构、数据流向及工程实现层面的论述；此外，MetaBCI能否与外设建立稳定的控制关系仍待验证^[26-30]。这些不足不仅导致后续研究者复现、迭代、升级系统存在困难，也限制了BCI向实际应用场景的转化。

针对上述问题，本研究提出了一种基于MetaBCI的脑控无人机系统。首先根据用户脑控需求设计系统架构，然后利用MetaBCI实现系统功能，最后通过扩展MetaBCI与外设间的通信链路实现对无人机的在线控制。本文将对系统的设计思路、实现流程和所涉及MetaBCI工具包的调用逻辑进行详细介绍，以期为后续开发者基于MetaBCI自主设计、构建满足个体需求的实用型BCI系统提供思路参考和方法指导。

1. 系统

1.1. 结构设计

本文所提脑控无人机系统由刺激呈现、数据采集、信号处理、外设控制和指令反馈5个模块组成，整体结构如图1所示。首先，刺激呈现模块通过显示器呈现稳态视觉诱发电位（steady-state visual evoked potential，SSVEP）刺激界面，引导用户执行无人机控制任务。其次，数据采集模块利用电极帽、头盒及放大器采集用户EEG信号，并将数据实时传输至采集主机进行标签和波形的显示与存储。然后，信号处理模块处理主机对经由传输控制协议（transmission control protocol，TCP）通信发送的原始EEG数据包进行拼接，并完成预处理、特征提取和模式识别等操作生成控制指令。最后，外设控制模块通过用户数据报协议（user datagram protocol，UDP）通信将控制指令无线发送至无人机，改变其在三维空间（o - xyz）内的飞行状态；同时，指令反馈模块将解码结果实时反馈至刺激界面，为用户下一步控制决策提供参考。

图 1.

Overall structure of the brain-controlled unmanned aerial vehicle system

脑控无人机系统整体结构

1.2. 方法流程

本文所提脑控无人机系统依托MetaBCI架构设计实现，具体流程如图2所示。其中，Brainstim负责刺激范式设计、呈现和EEG事件标签发送；Brainda负责EEG信号的降采样、滤波、特征提取和分类；Brainflow负责EEG数据的在线采集、截取、存储和处理，并将解码结果实时同步传递至无人机和刺激界面，实现外设控制和指令反馈。

图 2.

Flow chart of the brain-controlled unmanned aerial vehicle system

脑控无人机系统流程

1.2.1. 刺激呈现模块

Brainstim提供了运动想象（motor imagery，MI）、P300与SSVEP三类范式的刺激界面示例^[31-33]。本研究刺激呈现模块利用Brainstim生成SSVEP刺激界面，采用频率—相位联合调制（joint frequency-phase modulation，JFPM）方法对刺激序列进行正弦编码，如式(1)所示：

1

式中，S（∙）表示刺激闪烁第l帧的灰度值， f为刺激闪烁频率，ϕ为刺激闪烁初始相位，l为刺激闪烁帧序号，R为显示器的刷新率^[34]。

本模块首先通过Brainstim中的范式设计单元配置刺激参数；然后利用流程控制单元运行刺激界面，并在单试次刺激闪烁初始时刻，经由串口向EEG采集设备发送事件标签；最后在刺激闪烁结束后进入阻塞等待状态，直至接收到反馈结果后进入下一试次。

1.2.2. 数据采集模块

Brainflow提供了面向在线开发的双进程、双线程通用框架。本研究基于Brainflow框架构建数据采集模块，由放大器控制、数据截取和在线处理3个核心单元组成。

放大器控制单元为主进程。系统刺激界面触发后，放大器启动命令经由处理主机和采集主机，根据预先配置的互联网协议（internet protocol，IP）地址和端口信息，通过TCP通信发送至放大器，控制其开始采集EEG信号，同步启动数据截取线程和在线处理进程。

数据截取单元采用环形缓冲区结构对EEG数据进行实时存储与管理。首先，通过线程循环方法持续获取EEG数据包，并按时序将其写入缓冲区内；其次，对每个数据包进行标签判断，以筛选出需要进行截取操作的数据包；然后，根据预设时间窗起止索引，按照先进先出原则从缓冲区内截取EEG数据片段；最后，将满足事件标签和时间窗双重条件的EEG数据片段放入放大器控制进程与在线处理进程的共享队列。考虑人脑视觉延迟为140 ms，本系统在线数据截取时间窗为标签后[0.14 s，t + 0.14 s]，t为单试次刺激片段时长，单位为s^[35]。

在线处理单元首先调用信号处理模块对用户离线数据进行训练，并将进程间的共享队列清空；然后，调用预训练模型对写入队列的在线数据进行解码分类，并生成控制指令；最后，将控制指令通过实时数据流传输至无人机和刺激界面，随即无人机执行对应指令任务动作，刺激界面打印输出反馈结果，形成外设控制和指令反馈模块。

1.2.3. 信号处理模块

Brainda提供了可用于EEG数据读取、预处理以及特征提取分类等操作的多种算法。本研究信号处理模块采用有训练解码方法，通过Brainda进行离线建模和在线预测。首先，通过Brainda的数据处理单元对离线EEG训练数据进行降采样、陷波和滤波预处理；其次，调用Brainda的算法单元，基于多试次训练数据学习生成空间滤波器，以最大限度提取任务相关信号特征成分；然后，经由生成的滤波器对在线预测数据和训练数据平均模板信号进行空间滤波处理；最后，对滤波后的两组信号进行相关性分析，选取最大相关系数对应的频率作为目标识别频率，完成在线数据预测分类。

任务相关成分分析（task-related component analysis，TRCA）通过最大化试次间的协方差之和来构建空间滤波器，集成TRCA（ensemble TRCA，eTRCA）在TRCA的基础上，进一步对不同频率下的空间滤波器进行集成，以增强信号特征提取能力^[36]。本研究采用eTRCA方法对SSVEP信号特征进行提取，并结合滤波器组（filter bank，FB）分析策略将信号拆解为多个子带分量，以充分利用基波和谐波分量中的特征信息，来提升目标识别效果，各子带分量的权重系数计算方法如式(2)所示：

2

式中，a和b是为了保证最优分类性能而选取的特定常数，i为各个子带的索引，I为子带个数^[37]。为保证EEG数据的实时处理效果，本系统选取a为1.25、b为0.25，设定I 为5即子带个数为5，其中第i个子带的上、下截止频率分别设置为88 Hz和8·i − 2 Hz。

2. 试验

2.1. 受试者信息

为了对本文所构建脑控无人机系统进行评估，本研究招募了10名年龄在20～28岁之间的受试者（编号为：S1～S10）参与脑控无人机试验，其中男性7名，女性3名，本次试验得到了天津大学伦理委员会的批准（批文编号：TJUE-2021-062）。S1～S10受试者均身体健康、视力正常或矫正后视力正常，在试验前熟知试验流程并签署了知情同意书。

2.2. 脑电信号采集和预处理

本系统经由EEG信号放大器SynAmps2（Neuroscan Inc.，美国）采集枕区内9个导联（PZ、PO5、PO3、POZ、PO4、PO6、O1、OZ、O2）的EEG信号，采样率为1 000 Hz。试验时电极遵循国际10-20标准进行放置，各导联阻抗均低于10 kΩ，并通过陷波去除50 Hz工频干扰。预处理阶段，将EEG信号降采样至256 Hz并采用有限冲激响应（finite impulse response，FIR）滤波器进行5～90 Hz的带通滤波，滤波过程中使用零相位滤波以避免信号相位失真。

2.3. 范式设计

本系统通过显示器AW2 720HF（Dell Inc.，美国）呈现8指令分类无人机控制用户界面，屏幕像素分辨率设置为1 920 × 1 080，刷新率设置为120 Hz。用户界面包含8个正方形SSVEP刺激块，按2 × 4矩阵自适应屏幕分辨率排列，单个尺寸设置为150 × 150像素，分别对应无人机的8种指令动作：顺时针旋转（clockwise）90 °（用“CW”表示）、逆时针旋转（counterclockwise）90 °（用“CCW”表示）、前进（forward）20 cm（用“FWD”表示，真实界面中为“Forward”）、后退（back）20 cm（用“Back”表示）、上升（up） 20 cm（用“Up”表示）、下降（down）20 cm（用“Down”表示）、左移（left）20 cm（用“Left”表示）、右移（right）20 cm（用“Right”表示），界面示意如图3所示，真实界面如图4所示。刺激频率范围为8～15 Hz（步长为1 Hz），相邻刺激相位差为0.35 π，所有刺激大小和亮度均保持一致。试验范式包含3个阶段：提示阶段，目标刺激上方呈现黄色倒三角提示用户注视；刺激阶段，SSVEP刺激按照预设编码规律闪烁；反馈阶段，界面上方打印输出当前试次EEG信号解码分类结果。

图 3.

User interface and experiment paradigm

用户界面与试验范式

图 4.

Experiment of online-controlled unmanned aerial vehicle

无人机在线控制试验

2.4. 光电池频率测试试验

为验证系统SSVEP刺激闪烁频率的准确性，本研究利用光电池对8个刺激块的闪烁信号进行采集，光电池由光照强度传感器TEMT 6 000（Vishay Inc.，美国）和电源模块组成。采集时，将TEMT 6 000用医用胶带固定于显示器上目标刺激块中心位置，采集线接至SynAmps2的OZ导联。每个刺激块稳定采集8个轮次数据，单轮次刺激采集时长为1 s，信号通过采集主机Precision 3 660（Dell Inc.，美国）的数据处理软件Scan 4.5（Neuroscan Inc.，美国）记录存储。同时，为进一步评估SSVEP刺激真实EEG信号诱发的有效性，随机选定一名受试者（S10）进行8个刺激块的EEG信号遍历采集，每个刺激块采集时长为10 s，以在保证频率分辨率的情况下对信号质量进行评估。

2.5. 离线脑电分类试验

为获取EEG信号特征提取模型和个体EEG信号分类模板，本研究通过离线试验采集受试者EEG数据并进行模型训练。每位受试者进行1组离线试验，每组包含6个轮次，每个轮次内依次注视8个刺激块，每个刺激块对应1个试次，共计48个试次。离线试验每个试次包含1 s提示阶段和1 s闪烁阶段，提示阶段内要求受试者尽快将注视点转移至目标位置，刺激阶段内要求用户保持对目标刺激的持续稳定注视。

2.6. 无人机在线控制试验

本研究通过无人机在线控制试验对所构建系统的实际性能进行验证。试验中，受试者通过注视特定指令刺激控制无人机完成预定飞行任务，在线试验场景如图4所示。每位受试者需完成3组在线试验，分别记为第1组、第2组和第3组，每组包含20个控制指令，每个指令包含1 s提示阶段、1 s刺激阶段和2 s反馈阶段，3组共计输出60个指令。在线试验范式如图3所示，反馈阶段内，解码生成的控制指令经由处理主机Precision 7920 Tower（Dell Inc.，美国）以UDP通信方式发送至无人机Tello（深圳市睿炽科技有限公司，中国）驱动其执行相应动作。每组试验的20个指令动作序列如表1所示，由用户界面中的8种指令动作组成，除首尾CW、CCW外，其余6种指令各出现3次，为便于表述，在表1中 CW、CCW、FWD、Back、UP、Down、Left、Right指令分别用、、↗、↙、↑、↓、←、→符号表示。表1中20个指令对应的无人机飞行路线如图4所示（以无人机起飞后到达的起点位置为原点，建立o - xyz坐标系，x、y、z轴的单位皆为cm），在20个指令全部被分类正确的情况下，无人机将沿预定路线返回至蓝色起点位置。

表 1. The action sequence of online-controlled unmanned aerial vehicle.

无人机在线控制动作序列

编号	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20
动作		↑	↗	→	↑	↗	→	↑	↗	→	↓	↙	↓	←	↙	↓	←	↙	←

2.7. 性能评估

采用BCI系统常用评价指标信息传输速率（information transfer rate，ITR）对在线系统进行评估，ITR计算方式如式(3)所示：

3

其中，N为指令分类数量，P为分类准确率，T为单次指令输出时间^[38]。本系统中，N为8，T为包含单次视线转移时间（1 s）、刺激闪烁时间（1 s）和反馈时间（2 s）的总和，共计4 s。

3. 结果

3.1. 稳态视觉诱发电位频谱分析

对光电池采集到的8个轮次数据进行叠加平均处理，并通过快速傅里叶变换（fast Fourier transform，FFT）方法进行频谱分析，得到各频率SSVEP刺激在OZ导联处的频谱图，如图5所示。从图5中可以看出，8个刺激频率对应的频谱峰值准确出现在预设8、9、10、11、12、13、14、15 Hz处。进一步的，对8个刺激块所诱发的真实EEG信号进行FFT分析，同样绘制其在OZ导联处频谱图，如图5所示。结果表明，各刺激在对应频率基频及其谐波处呈现显著峰值，且最大峰值稳定出现在基频处，符合SSVEP信号的典型响应规律，验证了系统基于Brainstim进行SSVEP刺激呈现和EEG信号诱发的可行性。

图 5.

Spectral analysis of SSVEP

SSVEP频谱分析

3.2. 离线试验结果分析

为探究时间窗长度对系统离线分类性能的影响，本研究以标签后0.14 s为起始点，分别采用0.4、0.6、0.8、1.0 s四种时间窗长度对EEG数据进行截取分析。采用Brainda中的留一交叉验证（leave-one-out cross-validation，LOOCV）方法将6轮离线EEG数据划分为6个子集，依次以5个子集作为训练集构建空间滤波器与平均模板信号，剩余1个子集作为测试集进行验证，最终计算得到受试者的离线分类准确率^[39]。10名受试者在时间窗长度为0.4、0.6、0.8、1.0 s时的平均分类准确率分别为83.6%、92.6%、96.1%和97.0%。受试者S1～S10在不同时间窗长度的离线分类结果如图6所示。结果表明，系统分类性能随时间窗长度的增加而显著提升，在1.0 s时达到最优。因此，在离线训练阶段保存各受试者在1.0 s时间窗长度下生成的EEG信号特征提取模型和个体EEG信号分类模板，在线试验阶段实时截取标签后［0.14 s, 1.14 s］时间窗内的数据进行解码分类。

图 6.

Analysis of experiment results

试验结果分析

3.3. 在线试验结果分析

本研究采用正确识别指令数量、在线分类准确率和ITR三个指标对所构建脑控无人机系统的在线性能进行评估。受试者在第1组、第2组、第3组试验中正确识别的指令数量如图6所示，所有受试者均成功完成三组控制任务，系统在试验过程中保持稳定运行，未出现通信链路中断或系统崩溃现象。从图6中可以看出，除S3和S9受试者外，其余8名受试者均能在至少一组试验中实现全部20个指令的准确识别，控制无人机按照预定路线完成飞行任务，验证了系统在真实无人机情况下的在线控制可行性。受试者在各组试验中的在线分类准确率、ITR结果以及3组平均结果如表2所示。从表2可以看出，最佳受试者的平均分类准确率和ITR可达到98.33%和42.87 bits/min，全体受试者的平均分类准确率和ITR可达到93.83%和38.57 bits/min（包含SSVEP分类效果较差的S9受试者）。综上结果表明，本研究基于MetaBCI构建的脑控无人机系统可实现SSVEP刺激的稳定呈现、EEG信号的高效解码、脑控指令的精准输出和无人机的有效控制。

表 2. Results of online-controlled experiment.

在线控制试验结果

受试者	第1组			第2组			第3组			3组平均
	准确率	ITR/（bits·min−1）		准确率	ITR/（bits·min−1）		准确率	ITR/（bits·min−1）		准确率	ITR/（bits·min−1）
S1	100.00%	45.00		95.00%	38.60		100.00%	45.00		98.33%	42.87
S2	90.00%	33.75		90.00%	33.75		100.00%	45.00		93.33%	37.50
S3	95.00%	38.60		90.00%	33.75		90.00%	33.75		91.67%	35.37
S4	100.00%	45.00		100.00%	45.00		95.00%	38.60		98.33%	42.87
S5	95.00%	38.60		100.00%	45.00		95.00%	38.60		96.67%	40.73
S6	100.00%	45.00		90.00%	33.75		95.00%	38.60		95.00%	39.12
S7	100.00%	45.00		95.00%	38.60		100.00%	45.00		98.33%	42.87
S8	100.00%	45.00		100.00%	45.00		90.00%	33.75		96.67%	41.25
S9	75.00%	22.30		70.00%	19.15		70.00%	19.15		71.67%	20.20
S10	100.00%	45.00		95.00%	38.60		100.00%	45.00		98.33%	42.87
均值	95.50%	40.33		92.50%	37.12		93.50%	38.25		93.83%	38.57

4. 结论

本研究基于MetaBCI平台构建了一套脑控无人机系统，实现了对真实无人机的有效控制，并通过频率测试、离线以及在线试验对系统性能进行了全面评估。试验结果表明，在1.0 s数据长度下，10名受试者的离线平均分类准确率可达到97.0%，在线平均分类准确率和ITR可达到93.83%和38.57 bits/min，系统在刺激编码、信号解码和外设控制等方面均表现出优异的性能。本研究建立了MetaBCI与外设间的稳定控制关系，提供了一套完整的BCI系统集成框架和实现工具，为个性化BCI系统自主构建提供实践参考。同时，本文工作以实例验证了MetaBCI在高效构建实用型BCI系统方面的能力，为其进一步拓展应用提供了技术支撑。未来，本研究将聚焦于刺激范式、视频流传输以及控制策略等方面的持续优化改进，以期进一步提升系统的交互性能和实用价值，推动实用型BCI系统的发展。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：李昂负责系统设计、程序实现、数据采集分析和论文撰写；梅杰、陈卫泽、陶玲玲负责系统测试、试验设计、数据采集整理和论文修改；许敏鹏负责论文写作指导和修订；明东负责论文审阅和校对。

伦理声明：本研究通过了天津大学伦理委员会的审批（批文编号：TJUE-2021-062）。

Funding Statement

科技创新2030一重大项目（2022ZD0210200）；国家自然科学基金（62106170）

Ministry of Science and Technology of the People's Republic of China; National Natural Science Foundation of China