Skip to main content
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering logoLink to Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
. 2022 Apr 25;39(2):416–425. [Article in Chinese] doi: 10.7507/1001-5515.202111066

稳态视觉诱发电位解码算法研究综述

A review of researches on decoding algorithms of steady-state visual evoked potentials

满 杨 1, 子平 钟 1,2,3, 锦 韩 2, 敏鹏 许 1,2, 东 明 1,2
PMCID: PMC9927346  PMID: 35523564

Abstract

基于稳态视觉诱发电位(SSVEP)的脑-机接口(BCI)系统具有信噪比高、用户所需训练时间短等优势,已成为主流范式之一。对SSVEP特征快速精准解码是SSVEP-BCI系统研究的关键步骤。然而,当前研究中缺少对SSVEP解码算法系统的梳理,以及对算法间联系与差异的分析,使研究者难以在特定情况下选择最优的算法。针对此问题,本文总结了近年来SSVEP解码算法的研究进展,分为无训练和有训练算法两大类,介绍了典型相关分析(CCA)和任务相关成分分析(TRCA)等解码算法及其改进算法的基本原理和适用范围,接着介绍了解码算法中常用的处理设计策略,最后讨论了SSVEP解码算法的机遇与挑战。

Keywords: 脑-机接口, 稳态视觉诱发电位, 解码算法, 模式识别, 特征提取

引言

脑-机接口(brain-computer interface,BCI)是将中枢神经系统活动直接转化为人工输出的系统,它能够替代、修复、增强、补充或改善中枢神经系统的正常输出,从而改善中枢神经系统与内外环境之间的交互作用[1-2]。视觉型BCI是通过采集经视觉刺激调制后的脑电信号,识别与大脑意图相关的脑电特征,并将其转化为机器指令输出的系统。常见的视觉型BCI包括稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)[3-4]、P300[5-6]、SSVEP-P300混合范式[7-8]和基于运动起始视觉诱发电位(motion-onset visual evoked potential,mVEP)[9]等。其中SSVEP因具有诱发特征稳定、信噪比(signal-to-noise radio,SNR)高等优点,引起了广泛关注,已成为BCI三大主流范式之一[10-12]

SSVEP-BCI系统主要包括编码和解码两部分,编码是将不同频率、相位等信息转换为用于诱发相应脑电信号的闪烁刺激特征的过程。解码是对脑电信号进行提取识别,其识别的精度直接决定了SSVEP-BCI系统的性能,是BCI系统高效准确识别的关键所在。为此,国内外研究者从时间、空间、频率及相位等方面开展了SSVEP解码算法研究,先后提出了典型相关分析(canonical correlation analysis,CCA)、任务相关成分分析(task-related component analysis,TRCA)等经典解码算法,取得了较好的效果,已广泛应用于SSVEP研究。然而,由于SSVEP解码算法类别众多,且不同解码算法的基本原理和适用范围各不相同,目前尚未有研究对SSVEP算法进行系统梳理和对比,致使研究者难以根据特定情况选择最优的解码算法。

本文总结了近几年SSVEP解码算法的研究进展,首先按照是否需要被试的个体训练数据,将SSVEP解码算法分为无训练和有训练解码算法两类。对于无训练解码算法,即无需额外被试个体数据作校准的算法,介绍了包括功率谱密度分析(power spectral density analysis,PSDA)、最小能量组合(minimum energy combination,MEC)、CCA等经典解码算法及其相应的扩展改进算法。对于有训练解码算法,即需要额外被试个体数据训练得到最优模型,用其解码测试个体数据的算法,介绍了TRCA及其改进算法,以及有训练的CCA改进算法。其次,本文介绍了包括滤波器组(filter bank)、跨频率学习(multi-stimulus)、动态停止(dynamic stopping)等在内的常见算法设计策略,最后讨论了SSVEP解码算法的机遇与挑战。为方便读者对不同算法描述符号和流程分析的理解,表1列举了本文中使用的主要符号及其说明。

表 1. Main notations and descriptions.

主要符号及其说明

符号 说明
Inline graphic 被试数
Inline graphic 除目标被试外,其余被试数
Inline graphic 刺激类别数
Inline graphic 刺激试次数
Inline graphic 刺激采样点数
Inline graphic 采集导联数
Inline graphic 谐波阶次数
Inline graphic 单导联脑电数据
Inline graphic 脑电数据(导联×时间采样点)
Inline graphic 测试脑电数据(导联×时间采样点)
Inline graphic 单试次脑电数据,Inline graphic表示试次,Inline graphic表示类别(导联×时间采样点)
Inline graphic 按试次平均脑电数据,Inline graphic表示类别(导联×时间采样点)
Inline graphic 参考信号,Inline graphic表示频率(2×谐波阶次总数×时间采样点)
Inline graphic 空间滤波器
Inline graphic 空间滤波器的最优估计

1. 无训练解码算法

在BCI发展的早期,研究者对SSVEP信号的空间分布形态尚不明确,因此SSVEP信号识别方法仅存在于非空间解码水平。对于非空间解码算法,PSDA曾广泛用于单导联频率检测。随着对SSVEP理解的深入及脑电信号处理的进一步发展,以CCA为代表的空间滤波方法被开发来滤除背景脑电,增强诱发特征SNR,被广泛用于SSVEP-BCI系统。常用的无训练空间解码算法包括MEC、多元同步指数(multivariate synchronization index,MSI)以及最新提出的基于时空均衡动态时间窗策略(spatio-temporal equalization dynamic window,STE-DW),都证明比传统的PSDA方法更有效。本节按算法提出的时间顺序,对无训练算法从基本原理和适用范围两方面进行介绍。

1.1. 功率谱密度分析

Cheng等[13]在2002年提出利用快速傅里叶变换(fast Fourier transform,FFT)将脑电信号从时域变换到频域,由此获得信号功率和幅值沿频率分布的曲线,用来检测单导联脑电数据的频率。其本质是离散傅里叶变换(discrete Fourier transform,DFT)。

假设单导联脑电数据Inline graphic,利用DFT计算出的离散频谱 Inline graphic)。见式(1):

1.1. 1

为便于快速计算,将采样点数量拓展为2的幂次方。假设所有刺激频率均为奇数,Inline graphic是刺激频率Inline graphic下的功率密度值,Inline graphic是功率谱峰值对应的频率。见式(2):

1.1. 2

Inline graphic 为奇数,取 Inline graphic 作为识别频率 Inline graphic;若 Inline graphic 为偶数,取 Inline graphic 左右两点频率最大值作为识别频率 Inline graphic

1.2. 最小能量组合

Volosyak[14]在2011年将能够降低噪声能量和增强有效特征的MEC算法应用于在线BCI系统。

假设某试次脑电数据为Inline graphic。建立脑电信号模型,将Inline graphic分解成两部分。见式(3):

1.2. 3

其中,Inline graphic 是正弦谐波频率混合信号,Inline graphic 是加权矩阵,Inline graphic 是正余弦参考信号如式(4)所示,E 是干扰信号及噪声,Inline graphicInline graphic 为混叠系数,f为基频频率。

1.2. 4

定义一个与Inline graphic线性相关的导联矢量 Inline graphic。见式(5):

1.2. 5

其中 Inline graphic 是单导联信号的加权矩阵,将其扩展到 Inline graphic 个导联,即 Inline graphic。如式(6):

1.2. 6

需要求解空间滤波器 Inline graphic,用其对 Inline graphic 进行滤波,使 Inline graphic 中的噪声最小。算法主要步骤如下。

利用正交投影来移除模型中有效信号特征,获得噪声信号的估计 Inline graphic。见式(7):

1.2. 7

求解 Inline graphic 使得噪声信号的能量最小。见式(8):

1.2. 8

将其转化为广义特征值问题,并按照特征贡献率选取 Inline graphic 个特征向量组成 Inline graphic,结合式(5)和式(9)计算SSVEP能量大小。

1.2. 9

在实际应用中,计算并标准化各个频率下脑电信号所包含的SSVEP能量,见式(10):

1.2. 10

最终选取最大的SSVEP能量 Inline graphic 所对应的频率为识别频率。

1.3. 多元同步指数

Zhang等[15]在2014年提出利用MSI识别多频率脑电信号,在数据长度较短和导联数较少的情况下取得了良好的性能。MSI通过估计脑电信号与正余弦参信号之间的同步指数来识别刺激频率。

假设单试次脑电数据为 Inline graphicInline graphic 为正余弦参考信号。定义相关矩阵 Inline graphic 如式(11):

1.3. 11

为减少 Inline graphicInline graphic 自相关对同步度量带来的影响,利用白化矩阵 Inline graphic 去除 Inline graphic 中的特征相关性。见式(12):

1.3. 12

经过变换后的相关矩阵 Inline graphic 见式(13):

1.3. 13

Inline graphicInline graphic 的特征值,将其标准化。见式(14):

1.3. 14

Inline graphicInline graphic之间的同步指数为Inline graphic。见式(15):

1.3. 15

在实际应用中,分别计算各个频率脑电信号与模板之间的同步指数 Inline graphic,最终选取最大的 Inline graphic 所对应的频率为识别频率。

1.4. 典型相关分析

Bin等[16]在2009年搭建了利用CCA算法解码的在线SSVEP-BCI系统,识别准确率达95.3%,信息传输速率(information transfer rate,ITR)达(58 ± 9.6)bits/min。CCA和MSI都是衡量两组变量相关性的方法。相关研究表明,随刺激频率及导联数的增加,CCA的分类准确率高于MEC和MSI[17]。CCA的思想通过寻找两组高维向量的投影矩阵,用其对高维向量降维,使降维后两向量间相关性最大,具体过程如下:

假设第 Inline graphic 个目标下第 Inline graphic 个试次对应脑电信号 Inline graphicInline graphic 是正余弦参考信号。CCA过程如式(16):

1.4. 16

其中 Inline graphic 代表数学期望。在实际应用中,分别计算各频率脑电信号与参考信号之间的 Inline graphic,最终选取最大的 Inline graphic 对应的频率为识别频率。

1.5. 基于迁移学习模板的典型相关分析

因不同被试间SSVEP信号的任务相关(task-related)特征相似,若利用CCA解码目标被试(target subject)时,将模板中加入其他被试(称为源被试,source subject)任务相关信息作为个体模板,可有效提高算法分类准确率。基于此思想,Yuan等[18]在2015年提出了基于迁移模板的典型相关分析(transfer template-based canonical correlation analysis,ttCCA)。当数据长度为1.5 s时,ttCCA分类准确率相较CCA提高了18.78%。

假设目标被试测试信号 Inline graphic,源模板(source template)Inline graphic 是源被试数据按被试和试次平均后的结果。见式(17):

1.5. 17

假设任务相关空间滤波器在同类的不同源被试间相似,而不同类的空间滤波器不同,对于 Inline graphic 类需学习 Inline graphic 个不同的空间滤波器。因此分别计算测试信号 Inline graphic 与正余弦参考信号 Inline graphic 经CCA后获得的任务相关空间滤波器 Inline graphicInline graphic,源模板 Inline graphic 与正余弦参考信号 Inline graphic 经CCA后获得的空间滤波器 Inline graphicInline graphic。对 Inline graphicInline graphic 滤波后计算多个相关系数,系数向量 Inline graphic。见式(18):

1.5. 18

将相关系数融合后得到融合系数Inline graphic。见式(19):

1.5. 19

最终选取最大的 Inline graphic 对应的频率为识别频率。

1.6. 基于迁移学习模板和滤波器的典型相关分析

ttCCA假设滤波器在同类的不同源被试间相似,从源模版中学习到的 Inline graphic 并没有考虑到不同源被试之间的误匹配,会导致潜在问题。因此Lao等[19]在2018年提出了基于迁移学习模板和滤波器的典型相关分析(transfer template and filter canonical correlation analysis,ttfCCA),来进一步优化ttCCA。

与ttCCA利用源被试平均模板 Inline graphic 学习滤波器不同,ttfCCA从各个源被试数据中学习可迁移的空间滤波器。此外,ttfCCA假设不同类的空间滤波器也相似,因此从不同类学到的任务相关空间滤波器(这里称基础滤波器,basis filters)存在于低维子空间,而非 Inline graphic 空间。

假设第 Inline graphic 名被试的第 Inline graphic 类刺激按试次平均脑电数据为 Inline graphic。利用最大化均方余弦相似度(average square cosine similarity)从各个源被试的任务相关滤波器中得到基础滤波器的估计 Inline graphic,其中 Inline graphic 表示 Inline graphic 与正余弦参考信号 Inline graphic 经过CCA得到的空间滤波器如式(20)所示:

1.6. 20

对优化目标进行特征分解得到包含 Inline graphic 个特征值和特征向量,利用轮廓对数似然[20]求解出一个适当的数 Inline graphic,并取特征向量前 Inline graphic 列作为第 Inline graphic 名被试基础滤波器(因篇幅限制,此处省略 Inline graphic 的求解过程)。对所有源被试脑电数据重复上述步骤,得到 Inline graphic 组基础滤波器。将基础滤波器依次拼接,得到滤波器 Inline graphic,其描述了多数被试任务相关滤波器所依赖的子空间。

利用Inline graphic进一步求解可跨越低维子空间的基础滤波器(这里称为原型滤波器,prototype filters)。见式(21):

1.6. 21

其中 Inline graphic,再求出原型滤波器所需滤波器数量 Inline graphic。最终所选择出的 Inline graphic 个原型滤波器 Inline graphic 作为任务相关空间滤波器的最优估计。

在实际应用中,利用正余弦参考信号 Inline graphicInline graphic 个原型滤波器对目标被试某一试次的测试数据 Inline graphic 和源模版 Inline graphic 进行滤波,得到 Inline graphicInline graphic 与源模板之间的相关系数。通过空间滤波后获得相关系数向量 Inline graphic。见式(22):

1.6. 22

将所有相关系数进行融合得到融合系数 Inline graphic。见式(23):

1.6. 23

最终选取最大的Inline graphic对应的频率为识别频率。

1.7. 基于被试迁移学习模板的典型相关分析

Wong等[21]在2020年提出了基于被试迁移模板的典型相关分析(subject transfer-based canonical correlation analysis,stCCA)。stCCA充分利用不同源被试与目标被试的个体信息,只需少量校准数据就能发挥出好的性能,结果证明仅利用9次校准试次,ITR可达(198.18 ± 59.12)bits/min。

假设源被试个体内的空间滤波器在不同频率的刺激下通用,且不同源被试的模板在低维子空间可共享。依据跨频率学习策略[22],通用空间滤波器可利用Inline graphic个不同频率的校准数据来计算。见式(24):

1.7. 24

其中 Inline graphicInline graphicInline graphic 个频率拼接的脑电数据模板 Inline graphic 和参考信号 Inline graphic。见式(25):

1.7. 25

其中 Inline graphic Inline graphic代表K个对应刺激频率由小到大的频率索引向量。由于对测试数据没有先验知识,作者利用选择策略从 Inline graphic 个频率中选出 Inline graphic 个频率,这里省略选择过程。因选择策略未利用各类刺激频率 Inline graphic,因此stCCA空间滤波器在所有刺激频率中通用,用 Inline graphicInline graphic 表示滤波器的估计。

根据基于实例(instance-based)的迁移学习方法[23]将源被试经空间滤波后的SSVEP模板加权求和,可近似得到目标被试经空间滤波后的SSVEP模板,具体过程如图1所示。

图 1.

图 1

Illustration of the inter-subject SSVEP template [21]

被试间SSVEP模板实现方式[21]

通过最小化目标被试 Inline graphic 个经空间滤波的SSVEP模板 Inline graphicInline graphic 名源被试 Inline graphic 个经空间滤波的SSVEP模板 Inline graphic 的加权和的平方误差,来确定各个源被试所占权重 Inline graphic,利用多元线性回归(multivariate linear regression,MLR)求解。见式(26):

1.7. 26

其中 Inline graphicInline graphic是目标被试 Inline graphic 个空间滤波后SSVEP模板的拼接信号,Inline graphic 是来自 Inline graphic 名源被试的 Inline graphic 个空间滤波后的SSVEP模板,Inline graphic 代表Frobenius范数,其解为 Inline graphic。最后计算加权求和后,源被试间SSVEP模板 Inline graphic。见式(27):

1.7. 27

在实际应用中,对于测试数据 Inline graphic,计算融合系数 Inline graphic。见式(28):

1.7. 28

最终选取最大的 Inline graphic 对应的频率为识别频率。

2. 有训练解码算法

无训练解码算法不需被试的个体数据,训练成本低,具有良好的适用性,但因缺乏目标被试的个体信息,难以满足实际场景下对高准确率、高精度BCI系统的需求。有训练算法可以从训练数据中学习生成符合被试脑电特征的空间滤波器和SSVEP模板,进一步提高分类准确率。下面对有训练数据的CCA改进算法,以及TRCA及其改进算法进行介绍。

2.1. 基于个体模板的典型相关分析

Bin等[24]在2011年提出基于个体模板的典型相关分析(individual template-based canonical correlation analysis,itCCA)。itCCA与CCA的区别在于将CCA中正余弦参考信号替换为基于个体的平均模板,以更好地评估被试状态。

对第 Inline graphic 个刺激目标,个体平均模板 Inline graphic 可以通过平均多个训练试次得到,即 Inline graphic。itCCA中的CCA过程如式(29)所示:

2.1. 29

最终选取最大的Inline graphic对应的频率为识别频率。

2.2. 多路典型相关分析

Zhang等[25]在2011年提出多路典型相关分析(multiway canonical correlation analysis,mwayCCA),通过最大化脑电数据张量和正余弦模版之间的相关性来获得更有效的SSVEP参考信号。相比正余弦参考信号,mwayCCA得到的参考信号不仅包含了SSVEP的频率成分,还包含了个体间和试次间的变异性信息。

假设第 i 个刺激目标所对应的脑电信号为 Inline graphic。在正余弦参考信号 Inline graphic 的基础上,通过优化导联权重和试次权重从时域中获得更具有鲁棒性的参考信号。其优化过程为寻找权重向量 Inline graphicInline graphicInline graphic,使 Inline graphicInline graphic 之间相关系数最大具体过程如式(30)所示:

2.2. 30

其中 Inline graphicInline graphic,运算符 Inline graphicInline graphic 代表张量与向量相乘(又称模态积,n-mode product)。对于 Inline graphic 阶张量 Inline graphic,与向量 Inline graphic 相乘过程如式(31)所示:

2.2. 31

求解此优化目标采用交替算法,先固定 Inline graphic 求解 Inline graphicInline graphic,再固定 Inline graphicInline graphic 求解 Inline graphic。重复此过程,直至满足收敛条件,最终选取最大的 Inline graphic 对应的频率为识别频率。

优化后的参考信号 Inline graphic 如式(32)所示:

2.2. 32

2.3. 扩展典型相关分析

Chen等[26]在2015年提出的扩展典型相关性分析(extended canonical correlation analysis,eCCA)结合了CCA和itCCA的优势,同时应用了个体平均模板和正余弦参考信号的相关信息。eCCA的空间滤波器由三部分组成:测试数据和个体平均模板经CCA获得的空间滤波器 Inline graphic,测试数据和正余弦参考信号经CCA获得的空间滤波器 Inline graphic,以及个体平均模板和正余弦参考信号经CCA获得的空间滤波器 Inline graphic。通过空间滤波后获得的相关系数向量 Inline graphic 如式(33)所示:

2.3. 33

利用相关值的加权平方和作为目标识别的决策值。见式(34):

2.3. 34

最终选取最大的 Inline graphic 对应的频率为识别频率。

2.4. 任务相关成分分析

Nakanishi等[27]在2018年首次将TRCA算法用于SSVEP解码,通过最大化同一任务在不同试次间的相似性,来提高信号SNR和分类准确率。实验结果表明利用TRCA的在线BCI拼写系统平均ITR达到(325.33 ± 38.17)bits/min。

假设导联 Inline graphic 所采集的脑电信号 Inline graphic,由任务相关信号 Inline graphic 和任务无关信号 Inline graphic 的线性组合构成。见式(35):

2.4. 35

其中 Inline graphicInline graphic 分别表示任务相关信号与任务无关信号对应的混合系数。

假设其他导联所采集的信号为线性组合Inline graphic。见式(36):

2.4. 36

Inline graphic 视为任务相关信号 Inline graphic 的估计,为最大程度地保留任务相关成分及减少无关成分,利用试次间协方差最大化使 Inline graphic。假设第 Inline graphic 个试次原始脑电信号和任务相关信号为 Inline graphicInline graphic,将所有试次组合。见式(37):

2.4. 37

其中 Inline graphic 见式(38):

2.4. 38

为获得确定解,限定 Inline graphic 的方差为1。见式(39):

2.4. 39

该约束优化问题可转换为式(40):

2.4. 40

根据广义瑞利商,空间滤波器 Inline graphic 的最优估计 Inline graphic 为矩阵 Inline graphic 的最大特征值对应的特征向量。

利用训练数据 Inline graphic 通过TRCA获得对应的空间滤波器 Inline graphic,再利用 Inline graphic 对测试数据 Inline graphic 和按试次平均的训练数据 Inline graphic 进行滤波,计算两者的相关系数 Inline graphic,最终选取最大相关系数对应的频率为识别频率。

因不同视觉刺激对应的空间滤波器存在相似性,Nakanishi等[27]又提出集成任务相关成分分析(ensemble task-related component analysis,eTRCA)。拼接全部类别对应的空间滤波器模板 Inline graphic,得到集成空间滤波器 Inline graphic。经 Inline graphic 滤波后测试数据变为 Inline graphic,分别将 Inline graphicInline graphic 按行拼接成两个向量,计算两者相关系数 Inline graphic,最终选取最大相关系数对应的频率为识别频率。

2.5. 互关联任务相关成分分析

TRCA默认试次间脑电信号诱发时间和初始相位相同,但试次间初始相位会随被试状态变化,导致基线偏移。Tanaka 等[28]在2019年提出互关联任务相关成分分析(cross-correlation task-related component analysis,xTRCA),其目的是用于事件相关电位(event-related potential,ERP)分析中各试次相位对齐,以提高信号SNR。本文认为该算法思想亦有潜力应用于SSVEP信号,将其列入文中。但目前如何将xTRCA融合于SSVEP信号,以及其对于SSVEP信号的解码效果暂时没有相关的公开研究。

同时考虑滤波器 Inline graphic 与时延向量 Inline graphic,则将原TRCA约束问题转换为式(41),Inline graphic 为时延向量的估计:

2.5. 41

初始化 Inline graphic = Inline graphic 为零向量,计算当前时延向量下 Inline graphic 的最大特征值 Inline graphic 作为初始特征值。迭代更新 Inline graphicInline graphic 从而进一步更新主特征值 Inline graphic,直至满足式(42)时停止迭代(阈值 Inline graphic 在文中取 Inline graphic):

2.5. 42

3. 算法设计策略及总结

算法设计策略是对脑电信号的预处理方式,不同设计策略基于的假设与提取的信息各不相同,因此实现方式也各不相同。但这些设计策略可以较好地与常用的经典解码算法(如CCA、TRCA等)相结合,从而进一步提高算法的性能。常用的设计策略包括滤波器组、跨频率学习及动态停止等。

滤波器组策略通过设计多组可覆盖刺激频率基频和谐波分量的滤波器,来更好地提取蕴藏在脑电信号中的谐波响应信息。Qin等[29]利用滤波器组策略,显著提升了MSI的性能,在线SSVEP实验平均准确率达83.56%,相较标准MSI提高12.26%。

跨频率学习策略基于SSVEP在不同刺激频率中空间分布模式相似的思想[30],同时从目标刺激训练数据和目标周围刺激训练数据中学习空间滤波器,扩大了可用训练数据的规模及空间滤波器的泛化性能。Wong等[22]将跨频率学习策略扩展到主流算法,形成ms-eCCA和ms-eTRCA。结果表明扩展后的ms-eCCA(ms-eTRCA)表现明显优于eCCA(eTRCA),且两者组合(即ms-eCCA+ms-eTRCA)的效果最好。

动态停止策略考虑到脑电信号跨时间变异性,利用贝叶斯方法估计当前数据长度下达到输出条件的置信度。Yang等[31]将该策略结合时间和空间信息进一步开发出STE-DW方法,并在决策时采用MEC,使平均ITR达134 bits/min。

综合上述算法,表2[14-16,18-19,21-22,24-27,32]列举了各算法间综合性能的对比。需要注意的是,由于不同文献中对数据长度、训练样本个数等参数的选择及算法实现方式存在差异,不同文献间的数据对比仅供参考。结合表2,就实用性而言,无训练算法无疑是最好的选择;就性能而言,需要被试数据进行训练的解码算法能更好地提取出SSVEP信号特征。在选择算法时需从系统指令数及系统实用性等多方面衡量。对指令数较少需求较少的家用BCI系统或特殊人群(如残障患者等),应首选无训练解码算法。对指令数需求较大或需大量有标签训练数据的BCI系统,可选择有训练解码算法。

表 2. Performance comparison of all algorithms.

各算法综合性能对比

有/无训练 算法名称 数据库来源 指令 数据
长度/s
平均
正确率(%)
平均
ITR/(bits·min−1)
算法特点
注:符号*表示估计值,文献中并未给出明确结果;符号▲表示离线结果;数据长度未包含视线转移时间
MEC[14] 私有 5 变化 96.7* 61.7 降低噪声、提高有效信号信噪比
MSI[15] 私有 4 1.5 86.0 19.4 适用数据短、导联少的情况
CCA[16] 私有 6 2 95.3 58.7 提取空间特征信息
ttCCA[18] 清华公开[32] 40 1.5 86.0* 58.3* 模板中加入其他个体信息
ttfCCA[19] 清华公开 40 0.75 61.8 112.4 跨被试提取任务相关滤波器
stCCA[21] 清华公开 40 0.8 89.6 198.2 共享迁移模板和滤波器
itCCA[24] 私有 32 1.05 85.0 108.0 模板中加入个体信息
mwayCCA[25] 私有 4 1 85.3 38.7 模板中加入个体间、试次间信息
eCCA[26] 私有 40 1 91.0 267.1 集成多组模板、滤波器
TRCA[27] 私有 40 0.4 86.0* 266.5 最大化不同试次间相似性
eTRCA[27] 私有 40 0.3 89.8 325.3 集成TRCA多组滤波器
ms-eCCA[22] 清华公开 40 1 79.8 200.7 通过跨频率学习个体信息,在小训练样本下获得良好识别效果
ms-eTRCA[22] 清华公开 40 1 76.3 189.8
ms-eCCA+ ms-eTRCA[22] 清华公开 40 1 82.4 212.4

4. 机遇与挑战

BCI技术发展迅速,高性能、高速率的SSVEP-BCI系统相继被开发出来。但因脑电信号的非线性[33]、非稳定性[34]及个体差异性[35],如何利用跨设备、跨被试、跨时间、跨试次的脑电信号来扩充样本量,从而减少训练过程成为了新的研究热点。未来可借助深度学习和迁移学习等新技术来发展解码算法。深度学习作为目前最热门的机器学习方法,已广泛应用于图像处理[36-38]、健康监测[39-41]、药物研发[42]、基因组分析[43-44]及疾病诊断[45-46]等众多生物医学与医疗健康领域,EEG-Net等适用于视觉诱发电位的深度学习网络也在不同范式下取得了相对较高的性能[47-49]。但深度学习需要大量样本来训练模型,ITR低且数量有限的样本大大影响了模型的训练效果。迁移学习算法可有效解决深度学习所面临的样本量不足问题,例如基于最小二乘变换(least squares transformation,LST)的迁移学习利用跨被试、跨时间、跨试次的训练数据,提高了SSVEP解码精度[50]。但由于脑电信号个体差异较大,高性能的迁移学习算法还亟待进一步探索。

SSVEP-BCI系统需要依赖显示设备来呈现刺激,最常用的显示设备为计算机显示屏,因此难以实现可穿戴而限制了BCI系统的便携性;注意力始终集中在屏幕的视觉刺激上,也限制了用户对周围信息的获取,导致交互不自然。利用沉浸式头戴设备(如Hololens和N-Goggle等)提供视觉刺激的SSVEP-BCI系统近几年被开发出来。但受硬件限制,头戴设备刷新率不稳定造成的刺激频率不准确会影响实验效果。

在实际应用场景中,理想的BCI系统应允许被试通过主动控制思维活动,来实现对外设的实时控制。同步BCI系统需被试在系统的同步提示下进行任务切换,被试并非真正意义上控制系统。相较同步BCI系统,异步BCI系统的控制方式更加灵活。其通过不间断检测被试状态,以确定被试是否处于任务态。异步BCI系统提供了更加灵活和自然的脑-机交互方式,而如何准确判断被试任务状态和非任务状态是BCI系统面临的又一挑战。

综上所述,开发出便携性高、交互自由的脑-机交互界面是SSVEP-BCI系统未来的设计语言,而设计出鲁棒性强、分类效率高、迁移性好的解码算法是脑电信号提取和分析的发展方向。

重要声明

利益冲突声明:本文全体作者均声明不存在利益冲突。

作者贡献声明:杨满为综述主要撰写人,完成文献资料的整理收集与分析,以及论文初稿的撰写;钟子平、韩锦参与文献资料分析与论文修改;许敏鹏参与论文的修改与指导;明东参与论文的指导与审校。

Funding Statement

国家杰出青年科学基金(81925020);国家优秀青年科学基金(62122059);国家自然科学基金(81630051,61976152);中国科协青年人才托举工程(2018QNRC001)

The National Natural Science Foundation of China

References

  • 1.Wolpaw J R, Wolpaw E W Brain-Computer Interface: Principles and practice. Oxford: Oxford University Press. 2012:3–12. [Google Scholar]
  • 2.Xu Minpeng, He Feng, Jung T P, et al Current challenges for the practical application of electroencephalography-based Brain-Computer Interfaces. Engineering. 2021;7(12):1710–1712. doi: 10.1016/j.eng.2021.09.011. [DOI] [Google Scholar]
  • 3.Ge Sheng, Jiang Yichuan, Zhang Mingming, et al SSVEP-based Brain-Computer Interface with a limited number of frequencies based on dual-frequency biased coding. IEEE Trans Neural Syst Rehabil Eng. 2021;29:760–769. doi: 10.1109/TNSRE.2021.3073134. [DOI] [PubMed] [Google Scholar]
  • 4.Zhao Xi, Wang Zhenyu, Zhang Min, et al A comfortable steady state visual evoked potential stimulation paradigm using peripheral vision. J Neural Eng. 2021;18(5):056021. doi: 10.1088/1741-2552/abf397. [DOI] [PubMed] [Google Scholar]
  • 5.Fouad I A, Labib F E M, Mai S M, et al Improving the performance of P300 BCI system using different methods. Netw Model Anal Health Inform Bioinform. 2020;9(1):1–13. doi: 10.1007/s13721-019-0207-3. [DOI] [Google Scholar]
  • 6.Jin Jing, Chen Zongmei, Xu Ren, et al Developing a novel tactile P300 Brain-Computer Interface with a cheeks-stim paradigm. IEEE Trans Biomed Eng. 2020;67(9):2585–2593. doi: 10.1109/TBME.2020.2965178. [DOI] [PubMed] [Google Scholar]
  • 7.Xu Minpeng, Han Jin, Wang Yijun, et al Implementing over 100 command codes for a high-speed hybrid Brain-Computer Interface using concurrent P300 and SSVEP features. IEEE Trans Biomed Eng. 2020;67(11):3073–3082. doi: 10.1109/TBME.2020.2975614. [DOI] [PubMed] [Google Scholar]
  • 8.Kapgate D, Kalbande D, Shrawankar U An optimized facial stimuli paradigm for hybrid SSVEP + P300 Brain Computer Interface. Cogn Syst Res. 2020;59(C):114–122. doi: 10.23736/S0390-5616.19.04755-6. [DOI] [PubMed] [Google Scholar]
  • 9.Beveridge R, Wilson S, Callaghan M, et al Neurogaming with motion-onset visual evoked potentials (mVEPs): adults versus teenagers. IEEE Trans Neural Syst Rehabil Eng. 2019;27(4):572–581. doi: 10.1109/TNSRE.2019.2904260. [DOI] [PubMed] [Google Scholar]
  • 10.Lee M, Kwon O, Kim Y, et al EEG dataset and OpenBMI toolbox for three BCI paradigms: an investigation into BCI illiteracy. GigaScience. 2019;8(5):1–16. doi: 10.1093/gigascience/giz002. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 11.Li A, Alimanov K, Fazli S, et al Towards paradigm-independent Brain-Computer Interfaces// 2020 8th International Winter Conference on Brain-Computer Interface (BCI) Gangwon: IEEE. 2020:1–6. [Google Scholar]
  • 12.Van B, Van S, Alimardini M Inner speech classification using EEG signals: A deep learning approach// 2021 IEEE 2nd International Conference on Human-Machine Systems (ICHMS) Magdeburg: IEEE. 2021:1–4. [Google Scholar]
  • 13.Cheng Ming, Gao Xiaorong, Gao Shangkai, et al Design and implementation of a Brain-Computer Interface with high transfer rates. IEEE Trans Biomed Eng. 2002;49:1181–1186. doi: 10.1109/TBME.2002.803536. [DOI] [PubMed] [Google Scholar]
  • 14.Volosyak I SSVEP based bremen-BCI Interface-boosting information transfer rates. J Neural Eng. 2011;8(3):036020. doi: 10.1088/1741-2560/8/3/036020. [DOI] [PubMed] [Google Scholar]
  • 15.Zhang Yangsong, Xu Peng, Cheng Kaiwen, et al Multivariate synchronization index for frequency recognition of SSVEP-based Brain-Computer Interface. J Neurosci Methods. 2014;221(Complete):32–40. doi: 10.1016/j.jneumeth.2013.07.018. [DOI] [PubMed] [Google Scholar]
  • 16.Bin Guangyu, Gao Xiaorong, Yan Zheng, et al An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J Neural Eng. 2009;6(4):046002. doi: 10.1088/1741-2560/6/4/046002. [DOI] [PubMed] [Google Scholar]
  • 17.Wong C M, Wang Boyu, Wang Ze, et al Spatial filtering in SSVEP-based BCIs: Unified framework and new improvements. IEEE Trans Biomed Eng. 2020;67(11):3057–3072. doi: 10.1109/TBME.2020.2975552. [DOI] [PubMed] [Google Scholar]
  • 18.Yuan Peng, Chen Xiaogang, Wang Yijun, et al Enhancing performances of SSVEP-based Brain-Computer Interfaces via exploiting inter-subject information. J Neural Eng. 2015;12(4):046006. doi: 10.1088/1741-2560/12/4/046006. [DOI] [PubMed] [Google Scholar]
  • 19.Lao K F, Wong C M, Wang Ze, et al Learning prototype spatial filters for subject-independent SSVEP-based Brain-Computer Interface// 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC) Miyazaki: IEEE. 2018:485–490. [Google Scholar]
  • 20.Doganaksoy N A simplified formulation of likelihood ratio confidence intervals using a novel property. Technimetrics. 2021;63(1):127–135. doi: 10.1080/00401706.2020.1750488. [DOI] [Google Scholar]
  • 21.Wong C M, Wang Ze, Wang Boyu, et al Inter- and intra-subject transfer reduces calibration effort for high-speed SSVEP-based BCIs. IEEE Trans Neural Syst Rehabil Eng. 2020;28(10):2123–2135. doi: 10.1109/TNSRE.2020.3019276. [DOI] [PubMed] [Google Scholar]
  • 22.Wong C M, Wan Feng, Wang Boyu, et al Learning across multi-stimulus enhances target recognition methods in SSVEP-based BCIs. J Neural Eng. 2020;17(1):016026. doi: 10.1088/1741-2552/ab2373. [DOI] [PubMed] [Google Scholar]
  • 23.Zhang Li, Guo Liang, Gao Hongli, et al Instance-based ensemble deep transfer learning network: A new intelligent degradation recognition method and its application on ball screw. Mech Syst Signal Process. 2020;140:106681. doi: 10.1016/j.ymssp.2020.106681. [DOI] [Google Scholar]
  • 24.Bin Guangyu, Gao Xiaorong, Wang Yijun, et al A high-speed BCI based on code modulation VEP. J Neural Eng. 2011;8(2):025015. doi: 10.1088/1741-2560/8/2/025015. [DOI] [PubMed] [Google Scholar]
  • 25.Zhang Yu, Zhou Guoxu, Zhao Qibin, et al Multiway canonical correlation analysis for frequency components recognition in SSVEP-based BCIs// 18th International Conference on Neural Information Processing. Shanghai: Springer. 2011:287–295. [Google Scholar]
  • 26.Chen Xiaogang, Wang Yijun, Nakanishi M, et al High-speed spelling with a noninvasive Brain-Computer Interface. PNAS. 2015;112(44):E6058–6067. doi: 10.1073/pnas.1508080112. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 27.Nakanishi M, Wang Yijun, Chen Xiaogang, et al Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis. IEEE Trans Biomed Eng. 2018;65(1):104–112. doi: 10.1109/TBME.2017.2694818. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 28.Tanaka H, Miyakoshi M Cross-correlation task-related component analysis (xTRCA) for enhancing evoked and induced responses of event-related potentials. NeuroImage. 2019;197:177–190. doi: 10.1016/j.neuroimage.2019.04.049. [DOI] [PubMed] [Google Scholar]
  • 29.Qin Ke, Wang Raofen, Zhang Yu Filter bank-driven multivariate synchronization index for training-free SSVEP BCI. IEEE Trans Neural Syst Rehabil Eng. 2021;29:934–943. doi: 10.1109/TNSRE.2021.3073165. [DOI] [PubMed] [Google Scholar]
  • 30.Wong C M, Wang Ze, Rosa A C, et al Transferring subject-specific knowledge across stimulus frequencies in SSVEP-based BCIs. IEEE Trans Autom Sci Eng. 2021;18(2):552–563. doi: 10.1109/TASE.2021.3054741. [DOI] [Google Scholar]
  • 31.Yang Chen, Li Xiang, Shi Nanlin, et al A dynamic window SSVEP-based brain-computer interface system using a spatio-temporal equalizer// Guger C, Allison B Z, Miller K. Brain–computer interface research. SpringerBriefs in electrical and computer engineering. Cham: Springer. 2020:87–105. [Google Scholar]
  • 32.Wang Yijun, Chen Xiaogang, Gao xiaorong, et al A benchmark dataset for SSVEP-based Brain-Computer Interfaces. IEEE Trans Neural Syst Rehabil Eng. 2017;25(10):1746–1752. doi: 10.1109/TNSRE.2016.2627556. [DOI] [PubMed] [Google Scholar]
  • 33.Portnova V Lack of a sense of threat and higher emotional lability in patients with chronic microvascular ischemia as measured by non-linear EEG parameters. Front Neurol. 2020;11:122. doi: 10.3389/fneur.2020.00122. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 34.Alhalaseh R, Alhalaseh S Machine-learning-based emotion recognition system using EEG signals. Computers. 2020;9(4):95. doi: 10.3390/computers9040095. [DOI] [Google Scholar]
  • 35.Zhang Ruilong, Zong Qun, Dou Liqian, et al Hybrid deep neural network using transfer learning for EEG motor imagery decoding. Biomed Signal Process Control. 2021;63:102144. doi: 10.1016/j.bspc.2020.102144. [DOI] [Google Scholar]
  • 36.Monga V, Li Y, Eldar Y C Algorithm unrolling: interpretable, efficient deep learning for signal and image processing. IEEE Signal Process Mag. 2021;38(2):18–44. doi: 10.1109/MSP.2020.3016905. [DOI] [Google Scholar]
  • 37.Haque I, Neubert J Deep learning approaches to biomedical image segmentation. Inform Med Unlocked. 2020;18:100297. doi: 10.1016/j.imu.2020.100297. [DOI] [Google Scholar]
  • 38.Gonzalez G, Evans L Biomedical image processing with containers and deep learning: an automated analysis pipeline: data architecture, artificial intelligence, automated processing, containerization, and clusters orchestration ease the transition from data acquisition to insights in medium-to-large datasets. BioEssays. 2019;41(6):1900004. doi: 10.1002/bies.201900004. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 39.Azimi M, Eslamlou D, Pekcan G Data-driven structural health monitoring and damage detection through deep learning: state-of-the-art review. Sensors. 2020;20(10):2778. doi: 10.3390/s20102778. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 40.Roberts R, Giancontieri G, Inzerillo L, et al Towards low-cost pavement condition health monitoring and analysis using deep learning. Appl Sci. 2020;10(1):319. doi: 10.3390/app10010319. [DOI] [Google Scholar]
  • 41.Ye X W, Jin T, Yun C B A review on deep learning-based structural health monitoring of civil infrastructures. Smart Struct Syst. 2019;24(5):567–586. [Google Scholar]
  • 42.Piccialli F, Di Somma V, Giampaolo F, et al A survey on deep learning in medicine: why, how and when? Information Fusion. 2021;66:111–137. doi: 10.1016/j.inffus.2020.09.006. [DOI] [Google Scholar]
  • 43.Khalifa M, Taha N, Ali E, et al Artificial intelligence technique for gene expression by tumor RNA-Seq data: a novel optimized deep learning approach. IEEE Access. 2020;8:22874–22883. doi: 10.1109/ACCESS.2020.2970210. [DOI] [Google Scholar]
  • 44.Seal B, Das V, Goswami S, et al Estimating gene expression from DNA methylation and copy number variation: a deep learning regression model for multi-omics integration. Genomics. 2020;112(4):2833–2841. doi: 10.1016/j.ygeno.2020.03.021. [DOI] [PubMed] [Google Scholar]
  • 45.Oh L, Hagiwara Y, Raghavendra U, et al A deep learning approach for Parkinson’s disease diagnosis from EEG signals. Neural Comput Appl. 2020;32(15):10927–10933. doi: 10.1007/s00521-018-3689-5. [DOI] [Google Scholar]
  • 46.Lih S, Jahmunah V, San R, et al Comprehensive electrocardiographic diagnosis based on deep learning. Artif Intell Med. 2020;103:101789. doi: 10.1016/j.artmed.2019.101789. [DOI] [PubMed] [Google Scholar]
  • 47.Huang Dongjin, Wang Xianglong, Liu Jinhua, et al Virtual reality safety training using deep EEG-net and physiology data. Vis Comput. 2021:1–13. [Google Scholar]
  • 48.Zhu Yuanlu, Li Ying, Lu Jinling, et al EEGNet with ensemble learning to improve the cross-session classification of SSVEP based BCI from ear-EEG. IEEE Access. 2021;9:15295–15303. doi: 10.1109/ACCESS.2021.3052656. [DOI] [Google Scholar]
  • 49.Xu Lichao, Xu Minpeng, Ke Yufeng, et al Cross-dataset variability problem in EEG decoding with deep learning. Front Hum Neurosci. 2020;14:103. doi: 10.3389/fnhum.2020.00103. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 50.Chiang K J, Wei C S, Nakanishi M, et al Boosting template-based SSVEP decoding by cross-domain transfer learning. J Neural Eng. 2021;18(1):016002. doi: 10.1088/1741-2552/abcb6e. [DOI] [PubMed] [Google Scholar]

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University

RESOURCES