Abstract
基于稳态视觉诱发电位(SSVEP)的脑-机接口(BCI)系统具有信噪比高、用户所需训练时间短等优势,已成为主流范式之一。对SSVEP特征快速精准解码是SSVEP-BCI系统研究的关键步骤。然而,当前研究中缺少对SSVEP解码算法系统的梳理,以及对算法间联系与差异的分析,使研究者难以在特定情况下选择最优的算法。针对此问题,本文总结了近年来SSVEP解码算法的研究进展,分为无训练和有训练算法两大类,介绍了典型相关分析(CCA)和任务相关成分分析(TRCA)等解码算法及其改进算法的基本原理和适用范围,接着介绍了解码算法中常用的处理设计策略,最后讨论了SSVEP解码算法的机遇与挑战。
Keywords: 脑-机接口, 稳态视觉诱发电位, 解码算法, 模式识别, 特征提取
Abstract
Brain-computer interface (BCI) systems based on steady-state visual evoked potential (SSVEP) have become one of the major paradigms in BCI research due to their high signal-to-noise ratio and short training time required by users. Fast and accurate decoding of SSVEP features is a crucial step in SSVEP-BCI research. However, the current researches lack a systematic overview of SSVEP decoding algorithms and analyses of the connections and differences between them, so it is difficult for researchers to choose the optimum algorithm under different situations. To address this problem, this paper focuses on the progress of SSVEP decoding algorithms in recent years and divides them into two categories—trained and non-trained—based on whether training data are needed. This paper also explains the fundamental theories and application scopes of decoding algorithms such as canonical correlation analysis (CCA), task-related component analysis (TRCA) and the extended algorithms, concludes the commonly used strategies for processing decoding algorithms, and discusses the challenges and opportunities in this field in the end.
Keywords: Brain-computer interface, Steady-state visual evoked potentials, Decoding algorithm, Pattern recognition, Feature extraction
引言
脑-机接口(brain-computer interface,BCI)是将中枢神经系统活动直接转化为人工输出的系统,它能够替代、修复、增强、补充或改善中枢神经系统的正常输出,从而改善中枢神经系统与内外环境之间的交互作用[1-2]。视觉型BCI是通过采集经视觉刺激调制后的脑电信号,识别与大脑意图相关的脑电特征,并将其转化为机器指令输出的系统。常见的视觉型BCI包括稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)[3-4]、P300[5-6]、SSVEP-P300混合范式[7-8]和基于运动起始视觉诱发电位(motion-onset visual evoked potential,mVEP)[9]等。其中SSVEP因具有诱发特征稳定、信噪比(signal-to-noise radio,SNR)高等优点,引起了广泛关注,已成为BCI三大主流范式之一[10-12]。
SSVEP-BCI系统主要包括编码和解码两部分,编码是将不同频率、相位等信息转换为用于诱发相应脑电信号的闪烁刺激特征的过程。解码是对脑电信号进行提取识别,其识别的精度直接决定了SSVEP-BCI系统的性能,是BCI系统高效准确识别的关键所在。为此,国内外研究者从时间、空间、频率及相位等方面开展了SSVEP解码算法研究,先后提出了典型相关分析(canonical correlation analysis,CCA)、任务相关成分分析(task-related component analysis,TRCA)等经典解码算法,取得了较好的效果,已广泛应用于SSVEP研究。然而,由于SSVEP解码算法类别众多,且不同解码算法的基本原理和适用范围各不相同,目前尚未有研究对SSVEP算法进行系统梳理和对比,致使研究者难以根据特定情况选择最优的解码算法。
本文总结了近几年SSVEP解码算法的研究进展,首先按照是否需要被试的个体训练数据,将SSVEP解码算法分为无训练和有训练解码算法两类。对于无训练解码算法,即无需额外被试个体数据作校准的算法,介绍了包括功率谱密度分析(power spectral density analysis,PSDA)、最小能量组合(minimum energy combination,MEC)、CCA等经典解码算法及其相应的扩展改进算法。对于有训练解码算法,即需要额外被试个体数据训练得到最优模型,用其解码测试个体数据的算法,介绍了TRCA及其改进算法,以及有训练的CCA改进算法。其次,本文介绍了包括滤波器组(filter bank)、跨频率学习(multi-stimulus)、动态停止(dynamic stopping)等在内的常见算法设计策略,最后讨论了SSVEP解码算法的机遇与挑战。为方便读者对不同算法描述符号和流程分析的理解,表1列举了本文中使用的主要符号及其说明。
表 1. Main notations and descriptions.
主要符号及其说明
符号 | 说明 |
![]() |
被试数 |
![]() |
除目标被试外,其余被试数 |
![]() |
刺激类别数 |
![]() |
刺激试次数 |
![]() |
刺激采样点数 |
![]() |
采集导联数 |
![]() |
谐波阶次数 |
![]() |
单导联脑电数据 |
![]() |
脑电数据(导联×时间采样点) |
![]() |
测试脑电数据(导联×时间采样点) |
![]() |
单试次脑电数据,![]() ![]() |
![]() |
按试次平均脑电数据,![]() |
![]() |
参考信号,![]() |
![]() |
空间滤波器 |
![]() |
空间滤波器的最优估计 |
1. 无训练解码算法
在BCI发展的早期,研究者对SSVEP信号的空间分布形态尚不明确,因此SSVEP信号识别方法仅存在于非空间解码水平。对于非空间解码算法,PSDA曾广泛用于单导联频率检测。随着对SSVEP理解的深入及脑电信号处理的进一步发展,以CCA为代表的空间滤波方法被开发来滤除背景脑电,增强诱发特征SNR,被广泛用于SSVEP-BCI系统。常用的无训练空间解码算法包括MEC、多元同步指数(multivariate synchronization index,MSI)以及最新提出的基于时空均衡动态时间窗策略(spatio-temporal equalization dynamic window,STE-DW),都证明比传统的PSDA方法更有效。本节按算法提出的时间顺序,对无训练算法从基本原理和适用范围两方面进行介绍。
1.1. 功率谱密度分析
Cheng等[13]在2002年提出利用快速傅里叶变换(fast Fourier transform,FFT)将脑电信号从时域变换到频域,由此获得信号功率和幅值沿频率分布的曲线,用来检测单导联脑电数据的频率。其本质是离散傅里叶变换(discrete Fourier transform,DFT)。
假设单导联脑电数据,利用DFT计算出的离散频谱
)。见式(1):
![]() |
1 |
为便于快速计算,将采样点数量拓展为2的幂次方。假设所有刺激频率均为奇数,是刺激频率
下的功率密度值,
是功率谱峰值对应的频率。见式(2):
![]() |
2 |
若 为奇数,取
作为识别频率
;若
为偶数,取
左右两点频率最大值作为识别频率
。
1.2. 最小能量组合
Volosyak[14]在2011年将能够降低噪声能量和增强有效特征的MEC算法应用于在线BCI系统。
假设某试次脑电数据为。建立脑电信号模型,将
分解成两部分。见式(3):
![]() |
3 |
其中, 是正弦谐波频率混合信号,
是加权矩阵,
是正余弦参考信号如式(4)所示,E 是干扰信号及噪声,
和
为混叠系数,f为基频频率。
![]() |
4 |
定义一个与线性相关的导联矢量
。见式(5):
![]() |
5 |
其中 是单导联信号的加权矩阵,将其扩展到
个导联,即
。如式(6):
![]() |
6 |
需要求解空间滤波器 ,用其对
进行滤波,使
中的噪声最小。算法主要步骤如下。
利用正交投影来移除模型中有效信号特征,获得噪声信号的估计 。见式(7):
![]() |
7 |
求解 使得噪声信号的能量最小。见式(8):
![]() |
8 |
将其转化为广义特征值问题,并按照特征贡献率选取 个特征向量组成
,结合式(5)和式(9)计算SSVEP能量大小。
![]() |
9 |
在实际应用中,计算并标准化各个频率下脑电信号所包含的SSVEP能量,见式(10):
![]() |
10 |
最终选取最大的SSVEP能量 所对应的频率为识别频率。
1.3. 多元同步指数
Zhang等[15]在2014年提出利用MSI识别多频率脑电信号,在数据长度较短和导联数较少的情况下取得了良好的性能。MSI通过估计脑电信号与正余弦参信号之间的同步指数来识别刺激频率。
假设单试次脑电数据为 ,
为正余弦参考信号。定义相关矩阵
如式(11):
![]() |
11 |
为减少 和
自相关对同步度量带来的影响,利用白化矩阵
去除
中的特征相关性。见式(12):
![]() |
12 |
经过变换后的相关矩阵 见式(13):
![]() |
13 |
设 是
的特征值,将其标准化。见式(14):
![]() |
14 |
与
之间的同步指数为
。见式(15):
![]() |
15 |
在实际应用中,分别计算各个频率脑电信号与模板之间的同步指数 ,最终选取最大的
所对应的频率为识别频率。
1.4. 典型相关分析
Bin等[16]在2009年搭建了利用CCA算法解码的在线SSVEP-BCI系统,识别准确率达95.3%,信息传输速率(information transfer rate,ITR)达(58 ± 9.6)bits/min。CCA和MSI都是衡量两组变量相关性的方法。相关研究表明,随刺激频率及导联数的增加,CCA的分类准确率高于MEC和MSI[17]。CCA的思想通过寻找两组高维向量的投影矩阵,用其对高维向量降维,使降维后两向量间相关性最大,具体过程如下:
假设第 个目标下第
个试次对应脑电信号
,
是正余弦参考信号。CCA过程如式(16):
![]() |
16 |
其中 代表数学期望。在实际应用中,分别计算各频率脑电信号与参考信号之间的
,最终选取最大的
对应的频率为识别频率。
1.5. 基于迁移学习模板的典型相关分析
因不同被试间SSVEP信号的任务相关(task-related)特征相似,若利用CCA解码目标被试(target subject)时,将模板中加入其他被试(称为源被试,source subject)任务相关信息作为个体模板,可有效提高算法分类准确率。基于此思想,Yuan等[18]在2015年提出了基于迁移模板的典型相关分析(transfer template-based canonical correlation analysis,ttCCA)。当数据长度为1.5 s时,ttCCA分类准确率相较CCA提高了18.78%。
假设目标被试测试信号 ,源模板(source template)
是源被试数据按被试和试次平均后的结果。见式(17):
![]() |
17 |
假设任务相关空间滤波器在同类的不同源被试间相似,而不同类的空间滤波器不同,对于 类需学习
个不同的空间滤波器。因此分别计算测试信号
与正余弦参考信号
经CCA后获得的任务相关空间滤波器
和
,源模板
与正余弦参考信号
经CCA后获得的空间滤波器
和
。对
和
滤波后计算多个相关系数,系数向量
。见式(18):
![]() |
18 |
将相关系数融合后得到融合系数。见式(19):
![]() |
19 |
最终选取最大的 对应的频率为识别频率。
1.6. 基于迁移学习模板和滤波器的典型相关分析
ttCCA假设滤波器在同类的不同源被试间相似,从源模版中学习到的 并没有考虑到不同源被试之间的误匹配,会导致潜在问题。因此Lao等[19]在2018年提出了基于迁移学习模板和滤波器的典型相关分析(transfer template and filter canonical correlation analysis,ttfCCA),来进一步优化ttCCA。
与ttCCA利用源被试平均模板 学习滤波器不同,ttfCCA从各个源被试数据中学习可迁移的空间滤波器。此外,ttfCCA假设不同类的空间滤波器也相似,因此从不同类学到的任务相关空间滤波器(这里称基础滤波器,basis filters)存在于低维子空间,而非
空间。
假设第 名被试的第
类刺激按试次平均脑电数据为
。利用最大化均方余弦相似度(average square cosine similarity)从各个源被试的任务相关滤波器中得到基础滤波器的估计
,其中
表示
与正余弦参考信号
经过CCA得到的空间滤波器如式(20)所示:
![]() |
20 |
对优化目标进行特征分解得到包含 个特征值和特征向量,利用轮廓对数似然[20]求解出一个适当的数
,并取特征向量前
列作为第
名被试基础滤波器(因篇幅限制,此处省略
的求解过程)。对所有源被试脑电数据重复上述步骤,得到
组基础滤波器。将基础滤波器依次拼接,得到滤波器
,其描述了多数被试任务相关滤波器所依赖的子空间。
利用进一步求解可跨越低维子空间的基础滤波器(这里称为原型滤波器,prototype filters)。见式(21):
![]() |
21 |
其中 ,再求出原型滤波器所需滤波器数量
。最终所选择出的
个原型滤波器
作为任务相关空间滤波器的最优估计。
在实际应用中,利用正余弦参考信号 和
个原型滤波器对目标被试某一试次的测试数据
和源模版
进行滤波,得到
个
与源模板之间的相关系数。通过空间滤波后获得相关系数向量
。见式(22):
![]() |
22 |
将所有相关系数进行融合得到融合系数 。见式(23):
![]() |
23 |
最终选取最大的对应的频率为识别频率。
1.7. 基于被试迁移学习模板的典型相关分析
Wong等[21]在2020年提出了基于被试迁移模板的典型相关分析(subject transfer-based canonical correlation analysis,stCCA)。stCCA充分利用不同源被试与目标被试的个体信息,只需少量校准数据就能发挥出好的性能,结果证明仅利用9次校准试次,ITR可达(198.18 ± 59.12)bits/min。
假设源被试个体内的空间滤波器在不同频率的刺激下通用,且不同源被试的模板在低维子空间可共享。依据跨频率学习策略[22],通用空间滤波器可利用个不同频率的校准数据来计算。见式(24):
![]() |
24 |
其中 和
是
个频率拼接的脑电数据模板
和参考信号
。见式(25):
![]() |
25 |
其中
代表K个对应刺激频率由小到大的频率索引向量。由于对测试数据没有先验知识,作者利用选择策略从
个频率中选出
个频率,这里省略选择过程。因选择策略未利用各类刺激频率
,因此stCCA空间滤波器在所有刺激频率中通用,用
和
表示滤波器的估计。
根据基于实例(instance-based)的迁移学习方法[23]将源被试经空间滤波后的SSVEP模板加权求和,可近似得到目标被试经空间滤波后的SSVEP模板,具体过程如图1所示。
图 1.
Illustration of the inter-subject SSVEP template [21]
被试间SSVEP模板实现方式[21]
通过最小化目标被试 个经空间滤波的SSVEP模板
和
名源被试
个经空间滤波的SSVEP模板
的加权和的平方误差,来确定各个源被试所占权重
,利用多元线性回归(multivariate linear regression,MLR)求解。见式(26):
![]() |
26 |
其中 ,
是目标被试
个空间滤波后SSVEP模板的拼接信号,
是来自
名源被试的
个空间滤波后的SSVEP模板,
代表Frobenius范数,其解为
。最后计算加权求和后,源被试间SSVEP模板
。见式(27):
![]() |
27 |
在实际应用中,对于测试数据 ,计算融合系数
。见式(28):
![]() |
28 |
最终选取最大的 对应的频率为识别频率。
2. 有训练解码算法
无训练解码算法不需被试的个体数据,训练成本低,具有良好的适用性,但因缺乏目标被试的个体信息,难以满足实际场景下对高准确率、高精度BCI系统的需求。有训练算法可以从训练数据中学习生成符合被试脑电特征的空间滤波器和SSVEP模板,进一步提高分类准确率。下面对有训练数据的CCA改进算法,以及TRCA及其改进算法进行介绍。
2.1. 基于个体模板的典型相关分析
Bin等[24]在2011年提出基于个体模板的典型相关分析(individual template-based canonical correlation analysis,itCCA)。itCCA与CCA的区别在于将CCA中正余弦参考信号替换为基于个体的平均模板,以更好地评估被试状态。
对第 个刺激目标,个体平均模板
可以通过平均多个训练试次得到,即
。itCCA中的CCA过程如式(29)所示:
![]() |
29 |
最终选取最大的对应的频率为识别频率。
2.2. 多路典型相关分析
Zhang等[25]在2011年提出多路典型相关分析(multiway canonical correlation analysis,mwayCCA),通过最大化脑电数据张量和正余弦模版之间的相关性来获得更有效的SSVEP参考信号。相比正余弦参考信号,mwayCCA得到的参考信号不仅包含了SSVEP的频率成分,还包含了个体间和试次间的变异性信息。
假设第 i 个刺激目标所对应的脑电信号为 。在正余弦参考信号
的基础上,通过优化导联权重和试次权重从时域中获得更具有鲁棒性的参考信号。其优化过程为寻找权重向量
、
和
,使
与
之间相关系数最大具体过程如式(30)所示:
![]() |
30 |
其中 ,
,运算符
和
代表张量与向量相乘(又称模态积,n-mode product)。对于
阶张量
,与向量
相乘过程如式(31)所示:
![]() |
31 |
求解此优化目标采用交替算法,先固定 求解
和
,再固定
和
求解
。重复此过程,直至满足收敛条件,最终选取最大的
对应的频率为识别频率。
优化后的参考信号 如式(32)所示:
![]() |
32 |
2.3. 扩展典型相关分析
Chen等[26]在2015年提出的扩展典型相关性分析(extended canonical correlation analysis,eCCA)结合了CCA和itCCA的优势,同时应用了个体平均模板和正余弦参考信号的相关信息。eCCA的空间滤波器由三部分组成:测试数据和个体平均模板经CCA获得的空间滤波器 ,测试数据和正余弦参考信号经CCA获得的空间滤波器
,以及个体平均模板和正余弦参考信号经CCA获得的空间滤波器
。通过空间滤波后获得的相关系数向量
如式(33)所示:
![]() |
33 |
利用相关值的加权平方和作为目标识别的决策值。见式(34):
![]() |
34 |
最终选取最大的 对应的频率为识别频率。
2.4. 任务相关成分分析
Nakanishi等[27]在2018年首次将TRCA算法用于SSVEP解码,通过最大化同一任务在不同试次间的相似性,来提高信号SNR和分类准确率。实验结果表明利用TRCA的在线BCI拼写系统平均ITR达到(325.33 ± 38.17)bits/min。
假设导联 所采集的脑电信号
,由任务相关信号
和任务无关信号
的线性组合构成。见式(35):
![]() |
35 |
其中 和
分别表示任务相关信号与任务无关信号对应的混合系数。
假设其他导联所采集的信号为线性组合。见式(36):
![]() |
36 |
将 视为任务相关信号
的估计,为最大程度地保留任务相关成分及减少无关成分,利用试次间协方差最大化使
。假设第
个试次原始脑电信号和任务相关信号为
和
,将所有试次组合。见式(37):
![]() |
37 |
其中 见式(38):
![]() |
38 |
为获得确定解,限定 的方差为1。见式(39):
![]() |
39 |
该约束优化问题可转换为式(40):
![]() |
40 |
根据广义瑞利商,空间滤波器 的最优估计
为矩阵
的最大特征值对应的特征向量。
利用训练数据 通过TRCA获得对应的空间滤波器
,再利用
对测试数据
和按试次平均的训练数据
进行滤波,计算两者的相关系数
,最终选取最大相关系数对应的频率为识别频率。
因不同视觉刺激对应的空间滤波器存在相似性,Nakanishi等[27]又提出集成任务相关成分分析(ensemble task-related component analysis,eTRCA)。拼接全部类别对应的空间滤波器模板 ,得到集成空间滤波器
。经
滤波后测试数据变为
,分别将
和
按行拼接成两个向量,计算两者相关系数
,最终选取最大相关系数对应的频率为识别频率。
2.5. 互关联任务相关成分分析
TRCA默认试次间脑电信号诱发时间和初始相位相同,但试次间初始相位会随被试状态变化,导致基线偏移。Tanaka 等[28]在2019年提出互关联任务相关成分分析(cross-correlation task-related component analysis,xTRCA),其目的是用于事件相关电位(event-related potential,ERP)分析中各试次相位对齐,以提高信号SNR。本文认为该算法思想亦有潜力应用于SSVEP信号,将其列入文中。但目前如何将xTRCA融合于SSVEP信号,以及其对于SSVEP信号的解码效果暂时没有相关的公开研究。
同时考虑滤波器 与时延向量
,则将原TRCA约束问题转换为式(41),
为时延向量的估计:
![]() |
41 |
初始化 =
为零向量,计算当前时延向量下
的最大特征值
作为初始特征值。迭代更新
、
从而进一步更新主特征值
,直至满足式(42)时停止迭代(阈值
在文中取
):
![]() |
42 |
3. 算法设计策略及总结
算法设计策略是对脑电信号的预处理方式,不同设计策略基于的假设与提取的信息各不相同,因此实现方式也各不相同。但这些设计策略可以较好地与常用的经典解码算法(如CCA、TRCA等)相结合,从而进一步提高算法的性能。常用的设计策略包括滤波器组、跨频率学习及动态停止等。
滤波器组策略通过设计多组可覆盖刺激频率基频和谐波分量的滤波器,来更好地提取蕴藏在脑电信号中的谐波响应信息。Qin等[29]利用滤波器组策略,显著提升了MSI的性能,在线SSVEP实验平均准确率达83.56%,相较标准MSI提高12.26%。
跨频率学习策略基于SSVEP在不同刺激频率中空间分布模式相似的思想[30],同时从目标刺激训练数据和目标周围刺激训练数据中学习空间滤波器,扩大了可用训练数据的规模及空间滤波器的泛化性能。Wong等[22]将跨频率学习策略扩展到主流算法,形成ms-eCCA和ms-eTRCA。结果表明扩展后的ms-eCCA(ms-eTRCA)表现明显优于eCCA(eTRCA),且两者组合(即ms-eCCA+ms-eTRCA)的效果最好。
动态停止策略考虑到脑电信号跨时间变异性,利用贝叶斯方法估计当前数据长度下达到输出条件的置信度。Yang等[31]将该策略结合时间和空间信息进一步开发出STE-DW方法,并在决策时采用MEC,使平均ITR达134 bits/min。
综合上述算法,表2[14-16,18-19,21-22,24-27,32]列举了各算法间综合性能的对比。需要注意的是,由于不同文献中对数据长度、训练样本个数等参数的选择及算法实现方式存在差异,不同文献间的数据对比仅供参考。结合表2,就实用性而言,无训练算法无疑是最好的选择;就性能而言,需要被试数据进行训练的解码算法能更好地提取出SSVEP信号特征。在选择算法时需从系统指令数及系统实用性等多方面衡量。对指令数较少需求较少的家用BCI系统或特殊人群(如残障患者等),应首选无训练解码算法。对指令数需求较大或需大量有标签训练数据的BCI系统,可选择有训练解码算法。
表 2. Performance comparison of all algorithms.
各算法综合性能对比
有/无训练 | 算法名称 | 数据库来源 | 指令 | 数据 长度/s |
平均 正确率(%) |
平均 ITR/(bits·min−1) |
算法特点 |
注:符号*表示估计值,文献中并未给出明确结果;符号▲表示离线结果;数据长度未包含视线转移时间 | |||||||
无 | MEC[14] | 私有 | 5 | 变化 | 96.7* | 61.7 | 降低噪声、提高有效信号信噪比 |
MSI[15] | 私有 | 4 | 1.5 | 86.0 | 19.4 | 适用数据短、导联少的情况 | |
CCA[16] | 私有 | 6 | 2 | 95.3 | 58.7 | 提取空间特征信息 | |
ttCCA[18] | 清华公开[32] | 40 | 1.5 | 86.0*▲ | 58.3*▲ | 模板中加入其他个体信息 | |
ttfCCA[19] | 清华公开 | 40 | 0.75 | 61.8▲ | 112.4▲ | 跨被试提取任务相关滤波器 | |
stCCA[21] | 清华公开 | 40 | 0.8 | 89.6▲ | 198.2▲ | 共享迁移模板和滤波器 | |
有 | itCCA[24] | 私有 | 32 | 1.05 | 85.0 | 108.0 | 模板中加入个体信息 |
mwayCCA[25] | 私有 | 4 | 1 | 85.3 | 38.7 | 模板中加入个体间、试次间信息 | |
eCCA[26] | 私有 | 40 | 1 | 91.0 | 267.1 | 集成多组模板、滤波器 | |
TRCA[27] | 私有 | 40 | 0.4 | 86.0* | 266.5 | 最大化不同试次间相似性 | |
eTRCA[27] | 私有 | 40 | 0.3 | 89.8 | 325.3 | 集成TRCA多组滤波器 | |
ms-eCCA[22] | 清华公开 | 40 | 1 | 79.8▲ | 200.7▲ | 通过跨频率学习个体信息,在小训练样本下获得良好识别效果 | |
ms-eTRCA[22] | 清华公开 | 40 | 1 | 76.3▲ | 189.8▲ | ||
ms-eCCA+ ms-eTRCA[22] | 清华公开 | 40 | 1 | 82.4▲ | 212.4▲ |
4. 机遇与挑战
BCI技术发展迅速,高性能、高速率的SSVEP-BCI系统相继被开发出来。但因脑电信号的非线性[33]、非稳定性[34]及个体差异性[35],如何利用跨设备、跨被试、跨时间、跨试次的脑电信号来扩充样本量,从而减少训练过程成为了新的研究热点。未来可借助深度学习和迁移学习等新技术来发展解码算法。深度学习作为目前最热门的机器学习方法,已广泛应用于图像处理[36-38]、健康监测[39-41]、药物研发[42]、基因组分析[43-44]及疾病诊断[45-46]等众多生物医学与医疗健康领域,EEG-Net等适用于视觉诱发电位的深度学习网络也在不同范式下取得了相对较高的性能[47-49]。但深度学习需要大量样本来训练模型,ITR低且数量有限的样本大大影响了模型的训练效果。迁移学习算法可有效解决深度学习所面临的样本量不足问题,例如基于最小二乘变换(least squares transformation,LST)的迁移学习利用跨被试、跨时间、跨试次的训练数据,提高了SSVEP解码精度[50]。但由于脑电信号个体差异较大,高性能的迁移学习算法还亟待进一步探索。
SSVEP-BCI系统需要依赖显示设备来呈现刺激,最常用的显示设备为计算机显示屏,因此难以实现可穿戴而限制了BCI系统的便携性;注意力始终集中在屏幕的视觉刺激上,也限制了用户对周围信息的获取,导致交互不自然。利用沉浸式头戴设备(如Hololens和N-Goggle等)提供视觉刺激的SSVEP-BCI系统近几年被开发出来。但受硬件限制,头戴设备刷新率不稳定造成的刺激频率不准确会影响实验效果。
在实际应用场景中,理想的BCI系统应允许被试通过主动控制思维活动,来实现对外设的实时控制。同步BCI系统需被试在系统的同步提示下进行任务切换,被试并非真正意义上控制系统。相较同步BCI系统,异步BCI系统的控制方式更加灵活。其通过不间断检测被试状态,以确定被试是否处于任务态。异步BCI系统提供了更加灵活和自然的脑-机交互方式,而如何准确判断被试任务状态和非任务状态是BCI系统面临的又一挑战。
综上所述,开发出便携性高、交互自由的脑-机交互界面是SSVEP-BCI系统未来的设计语言,而设计出鲁棒性强、分类效率高、迁移性好的解码算法是脑电信号提取和分析的发展方向。
重要声明
利益冲突声明:本文全体作者均声明不存在利益冲突。
作者贡献声明:杨满为综述主要撰写人,完成文献资料的整理收集与分析,以及论文初稿的撰写;钟子平、韩锦参与文献资料分析与论文修改;许敏鹏参与论文的修改与指导;明东参与论文的指导与审校。
Funding Statement
国家杰出青年科学基金(81925020);国家优秀青年科学基金(62122059);国家自然科学基金(81630051,61976152);中国科协青年人才托举工程(2018QNRC001)
The National Natural Science Foundation of China
References
- 1.Wolpaw J R, Wolpaw E W Brain-Computer Interface: Principles and practice. Oxford: Oxford University Press. 2012:3–12. [Google Scholar]
- 2.Xu Minpeng, He Feng, Jung T P, et al Current challenges for the practical application of electroencephalography-based Brain-Computer Interfaces. Engineering. 2021;7(12):1710–1712. doi: 10.1016/j.eng.2021.09.011. [DOI] [Google Scholar]
- 3.Ge Sheng, Jiang Yichuan, Zhang Mingming, et al SSVEP-based Brain-Computer Interface with a limited number of frequencies based on dual-frequency biased coding. IEEE Trans Neural Syst Rehabil Eng. 2021;29:760–769. doi: 10.1109/TNSRE.2021.3073134. [DOI] [PubMed] [Google Scholar]
- 4.Zhao Xi, Wang Zhenyu, Zhang Min, et al A comfortable steady state visual evoked potential stimulation paradigm using peripheral vision. J Neural Eng. 2021;18(5):056021. doi: 10.1088/1741-2552/abf397. [DOI] [PubMed] [Google Scholar]
- 5.Fouad I A, Labib F E M, Mai S M, et al Improving the performance of P300 BCI system using different methods. Netw Model Anal Health Inform Bioinform. 2020;9(1):1–13. doi: 10.1007/s13721-019-0207-3. [DOI] [Google Scholar]
- 6.Jin Jing, Chen Zongmei, Xu Ren, et al Developing a novel tactile P300 Brain-Computer Interface with a cheeks-stim paradigm. IEEE Trans Biomed Eng. 2020;67(9):2585–2593. doi: 10.1109/TBME.2020.2965178. [DOI] [PubMed] [Google Scholar]
- 7.Xu Minpeng, Han Jin, Wang Yijun, et al Implementing over 100 command codes for a high-speed hybrid Brain-Computer Interface using concurrent P300 and SSVEP features. IEEE Trans Biomed Eng. 2020;67(11):3073–3082. doi: 10.1109/TBME.2020.2975614. [DOI] [PubMed] [Google Scholar]
- 8.Kapgate D, Kalbande D, Shrawankar U An optimized facial stimuli paradigm for hybrid SSVEP + P300 Brain Computer Interface. Cogn Syst Res. 2020;59(C):114–122. doi: 10.23736/S0390-5616.19.04755-6. [DOI] [PubMed] [Google Scholar]
- 9.Beveridge R, Wilson S, Callaghan M, et al Neurogaming with motion-onset visual evoked potentials (mVEPs): adults versus teenagers. IEEE Trans Neural Syst Rehabil Eng. 2019;27(4):572–581. doi: 10.1109/TNSRE.2019.2904260. [DOI] [PubMed] [Google Scholar]
- 10.Lee M, Kwon O, Kim Y, et al EEG dataset and OpenBMI toolbox for three BCI paradigms: an investigation into BCI illiteracy. GigaScience. 2019;8(5):1–16. doi: 10.1093/gigascience/giz002. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 11.Li A, Alimanov K, Fazli S, et al Towards paradigm-independent Brain-Computer Interfaces// 2020 8th International Winter Conference on Brain-Computer Interface (BCI) Gangwon: IEEE. 2020:1–6. [Google Scholar]
- 12.Van B, Van S, Alimardini M Inner speech classification using EEG signals: A deep learning approach// 2021 IEEE 2nd International Conference on Human-Machine Systems (ICHMS) Magdeburg: IEEE. 2021:1–4. [Google Scholar]
- 13.Cheng Ming, Gao Xiaorong, Gao Shangkai, et al Design and implementation of a Brain-Computer Interface with high transfer rates. IEEE Trans Biomed Eng. 2002;49:1181–1186. doi: 10.1109/TBME.2002.803536. [DOI] [PubMed] [Google Scholar]
- 14.Volosyak I SSVEP based bremen-BCI Interface-boosting information transfer rates. J Neural Eng. 2011;8(3):036020. doi: 10.1088/1741-2560/8/3/036020. [DOI] [PubMed] [Google Scholar]
- 15.Zhang Yangsong, Xu Peng, Cheng Kaiwen, et al Multivariate synchronization index for frequency recognition of SSVEP-based Brain-Computer Interface. J Neurosci Methods. 2014;221(Complete):32–40. doi: 10.1016/j.jneumeth.2013.07.018. [DOI] [PubMed] [Google Scholar]
- 16.Bin Guangyu, Gao Xiaorong, Yan Zheng, et al An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J Neural Eng. 2009;6(4):046002. doi: 10.1088/1741-2560/6/4/046002. [DOI] [PubMed] [Google Scholar]
- 17.Wong C M, Wang Boyu, Wang Ze, et al Spatial filtering in SSVEP-based BCIs: Unified framework and new improvements. IEEE Trans Biomed Eng. 2020;67(11):3057–3072. doi: 10.1109/TBME.2020.2975552. [DOI] [PubMed] [Google Scholar]
- 18.Yuan Peng, Chen Xiaogang, Wang Yijun, et al Enhancing performances of SSVEP-based Brain-Computer Interfaces via exploiting inter-subject information. J Neural Eng. 2015;12(4):046006. doi: 10.1088/1741-2560/12/4/046006. [DOI] [PubMed] [Google Scholar]
- 19.Lao K F, Wong C M, Wang Ze, et al Learning prototype spatial filters for subject-independent SSVEP-based Brain-Computer Interface// 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC) Miyazaki: IEEE. 2018:485–490. [Google Scholar]
- 20.Doganaksoy N A simplified formulation of likelihood ratio confidence intervals using a novel property. Technimetrics. 2021;63(1):127–135. doi: 10.1080/00401706.2020.1750488. [DOI] [Google Scholar]
- 21.Wong C M, Wang Ze, Wang Boyu, et al Inter- and intra-subject transfer reduces calibration effort for high-speed SSVEP-based BCIs. IEEE Trans Neural Syst Rehabil Eng. 2020;28(10):2123–2135. doi: 10.1109/TNSRE.2020.3019276. [DOI] [PubMed] [Google Scholar]
- 22.Wong C M, Wan Feng, Wang Boyu, et al Learning across multi-stimulus enhances target recognition methods in SSVEP-based BCIs. J Neural Eng. 2020;17(1):016026. doi: 10.1088/1741-2552/ab2373. [DOI] [PubMed] [Google Scholar]
- 23.Zhang Li, Guo Liang, Gao Hongli, et al Instance-based ensemble deep transfer learning network: A new intelligent degradation recognition method and its application on ball screw. Mech Syst Signal Process. 2020;140:106681. doi: 10.1016/j.ymssp.2020.106681. [DOI] [Google Scholar]
- 24.Bin Guangyu, Gao Xiaorong, Wang Yijun, et al A high-speed BCI based on code modulation VEP. J Neural Eng. 2011;8(2):025015. doi: 10.1088/1741-2560/8/2/025015. [DOI] [PubMed] [Google Scholar]
- 25.Zhang Yu, Zhou Guoxu, Zhao Qibin, et al Multiway canonical correlation analysis for frequency components recognition in SSVEP-based BCIs// 18th International Conference on Neural Information Processing. Shanghai: Springer. 2011:287–295. [Google Scholar]
- 26.Chen Xiaogang, Wang Yijun, Nakanishi M, et al High-speed spelling with a noninvasive Brain-Computer Interface. PNAS. 2015;112(44):E6058–6067. doi: 10.1073/pnas.1508080112. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 27.Nakanishi M, Wang Yijun, Chen Xiaogang, et al Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis. IEEE Trans Biomed Eng. 2018;65(1):104–112. doi: 10.1109/TBME.2017.2694818. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 28.Tanaka H, Miyakoshi M Cross-correlation task-related component analysis (xTRCA) for enhancing evoked and induced responses of event-related potentials. NeuroImage. 2019;197:177–190. doi: 10.1016/j.neuroimage.2019.04.049. [DOI] [PubMed] [Google Scholar]
- 29.Qin Ke, Wang Raofen, Zhang Yu Filter bank-driven multivariate synchronization index for training-free SSVEP BCI. IEEE Trans Neural Syst Rehabil Eng. 2021;29:934–943. doi: 10.1109/TNSRE.2021.3073165. [DOI] [PubMed] [Google Scholar]
- 30.Wong C M, Wang Ze, Rosa A C, et al Transferring subject-specific knowledge across stimulus frequencies in SSVEP-based BCIs. IEEE Trans Autom Sci Eng. 2021;18(2):552–563. doi: 10.1109/TASE.2021.3054741. [DOI] [Google Scholar]
- 31.Yang Chen, Li Xiang, Shi Nanlin, et al A dynamic window SSVEP-based brain-computer interface system using a spatio-temporal equalizer// Guger C, Allison B Z, Miller K. Brain–computer interface research. SpringerBriefs in electrical and computer engineering. Cham: Springer. 2020:87–105. [Google Scholar]
- 32.Wang Yijun, Chen Xiaogang, Gao xiaorong, et al A benchmark dataset for SSVEP-based Brain-Computer Interfaces. IEEE Trans Neural Syst Rehabil Eng. 2017;25(10):1746–1752. doi: 10.1109/TNSRE.2016.2627556. [DOI] [PubMed] [Google Scholar]
- 33.Portnova V Lack of a sense of threat and higher emotional lability in patients with chronic microvascular ischemia as measured by non-linear EEG parameters. Front Neurol. 2020;11:122. doi: 10.3389/fneur.2020.00122. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 34.Alhalaseh R, Alhalaseh S Machine-learning-based emotion recognition system using EEG signals. Computers. 2020;9(4):95. doi: 10.3390/computers9040095. [DOI] [Google Scholar]
- 35.Zhang Ruilong, Zong Qun, Dou Liqian, et al Hybrid deep neural network using transfer learning for EEG motor imagery decoding. Biomed Signal Process Control. 2021;63:102144. doi: 10.1016/j.bspc.2020.102144. [DOI] [Google Scholar]
- 36.Monga V, Li Y, Eldar Y C Algorithm unrolling: interpretable, efficient deep learning for signal and image processing. IEEE Signal Process Mag. 2021;38(2):18–44. doi: 10.1109/MSP.2020.3016905. [DOI] [Google Scholar]
- 37.Haque I, Neubert J Deep learning approaches to biomedical image segmentation. Inform Med Unlocked. 2020;18:100297. doi: 10.1016/j.imu.2020.100297. [DOI] [Google Scholar]
- 38.Gonzalez G, Evans L Biomedical image processing with containers and deep learning: an automated analysis pipeline: data architecture, artificial intelligence, automated processing, containerization, and clusters orchestration ease the transition from data acquisition to insights in medium-to-large datasets. BioEssays. 2019;41(6):1900004. doi: 10.1002/bies.201900004. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 39.Azimi M, Eslamlou D, Pekcan G Data-driven structural health monitoring and damage detection through deep learning: state-of-the-art review. Sensors. 2020;20(10):2778. doi: 10.3390/s20102778. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 40.Roberts R, Giancontieri G, Inzerillo L, et al Towards low-cost pavement condition health monitoring and analysis using deep learning. Appl Sci. 2020;10(1):319. doi: 10.3390/app10010319. [DOI] [Google Scholar]
- 41.Ye X W, Jin T, Yun C B A review on deep learning-based structural health monitoring of civil infrastructures. Smart Struct Syst. 2019;24(5):567–586. [Google Scholar]
- 42.Piccialli F, Di Somma V, Giampaolo F, et al A survey on deep learning in medicine: why, how and when? Information Fusion. 2021;66:111–137. doi: 10.1016/j.inffus.2020.09.006. [DOI] [Google Scholar]
- 43.Khalifa M, Taha N, Ali E, et al Artificial intelligence technique for gene expression by tumor RNA-Seq data: a novel optimized deep learning approach. IEEE Access. 2020;8:22874–22883. doi: 10.1109/ACCESS.2020.2970210. [DOI] [Google Scholar]
- 44.Seal B, Das V, Goswami S, et al Estimating gene expression from DNA methylation and copy number variation: a deep learning regression model for multi-omics integration. Genomics. 2020;112(4):2833–2841. doi: 10.1016/j.ygeno.2020.03.021. [DOI] [PubMed] [Google Scholar]
- 45.Oh L, Hagiwara Y, Raghavendra U, et al A deep learning approach for Parkinson’s disease diagnosis from EEG signals. Neural Comput Appl. 2020;32(15):10927–10933. doi: 10.1007/s00521-018-3689-5. [DOI] [Google Scholar]
- 46.Lih S, Jahmunah V, San R, et al Comprehensive electrocardiographic diagnosis based on deep learning. Artif Intell Med. 2020;103:101789. doi: 10.1016/j.artmed.2019.101789. [DOI] [PubMed] [Google Scholar]
- 47.Huang Dongjin, Wang Xianglong, Liu Jinhua, et al Virtual reality safety training using deep EEG-net and physiology data. Vis Comput. 2021:1–13. [Google Scholar]
- 48.Zhu Yuanlu, Li Ying, Lu Jinling, et al EEGNet with ensemble learning to improve the cross-session classification of SSVEP based BCI from ear-EEG. IEEE Access. 2021;9:15295–15303. doi: 10.1109/ACCESS.2021.3052656. [DOI] [Google Scholar]
- 49.Xu Lichao, Xu Minpeng, Ke Yufeng, et al Cross-dataset variability problem in EEG decoding with deep learning. Front Hum Neurosci. 2020;14:103. doi: 10.3389/fnhum.2020.00103. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 50.Chiang K J, Wei C S, Nakanishi M, et al Boosting template-based SSVEP decoding by cross-domain transfer learning. J Neural Eng. 2021;18(1):016002. doi: 10.1088/1741-2552/abcb6e. [DOI] [PubMed] [Google Scholar]