Abstract
情绪在人们的认知、交往等各方面发挥着重要作用,而情绪脑机接口通过分析脑电图(EEG)可识别内在情绪,以主动或被动的方式反馈情绪信息,有效促进人机交互。本文聚焦于 EEG 信号的情绪识别,使用生理信号情绪数据集(DEAP)系统地比对了主流特征提取算法、分类器模型。通常的随机取样方法会造成训练和测试样本相关性高,本文采用分块化 K 交叉验证评估模型,同时对比了不同时间窗长度下的情绪识别准确率,研究表明 4 s 时间窗为适宜的取样时长。此外,本文提出了滤波器组长短时记忆网络(FBLSTM),以微分熵特征作为输入,所提出的算法模型在情绪的效价度二分类、唤醒度二分类、效价—唤醒平面四分类上的平均分类准确率分别为 78.8%、78.4%、70.3%。相比于目前的研究成果,本文的情绪识别模型具有更优的分类性能,或可为情绪脑机接口中的情绪识别提供一种新的可靠方法。
Keywords: 情绪识别, 特征提取, 长短时记忆网络, 脑电图
Abstract
Emotion plays an important role in people's cognition and communication. By analyzing electroencephalogram (EEG) signals to identify internal emotions and feedback emotional information in an active or passive way, affective brain-computer interactions can effectively promote human-computer interaction. This paper focuses on emotion recognition using EEG. We systematically evaluate the performance of state-of-the-art feature extraction and classification methods with a public-available dataset for emotion analysis using physiological signals (DEAP). The common random split method will lead to high correlation between training and testing samples. Thus, we use block-wise K fold cross validation. Moreover, we compare the accuracy of emotion recognition with different time window length. The experimental results indicate that 4 s time window is appropriate for sampling. Filter-bank long short-term memory networks (FBLSTM) using differential entropy features as input was proposed. The average accuracy of low and high in valance dimension, arousal dimension and combination of the four in valance-arousal plane is 78.8%, 78.4% and 70.3%, respectively. These results demonstrate the advantage of our emotion recognition model over the current studies in terms of classification accuracy. Our model might provide a novel method for emotion recognition in affective brain-computer interactions.
Keywords: emotion recognition, feature extraction, long short-term memory, electroencephalogram
引言
情绪在人们的日常生活和工作中发挥着重要作用。但是在人机交互领域,还没有广泛的情绪计算相关的应用。情绪识别是将情绪计算应用到人机交互领域的关键步骤,近十年已经受到越来越广泛的关注。一个人的内在情绪状态可以通过主观经验(人的感觉)、内在表达(生理信号)和外在表达(音频、脸部信号)等途径进行识别[1]。然而有时主观经验和外在表达会受到个人意愿以及周围环境的干扰,使得机器无法评估个体的真实情绪状态。
内在表达(生理信号)往往能揭露个体的潜在情绪状态。生理信号一般采集于中枢和自主神经系统[2]。基于脑电图(electroencephalogram,EEG)的情绪识别正成为情绪计算的研究热点。相比于身体周边的生理信号,EEG 信号具有很高的时间分辨率,从大脑皮层、情绪理论到脑机接口应用的研究都表明使用 EEG 信号进行情绪识别是可行且高效的[3]。情绪脑机接口不仅能够应用于医学领域对患者康复治疗提供帮助,在娱乐、生活中也大有用武之地。
基于 EEG 信号的情绪识别可分为 5 个步骤,数据采集、信号预处理、特征提取、分类识别、模型评估。现阶段大部分研究使用的是公共数据集,包括生理信号情绪数据集(a database for emotion analysis using physiological signals,DEAP),上海交大情绪 EEG 数据集(SHANGHAI Jiao Tong University emotion EEG dataset,SEED),梦想者(DREAMER)等[3-5]。特征主要包含时域、频域、空间域或三者的结合。Petrantonakis 等[6]从时域提取高阶过零特征(higher order crossings,HOC),使用二次判别分析(quadratic discriminant analysis,QDA)和支持向量机(support vector machine,SVM)对图片产生的情绪刺激进行分类识别,对 6 种离散情绪的分类准确率达到 83.33%。Zheng 等[7]从频域提取微分熵(differential entropy,DE)特征,使用判别图极限学习机(graph regularized extreme learning machine,GELM)对 DEAP 和 SEED 公共数据集进行情绪识别,分别达到了 69.67%(四分类)和 91.07%(三分类)准确率。Cui 等[8]基于 EEG 信号的空间对称性,提出了区域差异性卷积神经网络(regional-asymmetric convolutional neural network,RACNN),并将其应用于 DEAP 和 DREAMER 公共数据集上,最终二分类准确率都达到了 95%。Zheng 等[9]使用多模态模型,将 EEG 信号与眼动信号组合,采用双模态深度自编码器(bimodal deep auto encoder,BDAE),应用于 SEED-Ⅳ数据集,四分类准确率为 85.11%。近几年越来越多的研究探索了深度学习在 EEG 信号情绪识别中的应用,Liu 等[10]将 DE 特征输入到卷积神经网络,训练和测试采用不同受试者的数据,准确率达到了 97.56%,但该研究选取的样本时间窗为 2 min,实际应用中容易受到噪声干扰。Liu 等[11]研究了实时情绪识别,使用功率谱密度(power spectral density,PSD)和 SVM 对 2 s 窗长的信号进行情绪识别,多个分类任务的准确率均达到 85% 以上。
目前,大多数研究在受试者内(within-subject)进行研究,也有采用迁移学习方法研究受试者间(cross-subject)的情绪识别[12]。对于受试者内的研究,当前大多数研究采用 K 折交叉验证,但由于情绪是一段连续的生理状态,随机选取样本会造成训练样本和测试样本高度相关,不能有效评估模型的真实性能。此外,多数研究以 1 s 时间窗长划分样本,也有研究以整段视频信号(对于 DEAP 数据集是 1 min)作为窗长,如何在实际应用中选取合适的窗长以保证情绪识别的准确率和快速性,尚待进一步确认。
针对上述问题,本文主要贡献如下:本文使用分块化 K 折交叉验证,有效度量模型的应用性能;采用主流特征提取方法和分类器模型研究选取适宜的时间窗长度;提出滤波器组长短时记忆网络(filter-bank long short-term memory networks,FBLSTM),建立了鲁棒性与准确率更高的基于 EEG 信号的情绪识别模型。
1. 模型与方法
1.1. 数据来源
本文采用 DEAP 公共数据集(http://www.eecs.qmul.ac.uk/mmv/datasets/deap/)作为研究对象,本文已得到授权可以使用该数据集。DEAP 数据集包含 32 名受试者观看 40 段 1 min 音乐视频时的 EEG 信号和外围生理信号。它还包含受试者对每个视频在唤醒、效价、喜欢/不喜欢、支配和熟悉等情绪维度的自我评分[13]。唤醒度表示从低兴奋到高兴奋,效价度表示从负面情绪到正面情绪,两个维度代表二维直角坐标系中正交的坐标轴,因此四个象限分别代表唤醒度和效价度的两两组合。DEAP 数据集提供了经过滤波、去除眼电伪迹后的预处理数据。预处理数据集为 32 通道的 4~45 Hz 的 EEG 数据,采样频率为 128 Hz,电极根据国际 10-20 体系标准放置,更多细节可参考文献[4]。本文将分别对唤醒、效价两个维度进行二分类识别,以及两维度组合的四分类识别。
1.2. 情绪识别过程
情绪脑机接口的一般模式如图 1 所示,其中最为关键的是情绪识别过程。情绪识别过程包含 5 个步骤:① 确定试验的受试、刺激方式以及情绪类别;② 利用 EEG 信号采集设备记录 EEG 数据;③ EEG 信号的预处理,移除人造干扰和设备噪音;④ 特征提取和选择;⑤ 使用不同分类器进行情绪识别,评判识别性能。本文使用的公开数据集 DEAP 已完成对前三个步骤的处理,本文主要讲述特征提取和分类器方法。
图 1.
Affective brain-computer interactions mode
情绪脑机接口模式
1.3. 特征提取
文献[14]总结了基于 EEG 信号的情绪识别常用的特征提取方法。在文献[2]的调查中,超过 50% 的研究使用了傅里叶变换提取不同频率带的功率特征,20% 的研究使用了小波变换,24% 的研究使用了统计特征,不到 10% 的研究使用了共空域模式(common spatial pattern,CSP)或者不对称性特征。本文分析对比 DE、差值不对称性(differential caudality,DCAU)、滤波器组 CSP 模式(filter-bank CSP,FBCSP)三种特征。
1.3.1. 微分熵
根据 EEG 信号的特点,可将其划分为四个频率带,theta(4~7 Hz)、alpha(8~13 Hz)、beta(14~30 Hz)和 gamma(31~45 Hz)。文献[15]指出不同频率带的 EEG 信号满足高斯分布,满足高斯分布的变量的 DE 特征计算如式(1)所示:
![]() |
1 |
其中,x 指代单通道特定频率带 1 s 时长的 EEG 信号,它满足高斯分布 N(μ,δ2),μ 指代均值,δ2 指代方差。文献[15]也论证了 DE 和功率谱的关系,两者关系如式(2)所示:
![]() |
2 |
其中,Pi 指代功率谱中特定频率带的功率和,N 指代采样点数。因此,DE 特征等同于对功率谱特征作对数变换。直观上讲,低频带功率谱数值往往远大于高频带功率谱数值,因此作对数变换可减少因数值规模差距造成的影响。DE 特征的维度为:频率带 × 电极数 = 4 × 32 = 128。
1.3.2. 差值不对称性
研究已表明大脑左右、前后电极的不对称性与情绪相关。文献[7] 定义了大脑前后 DCAU 特征,DCAU 定义为 11 对电极的 DE 特征的差值,计算如式(3)所示:
![]() |
3 |
其中,X 指代单通道特定频率带 1 s 时长的 EEG 信号。11 对电极为 FC5-CP5、FC1-CP1、FC2-CP2、FC6-CP6、F7-P7、F3-P3、FZ-PZ、F4-P4、F8-P8、FP1-O1 和 FP2-O2。DCAU 特征的维度为:频率带 × 电极数 = 4 × 11 = 44。
1.3.3. 滤波器组共空域模式
CSP 是一种对两分类任务的空域滤波特征提取算法,能够从多通道的脑机接口数据里面提取出每一类的空间分布成分[16]。CSP 算法的基本原理是利用矩阵的同时对角化,找到一组最优空间滤波器进行投影,使得两类信号的方差值差异最大化,
根据特征值排序的结果,选择位于首末的空间滤波器,可以减少信号通道数量,最大化两类信号的方差,进一步可将时间信号的方差作为特征。空间滤波器的个数可由交叉验证确定,本文对比了 4 组和 8 组空间滤波器的性能,4 组时分别选择特征值最大和最小的 2 个滤波器,8 组时分别选择特征值最大和最小的 4 个滤波器。FBCSP 则是在 CSP 算法的基础上,对每个频率带都计算 CSP 特征。本文采用 10 组非重叠的频域滤波器,间隔为 4 Hz,分别为:4~7,8~11,12~15,
,40~43 Hz。为了满足混合协方差矩阵正定的要求,本文删去了 OZ 电极的信号,电极通道数为 31。FBCSP 特征的维度分别为:滤波器组 × 频率带 = 4 × 10 = 40,滤波器组 × 频率带 = 8 × 10 = 80。本文使用 python 3.6 编程语言,引用 MNE 库提供的 CSP 模块[17]。
1.4. 时间窗长度
时间窗的长度会对情绪识别的准确率和鲁棒性产生影响,本文研究了 1、2、4 s 时间窗长度下情绪识别的准确率。2 s 时采用 1 s 的重叠取样,4 s 时采用 3 s 的重叠取样,重叠取样一方面保证了样本数量足够多,另一方面能保证每隔 1 s 进行一次情绪识别,这与大多数研究采用 1 s 取样的情况相同。本文对每秒的信号提取特征,窗长大于 1 s 时,对多个滑动窗的特征进行平均,得到样本的特征。此外,长短时记忆(long short-term memory,LSTM)单元能够有效提取时序信号特征[18]。在 4 s 时间窗下,本文研究了 DE 特征结合 LSTM 的情绪识别性能。
1.5. 分类器
1.5.1. 支持向量机
SVM 是传统主流分类器,其强大的核功能使其成为研究者们最常采用的传统分类器。本文使用机器学习工具箱 scikit-learn 0.23.2 提供的 SVM 模块构建使用高斯核的 SVM 分类器。对于参数的配置可以通过网格搜索或者遗传算法,本文对参数 γ 和 C 采用交叉验证进行参数寻优,搜寻范围为 2i,i∈[−10,10],i∈N。
1.5.2. 滤波器组长短时记忆网络
LSTM 在时间序列分析中有着广泛应用[18]。结合 EEG 信号的频率特点,本文提出了 FBLSTM。FBLSTM 结构如图 2 所示,考虑 4 s 时间窗时样本的输入,依次对每秒时间窗信号提取的 DE 特征的数据维度为(4 时间步长,4 频率带,31 通道),分别输入四组 LSTM,每组 LSTM 的输入特征维度为 31,隐藏层特征维度为 8,时间步长为 4。接着将四组 LSTM 的隐藏层输出合并,经过失活与两层全连接层,最终采用软间隔最大化输出两类或多类的概率。同时,每组 LSTM 的初始隐藏层特征也将作为可学习参数包含在训练中。
图 2.
Structure of FBLSTM
FBLSTM 结构图
FBLSTM 结构的设计源于 EEG 信号在不同频率带具有不同特性以及 EEG 信号的时间相关性,仿照 FBCSP 和平均滤波的思想,每组 LSTM 都模拟了空间滤波和时间滤波的功能。对比与传统 LSTM 的差异,在网络结构方面,FBLSTM 相比于传统 LSTM(将特征全部输入单组 LSTM),神经网络参数个数大幅减少。如表 1 所示,LSTM32 指代单组 LSTM,输入 DE 特征 4 × 31 = 124,隐藏层输出维度 32,对应 FBLSTM 合并每组隐藏层输出特征后的维度 32。LSTM10 指代隐藏层输出维度 10。在参数方面,LSTM32 参数是 FBLSTM 的 3 倍之多,LSTM10 虽然参数与 FBLSTM 相近,但 LSTM10 输出特征仅为 FBLSTM 的三分之一。本文将对比三种 LSTM 网络的情绪识别性能。
表 1. Comparison of different LSTM network parameters.
不同 LSTM 网络参数对比
| 神经网络 | 参数个数 |
| FBLSTM | 6 738 |
| LSTM32 | 21 714 |
| LSTM10 | 7 018 |
对于 FBLSTM 的参数配置如下:全连接层采用修正线性单元作为激活函数,失活率为 0.4,采用交叉熵作为损失函数,随机梯度下降算法更新权重,学习率设为 0.01,L2 正则化参数设为 0.001。每次训练抓取 128 个样本,训练 500 个循环,取在测试集上准确率最高的训练模型作为最佳模型。本文使用深度学习框架 pytorch 1.7.0(Facebook Inc,美国)进行编程。
1.6. 数据划分与评估模型策略
本文使用 DEAP 公共数据集,研究了三项分类任务,分别是低效价(负面情绪)/高效价(正面情绪)的二分类;低唤醒(困倦)/高唤醒(兴奋)的二分类;效价-唤醒平面的四分类(对应于四个象限)。
本文研究各受试者内的情绪识别,以受试者的自我评估作为每部视频的情绪标签,为了确保受试者产生的情绪真实有效,删去自我评估中唤醒度或效价度介于 4.8~5.2 之间的视频。在前两项分类任务中,将最大类比例不超过 65% 的受试者视为类平衡的受试者,反之则为类不平衡的受试者。对于类平衡的受试者,采用分类准确率来评估情绪识别性能,对于类不平衡的受试者,采用受试者工作特征曲线下方面积(area under curve,AUC)来评估情绪识别性能。为了评估算法间的差异,采用单因素重复测量方差分析。
本文引言中提到目前多数研究采用随机选取的 K 折叠交叉验证,这使得训练样本和测试样本高度相关。针对这一问题,本文提出两种更为合理的交叉验证方法,如图 3 所示。图 3 左侧是分块化 K 折交叉验证,对每部视频(一个试验)划分 K(本文中为 5)个区块,再选取 3 个区块作为训练样本,1 个区块作为验证样本,1 个区块作为测试样本,重复 4 次,依据验证样本准确率均值选取最佳模型,取测试样本准确率或 AUC 作为评价指标。图 3 右侧是分试验 K 折交叉验证,按 40 部视频(试验)划分数据,再进行 K 折划分,对于 5 折划分,取 24 部视频作为训练样本,8 部视频作为验证样本,8 部视频作为测试样本。两种交叉验证方法减弱了训练样本和测试样本的相关性,更能有效评估不同情绪之间的差异,而并非情绪的认知过程之间的差异[19]。本文使用分块化 5 折交叉验证评估模型。
图 3.

Cross validation of two types of K-fold
两种 K 折交叉验证
2. 实验结果与分析
2.1. 效价度二分类
对于效价度二分类,共有 25 名受试者满足类平衡条件,采用不同算法时受试者们的平均分类准确率和标准差如图 4 所示。其中,横坐标轴标签 DE_1 指代 1 s 时间窗下采用 DE 特征结合 SVM;DCAU_1 指代 1 s 时间窗下采用 DCAU 特征结合 SVM;FBCSP4_1 指代 1 s 时间窗下采用 4 组空间滤波器的 FBCSP 特征结合 SVM;FBCSP8_1 指代 1 s 时间窗下采用 8 组空间滤波器的 FBCSP 特征结合 SVM;FBCSP8_2 指代 2 s 时间窗下采用 8 组空间滤波器的 FBCSP 特征结合 SVM;FBCSP8_4 指代 4 s 时间窗下采用 8 组空间滤波器的 FBCSP 特征结合 SVM;DE_LSTM10 指代 4 秒时间窗下采用 DE 特征结合 LSTM10;DE_LSTM32 指代 4 s 时间窗下采用 DE 特征结合 LSTM32;DE_FBLSTM 指代 4 s 时间窗下采用 DE 特征结合 FBLSTM。
图 4.

Average classification accuracy of various algorithms in valance classification
效价度二分类时各种算法的平均分类准确率
1 s 时间窗下,单因素重复测量方差分析表明算法之间差异具有统计学意义。DE、FBCSP4 之间的差异不具有统计学意义。使用 FBCSP8 特征的算法优于 DE 和 DCAU(P < 0.05)。1 s 时间窗下的最高分类准确率为 72.9%,采用的是 FBCSP8 特征结合 SVM。在不同的时间窗时,可以对特征采用平均滤波,也可采用 LSTM 网络结构。使用 1 s 时间窗下分类准确率高的两种特征 FBCSP8 和 DE。对于 FBCSP8 特征,三个时间窗间差异具有统计学意义(P < 0.05),4 s 时取得最高准确率 77.7%。对于 DE 特征,在 4 s 时间窗下,三种分类器 FBLSTM、LSTM32、LSTM10 的平均分类准确率分别为 78.8%、77.1%、75.6%。三者之间的差异具有统计学意义,成对比较时,FBLSTM 优于 LSTM32 和 LSTM10(P < 0.05)。比较 1 s 和 4 s 时采用 DE 特征的差异,1 s 时间窗下 DE 特征结合 SVM 的分类准确率为 69.3%,4 s 时间窗下 DE 特征结合 FBLSTM 的分类准确率为 78.8%,两者相差 9.5%。总体来看,效价度二分类时,4 s 为适宜的时间窗长度,采用 DE 特征结合 FBLSTM 的模型,最佳分类准确率为 78.8%。
2.2. 唤醒度二分类
对于唤醒度二分类,共有 17 名受试者满足类平衡条件,采用不同算法时受试者们的平均分类准确率和标准差如图 5 所示。在 1 s 时间窗下,单因素重复测量方差分析表明算法间差异具有统计学意义。使用 FBCSP8 特征的算法优于 DCAU 和 FBCSP4(P < 0.05)。FBCSP8 与 DE 之间的差异不具有统计学意义(P = 0.052 > 0.5)。1 s 时间窗下的最高分类准确率为 72.3%,采用的是 FBCSP8 特征结合 SVM。在不同时间窗下,分析使用 FBCSP8 和 DE 特征的算法性能。采用 FBCSP8 特征时,三个时间窗间差异具有统计学意义(P < 0.05)。对于 DE 特征,DE 特征结合 FBLSTM 的平均分类准确率为 78.4 %,相比 1 s 时间窗时 DE 特征结合 SVM 的准确率高出 9.7 %。因此,在唤醒度二分类时,4 s 也为适宜的在线情绪脑机接口的时间窗长度。综合效价度二分类时的分类结果,最佳的两组模型为 4 s 时间窗下 FBCSP8 特征结合 SVM、DE 特征结合 FBLSTM。
图 5.

Average classification accuracy of various algorithms in arousal classification
唤醒度二分类时各种算法的平均分类准确率
在唤醒度二分类时共有 15 名类不平衡的受试者。采用最佳的两组模型进行情绪分类识别,在唤醒度二分类时,最佳的平均 AUC 为 0.839。结果表明两组模型在类不平衡时也都有良好的分类性能。
2.3. 效价-唤醒平面的四分类
对于效价—唤醒平面的四分类,首先选择效价度、唤醒度都满足类平衡的受试者,共有 12 名。采用 DE 特征结合 FBLSTM 的模型,将 FBLSTM 的输出节点调整为 4 个,失活率从 0.4 下调为 0.3,模型其余参数配置保持不变。四分类时,平均分类准确率为 70.3%。参考二分类时接近 80% 的准确率,FBLSTM 在多分类任务中仍能保持良好性能。
2.4. 相关研究的比较
本文与基于 DEAP 数据集的研究中具有较高被引次数的论文之间的对比如表 2 所示。
表 2. Comparison of related studies using DEAP dataset.
基于 DEAP 数据集的相关研究比较
文献[20]采用统计特征和使用高斯核的 SVM,在效价度和唤醒度的二分类准确率结果分别为 73.14%、73.06%。文献[21]采用离散小波变换提取特征,K 最近邻(K-nearest neighbor,KNN)作为分类器,在效价度和唤醒度的二分类准确率结果分别为 86.75%、84.05%。文献[22]的模型对 8 名参与者的平均识别准确率为 75.19% 和 81.74%。文献[7]采用 DE 特征结合 GELM,四分类时的平均分类准确率达到 69.67%。本文采用 DE 特征结合 FBLSTM,效价度二分类时的准确率为 78.8%,唤醒度二分类时的准确率为 78.4%,效价—唤醒平面四分类时的准确率为 70.3%。相比于其他研究,三项分类任务都达到了较高的准确率。本文考虑了随机选取样本造成的训练样本和测试样本相关性高的问题,提出了分块化、分试验 K 折交叉验证,更能有效评估模型的真实性能。此外,部分研究未考虑受试者类样本不平衡的影响,本文考虑了受试者的类平衡问题,避免了类不平衡造成的虚假高准确率。
2.5. 脑区地形图比较
将效价—唤醒平面划分为四类情绪,高效价高唤醒(high valence/high arousal,HVHA),高效价低唤醒(high valence/low arousal,HVLA),低效价高唤醒(low valence/high arousal,LVHA),低效价低唤醒(low valence/low arousal,LVLA)。使用 DE 特征计算每一类情绪所有受试者的平均脑区地形图,在各频率带进行归一化处理后,将情绪两两做差,观察脑区地形图的差异。
如图 6 所示,第一行对应 beta 频带,第二行对应 gamma 频带,图中第一列标签 HVLA-LVLA 指代高效价低唤醒类平均脑区地形图与低效价低唤醒类平均脑区地形图之差,其他列标签同理。在低唤醒度时(图中第一列),高、低效价度在左侧颞叶 T7 电极附近差异较明显;在高唤醒度时(图中第二列),高、低效价度在右侧颞叶 T8 电极附近差异明显。在低效价度时(图中第三列),高、低唤醒度同样在 T7 电极附近差异明显;在高效价度时(图中第四列),高、低唤醒度在 T8 电极附近存在差异。实验结果与文献[5]中重要电极的选择相符,表明 T7、T8 及其附近电极在 beta 和 gamma 频率带的 DE 特征适合用于区分四类情绪。
图 6.
Topographical distribution of the averaged difference of DE between different emotion types
不同频带下情绪类别间 DE 特征差异的平均脑区地形图
3. 结论
本文比对了基于 EEG 信号的情绪识别领域的主流特征提取算法、分类器模型在 DEAP 公共数据集上的表现。现有的相关研究大都随机划分训练测试样本,虽然得到了优于本文的分类准确率,但随机选取样本造成训练样本和测试样本相关性高,所得结果不能合理地评估算法的实际应用性能。对此,本文提出了分块化、分试验 K 折交叉验证。本文分析了时间窗长度对情绪识别性能的影响,研究表明 4 s 为适宜的时间窗长度。此外,本文提出了 FBLSTM,采用 DE 特征结合 FBLSTM 的算法相比传统算法具有更高的准确率和鲁棒性,在类不平衡和多分类任务下仍能保持良好性能。
本文只研究了受试者内的情绪识别,为了使解码算法更具有通用性,受试者间的情绪识别有待研究。减少电极通道数量能有效提高情绪脑机接口的应用性,后续将对该问题进行研究。
利益冲突声明:本文全体作者均声明不存在利益冲突。
Funding Statement
国家重点研发计划资助项目(2018YFA0701400);之江实验室资助项目(2019KE0AD01);机械系统与振动国家重点实验室课题资助项目(MSV202115);中央高校基本科研基金资助项目
National Natural Science Foundation of China; Zhejiang Provincial Natural Science Foundation of China
References
- 1.Gunes H, Schuller B, Pantic M, et al. Emotion representation, analysis and synthesis in continuous space: a survey//2011 IEEE International Conference on Automatic Face & Gesture Recognition (FG 2011). Santa Barbara: IEEE, 2011: 827-834.
- 2.Alarcão S M, Fonseca M J Emotions recognition using EEG signals: a survey. IEEE Trans Affect Comput. 2019;10(3):374–393. doi: 10.1109/TAFFC.2017.2714671. [DOI] [Google Scholar]
- 3.Katsigiannis S, Ramzan N DREAMER: a database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE J Biomed Health Inform. 2018;22(1):98–107. doi: 10.1109/JBHI.2017.2688239. [DOI] [PubMed] [Google Scholar]
- 4.Koelstra S, Mühl C, Soleymani M, et al DEAP: a database for emotion analysis using physiological signals. IEEE Trans Affect Comput. 2012;3(1):18–31. doi: 10.1109/T-AFFC.2011.15. [DOI] [Google Scholar]
- 5.Zheng Weilong, Lu Baoliang Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks. IEEE Trans Auton Ment Dev. 2015;7(3):162–175. doi: 10.1109/TAMD.2015.2431497. [DOI] [Google Scholar]
- 6.Petrantonakis P C, Hadjileontiadis L J Emotion recognition from EEG using higher order crossings. IEEE Trans Inf Technol Biomed. 2010;14(2):186–197. doi: 10.1109/TITB.2009.2034649. [DOI] [PubMed] [Google Scholar]
- 7.Zheng Weilong, Zhu Jiayi, Lu Baoliang Identifying stable patterns over time for emotion recognition from EEG. IEEE Trans Affect Comput. 2019;10(3):417–429. doi: 10.1109/TAFFC.2017.2712143. [DOI] [Google Scholar]
- 8.Cui Heng, Liu Aiping, Zhang Xu, et al EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network. Knowledge-Based Systems. 2020;205:106243. doi: 10.1016/j.knosys.2020.106243. [DOI] [Google Scholar]
- 9.Zheng W L, Liu W, Lu Y, et al EmotionMeter: a multimodal framework for recognizing human emotions. IEEE Trans Cybern. 2019;49(3):1110–1122. doi: 10.1109/TCYB.2018.2797176. [DOI] [PubMed] [Google Scholar]
- 10.Liu S, Wang X, Zhao L, et al Subject-independent emotion recognition of EEG signals based on dynamic empirical convolutional neural network. IEEE/ACM Trans Comput Biol Bioinform. 2020 doi: 10.1109/tcbb.2020.3018137. [DOI] [PubMed] [Google Scholar]
- 11.Liu Yongjin, Yu Minjing, Zhao Guozhen, et al Real-time movie-induced discrete emotion recognition from EEG signals. IEEE Trans Affect Comput. 2018;9(4):550–562. doi: 10.1109/TAFFC.2017.2660485. [DOI] [Google Scholar]
- 12.Li J, Qiu S, Shen Y Y, et al Multisource transfer learning for cross-subject EEG emotion recognition. IEEE Trans Cybern. 2020;50(7):3281–3293. doi: 10.1109/TCYB.2019.2904052. [DOI] [PubMed] [Google Scholar]
- 13.Russell J A A circumplex model of affect. J Pers Soc Psychol. 1980;39(6):1161–1178. doi: 10.1037/h0077714. [DOI] [Google Scholar]
- 14.Jenke R, Peer A, Buss M Feature extraction and selection for emotion recognition from EEG. IEEE Trans Affect Comput. 2014;5(3):327–339. doi: 10.1109/TAFFC.2014.2339834. [DOI] [Google Scholar]
- 15.Shi Lichen, Jiao Yingying, Lu Baoliang. Differential entropy feature for EEG-based vigilance estimation//2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Osaka: IEEE, 2013: 6627-6630.
- 16.Blankertz B, Dornhege G, Krauledat M, et al The non-invasive Berlin brain-computer interface: fast acquisition of effective performance in untrained subjects. Neuroimage. 2007;37(2):539–550. doi: 10.1016/j.neuroimage.2007.01.051. [DOI] [PubMed] [Google Scholar]
- 17.Gramfort A, Luessi M, Larson E, et al MNE software for processing MEG and EEG data. Neuroimage. 2014;86(1):446–460. doi: 10.1016/j.neuroimage.2013.10.027. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 18.Hochreiter S, Schmidhuber J Long short-term memory. Neural Comput. 1997;9(8):1735–1780. doi: 10.1162/neco.1997.9.8.1735. [DOI] [PubMed] [Google Scholar]
- 19.Mühl C, Allison B, Nijholt A, et al A survey of affective brain computer interfaces: principles, state-of-the-art, and challenges. Brain-Computer Interfaces. 2014;1(2):66–84. doi: 10.1080/2326263X.2014.912881. [DOI] [Google Scholar]
- 20.Atkinson J, Campos D Improving BCI-based emotion recognition by combining EEG feature selection and kernel classifiers. Expert Systems with Applications. 2016;47(1):35–41. [Google Scholar]
- 21.Mohammadi Z, Frounchi J, Amiri M Wavelet-based emotion recognition system using EEG signal. Neural Computing and Applications. 2017;28(8):1985–1990. doi: 10.1007/s00521-015-2149-8. [DOI] [Google Scholar]
- 22.Zhang Xiaowei, Hu Bin, Chen Jing, et al Ontology-based context modeling for emotion recognition in an intelligent web. World Wide Web. 2013;16(4):497–513. doi: 10.1007/s11280-012-0181-5. [DOI] [Google Scholar]






