Abstract
音乐诱发下的情感状态评估结果可为辅助音乐治疗提供理论支持与帮助。情感状态评估的关键是情感脑电的特征提取,故本文针对情感脑电特征提取算法的性能优化问题开展研究。采用 Koelstra 等提出的分析人类情绪状态的多模态标准数据库 DEAP,提取 8 种正负情绪代表各个脑区的 14 个通道脑电数据,基于小波分解重构 δ、θ、α、β 四种节律波;在分析比较小波特征(小波系数能量和小波熵)、近似熵和 Hurst 指数三种脑电特征情感识别效果的基础上,提出一种基于主成分分析(PCA)融合小波特征、近似熵和 Hurst 指数的脑电特征提取算法。本算法保留累积贡献率大于 85% 的主成分,并选择特征根差异较大的特征参数,基于支持向量机实现情感状态评估。结果表明,使用单一小波特征(小波系数能量和小波熵)、近似熵和 Hurst 指数特征量,情感识别的正确率均值分别是 73.15%、50.00% 和 45.54%,而改进算法识别准确率均值在 85% 左右。基于改进算法情感识别的分类准确率比传统方法至少能提升 12%,可为情感脑电特征提取以及辅助音乐治疗提供帮助。
Keywords: 音乐情绪, 小波变换, 近似熵, Hurst 指数, 主成分分析, 特征融合
Abstract
The result of the emotional state induced by music may provide theoretical support and help for assisted music therapy. The key to assessing the state of emotion is feature extraction of the emotional electroencephalogram (EEG). In this paper, we study the performance optimization of the feature extraction algorithm. A public multimodal database for emotion analysis using physiological signals (DEAP) proposed by Koelstra et al. was applied. Eight kinds of positive and negative emotions were extracted from the dataset, representing the data of fourteen channels from the different regions of brain. Based on wavelet transform, δ, θ, α and β rhythms were extracted. This paper analyzed and compared the performances of three kinds of EEG features for emotion classification, namely wavelet features (wavelet coefficients energy and wavelet entropy), approximate entropy and Hurst exponent. On this basis, an EEG feature fusion algorithm based on principal component analysis (PCA) was proposed. The principal component with a cumulative contribution rate more than 85% was retained, and the parameters which greatly varied in characteristic root were selected. The support vector machine was used to assess the state of emotion. The results showed that the average accuracy rates of emotional classification with wavelet features, approximate entropy and Hurst exponent were respectively 73.15%, 50.00% and 45.54%. By combining these three methods, the features fused with PCA possessed an accuracy of about 85%. The obtained classification accuracy by using the proposed fusion algorithm based on PCA was improved at least 12% than that by using single feature, providing assistance for emotional EEG feature extraction and music therapy.
Keywords: musical emotion, wavelet transform, approximate entropy, Hurst exponent, principal component analysis, feature fusion
引言
音乐治疗是一个系统的干预过程,是治疗师利用音乐体验的各种形式,结合医疗手段,通过音乐来缓解某些疾病(如阿尔茨海默症、脑损伤等)的病情和解决一些特定的身心健康问题(如儿童心理障碍、自闭症、抑郁症等)[1]。在音乐治疗中,音乐对人的情感影响是巨大的,强调情感决定认知行为,并且情感能在不同程度上影响患者的感知、思维、记忆与决策,因此音乐情感识别结果直接影响着音乐治疗的效果。与外围生理信号相比,脑电(electroencephalogram,EEG)信号作为中枢神经生理信号[2],不受人的主观控制,能够真实准确地体现人的情感状态变化,基于脑电的情感识别将为音乐治疗及其他相关领域研究提供帮助。
提取有效的脑电特征参数,是音乐情感状态识别的关键。Lin 等[3]利用短时傅里叶变换把时域脑电信号转换到频域内,将 δ、θ、α、β、γ 这五种频段的能量谱作为情感的脑电特征。Duan 等[4]提取脑电信号的微分熵特征用于情感识别,发现微分熵特征对于正、负情感识别具有较高的准确率。Petran tonakis 等[5]提取了 4 个通道的统计特征作为脑电特征对 6 种基本情感进行了分类。Murugappan 等[6]将小波变换 α 波能量、熵、均值方差作为情感脑电特征进行五种情感识别,达到 78.04% 的分类效果。李立[7]将提取出的情感脑电信号的样本熵特征、近似熵(approximate entropy,ApEn)、Lempel-Ziv(LZ)复杂度和 Hurst 指数特征用于情感识别。谢康[8]将五种脑电节律下的功率谱密度信息和脑网络属性特征作为音乐情感脑电特征进行情感识别。张迪[9]分析了情感脑电信号的频域功率谱能量特征和不对称特征,得到了 80.42% 的情感识别率。
本文首先提取音乐情感脑电的全方位特征参数,即四种节律波的近似熵、小波系数能量、小波熵(wavelet entropy,WE)和 Hurst 指数特征,其中近似熵测量情感脑电信号的复杂性,小波系数能量表征信号在各阶频段能量的分布情况,小波熵反映信号谱能量在各个空间分布的有无序程度,Hurst 指数衡量时间序列的统计相关性特征,这几种特征从不同的方面反映音乐情感脑电的特征变化。再基于主成分分析(principal component analysis,PCA),融合全方位特征,选取与情感状态高度相关的特征参数,实现情感识别。本文充分利用了不同特征量在音乐情感脑电有效特征中所占的权重不同,综合特征参数能够更有效地反映情感脑电的本质特征,降低冗余特征量,提高情感识别效果。
1. 数据
采用 Koelstra 等[10]提出的分析人类情感状态的多模态数据库 DEAP。该数据库记录了 32 位健康受试者观看 40 个时长为 1 min 的不同音乐视频时的脑电信号和外周生理信号。受试者的平均年龄为 26.9 岁,男女各半,实验前被告知实验的各个细节。该实验记录的脑电信号采样频率为 512 Hz,脑电的采集使用 32 导 AgCl 电极,电极的分布根据国际通用的标准 10-20 系统,同时采集 8 个电极的外周生理信号,共 40 个通道。每位受试者每次实验信号采集过程如表 1 所示。
表 1. Signal acquisition procedure.
信号采集过程表
顺序 | 内容 |
1 | 电极放置好后,由受试者按铃示意开始实验 |
2 | 基线校正 2 min,屏幕上呈现一个固定光标(让受试者心情放松) |
3 | 显示 2 s 的音乐片段进程编号(提示实验进程) |
4 | 采集 5 s 的基线信号 |
5 | 播放 1 min 音乐片段并记录所需信号 |
6 | 对该片段的唤醒度、效价、喜欢程度以及优势度进行自我评估 |
本文所选的脑电信号实验数据是经过预处理(降采样,去除眼电等噪声,经过 4.0~45 Hz 的滤波等)的数据,采样频率为 128 Hz。每个受试者数据形式为 40×40×8 064,其中第一个 40 代表音频,第二个 40 代表脑电常用通道。按照国际标准 10-20 系统,分别提取前额区(FP1、FP2)、额区(F3、F4、F7、F8)、中央(C3、C4)、颞区(T7、T8)、顶区(P3、P4)和枕区(O1、O2)的通道数据。DEAP 数据库是应用“效价-唤醒度”二维度的情感模型,该情感模型依据效价将情感分为正、负两极,位于正极的称正性情感,通常带来愉悦感受,位于负极的称负性情感。本文选择 8 种常见的正负性情感:高兴、激动、欢乐、喜爱、憎恨、抑郁、难过、恐惧。所选的脑电信号数据都按时间随机截取长度为 8 s 的数据段,即 1 024 个数据点,则每个通道中每种情感有 32 个数据段,即 32 个样本。
2. 方法
本文选取 DEAP 数据库中 8 种情感的 14 个通道数据,基于小波变换、近似熵、Hurst 指数这三种脑电信号分析方法提取出每种情感的脑电特征。小波变换是一种时频域脑电信号分析方法,近似熵是对脑电信号进行序列规律性和复杂性测度分析的非线性动力学方法,而 Hurst 指数则是从时间序列统计相关性方面对脑电信号进行非线性特性分析。本文所提出的改进算法从这三个不同特征提取角度出发,充分提取脑电特征信息并进行融合,算法流程如图 1 所示。
图 1.
The algorithm flowchart
算法流程图
首先,利用小波变换分解重构出情感脑电的 δ、θ、α、β 四种节律波,提取出小波系数能量和小波熵作为小波变换特征,表征情感脑电的能量分布情况。其次,基于近似熵提取出四种节律波的熵值,测量情感脑电的复杂性。同时,基于 R/S 分析方法求出四种节律波的 Hurst 指数,作为分形特征。然后基于 PCA 融合这三类特征参数,从而更有效地实现情感识别。
2.1. 小波变换特征
小波变换[11-15]是一种典型的用于脑电信号分析的时频域分析方法。小波变换将信号分解成一系列小波函数的叠加,小波窗口大小随频率改变,在低频时,时间分辨率较低但频率分辨率较高;在高频时,时间分辨率较高但频率分辨率较低。由于小波变换的这种多分辨率特点,特别适合提取像脑电这样的非平稳信号局部特征。
本文选择四阶的 Daubechies 小波基函数将采样频率为 128 Hz 的信号 s(t)划分为不同频段的子带信号,经过 4 层离散小波变换分解后,可得:
![]() |
1 |
式中,l 为分解层数,Al 为低频分量,Dj 为不同尺度下的细节分量,各分量所对应的子频带范围如表 2 所示。
表 2. Different frequency range of sub-band signals.
子带信号对应的不同频率范围
子带信号 | 频率范围/Hz |
D1 | 32~64 |
D2 | 16~32 |
D3 | 8~16 |
D4 | 4~8 |
A4 | 0~4 |
对应的近似系数为 cAl,各层小波系数为 cDj,
,单一尺度下的小波能量是这个尺度下小波系数的平方和,记为 Ei,
,那么总的小波能量定义为:
![]() |
2 |
相对小波能量定义为:
,
,根据香农熵理论和相对小波能量的定义,小波熵(We)的定义如下:
![]() |
3 |
小波熵反映了对信号谱能量在各个空间分布的有序或无序程度的一种测度,能够对时频域上的能量分布特性进行定量描述[16]。本文利用小波分解重构出 θ、δ、β、α 四种节律波,并提取出 7 个小波系数能量特征 Ei 和 1 个小波熵 We 作为小波变换特征。
2.2. 近似熵
近似熵[6, 16-17]是由 Pincus 在 1991 年提出来的,可以测量时间序列的复杂性和规律性的一种无需粗粒化的复杂性测度分析方法。其物理意义是当维数变化时时间序列中产生新模式的概率的大小,产生新模式的概率越大,序列越复杂,相应的近似熵也就越大。近似熵(ApEn)定义为:
![]() |
4 |
式中,预先设定模式维数为 m 和相似性容限为 r。一般来说,此极限的极值存在且为 1。实际工作中 n 不可能为 ∞,因此,当 n 为有限值时可以对近似熵进行估算,即为:
![]() |
5 |
式中 ApEn 的值与 m、r 的取值有关,Pincus 根据研究建议 m=2,r=0.1SD~0.25SD(SD 为信号序列的标准差),n 最好在 100~5 000 之间。近似熵值的大小与信号序列的复杂程度成正比,且利用较短的数据就可以得到比较稳定的估计值,可以很好地度量脑电序列的复杂性。
本文提取出音乐情感脑电 θ、δ、β、α 四种节律波的近似熵值作为度量脑电复杂性的特征。
2.3. Hurst 指数
Hurst 指数是一种衡量时间序列统计相关性的非线性指标,可用于脑电非线性特性的分析[18]。Hurst 指数的计算方法较多,其中最常用的是 R/S 分析方法(rescaled range analysis)[19],它最初是由英国水文学家 Hurst 于 1965 年提出的,通常用来分析时间序列的分形特征和长程相关性,被用在各种时间序列的分析之中。R(m)为极差,S(m)为标准差,Hurst 认为 R(m)/S(m)与 k 之间存在着指数关系,即
![]() |
6 |
其中 α 为系数,H 为 Hurst 指数。
对上式两边取对数,可得
,因此对
和
进行最小二乘法拟合求斜率,即可得到 Hurst 指数 H。
Hurst 指数是一种度量分形时间序列的平滑性、表征脑电信号非平稳行为的分析方法,能够较好地刻画脑电序列的非线性行为特征。本文提取出音乐情感脑电 θ、δ、β、α 四种节律波的 Hurst 值作为统计相关性的特征。
2.4. 特征融合
(1)假设原始特征矩阵 M 为 n×p 数据集,其均值为
,则对原始特征矩阵进行去均值处理,得到矩阵
。
(2)求
的协方差矩阵 C,
。
(3)对协方差矩阵 C 进行特征根分解,得到特征根及其特征向量。
![]() |
7 |
其中,
是协方差矩阵 C 的特征向量,特征根矩阵
为对角矩阵,特征根的大小表示新变量(主成分)方差的大小。
(4)求 PCA 的投影矩阵。每个主成分蕴含信息量的多少用对应特征根的大小来表示,其贡献率 CR 定义为
![]() |
8 |
则前 k 个主成分的累积贡献率定义为:
![]() |
9 |
根据累积贡献率的大小来确定主成分的投影矩阵 W,一般而言,保留累积贡献率大于 85% 的 m 个主成分,由于特征根向量 Λ 是由特征根大小顺序排列的,所以投影坐标系 W 为矩阵 U 的前 m 个特征向量,即
![]() |
10 |
(5)根据投影矩阵 W 可以计算出原特征量 M 在新特征空间中的低维特征量
。
PCA 的目的在于压缩变量的个数,剔除冗余信息,使降维后的特征更好地反映信号的实用特征。本文利用 PCA 方法将提取的小波变换特征、四种节律波的近似熵值和 Hurst 指数共计 14 个特征量进行降维,保留累积贡献率大于 85% 的主成分,所得主成分的特征根和累积贡献率变化如图 2 所示。
图 2.
Changes of the characteristic root and cumulative contribution rate of PCA
主成分的特征根和累积贡献率变化
从图 2 的左图中可以看出,14 个特征量的累积贡献率均大于 85%,第一主成分的累积贡献率在 87% 左右,而第三主成分累积贡献率已经达到 100%。右图是对应主成分的特征根大小,从图中可以看出前三个主成分特征根的差异比较大,而后 11 个主成分的特征根差异不明显且值很小,接近于零。一般而言,方差矩阵的特征根差异较大时,对应的贡献率相对较大,特征区分度就相对较高。差异性较大的主成分对情感特征分类效果起决定性作用,因此,在保留累积贡献率在 85% 以上的主成分的基础上,选择方差矩阵的特征根差异性较大的主成分作为新的特征量。不同情感分类时最终特征量数目统计如表 3 所示。
表 3. Number of the best features in different emotion.
不同情感分类中最优特征量数量
情感分类 | 特征量个数 | 情感分类 | 特征量个数 | |
高兴-激动 | 2 | 欢快-憎恨 | 3 | |
高兴-欢快 | 2 | 欢快-抑郁 | 3 | |
高兴-喜爱 | 2 | 欢快-难过 | 3 | |
高兴-憎恨 | 3 | 欢快-恐惧 | 4 | |
高兴-抑郁 | 3 | 喜爱-憎恨 | 2 | |
高兴-难过 | 3 | 喜爱-抑郁 | 2 | |
高兴-恐惧 | 4 | 喜爱-难过 | 3 | |
激动-欢快 | 3 | 喜爱-恐惧 | 3 | |
激动-喜爱 | 3 | 憎恨-抑郁 | 2 | |
激动-憎恨 | 2 | 憎恨-难过 | 2 | |
激动-抑郁 | 2 | 憎恨-恐惧 | 2 | |
激动-难过 | 2 | 抑郁-难过 | 2 | |
激动-恐惧 | 3 | 抑郁-恐惧 | 3 | |
欢快-喜爱 | 2 | 难过-恐惧 | 2 |
2.5. 支持向量机分类
支持向量机(support vector machine,SVM)的目标是基于训练数据产出一个模型,用来预测只给出属性的测试数据的目标值。本文选择 SVM 分类模型为 C-support vector classification(C-SVC)类型。
C-SVC 分类模型算法[23-24]的基本原理:设给定的训练集
,
,寻找函数 h(X),利用决策函数
来推断出输入向量 X 相对应的输出 y 值。
本文选择高斯径向基核函数(Gaussian radial basis function,RBF)作为核函数,σ 是宽度参数。本文选用林智仁教授 2001 年开发的 LibSVM 分类器工具箱实现音乐脑电的分类。利用粒子群优化(particle swarm optimization,PSO)算法进行参数寻优,得到最佳的惩罚因子 c 和核函数参数 g。
本文惩罚因子 c 和核函数参数 g 的 PSO 搜索区间范围分别设为[0.1 100]和[0.01 1 000],PSO 的最大进化代数设为 200;粒子群最大数量为 20。图 3 为粒子群优化算法对 SVM 分类器进行参数优化的适应度曲线,其中平均适应度为所有粒子在每一代中平均的适应度值,最佳适应度曲线为粒子群中所有粒子在每一代中的最大适应度值。从图 3 中可以看到,适应度曲线在前 20 个进化周期内收敛较快,随后逐渐趋于平缓,实现了参数的寻优。
图 3.
Fitness curves of PSO
粒子群优化参数的适应度曲线图
3. 结果与分析
3.1. 三种特征参数识别结果
本文提取了音乐情感脑电的小波变换特征、近似熵和 Hurst 指数这三类特征量,不同的特征量情感识别效果可能不同。因此,仅用单一特征量进行情感识别,发现这三类特征识别效果有一定的差异。为降低偶然性的影响,本文从 8 种情感中随机抽取一种情感与其他 7 种情感识别,得到的识别结果如表 4 所示。
表 4. Emotion recognition results of the three kinds of features (%).
三种特征参数情感识别结果(%)
情绪分类 | 小波变换
特征 |
近似熵特征 | Hurst 指数
特征 |
小波+近似熵+Hurst |
1 | 71.43 | 43.75 | 37.50 | 56.25 |
2 | 75.00 | 56.25 | 43.75 | 68.75 |
3 | 65.63 | 37.50 | 37.50 | 43.75 |
4 | 81.25 | 62.50 | 56.25 | 87.50 |
5 | 87.50 | 43.75 | 43.75 | 75.00 |
6 | 50.00 | 68.75 | 56.25 | 62.50 |
7 | 81.25 | 37.50 | 43.75 | 75.00 |
均值 | 73.15 | 50.00 | 45.54 | 66.96 |
由表 4 数据可知,不同的特征量对情感识别效果有很大差异。随机抽取一种与其他 7 种情感进行识别,从数据集中的趋势来看,小波变换特征除个别情感识别结果外得到的识别效果是最好的,说明该特征与情感相关性较高,音乐情感脑电中信号的谱能量变化可能比较明显,因此,在综合所有指标中所占的权重应该是最大的;而近似熵和 Hurst 指数的分类准确率均值则相差不大。就与单个情感进行识别而言,这三类特征量分类效果差异较大。利用小波变换特征进行情感识别,分类准确率最大能达到 87.50%,最低仅有 50.00%,说明如果两种不同情感的谱能量分布情况相似,仅利用谱能量特征不能很好地将这两种情感区别开来。仅利用近似熵特征进行情感识别,得到的准确率最高为 68.75%,最低 37.75%,表明不同音乐情感脑电信号的复杂性差异并不是特别明显。同样地,对 Hurst 指数特征来说,分类结果和近似熵差不多。从表格横向数据比较可得,与同一种情感识别时,不同特征量得到的识别效果有一定差异。比如,第一行数据中,小波变换特征的识别率能达到 71.34%,近似熵特征有 43.75%,而 Hurst 指数特征仅有 37.50%;第六行数据中,Hurst 指数的识别率能达到 56.25%,近似熵为 68.75%,而小波变换仅有 50.00%,说明同一情感与两种不同情感识别时,相同的特征量识别效果也有可能差异很大。也就是说,同一特征量对不同情感脑电信号的特异性不同。因此,在进行不同情感识别时,同一特征量对不同情感的特异性大小不同,不同特征量对同一情感脑电的识别效果也有一定的差异。
研究表明,不同情感引起的脑电信号变化不同,所引起的某种节律波活跃程度也不同[25]。小波变换特征是从能量角度上对频域音乐情感脑电信号能量分布特性进行定量分析;θ、δ、β、α 四种节律波的近似熵特征,度量不同音乐情感所引起的节律波复杂性的变化;四种节律波的 Hurst 指数可以显现出不同情感节律波的非线性平稳性的变化。这三类特征量从不同角度揭示情感脑电的变化,但从表 4 可以看出,不同特征量与不同情感的相关性高低不同,如果仅将这些特征量组合在一起,得到的识别效果很差。因此,需对初步提取的特征量进行融合,将这些特征量融合成一个或几个总的指标量,这样可突出不同情感的相关脑电特征,提高情感的识别效果。
3.2. 改进算法识别结果
改进算法基于 PCA,实现全方位特征融合。为降低偶然因素的影响,本文利用 3.1 中随机抽取的一种情感与其他 7 种情感进行分类识别,不同通道情感识别结果如表 5 所示。
表 5. Emotion recognition results of the improved algorithm (%).
改进算法情感识别结果(%)
通道 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
C3 | 87.95 | 79.91 | 83.04 | 86.16 | 86.61 | 90.40 | 83.71 |
C4 | 79.91 | 83.93 | 77.23 | 82.14 | 77.23 | 89.96 | 93.08 |
F3 | 77.23 | 79.46 | 79.91 | 72.77 | 74.11 | 85.94 | 91.29 |
F4 | 84.38 | 86.16 | 86.38 | 83.04 | 87.05 | 84.38 | 86.61 |
F7 | 95.98 | 95.54 | 95.09 | 93.30 | 97.77 | 92.63 | 93.08 |
F8 | 78.57 | 83.48 | 84.38 | 77.68 | 82.60 | 89.06 | 94.42 |
FP1 | 85.27 | 80.80 | 79.91 | 83.93 | 81.70 | 87.05 | 83.26 |
FP2 | 88.84 | 85.71 | 88.84 | 90.18 | 85.71 | 81.70 | 81.47 |
T7 | 85.71 | 81.70 | 86.61 | 84.82 | 82.14 | 86.61 | 79.91 |
T8 | 82.59 | 85.71 | 86.61 | 82.60 | 85.71 | 92.19 | 89.29 |
P3 | 85.71 | 93.75 | 94.20 | 84.82 | 90.63 | 96.21 | 94.87 |
P4 | 74.55 | 87.05 | 78.57 | 80.80 | 76.79 | 85.04 | 90.18 |
O1 | 79.01 | 87.05 | 78.57 | 81.25 | 77.68 | 88.84 | 86.16 |
O2 | 78.13 | 84.38 | 84.40 | 81.70 | 78.57 | 88.84 | 90.18 |
均值 | 83.13 | 85.33 | 84.55 | 83.23 | 83.16 | 88.49 | 88.39 |
由表 5 可知,从数据集中程度来看,随机抽取一种情感与其他 7 种情感识别时,分类准确率比单一特征量识别效果均有提高,且各个通道之间分类效果差异不大。由表中第一列数据可以看出,情感识别结果最低为 74.55%,最高能达到 95.98%,均比单一脑电特征量识别效果要好。然而,当识别两种情感时,不同区域脑电通道特征数据识别效果有所差异,可能是不同情感引起的脑电信号变化所在的关键脑区不同所引起的。从表中每列数据来看,情感分类结果绝大部分都在 80% 以上,最好的识别结果能达到 97.77%,而且通道准确率均值比单一特征量的效果有大幅度提升,说明融合指标比单一特征量能更好地体现不同音乐情感脑电的特异性。表 5 中的数据绝大部分的识别效果达到 80% 以上,与其他 7 种情感的分类准确率均值在 85% 左右,而且分类准确率较表 4 中的三种特征量单纯组合进行情感识别的结果提升了 20%~30%,表明特征融合后的指标的情感识别效果比特征量单纯组合在一起要好,算法改进后的特征量能体现出情感脑电信号的总体特性。
表 5 中每行数据表示所选通道算法改进后的特征量音乐情感识别结果,行与行之间的数据有所不同,可能也是因为不同情感脑电所在的关键脑区不同所致。但就某一行数据来看,分类结果相差不大,比如,FP2 通道情感识别结果均为 80%~90%,F7 通道分类结果均在 90% 以上,说明将一种情感与不同情感进行识别时,利用本文改进算法所提取的脑电特征量不仅能得到较好的分类准确率,而且对情感的识别有一定的普适性。
本文利用改进算法所提出的特征量进行 8 种情感两两分类,得出的通道分类准确率均值结果如表 6 所示。从表中数据可以看出,利用此算法特征量能够使得正负性情感分类正确率达到 85% 左右,正性情感之间识别结果在 78%~83% 之间,负性情感之间识别结果绝大部分在 80% 以上。说明这些特征量能够表征不同情感脑电信号的差异性,利用本方法可以将不同情感有效地识别出来。
表 6. Classification results of the improved algorithm for any two of the 8 emotions (%).
改进算法两两分类识别结果(%)
情感 | 憎恨 | 抑郁 | 难过 | 恐惧 | 高兴 | 欢乐 | 喜爱 |
—:表示重复数据未填入 | |||||||
激动 | 83.16 | 86.30 | 86.08 | 86.08 | 83.13 | 78.35 | 83.14 |
高兴 | 88.39 | 84.55 | 85.33 | 88.49 | — | 83.13 | 83.23 |
欢乐 | 85.11 | 90.55 | 86.48 | 87.50 | — | — | 79.24 |
喜爱 | 90.02 | 88.60 | 90.74 | 91.47 | — | — | — |
憎恨 | — | 81.25 | 82.81 | 83.48 | — | — | — |
抑郁 | — | — | 77.45 | 84.82 | — | — | — |
难过 | — | — | — | 86.73 | — | — | — |
4. 讨论
情感特征提取是情感识别的关键问题,针对这一问题,研究人员从不同角度做了大量工作,比如分别提取能量特征量、功率谱特征量、熵值等非线性参数以及统计特性量等,目的都是希望提取有效的情感特征,得到良好的情感识别效果。基于能量特征提取,如 Murugappan 等[26]提取了五种情感脑电 α 波能量、熵值以及均值方差特征量,得到的情感分类准确率为 79% 左右。基于非线性动力学参数,如 Wang 等[27]采用小波变换、近似熵、分形指数分析提取情感脑电特征,对比三种特征量分类效果,小波变换特征的情感分类准确率达到 77% 左右,近似熵特征量的情感分类结果为 65.12%,Hurst 指数分类准确率为 71.38%。从节律分析的角度,如 Heraz 等[28]利用四种节律的波幅特征量对八种情感进行分类,最优的分类结果达到 82.27%,最低分类准确率为 73.10%。该结果与本文小波变换特征量得出的结果类似,说明这四种节律能在一定程度上表现出相应的情感特征状态。以上这些研究成果中近似熵特征量分类结果与本文单一特征得出的结果接近,而 Hurst 指数特征量的分类结果高于本文单一特征所得结果,这与所要识别的情感类别有关。本文基于 PCA 改进算法,融合脑电信号的能量分布、节律波的复杂性和统计相关性三个不同角度的特征参数,更好地实现了情感分类,将单一特征量与融合指标分类结果对比,希望可以提取有效的音乐情感特征参数,为音乐情感特征提取与情感识别研究提供参考。
5. 结论
本文采用多模态 DEAP 音乐情感数据库中的数据,提取出 8 种正负性音乐情感脑电信号,每种情感选择代表各脑区的 14 个通道数据。先用小波变换分解重构出 θ、δ、β、α 四种节律波,并计算出小波系数能量和小波熵值,其次提取出这四种节律波的近似熵值和 Husrt 指数,最后用单一类型的特征量进行情感识别,对比这三类特征量的音乐情感分类效果。结果显示,仅用单一类型的特征量进行音乐情感识别效果不好,并且不同类型音乐情感脑电信号的特异性不同。有的情感识别用近似熵特征的分类效果较好,有的情感识别用小波变换特征得到的分类结果较好,也就是说这三类特征量在不同的情感特征中所占比重不同,因此可以将这些特征量进行整合。
本文利用 PCA 将三类特征量整合成一个或几个综合指标代替原来的特征量进行情感识别,发现整合后的特征量分类准确率至少能提升 10%,并且 8 种情感两两识别分类准确率多在 80% 以上。说明这种方法不仅能得到较好的分类准确率,而且也体现出这种特征综合的方法对情感的识别有一定的普适性。
Funding Statement
国家自然科学基金项目(51677162);河北省自然科学基金项目(F2014203244);中国博士后科学基金项目(2014M550582)
References
- 1.仇静莉. 论音乐在现代人身心疾病治疗中的辅助功能. 保定: 河北大学, 2004.
- 2.段若男. 基于脑电信号的视频诱发情绪识别. 上海: 上海交通大学, 2014.
- 3.Lin Yuanpin, Wang Chihong, Jung T P, et al EEG-based emotion recognition in music listening. IEEE Trans Biomed Eng. 2010;57(7):1798–1806. doi: 10.1109/TBME.2010.2048568. [DOI] [PubMed] [Google Scholar]
- 4.Duan Ruonan, Zhu Jiayi, Lu Baoliang. Differential entropy feature for EEG-based emotion classification//6th International IEEE/EMBS Conference on Neural Engineering (NER). SanDiego, California, USA: IEEE, 2013: 81-84.
- 5.Petrantonakis P C, Hadjileontiadis L J Emotion recognition from EEG using higher order crossings. IEEE Trans Inf Technol Biomed. 2010;14(2):186–197. doi: 10.1109/TITB.2009.2034649. [DOI] [PubMed] [Google Scholar]
- 6.Murugappan M, Nagarajan R, Yaacob S. Appraising human emotions using Time Frequency Analysis based EEG alpha band features//Conference on Innovative Technologies in Intelligent Systems and Industrial Applications (CITISIA). Kuala Lumpur, Malaysia, Malaysia: IEEE, 2009: 70-75.
- 7.李立. 基于脑电信号样本熵的情感识别. 太原: 太原理工大学, 2014.
- 8.谢康. 情绪音乐的脑电识别算法. 成都: 电子科技大学, 2013.
- 9.张迪. 情绪脑电特征识别与跨模式分析. 天津: 天津大学, 2013.
- 10.Koelstra S, Muhl C, Soleymani M, et al DEAP: A database for emotion analysis using physiological signals. IEEE Transactions on Affective Computing. 2012;3(1):18–31. [Google Scholar]
- 11.李笑天. 基于脑电的上肢动作识别方法的研究. 天津: 天津大学, 2011.
- 12.徐宝国, 宋爱国, 王爱民 基于小波包能量的脑电信号特征提取方法. 东南大学学报:自然科学版. 2010;40(6):1203–1206. [Google Scholar]
- 13.易振华. 运动想像脑电信号的分析与处理方法研究. 北京: 北京交通大学, 2008.
- 14.杨鹏圆. 基于小波包和 Hilbert-Huang 变换的情感脑电识别研究. 太原: 太原理工大学, 2014.
- 15.李颖洁, 邱意弘, 朱贻盛, 等. 脑电信号分析方法及其应用. 北京: 科学出版社, 2009.
- 16.李红红. 脑电数据分析方法及其在压力情感状态评估中的应用. 秦皇岛: 燕山大学, 2014.
- 17.赵丽, 万柏坤, 綦宏志, 等 近似熵应用于老年性痴呆患者脑电研究. 北京生物医学工程. 2003;22(2):140–142. [Google Scholar]
- 18.蔡冬梅, 周卫东, 刘凯, 等 基于 Hurst 指数和 SVM 的癫痫脑电检测方法. 中国生物医学工程学报. 2010;29(6):836–840. [Google Scholar]
- 19.吴金克. 基于多重分形与混沌理论的金融市场研究. 天津: 天津大学, 2005.
- 20.尚志刚, 张建华, 陈栋, 等. 生物医学数据分析及其 MATLAB 实现. 北京: 北京出版社, 2009.
- 21.陈志华, 石诗余 脑电数据情感变化的主成分分析. 大连交通大学学报. 2015;36(5):96–99, 103. [Google Scholar]
- 22.关俊强, 杨帮华, 马世伟, 等 基于 PCA 及 SVM 的运动想象脑电信号识别研究. 北京生物医学工程. 2010;29(3):261–265. [Google Scholar]
- 23.汤华丽. SVM 中两类常用分类方法的关系研究. 重庆: 重庆大学, 2005.
- 24.范昕炜. 支持向量机算法的研究及其应用. 杭州: 浙江大学, 2003.
- 25.贾静. 影片片段诱发情绪的生理活动研究. 南京: 南京师范大学, 2006.
- 26.Murugappan M, Nagarajan R, Yaacob S. Comparison of different wavelet features from EEG signals for classifying human emotions//IEEE Symposium on Industrial Electronics & Applications, 2009. ISIEA 2009. Kuala Lumpur, Malaysia: IEEE, 2009: 836-841.
- 27.Wang Xiaowei, Nie Dan, Lu Baoliang Emotional state classification from EEG data using machine learning approach. Neurocomputing. 2014;129(SI):94–106. [Google Scholar]
- 28.Heraz A, Razaki R, Frasson C. Using machine leaming to predict learner emotional state from brainwaves// Seventh IEEE International Conference on Advanced Learning Technologies, 2007. ICALT 2007. Niigata, Japan: IEEE, 2007: 853-857.