基于卷积神经网络和长短时记忆网络的心理疲劳状态识别方法

Abstract

现代生活节奏加快，生活压力逐渐增大，长期累积的心理疲劳对健康构成威胁。通过分析生理信号和参数，本文提出一种可以识别心理疲劳状态的方法，从而有助于维护健康生活。本文所提方法是基于卷积神经网络与长短时记忆网络结合的心电信号心理疲劳状态识别方法。首先，利用一维卷积神经网络模型的卷积层提取局部特征，通过池化层提取关键信息，同时去除部分冗余数据。然后，将提取的特征作为长短时记忆网络模型的输入，以进一步进行心电特征的融合。最后，通过全连接层整合关键信息，成功实现了对心理疲劳状态的准确识别。研究结果表明，相较于传统的机器学习算法，本文提出的方法显著提高了心理疲劳识别的准确性，识别的准确度达到了96.3%，可为心理疲劳的预警和评估提供可靠的基础。

0. 引言

疲劳是一种生理和心理上的不利状态，通常由长时间的体力或认知活动引起，导致身体和大脑感到疲倦，可分为生理疲劳和心理疲劳两类。生理疲劳，主要涉及身体方面的疲劳，包括肌肉疲劳、体力疲劳和运动耐力下降等。这种疲劳通常是由于长时间的体力活动或过度劳累引起的，可以通过休息来缓解并最终恢复。心理疲劳是指长时间的认知活动、情绪压力或心理负荷过大所引起的心理状态上的疲劳。它表现为注意力不集中、反应迟钝、决策能力下降以及情绪不稳定等症状，对个体的认知能力、工作效率和生活质量有负面影响。近年来，许多研究致力于心理疲劳的识别和检测。其中，利用生理参数进行心理疲劳状态的识别成为研究的热点之一。研究人员使用心电（electrocardiogram，ECG）和脑电（electroencephalogram，EEG）等生理信号来提取特征并进行分类，以判断个体是否处于心理疲劳状态。

基于ECG信号研究心理疲劳，研究人员主要关注心率和心率变异性（heart rate variability，HRV）。现已有研究通过诱发受试者的心理疲劳，测量ECG信号，从而进一步计算HRV信号，再通过提取时域（平均心率、平均RR间期）、频域（低频百分比、高频百分比、低频范数、高频范数和低频/高频范数之比）、非线性域（样本熵）等相关参数，结合机器学习模型，检测心理疲劳的状态^[1-6]。HRV是指心跳间期的变化，可反映心脏自主神经系统的活动水平。研究发现，心理疲劳状态下，心率增加，而HRV降低^[6]。通过测量心率和HRV的变化，可以预测个体的心理疲劳程度。然而，HRV特征的提取需要复杂的算法，并对信号质量要求较高，且提取过程会受到噪声和运动等因素的影响。此外，HRV特征的提取通常依赖于手工提取，也易受到主观因素的影响，无法充分捕捉ECG信号中的潜在信息。相比之下，EEG信号可以提供有关认知状态和注意力水平的信息，当用于心理疲劳的分类时具有一定的潜在应用价值。

基于EEG信号进行心理疲劳的检测，通常研究者们是通过提取时域、频域和非线性域等特征，并使用机器学习和深度学习等方法进行分类^[7-11]。已有的研究表明，不同的特征组合和分类算法对心理疲劳的识别准确率有影响，其中深度学习方法在心理疲劳检测方面表现更为准确可靠。然而，EEG信号在实际应用中存在一些局限，如会遭遇噪声干扰、电极位置选择不固定以及数据分析的复杂性等问题，限制了其在实际场景中的应用推广。

除了ECG和EEG信号，还有一些研究采用其它生理信号来检测心理疲劳，例如皮肤电信号、体表温度等。Zhang等^[12]提出了一种深度卷积自动编码记忆网络，用于实时检测心理疲劳。该网络模型利用智能手环收集生物特征数据，如皮肤电信号、心率、RR间隔和体表温度，通过两个子网络（表征网络和记忆网络）协同优化来提取特征并生成训练模型，该方法在真实环境数据集上的准确率达到82.9%。

综上所述，利用生理信号进行心理疲劳的识别和检测是一项具有重要意义的研究。通过分析ECG和EEG等生理信号，结合机器学习和深度学习等方法，可以实现对心理疲劳状态的准确判断，为改善个体的工作效能和生活质量提供有益的参考。当前，在心理疲劳的预测和监测方面，使用HRV和EEG信号来预测心理疲劳的方法备受关注。相比于直接从ECG信号中提取特征，采用HRV和EEG信号能够提供更多的生理信息；但HRV和EEG信号的处理比直接从ECG信号中提取特征更加复杂，需要更多的预处理和处理步骤，且其预处理和处理的过程对信号的质量要求更高，任何不良干扰都可能影响分析和预测的准确性。虽然HRV和EEG信号能够提供更多的生理信息，但HRV信号需要手工提取特征，所以它的精度和可靠性相对较低，而EEG信号的测量设备较为复杂，增加了处理成本和难度。因此，为了解决HRV和EEG信号应用局限性的问题，本文提出了基于一维卷积神经网络（convolutional neural network，CNN）和长短时记忆网络（long short term memory，LSTM）结合的深度挖掘ECG信号的特征方法，以期实现更为高效的心理疲劳状态分类。

1. 心理疲劳状态识别方法

用于可穿戴压力及影响检测的多模态数据集（multimodal dataset for wearable stress and affect detection，WESAD）是由Schmidt等^[13]创建，旨在用于使用可穿戴设备后的心理疲劳状态和情绪检测。该数据集的实验设计包括多个阶段，如静息、娱乐和压力诱发疲劳等。静息和娱乐代表非疲劳的放松状态，而压力诱发的阶段代表疲劳状态。Schmidt等^[13]通过测量15名参与者的多种生理信号，包括ECG信号、皮肤电信号、呼吸以及体温等数据，并记录参与者填写的标准问卷，以进行心理疲劳和情绪的状态识别。该数据集无需特殊授权即可供以科研为目的的研究者访问和使用，相关学者可以利用这个数据集来分析和探索心理疲劳与生理信号之间的关系，从而增进对心理疲劳的理解。本文使用WESAD数据集中的ECG信号进行心理疲劳分类的研究，该信号是由胸戴式设备传感器测量的，采样频率为700 Hz。

本文采用一维CNN算法对样本数据进行特征选择，然后采用LSTM算法对选择的特征进行分类，再将两者结合建立心理疲劳识别模型。整体流程包括对ECG信号的数据预处理（去噪和降采样处理）、CNN网络深度挖掘特征以及LSTM网络融合特征和分类，最终达到准确识别和分类心理疲劳状态的目的。

1.1. 数据预处理

通过传感器测量的ECG信号中存在肌电、工频干扰以及基线漂移等噪声。为了更清晰地识别非疲劳和疲劳状态下的R波，以便进行后续特征提取，需要对ECG信号进行去噪与降采样处理，以提高分类的准确性。

1.1.1. 去噪和降采样处理

肌电干扰，通常具有较宽的频率范围（5～2 000 Hz），频谱特性类似白噪声^[14]。采用巴特沃斯低通滤波器可以有效地消除肌电干扰。工频干扰，主要是由于电力系统中的电源磁场以及测量ECG信号的传感器和人体形成的环路引起的^[15]，工频干扰的最大幅值约为ECG信号最大幅值的50%。为了有效消除工频干扰，使用陷波滤波器是一种常见的方法。基线漂移，是指ECG信号基线沿时间方向的缓慢变化，在各种噪声中影响最大^[16]，如果无法有效地抑制基线漂移，将导致ECG信号失真，严重影响ECG信号的诊断和识别。为了解决这个问题，本文采用零相位滤波器来消除相位失真。

为减少数据冗余和计算负担，同时需确保有足够的信息用于心理疲劳分类，本研究将ECG信号的采样频率从700 Hz降低至33 Hz，有效地压缩数据，减少了数据量，提高了数据处理效率，同时降低了后续信号处理和分析所需的计算量。

1.1.2. R波检测

从整体ECG信号来看，R波在每种类型的ECG节拍中都是最明显的，因此有利于R波定位。在去除噪声干扰后，基于R波的斜率突变特性，可采用诸如差分法和小波变换法等处理方法来定位R波。考虑到时间和空间的复杂性和准确性，本文采用了一种改进的自适应滑动时间窗定位方法，具体的算法描述如下：

（1）使用滤波器消除噪声并抑制P波和T波，以获得纯净的ECG信号，使得波形模式单一并且R波更为明显。

（2）利用R波具陡峭特性的原理，用“双斜率”方法处理单个波形^[17]。

（3）步骤（2）处理后，波形中可能包含双峰，不利于准确检测，因此使用低通滤波进行平滑处理。

（4）根据时间窗口的长度对信号进行划分，初始窗口长度定义为经验窗口长度，通常可以根据经验取适当的值。本文选择长度N = t × f（通常情况下t = 1.2 s，f = 33 Hz）。此外，经验RR时间长度T₁被设置为最小的RR时间值，然后在当前窗口长度内，检测R波的位置，其中R波峰值是该窗口内信号的最大值，同时记录其位置。

（5）当检测到两个以上的R波峰值时，计算两个相邻的RR间隔，并将RR间隔用作下一个窗口长度设置点的基础。自适应窗口长度意味着窗口长度会随RR间隔变化而变化。例如，如果RR间隔小于0.45，则将窗口长度设置为1.2倍的RR间隔；如果RR间隔大于0.5，则将其窗口长度设置为1.5倍的RR间隔。

（6）当检测到三个或更多R波峰值时，设T₂为前两个相邻RR间隔的差值，并重新设置阈值。如果T₂超过阈值，则表明先前的R波位置不正确，需重置窗口长度，再次执行步骤（4）以重新定位R波。

由于峰值检测算法的窗口长度自适应变化，当出现R波峰值位置误差时，后续的R波峰值检测不会受到影响，有效避免了峰值检测的遗漏和错误检测。根据该步骤，依次检查ECG数据，直到所有的R峰被检测出来。改进的自适应滑动窗R波波峰定位算法的流程，如图1所示。该方法可以准确地定位R波，并根据R波的位置坐标对ECG信号进行切分，以便将切分后的ECG节拍输入到CNN网络中，从而获取相关的特征信息。

图 1.

Improved adaptive sliding window R-wave peak location algorithm

图１ 改进的自适应滑动窗R波波峰定位算法

1.2. 特征提取与分类

1.2.1. CNN模型

近年来，CNN算法快速发展，其最大的优点在于能够自动进行特征提取、共享权重、局部连接卷积层，以及通过池化操作降低数据的维度。本文实验结合CNN的优点以及ECG信号特点，提出了基于CNN模型提取特征的方法，如图2所示，展示了本次实验过程中使用的一维CNN模型。

图 2.

CNN model diagram

CNN模型图

该CNN共有5层。第一和第三卷积层的卷积核大小分别设置为31 × 1和6 × 1，用于对输入的ECG节拍提取局部信息。第二、四池化层均为最大池化层，用于从局部特征中提取关键信息并舍弃冗余特征。在卷积操作中，卷积核的移动步幅被设置为1，且在每次卷积后都经过带泄露修正线性单元操作。池化层的步长分别设置为5和3。在基于CNN的ECG信号特征提取模型中，一系列卷积运算后，关键的局部信息被提取出来，然后将其映射到隐藏层的特征空间中。随后，通过全连接层将这些信息映射到标记的空间中进行整合输出。为了更新网络参数并加快模型的收敛速度，将随机梯度下降作为网络模型的优化器^[18]，在网络模型中权重会随着梯度下降方向进行迭代更新。在训练过程中，初始学习率设为0.01，批量大小设为16。

1.2.2. LSTM模型

LSTM是一种递归神经网络的变体，专门设计用于处理序列数据。它具有三个关键的门机制，用于有效地捕获、存储和输出关键的ECG信息^[19]。其模型结构如图3所示。

图 3.

LSTM model diagram

LSTM模型图

图3中，输入门（input door）（以符号i_t表示）控制着有多少信息应该被存储在当前候选状态（current candidate status）（以符号表示）中。它确保模型有效地吸收来自ECG信号特征的关键信息，以进行后续分析和分类。遗忘门（forget door）（以符号f_t表示）控制着前一时刻的内部状态（internal state of the previous moment）（以符号c_{t − 1}表示）中应该遗忘多少信息。对于输入特征（input feature）（以符号x_t表示），遗忘门的作用是决定在当前时间步骤应该丢弃哪些信息，以丢弃与当前任务无关的信息。输出门（output door）（以符号o_t表示）控制着从内部状态（internal state）（以符号c_t表示）输出到外部状态（external state）（以符号h_t表示）的信息量，允许模型确定每次处理ECG信号特征时要输出多少信息。输入门、遗忘门、输出门的计算如公式(1)~式(6)所示：

1

2

3

4

5

6

式中， 代表输入特征， 代表当前时刻的记忆单元， 代表上一时刻的记忆单元， 代表候选状态的记忆单元， 表示当前时刻的外部状态， 表示上一时刻的外部状态。、、、 分别表示输入门、遗忘门、输出门和候选单元的输入权值向量，而 、、、 分别表示各个门控单元的偏置项。 代表S型激活函数^[20]， 代表双曲正切函数。

1.2.3. CNN-LSTM模型

CNN能够有效提取ECG信号的特征值，而LSTM的门控机制可以对CNN提取的特征值进行长短期的存储以实现特征融合。并且，LSTM模型中数据特征的“选择性记忆”过程有助于减少特征之间的冗余。将融合后的特征输入到分类器中，以实现对疲劳状态和非疲劳状态进行分类。本文通过多次重复的CNN卷积和池化操作，能够有效提取增强的ECG特征信息，然后将这些特征传递给LSTM，作为该模型输入层的载入数据。随后，对多个层级进行处理，再将信息传递到全连接层以获取最终的预测输出^[21]。CNN-LSTM模型的结构如图4所示。

图 4.

CNN-LSTM model diagram

CNN-LSTM模型图

2. 结果

如图5所示，滤波器能够有效去除原始ECG波形图中的噪声，从而提高信号质量和可读性，在信号处理中起着关键的作用，使得ECG波形图变得更加清晰和准确。

图 5.

Denoising ECG waveform

去噪ECG波形图

如图6所示，展示了经过降采样处理后的ECG波形图。通过降采样处理ECG波形图，实现了数据的压缩和计算复杂度的降低，同时去除了高频噪声，简化了数据处理流程，提高了处理效率。

图 6.

Downsampled ECG waveform

降采样ECG波形图

本文实验使用了改进的自适应滑动窗R波波峰定位算法，R波的定位效果图如图7所示，该算法的准确率达到了98.7%。以R波位置为中心，向左向右各截取250 ms的ECG节拍数据，如图8所示。分割后的ECG数据分别使用朴素贝叶斯（naive Bayes，NB）分类器、支持向量机（support vector machine，SVM）、决策树（decision tree，DT）等机器学习算法进行心理疲劳的分类，按照8∶2的比例分为训练集与测试集，作为CNN-LSTM模型的输入。如表1所示，CNN-LSTM算法识别的准确率明显高于机器学习（NB，SVM，DT）和单一的深度学习CNN算法。

图 7.

R wave positioning effect

R波定位效果图

图 8.

Schematic diagram of ECG beat

ECG节拍示意图

表 1. Average recognition accuracy of fatigue classification by different algorithms.

不同算法的疲劳分类平均识别准确率

算法	NB	SVM	DT	CNN	CNN-LSTM
平均识别准确率	83.3%	88.4%	91.8%	94.6%	96.3%

3. 讨论

人体处于心理疲劳状态时，会引起ECG、肌电等生理参数的变化。考虑到采集信号的便利性，本文选择ECG信号作为研究的生理参数。本研究是一个二分类问题，因此使用经典的SVM算法等机器学习算法进行分类，然而，SVM等算法在分类前需要手工提取特征，这使得特征提取具有一定的局限性。考虑到CNN算法具有自动提取特征和图像处理的优势，而LSTM在有效捕捉、分析和长期存储ECG信号中的时序信息方面的优点，本文提出了基于一维CNN算法与LSTM算法结合的心理疲劳状态分类方法。

通过实验的对比分析，本文采用CNN-LSTM算法训练样本，达到了降低个体差异的目的，同时也降低了分类器训练阶段的计算复杂度，减少了训练时间，并提高了分类器的整体分类准确率。本文截取的每个ECG节拍为500 ms，未对不同长度的数据样本进行进一步的识别研究，因此，下一步的工作将深入研究不同长度的ECG节拍对心理疲劳状态的影响。

4. 结论

本研究针对心理疲劳评估问题，采用ECG信号，提出了基于一维CNN-LSTM模型的心理疲劳状态识别方法。实验结果表明，CNN-LSTM算法对心理疲劳状态的识别分类准确率达到了96%以上，相较于机器学习和单一CNN等相关算法，提高了识别的准确率。CNN-LSTM算法能够有效地识别心理疲劳，为心理疲劳状态的干预与心理健康等提供了可能性。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：王慧主要负责实验流程、算法程序设计、数据分析以及论文编写；张玭、金丰护和赵宝永主要负责协调沟通以及提供实验指导；曾勤波和肖文栋主要负责提供数据分析指导和论文审阅修订。

Funding Statement

国家自然科学基金项目（62173032）；佛山市科技创新专项资金项目（BK22BF005）；广东省基础与应用基础研究基金区域联合基金项目（2022A1515140109）

National Natural Science Foundation of China; Science and Technology Innovation Special Foundation of Foshan City, Guangdong Province, China; Regional Joint Fund of Basic and Applied Basic Research Foundation of Guangdong Province, China