基于深度收缩自编码网络的飞行员疲劳状态识别

Abstract

针对飞行员疲劳状态识别的复杂性，本文基于脑电信号提出一种新的深度学习模型。一方面，利用小波包变换对飞行员脑电信号进行多尺度分解，提取了脑电信号的四个节律波段：δ 波（0.4～3 Hz）、θ 波（4～7 Hz）、α 波（8～13 Hz）和 β 波（14～30 Hz），将重组的波段信号作为纯净的脑电信号。另一方面，提出一种基于深度收缩自编码网络的飞行员疲劳状态识别模型，并与其他方法进行比较。实验结果显示，针对飞行员疲劳状态识别问题，所建立的新的深度学习模型具有很好的识别效果，识别准确率高达 91.67%。因此，研究基于深度收缩自编码网络的飞行员疲劳状态识别具有重要意义。

引言

随着科技的进步以及飞行器自动化水平不断提高，因飞机发动机、操作平台等设备故障导致飞行事故的比例从 20 世纪中叶的 85% 降到了如今的 12%～21%，而因操作者所导致的飞行事故占全部飞行事故的比例现已高达 70%^[1-2]。据国际民航组织（International Civil Aviation Organization，ICAO）的统计，人为因素在现代航空事故中所占的比例高达 76%，其中飞行人员原因造成的事故占 60% 以上，与飞行员疲劳有关的事故占 21%^[3-4]。因此，减少因飞行员疲劳造成的飞行事故，对航空安全具有重大意义。

2008 年 ICAO 在各国局长工作报告会上，明确给出了飞行疲劳的定义。飞行疲劳是一种会降低脑力或身体绩效的生理状况，一般是由睡眠不足、长期失眠或长时间的肢体运动等原因引起的，会削弱机组的警戒水平、安全操纵航空器以及完成与安全相关的任务的能力^[5]。目前，飞行疲劳的研究可分为主观方法（如基于飞行员自我感知状况等）和客观方法（如基于飞行员外部动作和生理特征状况等）。主观方法是通过主观调查表、飞行员在飞行中的个人记录表、斯坦福睡眠尺度表或皮尔逊疲劳量表等评定飞行员的疲劳状况的监测方法。客观测量方法是通过测量眼睑闭合、头部运动、手部运动、心率、脉搏等生理特征变化来判断飞行员的疲劳状态。相比于主观评价方法，客观测量方法能更加量化地反映飞行员疲劳程度，成为疲劳检测的主流发展方向，但目前基于生理参数对飞行员疲劳的研究方法还无法给出实时监测结果^[6-7]。因此，能实时快速反映飞行员疲劳状态的指标及识别方法具有更高的应用价值。

人的行为意识是大脑神经中枢传输控制大量神经元作用的结果。在大脑运作时，神经元树突受到其他神经细胞的刺激和轴突刺激其他神经元，过程中会产生一系列动作电位即脑电（electroencephalogram，EEG）信号，可以利用放置在大脑皮层的电极来采集这些脑电信号并用于分析研究。Ghaemi 等^[8]用脑电信号来识别左右手的活动，平均准确率达到 76.24%；Chen 等^[9]用脑电信号的频谱信息来评估观看 3DTV 的视觉疲劳，对比主观调查表情况，对疲劳的平均识别准确率达到 87%。此外，随着便携式脑电信号采集设备的发展，改善了脑电信号采集难的问题。因此，采用脑电信号监测飞行员疲劳状态具有较大的实际应用价值。

传统脑电信号特征提取方法主要集中在信息熵领域。Slanzi 等^[10]提取了脑电信号的近似熵等特征，用逻辑回归预测实验者是否点击网页，准确率为 71.09%；李明爱等^[11]利用小波包和熵准则提取脑电信号的最优频段，作为支持向量机的输入向量，识别大脑想象的不同运动，准确率最高可达到 81.75%。人工提取脑电信号的时频特征，受制于研究者自身水平的局限，不能准确地表征脑电信息，急需先进的机器学习技术来改进脑电信号的特征提取，而目前出现的深度学习技术可以有效地解决这一难题。深度学习是一种自主学习特征的模型，可最大化保留原始数据特征，给出更加客观性的特征^[12]。Stober 等^[13]用多层降噪自编码器对受试者所听到的音乐旋律进行分类，识别正确率可达 90%；Chai 等^[14]利用自动编码器来识别人的情绪变化，识别率高达 81.81%。针对飞行员疲劳状态下的脑电信号，不仅需要去除冗余信息增加计算效率，还需要增加各相同状态之间的相似性及不同状态之间的差异性，以保障较高的疲劳状态识别的准确率。上述文献的自编码网络仅去除信号冗余度提高计算效率，但对差别比较小的非疲劳、微疲劳、极度疲劳的脑电信号之间的区分并不明显。基于此，本文建议利用反映信号各个方向微小变化的雅克比矩阵，给自动编码网络（auto-encoding network，AEN）增加一个减弱干扰的惩罚项约束，形成一种收缩自编码网络（contractive auto-encoding network，CAEN），可以增强微小变化对输出值的影响，从而提高信号微小差异间的分类准确率。同时，利用多层深度学习能多层次更好地学习非线性特征的特点，本文提出一种新的深度收缩自编码网络（deep contractive auto-encoding network，DCAEN），对飞行员脑电信号进行抽象特征学习。

为了实现飞行员不同疲劳状态的精确分类，通常需要在二分类的基础上再增加一对多或一对一的识别，达到多分类的目的。Softmax 分类器^[15]是一种多类分类器，是逻辑回归分类器的推广，通过最大似然估计求解分类模型，最大化保留不同类别的代表性特征，适合作为 DCAEN 的顶层分类器，进行飞行员疲劳状态（非疲劳、微疲劳、极度疲劳）的识别。

因此，本文提出一种基于 DCAEN-Softmax 的飞行员脑电特征自学习和状态识别模型，并与 AEN 及主成分分析方法（principal components analysis，PCA）模型进行了比较。接下来分别介绍 DCAEN-Softmax 模型、脑电数据的采集和处理，以及基于深度收缩自编码网络的飞行员疲劳状态识别实验。

1. DCAEN-Softmax 模型

1.1. 自动编码器

标准自动编码器（auto encoder，AE）^[12]是 1968 年由 Rumelhart 所提出的三层神经网络结构，如图 1 所示，它包括输入层 x、隐藏层 h 和输出层 y，其中输入层的维数等于输出层的维数。

图 1.

Self-coding network

自编码网络

自动编码器对输入数据的处理包含编码和解码两部分。

编码过程：将输入变量 x 通过非线性函数映射到隐藏层 h，由此输入变量 x 便有了 h 这一种的表现形式。具体编码的原理为

1

2

其中， ， ，W 是 的权重矩阵；b 为输入层偏置向量； ， 为 Sigmoid 函数，其表达式如式（2）所示。

解码过程：将通过非线性映射而得到的隐藏层编码 h 再映射到输出层 y，使得输出层 y 尽量与输入层 x 相同，映射关系如下所示：

3

式中， ， 是隐藏层到输出层的权重矩阵，且有 ； 为隐藏层的偏置向量；θ = ，将参数合并为 。

通过输入层与输出层的差值来调节网络参数 θ，使得输入信息与输出信息之间重构的误差最小。传统自动编码器采用的代价函数为均方误差（mean squared error，MSE），即

4

式中，m 为样本的数量，x_i 为输入向量，y_i 为输出向量，θ 为网络中所有参数的集合。

1.2. 收缩自动编码器

由于脑电信号是微弱复杂的信号，因此需要增强自动编码器学习抽象特征的能力，这里可以通过引入雅克比矩阵作为惩罚项，构建新的最优化问题。雅可比矩阵是对某给定点的可微方程提供最优线性逼近，其中包含信号的各个方向信息特点，反映了原始空间微小变化引发的值域空间变化的敏感度。对此，可去除其他信息对微弱复杂信号的干扰，在自动编码器的代价函数中增加关于雅克比矩阵的约束，可以抑制信息在所有方向上的扰动，从而增强自动编码器特征学习的泛化能力，最大化地学习相同特征间的相似点。

收缩自动编码器^[12]（contractive auto-encoder，CAE）的代价函数由式（4）变换得来：

5

其中，雅克比矩阵为 ， 为隐藏层的编码函数，则

6

1.3. Softmax 分类器

在神经网络相关的多分类问题中，多层网络的求解大多使用梯度下降法来更新参数。Softmax 分类器因其损失函数便于进行求导运算而被广泛使用^[15]。

逻辑回归分类解决的是二分类问题，相对应地，Softmax 分类解决的是多分类问题。Softmax 分类是对逻辑回归分类的一种扩展，它通过最大似然估计法求解分类模型，最大化地提取信息中的本质特点，从而区分不同类别。

假设有类标 y 可以取 r 个不同的值，对于训练集 ，类标签为 ，r 为分类数。对于给定的输入 ，用假设函数 针对每一个类 k，可估算出概率值 。 的输出为一个 r 维列向量（总体概率和为 1），每行表示当前类别的概率。

假定假设函数 为

7

其中， 是模型参数，将 分为第 k 类的概率记为

8

Softmax 分类器的代价函数为：

9

对于样本 ，将概率 值最大所对应的类别 k 作为当前样本的分类标签，并与样本本身的标签做对比。如果一致则分类（识别）正确，否则分类（识别）错误，识别准确率（Accuracy Rate）可表示为：

10

1.4. DCAEN -Softmax 模型

DCAEN-Softmax 是由若干个 CAE 及顶层 Softmax 分类器组成。处理方法为：第一步，逐层随机初始化各层参数；第二步，将原始无标签数据作为第一层 CAE 的输入，逐层训练，训练好的第（L－1）层的结果作为第 L 层的输入，如此进行非线性变换，得出 DCAEN 各层参数的初始值；第三步，将带标签的数据输入 DCAEN-Softmax 中，根据标签结果，用后向传播（back-propagation，BP）算法对各层参数进行微调。建立的基于 DCAEN-Softmax 的飞行员疲劳状况识别框架如图 2 所示，首先采用一种自主学习的 DCAEN 逐层学习获取较为优化的权值，然后通过在网络顶层附加 Softmax 分类器对整体网络参数进行进一步的细微调节。

图 2.

Framework of DCAEN-Softmax model

DCAEN-Softmax 模型技术流程

算法步骤如下：

（1）设置隐藏层数 N；计数器 i = 0；随机初始化超参数：隐藏层权重 W 和偏移系数 b；惩罚项系数 λ。

（2）原始数据 （n₁ 为输入层的神经元数），通过非线性激活函数 ，映射到隐藏层，得到隐藏层对输入层的编码结果 （n₂ 为隐藏层的神经元个数），有 ；再利用同样的方法将 h 映射到重构层得 ，有 。式中， 和 分别为隐藏层到重构层的权重和偏移系数；i = i + 1。

（3）调整 W 和 B、 和 ，使 x 与 y 之间近似，并在代价函数中加入隐藏层的雅克比矩阵限制条件，抑制噪声干扰，有数学表达式 ，得到损失函数 ，通过迭代算法：

优化损失函数对训练参数 W 和 B、 和 进行更新，直至算法收敛。

（4）判断隐藏层数 i 是否为 N；若否，则 h 为 x，跳到步骤（2）；若是，得各层参数 W 和 B、 和 。

（5）将步骤（4）中所得的各层参数 W 和 B、 和 作为 DCAEN-Softmax 模型的初始值，利用带标签的数据及 BP 算法微调各层参数。

2. 脑电数据采集与处理

采集和处理的脑电数据来源于民用航空器的健康监测上海工程研究中心的模拟飞行实验。实验环境为 CRJ-200 模拟驾驶舱，脑电采集设备为 BCI 2000 系统，采用国际 10-10 系统中 64 个参考电极的放置方式，采样频率为 160 Hz。实验情形设置为不同时间段下，飞行员从上海虹桥机场飞往陕西咸阳机场的模拟飞行，飞行路径如图 3 所示。飞行员在前夜保持良好睡眠，分别于次日 8:00–11:00、12:00–15:00、第三日 0:00–3:00 时间段参与实验，并且飞行员在次日到第三日的时间段被剥夺睡眠权利，在操作实验时每 20 分钟记录一次两极疲劳量表。同时，为了降低设备带来的影响，被试者在测试之前进行了多次熟悉训练，将设备影响降到最低。通过对飞行过程中两极疲劳量表的分析，分别截取不同时段的数据集作为非疲劳、微疲劳、极度疲劳状况的数据集，如表 1 所示。飞行实验的被试者为 40 名身体素质良好且有 1 年以上飞行经验的飞行员，同时，被试者在实验前无不良作息习惯。实验采集 40 个飞行员的脑电数据，包含 40 个非疲劳信号的数据集、40 个微疲劳信号的数据集和 40 个极度疲劳信号的数据集，共 120 个数据集。每个数据集的矩阵维度为 64 × 96 000。

图 3.

Simulation flight path

模拟实验的飞行路径

表 1. Simulation flight experiments from Hongqiao to Xianyang at different times.

不同时间段从上海虹桥飞往陕西咸阳的模拟飞行实验

飞行模拟	实验要求	状况
非疲劳状况	飞行员在前夜保证充足睡眠，取次日 8:20–8:30 时间段试验数据	非疲劳
微疲劳状况	飞行员在前夜保证充足睡眠，取次日 13:30–13:40 时间段试验数据	微疲劳
疲劳状况	飞行员在前夜保证充足睡眠，取第三日 1:40–1:50 时间段试验数据	极度疲劳

2.1. 脑电信号预处理

脑电信号微弱、易受干扰，因此在特征学习之前要对脑电信号进行预处理，预处理流程如图 4 所示。首先截取所需要的脑电信号片段，利用小波包精细化分解得出脑电信号的四个节律区间，进而重组成纯净的脑电信号。一般地，脑电信号的基本特征包括频率、周期、幅值、相位等，其中频率特性具有较为突出的特点。根据频率和幅值的特性，脑电信号主要可分为 δ 波（0.4～3 Hz）、θ 波（4～7 Hz）、α 波（8～13 Hz）和 β 波（14～30 Hz）。因此，结合脑电信号特征及小波包变换^[16]提供精细化信号处理的特点，选择与脑电信号最为相似的 DB4 小波包对原始脑电信号作小波包变换，如图 5 所示，将脑电信号进行高低频分解。由于采集的脑电信号为 160 Hz，因此选取 4 层分解，以提取频率低于 30 Hz 的 4 个节律波段。再对 DB4 小波包分解出的节律波段进行重组，形成脑电信号。图 6 所示为 Fp1 导联的脑电信号原始波形和小波包分解重组之后的波形。

图 4.

The diagram of EEG signals processing

脑电信号预处理的流向图

图 5.

Wavelet packet transform of the original electroencephalogram signals with DB4 wavelet packet

DB4 小波包对原始脑电信号作小波包变换

图 6.

Reconstruction of electroencephalogram signals of Fp1

Fp1 导联的脑电信号重组

2.2. 疲劳识别

根据 DCAEN-Softmax 模型的原理，研究实现了飞行员疲劳状况识别，具体技术路线如图 7 所示。首先，利用 DCAEN 对预处理的无标签的飞行员脑电信号进行无监督逐层学习，获取 DCAEN-Softmax 初始化的参数；其次，利用预处理的带标签的飞行员脑电信号对 DCAEN-Softmax 进行有监督学习，通过顶层分类器 Softmax 对 DCAEN 所学习的抽象特征分类情况，对 DCAEN-Softmax 模型进行微调；最后，将测试集作为已训练 DCAEN-Softmax 模型的输入，对飞行员疲劳状况进行识别。

图 7.

The flow chart of electroencephalogram signals processing program

脑电信号处理程序流程图

为了尽可能利用较短的时间来识别飞行员疲劳状态，根据疲劳研究的相关文献^[17]，挑选出与疲劳相关的工作区域，选取的电极位置为 Fp1；截取 2 min 时间段的脑电信号作为分析对象。每个样本中含有 160*2*60 个数据，共有 120 个样本。采用 5-折交叉验证方法进行模型的训练和识别。同时，为了说明所提方法的有效性，分别选择 AEN 和 PCA 方法在不同模式下提取飞行员疲劳状态的主要特征，然后利用 Softmax 分类器作为顶层识别模型。不同模式定义如下：针对 DCAEN-Softmax 模型和 AEN-Softmax 模型，模式的定义为模型最后输入 Softmax 分类器的维度；针对 PCA-Softmax 模型，模式的定义为从 PCA 中提取主成分的个数组成的维度。如 39 维的模式为设置 DCAEN 和 AEN 中最后一层神经元个数为 39，使得输入到 Softmax 分类器端的为 39 维数据；选取 PCA 中占主要比重的前 39 个主成分向量，构成 39 维输入数据输入 Softmax 分类器。图 8 和表 2 为不同模型在不同模式下对飞行员疲劳状况的识别结果和识别准确率。

图 8.

The recognition results of DCAEN-Softmax and traditional models under different dimensions

不同维度下 DCAEN-Softmax 和传统模型识别结果

1: excessive fatigue status; 2: mild fatigue status; 3: normal status

1 代表极度疲劳状态，2 代表微疲劳状态，3 代表非疲劳状态

表 2. The recognition results of DCAEN-Softmax and traditio nal models under different dimensions.

不同维度下 DCAEN-Softmax 和传统模型识别准确率

不同 模式	DCAEN-Softmax 模型	AEN-Softmax 模型	PCA-Softmax 模型
39 维	91.67%	62.50%	20.83%
20 维	83.33%	58.33%	20.83%
10 维	83.33%	54.17%	25.00%

根据图 8 和表 2 中各个模型在不同特征模式下的识别结果和识别准确率可发现，DCAEN-Softmax 模型的识别结果和识别准确率都优于 AEN-Softmax 模型和 PCA-Softmax 模型，39 维度下识别准确率高达 91.67%。因此，相比 AEN-Softmax 模型和 PCA-Softmax 模型，DCAEN-Softmax 模型能更好地识别飞行员三种疲劳状态（非疲劳、微疲劳和极度疲劳）。此外，根据图 9 所示的不同模型训练得出的特征空间关系，可以更直观地发现，DCAEN 确实是极大程度地保留了脑电信息特征，优于 AEN 和 PCA 的特征提取。DCAEN 方法不仅具有对特征的维度降低和对抽象特征的优秀学习能力，同时在代价函数中加入隐藏层的雅克比矩阵的约束，消除了非疲劳、微疲劳和极度疲劳三种状态之间的干扰，增强了各状态之间的差异性。实验结果说明基于 DCAEN-Softmax 模型的飞行员疲劳状态识别是切实可行的。

图 9.

Three-dimensional features extracted using DCAEN, AEN and PCA

DCAEN、AEN 和 PCA 提取的三维特征

3. 结束语

飞行员疲劳状态下的脑电信号，经小波包变换重组后，表征飞行员疲劳特征的时频成分被作为深度学习的输入向量，而不是传统的人工提取几个特征作为分类器的输入向量，所以所提方法最大限度地包含了飞行员的原始脑部活动信息。同时，所提出的这种基于 DCAEN-Softmax 的飞行员疲劳状态识别模型，不但可以无监督自主学习不同状态下飞行员脑电动态节律特征，提取出表征飞行员疲劳的抽象特征，而且实验结果也显示，加入雅克比行列式的约束减少了干扰，增强了非疲劳、微疲劳和极度疲劳三种状态的类内相似性和类间差异性。对比传统方法的实验结果显示，这种基于 DCAEN-Softmax 的飞行员疲劳状态识别模型可更好地提取飞行员疲劳状态特征，识别准确率高达 91.67%，高于 AEN-Softmax 模型和 PCA-Softmax 模型。因此，基于 DCAEN-Softmax 的飞行员疲劳状态识别方法正确且有效。本实验仅讨论了 Fp1 导联的脑电信号，未来工作将继续研究利用其他导联的脑电信号对飞行员疲劳状态的识别。

Funding Statement

国家自然科学基金（61671293）；上海浦江人才计划（15PJ1404300）；浙江大学 CAD&CG 国家重点实验室开放课题（A1713）