基于图卷积神经网络和脑电信号的疲劳识别研究

Abstract

Electroencephalogram (EEG) serves as an effective indicator of detecting fatigue driving. Utilizing the open accessible Shanghai Jiao Tong University Emotion Electroencephalography Dataset (SEED-VIG), driving states are divided into three categories including awake, tired and drowsy for investigation. Given the characteristics of mutual influence and interdependence among EEG channels, as well as the consistency of the graph convolutional neural network (GCNN) structure, we designed an adjacency matrix based on the Pearson correlation coefficients of EEG signals among channels and their positional relationships. Subsequently, we developed a GCNN for recognition. The experimental results show that the average classification accuracy of driving state categories for 20 subjects, from the SEED-VIG dataset under the smooth feature of differential entropy (DE) linear dynamic system is 91.66%. Moreover, the highest classification accuracy can reach 98.87%, and the average Kappa coefficient is 0.83. This work demonstrates the reliability of this method and provides a guideline for the research field of safe driving brain computer interface.

0. 引言

驾驶疲劳，是指驾驶人在长时间连续驾驶后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象^[1]。疲劳驾驶引发的交通安全事故并不是在驾驶员疲劳之后一瞬间发生的，而是驾驶员在一段时间内处于不清醒或者意识薄弱状态时导致对车辆操控能力下降引发的意外^[2]，在此过程中，可以通过外界干扰使驾驶员从不清醒的状态恢复到短暂的清醒状态，从而极有可能阻止交通事故的发生。通常，在这段时间内采用被动检测法可检测驾驶员是否处于疲劳驾驶状态^[3]，该方法主要是先通过传感器或者摄像头获取驾驶员开车时的情形，然后通过建立的驾驶数据模型进行模式识别，判断驾驶员是否疲劳并做出相应措施。

当驾驶员处于疲劳状态时，驾驶员各项生理参数对比清醒状态时会有不同程度的变化，其中变化比较显著的是脑电（electroencephalogram，EEG）信号。已有研究表明，脑电信号识别可作为人体疲劳检测的金标准^[4]。脑电信号的识别属于脑机接口（brain-computer interface，BCI）领域，脑机接口是一种新型的人机交互技术^[5]，近年来，很多研究者聚焦于基于脑电信号特征的疲劳驾驶检测，在此类算法中，特征提取算法又是影响分类准确率的关键因素。Chuang等^[6]通过快速傅里叶变换提取人体疲劳状态下的脑电信号特征，并以k最近邻算法和最大似然估计计算高斯分布参数算法进行识别，将不同分类器的不同特征提取和特征选择方法组合，分类准确率均在80%以上。杨慧舟等^[7]针对前额单通道脑电信号特征提取能力不足的情况，采用有监督对比学习的疲劳特征提取及分类算法，将一维信号转化为二维信号，对三种疲劳状态分类的平均准确率为75.80%。龚子安等^[8]采用局部特征处理和全局特征处理的集成网络方法来提取脑电信号特征，在三分类检测任务中分类准确率为61.34%。Chai等^[9]将脑电信号进行自回归模型特征提取后，采用贝叶斯神经网络成功识别驾驶过程中的清醒和疲劳两种状态，二分类准确率为88%。Zhang等^[10]采用对称正定矩阵提取脑电信号时空特征，并以神经网络进行特征分类，分类准确率为89.8%。耿欣^[11]利用小波变化提取脑电信号特征，以反向传播神经网络算法进行分类识别，结果表明采集大脑皮层额叶区域脑电信号对疲劳状态分类准确率较好，平均分类准确率为87.5%。冯笑等^[12]提出了一种可解释深度学习模型，用于从单通道脑电信号中检测受试者疲劳状态，该模型的分类平均准确率最高达76.26%。

以上研究虽然已取得了一定成果，但仍然没有解决好安全驾驶脑电信号的模式识别问题，共同原因是在提取特征时虽考虑到单通道采集脑电信号的便携性，但却未考虑脑网络的影响^[13]，未充分全面提取脑电信号特征。人脑是由多个脑区复杂地连接在一起的，在脑电数据集中，表现为脑电信号各个通道之间相互影响和依赖；通道与通道之间的信息，即类似于图的网络信息，这与图卷积神经网络（graph convolutional neural network，GCNN）模型一致。GCNN是一种用于处理图结构数据的深度学习算法^[14]，它将传统卷积神经网络（convolutional neural network，CNN）扩展到了图领域，可以对节点在图上的特征进行学习和预测，即对各个通道在图上的特征进行学习和预测，因此本文提出一种结合脑网络和GCNN进行基于脑电信号的疲劳驾驶状态识别的方法，可充分利用各通道间的脑电信息，并利用深度学习算法自动提取特征进行脑电信号分类。综上，期望通过本文的研究，可进一步提高疲劳驾驶状态的检测精度，为安全驾驶脑机接口领域的研究提供一定的参考。

1. 图卷积神经网络

1.1. 图神经网络

卷积神经网络最早于1979年被提出，经过很多学者的不断研究，GCNN应运而生。但GCNN最早是基于图神经网络（graph neural network，GNN）发展而来，2009年Scarselli等^[14]提出了基于不动点的图神经网络，给定一张图G，每个结点有特征x_v，连接两个结点的边也有特征x（v, u），每个结点的图感知隐藏状态h_v就是图神经网络学习的目标，该隐藏状态包含了邻居节点信息，其更新如式(1)所示：

1

式中，表示t + 1时刻结点v的隐藏状态，f表示隐藏状态的更新函数，x_v表示结点v的特征，x_co[v]表示与结点v相邻边的节点特征，表示t时刻隐藏状态，x_ne[v]表示结点v的邻居结点特征。通过式(1)可以看出，该模型已经利用了图的信息，将其融入到了神经网络中，形成了图神经网络。

1.2. 图卷积神经网络

GCNN是一类专门用于处理图结构数据的神经网络^[15]，主要是把卷积思想应用到图结构上，进行图卷积操作，通过对每个节点及其邻居节点的信息进行聚合和转换，从而学习节点表示，因此GCNN每一层主要有两个操作步骤：特征聚合和特征更新，如式(2)所示：

2

式中，H^（l）表示第l层节点矩阵，H^{（l + 1）}表示第l + 1层节点矩阵，是加上自连接后的邻接矩阵，表示的度矩阵，表示的负二分之一次幂，W^（l）是第l层权重矩阵，σ表示激活函数。

GCNN结构图如图1所示，包含了输入层、隐藏层、激活函数、输出层，其中输入层包含脑电信号的图结构信息，激活函数为线性整流函数（rectified linear unit，ReLU）。

图 1.

The structure of GCNN

GCNN的结构图

对于式(2)中邻接矩阵，本文利用脑电信号通道之间的相关性进行构造，在统计学中，常见相关性系数有皮尔逊相关系数^[16]、斯皮尔曼等级相关系数、最大似然估计相关系数等，其中皮尔逊相关系数用于衡量两个连续变量之间的线性关系，比其他相关系数更适合用于连续脑电通道信号，计算公式如式(3)所示：

3

式中，R值范围从− 1～1，接近1或− 1表示相关，接近0表示不相关，如图2所示。X和Y表示各个通道的脑电信号，和表示各个通道脑电信号的均值，图2中横纵栏的1～34编号是表示脑电通道编号，相关系数的假设检验为t检验，进而得到P值。则邻接矩阵M采用R的数学期望，M计算公式如式(4)所示：

图 2.

Correlation matrix

相关系数矩阵

4

不仅如此，在构造邻接矩阵时，考虑到图2中节点间关系的二维矩阵L，可用脑电电极物理位置关系的二维矩阵表示，因此根据位置信息画出无向图，如图3所示，若两个节点之间存在黑线表示的边，则对应位置的值为1，否则为0，如图4所示，则邻接矩阵M的计算公式如(5)所示：

图 3.

Undirected graph of electrode position

电极位置无向图

图 4.

Adjacency matrix L

邻接矩阵L

5

2. 实验结果分析

2.1. 实验数据

本文实验使用的脑电信号来自上海交通大学（Shanghai Jiao Tong University，JSTU）仿脑计算与机器智能研究中心（center for brain-like computing and machine intelligence，BCMI）构建的警觉度估计脑电信号数据集（the SJTU emotion electroencephalogram datasetvigilance，SEED-VIG）中五频段脑电特征数据，该数据集可在BCMI 主页进行公开下载。该数据是以五频段计算脑电信号特征，包含功率谱密度（power spectral density，PSD）滑动平均、PSD线性动力系统平滑、微分熵（differential entropy，DE）滑动平均和DE线性动力系统平滑^[17]。该数据的采集是通过一个虚拟的驾驶环境，让测试者通过液晶显示屏幕实现笔直、单调的道路驾驶，通过在这种虚拟环境下模拟真实的开车状态，进而获得受试者脑电数据，其脑电数据包含了大脑中枕叶区和颞叶区的17个通道，电极通道位置如图3所示。

在SEED-VIG数据集中每一个测试者都有一个警惕度标签p，每8 s计算一次，计算公式如式(6)示：

6

其中，b表示眨眼时间，c表示闭眼时间，i表示眨眼时间、注视时间、扫视时间和闭眼时间之和，p用来表示受试者的警惕度，数值范围在（0, 1]之间，本文中将p指数按阈值：0.35、0.70，作为节点，共分为3类：① 0 < p ≤ 0.35，表示受试者处于清醒状态；② 0.35 < p ≤ 0.70，表示受试者处于疲劳状态；③ 0.70 < p ≤ 1.00，表示受试者处于嗜睡状态。

2.2. 结果分析

SEED-VIG数据集中五频段脑电信号特征数据，包含了21名受试者（编号：S1～S21）的脑电信号特征，每个受试者数据大小为17 × 885 × 5；即提取17个通道885个样本中与疲劳状态明显相关的alpha（8～14 Hz）和delta（1～4 Hz）频段数据，数据大小为885 × 34，然后把除编号13异常数据之外的20名受试者的数据随机选择80%的数据作为训练集，另外20%的数据作为测试集，邻接矩阵大小为34 × 34，迭代次数5 000次，学习率为0.001，隐藏层数为3，隐藏层节点数为48，采用交叉熵函数作为代价函数进行网络训练和识别。

在分类问题中，最常见的评价指标有准确率和错误率，准确率表示正确分类的样本数量之和除以总样本数，它能够直接反映正确分类比例，与错误率相反。本文实验20名受试者的平均结果如表1所示。从表1中可以看出，DE线性动力系统平滑特征的分类准确率最高，清醒和嗜睡状态的分类准确率均在90%以上，疲劳状态分类准确率次之，可能是因为疲劳状态属于清醒与嗜睡的中间状态，疲劳状态脑电信号包含清醒与嗜睡的特征，相比较而言，分类难度稍大，但四种特征的平均分类准确率均在88%以上，验证了该方法的有效性。

表 1. Classification accuracy under four types of features.

四种特征下的分类准确率

特征	分类准确率
	清醒	疲劳	嗜睡	均值
DE线性动力系统平滑	91.99%	89.43%	98.23%	91.66%
DE滑动平均	84.75%	85.42%	83.64%	88.83%
PSD线性动力系统平滑	92.78%	85.71%	97.89%	90.14%
PSD滑动平均	85.97%	82.10%	85.71%	88.20 %

如图5所示为20名受试者在DE线性动力系统平滑特征下的分类准确率，其中13名受试者的分类准确率均在90%以上，受试者20（编号为S20）的分类准确率最高，为98.87%，以其为例，每个类别测试结果如图6所示，仅有两个独立的星号未与圆圈重叠，即2个样本预测错误，表示把真实清醒状态错误预测成疲劳状态。而其测试集数据预测混淆矩阵如图7所示，图7中纵坐标1表示清醒类别，清醒类别真实总样本数为125，分类正确样本个数为123，分类错误样本个数为2，分类准确率为98.4%，分类错误率为1.6%；纵坐标2表示疲劳类别，疲劳类别真实总样本数10，分类正确个数为10，无样本分类错误，分类准确率均为100%，但有2个清醒类别的样本被误分类为疲劳类别，因此预测结果为疲劳的样本数为12，其中正确的疲劳样本数为10，分类准确率为83.3%，错误率为16.7%；纵坐标3表示嗜睡类别，分类正确个数为42，无样本分类错误，分类准确率均为100%。

图 5.

Classification accuracy of the test set with 20 subjects

20名受试者测试集分类准确率

图 6.

Prediction results of test set for subject 20

受试者20的测试集预测结果

图 7.

Prediction confusion matrix of test set data for subject 20

受试者20测试集数据预测混淆矩阵

其余受试者中，有6名受试者的分类准确率在80%以上，仅有1名受试者分类准确率偏低，即受试者9分类准确率为78.53%，可能是由于各个受试者间存在不同差异，导致个别受试者分类准确率偏低，另有个别分类准确率偏高，从而影响整体分类准确率，因此不能仅用分类准确率作为评价模型的标准，可采用卡帕（Kappa）系数来进一步衡量模型的好坏。

Kappa值（以符号k表示）的计算基于混淆矩阵，如式(7)所示：

7

其中，p₀是每一类正确分类的样本数量之和除以总样本数，p_e是预期与真实结果一致的概率^[18]，通过比较实际分类与随机分类的差异来评估分类器的性能，k值越接近1，表示分类性能越好。

如表2所示，本文实验计算了DE线性动力系统平滑特征下20名受试者的Kappa值来评估分类器的性能。其中，有12名受试者的Kappa值大于0.8，表示实际分类与模型预测结果几乎完全一致；7名受试者的Kappa值大于0.6，小于0.8，表示实际分类与模型预测结果具有高度一致性；1名受试者的Kappa值大于0.4，小于0.6，表示实际分类与模型预测结果具有中等一致性；因此从一致性角度也验证了该分类算法的有效性。

表 2. Predicted Kappa values of 20 subjects.

20名受试者的预测Kappa值

受试者编号	Kappa	受试者编号	Kappa
S1	0.84	S11	0.74
S2	0.93	S12	0.87
S3	0.91	S14	0.79
S4	0.76	S15	0.76
S5	0.85	S16	0.89
S6	0.79	S17	0.89
S7	0.90	S18	0.91
S8	0.94	S19	0.91
S9	0.53	S20	0.97
S10	0.65	S21	0.79

对于GCNN，不同的邻接矩阵构造方法对分类准确率有直接的影响，皮尔逊相关系数是一种用于度量两个连续变量之间线性相关程度的统计量，适用于分析两个连续性变量之间的关系，符合各通道脑电信号的特征，因此利用皮尔逊相关系数构造不同的邻接矩阵进行分类，如表3所示，基于期望值GCNN分类准确率最高。

表 3. Classification accuracy under two adjacency matrices.

两种邻接矩阵下的分类准确率

方法	清醒	疲劳	嗜睡	准确率	平均Kappa系数
GCNN（R × P）	91.99	89.43	98.23	91.66	0.83
GCNN（R × L）	88.46	84.77	96.59	88.56	0.77
GCNN（R）	80.95	65.72	84.73	75.15	0.53

3. 结束语

本文在研究过程中主要使用了SEED-VIG数据库中的五频段脑电信号特征数据，对清醒、疲劳和嗜睡三种驾驶状态的脑电信号进行研究分析，针对目前脑电信号分类准确率较低且未考虑脑网络影响的问题，提出了一种将脑网络各通道脑电信号的皮尔逊相关系数和脑电通道位置关系运用于GCNN的方法，使其对脑电信号在4种特征下具有很好的泛化能力和鲁棒性，20名受试者整体平均分类准确率最高达91.66%。结果表明，本文所提的方法能够帮助有效识别驾驶员的疲劳状态，为安全驾驶脑机接口领域的研究提供一定的参考。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：李松主要负责程序编写、数据分析和论文写作；伏云发主要负责论文指导和审阅；张妍、鲁功主要负责实验指导、论文审阅。

Funding Statement

国家自然科学基金资助项目（81470084，61463024）[National Natural Science Foundation of China]