Abstract
针对临床帕金森病(PD)伴快速眼动睡眠行为障碍(RBD)诊断方法的局限性,为了提高诊断准确率,提出基于少导联脑电和时频深度网络的智能辅助诊断方法。首先,为提高运算速度及算法鲁棒性,对各被试者的6导联头皮脑电数据进行等长的时间窗提取;然后,基于时间窗脑电数据构建时频深度网络,并得到基于时间窗的分类结果;最后,对各被试者所有时间窗脑电数据的分类结果进行综合决策,实现基于被试者的PD伴RBD辅助诊断。本文以南京医科大学附属脑科医院采集的PD伴和不伴RBD患者的多导睡眠图(PSG)为研究对象,两类数据各30例,以医生诊断结果作为金标准进行算法性能验证。本文方法基于时间窗的分类准确率为0.902 4,基于被试者的分类准确率为0.933 3,比RBD临床筛查问卷效果更好。
Keywords: 少导联脑电, 时频深度网络, 帕金森病, 快速眼动睡眠行为障碍, 智能辅助诊断
Abstract
Aiming at the limitations of clinical diagnosis of Parkinson’s disease (PD) with rapid eye movement sleep behavior disorder (RBD), in order to improve the accuracy of diagnosis, an intelligent-aided diagnosis method based on few-channel electroencephalogram (EEG) and time-frequency deep network is proposed for PD with RBD. Firstly, in order to improve the speed of the operation and robustness of the algorithm, the 6-channel scalp EEG of each subject were segmented with the same time-window. Secondly, the model of time-frequency deep network was constructed and trained with time-window EEG data to obtain the segmentation-based classification result. Finally, the output of time-frequency deep network was postprocessed to obtain the subject-based diagnosis result. Polysomnography (PSG) of 60 patients, including 30 idiopathic PD and 30 PD with RBD, were collected by Nanjing Brain Hospital Affiliated to Nanjing Medical University and the doctor’s detection results of PSG were taken as the gold standard in our study. The accuracy of the segmentation-based classification was 0.902 4 in the validation set. The accuracy of the subject-based classification was 0.933 3 in the test set. Compared with the RBD screening questionnaire (RBDSQ), the novel approach has clinical application value.
Keywords: few-channel scalp electroencephalogram, time-frequency deep network, Parkinson’s disease, rapid eye movement sleep behavior disorder, intelligence-aided diagnosis
引言
帕金森病(Parkinson’s disease,PD)是仅次于阿尔茨海默病的第二常见神经退行性疾病,其运动症状表现为静止性震颤、运动迟缓、肌强直和姿势平衡障碍等。睡眠障碍是PD常见的非运动症状之一,约三分之一的PD患者同时伴有快速眼动睡眠行为障碍(rapid eye movement sleep behavior disorder,RBD)[1]。临床定义RBD为PD的亚型[2],其病症为快速眼动(rapid eye movement,REM)睡眠期肌肉弛缓现象消失并伴有与梦境相关的复杂运动[3]。PD伴RBD患者相比原发性PD患者的帕金森病程持续时间更长,运动障碍及运动并发症更重,睡眠质量更差,自主神经障碍更加突出[4-5],且临床认为RBD是PD患者出现认知功能障碍的独立因素[6]。研究表明RBD是PD患者神经退行性过程的突出标志,与PD的临床恶性表型相关,故正确诊断PD伴RBD具有改善治疗和预后的价值[7]。
目前,多导睡眠图(polysomnography,PSG)是RBD诊断的金标准,临床专家基于经验观察PSG数据,分析患者是否丧失正常REM睡眠期伴有的肌张力抑制[8-9],实现RBD的诊断。PSG是一种新兴的资源密集型设备,只有少部分医院拥有,不能全面用于疑似PD伴RBD患者的睡眠监测;另外,PSG包括脑电图、眼电图和肌电图等十余种生理信号的几十个采集电极,电极分布全身,易干扰患者的睡眠,且监测地点位于医院,导致部分患者无法入睡。当缺少PSG或PSG不适用时,RBD筛查问卷(RBD screening questionnaire,RBDSQ)是临床对RBD患者诊断的重要工具。RBDSQ对非PD患者的RBD诊断效果相对理想,但对PD伴RBD患者的诊断特异性较低,整体上不能适用于PD患者是否伴RBD的诊断[10]。由此可见,临床现有PD伴RBD诊断方法具有局限性,迫切需要设备舒适度高、诊断准确率高的智能辅助诊断方法。
脑电通过放置在头皮上的电极直接测量并记录了大脑皮层和皮下神经元的放电情况,具有时间分辨率高、无损伤、无辐射和成本低等特点[11],被广泛用于神经系统疾病和脑机接口研究[12-15]。在RBD诊断研究中,Koch等[16]提出采用主题建模方法对脑电信号进行睡眠分期,计算睡眠分期特征并使用k均值聚类算法实现PD或RBD的辅助诊断。该方法把PD和RBD视为一类,区别于正常对照组,且依赖被试者的睡眠分期情况。已有研究表明RBD患者的非REM期脑电有θ波活跃和β2波抑制现象,同时睡眠结构和睡眠稳定性也会发生改变[17]。因此,对RBD的诊断研究可以不局限于睡眠分期或REM期脑电提取。Bisgaard等[18]提取睡眠脑电信号的三种时域特征,使用离群点检测算法实现RBD的辅助诊断。该方法肯定了睡眠脑电对区分RBD和正常对照组的作用,但分类准确率只有78%,并不理想。据调研,PD伴RBD的智能辅助诊断研究相对较少,PD患者中的RBD诊断也比正常人中的RBD诊断更具挑战性[7]。以上RBD辅助诊断的研究均是先对脑电信号进行特征提取,再利用机器学习算法实现RBD患者和正常人的分类,同类方法有望用于PD伴RBD的研究。另外,对患者而言,脑电导联数量会在一定程度上影响佩戴舒适度,在保证辅助诊断准确率的同时,应尽量减少研究中使用的导联数量。因此,本文基于少导联头皮脑电开展不依赖睡眠分期的PD伴RBD辅助诊断方法研究。
脑电信号的特征提取和分类是PD伴RBD辅助诊断研究最重要的两个阶段。特征提取方法主要分为三类:时域、频域和时频域的方法[19]。时域特征和频域特征局限于信号的区域特征,忽视了脑电信号的动态特性。时频域特征提取了时域和频域的联合特征,增加了分类结果的可信度,是脑电信号分析的有效方法。分类方法包括传统机器学习方法和深度学习方法,其中深度学习是数据分析的发展趋势,在模式识别和计算机视觉领域领先于其他机器学习方法[20]。在睡眠脑电研究中,Wei等[21]和Jadhav等[22]使用脑电时频特征和深度学习方法实现睡眠分期,比Fraiwan等[23]使用传统分类算法的睡眠分期方法表现出更好的分期效果。上述研究体现了深度学习方法在分析睡眠脑电时频特征的优势。卷积神经网络(convolutional neural networks,CNN)是深度学习的代表算法之一[24],会自动学习从原始图像获取的高层次和高抽象特征,在医学图像的识别和分割方面非常有效[20,25-26]。结合脑电时频谱图和CNN的方法在癫痫预警、睡意检测和准脑死亡诊断等研究中得到良好的应用[27-30]。因此,本文在处理相同的脑电时频特征时,基于CNN构建时频深度网络,实现基于少导联脑电的PD伴或不伴RBD的分类。
本文提出一种基于少导联头皮脑电和时频深度网络的PD伴RBD的智能辅助诊断方法。该方法通过对被试者整晚的睡眠脑电信号进行时间窗提取,并以时间窗脑电数据为样本训练时频深度网络,以期实现基于被试者的PD伴RBD辅助诊断。
1. 方法
本文提出一种基于少导联头皮脑电和时频深度网络的PD伴RBD的智能辅助诊断方法。该方法将PD伴RBD的辅助诊断问题转化成PD伴RBD(PD with RBD,PD + RBD)和PD不伴RBD(PD without RBD,PD-RBD)的分类问题,定义PD + RBD脑电信号为正类,标记为1;定义PD-RBD脑电信号为负类,标记为0。该方法的架构图如图1所示,共分为四个步骤:① 数据采集;② 数据预处理;③ 训练过程;④ 测试过程。
图 1.

Schematic representation of the proposed method for diagnosis of PD with RBD
基于少导联头皮脑电和时频深度网络的PD伴RBD辅助诊断方法架构图
1.1. 数据采集
临床诊断RBD的金标准是对PSG数据的综合分析[8-9],本文数据源是由南京医科大学附属脑科医院老年医学中心提供的PSG数据。本项研究得到了南京医科大学附属脑科医院的批准,并获得了所有参与者的知情同意。原始数据集为2018年1月至2019年10月之间在南京医科大学附属脑科医院睡眠医学中心采集的PSG数据和多导睡眠监测报告。所使用的PSG设备包括64个导联,分别用于测量被试者睡眠期间的脑电图、心电图、腿部肌电图以及胸式呼吸张力图等多种生理电信号。PSG的记录时间固定(21时到次日7时),多导睡眠检测报告记录了被试者的PSG记录时间、入睡时间以及睡眠情况。
受实验设备以及实验数据影响,本文所使用的脑电数据来自于被试者的PSG记录,且带有医生对被试者PSG的诊断结果。PSG设备的脑电电极使用AgCl电极片,按国际10-20系统固定在头皮上,参考电极为同侧乳突电极。采集过程中电极阻抗保持在5 kΩ以下,连续脑电数据以256 Hz的采样频率记录。本文使用6导联脑电进行实验,包括F3、F4、C3、C4、O1和O2导联,图2展示了所使用导联的头部位置分布。数据集包含60例被试者的脑电数据,其中男性44例,女性16例,年龄为(63.38 ± 11.02)岁;PD-RBD被试者30例,脑电记录时间为(634.35 ± 28.30)min,PD+RBD被试者30例,脑电记录时间为(645.17 ± 42.35)min;且所选被试者从入睡到觉醒的时间都在360 min以上。
图 2.
The map of electrode location
导联位置分布图
1.2. 数据预处理
1.2.1. 数据准备
数据源存在多种变量,如每位被试者的入睡时间、睡眠时间和脑电记录时间都不相同。为保证研究数据的平衡,需要为每位被试者截取相同长度的睡眠脑电信号。本文根据被试者多导睡眠检测报告中的睡眠信息,截取每例被试者从入睡到觉醒期间的360 min脑电信号。
1.2.2. 频域滤波
为了提取感兴趣的脑电信号波段,本文使用带宽为0.3~90 Hz的四阶巴特沃斯双向带通滤波器对原始脑电信号进行滤波处理,保留δ~γ3波段的脑电信号。由于脑电信号采集装置工频干噪声在50 Hz左右,为了抑制工频噪声对实验结果的影响,本文对脑电信号进行50 Hz的陷波处理。
1.2.3. 时间窗提取
为了降低实验计算复杂度,提高运算效率和算法鲁棒性,并为时频特征提取提供相同时间长度的基本数据单元,本文对脑电信号进行时间窗提取。时间窗长度和相邻窗的数据重叠率是时间窗的两个重要参数。当时间窗长度为270 s时,计算的脑电时频谱图(时频特征)满足深度网络对输入图像的像素长宽比为1的要求。由于脑电信号具有非线性和非平稳性,当时间窗长度足够长且相邻窗无数据重叠率时,可认为每个时间窗数据之间相互独立。因此,本文使用长度为270 s且无重叠的时间窗提取被试者的脑电信号,故每例被试者的脑电信号被分割成80个时间窗,且每个时间窗数据之间相互独立。
1.3. 时频深度网络
本文通过构建时频深度网络,对时间窗脑电进行时频特征提取和深度网络分类,从而实现PD − RBD和PD + RBD的脑电信号分类。
1.3.1. 时频特征提取
本文采用短时傅里叶变换(short time Fourier transform,STFT)将时间窗脑电数据转换成时频谱图,并以此作为深度网络的分类特征。脑电信号具有非线性和非平稳性,STFT通过加窗处理,实现脑电的短时平稳化。每例被试的脑电信号经过预处理被分割成80个时间窗,每个时间窗包含6个导联的脑电数据,每个导联的脑电时长为270 s,频段为0.3~90 Hz。给定一个时间窗数据
,其中,i表示时间窗编号(
),n表示导联编号(
),模型中的STFT使用时间长度为1 s且数据重叠率为50%的汉宁窗,以频率分辨率为1计算时间窗内单导联脑电的时频谱图,计算过程如下:
![]() |
1 |
式中,w(t)是汉宁窗,随着τ的移动,对汉宁窗内的脑电信号使用傅里叶变换。
每个时间窗数据经过STFT得到6个导联的时频谱图
,再将
按照导联顺序F3、F4、C3、C4、O1和O2拼成单位时间窗的时频谱图
,由此每例被试的脑电数据将生成80幅时频谱图。
1.3.2. 深度网络模型
卷积神经网络是深度学习的代表算法,其主要功能在于深层架构可以从高度抽象的数据中提取有区分度的特征。二维(two-dimensional,2D)网络被用于图像和音频时频谱图的处理[31]。VGGNet是一种经典的CNN架构,在图像分类任务中表现出良好的性能[32]。本文基于VGGNet搭建时频深度网络,并对其进行优化。深度网络主体由13个卷积层和3个完全连接层组成的深度网络,每个卷积块包含两个或三个卷积层,在卷积块后接入ReLU激活函数,再建立池化层。深度网络模型示意图见图3,网络模型输入图像尺寸为224 × 224,通道数为3;卷积层采用3 × 3的卷积核,步长为1,填充为1;池化层采用2 × 2的最大池化,步长为2;输出使用SoftMax函数输出分类标签。
图 3.

Schematic representation of the deep network mode
深度网络模型示意图
过拟合是深度神经网络普遍存在的问题,根本原因是训练数据量不足以支撑复杂度高的模型,导致训练次数过多,模型过分关注图像的局部特征。在训练数据量固定的情况下,本文使用三种方法优化深度网络模型,分别为批量标准化、Dropout方法和L2正则化[33-35]。这三种方法的应用不仅可提高模型对过拟合的抑制能力,还可提升模型的运算效率和模型鲁棒性。
1.4. 后处理
时频深度网络的输出是基于时间窗的分类结果,本文通过后处理,对每例被试者全部时间窗的分类结果进行综合决策,实现基于被试者的PD + RBD和PD-RBD的分类。
后处理以被试者为对象,统计该被试者的全部时间窗的分类结果。设置阈值0.5,当模型判定为1的样本数与该被试者总样本数的比值大于设定阈值,判断该被试者属于1类,否则属于0类,即被试对象的诊断结果由该被试对象的大多数时间窗样本的分类结果决定。后处理的决策过程为
![]() |
2 |
式中,Yj表示被试者j的分类结果,Nj为被试者j的时间窗总数,
和
分别表示被试者j预测为0和1的时间窗数。
1.5. 对比分析的分类算法
本文使用了五种基准分类算法及其标准实现,并将其性能与本文所提出的时频深度网络进行比较。以下基准算法的相关参数均为网络搜索技术确定的最优参数。
1.5.1. 多层感知机
多层感知机(multilayer perceptron,MLP)是一种前馈人工神经网络,比单层感知机学习能力更强,且能实现非线性分类问题。MLP由输入层、输出层和隐藏层三部分组成,层与层之间完全连接,并引入激活函数完成数据传递,其工作原理为将输入的多个数据映射到单一的输出上。本研究使用含15个隐藏层的MLP,每层间接入ReLU激活函数,正则化系数为0.2。训练网络时采用L-BFGS优化器和平方损失函数,学习速率为1 × 10−3。
1.5.2. 支持向量机
支持向量机(support vector machine,SVM)的工作原理为应用径向基核函数将原样本空间映射到高维特征空间,在特征空间内寻求最大分割超平面,通过对样本特征空间的分割,实现对输入样本的分类。SVM分类算法有两个主要的参数,径向基函数参数γ和最优化问题的惩罚参数C,本研究中γ和C分别取0.005和100。
1.5.3. 最邻近算法
最邻近算法(k nearest neighbor,KNN)在分类决策上依据特征空间中最邻近的训练样本的类别决定待分类样本所属的类别。实验中使用曼哈顿距离决定待分类样本的k个最近邻样本,待分类样本的预测类别为邻近样本的大多数的类别标签。本研究中KNN的邻近样本数k的取值为12。
1.5.4. 随机森林
随机森林(random forest,RF)是一种基于Bagging方法的集成学习算法,包含多个互相不关联的决策树分类器。随机森林通过统计每个决策树的预测结果,选择投票最多的结果作为样本的最终分类结果。本研究中的RF集成100个决策树分类器。
1.5.5. 极限梯度提升
极限梯度提升(extreme gradient boosting,XGB)是一种基于Boost方法的集成学习算法,使用分类回归树作为基分类器[36]。XGB分类思想是使用贪婪算法不断地添加树,拟合模型上次的预测残差。根据测试样本的特征,每棵树会对应一个叶子节点,最后所有树对应叶子节点的分数加和就是该样本的分类结果。本研究XGB集成500个最大深度为10的树,学习速率为1 × 10−2。
1.5.6. 递归神经网络
本文重新构建了Ruffini等[37]处理特发性RBD患者的预诊断问题时提出的深层递归神经网络(recurrent neural network,RNN)模型,该模型由3个长短期记忆(long short-term memory,LSTM)细胞构成,每个细胞的隐藏层单元数为32,并使用Dropout方法调整LSTM细胞,最后通过全连接层和SoftMax函数输出分类结果。在训练Ruffini模型是使用RMSprop优化器和交叉熵代价函数,学习速率设置为1 × 10−4。
1.6. 模型评价标准
为了评估模型的分类性能,以及评价辅助诊断结果的可信度,本文引入准确率(accuracy,Acc)、敏感度(sensitivity,Sen)、特异性(specificity,Spc)和被试者工作特征曲线(receiver operating characteristic curve,ROC)四个评价指标。其中,准确率、敏感度和特异性的计算过程如下:
![]() |
3 |
![]() |
4 |
![]() |
5 |
式中真正类(true positive,TP)表示正样本被正确预测为正样本的数量;假负类(false negative,FN)表示正样本被错误预测为负样本的数量;真负类(false negative,TN)表示负样本被正确预测为负样本的数量;假正类(false positive,FP)表示负样本被错误预测为正样本的数量。ROC的y轴为真正率(true positive rate,TPR),x轴为假正率(false positive rate,FPR),根据分类模型输出的样本概率由高到低设置多个阈值,样本概率大于阈值判定正类,反之判定为负类,根据不同阈值的FPR和TPR绘制ROC曲线。ROC曲线下面积(area under curve,AUC)越大,表示分类器性能越好。
1.7. 实验环境与数据集分配
本文实验环境为windows10专业版64位操作系统,i9-10900X处理器,CPU主频为3.70 GHz,已安装内存64 GB,显卡型号为RTX6000。仿真软件为JetBrains PyCharm 2019.2,编译环境为python3.7。
实验数据集包含60例患者数据,分别为PD-RBD和PD+RBD数据各30例,实验把数据集分成训练集、验证集和测试集三部分,其中训练集和验证集共有30例患者数据(15例PD-RBD,15例PD + RBD,样本时间窗2 400个),并采用3折交叉验证分割训练集和验证集;测试集共有患者数据30例(15例PD-RBD,15例PD + RBD,样本时间窗2 400个)。最终,训练集、验证集和测试集的被试者比例为2∶1∶3。
2. 结果
本文使用PD伴和不伴RBD患者的临床数据进行以下实验:① 基于时间窗的分类实验,与其他分类器进行对比,验证本文所提方法的分类性能优势;② 基于被试者的分类实验,与RBDSQ方法进行对比,测试本文方法的临床应用价值。
2.1. 基于时间窗的分类
2.1.1. 本文方法结果
实验以训练集和验证集中PD-RBD 和PD + RBD两类被试者的时间窗脑电数据为样本,训练时频深度网络并验证模型的分类能力。本文使用TensorFlow机器学习库训练时频深度网络,为了得到可靠稳定的网络模型,实验采用三折交叉验证分割训练集和验证集,并选择Adam优化器和交叉熵代价函数,学习速率为1 × 10−5。时频深度网络在两类时间窗脑电数据的分类任务中表现良好,分类的准确率、敏感度和特异性分别为0.902 4 ± 0.009 5、0.887 1 ± 0.015 7和0.918 8 ± 0.014 1,ROC曲线下面积为0.96。
2.1.2. 对比分析结果
为了评估本文所提方法对时频特征的挖掘能力和分类效果,本文将MLP、SVM、KNN、XGB和RF方法应用于时频谱图的分类,并对这些基准分类模型进行了验证和对比分析。为了使基准分类算法的分类性能达到最优化,实验使用网格搜索技术确定最优参数。同时,本文将Ruffini模型应用于本文数据集,使其实现对PD + RBD和PD-RBD脑电时间窗数据的时频谱图的分类。对比实验使用与本文方法相同的2 400个样本时间窗,并结合3折交叉验证得到分类结果。
各分类模型在验证集上的分类准确率、敏感度、特异性和AUC如表1所示。从各项评价指标看出分类算法对分类结果的影响非常明显,本文方法得到了最高的准确率、敏感度和特异性。图4为不同分类模型的ROC曲线,结果显示本文方法得到了最大的AUC,为0.96。
表 1. Results of different classifiers with time-window-based metrics.
基于时间窗的不同分类模型分类结果
| 分类器 | Acc | Sen | Spc | AUC |
| RF | 0.692 8±0.014 6 | 0.656 9±0.018 6 | 0.734 5±0.018 9 | 0.75 |
| KNN | 0.723 6±0.012 6 | 0.721 2±0.033 0 | 0.728 6±0.039 7 | 0.80 |
| XGB | 0.746 7±0.018 2 | 0.714 2±0.015 9 | 0.789 2±0.021 4 | 0.82 |
| MLP | 0.801 1±0.011 9 | 0.788 6±0.014 8 | 0.811 4±0.012 4 | 0.88 |
| SVM | 0.835 1±0.009 3 | 0.803 6±0.023 3 | 0.868 8±0.021 5 | 0.90 |
| Ruffini等[37] | 0.878 4±0.012 8 | 0.849 3±0.175 1 | 0.909 6±0.012 1 | 0.94 |
| 本文方法 | 0.902 4±0.009 5 | 0.887 1±0.015 7 | 0.918 8±0.014 1 | 0.96 |
图 4.
ROC curves of different classification models
基于时间窗的不同分类模型的ROC曲线
2.2. 基于被试者的分类
2.2.1. 本文方法结果
该部分实验使用没有参与训练的测试集,更能验证时频深度网络的泛化能力。实验通过对每例被试者时间窗数据的分类结果进行后处理,实现基于被试者的辅助诊断。
测试集共有30例被试者的脑电数据,其中PD-RBD和PD + RBD各15例。图5为基于被试者的时间窗样本的分类结果柱状统计图,图中横坐标表示被试对象的真实标签-编号,纵坐标表示每例被试对象时间窗样本的分类结果,红色数字为错误诊断的被试对象的标签-编号和具体分类结果。本文方法在测试集以被试者为样本的分类准确率、敏感度和特异性分别为0.933 3、0.866 7和1.000 0。
图 5.

Histogram of classification results based on subjects with time-window sample
基于被试者的时间窗样本的分类结果柱状统计图
2.2.2. RBDSQ的对比结果
PSG是RBD辅助诊断的金标准,本文所有实验结果都是基于被试者的PSG辅助诊断结果得到。除PSG检查外,RBDSQ是临床对RBD患者诊断的重要工具。本节将本文提出辅助诊断方法与RBDSQ进行比较,表2为两种方法基于被试者的辅助诊断结果。在帕金森病中,RBDSQ的最佳临界值为6分[38],对测试集被试者的RBDSQ诊断准确率、敏感度和特异性分别为0.866 7、0.933 3和0.800 0;而本文方法的诊断准确率和特异性有所提升,表现出了更好的诊断效果。
表 2. Comparison results with RBDSQ in terms of subject- based metrics.
基于被试者的不同诊断方法的诊断结果
| 方法 | Acc | Sen | Spc | |
| RBDSQ | 标准分5 | 0.833 3 | 1.000 0 | 0.666 7 |
| 标准分6 | 0.866 7 | 0.933 3 | 0.800 0 | |
| 标准分7 | 0.866 7 | 0.800 0 | 0.933 3 | |
| 本文方法 | 0.933 3 | 0.866 7 | 1.000 0 | |
3. 讨论
3.1. 脑电的时频谱图分析
本文使用脑电信号的时频分析方法,通过训练时频深度网络模型,完成基于被试者的PD伴RBD辅助诊断。特征提取可增加分析任务的有效性,从而提高模型精度,减少计算复杂度[39]。脑电是非平稳信号,使用STFT计算脑电的时频特征,既解决了非平稳性的分析困难,又保留了脑电信号的动态特性。
脑电时频谱图可视化了一些脑电图无法视觉表达的信息,与其他特征相比,卷积神经网络更擅长挖掘脑电信号的时频谱图[31]。图6是PD-RBD和PD + RBD被试者的脑电图和脑电时频谱图示例。单导联脑电的时频谱图中50 Hz处存在的暗条纹,是因为抑制工频噪声时在50 Hz做了陷波处理;图像底部δ波段有明显的亮条纹,是因为睡眠脑电信号低频波段加强,高频波段减少甚至消失,使得δ波段在睡眠脑电时频谱图中最为明显[40];两类时频谱图不同点在于PD+RBD脑电信号的高频段比PD-RBD脑电信号的高频段更活跃,出现阶段性加强,这是由于RBD患者的睡眠稳定性低,睡眠时运动皮层显著活跃,或与患者的梦境相关行为有关。
图 6.

EEG and spectrogram of PD with or without RBD
PD-RBD和PD + RBD的脑电图和时频谱图示例
3.2. 深度网络的性能分析
本文使用批量标准化、Dropout方法和L2正则化三种方法优化时频深度网络。批量标准化作用在卷积层之后,对每批处理数据的卷积结果进行标准化,使训练过程中的激活值稳定分布;Dropout方法作用在全连接层,训练时让神经元以固定概率失活,避免神经元的权值更新依赖固定节点;L2正则化通过在损失函数后添加正则项,通过对拟合函数的约束增加模型对数据的拟合程度。在实验中发现,Dropout方法的保留神经元概率为0.6时,模型的分类性能最佳;批量标准化和L2正则化的使用对过拟合问题改善很大,使分类准确率从0.86增长到了0.90。
本文在探讨分类算法对分类结果的影响时,使用未经过后处理的以时频谱图为样本的分类结果,因为该结果是分类模型的直接输出,比以被试者为样本的结果更具有衡量分类效果的价值。本文使用准确率、敏感度、特异性和AUC四个评价指标评估各分类算法对脑电时频谱图的分类能力。从表1看出所有分类方法的特异性均高于敏感度,表示模型对负类的分类更为准确,这是因为PD伴RBD被试者的脑电信号带有PD脑电信号的特征,在截取的时间窗内PD伴RBD时频谱图中的PD特征可能比RBD特征更为突出。本文提出时频深度网络模型的准确率和特异性均在0.90以上,且本文模型、Ruffini模型和SVM的AUC均超过了0.90,这表明脑电时频谱图对PD伴RBD的检测是有效的。比较图4中各分类算法的AUC,本文方法的AUC最优,且本文方法的准确率较Ruffini方法和SVM方法也得到了提升,由此看出,本文所提的时频深度网络模型对时间窗样本的拟合度更高,分类性能更好。传统分类器中,SVM面对复杂度高的非线性数据决策问题比KNN表现得更好,SVM比KNN的泛化能力更强;集成分类器中,XGB比RF的数据拟合能力更强,XGB是目前基于决策树的集成算法中对真实分布拟合最好的分类算法。而深度学习是一种依赖数据驱动的方法,在大量标注数据的训练下,表现出比传统分类方法更好的分类能力。深层循环神经网络被常用于时序序列的预测或分类;面对图像分类任务,深层卷积神经网络的特征挖掘能力和特征学习能力更强,这是时频深度网络在脑电时间窗样本的分类中表现最好的原因。
另外,为了增加时频深度网络模型的可解释性,本文使用梯度加权类激活图(gradient-weighted class activation mapping,Grad-CAM)对模型进行可视化解释[41]。CNN中的高层特征可以看作是底层特征的组合,经过卷积运算后提取空间信息[42]。Grad-CAM使用最后一个卷积层特征图的梯度信息,生成一张目标类激活的区域定位的热力图,表示特征图的每个位置对目标决策的重要程度,有助于了解输入图像的哪个部分得到的CNN模型做出最终的决策。图7是PD+RBD脑电时频谱图的类激活图的部分示例,特征激活热力图的重要区域与输入图像存在空间对应关系[42],通过热力图和原始图像的叠加,获得了特征激活区域在原始图像的定位图。目标类激活的区域主要位于导联F4、O2和C4,导联C3上也存在少量不规则状激活。通过确定类激活图的重要区域与PD + RBD脑电时频谱图的导联空间位置的对应关系,发现导联F4、O2和C4对PD + RBD的决策更为重要。因此,Grad-CAM在时频深度网络中将导联选择与特征可视化相结合,或有助于单导联或更少导联的方案设计。
图 7.

Class activation map of PD patients’ EEG spectrogram with RBD
PD + RBD脑电时频谱图的类激活图示例
3.3. 本文方法的优势分析
目前,RBD智能诊断研究大多以脑电、眼电、肌电等多种生理电信号共同作为工具源,并且依赖睡眠分期的结果[16,43]。睡眠分期的标注需要专家人工标注作为金标准,由于被试者的睡眠时间较长,人工标注睡眠阶段的工作量大,且十分依赖专家经验。然而,自动睡眠分期研究无法得到十分可靠的结果,分期准确率不够理想[21,23],使用自动睡眠分期结果进行二次试验误差较大,可信度较差。针对PD伴RBD辅助诊断的智能方法研究相对较少,临床对PD是否伴有RBD的辅助诊断仍然需要对被试者的PSG进行人工检测。但PSG的采集过程繁琐,全身的电极贴片和陌生的睡眠环境会干扰患者入睡,而且PSG作为一种新兴的资源密集型设备,尚不能全面用于疑似PD伴RBD患者的检测。本文提出的基于少导联头皮脑电和时频深度网络的PD伴RBD计算机辅助诊断方法,无需对被试者的脑电信号进行睡眠分期,无需提取REM期脑电数据,而是直接以被试者的整晚脑电作为研究对象,有效解决了数据采集困难和人工识别效率低等局限。
本文所有试验均以被试者的PSG诊断结果作为金标准完成。表2为本文方法与临床RBDSQ的比较结果。RBDSQ在本文测试集的PD伴RBD诊断准确率、敏感度和特异性分别为0.866 7、0.933 3和0.800 0。可见RBDSQ的特异性较低,而较高的敏感度降低了漏诊率,这也是该方法获得临床应用的原因。然而,RBDSQ需要患者的积极配合,一旦患者存在抵触心理,问卷便很难进行下去。本文方法在测试集基于被试者的分类准确率为0.933 3,特异性为1.000 0,相比RBDSQ诊断准确率有所提高,表现出更好的诊断效果。研究证明了本文所提出的基于少导联脑电和时频深度网络方法应用于PD患者RBD诊断的有效性和可行性,具有一定的临床价值。
4. 结论
本文提出一种基于少导联头皮脑电和时频深度网络的PD伴RBD的辅助诊断方法。该方法通过对被试者整晚的睡眠脑电信号进行时间窗提取,以时间窗数据为样本训练时频深度网络,得到基于时间窗的分类结果;对每例被试者所有时间窗的分类结果进行综合决策,实现基于被试者的PD伴RBD辅助诊断。本文设计的网络模型在过拟合问题的抑制能力和系统的鲁棒性上有所增强,并且相较其他传统的分类方法,本文方法对脑电时频谱图的特征挖掘能力更强,分类效果更好。实验结果表明,本文所提出的PD伴RBD辅助诊断方法可以对PD伴或不伴RBD的脑电进行准确的分类,基于脑电时间窗的分类平均准确率为0.902 4,基于被试者的分类综合准确率为0.933 3。本文方法实现了基于少导联头皮脑电的PD伴RBD辅助诊断,同时也为相关神经疾病的脑电信号方法探索提供了研究方向。
利益冲突声明:本文全体作者均声明不存在利益冲突。
Funding Statement
国家自然科学基金(61801476,61971413);山东省自然科学基金(ZR2020QF018,ZR2020QF019);济南市创新团队(2018GXRC017)
The National Natural Science Foundation of China
References
- 1.扈杨, 左丽君, 余舒扬, 等 帕金森病患者伴很可能的快速眼动睡眠行为障碍和相关因素的研究. 中华临床医师杂志. 2013;7(12):5216–5222. [Google Scholar]
- 2.Kim Y, Kim Y E, Park E O, et al REM sleep behavior disorder portends poor prognosis in Parkinson’s disease: A systematic review. J Clin Neurosci. 2018;47:6–13. doi: 10.1016/j.jocn.2017.09.019. [DOI] [PubMed] [Google Scholar]
- 3.杨改清, 徐志强, 胥丽霞, 等 帕金森病精神病性障碍患者快速眼动睡眠行为障碍研究. 中华行为医学与脑科学杂志. 2019;28(1):59–63. doi: 10.3760/cma.j.issn.1674-6554.2019.01.011. [DOI] [Google Scholar]
- 4.郁婷婷, 丁勇民, 黄卫 快速眼动睡眠期行为障碍与帕金森病相关性的研究进展. 中华老年医学杂志. 2015;34(7):816–818. doi: 10.3760/cma.j.issn.0254-9026.2015.07.034. [DOI] [Google Scholar]
- 5.胡艳, 王萍 伴快速眼动睡眠期行为障碍的帕金森病临床研究进展. 中华神经医学杂志. 2017;16(3):313–316. doi: 10.3760/cma.j.issn.1671-8925.2017.03.019. [DOI] [Google Scholar]
- 6.Vendette M, Gagnon J F, Decary A, et al REM sleep behavior disorder predicts cognitive impairment in Parkinson disease without dementia. Neurology. 2007;69(19):1843–1849. doi: 10.1212/01.wnl.0000278114.14096.74. [DOI] [PubMed] [Google Scholar]
- 7.Figorilli M, Marques A R, Meloni M, et al Diagnosing REM sleep behavior disorder in Parkinson’s disease without a gold standard: a latent-class model study. Sleep. 2020;43(7):1–8. doi: 10.1093/sleep/zsz323. [DOI] [PubMed] [Google Scholar]
- 8.Sateia M J International classification of sleep disorders-third edition: highlights and modifications. Chest. 2014;146(5):1387–1394. doi: 10.1378/chest.14-0970. [DOI] [PubMed] [Google Scholar]
- 9.Louis E K S, Boeve B F REM sleep behavior disorder: Diagnosis, clinical implications, and future directions. Mayo Clin Proc. 2017;92(11):1723–1736. doi: 10.1016/j.mayocp.2017.09.007. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 10.Bolitho S J, Naismith S L, Terpening Z, et al Investigating rapid eye movement sleep without atonia in Parkinson's disease using the rapid eye movement sleep behavior disorder screening questionnaire. Mov Disord. 2014;29(6):736–742. doi: 10.1002/mds.25832. [DOI] [PubMed] [Google Scholar]
- 11.Chen X, Xu X, Liu A, et al The use of multivariate EMD and CCA for denoising muscle artifacts from few-channel EEG recordings. IEEE Trans Instrum Meas. 2018;67(2):359–370. doi: 10.1109/TIM.2017.2759398. [DOI] [Google Scholar]
- 12.覃小雅, 袁媛, 陈彦, 等 头皮脑电图在迷走神经电刺激治疗难治性癫痫研究中的应用. 生物医学工程学杂志. 2020;37(4):699–707. doi: 10.7507/1001-5515.201909002. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 13.李昕, 安占周, 李秋月, 等 加权多重多尺度熵及其在孤独症儿童脑电信号分析中的应用. 生物医学工程学杂志. 2019;36(1):33–39,49. [Google Scholar]
- 14.付荣荣, 田永胜, 鲍甜恬 基于稀疏共空间模式和Fisher判别的单次运动想象脑电信号识别方法. 生物医学工程学杂志. 2019;36(6):911–915,923. doi: 10.7507/1001-5515.201809019. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 15.胡盼, 张磊, 周蚌艳, 等 基于独立分量分析的在线脑-机接口系统. 生物医学工程学杂志. 2017;34(1):106–114. doi: 10.7507/1001-5515.201603003. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 16.Koch H, Christensen J A, Frandsen R, et al Classification of IRBD and Parkinson’s patients using a general data-driven sleep staging model built on EEG// 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) Osaka: IEEE. 2013:4275–4278. doi: 10.1109/EMBC.2013.6610490. [DOI] [PubMed] [Google Scholar]
- 17.Ferini-Strambi L, Fasiello E, Sforza M, et al Neuropsychological, electrophysiological, and neuroimaging biomarkers for REM behavior disorder. Expert Rev Neurother. 2019;19(11):1069–1087. doi: 10.1080/14737175.2019.1640603. [DOI] [PubMed] [Google Scholar]
- 18.Bisgaard S, Duun-Christensen B, Kempfner L, et al EEG recordings as a source for the detection of IRBD// 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) Milan: IEEE. 2015:606–609. doi: 10.1109/EMBC.2015.7318435. [DOI] [PubMed] [Google Scholar]
- 19.Iasemidis L D, Shiau D S, Chaovalitwongse W, et al Adaptive epileptic seizure prediction system. IEEE Trans Biomed Eng. 2003;50(5):616–627. doi: 10.1109/TBME.2003.810689. [DOI] [PubMed] [Google Scholar]
- 20.Greenspan H, van Ginneken B, Summers R M Guest editorial deep learning in medical imaging: Overview and future promise of an exciting new technique. IEEE Trans Med Imaging. 2016;35(5):1153–1159. doi: 10.1109/TMI.2016.2553401. [DOI] [Google Scholar]
- 21.Wei L, Lin Y, Wang J, et al Time-frequency convolutional neural network for automatic sleep stage classification based on single-channel EEG// 2017 29th International Conference on Tools with Artificial Intelligence (ICTAI) Boston: IEEE. 2017:88–95. [Google Scholar]
- 22.Jadhav P, Rajguru G, Datta D, et al Automatic sleep stage classification using time–frequency images of CWT and transfer learning using convolution neural network. Biocybern Biomed Eng. 2020;40(1):494–504. doi: 10.1016/j.bbe.2020.01.010. [DOI] [Google Scholar]
- 23.Fraiwan L, Lweesy K, Khasawneh N, et al Automated sleep stage identification system based on time-frequency analysis of a single EEG channel and random forest classifier. Comput Meth Prog Biomed. 2012;108(1):10–19. doi: 10.1016/j.cmpb.2011.11.005. [DOI] [PubMed] [Google Scholar]
- 24.Waibel A, Hanazawa T, Hinton G, et al Phoneme recognition using time-delay neural networks. IEEE Trans Acoust Speech Signal Process. 1989;37(3):393–404. doi: 10.1109/29.21706. [DOI] [Google Scholar]
- 25.杨婧, 耿辰, 王海林, 等 基于 DenseNet 的低分辨 CT 影像肺腺癌组织学亚型分类. 浙江大学学报(工学版) 2019;53(6):1164–1170. doi: 10.3785/j.issn.1008-973X.2019.06.016. [DOI] [Google Scholar]
- 26.杨熠, 钱旭升, 周志勇, 等 采用影像组学的肾肿瘤组织学亚型分类. 浙江大学学报(工学版) 2019;53(12):2381–2388. doi: 10.3785/j.issn.1008-973X.2019.12.016. [DOI] [Google Scholar]
- 27.Truong N D, Nguyen A D, Kuhlmann L, et al Convolutional neural networks for seizure prediction using intracranial and scalp electroencephalogram. Neural Netw. 2018;105:104–111. doi: 10.1016/j.neunet.2018.04.018. [DOI] [PubMed] [Google Scholar]
- 28.Usman S M, Khalid S, Aslam M H Epileptic seizures prediction using deep learning techniques. IEEE Access. 2020;8:39998–40007. doi: 10.1109/ACCESS.2020.2976866. [DOI] [Google Scholar]
- 29.Budak U, Bajaj V, Akbulut Y, et al An effective hybrid model for EEG-based drowsiness detection. IEEE Sens J. 2019;19(17):7624–7631. doi: 10.1109/JSEN.2019.2917850. [DOI] [Google Scholar]
- 30.Yuan L, Cao J Patients’ EEG data analysis via spectrogram image with a convolution neural network// 2017 International Conference on Intelligent Decision Technologies. Sorrento: Springer. 2017:13–21. [Google Scholar]
- 31.LeCun Y, Bengio Y, Hinton G Deep learning. Nature. 2015;521(7553):436–444. doi: 10.1038/nature14539. [DOI] [PubMed] [Google Scholar]
- 32.Simonyan K, Zisserman A Very deep convolutional networks for large-scale image recognition. Proc Int Conf Learn Representat. 2015:1–14. [Google Scholar]
- 33.Ioffe S, Szegedy C Batch normalization: Accelerating deep network training by reducing internal covariate shift// Proceedings of ICML 2015. France: IMLS. 2015:448–456. [Google Scholar]
- 34.Srivastava N, Hinton G, Krizhevsky A, et al Dropout: a simple way to prevent neural networks from overfitting. J Mach Learn Res. 2014;15(1):1929–1958. [Google Scholar]
- 35.Krogh A, Hertz J A A simple weight decay can improve generalization// J. Moody J, Hanson S, Lippmann R P. Advances in Neural Information Processing Systems 4 (NIPS 1991). UK: MIT. 1992:950–957. [Google Scholar]
- 36.Chen T, Guestrin C XGBoost: A scalable tree boosting system// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. USA: ACM. 2016:785–794. [Google Scholar]
- 37.Ruffini G, Ibaez D, Castellano M, et al Deep learning with EEG spectrograms in rapid eye movement behavior disorder. Front Neurol. 2019;10:806. doi: 10.3389/fneur.2019.00806. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 38.Wang Y, Wang Z W, Yang Y C, et al Validation of the rapid eye movement sleep behavior disorder screening questionnaire in China. J Clin Neurosci. 2015;22(9):1420–1424. doi: 10.1016/j.jocn.2015.03.008. [DOI] [PubMed] [Google Scholar]
- 39.程晨晨, 尤波, 刘燕, 等 基于深度神经网络的个性化睡眠癫痫发作预测. 模式识别与人工智能. 2021;34(4):333–342. [Google Scholar]
- 40.刘伟楠, 刘燕, 佟宝同, 等 基于功率谱的睡眠中癫痫发作预测. 生物医学工程学杂志. 2018;35(3):329–336. doi: 10.7507/1001-5515.201708062. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 41.Selvaraju R R, Cogswell M, Das A, et al Grad-CAM: Visual explanations from deep networks via gradient-based localization. Int J Comput Vision. 2020;128(2):336–359. doi: 10.1007/s11263-019-01228-7. [DOI] [Google Scholar]
- 42.Li Y, Yang H, Li J, et al EEG-based intention recognition with deep recurrent-convolution neural network: performance and channel selection by Grad-CAM. Neurocomputing. 2020;415:225–233. doi: 10.1016/j.neucom.2020.07.072. [DOI] [Google Scholar]
- 43.Cooray N, Andreotti F, Lo C, et al Detection of REM sleep behaviour disorder by automated polysomnography analysis. Clin Neurophysiol. 2019;130(4):505–514. doi: 10.1016/j.clinph.2019.01.011. [DOI] [PubMed] [Google Scholar]







