Abstract
目的
基于睡眠脑电信号，探索深度学习Vision Transformer（ViT）结合Transformer网络对抑郁症患者识别的有效性。
方法
首先对28例抑郁症患者和37例正常对照的睡眠脑电信号进行预处理，并将信号转为图像格式，保留其频域及空间域特征信息，之后将图像输送到ViT-Transformer编码网络，分别学习抑郁症患者和正常对照的快速眼动（rapid eye movement, REM）睡眠期和非快速眼动（non-rapid eye movement, NREM）睡眠期的脑电信号特征，并对抑郁症进行识别。
结果
基于ViT-Transformer网络，从不同脑电频率角度，发现delta、theta和beta波的组合对抑郁症识别具有比较好的结果。其中，REM期delta-theta-beta波组合的脑电信号特征对抑郁症识别的准确率达92.8%，精准率为93.8%，抑郁症患者的召回率为84.7%，F0.5值为0.917±0.074；NREM期delta-theta-beta波组合的脑电信号特征对抑郁症的识别准确率为91.7%，精准率为90.8 %，召回率为85.2%，F0.5值为0.914±0.062。此外，通过对整夜睡眠脑电的睡眠分期进行可视化，发现分类错误通常发生在睡眠期转期时。
结论
应用深度学习ViT-Transformer网络，本研究发现基于delta-theta-beta波组合的REM期睡眠脑电信号特征对抑郁症识别更有效。
Keywords: 抑郁症, 睡眠脑电, 深度学习, 快速眼动睡眠期, 非快速眼动睡眠期
Abstract
Objective
To explore the effectiveness of using deep learning network combined Vision Transformer (ViT) and Transformer to identify patients with depressive disorder on the basis of their sleep electroencephalogram (EEG) signals.
Methods
The sleep EEG signals of 28 patients with depressive disorder and 37 normal controls were preprocessed. Then, the signals were converted into image format and the feature information on frequency domain and spatial domain was retained. After that, the images were transmitted to the ViT-Transformer coding network for deep learning of the EEG signal characteristics of the rapid eye movement (REM) sleep and non-rapid eye movement (NREM) sleep in patients with depressive disorder and those in normal controls, respectively, and to identify patients with depressive disorder.
Results
Based on the ViT-Transformer network, after examining different EEG frequencies, we found that the combination of delta, theta, and beta waves produced better results in identifying depressive disorder. Among the different EEG frequencies, EEG signal features of delta-theta-beta combination waves in REM sleep achieved 92.8% accuracy and 93.8% precision for identifying depression, with the recall rate of patients with depression being 84.7%, and the F0.5 value being 0.917±0.074. When using the delta-theta-beta combination EEG signal features in NREM sleep to identify depressive disorder, the accuracy was 91.7%, the precision was 90.8%, the recall rate was 85.2%, and the F0.5 value was 0.914±0.062. In addition, through visualization of the sleep EEG of different sleep stages for the whole night, it was found that classification errors usually occurred during transition to a different sleep stage.
Conclusion
Using the deep learning ViT-Transformer network, we found that the EEG signal features in REM sleep based on delta-theta-beta combination waves showed better effect in identifying depressive disorder.
Keywords: Depressive disorder, Sleep electroencephalogram, Deep learning, Rapid eye movement sleep, Non-rapid eye movement sleep
目前，全球抑郁症患者高达3.22亿，2005年至2015年十年间，抑郁症患者增加了18.4%[1]。抑郁症的诊断主要通过医生与患者之间的沟通交流及相关的问卷量表，目前尚缺乏客观且高效的抑郁症识别方法。
睡眠紊乱是抑郁症患者常见的症状之一[2]，既往相当多的研究发现抑郁症的睡眠脑电特征具有明显变化。动物研究发现慢性应激反应可引起快速眼动（rapid eye movement, REM）睡眠期theta波振荡增强，而非快速眼动（non-rapid eye movement, NREM）睡眠期delta波振荡不受影响[3]。COAN等[4]还发现，抑郁症患者缺乏接近行为与左侧大脑的 alpha 波的增加相关。
机器学习已被应用于多种神经精神系统疾病的诊断与治疗[5-6]，同时也在抑郁症的识别方向进行了尝试[7-8]。ACHARYA等[9]应用卷积神经网络（convolution neural network, CNN）对抑郁症患者和健康对照的静息态脑电图进行分析，发现左半球和右半球的脑电（electroencephalogram, EEG）信号对抑郁症的识别准确率分别达到93.5%和96.0%。THAKRE等[10]尝试使用深度学习和睡眠EEG数据对焦虑和抑郁进行识别，将睡眠脑电EEG数据转换为三通道RGB图像并用二维CNN结构，该方法在识别焦虑/抑郁方面获得了较高的准确度。然而目前关于睡眠脑电中各波段特征以及不同睡眠阶段的抑郁症识别研究尚少。
因此，在本研究中将睡眠EEG信号中的不同波段进行组合，采用基于自注意力机制的Vision Transformer（ViT）结合Transformer网络对抑郁症患者与健康对照进行识别并比较不同睡眠阶段的识别准确率。
1. 对象与方法
1.1. 研究对象
本研究中的抑郁症患者数据来自于北京大学第六医院睡眠科，正常对照组为招募的健康志愿者。本研究共纳入抑郁症患者28例，正常对照37例。
抑郁症患者的纳入标准：ICD-10诊断标准诊断为抑郁症；年龄18～65岁；排除标准：重大躯体疾病；其他导致脑电异常的疾病，如帕金森病、癫痫等其他精神神经系统疾病。
正常对照组的纳入标准：无精神神经系统疾病相关主诉；年龄18～65岁；无睡眠障碍、情绪障碍相关主诉。
该研究已获得北京大学第六医院（精神卫生研究所）医学伦理委员会批准，批准号（2000）伦年审（27）号。
1.2. 睡眠脑电采集及分期
本研究中抑郁症患者的睡眠脑电数据在北京大学第六医院睡眠科病房进行采集，分别使用了Grael多导睡眠监测系统（澳大利亚康迪公司）和Alice6多导睡眠监测系统（美国飞利浦伟康公司）进行信号采集；正常对照组的睡眠脑电数据在中国人民解放军空军总医院航天睡眠医学中心进行采集，使用了Grael多导睡眠监测系统。睡眠监测时间为20:00–21:00连接导联及传感器，其中脑电信号为标准的六导联信号，即F3-M2、F4-M1、C3-M2、C4-M1、O1-M2、O2-M1；进行生物定标后，进行整夜记录，次日06:30–07:00结束记录。
睡眠脑电分期工作由专业技术人员根据《美国睡眠医学会睡眠及其相关事件判读手册》[11]对睡眠分期进行判读。
1.3. 睡眠脑电数据预处理
首先，将原始脑电数据进行伪迹去除、带通滤波、降采样到统一采样频率等处理。通过已经标记的睡眠分期标签，对REM期、NREM期分别进行提取。将各自得到的数据将信号转为图像，在信号转图像过程中，分别以delta-theta-alpha波、delta-theta-beta波、delta-alpha-beta波以及theta-alpha-beta波这4种组合形式生成三通道彩色图像（图1）。脑电频率带划分标准为：delta波段（0.5～4 Hz）、theta波段（4～8 Hz）、alpha波段（8～13 Hz）、beta波段（13～30 Hz）。REM期最后的数据格式为6630×6×3×16×16，NREM期格式为48490×6×3×16×16，全部睡眠数据格式为55392×6×3×16×16。将使用连续6帧输入的ViT-Transformer网络对不同睡眠期以及各睡眠期不同频率波段组合进行讨论。
图 1.
Flowchart for the preprocessing and conversion of sleep EEG signals into images
睡眠脑电信号转图像的预处理流程
A: raw data; B: frequency and location information; C: grayscale images; D: RGB image.
其中将数据转为图像的操作流程如下：①使用快速傅里叶变换将图1A中的原始信号由时域转为频域，即获得图1B上面子图。②使用等距方位投影算法将eeglab中三维的脑电电极位置坐标信息由三维转为二维，位置坐标信息如图1B下面子图所示。③对6个通道的脑电频域信息，以delta、theta以及alpha波段为例进行截取，求得各波段的频谱均值，即每个波段的6个电极位置的像素值。④对各波段目前所有的6个电极位置的像素图像，使用二维散点插值法进行插值，获得16×16的灰度图，如图1C。⑤将三个波段的灰度图组合形成如图1D所示的RGB彩色图像。
1.4. 基于Vision-Transformer网络的多帧脑电模型
本研究中我们结合了ViT与Transformer的编码部分，网络结构示意图如图2所示。其中ViT网络通过对图像进行分块操作，使用位置编码和多头注意力机制，能够学习到信号图像中的全局域信息。之后将各帧信号图像所学习到的特征矩阵拼接，相当于该特征矩阵具有连续帧之间的时序信息，将该特征矩阵输送到Transformer的编码部分中，通过多头注意力机制，多个维度学习各个帧之间的时序信息关系。最后将学到的特征信息输送到全连接层进行分类操作。
图 2.
ViT-Transformer model used for identifying depressive disorder
用于抑郁症识别的ViT-Transformer模型
1.5. 实验配置
本研究使用Windows操作系统下的Pytorch 1.7.1作为模型训练的深度学习框架，在12 G内存的GeForce RTX 3060上进行。首先我们使用经典的Xavier正态分布对模型进行初始化。批量大小（Batch Size）设为128，使用Adam优化器对参数进行更新，一阶矩估计的指数衰减率和二阶矩估计的指数衰减率分别设为0.9和0.999，学习率固定为0.001，训练300个循环。
1.6. 评价指标
在数据集划分部分采用7折交叉验证的方法。每次随机取4个抑郁症患者数据加上6个或5个正常对照组数据作为测试集，然后取剩余数据中与测试集相等的数据量作为验证集，其余数据作为训练集。这样划分的目的首先是保证测试集与训练集中的样本独立，即不存在抑郁症或正常对照组的数据同时出现在测试集和训练集当中，保证了实验的可靠性。
本研究使用的评价指标为抑郁症患者样本的准确率（accuracy）、精准率（precision）、召回率（recall of the depression group, recall-D）、加权F-score值以及正常对照组的召回率（recall of the normal controls, recall-N），用于对算法分类进行评估，其中预测与真实一致为真的类别，即TP（true positive）类；预测为假而真实为真的类别，即FN（false negative）类；预测为真而真实为假的类别，即FP（false positive）类；预测与真实一致为假的类别，即TN（true negative）类。计算公式如下所示。
 |
1 |
 |
2 |
 |
3 |
 |
4 |
2. 结果
2.1. 抑郁症患者以及正常对照组睡眠期的平均帧数
抑郁症患者28例，平均年龄为（41.2±13.6）岁，其中男性10例，女性18例。正常对照组37例，平均年龄为（31.4±10.1）岁，其中男性27例，女性10例。以t检验和χ2检验进行比较，两组研究对象年龄和性别差异有统计学意义（P<0.05）。表1为抑郁症患者以及正常对照组睡眠期睡眠脑电分期（30 s为一帧，统计各期帧数）。
表 1. Average epochs of each sleep period in the depression group and the normal control group.
抑郁症与正常对照组睡眠期平均帧数
| Group | n | W | N1 | N2 | N3 | REM |
| W: wake stage; N1: non-rapid eye movement sleep stage 1; N2: non-rapid eye movement sleep stage 2; N3: non-rapid eye movement sleep stage 3; REM: rapid eye movement sleep. | ||||||
| Depression | 28 | 252 | 58 | 540 | 60 | 89 |
| Control | 37 | 169 | 105 | 390 | 158 | 123 |
2.2. NREM期各脑电波段组合分类结果
NREM期的4个波段的信息组合结果如图3所示。theta-alpha-beta波的组合识别率最低，说明在NREM期delta波对抑郁症识别有重要意义。此外delta-theta-beta波组合对抑郁症的识别准确率为0.917±0.036，精准率为0.908±0.063，召回率为0.852±0.079，F0.5值为0.914±0.062，说明了NREM期delta-theta-beta波组合可有效识别抑郁症。
图 3.
Accuracy, precision, recall, and weighted F-score of using EEG in NREM sleep to identify patients with depressive disorder
NREM期脑电识别抑郁症患者的准确率、精准率、召回率、加权F-score值
2.3. REM期各脑电波段组合分类结果
图4与NREM期的结果相似，含有delta波的组合均有较高准确率，即delta波对抑郁症NREM和REM期识别均有效。delta-theta-beta波组合准确率为0.928±0.062、精准率为0.938±0.071、正常对照组召回率0.974±0.041以及F0.5 为0.917±0.074取得了最优解。所以在REM期beta波对于抑郁症识别有增效意义。
图 4.
Accuracy, precision, recall and weighted F-score of EEG in REM sleep in identifying patients with depressive disorder
REM期脑电识别抑郁症患者的准确率、精准率、召回率、加权F-score值
另外，比较REM期和NREM期的delta-theta-beta波组合结果，本研究发现REM期准确率、精准率均较高，而REM召回率指标与NREM差0.5%，因此，REM期相较于NREM期对抑郁症识别更有效。
2.4. ViT-Transformer对抑郁症睡眠脑电识别的临床验证
本研究还对整夜睡眠脑电的各个睡眠期的识别结果进行了验证并将结果可视化。图5为两名抑郁症患者基于睡眠脑电数据所得到的睡眠结构图，其中图5A为一位32岁女性，该患者的汉密尔顿抑郁量表评分为40分。图5B为一位29岁男性，该患者的汉密尔顿抑郁量表评分为29分。图中横轴代表帧数，每30 s为一帧，左侧纵轴代表各睡眠期，右侧纵轴代表预测的标签值，True和False分别表示预测正确和错误。图中蓝色线为睡眠分期，红色线为预测的标签值。发现错误预测多发生在睡眠分期转换时。说明深度学习在学习睡眠分期转换的阶段比较困难。
图 5.
Clinical verification of using sleep EEG to identify patients with depressive disorder
对抑郁症患者睡眠脑电识别的临床验证
A: sleep histogram of a 32-year-old female patient with depression; B: sleep histogram of a 29-year-old male patient with depression.
3. 讨论
本研究通过分析脑电波特征的变化、结合信号处理方法和深度学习技术，将正常对照组睡眠脑电与抑郁症患者睡眠脑电进行二分类，为抑郁症评估提供客观的测量方法。
首先本研究探索了REM期与NREM期波段组合以及不同睡眠期对抑郁症识别的有效性。结果发现delta、theta和beta波的组合在REM期和NREM期均获得较高的准确率。既往研究在对抑郁症患者脑电频率、病变部位进行探索的同时也关注抑郁患者的脑电图波形变化[12]。有研究发现抑郁症患者在夜间第一个睡眠周期的NREM期，theta波和delta波波幅较低，慢波功率低于对照组，而第三个睡眠周期的慢波功率高于对照组[13]。beta波与睡梦中的抑郁等相关情绪波动有关[14]，并且与抑郁症患者高觉醒的临床表现相关[15]。测量不同频带静息状态脑电图振荡活动的功率谱可区分抑郁症患者和健康对照，这一点已在既往研究中被证明[16-18]。这些数据也与功能性神经影像学研究一致[19]。
随后，对REM期、NREM期睡眠脑电数据的分类结果进行对比，结果发现REM脑电信号对于抑郁症识别准确率最高，这也与许多研究中认为REM期可作为抑郁症识别诊断分类的生物标记物相吻合[20]。几乎所有的抗抑郁药都会引起REM期的改变[21]。测量REM期产生的脑电波可以预测患者是否会对抑郁症的治疗做出应答[22]。研究发现抑郁症患者REM期脑网络改变明显[23]，我国学者同样也应用小世界网络分析方法对抑郁患者静息态EEG进行探讨，发现抑郁症患者脑网络存在随机化趋势，利用K相邻分类器对抑郁症患者和健康对照进行二分类，准确率达到了87.35%[24]。
由于CNN受卷积核大小限制，只能够学习到图像的局部域信息。本文引入机器学习领域的新方法 Vision Transformer 算法[25]，可学习脑电信号的全局域特征，其独特之处在于它的网络架构全部由自注意力机制组成，该方法已被应用到各种领域，成为了继卷积神经网络和循环神经网络之后又一广泛应用深度学习算法。
本研究存在几点局限性。首先，由于数据有限，可能存在数据不平衡问题，因此抑郁症的召回低于正常对照组。其次，本算法只对抑郁症与对照组进行了二分类操作，临床中还涉及到抑郁症的严重程度分类。两组研究对象年龄和性别存在基线不平衡。因此，需要在今后的研究里扩大样本量进一步对抑郁症不同严重程度的睡眠脑电活动进行分析。
综上，ViT-Transformer网络对基于delta-theta-beta波组合的REM期脑电信号特征抑郁症识别更有效，准确率达92.8%。基于深度学习的脑电信号分类算法具有自动提取特征以及泛化能力强等优点，减少了对训练有素的专业人员的依赖，在抑郁症诊断方面具有较好的临床应用前景，并且未来将在精神神经系统疾病的诊断中发挥重要作用。
* * *
利益冲突 所有作者均声明不存在利益冲突
Funding Statement
科技部科技创新2030−重大项目（No. 2030-2021ZD0201903）资助
Contributor Information
然 陶 (Ran TAO), Email: vtaoran@126.com.
洁 陈 (Jie CHEN), Email: jiechen_pku@bjmu.edu.cn.
References
- 1.Organization WHO. Depression and other common mental disorders: global health estimates: World Health Organization, 2017. (2017-02)[2022-12-13].https://apps.who.int/iris/handle/10665/254610.
- 2.RIEMANN D, KRONE L B, WULFF K, et al Sleep, insomnia, and depression. Neuropsychopharmacology. 2020;45(1):74–89. doi: 10.1038/s41386-019-0411-y. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 3.NOLLET M, HICKS H, MCCARTHY A P, et al REM sleep's unique associations with corticosterone regulation, apoptotic pathways, and behavior in chronic stress in mice. Proc Natl Acad Sci U S A. 2019;116(7):2733–2742. doi: 10.1073/pnas.1816456116. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 4.COAN A, ALLEN J Frontal EEG asymmetry as a moderator and mediator of emotion. Biol Psychol. 2004;67(1/2):7–49. doi: 10.1016/j.biopsycho.2004.03.002. [DOI] [PubMed] [Google Scholar]
- 5.ZHAO Y, ZHANG G, ZHANG Y, et al Multi-view cross-subject seizure detection with information bottleneck attribution. J Neural Eng. 2022;19(4):046011. doi: 10.1088/1741-2552/ac7d0d. [DOI] [PubMed] [Google Scholar]
- 6.TSIAMALOU A, DARDIOTIS E, PATERAKIS K, et al EEG in neurorehabilitation: a bibliometric analysis and content review. Neurol Int. 2022;14(4):1046–1061. doi: 10.3390/neurolint14040084. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 7.AY B, YILDIRIM O, TALO M, et al Automated depression detection using deep representation and sequence learning with EEG signals. J Med Syst. 2019;43(7):205. doi: 10.1007/s10916-019-1345-y. [DOI] [PubMed] [Google Scholar]
- 8.ULKE C, TENKE C E, KAYSER J, et al Resting EEG Measures of Brain Arousal in a Multisite Study of Major Depression. Clin EEG Neurosci. 2019;50(1):3–12. doi: 10.1177/1550059418795578. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 9.ACHARYA U R, OH S L, HAGIWARA Y, et al Automated EEG-based screening of depression using deep convolutional neural network. Comput Methods Programs Biomed. 2018;161:103–113. doi: 10.1016/j.cmpb.2018.04.012. [DOI] [PubMed] [Google Scholar]
- 10.THAKRE T P, KULKARNI H, ADAMS K S, et al Polysomnographic identification of anxiety and depression using deep learning. J Psychiatr Res. 2022;150:54–63. doi: 10.1016/j.jpsychires.2022.03.027. [DOI] [PubMed] [Google Scholar]
- 11.BERRY R B, BROOKS R, GAMALDO C, et al AASM scoring manual updates for 2017 (Version 2.4) J Clin Sleep Med. 2017;13(5):665–666. doi: 10.5664/jcsm.6576. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 12.张家铭, 刘丹阳, 钟冬灵, 等 基于CiteSpac 的脑电图诊断抑郁症可视化分析的特异性研究. 生物医学工程学杂志. 2021;38(5):919–931. doi: 10.7507/1001-5515.202101058. [DOI] [Google Scholar]
- 13.SANTANGELI O, PORKKA T, VIRKKALA J, et al Sleep and slow-wave activity in depressed adolescent boys: a preliminary study. Sleep Med. 2017;38:24–30. doi: 10.1016/j.sleep.2017.06.029. [DOI] [PubMed] [Google Scholar]
- 14.BLASKOVICH B, REICHARDT R, GOMBOS F, et al Cortical hyperarousal in NREM sleep normalizes from pre- to post- REM periods in individuals with frequent nightmares. Sleep. 2020;43(1):zsz201. doi: 10.1093/sleep/zsz201. [DOI] [PubMed] [Google Scholar]
- 15.NOFZINGER E A, PRICE J C, MELTZER C, et al Towards a neurobiology of dysfunctional arousal in depression: the relationship between beta EEG power and regional cerebral glucose metabolism during NREM sleep. Psychiatry Res. 2000;98(2):71–91. doi: 10.1016/s0925-4927(00)00045-7. [DOI] [PubMed] [Google Scholar]
- 16.ALHAJ H, WISNIEWSKI G, MCALLISTER R H The use of the EEG in measuring therapeutic drug action: focus on depression and antidepressants. J Psychopharmacol. 2011;25(9):1175–1191. doi: 10.1177/0269881110388323. [DOI] [PubMed] [Google Scholar]
- 17.LEUCHTER A F, COOK I A, HUNTER A, et al Use of clinical neurophysiology for the selection of medication in the treatment of major depressive disorder: the state of the evidence. Clin EEG Neurosci. 2009;40(2):78–83. doi: 10.1177/155005940904000207. [DOI] [PubMed] [Google Scholar]
- 18.SUN S, LI X, ZHU J, et al Graph theory analysis of functional connectivity in major depression disorder with high-density resting state EEG data. IEEE Trans Neural Syst Rehabil Eng. 2019;27(3):429–439. doi: 10.1109/TNSRE.2019.2894423. [DOI] [PubMed] [Google Scholar]
- 19.Van STRAATEN E C, DENHAAN J, DEWAAL H, et al Disturbed phase relations in white matter hyperintensity based vascular dementia: an EEG directed connectivity study. Clin Neurophysiol. 2015;126(3):497–504. doi: 10.1016/j.clinph.2014.05.018. [DOI] [PubMed] [Google Scholar]
- 20.CHIANG H S, CHEN M Y, LIAO L S Cognitive depression detection cyber-medical system based on EEG analysis and deep learning approaches. IEEE J Biomed Health Inform. 2023;27(2):608–616. doi: 10.1109/JBHI.2022.3200522. [DOI] [PubMed] [Google Scholar]
- 21.ADAMCZYK M, GAZEA M, WOLLWEBER B, et al Cordance derived from REM sleep EEG as a biomarker for treatment response in depression--a naturalistic study after antidepressant medication. J Psychiatr Res. 2015;63:97–104. doi: 10.1016/j.jpsychires.2015.02.007. [DOI] [PubMed] [Google Scholar]
- 22.MIKOTEIT T, BRAND S, PERREN S, et al Visually detected non-rapid eye movement stage 2 sleep spindle density at age five years predicted prosocial behavior positively and hyperactivity scores negatively at age nine years. Sleep Med. 2018;48:101–106. doi: 10.1016/j.sleep.2018.03.028. [DOI] [PubMed] [Google Scholar]
- 23.BYEON H Application of machine learning technique to distinguish Parkinson's disease dementia and Alzheimer's dementia: predictive power of parkinson's disease-related non-motor symptoms and neuropsychological profile. J Pers Med. 2020;10(2):31. doi: 10.3390/jpm10020031. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 24.张冰涛, 周文颖, 李延林, 等 基于脑功能网络的抑郁症识别研究. 生物医学工程学杂志. 2021;39(1):47–55. doi: 10.7507/1001-5515.202108034. [DOI] [Google Scholar]
- 25.DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words: transformers for image recognition at scale. arXiv:2010.11929. https://arxiv.org/abs/2010.11929v2. doi: 10.48550/arXiv.2010.11929.