Abstract
目的
基于脑表面图形和几何深度学习建立阿尔茨海默病（Alzheimer’s disease，AD）的分类预测模型，并评估其性能。
方法
纳入临床确诊AD患者76例，健康老年人83例，并按4∶1的比例随机划分为训练集和测试集。从受试者的MR成像中三维T1加权高分辨率结构像中构建脑表面图形，进行一系列图形简化操作后将训练集输入几何深度神经网络进行训练，用测试集对训练产生的预测模型进行性能评估，评估参数包括准确率、敏感性和特异性。
结果
在右脑面数为6 000的脑表面图形上训练得到的预测模型取得最佳性能（准确性93.8%，敏感性91.7%，特异性94.1%）。脑表面图形在卷积与池化操作过程中的变化揭示AD患者相较健康老年人存在全脑弥漫分布的脑组织损失。
结论
基于图形数据和几何深度学习的脑形态学分析方法在AD的诊断和鉴别诊断中有较大的发展潜力。
Keywords: 阿尔茨海默病, 脑形态学, 磁共振脑影像, 几何深度学习
Abstract
Objective
A predictive model of Alzheimer’s disease (AD) was established based on brain surface meshes and geometric deep learning, and its performance was evaluated.
Methods
Seventy-six clinically diagnosed AD patients and 83 healthy older adults were enrolled and randomly assigned to the training set and the test set according to a 4-to-1 ratio. Brain surface mesh was constructed from 3-D T1-weighted high-resolution structural MR volumes of each participant. After applying a series of simplification to the surface meshes, the training set was fed into the geometric deep neural network for training. The performance of the prediction model was evaluated with the test set, and the evaluation metrics included accuracy, sensitivity and specificity.
Results
The prediction model trained on the right brain surface meshes with 6000 faces achieved the best performance, with accuracy reaching 93.8%, sensitivity, 91.7%, and specificity, 94.1%. The evolution of the brain surface meshes during convolution and pooling revealed that AD patients had diffuse brain tissue loss compared with healthy older adults.
Conclusion
Morphological brain analysis based on mesh data and geometric deep learning has great potential in the differential diagnosis of AD.
Keywords: Alzheimer's disease, Brain morphometry, Magnetic resonance brain imaging, Geometric deep learning
阿尔茨海默病（Alzheimer’s disease，AD）是一种慢性神经退行性疾病，主要表现为神经细胞死亡和脑组织损失。该病起病缓慢，随着时间推移而逐渐恶化[1-2]。磁共振成像（MRI）由于良好的软组织对比，是研究AD患者大脑改变的有力工具。前期已有大量研究采用体素形态学（voxel based morphometry，VBM）技术对AD患者大脑形态改变进行了探索[3]，并结合机器学习算法尝试对AD进行鉴别诊断[4]。最近部分研究将新近提出的深度学习技术，特别是其中的卷积神经网络应用到AD的辅助诊断中，也展示出应用潜力[5]。三维（three-dimensional，3D）磁共振图像在包含大脑形态信息的同时也包含了大量与形态无关的灰度信息，若直接将原始3D图像输入深度学习网络会造成网络过于复杂，且由于大量无关信息的干扰会造成准确率提升困难，从而大幅提高对输入样本数量的要求。大脑形态的本质是不规则曲面，因此相较于图像，图形是存储大脑形态更为有效的数据结构。但深度学习在图形数据上的应用一直比较滞后，主要是因为图形属于非欧氏空间数据，卷积操作在欧式空间数据上有完备的定义，但在非欧氏空间上的定义却相当困难。直到最近，几何深度学习技术的提出才将深度学习技术扩展到图形数据[6]。本研究拟分析几何深度学习在脑形态学分析中的价值，并探索将其应用于AD患者诊断及鉴别诊断中的临床潜力。
1. 材料与方法
1.1. 临床资料
本研究通过四川大学华西医院生物医学伦理委员会审批（2019年审206号）。本研究纳入2015年5月−2017年9月我院神经内科门诊和病房收治的76例临床确诊的AD患者。所有患者均符合美国国立神经病语言障碍卒中研究所AD及相关疾病协会（The National Institute of Neurological and Communicative Disorders and Stroke-Alzheimer's Disease and Related Disorder Association，NINCDS-ADRDA）规定的诊断标准，并采用简易智能状态量表（the mini-mental status exam，MMSE）进行认知能力评估，评分为10～24分。本研究同时纳入来自志愿者招募的健康老年人83例（健康对照组），入组标准包括：①MMSE评分正常（>26分）；②无视力、听力障碍；③无脑外伤史；④无个人和家族精神病史；⑤无其他重要脏器疾病。AD患者组中男性41例、女性35例，年龄54～84岁，平均70.2岁，中位年龄71岁。健康对照组中男性45例，女性38例，年龄50～82岁，平均67.7岁，中位年龄69岁。AD患者组与健康对照组在年龄（P=0.089）和性别比例（P=0.973）上差异无统计学意义。
1.2. MR检查方法
本研究所有受试者头部高分辨T1加权像均采用同一台3T临床MR成像系统（Siemens Trio Tim）及12通道头部线圈获取，扫描序列为三维磁化准备快速梯度回波成像（magnetization prepared rapid gradient echo imaging，MPRAGE），参数设置如下：重复时间（time of repetition，TR）=2 400 ms，恢复时间（echo time，TE）=2 ms，反转时间（inversion time，TI）=1000 ms，反转角8°，层厚1 mm，视野256 mm×256 mm，矩阵256×256，连续获取240层矢状面图像覆盖全脑，最终分辨率为1 mm等体素。扫描前指导受试者保持头部静止，扫描后立即对图形质量进行质控，若发现严重头动则对患者进行再次指导后重新尝试扫描。
1.3. 图像预处理及脑表面构建
每个受试者的T1结构像的DICOM图像转换成NIFTI格式后输入Freesurfer软件包的recon-all处理流程进行脑组织分割[7]。分割完成后，人工对分割结果进行质控，并对错误分割部位进行人工校正。根据最终分割结果中的灰质与脑脊液的边界重建出脑表面模型。
为减小输入数据的复杂度以避免过拟合，本研究进一步采用开源3D软件Blender将原始脑表面模型的面数统一并进行不同程度简化。本研究将左右脑表面模型分别简化到10 000、8 000、6 000、4 000面作为几何神经网络的输入（图1）。
图 1.
Original and varying extent of simplified brain surface meshes fromrepresentative AD patients and healthy controls
代表性AD患者与健康对照原始脑表面图形与不同程度简化后的图形
1.4. 几何深度神经网络架构及训练
根据组别将全部受试者按照4∶1的比例随机分为训练集和测试集。训练集包含被试127例，其中AD患者61例，健康老年人66例；测试集包含被试32例，其中AD患者15例，健康老年人17例。
几何深度神经网络采用开源几何深度学习框架MeshCNN（ ranahanocka.github.io/MeshCNN/）中的实现[8]，该框架定义了流形空间的卷积和池化操作。网络架构包含4个重复的几何卷积-几何池化模块和1个全连接层（图2）。卷积核数量在4次卷积中依次为64、128、256、512，优化函数为Adam。整个训练过程共进行200个epoch。
图 2.
The architecture of geometric deep neural network used in the current study
本研究所采用的几何深度神经网络架构
训练得到的判别模型在测试集上的预测性能采用混淆矩阵（confusion matrix）及引申参数进行评估。从混淆矩阵中可以获得真阳性（TP）、真阴性（TN）、假阳性（FP）、假阴性（FN）4个度量参数，在这4个参数的基础上进一步推导出准确率=（TN+TP）/（TN+TP+FN+FP）、敏感性=TP/（TP+FN）、特异性=TN/（TN+FP）等性能度量参数。
2. 结果
2.1. 模型训练
不同复杂度的脑表面模型输入到构建的几何深度神经网络进行训练时，在200个epoch内训练误差均能逐步下降并接近于零，与此同时在测试集上预测准确率逐渐上升直至平台期（图3）。表明所搭建的几何深度神经网络确实从数据中学习到了AD患者和健康对照之间的脑形态上的差异。
图 3.
The representative training curves, with the right plot indicating the evolution of prediction accuracy on the test set and the left plot indicating the evolution of training loss
代表性神经网络训练曲线，右为测试集上预测准确率变化曲线，左为训练误差变化曲线
2.2. 模型判别性能
训练得到的预测模型在右侧脑半球且面数为6 000的脑表面模型上取得最大预测准确率93.8%（敏感性91.7%，特异性94.1%）。在表面模型简化到4 000面时仍能保持最大94.1%的特异性，但敏感性有所下降（80.0%）（表1）。
表 1. Predictive performance of geometric deep neural networks on the test set of right hemisphere brain surface meshes of various number of faces.
几何深度神经网络在右半球各复杂度脑表面模型测试集预测性能
| Number of faces | Sensitivity/% | Specificity/% | Accuracy/% |
| 10 000 | 80.0 | 88.2 | 84.3 |
| 8 000 | 86.7 | 94.1 | 90.6 |
| 6 000 | 91.7 | 94.1 | 93.8 |
| 4 000 | 80.0 | 94.1 | 87.5 |
预测模型在左侧脑半球取得的最大预测准确性为90.6%（面数为8 000或6 000）。同右半球模型，左半球模型简化到4 000面时仍能保持最大94.1%的特异性，但敏感性下降至80.0%（表2）。
表 2. Predictive performance of geometric deep neural networks on the test set of left hemisphere brain surface meshes of various number of faces.
几何深度神经网络在左半球各复杂度脑表面模型测试集预测性能
| Number of faces | Sensitivity/% | Specificity/% | Accuracy/% |
| 10 000 | 80.0 | 88.2 | 84.3 |
| 8 000 | 86.7 | 94.1 | 90.6 |
| 6 000 | 86.7 | 94.1 | 90.6 |
| 4 000 | 80.0 | 94.1 | 87.5 |
2.3. 模型卷积结果
两组之间存在形态差异的区域在进行几何卷积和池化操作后仍能被保留，而没有差异的区域则会在几何卷积和池化过程中发生塌缩。因此观察模型在几何卷积和池化过程中的变化即可推测出AD患者与健康老年人在脑形态上的差异。根据图4，AD患者的大脑形态改变呈全脑弥漫分布，并主要集中在双侧的前额叶背外侧、颞叶上回及顶叶。
图 4.
Evolution of brain surface mesh after convolution and pooling operation (bottom); superimposed display (top) of initial brain surface (yellow) and final brain surface (red)
脑表面图形在卷积与池化操作后的变化趋势（下）；初始脑表面（黄）与最终脑表面（红）叠加显示（上）
3. 讨论
前期研究报道的关于AD患者脑结构异常大多集中在灰质，因此本研究所使用的脑表面模型来源于图像域对大脑灰质区域的分割和重建。由于连接大脑左右半球的胼胝体本质是白质纤维素板，因此经过Freesurfer分割后的灰质区域是独立的左右半球，由此生成的脑表面模型也是独立的左右半球。而本研究所采用的几何深度学习框架Meshcnn仅能接受单个封闭网格作为输入，若同时输入两个封闭的独立网格，则无法进行正确卷积操作。因此，将左右半球分开测试同时考虑了大脑本身的结构特点和现有几何深度学习算法的局限。同理，由于无法将左右半球进行联合输入，因此只能对左右半球输出结果进行联合，当两个半球的预测结果一致时，容易判定联合结果，但若两个半球的预测结果不一致时，由于结果为偶数，且没有优势权重，因此难以判定联合结果，经过反复权衡，本研究最终决定将左右半球的结果分开展示和讨论。
本研究通过利用几何深度神经网络，发现大脑表面的皮层结构对于区分AD患者和健康对照具有很高的准确性，表明在AD患者中，大脑结构的异常可能是疾病发展过程中一个比较稳定且有诊断意义的客观影像表征。相较于大脑的其他影像模态，比如功能磁共振反映大脑的功能活动，弥散张量成像反映大脑白质纤维形态，大脑灰质皮层结构的获取更简便且有较高的稳定性。因此，本研究将为今后将大脑表面灰质结构特征用于临床AD辅助诊断提供重要的理论依据和研究基础。
虽然基于特征工程的传统机器学习分析在神经影像学界仍很流行，但最近提出的深度学习已获得医学影像研究者极大的关注[9]。深度学习在两个方面优于传统的机器学习。首先，与传统机器学习算法相比，深度学习能够自动从原始数据中学习与研究目的相关的特征。深度学习的该能力克服了传统特征提取和选择中的主观性，尤其是在样本特征维度极高或在特征选择所需的先验知识没有定论的情况下。深度学习的另一个重要特性是模型的深度。与传统的浅层模型相比，深度学习通过多层级非线性变换网络结构，能够对非常复杂的数据模式进行建模，这使得深度学习更适合检测数据中复杂、分散和微小的差异。鉴于大多数神经与精神疾病的大脑结构或功能改变都有弥散分布的特点[10]，因此深度学习被认为是神经影像研究领域非常有前途的工具。
传统的深度学习大多基于图像，在欧几里得域表现很好，随着深度学习技术的发展，人们已经不满足于将深度学习应用于传统的图像上，本研究首次采用基于图形的几何深度学习，能够帮助学习非欧几里得数据集，基于图像的研究大多采用2D切面，本研究直接采用3D数据，优势在于图形数据比图像数据小很多，并且经过简化后的图形数据不影响准确率。就目前发表的研究来说[11-12]，几何深度学习预测准确率与现有最优基于图像的深度学习方法相当。另外，和其他深度学习相比，几何深度学习模型训练对计算机资源需求小，模型便于部署。
目前已有相当数量的研究尝试在图像域采用深度学习技术对AD患者和健康对照进行自动鉴别[13]。这些研究根据输入数据的类型可分为3类：单层2D图像、局部3D图像、全脑3D图像。采用单层2D图像或局部3D图像的优势在于对计算资源的需求较小并且模型过拟合的风险较低。但缺点在于忽略了大脑结构之间的相关性，导致最终训练得到的模型有难以逾越的性能瓶颈。而采用全脑3D图像的研究在模型训练前都对图像进行了简化处理，以便减小对计算资源的需求并降低过拟合的风险，但图像域的简化会造成大脑的脑沟、脑回等关键形态结构无法辨识。
磁共振图像为加权图像，其信号绝对值除了依赖被成像组织自身的性质外，还受磁场强度、射频功率以及线圈灵敏度等多个因素的影响。因此将原始磁共振图像直接作为深度学习的输入极易受上述因素的干扰，尤其是在多设备、多中心的研究中。而将图形作为输入则可以有效克服图像作为输入的缺点。首先图形的生成来自个体空间的图像分割，组织边界的确定仅依赖于组织之间的对比度，不受设备和成像参数的影响。其次，对图形数据进行简化时不会损失关键结构信息。本研究表明，对脑表面图形进行适当简化后，预测模型性能反而有显著提升。可能的原因有两方面：在深度神经网络架构固定的情况下，输入较为复杂的脑表面图形可能会造成模型欠拟合，图形简化后解决了此问题；另一个可能的原因是图形简化去除了局部细节但强化了疾病相关的结构差异。
虽然深度学习在性能上显著优于传统机器学习，但其结果的可解释性一直饱受诟病。为了克服这一短板，在视觉任务领域开发出了类激活图（class activation map，CAM）技术来标识图像中与目标任务有显著贡献的区域[14]。在几何深度学习领域，目前还没有相应技术，但通过观察卷积和池化过程中图形的变化可以推断出对任务有贡献的区域。在本研究中，通过观察脑表面图形在反复卷积与池化过程的改变，发现AD患者相较健康老年人存在全脑弥漫分布的脑组织损失，这与之前通过体素形态学得到的结果一致[15]。
本研究是几何深度学习在脑形态学研究中的初步尝试，因此还存在诸多不足。首先本研究纳入的样本数量较少且数据均采集自同一台设备，因此无法评估训练所得的预测模型的泛化能力，也无法验证图形数据不依赖成像设备的优势。其次，本研究没有纳入轻度认知障碍（mild cognitive impairment，MCL）患者，MCL患者与健康老年人的客观鉴别以及MCL患者向AD转化的概率是临床更为关注的问题。另外本研究采用了固定的几何深度神经网络架构，未对网络架构与预测性能之间的关系进行系统评估。综上所述，基于图形数据和几何深度学习的脑形态学分析方法在AD患者的鉴别中展现了相当的潜力，随着几何深度学习技术的进一步发展，以及多中心大样本研究的开展，该方法有望在AD的诊断和鉴别诊断中发挥更大的临床价值。
Funding Statement
国家自然科学基金（No. 81974278）、中国科协青年人才托举工程资助项目（No. YESS20160060）和四川大学华西医院学科卓越发展1·3·5工程项目（No. ZYGD18019）资助
Contributor Information
薇 谢 (Wei XIE), Email: 290977798@qq.com.
春潮 夏 (Chun-chao XIA), Email: xiachunchao@wchscu.cn.
References
- 1.MCKHANN G, DRACHMAN D, FOLSTEIN M, et al Clinical diagnosis of Alzheimer’s disease: report of the NINCDS-ADRDA Work Group under the auspices of Department of Health and Human Services Task Force on Alzheimer’s Disease. Neurology. 1984;34(7):939–939. doi: 10.1212/WNL.34.7.939. [DOI] [PubMed] [Google Scholar]
- 2.MCKHANN G M, KNOPMAN D S, CHERTKOW H, et al The diagnosis of dementia due to Alzheimer’s disease: recommendations from the National Institute on Aging-Alzheimer’s Association workgroups on diagnostic guidelines for Alzheimer’s disease. Alzheimers Dement. 2011;7(3):263–269. doi: 10.1016/j.jalz.2011.03.005. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 3.BUSATTO G F, DINIZ B S, ZANETTI M V Voxel-based morphometry in Alzheimer’s disease. Expert Rev Neurother. 2008;8(11):1691–1702. doi: 10.1586/14737175.8.11.1691. [DOI] [PubMed] [Google Scholar]
- 4.MATEOS-PÉREZ J M, DADAR M, LACALLE-AURIOLES M, et al Structural neuroimaging as clinical predictor: a review of machine learning applications. NeuroImage Clin. 2018;20:506–522. doi: 10.1016/j.nicl.2018.08.019. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.VIEIRA S, PINAYA W H L, MECHELLI A Using deep learning to investigate the neuroimaging correlates of psychiatric and neurological disorders: methods and applications. Neurosci Biobehav Rev. 2017;74(Pt A):58–75. doi: 10.1016/j.neubiorev.2017.01.002. [DOI] [PubMed] [Google Scholar]
- 6.BRONSTEIN M M, BRUNA J, LECUN Y, et al Geometric deep learning: going beyond Euclidean data. IEEE Signal Process Mag. 2017;34(4):18–42. doi: 10.1109/MSP.2017.2693418. [DOI] [Google Scholar]
- 7.FISCHL B FreeSurfer. Neuroimage. 2012;62(2):774–781. doi: 10.1016/j.neuroimage.2012.01.021. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 8.HANOCKA R, HERTZ A, FISH N, et al MeshCNN: a network with an edge. ACM Trans Graph. 2019;38(4):1–12. doi: 10.1145/3306346.3322959. [DOI] [Google Scholar]
- 9.LITJENS G, KOOI T, BEJNORDI B E, et al A survey on deep learning in medical image analysis. Med Image Anal. 2017;42:60–88. doi: 10.1016/j.media.2017.07.005. [DOI] [PubMed] [Google Scholar]
- 10.PLIS S M, HJELM D R, SALAKHUTDINOV R, et al. Deep learning for neuroimaging: a validation study. Front Neurosci, 2014, 8: 229[2020-09-18]. https://doi.org/10.3389/fnins.2014.00229.
- 11.FALAHATI F, WESTMAN E, SIMMONS A Multivariate data analysis and machine learning in Alzheimer’s disease with a focus on structural magnetic resonance imaging. J Alzheimers Dis. 2014;41(3):685–708. doi: 10.3233/JAD-131928. [DOI] [PubMed] [Google Scholar]
- 12.BASAIA S, AGOSTA F, WAGNER L, et al. Alzheimer’s disease neuroimaging initiative. automated classification of Alzheimer's disease and mild cognitive impairment using a single MRI and deep neural networks. Neuroimage Clin, 2019, 21: 101645[2021-01-25]. https://doi.org/10.1016/j.nicl.2018.101645.
- 13.WEN J, THIBEAU-SUTRE E, DIAZ-MELO M, et al. Convolutional neural networks for classification of Alzheimer’s disease: overview and reproducible evaluation. Med Image Anal, 2020, 63: 101694[2020-09-18]. https://doi.org/10.1016/j.media.2020.101694.
- 14.ZHOU B, KHOSLA A, LAPEDRIZA A, et al. Learning deep features for discriminative localization. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016: 2921-2929.
- 15.KARAS G, BURTON E, ROMBOUTS S A R, et al A comprehensive study of gray matter loss in patients with Alzheimer’s disease using optimized voxel-based morphometry. Neuroimage. 2003;18(4):895–907. doi: 10.1016/S1053-8119(03)00041-7. [DOI] [PubMed] [Google Scholar]