Abstract
目的
构建一种内在可解释性机器学习模型，即可解释提升机模型(EBM)来预测重症缺血性脑卒中患者一年死亡风险。
方法
使用2008~2019年MIMIC-Ⅳ2.0数据库中符合纳排标准的2369例重症缺血性脑卒中患者资料，将数据集随机分成训练集（80%）和测试集（20%），构建可解释提升机模型评估疾病预后。通过计算受试者工作特征曲线下面积(AUC)来衡量预测效果，使用校准曲线及布里尔分数(Brier score)评价模型的校准程度，并绘制决策曲线反映临床净收益。
结果
本研究所构建的可解释提升机具有良好的区分度、校准度和净收益率，其中模型预测重症缺血性脑卒中预后不良的AUC为0.857[95% CI（0.831, 0.887）]；校准曲线分析结果显示，可解释提升机模型的校准曲线最接近于理想曲线；决策曲线分析结果显示，当该模型预测概率阈值为0.10~0.80时，其预测净获益率最大。基于可解释提升机模型的前5个独立预测变量为年龄、SOFA评分、平均心率、机械通气、平均呼吸频率，其重要性得分从0.179~0.370。
结论
建立了一个可解释提升机模型，该模型应用于预测重症缺血性脑卒中患者一年内死亡风险具有良好的表现，通过模型可解释性能帮助临床医生更好地理解结果背后的原因。
Keywords: 重症缺血性脑卒中, 内在可解释性机器学习, 可解释提升机, 死亡预测
Abstract
Objective
To construct an inherent interpretability machine learning model as an explainable boosting machine model (EBM) for predicting one-year risk of death in patients with severe ischemic stroke.
Methods
We randomly divided the data of 2369 eligible patients with severe ischemic stroke in the MIMIC-Ⅳ(2.0) database, who were admitted in ICU in 2008 to 2019, into a training dataset (80%) and a test dataset (20%), and assessed the prognosis of the patients using the EBM model. The prediction performance of the model was evaluated by calculating the area under the receiver operating characteristic (AUC) curve. The calibration curve and Brier score were used to evaluate the degree of calibration of the model, and a decision curve was generated to assess the net clinical benefit.
Results
The EBM model constructed in this study had good discrimination power, calibration and net benefit, with an AUC of 0.857 (95% CI: 0.831-0.887) for predicting prognosis of severe ischemic stroke. Calibration curve analysis showed that the standard curve of the EBM model was the closest to the ideal curve. Decision curve analysis showed that the model had the greatest net benefit rate at the prediction probability threshold of 0.10 to 0.80. The top 5 independent predictive variables based on the EBM model were age, SOFA score, mean heart rate, mechanical ventilation, and mean respiratory rate, whose significance scores ranged from 0.179 to 0.370.
Conclusion
This EBM model has a good performance for predicting the risk of death within one year in patients with severe ischemic stroke and allows clinicians to better understand the contributing factors of the patients' outcomes through the model interpretability.
Keywords: severe ischemic stroke, inherent interpretability machine learning, explainable boosting machine, mortality prediction
《中国脑卒中防治报告2019》概要[1]中指出，脑卒中已是我国成人致死、致残的首位病因，严重威胁着公众健康，其中缺血性脑卒中是最常见的卒中类型，占全部脑卒中的60%~80%。缺血性脑卒中预后较差，患者发病后1年致死/致残率可达33.4%~33.8%[2]。准确预测缺血性脑卒中患者一年期结局，能尽早识别具有高死亡风险的缺血性脑卒中患者[3]。此外，通过预测模型探索预后危险因素，指导医生采取适当的治疗措施，可使医疗资源有效利用。
近年来，机器学习（ML）模型在疾病诊断或预后预测方面表现出良好的性能[4]。在海量与复杂结构的数据情境下，与传统的统计方法相比，ML模型可以捕捉到复杂的非线性关系，并在大数据中识别出未知的关联性，从而获得更深层次的洞察力[5]。由于缺血性脑卒中患者结局涉及复杂的临床指标，存在较强的非线性关联，适合采用机器学习模型进行分析[6]。
尽管ML方法有很好的预测准确性，但由于缺乏可解释性，因此其表现和应用饱受质疑[7, 8]，正如Stinear等[9]指出，构建具有可操作和可解释性ML模型对临床应用至关重要。可解释性被定义为人类能够理解ML模型做出预测原因的程度[10]，其旨在帮助人们理解机器学习模型是如何学习的，能从已知数据中学到什么，以及针对每个输入模型是如何做出决策的。模型的可解释性越高，医生就越容易理解模型为什么做出某种预测，从而做出符合病人利益的临床决定。
为此，本研究基于MIMIC-Ⅳ数据库（2.0）[11]进行了一项回顾性队列研究，构建了一种内在可解释性ML模型，即可解释提升机（EBM）模型，用于重症缺血性脑卒中患者一年的死亡预测，并解释该模型如何协助临床医生做出决策，以期为重症缺血性脑卒中预后研究提供参考。
1. 资料和方法
本预测模型研究按照TRIPOD检查表[12]进行报告。
1.1. 研究对象与结局
本研究回顾性队列数据来源于MIMIC-Ⅳ数据库（2.0）。目前，MIMIC-Ⅳ数据库记录了2008~2019年波士顿贝斯以色列女执事医疗中心ICU收治的患者数据，具有全面、高质量和去隐私化的特征。研究者已通过数据库的相关课程，获得数据库的使用授权（编码：48510731）。利用SQL结构化查询语言，在MIMIC-Ⅳ数据库中提取符合国际疾病分类（ICD-9代码为433、434、436、437.0和437.1或ICD-10代码为I63、I65和I66）缺血性脑卒中诊断的患者信息。本研究纳入标准是年龄≥18周岁，因缺血性脑卒中诊断进入ICU监护治疗，且至少有24 hICU住院记录的患者。排除标准是不符合缺血性脑卒中诊断、ICU入院时间小于24 h及多次进入ICU的患者，只使用首次进ICU的数据。结局指标为重症缺血性脑卒中患者1年的预后情况，根据患者结局分为死亡组与存活组（图 1）。
图 1.
研究对象筛选流程图
Flowchart of subject selection.
1.2. 变量选取
参考Farah等[13]的研究，综合考虑MIMIC-Ⅳ数据库中数据复杂性、相关数据缺失程度及国内外缺血性脑卒中预后危险因素[6]，从一般资料、生命体征、实验室结果、合并症等筛选出32个关键变量。患者一般资料有性别、年龄、体质量、吸烟史；生命体征使用入ICU前24 h内平均值，其中包括心率、舒张压、收缩压、呼吸频率、体温、血氧饱和度；对于实验室结果，选择入ICU前24 h的最大值的变量有血糖、白细胞计数、血尿素氮、血清肌酐、钠离子、国际标准化比值、凝血激活酶时间最大值；选择红细胞比容、血小板、阴离子间隙、碳酸氢盐、钙离子、氯离子、钾离子使用入ICU前24 h内的最小值；此外，还考虑了相关并发症、有关生命支持的临床信息，如机械通气，以及顺序性器官衰竭评分（SOFA）。
1.3. 数据预处理
MIMIC-Ⅳ数据库存在缺失值与异常值，本研究删除缺失比例大于20%的变量[14]。异常值定义为各计量资料中变量值排序后小于0.01%（即P0.01）和大于99.99%（即P99.99）的数据[15]，删除异常值后进行填补，尽可能保留原始数据信息。采用线性多重填补法进行缺失数据填补。计量资料为了保持原始数值信息且不受计量单位影响，进行归一化处理线性缩放为最大值为1，最小值为0的范围内。计数资料均为二分类资料，直接纳入建模。
1.4. 研究设计
数据集（n=2369）按8：2的比例随机分为训练集（n=1895）和测试集（n=474），训练集用于拟合模型，测试集用于验证模型性能。为获得最佳的训练模型，各模型训练使用重复5次的5折交叉验证以减少模型过拟合，并使用网格搜索的方法进行超参数寻优。选取最优模型评价其变量重要性，并绘制重要变量的风险趋势图。
1.5. 模型选择
我们使用最近开发的EBM来构建基于训练集的模型[16]，并参考相关文献[17-19]选取Logistic回归（LR）、朴素贝叶斯（Naive Bayes）、随机森林（RF）共3种算法作对比，其中Logistic回归作为传统线性回归其结果具有可解释性，朴素贝叶斯因其简单、稳健性好常作为机器学习分类算法的比较之一，而随机森林作为集成算法具有良好的预测准确性。为了兼顾准确性与可解释性，本研究以EBM为首选，因为这个模型是从广义加法模型（GAM）衍生出来的，使用了来自随机森林和梯度提升树模型的技术，且可解释性更强。EBM与传统GAM的主要区别包括：（1）EBM中的每个变量函数是使用ML技术确定的，例如袋装法和梯度提升，并带有轮回循环；（2）EBM可以自动检测成对的交互作用项，以提高精度；（3）EBM可绘制变量函数图以检查每个变量与结果之间的关联。有研究表明，EBM在健康数据集上的表现优于其他已建立的ML模型[16, 20]。
1.6. 统计分析方法
计量资料用均数±标准差表示，两组间比较采用独立样本t检验。计数资料用频率和百分比表示，组间比较采用卡方检验。本研究使用受试者工作特征曲线下面积（AUC）作为主要指标，采用重复1000次的Bootstrap法计算AUC值的95%置信区间，模型间AUC值比较使用DeLong检验[21]。绘制受试者工作特征曲线（ROC）曲线，并选取了准确度（Accuracy）、精确率（Precision）、召回率（Recall）及F1分数（F1-score）来评估模型的预测性能[22]。本研究通过绘制校准曲线，并且计算模型的Brier值来表示模型的校准程度[23]。使用决策曲线分析法（DCA）反映模型临床净收益[24]。
统计分析采用R 4.1.2及Python 3.8.10软件，所有检验均为双侧，以P<0.05为差异具有统计学意义。
2. 结果
2.1. 患者基本特征
本研究共纳入符合标准的重症缺血性脑卒中患者2369例，其中存活组1679例，死亡组690例，重症缺血性脑卒中患者1年内死亡率为29.1%，男女比例为1: 0.96，平均年龄为72.23±12.30岁。对一般资料、生命体征、实验室结果及合并症进行单因素分析，其中性别、年龄、体质量、机械通气、高血压、高血脂症、糖尿病等变量组间差异有统计学意义（表 1）。
表 1.
患者基本特征表
Demographic and clinical characteristics of the included patients
| Variables | Survival group (n=1679) | Death group (n=690) | P |
| COPD: Chronic obstructive pulmonary disease; WBC: White blood cell. | |||
| Gender | <0.001 | ||
| Female | 784 (46.7%) | 376 (54.5%) | |
| Male | 895 (53.3%) | 314 (45.5%) | |
| Age (year) | 69.5±14.3 | 78.8±11.6 | <0.001 |
| Weight (kg) | 81.9±21.1 | 72.9±18.9 | <0.001 |
| Smoking history | 0.9 | ||
| Yes | 306 (18.2%) | 128 (18.6%) | |
| No | 1373 (81.8%) | 562 (81.4%) | |
| Ventilation | <0.001 | ||
| Yes | 927 (55.2%) | 319 (46.2%) | |
| No | 752 (44.8%) | 371(53.8%) | |
| Hypertension | <0.001 | ||
| Yes | 927 (55.2%) | 319(46.2%) | |
| No | 752 (44.8%) | 371 (53.8%) | |
| Hyperlipidemia | <0.001 | ||
| Yes | 1148 (68.4%) | 410 (59.4%) | |
| No | 531 (31.6%) | 280 (40.6%) | |
| Diabetes | 0.02 | ||
| Yes | 402 (23.9%) | 198 (28.7%) | |
| No | 1277 (76.1%) | 492 (71.3%) | |
| COPD | 0.02 | ||
| Yes | 402 (23.9%) | 198 (28.7%) | |
| No | 1277 (76.1%) | 492 (71.3%) | |
| Coronary heart disease | 0.34 | ||
| Yes | 620 (36.9%) | 270 (39.1%) | |
| No | 1059 (63.1%) | 420 (60.9%) | |
| Atrial fibrillation | 0.004 | ||
| Yes | 528 (31.4%) | 312 (45.2%) | |
| No | 1151 (68.6%) | 378 (54.8%) | |
| Heart rate (rate/min) | 77.9±14.0 | 85.2±15.8 | <0.001 |
| Diastolic blood pressure (mmHg) | 68.7±13.1 | 66.9±12.1 | 0.002 |
| Systolic blood pressure (mmHg) | 130.6±18.7 | 130.2±20.3 | 0.67 |
| Respiratory rate (rate/min) | 18.5±3.0 | 20.2±3.8 | <0.001 |
| Temperature (℃) | 36.8±0.4 | 36.9±0.5 | 0.03 |
| Oxygen saturation (%) | 96.8±1.7 | 97.2±2.0 | 0.003 |
| Glucose (mg/dL) | 147.9±77.9 | 174.3±96.1 | <0.001 |
| WBC (109/L) | 11.8±5.5 | 13.3±6.3 | <0.001 |
| Blood urea nitrogen (mg/dL) | 22.2±15.1 | 32.3±24.2 | <0.001 |
| Serum creatinine (mg/dL) | 1.2±1.2 | 1.5±1.2 | <0.001 |
| Sodium (mmol/L) | 140.2±3.6 | 141.0±5.5 | 0.003 |
| International Normalized Ratio | 1.4±0.7 | 1.5±1.0 | 0.002 |
| Partial thromboplastin time (s) | 36.9±19.4 | 36.8±17.3 | 0.9 |
| Erythrocyte specific volume (%) | 34.2±7.0 | 33.1±6.4 | <0.001 |
| Platelets (109/L) | 204.3±79.5 | 212.9±94.0 | 0.04 |
| Anion gap (mmol/L) | 13.1±2.9 | 14.3±3.3 | <0.001 |
| Bicarbonate (mmol/L) | 22.5±3.4 | 21.7±4.5 | <0.001 |
| Calcium (mmol/L) | 8.5±0.8 | 8.4±0.7 | 0.07 |
| Chloride (mmol/L) | 102.9±4.9 | 102.1±5.9 | 0.004 |
| Potassium (mmol/L) | 3.9±0.5 | 3.9±0.6 | 0.27 |
| SOFA score | 3.4±2.6 | 5.5±3.4 | <0.001 |
2.2. 机器学习模型表现
将所有变量纳入机器学习模型中，经过超参数寻优选择4种方法各自表现最优的模型，4种模型应用于测试集数据（表 2），其中EBM模型表现最好。AUC值从高到低依次排列为EBM（0.857）、RF（0.838）、LR（0.807）、Naive Bayes（0.785）（图 2），经DeLong检验除EBM与朴素贝叶斯之间AUC值差异有统计学意义（P<0.05）外，其余模型的两两检验差异无统计学意义。Brier值从低到高依次排列为EBM（0.135）、RF（0.148）、LR（0.158）、Naive Bayes（0.200），从4种预测模型的校准图中可见EBM模型校准表现最好（图 3），其斜率与截距最小，Naive Bayes表现最差。从4种预测模型的决策曲线分析结果中可见当概率阈值为0.10~0.80时，EBM的净获益率要高于其他模型（图 4）。
表 2.
四种模型在测试集上的性能表现
Performance of the 4 models on the test set
| Indicator | LR | Naive bayes | RF | EBM |
| LR: Logistic regression; RF: Random forest; EBM: Explainable boosting machine; AUC: Area under the subject's working characteristic curve. | ||||
| AUC (95%CI) | 0.807 (0.773-0.836) | 0.785 (0.755-0.813) | 0.838 (0.810-0.870) | 0.857 (0.831-0.887) |
| Accuracy | 0.789 | 0.747 | 0.787 | 0.808 |
| Precision | 0.671 | 0.580 | 0.734 | 0.733 |
| Recall | 0.766 | 0.471 | 0.420 | 0.536 |
| F1-score | 0.488 | 0.520 | 0.535 | 0.619 |
| Brier score | 0.158 | 0.200 | 0.148 | 0.135 |
图 2.
四种预测模型的受试者工作特征曲线
Receiver operating characteristic (ROC) curves of the 4 prediction models.
图 3.
四种预测模型的校准曲线
Calibration curves of the 4 prediction models.
图 4.
四种预测模型的决策曲线
Decision curve analysis for the 4 prediction models.
2.3. 变量重要性分析
EBM模型中各变量平均权重的绝对值越大对预后预测的影响越大（图 5）。排名前15的变量包括年龄（0.370），SOFA评分（0.284），平均心率（0.198），机械通气（0.197），平均呼吸频率（0.197），体质量（0.167），平均血氧饱和度（0.157），高血压（0.142），碳酸氢盐最小值（0.131），阴离子间隙最小值（0.127），钠离子最大值（0.125），血糖最大值（0.121），氯化物最小值（0.120），高脂血症（0.120）和平均舒张压（0.109）。其中最重要的前两个变量分别为年龄和SOFA评分，年龄和SOFA评分的风险效应趋势图中显示年龄越大，SOFA评分越高，模型预测得分越高，患者预后结局越差（图 6）。
图 5.
EBM模型所选前15个变量的相对重要性得分
Relative importance scores of the top 15 variables selected by the EBM model.
图 6.
风险效应趋势图
Risk effect trend graph. A: Trend graph of risk effect of age. B: Trend graph of risk effect of SOFA score.
3. 讨论
本研究利用MIMIC-Ⅳ数据库中重症缺血性脑卒中患者数据构建了一个EBM模型，以预测缺血性脑卒中一年的死亡风险。基于公开数据库，建模所涉及的信息是客观的，样本量充足，且容易获得。本研究构建的EBM模型具有良好的区分度（AUC=0.857）与校准度（Brier score=0.135），且具有较强的可解释性，综合表现优秀，可辅助医生进行决策，达到了预期目标。
重症缺血性脑卒中是一种多因素疾病，若干危险因素对其结果有影响。根据EBM模型变量重要性分析结果显示：年龄，SOFA评分，平均心率，机械通气，平均呼吸频率等因素与重症缺血性中风患者生存率密切相关。一般来说，脑卒中是一种衰老性疾病。此外，衰老会加重脑卒中后的脑损伤，与衰老相关的脑内基础Bcl-2基因表达的减少会增加脑卒中后的细胞凋亡从而加重神经损伤[25]。相关文献报道年龄是缺血性脑卒中独立的危险因素。随着年龄的增长，大脑储备能力减弱，导致老年患者的预后恶化[26]。一项关于继发性腹膜炎重症患者死亡风险因素的研究显示[27]，随着SOFA评分的增加，提示感染加剧，患者死亡率呈阶梯式上升。另有研究显示[28]，在入院24 h内SOFA评分增加2分或以上对院内死亡率及预测ICU住院时间的综合结果相比系统性炎症反应综合征标准（SIRS）及qSOFA评分更好。根据Etienne等[29]的一项多中心队列研究，在需要机械通气的急性脑卒中患者中，插管的原因和是否接受急性期插管治疗与其一年生存率独立相关。其余预测指标也与既往研究相似[5, 30]。
近年来，使用机器学习方法预测脑卒中预后的研究不断涌现。Thomas等[18]使用奥地利脑卒中登记中心的数据预测缺血性卒中患者入院早期死亡风险，在这项研究中正则化Logistic回归预测缺血性脑卒中患者早期死亡的AUC可达0.88；Fernandez等[19]使用随机森林模型预测脑卒中三个月内的死亡率和功能结局，模型具有良好的预测能力，AUC最高为0.91；Lehmann等[31]使用机器学习方法构建临床、影像学和生物标志物联合预测缺血性脑卒中1年内死亡模型，其中神经网络模型达到最高准确性，AUC为0.97；有研究基于前瞻性队列研究使用机器学习预测3个月后Rankin量表评分结果，结果显示深度神经网络模型的AUC可达0.88[32]。以上研究除使用本研究中的变量外，还包括脑卒中的特定变量，如NIHSS评分或神经影像学结果等，这可能是导致模型预测效能高于本研究的原因之一。但模型的准确性指标只是模型预测能力的部分体现，如果模型缺乏可解释性也很难应用于临床实践，本研究使用内在可解释性模型在达到与复杂黑箱模型相似准确性的前提下，增加了模型的可解释性，有利于增强临床使用者对预测结果的信心与信任。
尽管本研究模型表现良好，但也有其局限性：（1）受限于数据库信息本研究未纳入与缺血性脑卒中相关的NIHSS评分、神经影像学数据等；（2）本研究基于MIMIC-Ⅳ公共数据库，尚未使用我国数据对模型进行外部验证；（3）尚未使用最近提出的其他内在可解释模型例如基于规则的Falling Rule Lists模型、基于神经网络的GAMI-Net模型等进行对比验证。
综上所述，本研究基于MIMIC-Ⅳ数据库构建了一个用于预测重症缺血性脑卒中患者一年死亡率的内在可解释机器学习模型，该模型分类性能良好、表现稳定，且具有较强的可解释性，可以辅助医生对患者进行合理的预后评估与治疗。在今后的研究中考虑纳入临床轨迹、神经影像学信息及用药信息等提升变量数据维度，同时也需要使用更具代表性的外部数据来进一步支持我们的结论。
Biography
罗枭，在读硕士研究生，E-mail: luoxiao930501@163.com
Funding Statement
上海市公共卫生体系建设学科带头人计划（GWV-10.2-XD05）；上海市产业协同创新项目（2021-cyxt1-kj10）
Contributor Information
罗 枭 (Xiao LUO), Email: luoxiao930501@163.com.
吴 骋 (Cheng WU), Email: wucheng_wu@126.com.
贺 佳 (Jia HE), Email: hejia63@yeah.net.
References
- 1.《中国脑卒中防治报告》编写组 《中国脑卒中防治报告2019》概要. 中国脑血管病杂志. 2020;17(5):271–81. [Google Scholar]
- 2.彭 斌, 刘 鸣, 崔 丽英. 与时俱进的新指南: 《中国急性缺血性脑卒中诊治指南2018》解读. 中华神经科杂志. 2018;51(9):666–82. doi: 10.3760/cma.j.issn.1006-7876.2018.09.004. [DOI] [Google Scholar]
- 3.赵 楠楠, 郑 印, 黄 穹琼, et al. 急性缺血性脑卒中早期预后不良的危险因素分析及预测模型构建. 中国临床研究. 2022;35(4):456–461. doi: 10.13429/j.cnki.cjcr.2022.04.003. [DOI] [Google Scholar]
- 4.Chang HY, Jung CK, Woo JI, et al. Artificial intelligence in pathology. J Pathol Transl Med. 2019;53(1):1–12. doi: 10.4132/jptm.2018.12.16. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.Vi da, Abedi, P hD, et al. Predicting short and long-term mortality after acute ischemic stroke using EHR. J Neurol Sci. 2021;427:117560. doi: 10.1016/j.jns.2021.117560. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 6.Kurtz P, Peres IT, Soares M, et al. Hospital length of stay and 30-day mortality prediction in stroke: a machine learning analysis of 17, 000 ICU admissions in Brazil. Neurocrit Care. 2022;37(2):313–21. doi: 10.1007/s12028-022-01486-3. [DOI] [PubMed] [Google Scholar]
- 7.Reddy S. Explainability and artificial intelligence in medicine. Lancet Digit Health. 2022;4(4):e214–e215. doi: 10.1016/S2589-7500(22)00029-2. [DOI] [PubMed] [Google Scholar]
- 8.Ibrahim M, Louie M, Modarres C, et al. Global explanations of neural networks: mapping the landscape of predictions[C]//Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society. January 27-28, 2019, Honolulu, HI, USA. New York: ACM, 2019: 279-87.
- 9.Stinear CM, Smith MC, Byblow WD. Prediction tools for stroke rehabilitation. Stroke. 2019;50(11):3314–22. doi: 10.1161/STROKEAHA.119.025696. [DOI] [PubMed] [Google Scholar]
- 10.Miller T. Explanation in artificial intelligence: insights from the social sciences. Artif Intell. 2019;267:1–38. doi: 10.1016/j.artint.2018.07.007. [DOI] [Google Scholar]
- 11.Johnson A, Bulgarelli L, Pollard T, et al. MIMIC-Ⅳ (version 2.0) [Z]. PhysioNet. 2022
- 12.Moons KG, Altman DG, Reitsma JB, et al. Transparent Reporting of a multivariable prediction model for Individual Prognosis or Diagnosis (TRIPOD): explanation and elaboration. Ann Intern Med. 2015;162(1):W1–W73. doi: 10.7326/M14-0698. [DOI] [PubMed] [Google Scholar]
- 13.Deshmukh F, Merchant SS. Explainable machine learning model for predicting GI bleed mortality in the intensive care unit. Am J Gastroenterol. 2020;115(10):1657–68. doi: 10.14309/ajg.0000000000000632. [DOI] [PubMed] [Google Scholar]
- 14.Miettinen T, Mäntyselkä P, Hagelberg N, et al. Machine learning suggests sleep as a core factor in chronic pain. Pain. 2021;162(1):109–23. doi: 10.1097/j.pain.0000000000002002. [DOI] [PubMed] [Google Scholar]
- 15.Walfish S. A review of statistical outlier methods. Pharmaceutical technology. 2006;30(11):82. [Google Scholar]
- 16.Nori H, Jenkins S, Koch P, et al. Interpretml: A unified framework for machine learning interpretability. arXiv preprint arXiv. 1909;09223:2019. [Google Scholar]
- 17.Luo W, Phung D, Tran T, et al. Guidelines for developing and reporting machine learning predictive models in biomedical research: a multidisciplinary view. J Med Internet Res. 2016;18(12) doi: 10.2196/jmir.5870. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 18.Gattringer T, Posekany A, Niederkorn K, et al. Predicting early mortality of acute ischemic stroke: score-based approach. Stroke. 2019;50(2):349–356. doi: 10.1161/STROKEAHA.118.022863. [DOI] [PubMed] [Google Scholar]
- 19.Fernandez-Lozano C, Hervella P, Mato-Abad V, et al. Random forestbased prediction of stroke outcome. Sci Rep. 2021;11(1):10071. doi: 10.1038/s41598-021-89434-7. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 20.Qu YJ, Deng XL, Lin S, et al. Using innovative machine learning methods to screen and identify predictors of congenital heart diseases. Front Cardiovasc Med. 2021;8:797002. doi: 10.3389/fcvm.2021.797002. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 21.DeLong E, DeLong D, Clarke‐Pearson D. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988:837–45. [PubMed] [Google Scholar]
- 22.Powers D M W. Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation. arXiv preprint arXiv. 2010;16061:2020. [Google Scholar]
- 23.Ralston A, Liu P, Warrener K, et al. Small field diode correction factors derived using an air core fibre optic scintillation dosimeter and EBT2 film. Phys Med Biol. 2012;57(9):2587–602. doi: 10.1088/0031-9155/57/9/2587. [DOI] [PubMed] [Google Scholar]
- 24.van Calster B, Wynants L, Verbeek JFM, et al. Reporting and interpreting decision curve analysis: a guide for investigators. Eur Urol. 2018;74(6):796–804. doi: 10.1016/j.eururo.2018.08.038. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 25.P, Do ng. Aging causes exacerbated ischemic brain injury and failure of sevoflurane post-conditioning: role of B-cell lymphoma-2. Neuroscience. 2014;275:2–11. doi: 10.1016/j.neuroscience.2014.05.064. [DOI] [PubMed] [Google Scholar]
- 26.Luedi R, Hsieh K, Slezak A, et al. Age dependency of safety and outcome of endovascular therapy for acute stroke. J Neurol. 2014;261(8):1622–7. doi: 10.1007/s00415-014-7401-0. [DOI] [PubMed] [Google Scholar]
- 27.De Pascale G, Antonelli M, Deschepper M, et al. Poor timing and failure of source control are risk factors for mortality in critically ill patients with secondary peritonitis. Intensive Care Med. 2022;48(11):1593–606. doi: 10.1007/s00134-022-06883-y. [DOI] [PubMed] [Google Scholar]
- 28.Raith EP, Udy AA, Bailey M, et al. Prognostic accuracy of the SOFA score, SIRS criteria, and qSOFA score for In-hospital mortality among adults with suspected infection admitted to the intensive care unit. JAMA. 2017;317(3):290–300. doi: 10.1001/jama.2016.20328. [DOI] [PubMed] [Google Scholar]
- 29.de Montmollin E, Terzi N, Dupuis C, et al. One-year survival in acute stroke patients requiring mechanical ventilation: a multicenter cohort study. Ann Intensive Care. 2020;10(1):53. doi: 10.1186/s13613-020-00669-5. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 30.Park D, Jeong E, Kim H, et al. Machine learning-based three-month outcome prediction in acute ischemic stroke: a single cerebrovascular-specialty hospital study in South Korea. Diagnostics (Basel) 2021;11(10):1909. doi: 10.3390/diagnostics11101909. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 31.Lehmann ALCF, Alfieri DF, de Araújo MCM, et al. Immuneinflammatory, coagulation, adhesion, and imaging biomarkers combined in machine learning models improve the prediction of death 1 year after ischemic stroke. Clin Exp Med. 2022;22(1):111–23. doi: 10.1007/s10238-021-00732-w. [DOI] [PubMed] [Google Scholar]
- 32.Heo JN, Yoon JG, Park H, et al. Machine learning-based model for prediction of outcomes in acute stroke. Stroke. 2019;50(5):1263–5. doi: 10.1161/STROKEAHA.118.024293. [DOI] [PubMed] [Google Scholar]