基于深度学习方法的慢性阻塞性肺疾病危重度分类研究

Abstract

In this paper, a deep learning method has been raised to build an automatic classification algorithm of severity of chronic obstructive pulmonary disease. Large sample clinical data as input feature were analyzed for their weights in classification. Through feature selection, model training, parameter optimization and model testing, a classification prediction model based on deep belief network was built to predict severity classification criteria raised by the Global Initiative for Chronic Obstructive Lung Disease (GOLD). We get accuracy over 90% in prediction for two different standardized versions of severity criteria raised in 2007 and 2011 respectively. Moreover, we also got the contribution ranking of different input features through analyzing the model coefficient matrix and confirmed that there was a certain degree of agreement between the more contributive input features and the clinical diagnostic knowledge. The validity of the deep belief network model was proved by this result. This study provides an effective solution for the application of deep learning method in automatic diagnostic decision making.

引言

慢性阻塞性肺疾病（chronic obstructive pulmonary disease，COPD）是呼吸系统常见的慢性疾病，主要表现为呼吸道气流阻塞，是由有害气体及有害颗粒引起的呼吸道异常炎症反应，如果不进行及时的干预治疗，COPD 将进一步发展为肺心病和呼吸衰竭等危重程度很高的慢性疾病^[1]。该病发病率、致残率和病死率很高，全球 40 岁以上成人的发病率高达 9%～10%，根据世界卫生组织（World Health Organization，WHO）预测，到 2030 年 COPD 将成为全球第三大高致死率的疾病^[2]。COPD 患者的危重程度分类评估是临床诊疗过程中的基础工作，是疾病治疗的关键指针。如何有效又准确地对 COPD 的危重程度进行分类评估还存在一定难度，学术界先后推出多个分类标准作为临床工作的实践指南。2007 年，慢性阻塞性肺疾病全球倡议组织（The Global Initiative for Chronic Obstructive Lung Disease，GOLD）发布了首个针对该疾病危重程度的分类标准（GOLD2007），该标准主要是以肺功能参数的检测值—— 一秒用力呼气容积（forced expiratory volume in one second，FEV1）与用力肺活量（forced vital capacity，FVC）作为危重程度分类的依据。但是通过大量人群的临床验证与研究分析表明，仅仅参照肺功能参数无法有效地区分所有 COPD 患者的危重程度，而患者的身体状况、急性加重程度同样与 COPD 的危重程度有较大的相关性^[3]。2011 年，英国国家卫生与临床技术优化研究所（National institute for health and clinical excellence，NICE）重新修改完善了 GOLD 分类标准，将肺功能、急性加重次数和多种临床评估量表，如改良的医学研究理事会呼吸困难量表（modified medical study council，mMRC）、COPD 评估量表（COPD assessment test，CAT）、圣乔治呼吸问卷（St George's respiratory questionnaire，SGRQ）等共同纳入评估因素，形成多因素、多维度的 GOLD2011 分类标准。医学研究中，建立 GOLD 的分类标准实质上是寻找与疾病危重程度相关的主要因素，建立起多因素相关的综合评价方法，以方便在临床实践中提供疾病危重程度的量化结果。

在医疗大数据分析领域，应用机器学习分类方法模拟临床决策规则，对疾病危重程度进行自动判断一直是研究热点。深度学习方法（deep learning）是近年来新兴的一种复杂的机器学习算法，在语言和图像识别方面取得的效果远远超过以前相关的其他技术^[4-5]。它在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其它相关领域都取得了很多成果^[6]。该类算法是一种结构复杂的非线性特征提取器，能够发现高维度数据结构之间潜在的代表性特征，能够对高维度向量进行压缩提炼。深度学习方法能够构建含有多隐层的机器学习架构模型，通过对大规模数据进行训练，可以得到大量更具代表性的特征信息。该算法通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，并将无监督与监督相结合进行训练，实现两种方法优势互补，解决克服多层神经网络很难训练达到最优的问题。

本研究应用深度学习方法按照 GOLD 分类标准的原则对 COPD 的危重程度进行分类，同时研究多种特征因素与 GOLD 分类之间潜在的相关性。研究基于深度学习方法中的深信度网络（deep belief network，DBN）方法，建立面向疾病危重程度分类评估的数据模型，模拟人脑开展 GOLD 危重程度评估的临床决策活动过程^[7]。本文希望通过基于深度学习方法的分析以解决以下问题：

（1）按照 GOLD 分类标准原则开展 COPD 危重程度的自动分类，并分析深度学习方法中分类算法的效率；

（2）从全文分析数据对象中寻找到对 GOLD 分类标准的关键性影响因素，并研究影响因素对应的临床意义。

1. 材料与方法

1.1. 数据

本文研究数据来自美国国家心脏、肺与血液研究机构（National Heart，Lung，and Blood Institute，NHLBI）主持建设的 COPD 临床数据与基因信息数据库（COPDGene），包括 10 300 名受试者连续 5 年的健康与医疗数据，其中 2/3 为白人，1/3 为黑人，每位受试者的数据项总计为 362 项，其中包括人口学信息、临床评估量表、病史、电子病历、检验结果、医学影像、体格检查、随访等数据，全部数据经过清洗、标准化、数字化、代码化等预处理，成为完全结构化的数据集（网址为：www.COPDGene.org）^[8]。所有受试者均标明了 GOLD2007 与 GOLD2011 分类后的结果，上述两个分类结果主要由临床专家依据国际组织提出的 GOLD 分类标准，结合患者病情诊断给出^[9]。基本原则如下：GOLD2007 基于 FEV1 与 FVC 将受试者分为 1～4 级，其中 1 级为最轻，4 级为最危重。GOLD2011 分类标准是在 GOLD2007 的基础上，重点考虑 mMRC、CAT、SGRQ 以及急性加重次数等因素，从症状与风险的轻重程度分为 A、B、C、D 四个级别，其中 A 级表示症状与风险均低；B 级表示症状重、风险低；C 级表示症状轻、风险高；D 级表示症状重、风险高^[10]。同时在此基础上，对高风险患者进行了进一步细分，如果 C、D 两类患者只达到 FEV1 的阈值，则被分类为 C1、D1，如果只达到急性加重频率的阈值，则被分类为 C2、D2，如果达到上述两个参数的阈值，则被分类为 C3、D3。

1.2. 特征选择

很多机器学习算法的性能在一定程度上受到无关特征和冗余特征的不良影响，选出好的特征子集不但可以减轻后续运算的复杂度，提高后续运算的准确率，也减少了训练样本的需求量，利于找出更易理解的算法模型。特征空间的维数不宜过高，这在机器学习领域是一条公认的经验性准则，依据该准则特征选择即可以达到降低高维数据维数的目的。为提高算法效能，本研究在模型训练前先对输入特征进行优选，特征选择的算法流程如图 1 所示。首先去除数据不完整的特征，删除缺失数据大于总量 50% 的特征，然后采用 Fisher 分类器算法对于特征进行优选。Fisher 分类器算法是一种性能较好的线性特征选择算法，可以通过衡量特征在两种类别之间的分辨能力，确定最佳线性分界面，实现最有效的特征选择。研究表明该方法具有独立于学习算法、计算代价小和效率高等优点，非常适合对大样本数据进行特征选择。Fisher 分类器算法根据数据点的分布特征得出 Fisher 评分（Fisher score，F-score）^[11]。某个特征的 F-score 越高，表明其数据分布具有异类数据点分布越分散，而同类数据点分布越聚集的特征，表明该特征具有最有效的区分程度。因此本研究根据 F-score 值的大小对所有的输入特征进行排序，选择适当的阈值，去除 F-score 值较小的特征。在此过程中阈值的选择是关键，直接决定了特征选择的效果。本研究采用阈值优选的方法以获得最佳的效果，即从大到小选择一组阈值，生成一系列的特征子集，分别计算特征子集的分类准确率，从而确定最高准确率下的最优阈值。经过特征选择过程，从高维的特征数据中筛除一些无关的或冗余的特征分量来达到降维的目的。

图 1.

Flow chart describing the feature selection process of GOLD2007 classification analysis

GOLD2007 分类分析的特征选择流程图

1.3. DBN 方法

DBN 方法是一种真正意义上的多层深度神经网络分析方法，能够对特征进行非线性分析^[12]。DBN 方法是通过堆叠多个受限的玻尔兹曼机（restricted Boltzmann machine，RBM）生成。每一层 RBM 实质上是两层神经元网络，分为显元（visible units）和隐元（hidden units）^[13-14]。显元主要是接受系统输入或者前级神经网络的输入，隐元则是系统经过特征循环迭代、降维、抽象后的输出特征。DBN 最底层是数据向量（data vectors），每一个神经元代表输入数据向量的一个维度，最顶层是特征向量，表示最终的输出的特征。

DBN 方法的训练过程体现了无监督和有监督算法联合运算的特点，训练所得的模型兼具无监督学习与有监督学习的优点，能够获得更高的判断准确率。在机器学习领域中，想要全局优化具有多层的 DBN 是比较困难的。Hinton 等^[15]在 2006 年引入了 DBN 并给出了一种训练该网络的逐层贪婪训练方法（greedy layer-wise pre training）。该方法主要训练过程如下：首先是自底层向上的非监督学习，采用无标签数据分层训练各层参数，这是一个无监督训练的过程，是 DBN 方法和传统神经网络方法区别最大的环节^[16]。DBN 采用对比散度算法（contrastive divergence，CD）去逐层预训练每层 RBM 的权值，CD 算法核心思想是使用估计的概率分布与真实概率分布之间的相对熵（relative entropy）的差异性作为度量准则，在近似的概率分布差异度量函数上求解最小化作为训练参数的标准^[17]。具体是用无标签数据去训练第一层，这样就可以学习到第一层 RBM 的参数，然后固定第一层参数，将第一层 RBM 的输出作为上一层 RBM 的输入，去训练上一个隐层的 RBM，通过逐层学习来获得全局最优的网络参数，这种训练方法已经被证明是有效的^[18]。其次是自顶层向下的监督学习，在对多层进行初始化后，用监督学习算法对整个神经网络进行微调，得到的学习性能在很大程度上得到提高。在预训练后，采用有标签的数据作为训练集来对网络进行有监督学习训练，此时误差自顶向下传输。这种预训练的方法类似传统神经网络的随机初始化，但由于深度学习方法的第一步不是随机初始化而是通过学习无标签数据得到的，因此这个初值比较接近全局最优，所以深度学习方法效果好很多，程序上归功于第一步的特征学习过程。本研究中，采用 3 层 RBM 结构的 DBN，其中包括 2 层隐层与 1 层显层，每个隐层具有 100×100 个隐元。

2. 结果

2.1. 分类效果

为提高模型测试的准确性，本研究采用十折交叉验证法来提高判断模型测试的精度。在特征选择环节对于 F-score 值低于阈值的特征，不作为 DBN 模型训练的输入参数。在两种分类下，输入特征参数的 F-score 值，结果会随着分类目标不同而变化。如图 2 所示，我们对输入特征按照 F-score 值的大小进行排序，在按照 GOLD2007 分类标准原则的分类算法中，经过阈值优选的方法获得最佳阈值为 0.011，特征删选后保留 F-score 值高于阈值的 214 个特征参数。通过对比特征选择前后的结果发现，经过 Fisher 分类器算法对特征进行选择后，后续深度学习方法的特征分类准确率明显提高，如图 3 所示，在同样的 1 000 次迭代拟合下，GOLD2007 的分类准确率从 93% 提高到 95%，而 GOLD2011 的准确率从 88% 提高到 97%。通过分析输入模型训练的样本数与准确率的关系发现，深度学习的特征分类准确率与投入训练的样本量相关。如图 4 所示，以 GOLD2011 分类预测为例，当输入样本数达到 3 000 时，判断的准确率达到 80% 以上，当训练样本量进一步扩大时，判断的准确率也随着提高，最终稳定于 97% 上下。

图 2.

F-score order and screening of GOLD2007 classification analysis

GOLD2007 分类分析的 F-score 排序

图 3.

Relationship between accuracy of GOLD classification and different training iterations

GOLD 分类准确率与模型训练次数关系图

图 4.

Relationship between accuracy of GOLD2011 classification and different numbers of training data points

模型训练样本量与 GOLD2011 分类准确率关系图

2.2. 系数矩阵

本研究建立的三层 DBN 模型由三个系数矩阵组成，三层系数矩阵共同参与模型运算。在机器学习领域，第一层系数矩阵能够直接反映出输入向量对分类结果的影响程度，如图 5 所示，在第一层系数矩阵的色块图中，GOLD2007 分类明显地出现 4 个与其他特征不同的系数组，表明经过第一层 RBM 系数矩阵降维后，分类模型自动抽象出 4 个特征，GOLD2011 分类则出现 5 个明显的系数组，这些特征与分类结果密切相关。关于深度学习模型系数矩阵的物理意义还是研究的难点之一，特别是结合临床问题解释其在医学上的意义还有待进一步深入研究。

图 5.

Color chart of coefficient matrix in the first RBM layer for GOLD2007 and GOLD2011 classification model

GOLD2007 与 GOLD2011 分类模型的第一层 RBM 系数矩阵灰度图

2.3. 特征分析

DBN 模型的系数矩阵明确了各层网络节点之间的关系，因此要分析输入特征相对于输出特征的真实关系，需要对输入特征相对于所有节点之间权重系数进行综合评估。我们以第一层矩阵中输入特征对应权重的绝对值和作为该特征在 DBN 模型中的综合权重值，该权重值反映出该输入特征参数对分类结果的影响程度。根据权重值的大小，我们得到输入特征的影响力排序，如图 6 所示，我们对前 50 个高权重的重要特征进行归纳分类，无论是 GOLD2007 还是 GOLD2011 分类预测中，90% 的重要特征主要集中在肺功能参数、呼吸系统疾病的相关评分以及健康状况三个子类。如表 1、表 2 所示，在 GOLD2007 与 GOLD2011 分类的前 10 个重要特征中，发现 FEV1、FEV1/FVC 等肺功能参数对 GOLD2007 分类具有首要的影响，其他属于前 10 的影响特征还包括健康调查简表（the MOS item short from health survey，SF-36）、爬山时是否呼吸短促以及吸烟年龄等。对于 GOLD2011 分类标准，SGRQ 评分是首要特征，其余特征包括哮喘用药、是否哮喘、爬山时是否呼吸短促、COPD 患病时间、SF-36 评分、FEV1、急性加重频率以及吸烟状况。

图 6.

Classification quantity distribution of the top 50 sensitive features

前 50 个敏感特征的分类数量分布

表 1. List of the top 10 sensitive features in GOLD 2007 classification.

GOLD2007 分类前 10 个敏感特征列表

序号	特征名称	描述
1	FEV1/FVC	“一秒用力呼气量”占“用力肺活量”的比值
2	FEV1%	“一秒用力呼气量”占“用力肺活量”预计值的百分比
3	FEV1	一秒用力呼气量
4	pre_FEV1_FVC	支气管扩张前“一秒用力呼气量”与“用力肺活量”的比值
5	SF36_PCS_score	SF-36 量表-躯体健康评分
6	FVCpp_utah	“用力肺活量”占其预计值的比值
7	deltaFEV1	支气管扩张前后“一秒用力呼气量”的变化率
8	SF36_VT_t_score	SF-36 量表-精力评分（对自身精力和疲劳程度的主观感受）
9	LtdUphill	急行或上坡时是否有气短现象
10	SmokStopAge	停止吸烟的年龄

表 2. List of the top 10 sensitive features in GOLD 2011 classification.

GOLD2011 分类前 10 个敏感特征列表

序号	特征名称	描述
1	SGRQ_scoreImpact	SGRQ 评分：影响领域
2	SGRQ_scoreActive	SGRQ 评分：活动领域
3	MedorTreatAttack	胸部出现气喘声与哨音时是否采取药物治疗
4	ChstWheezyWhist	胸部是否出现过气喘声与哨音
5	LtdUphill	急行或上坡时是否有气短现象
6	CopdAge	COPD 患病时间
7	SF36_PCS_score	SF-36 量表-躯体健康评分
8	FEV1pp_utah	“一秒用力呼气量”占“用力肺活量”预计值的比值
9	Exacerbation_Frequency	急性加重频率
10	SmokCigNow	一个月内是否还在抽烟

3. 讨论

本文将深度学习分类算法应用于 COPD 危重程度的分类评估，通过对大量高维度、无规则、含噪声的数据进行降维与抽象，得出 GOLD 分类预测模型以及输入特征与分类之间的潜在相关性。该方法探索了深度学习方法对 COPD 危重程度分类预测的有效性与可行性。通过研究结果表明，深度学习方法中的 DBN 能够有效区分 90% 以上 COPD 患者的危重分类问题。

在大数据的机器学习过程中，由于输入特征向量较多，经常涉及降维的问题，不是所有的特征参数都能够对最终分类的结果有益，甚至还存在反作用^[19]。因此，特征选择方法能够提前去除一些干扰以及与分类结果相关性较差的特征，而保留具有较强相关性的特征^[20]。Fisher 分类器的结果反映的是每个输入参数与最后所需分类结果之间空间分布的相关性，评分较低的参数，被认为是对分类结果无益的，因此需要进行舍弃。分析结果表明，经过 Fisher 分类器进行特征选择后，测试的准确率明显提高，DBN 集成 Fisher 特征选择方法可以提高 DBN 的分类效果。

在临床诊疗过程中，对疾病危重分类的诊断可抽象为人脑通过大量特征参数按照已有经验以及复杂逻辑关系进行联合判断的思维过程^[21]。本研究用建立 DBN 尝试将这个复杂思维过程进行模型化与工程化，经过 500 次迭代优化后，预测模型逐渐趋向固定可重复，预测准确率保持相对稳定。本研究中，最终依据 GOLD2007 分类标准进行分类的最高准确率达到 94.9%，GOLD2011 准确率达到 97.2%。相同的分析算法下，对应 GOLD2011 分类的建模获得出更高的预测准确率。在临床上 GOLD2011 是 GOLD2007 的完善版本，GOLD2007 作为早期版本，主要是以患者肺功能单个参数作为判断的依据，其在临床上存在局限性，而 GOLD2011 版则在此基础上将多种临床评估量表（mMRC、CAT、SGRQ 等）、急性加重次数也纳入到评估标准，形成多维度、综合性的分类评估，使得临床诊断更加准确，危重分类也更加细化，文献研究表明，GOLD2011 分类标准更加符合 COPD 危重程度的真实情况，具备更好的适应性^[22-23]。在本文的 DBN 分类过程中 GOLD2011 分类标准获得了更高的准确性，符合临床判断标准的完善过程，表明 DBN 方法能够反映出疾病危重程度分类标准的改进情况。

从 DBN 第一层系数矩阵的分布特征来看，部分输入特征值对应的系数具有较大的综合权重值，反映出此类敏感特征在特征抽象的过程中具有较大的贡献度与影响性。通过对 GOLD2007、GOLD2011 分类标准预测所得到的前 50 个敏感因素进行分类分析发现，具有影响力的特征类型较为集中，主要可归纳为肺功能参数、呼吸疾病问卷评分以及健康状况三类。此三类评分与 GOLD2011 分类依据完全相符^[24]。通过对前 10 个敏感因素进行分析发现，GOLD2007 分类标准的敏感特征分布集中，前 10 个敏感特征中有 6 个是肺功能检测结果相关的，反映出肺功能参数是 GOLD2007 分类标准的主要生理依据。在 GOLD2011 分类标准中，敏感特征包括了肺功能参数、SGRQ 健康评估、急性加重频率等，这些特征符合临床实际分类所依据的主要参数指标^[25]，上述结果表明通过 DBN 方法找到的敏感特征与临床的分类决策依据具有较好的一致性。前 10 位的参数中，肺功能参数 FEV1、SF-36 量表-躯体健康评分、急行或上坡时是否气短以及吸烟相关的 4 个参数均出现在两个分类的影响因素中。根据临床已有的研究，前三个参数均是 COPD 的主要表现特征，特别是吸烟相关参数是造成 COPD 病情变化与有效控制的重要影响因素^[26]。这一结果反映出 DBN 分析获得的敏感因素与临床的先验知识保持了一定的一致性，DBN 能够从大量特征中找出部分敏感特征与分类结果之间潜在的相关性。

基于机器学习的临床诊疗决策方法研究一直是医疗大数据领域的热点，深度学习方法在医疗大数据分析中的应用在国内目前还是较新的方向。本研究探索将新兴的深度学习方法应用于临床疾病危重程度自动分类，虽然研究所用的数据规模有限，但数据结构、格式化程度、质量均符合机器学习的要求，但结果表明基于深度学习的分类分析可以有效地模拟临床对疾病的诊断决策，能够实现较高的判断准确率，本研究为医疗大数据分析在疾病诊断中的应用提供了思路与案例。