基于深度学习的肺结节计算机断层扫描影像检测与分类的研究进展

Abstract

基于电子计算机断层扫描（CT）影像的计算机辅助诊断可实现对肺结节的检测与分类，提高早期肺癌的生存率，具有重要临床意义。近年来，随着医疗大数据与人工智能技术的飞速发展，基于深度学习算法的肺癌辅助诊断已逐渐成为该领域最为活跃的研究方向之一。为了进一步推动深度学习算法在肺结节检测和分类中的研究，本文结合近年国内外发表的相关文献，对该领域的研究进展进行综述。首先，简要介绍了两大广泛使用的肺 CT 影像数据库：肺部图像数据库联盟与图像数据库资源计划（LIDC-IDRI）和 2017 数据科学杯（Data Science Bowl 2017）。然后，对多种不同深度网络架构的肺结节检测与分类研究分别进行详细的介绍。最后，讨论了深度学习在结节检测和分类中面临的一些问题并给出结论，并对发展前景进行了展望，为今后该领域的应用研究提供参考。

引言

肺癌是发病率和死亡率增长最快的恶性肿瘤之一，已对人群健康和生命造成了极大的威胁^[1-2]。我国每年约有 59 万人死于肺癌，未来可能还会进一步增加。肺癌生存率与首次确诊时的疾病阶段高度相关，如能在其早期发现则 5 年生存率可以达到 70%～90%。相对于其他癌症，肺癌的生物学特性十分复杂，早期多无明显症状，大多数（约 75%）被发现时已是中晚期，治疗费用高昂且效果不佳。因此，肺癌的早期检测和诊断尤为重要。肺癌早期一般表现为肺部恶性结节，因此早期排查一般从肺结节的检测入手。临床实践证明，检测肺结节最有效的手段是进行低剂量计算机断层扫描（low-dose computed tomography，LDCT）获取肺部高分辨率图像^[3-4]。一般来说，计算机断层扫描（computed tomography，CT）包括数百张切片，需要耗费放射科医师相当长的时间用于对图像进行解释；而且仅凭借医生肉眼观察，容易产生漏诊和误诊。过去的二十多年间，研究者一直致力于开发计算机辅助诊断（computer aided diagnosis，CAD）系统来协助医生自动识别胸部 CT 图像中的可疑病灶^[5]。CAD 系统的处理过程主要分为肺实质分割、肺结节检测与分割、肺结节特征提取和肺结节良恶性判断这几个步骤，如图 1 所示。其中，肺结节特征提取是整个 CAD 系统中最关键的一步，需要通过机器学习技术对结节亮度、密度、体积、面积以及纹理等特征进行定义和学习，这种方法在肺结节检测和分类中有着广泛的应用。例如：Han 等^[6]利用 CAD 系统提取胸腔 CT 图像中肺结节的二维纹理特征并扩展到三维空间进行研究。罗红兵等^[7]利用 CAD 系统对不同位置、大小、密度的非钙化结节进行检测。

图 1.

Basic procedure of computer-aided lung cancer diagnosis

计算机辅助的肺癌诊断的基本流程

随着样本数量的增大以及样本多样性增强，传统的机器学习方法逐渐变得难以适应复杂的样本，由于存在对复杂函数的表示能力有限、学习能力不强等不足，它们往往只能提取初级特征。同时，因为以人工方式选取特征的步骤繁复冗杂，传统的机器学习方法有时并不能有效地挖掘 CT 影像中蕴含的丰富信息。深度学习算法是机器学习方法的一个新领域，是一种深层的神经网络。通过模拟人脑建立分层模型，它具有强大的自动特征提取能力及高效的特征表达能力。基于原始影像数据，深度学习算法可以实现从低层到高层渐进的特征提取，最终获得较理想的特征表达。基于以上优势，深度学习算法为肺结节的检测和良恶性识别问题提供了新思路。随之陆续提出了多种基于深度学习算法的肺 CT 影像结节检测和分类方法，并显示出其优于传统机器学习方法的性能。

为了给今后将深度学习算法应用于肺结节研究中的其他学者提供参考，本文首先介绍已被研究者们广泛使用的两大肺癌数据库资源，然后根据深度学习算法构建的不同模型，重点介绍了几种典型的深度学习模型在肺结节检测和良恶性识别中的应用以及研究进展，最后对应用情况进行比较分析，指出目前存在的问题，并展望了未来发展方向，为研究者们提供新的研究思路。

1. 肺癌数据库介绍

深度学习，特别是有监督的深度学习，需要大量标注好的数据进行模型训练。近年来，肺部图像数据库联盟与图像数据库资源计划（lung image database consortium and image database resource initiative，LIDC-IDRI）等数据库提供了大量专家标注的肺部 CT 影像数据，为深度学习在此领域的研究提供了大量数据素材。同时，与肺部结节相关的医疗竞赛的兴起，也为研究者创建了一个重要的基础平台，2017 数据科学杯（Data Science Bowl 2017）是基于全球最著名的数据科学竞赛而推出的数据库。这两种数据库都为推动结节检测和分类研究的发展奠定了坚实的基础。

1.1. LIDC-IDRI 数据库

LIDC-IDRI 数据库（网址为：https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI），由 7 个学术中心和 8 个医学影像公司共同合作建立，为肺结节领域的研究者提供了一个权威且公开的标准^[8]。目前 LIDC-IDRI 数据库包括来自于 1 010 个不同患者的 1 018 套病例的十几万张胸部螺旋 CT 扫描图像^[9]。扫描使用了不同的扫描仪器和模型，扫描层厚 0.6～5.0 mm，512 × 512 像素。每个文件夹代表一个病例，每个病例中含有若干临床胸部 CT 扫描图像和一个可扩展标记语言（extensive markup language，XML）的文件。XML 文件记录的是 4 名有经验的胸部放射科医师执行的两阶段图像注释过程的结果。结节被分为 3 类，分别为：直径大于 3 mm 的大结节、直径小于 3 mm 的小结节和非结节。由于 LIDC-IDRI 数据库已被研究者广泛接纳和使用，因而著名的 2016 肺结节分析挑战赛（lung nodule analysis 2016，LUNA16）（网址为：https://luna16.grand-challenge.org/home/）都利用该数据库测试与比较不同算法，为参与者提供一个标准化评估的机会^[10]。

1.2. Data Science Bowl 2017 数据

Data Science Bowl 2017（网址为：https://www.kaggle.com/c/data-science-bowl-2017/）是美国凯戈（Kaggle）公司举办的一场通过 CT 扫描图诊断出个体是否患有肺癌的竞赛，它可以帮助数据科学和医学界等领域共同发展肺癌检测算法。该数据由美国国家癌症研究中心（national cancer institute，NCI）提供，高危患者的 CT 影像以医学数字成像和通信（digital imaging and communications in medicine，DICOM）格式存储，头文件中包含一些重要信息，如：切片厚度及扫描参数等。NCI 提供的数据集包含两个阶段的数据：第一阶段数据容量超过 66 GB，为训练集和测试集的所有图片，用于有监督训练；第二个阶段的数据为近期更高质量的数据，容量超过 38 GB。参与者期望利用这些数据可以设计出能准确判断肺部病变及何时癌变的算法，以降低临床检测中存在的假阳率，即阴性被误判为阳性所占的百分比。

2. 基于深度学习算法的肺结节检测和分类方法

深度学习算法是目前最接近人类大脑的分层智能学习方法，它通过组合低层特征形成更加抽象的高层表示特征，以发现数据的分布式特征，最终完成到目标任务的映射，这种从原始影像数据到期望输出的映射可以将肺 CAD 系统中的多个流程整合到一起^[11]。由于深度置信网络（deep belief network，DBN）、栈式去噪自编码器（stacked denoising autoencoders，SDAE）和卷积神经网络（convolutional neural networks，CNN）等深度学习模型在分类领域取得巨大成功，因此这些模型多被用于结节分类这一任务。而近年来，更加快速的区域卷积神经网络（faster region CNN，Faster R-CNN）发展迅猛^[11-13]，给实现肺结节检测和分类的一体化应用带来了曙光。

2.1. 基于 DBN 的分类研究

DBN 既可以作为一个自编码机用于非监督学习，也可以作为分类器用于监督学习。杨佳玲等^[14]基于 156 例 LIDC-IDRI 数据库中的数据和 50 例自采集数据，从 2 943 个结节中提取了 87 个不同特征（形状、灰度、纹理、空间位置等）构成肺结节特征集。如图 2 所示，结节良恶性分类采用包含 3 个隐藏层的 5 层 DBN 网络架构，结节特征集作为输入数据，输入层与第一个隐藏层构成第一个受限波尔兹曼机，隐藏层的输出数据作为新的输入数据送入到下一个隐藏层中，如此反复，最后根据误差反向传播算法进行调参。在该研究中，研究人员还分析了隐藏层的层数和结点数对于网络性能的影响，结果显示 3 个隐藏层（90、120、90 个结点）对应最好的训练效果，良恶性分类准确率可达 95.3%^[14]。

图 2.

Nodule benign and malignant classification framework based on DBN

基于 DBN 的结节良恶性分类架构

2.2. 基于 SDAE 的分类研究

自编码器（autoencoder，AE）是一种无监督的数据特征提取算法。它尝试学习一个 h（x）= x 的函数，使经过训练后网络的输出尽可能接近输入，这样就能自动提取输入图像中结节特征。栈式自编码器（stacked AE，SAE）由多层 AE 堆叠构成，其中前一层的输出作为后一层的输入，可获得更抽象的特征。在 SAE 的输入层引入噪声，基于加噪数据来重构原始数据，可构成泛化能力更优的 SDAE。Chen 等^[15]从 LIDC-IDRI 数据库随机选取 2 400 个肺结节用于特征计算。为了便于 SDAE 网络的输入，将 28 × 28 尺寸的图像拉伸为 784 维的矩阵。3 层 SDAE 网络作为特征提取器被用于无监督的预训练，第一、二隐藏层对应的神经元分别为 200 和 100。最后，SDAE 提取产生的特征被用于结节分类。

2.3. 基于 CNN 的分类研究

CNN 因其具有卷积操作运算的特点从而区别于其他网络模型。2012 年，Krizhevsky 等^[16]利用基于 CNN 算法架构设计的亚历克斯网络（AlexNet）在大规模视觉识别挑战赛（imageNet large scale visual recognition challenge，ILSVRC）上一举夺魁^[16]，将大众的视线再次拉回到 CNN 的时代。AlexNet 是包含 5 个卷积层、3 个最大池化层和 3 个全连接层的网络架构，它分为上下两个完全相同的分支，在第 3 个卷积层和全连接层上可以相互交换信息。随着研究的深入，大量比 AlexNet 更快速更准确的 CNN 架构，如牛津大学视觉几何组（visual geometry group，VGG）提出的 VGG-Net、谷歌网络（GoogLeNet）和深度残差网络（residual network，ResNet）等也相继用于处理影像大数据方面的问题^[17-19]，并表现出优异的性能。但在医学图像领域，由于数据量相对较小且对其的标注不易获取，仅使用 CNN 经典算法对数据进行训练会产生过拟合的问题，错误率较高。所以，越来越多的研究者将 CNN 经典网络架构与迁移学习相结合，基于图像特征的共性，实现个性化的特征迁移，将适用于大数据的模型迁移到数据量有限的医学影像识别和分类任务中。

Shin 等^[20]在研究中采用标记着含有 6 个肺组织类型注解的间质性肺疾病公开数据集（interstitial lung disease dataset，ILD）中的 120 个患者的 905 张二维 CT 图像^[21]。分类模型分为三类：① 含随机初始化训练集的 AlexNet；② 与迁移学习相结合的 AlexNet；③ 包含经过 ImageNet 结合 CNN 模型预先训练的 AlexNet。该项研究结果表明，3 个深度学习模型分类准确率分别达到 74%、76% 和 76%^[20]。

2014 年 VGG-Net 和 GoogLeNet 分别取得 ILSVRC 挑战赛定位任务第一名和分类任务第一名的好成绩，它们显示出网络的深度是算法优良性能的关键。VGG-Net 结构采用更小的卷积核与更深的网络提升参数效率，将卷积层的深度提升到了 16～19 层。Shi 等^[22]在 LIDC-IDRI 数据库上选用 700 个大于 3 mm 的结节，采用 VGG-16 作为特征提取器提取肺结节特征，最后与支持向量机（support vector machine，SVM）分类器相结合的平均分类准确率可达到 87.2%。与 VGG-Net 继承前人框架结构不同的是，GoogLeNet 在网络结构上做了更大胆的尝试。它并没有大量使用全连接网络，而是采用非常高效的密集化模块来构建 22 层网络，网络参数量非常小。而 GoogLeNet 最大的特点就是通过构建密集的块结构来近似最优的稀疏结构，实现了一种具有优良局部拓扑结构的网络。对输入图像并行地执行 1 × 1、3 × 3 或 5 × 5 等不同的卷积运算与池化操作，并将所有输出结果拼接为一个非常深的特征图，可获得更好的图像表征。在研究间质性肺结节分类中，VGG-16 和 GoogLeNet 两种基于迁移学习的网络模型准确率分别为 89.3% 和 91.1%^[20]。

ResNet 在 2015 年被 He 等^[19]提出，通过残差模块中的近路连接可直接完成恒等映射，能够很好地解决反向传播过程中的梯度消失问题，将网络深度由十几、二十层提升到上百层。Nibali 等^[23]利用结节轴向、矢状和冠状三个方向的图像并行构建 Resnet-18 解决结节分类问题，如图 3 所示。他们选取 LIDC-IDRI 数据库中的 831 个结节样本，其中包含 50.66% 的正样本。在该研究中，卷积层被调整以适应 64 × 64 分辨率的输入图像，以降低特征图的数量。同时，在图形处理器中加入 3 个并列的网络，而不牺牲微批尺寸或网络深度。另外，ResNet 被修改为“完全卷积”并且不包含任何全连接层。对原始数据的分类准确率为 89.64%，进行数据增广之后的分类准确率是 89.90%。

图 3.

Nodule classification architecture based on three layers of Resnet-18

基于三层 Resnet-18 的结节分类架构

2.4. 基于 Faster R-CNN 的肺结节检测与分类

区域卷积神经网络（region CNN，R-CNN）将 CNN 方法引入目标检测领域^[24]，大大提高了目标检测效果，是将 CNN 应用到目标检测问题上的一个里程碑。如图 4 所示，快速区域卷积神经网络（fast region CNN，Fast R-CNN）和 Faster R-CNN 相继被提出^[25-26]，在检测方法和检测速度上都有很大的改变和提升。

图 4.

The evolution process of Faster R-CNN

Faster R-CNN 演变过程

在 Faster R-CNN 模型中，结节特征提取、候选结节区域生成、结节位置精修和结节分类四个基本步骤被统一到一个完整的深度网络框架之内。如图 5 所示，Ding 等^[27]采用二维 Faster R-CNN 结合三维 CNN 降低假阳率的方法检测肺结节。他们选取 LIDC-IDRI 数据库中大于 3 mm 的结节，并去除不一致的切片间距和缺失切片后，保留 888 份患者病例。这里采用的基础网络是包含 5 层卷积层的 VGG-16，将其用于提取肺结节的特征。而作为目标检测器的区域建议网络（region proposal networks，RPN）用来生成潜在结节区域^[26]，结节感兴趣区和提取的 CT 图像特征被输入到池化层中，对感兴趣区域进行分类，判断其是否属于结节，同时对这些区域的位置进行微调。由于 VGG-16 不能明确描述结节特征，在原始特征提取器的最后一层添加了反卷积层，进一步提升系统性能。

图 5.

Two dimensional Faster R-CNN detection flow diagram

二维 Faster R-CNN 检测流程图

3. 讨论

在肺结节检测与分类方面，深度学习模型取得了不错的效果。SDAE 的优势在于训练后的模型对噪声信息不敏感，鲁棒性强。但是，它仅能接受一维数据的输入，二维的图像数据一般需要经过维度变换。CNN 是图像处理和目标检测的通用算法，它被广泛用于结节特征提取和分类。Sun 等^[28]选用 SDAE、DBN 和 CNN 三种架构评估 CAD 系统提取结节特征的能力，CNN 的最高曲线下的面积为 0.899 ± 0.018，高于传统 CAD 系统的 0.848 ± 0.026。DBN 结果也略高于 CAD 系统，而 SDAE 稍低。这说明，基于 CNN 架构的模型相对于 DBN 与 SDAE 具有一定优势。Shin 等^[20]进一步研究发现，AlexNet、VGG-16 和 GoogLeNet 等三种网络模型在迁移学习的结节分类中，准确率从 86.5%～91.1% 不等。研究结果表明，随着 CNN 模型网络层次的增加，网络复杂度的增加，模型分类的准确率也会随之增加。

在肺癌的诊断过程中，临床医师对 CT 影像的判读是诊断的金标准。深度学习模型预测结果和临床医师的具体诊断描述间存在差异，这在一定程度上会制约 CAD 系统的效果。肺部 CT 图像的具体诊断描述可为深入分析肺结节提供丰富的定量线索。从低层次图像特征到高层级的临床语义特征的映射过程十分繁琐复杂^[29]，需要进行人工图像特征选择和设计，且对不同语义特征需要不同的特征选择和设计。Chen 等^[15]选取了基于深度网络的 CNN 特征、SDAE 特征、进行物体检测的方向梯度直方图特征和反映了图像灰度变化的类哈尔（Haar-like）特征，共同形成异构特征，将肺结节中的 9 个语义特征（纹理、细致度、毛刺征、圆度、边界、良恶性、分叶征、内部结构以及钙化）作为一个任务，使用多任务学习回归模型发掘不同任务间的共享特征和独立特征，自动回归出语义特征的评级结果^[29]。当 CAD 系统可以提供广义的语义特征时，可以更好辅助临床医师做出更好的结节分析和管理。

4. 总结与展望

本文基于深度学习模型架构下的肺结节检测与分类方法进行了简述和讨论。当前，不少研究已能将深度学习算法的前沿方法应用到肺结节检测和分类中。近年来网络架构的不同也影响着模型检测或者分类的效果。当前来说，不同研究者使用的肺 CT 影像数据库和数据集往往存在不同，因此无法通过直接对比有效判断模型性能的优劣性。对于 CNN 网络，整体模型架构越复杂，在自然图像分类识别中的效果越好，在结节分类中也可能更好。前人对于 CNN 的研究多集中于网络层次相对较浅的深层网络。理论上来说网络越深，其对复杂数据的特征表达能力越强。以 ResNet 为代表的新兴深层 CNN 网络架构可提取更优的图像特征，因此可将深层的 RestNet 网络架构应用于肺结节诊断中，或可进一步提高智能系统的性能。

虽然深度学习算法在肺结节的检测和分类领域的研究已取得了不小的成就，不可否认的是，该领域还有十分广阔的研究内容等待学者们深入的探索。从训练集上，Kaggle 网站举办的肺癌检测竞赛，训练数据集的标注已经不再给出病变区域，而只是简单的标注每张 CT 对应的个体是否真的患有肺癌。模型训练正逐渐实现从强监督到弱监督的学习演变。值得注意的是，从广义定义而言，深度学习算法实现了从低层到高层渐进的特征提取，最终获得较理想的特征表达，形成端到端的输出。但在实际应用中，如 DBN、SDAE 和 CNN 等深度学习算法模型，主要被用于肺结节特征提取与分类这个肺 CAD 的子环节，结节的检测一般需要结合其他算法进行。Faster R-CNN 这一目标检测算法，可以做到肺结节检测和分类流程的一体化，大幅度减少了整体算法设计的复杂度，是结节检测和分类算法的一个潜在发展方向。

利益冲突声明：本文全体作者均声明不存在利益冲突。

Funding Statement

国家科技支撑计划课题(2015BAI02B03)；北京市教委科技一般项目(KM201810005033)