基于深度学习和医学图像的癌症计算机辅助诊断研究进展

Abstract

日益精细化的癌症医学图像提供了大量的有用信息，对辅助医生作出准确诊断发挥着至关重要的作用。为了准确、高效地利用这些信息，基于癌症医学图像的计算机辅助诊断（CAD）研究成为业界热点。近年来，深度学习技术的应用使这方面的研究取得了长足进步。本文拟就深度学习应用于癌症医学图像的计算机辅助诊断的研究进展予以综述。我们发现深度学习在肿瘤分割和分类方面展示了比传统浅层学习方法更好的效果，不仅有广阔的研究空间，也有较好的临床应用前景。

引言

据美国国家统计局 2015 年的癌症统计数据显示，在美国癌症是导致死亡的第二大原因，且在未来几年极有可能超过心血管类疾病成为死亡的首要因素^[1]。在我国，癌症已成为主要的公共健康问题和首要死亡原因。根据 2015 年的癌症统计数据，中国有 429.2 万例新发病例，281.4 万例死亡病例^[2]。如果癌症患者在出现早期病变时得到及时的诊断和治疗，将会大大提高生存率。因此，癌症的早期筛查和准确诊断极其重要。

临床上，病理学检查往往被视为癌症诊断的金标准^[3]，但病理活检作为一项有创检查可能会导致疼痛、出血、感染甚至休克、死亡等并发症，而且器官整体的病变情况的评估受限于活检样本的大小。医学影像技术在癌症诊断中发挥着日益重要的作用，主要包括 X 射线检查、电子计算机断层成像（computed tomography，CT）、超声（ultrasound）、乳腺钼靶 X 线摄影检查、磁共振成像（magnetic resonance imaging，MRI）以及正电子发射断层成像（positron emission tomography，PET）等。当前影像诊断主要依赖人工阅片完成，然而，日益增加的图像数据也为人工阅片带来极大挑战。为了给医生提供有效的辅助诊断信息，智能图像处理技术正变得越来越重要。以机器学习和图像处理技术为基础的计算机辅助诊断（computer-aided diagnosis，CAD）逐渐成为医学领域的研究热点^[4]。基于机器学习的 CAD 主要包括四方面的内容：① 图像预处理；② 感兴趣区（region of interest，ROI）的分割；③ 特征提取、选择与分类；④ 肿瘤区域的识别（分类或者分割）^[5]。其中，高效特征的提取尤为关键^[6]。目前，基于传统的浅层机器学习结构的 CAD 系统，高度依赖人工选择的特征，以及分类器对特征的整合。而且，由于传统的浅层学习结构无法满足实际应用中对复杂函数建模的要求^[7]，所以难以区分高维特征之间的关系，通常需要降维处理。因此，我们需要简化及优化 CAD 技术中的特征选择的过程，以提高 CAD 系统进行辅助诊断的准确度。

近年来方兴未艾的深度学习技术^[8] 作为一类多层神经网络学习算法，可通过深层非线性网络结构学习特征，并且通过组合低层特征形成更加抽象的深层表示（属性类别或特征），实现复杂函数逼近，表征输入数据分布式表示，从而可以学习到数据集的本质特征^[7]。因此，深度学习算法应用于 CAD 系统具有以下优势：第一，作为一种数据驱动的自动特征学习算法，可以直接从训练数据提取特征，从而大大减少特征提取的工作量以及人工干预的影响；第二，通过神经网络内在的深层结构可以表征特征之间的交互及层次结构，从而揭示高维特征之间的联系；第三，特征提取、特征选择及特征分类三个核心步骤可以在同一个深层结构的最优化中实现^[6]。由此可见，深度学习有望解决基于传统浅层机器学习的 CAD 问题，从而大大提高辅助诊断能力。

1. 深度学习在癌症的计算机辅助诊断中的应用进展

1.1. 基于深度学习的 CAD 系统的基本设计

深度学习的算法大体上可分为四类：基于受限玻耳兹曼机（restricted Boltzmann machine，RBM）的模型，卷积神经网络（convolutional neural network，CNN），基于自编码（autoencoder）的模型，以及基于稀疏编码的模型（见表 1）^[9]。目前，应用于癌症医学图像分析的深度学习网络主要包括基于 RBM 的 DBN，CNN 和基于自编码的 SAE、DAE 以及它们的改进算法。

表 1. A categorization of the deep learning methods and their representative works.

深度学习的算法分类

类型	具体模型
基于CNN的方法	AlexNet，Clarifai，SPP，VGG，GoogleNet
基于RBM的方法	深信度网络（deep belief networks，DBN）， 深度玻耳兹曼机（deep Boltzmann machine，DBM)， 深度能量模型（deep energy model，DEM）
基于自编码的方法	稀疏自编码器（sparse autoencoder，SAE）， 去噪自编码器（denoising autoencoder，DAE）， 收缩自编码器（contractive autoencoder，CAE）
基于稀疏编码的方法	稀疏编码空间金字塔配对，拉普拉斯稀疏编码， 局部坐标编码，超向量编码

RBM 是一种生成式的随机性神经网络^[10]，是玻耳兹曼机的衍生模型。Hinton 等^[11] 提出的 DBN 是由一组 RBM 堆叠而成的深度产生式模型，其核心部分在于非监督贪心逐层训练算法。这种算法能够在某种程度上避免局部最优的问题，而且无监督学习的训练方式使其具备对未标记的数据进行训练的能力，从而有效解决以误差反向传播（error back propagation，BP）为代表的浅层学习结构的局限性（如局部最优、过拟合和无法训练未标记数据等^[12]）。CNN 是一种基于多层感知器的算法^[13]，融合了三种结构性思想（局部感受野、权值共享、空间的子采样）以实现一定程度的位移和形变恒稳性^[12]。CNN 主要包括三层结构：卷积层、池化层和全连接层。CNN 利用空间的相对关系减少参数数目，从而比一般前向 BP 训练速度有显著提高^[7]。SAE 和 DAE 是用于学习高效编码的特殊的人工神经网络，它们通过训练重构输入，因此输出向量与输入向量具有相同的维度。SAE 和 DAE 的核心思想在于通过减少重建错误从而达到最优化，对应的编码就是神经网络学习到的特征^[9]。

图 1 是基于深度学习的 CAD 系统的训练流程图。网络的深度和网络参数的最优化是影响特征提取效果的两个最重要的因素，而较大的训练集有利于网络参数的初始化和参数的微调。深度学习网络输出的特征可以直接作为分类器的输入，也可以根据实际需求进行特定的处理后再输入分类器。测试集可作为根据训练集得出的分类器的输入，得到样本的测试结果，最后根据金标准和一定的评价指标对分类器进行性能评估。常见的评价指标包括：准确率（accuracy，ACC）、灵敏度（sensitivity，SEN）、特异度（specificity，SPEC）、F1 分数（F1）、精确度（precision，PREC）、召回率（recall，RC）、Dice 系数（Dice）、Dice 指数（dice index，DI）、JACCARD 指数（JACCARD）以及受试者工作特征曲线 （receiver operating characteristic curve，ROC）下面积（area under curve，AUC）等。

图 1.

Training flowchart of CAD system based on deep learning

基于深度学习的 CAD 系统的训练流程图

1.2. 病灶分割的研究进展

采用深度学习模型对医学图像进行肿瘤病灶分割已见诸报道（见表 2）。罗蔓等^[14] 基于多模态 MRI 图像进行脑肿瘤的分割。Dhungel 等^[15-16] 利用 DBN 和 CNN 作为势函数构建乳腺病灶分割模型。Cha 等^[17] 基于 CT 尿路造影并利用结合水平集（level sets，LS）的 CNN 模型进行膀胱癌分割。为了保留有用信息的同时减少繁冗的计算量，Su 等^[18] 通过重组最大池化层将 CNN 改进为运行速度更快的快速扫描深度卷积神经网络（fast scanning deep convolutional neural network，fCNN），进一步提高肿瘤病灶分割的准确率，并减少了训练时间。

表 2. Comparison of the results of different segmentation methods based on deep learning.

基于深度学习的不同分割方法的结果对比

文献	图像类型	分类器	新方法			对比基准
			具体方法	分割结果		具体方法	分割结果
Gray：灰度变换；Haar：Haar 小波变换；SVM：支持向量机（support vector machine）；GMM：高斯混合模型（Gaussian mixture model）；Prior：肿瘤的位置、大小和形状等先验知识；Binary1：标签转换惩罚（the label transition penalty）；Binary2：两两对比惩罚（the pairwise contrast penalty）；Binary12 相当于包括 Binary1 和 Binary2；CRF：条件随机场（conditional random field）；SSVM：结构支持向量机（structured support vector machine）；Pairwise：Pairwise 势函数[19]；THLB：基于基元直方图的逻辑启动（texton histogram with logistic booting）
罗蔓等[14]	脑肿瘤的 MRI 图像	SVM	Gray+Haar+3D-CNNs	Dice=0.871 4±0.037 2 SEN=0.922 0±0.041 7		Gray+Haar	Dice=0.833 8±0.036 3 SEN=0.873 0±0.051 0
Dhungel 等[15]	乳腺钼靶	SSVM	DBN+GMM+Prior+ Binary12	DI=0.88		GMM+Prior+Binary12	DI=0.86
Dhungel 等[16]	乳腺钼靶	CRF/SSVM	CNN+DBN+GMM+ Prior+Pairwise	DI=0.90/0.90		GMM+Prior+Pairwise	DI=0.88/0.86
Cha 等[17]	CT 尿路 造影	——	CNN+LS	JACCARD=0.762±0.118		CNN	JACCARD=0.662±0.118
Su 等[18]	乳腺癌病 理图像	——	fCNN	PREC=0.91±0.015 RC=0.82±0.02 F1=0.85±0.01		THLB	PREC=0.74±0.04 RC=0.81±0.05 F1=0.75±0.03

总而言之，在癌症病灶分割方面，由于深度学习模型可以从图像中直接学习到隐藏的高层次特征，所以对比其他基于人工提取低层次特征（如颜色、形状、纹理和边缘等）的浅层学习的算法，可以取得更好的效果（见表 2）。通常深度学习模型需要的训练时间大于各种浅层结构算法，但这取决于模型设计以及训练集的选取。对于不同类型的数据集，不同的深度学习模型的表现有所差异。此外，由深度学习模型和其他浅层学习算法组合而成的混合模型，比仅使用基本深度学习模型的方法，在准确率方面可能有所提高；而改进的深度学习模型则有可能在提高分割准确率的同时也减少了运行时间。

1.3. 病灶/结节分类的研究进展

基于不同类型的图像和不同病灶位置，已报道的文献分别提及了不同的深度学习模型的应用策略。基于 CT 图像，DBN、CNN、多尺度卷积神经网络（multi-scale convolutional neural networks，MCNN）和堆栈式去噪自编码器（stacked denoising autoencoder，SDAE）等模型被用于肺结节的分类。基于乳腺癌的病理图像、乳腺钼靶和数字乳腺断层融合（digital breast tomosynthesis，DBT）等不同类型的图像，堆栈式稀疏自编码器（stacked sparse autoecoder，SSAE）和不同结构的 CNN 模型被用于乳腺癌的分类。另外，DBN、深度多项式网络（deep polynomial network，DPN）、CNN 和稀疏编码等模型可分别与非负矩阵分解、多核学习（multiple kernel learning，MKL）、Liebenberg-Marquardt 学习函数、SVM 等方法结合，从而优化分类效果。

Cho 等^[20] 基于 CT 图像，研究了训练数据样本的大小与可取得符合要求的准确率的基于 CNN 模型的系统之间的关系。结果表明，深度学习的架构需要足够庞大的训练数据集才可以更好地体现其特征提取方面的优势，从而达到符合实际应用的准确率。因此，为了解决医学图像数据集样本偏小的问题，人们尝试将通过自然图像预训练的深度学习模型应用到医学图像的特征提取之中，并应用于医疗辅助诊断系统。Xu 等^[5] 首次采用 ImageNet 预训练的 CNN 模型提取脑胶质瘤病理图像的特征，对胶质母细胞瘤（glioblastoma multiforme，GBM）和低级别胶质瘤（low grade glioma，LGG）进行分类。Carneiro 等^[21] 基于乳腺钼靶的多视图（包括双侧乳腺轴和双侧乳腺侧斜位）以及分割后的微钙化和肿块区域，采用 ImageNet 预训练的 CNN 模型对肿块进行分类，从而评估患者乳腺癌的发展风险。

总地来说，在肿瘤分类方面，深度学习模型能够在很大程度上提高 CAD 系统的准确率、灵敏度和特异度（见表 3）。一般而言，较大规模的图像数据集才可以大幅度提高深度学习模型的分类准确率^[20]。因此，为了克服医学图像数据集样本偏小的问题，人们提出了迁移学习的方法，并在一定程度上提高了肿瘤分类的准确率。但是 DPN 和 S-DPN-3 在小样本的超声图像中的分类效果优于 DBN 和 SAE^[30-31]，这在一定程度上说明了深度学习模型的选择对 CAD 系统分类能力的提高相当重要。也就是说，基于小样本的图像数据集，通过深度学习架构的合理设计，我们依然有可能达到较高的分类准确率。因此，对于不同类型的肿瘤和图像类型，在选择深度学习模型和设计算法框架的时候需要有所考量，从而取得较优的表现效果。

表 3. Comparison of the results of classification methods based on deep learning.

基于深度学习的分类方法的结果对比

文献	图像类型	新方法			对比基准
		具体方法	分割结果		具体方法	分割结果
SIFT：尺度不变特征变换（scale invariant feature transform）；LBP：局部二进制模式（local binary pattern）；KNN：k 最近邻算法（k-nearest neighbor）；HOG：方向梯度直方图（histogram of oriented gradient）；RF：随机森林（random forest）；PCA：主成分分析（principal component analysis）；HCfeats：人工提取特征（handcrafted features），包括密度、形状和纹理等；HGD：梯度差异直方图（histogram of the gradient divergence）；SWMKL：软边界多核学习（soft margin multiple kernel learning）；S-DPN-3：3 层堆栈式深度多项式网络（3-level stacked deep polynomial network）；WBCD：威斯康星乳腺癌数据集（wisconsin breast cancer dataset）；CE：分类错误率（classification error）；InBreast：乳腺钼靶数据集；DDSM：数字乳腺 X 线图像数据库（digital database for screening mammography）
Hua 等[22]	肺结节的 CT 图像	DBN/CNN	SEN=0.734/0.733 SPEC=0.822/0.787		SIFT+LBP+KNN	SEN=0.756 SPEC=0.668
Shen 等[23]	肺结节的 CT 图像	MCNN+SVM/RF	ACC=0.858 2/0.856 0		HOG/LBP+RF	ACC=0.759 3/0.736 7
Cheng 等[6]	肺结节的 CT 图像	SDAE	ACC=0.874±0.033 AUC=0.941±0.019		CURVE	ACC=0.778±0.029 AUC=0.860±0.026
Cheng 等[6]	乳腺超声 图像	SDAE	ACC=0.824±0.045 AUC=0.896±0.039		RANK	ACC=0.779±0.054 AUC=0.858±0.047
Xu 等[24]	乳腺癌病 理图像	SSAE+softmax	AUC=0.899 2 ACC=0.837 0		PCA+softmax	AUC=0.861 6 ACC=0.775 0
Xu 等[25]	乳腺癌病 理图像	改进的 SSAE+softmax	PREC=0.888 4 RC=0.828 5 F1=0.844 9		CNN+softmax	PREC=0.882 8 RC=0.776 0 F1=0.820 1
Arevalo 等[26]	乳腺钼靶	CNN+SVM	AUC=0.860		HCfeats/HOG/HGD+SVM	AUC=0.799/0.796/0.793
Arevalo 等[27]	乳腺钼靶	CNN+SVM	AUC=0.82±0.03		HCfeats/HOG/HGD+SVM	AUC=0.77±0.02/0.77± 0.03/0.78±0.04
Fotin 等[28]	DBT、乳腺 钼靶	CNN	SEN=0.893±0.033/0.930± 0.046（疑似恶性肿瘤 ROI/恶性肿瘤 ROI）		直方图、梯度、纹理和 形状等+决策树	SEN=0.832±0.040/0.852± 0.065（疑似恶性肿瘤 ROI/恶性肿瘤 ROI）
Wu 等[29]	对比增强 超声图像	DBN+非负矩阵分解	ACC=0.863 6		KNN	ACC=0.833 3
Liu 等[30]	乳腺超声 图像	DPN+SWMKL/ SimpleMKL	ACC=0.924 0±0.016 7/ 0.908 0±0.011 0		PCA+ SVM	ACC=0.888 0±0.004 5
Liu 等[30]	前列腺超 声弹性 成像	DPN+SWMKL/ SimpleMKL	ACC=0.777 8±0.045 4/ 0.736 1±0.053 2		PCA+SVM	ACC=0.680 6±0.027 8
Shi 等[31]	乳腺超声 图像	S-DPN-3+SVM	ACC=0.924 0±0.011 4		PCA+SVM	ACC=0.888 0±0.004 5
Shi 等[31]	前列腺超 声弹性 成像	S-DPN-3+SVM	ACC=0.902 8±0.027 8		PCA+SVM	ACC=0.680 6±0.027 8
Abdel-Zaher 等[32]	WBCD	DBN	ACC=0.996 8		肿块厚度、细胞大小/形状 的一致性等+SVM	ACC=0.995 1
Masood 等[33]	皮肤镜 图像	DBN+ SVM	ACC=0.89，CE=0.11		SVM	CE=0.197
Codella 等[34]	皮肤镜 图像	CNN+稀疏编码+SVM	ACC=0.931/0.739 （黑色瘤 vs.亚型和良性瘤/黑色瘤 vs.亚型）		——	——
Xu 等[5]	脑胶质瘤 病理图像	CNN+SVM	ACC=0.978		SIFT 和 LBP 等+SVM	ACC=0.778
Carneiro 等[21]	乳腺钼靶	CNN	AUC=0.91±0.05/0.97±0.03 （InBreast/DDSM）		——	——

2. 总结与展望

基于医学图像的 CAD 系统可以辅助临床医生快速、准确、高效地做出诊断决策。然而，由于传统浅层学习算法的限制，在实际应用中依然存在较大的问题，如人工提取特征带来的主观影响，以及无法利用高维特征之间的关系所提供的有效信息等。深度学习作为机器学习领域的新兴技术，可在很大程度上改进浅层学习的问题，大幅提高 CAD 系统从图像学习特征的能力，因此深度学习应用于基于医学图像的 CAD 或将成为医学图像处理技术发展的新方向。从文献报道看，目前这一领域虽然处于发展初期，但是对比传统的浅层学习方法，已在肿瘤分割和分类方面均体现出明显的优势。而且，基于计算机自动提取图像特征的深度学习技术可以尽可能减少人工干预。不过，深度学习常常在较大的数据集上才能取得更明显的效果；而且相比于传统的机器学习的方法，深度学习的训练时间偏长。此外，基于不同的数据集所得出的实验结果之间不可比较，从而难以确定针对某一种癌症诊断的最优化深度学习模型。因此，对于这一领域，未来可能有以下发展方向：第一，改进模型, 以提高从小样本提取特征的能力并减少训练时间；第二，基于公共数据库进行深度学习模型的预训练，并采用小样本的特殊数据进行微调，从而提高实验的可重复性和模型的泛化能力；第三，鉴于不同的影像技术可以提供不同的诊断信息，基于多模态数据集的深度学习模型有可能改善表现效果；第四，由于大量的临床癌症图像数据缺乏有效的数据标注，发展以非监督学习为主的深度学习模型完成这些数据的自动标注，具有重要的意义^[8]；第五，尝试分析并提高深度学习模型所提取的特征与医学影像临床特征的相关性。目前，针对医学图像数据集样本偏小的问题，迁移学习可能为解决该问题提供思路。另外，随着硬件设备的发展，计算机的运算能力将会进一步提高，在某种程度上可以帮助解决深度学习技术的效率问题。综上所述，在医学影像技术和以深度学习为代表的图像处理技术相结合的基础上，可预见 CAD 技术有望进一步提升医生的诊断效率和准确率，从而在临床上进一步提高癌症的诊断水平。

Funding Statement

国家自然科学基金青年项目（81301273）；深圳大学高端人才科研启动项目（00048）；广东省大学生创新训练计划项目（201510590054）