Skip to main content
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering logoLink to Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
. 2022 Jun 25;39(3):452–461. [Article in Chinese] doi: 10.7507/1001-5515.202110059

基于三维多视角挤压激励卷积神经网络的肺结节良恶性分类研究

Research on classification of benign and malignant lung nodules based on three-dimensional multi-view squeeze-and-excitation convolutional neural network

Yang YANG 1, Xiaoqin LI 1,*, Zhenbo HAN 1, Jipeng FU 1, Bin GAO 1
PMCID: PMC10950768  PMID: 35788514

Abstract

Lung cancer is the most threatening tumor disease to human health. Early detection is crucial to improve the survival rate and recovery rate of lung cancer patients. Existing methods use the two-dimensional multi-view framework to learn lung nodules features and simply integrate multi-view features to achieve the classification of benign and malignant lung nodules. However, these methods suffer from the problems of not capturing the spatial features effectively and ignoring the variability of multi-views. Therefore, this paper proposes a three-dimensional (3D) multi-view convolutional neural network (MVCNN) framework. To further solve the problem of different views in the multi-view model, a 3D multi-view squeeze-and-excitation convolution neural network (MVSECNN) model is constructed by introducing the squeeze-and-excitation (SE) module in the feature fusion stage. Finally, statistical methods are used to analyze model predictions and doctor annotations. In the independent test set, the classification accuracy and sensitivity of the model were 96.04% and 98.59% respectively, which were higher than other state-of-the-art methods. The consistency score between the predictions of the model and the pathological diagnosis results was 0.948, which is significantly higher than that between the doctor annotations and the pathological diagnosis results. The methods presented in this paper can effectively learn the spatial heterogeneity of lung nodules and solve the problem of multi-view differences. At the same time, the classification of benign and malignant lung nodules can be achieved, which is of great significance for assisting doctors in clinical diagnosis.

Keywords: Image processing, Deep learning, Attention mechanism, Lung nodule, Consistency analysis

引言

肺癌是最常见的恶性肿瘤之一,由国际癌症研究中心(international agency for research on cancer,IARC)发布的全球癌症(global cancer,GLOBOCAN)统计报告2020年版显示,肺癌死亡及发病人数均位于前三[1]。最新研究表明,通过低剂量计算机断层扫描(computed tomography,CT)进行肺癌早期筛查,可使男性肺癌死亡率降低24%,女性肺癌死亡率降低33%[2],早期筛查对于肺癌的早发现、早治疗、降低死亡率等具有重要价值。另一方面,随着肺癌早期筛查的普及,医生的阅片压力激增,诊断过程中可能会造成误诊及漏诊。肺癌与肺结节有着错综复杂的关系,因此早期的肺结节良恶性诊断是提高肺癌诊断率和延长患者生存期的关键步骤。现如今借助计算机技术的快速发展、医疗设备的完善与成熟的医学图像处理技术,计算机辅助诊断(computer aided diagnosis,CAD)系统应运而生。基于深度学习的肺结节良恶性分类方法,通过深层架构自动学习当前数据的抽象层次特征,能够以图像特征的识别和分类来训练模型,并利用模型的准确率(accuracy,Acc)、损失值等多重评价指标来反向指导特征的提取[3]。例如,Hua等[4]在2015年首次提出将二维(two-dimensional,2D)卷积神经网络(convolutional neural network,CNN)应用于肺结节分类。2D CNN虽然训练速度快、占用资源少,但是会丢失肺结节的立体信息,为解决此问题,Liu等[5]在2017年提出将三维(three-dimensional,3D)CNN应用于肺结节分类。Marques等[6]从CT图像和结节语义特征出发,提出了多任务3D CNN,结节的良恶性预测由CT图像特征和语义特征共同决定。Astaraki等[7]为使3D CNN有效捕捉结节内部特征以及上下文信息,提出了双路径结构模型,将分割后的结节图像与未经分割的结节图像共同作为模型的输入。Tang等[8]提出多分辨率3D双路径挤压激励聚合网络(dual path squeeze excitation converged network,DPSECN)模型,多分辨率主要体现在将肺结节按其直径尺寸进行三分类,然后通过线性插值将其转化为另外两种不同级别分辨率的数据,每个样本获得相应的三种不同分辨率的数据,作为模型的输入来训练模型。

Setio等[9]提出2D多视角(multi-view,MV)CNN(MVCNN),通过2D MVCNN实现3D特征的捕捉,对于每个结节数据,提取9个固定方向的2D图像作为输入,每个方向都进行特征提取。Roth等[10]将一个病灶的三个方向视图(横切、矢状、冠状)分别作为彩色图像的三个通道,称这样的组合为2.5维表示,然后输入到CNN网络,进行特征提取。Zhai等[11]利用多任务学习,实现肺结节的良恶性分类,在模型的输入方面同样选择了结节的9个固定方向2D视图,与Setio等[9]研究的不同在于其增加了图像重建的辅助任务。Xie等[12]提出基于知识的协同深度学习框架,将病灶的9个方向的2D视图作为输入,首先对每个病灶的每个方向视图进行分割,获得每个病灶的每个方向视图的三种外观视图,然后对这三个外观视图提取特征并进行融合。这些研究在对多个视角进行特征融合时都是简单集成融合,没有考虑到多个视角的差异性[9-12]

目前对于肺结节良恶性分类的研究,基于开源数据库肺部图像数据库联盟和图像数据库资源倡议(lung image database consortium and image database resource initiative,LIDC-IDRI)(网址为:https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI)[13]中具有医生注释的数据进行建模的研究较多,采用病理诊断数据构建模型的研究较少,并且当前临床医学界公认病理诊断为“金标准”,因此本文认为基于“金标准”——病理诊断数据构建的模型具有更好的临床价值;对于模仿医生通过多方位观察CT图像进行诊断的研究目前仅仅局限于2D网络,此类研究希望可以通过学习多个特定方向的2D视图达到学习3D特征的目的,但是考虑到肺结节的空间异质性等特点,3D网络比2D网络能够更充分且有效地提取3D特征,捕获更丰富的空间信息;对于多视角特征融合,多数研究采用的都是简单集成融合,或通过各个视角的模型表现手动计算权值,在本研究中为自动学习多视角特征的差异性,在特征融合阶段引入挤压激励(squeeze excitation,SE)模块;目前多数研究对于模型的评估仅仅基于模型级别进行对比评估,没有与医生注释结果进行比较,本研究基于既拥有病理诊断又拥有医生注释的数据开展了一致性分析。基于以上问题,本文利用开源数据库LIDC-IDRI中具有病理诊断的数据,首次提出了3D MV-SE-CNN(MVSECNN)模型,然后在具有病理诊断的数据上进行了验证,为探索模型的临床价值,进一步分析了模型预测与医生注释结果的一致性。因此,本文所提方法可以有效地学习结节空间异质性和解决多视角差异性问题,同时实现了肺结节良恶性分类,对于辅助医生进行临床诊断具有重要意义。

1. 数据处理

1.1. 数据来源

本文采用开源数据库LIDC-IDRI,此数据库共包含1 018个案例,1 010名受试者,每名受试者的数据均包括医学数字成像和通信(digital imaging and communications in medicine,DICOM)图像格式的CT数据和相应的可扩展标示语言(extensive markup language,XML)文件;其中的XML文件记录了四名经验丰富的胸部放射科医生的注释结果,注释过程将结节类型分为大结节(直径 ≥ 3 mm)、小结节(直径 < 3 mm)和非结节,且放射科医生对大结节进行了特征注释以及坐标轮廓标记,相应的恶性等级评级注释如表1所示,而小结节和非结节只进行了质心坐标注释。

表 1. Doctor’s annotations on the malignant grade of large nodules.

医生对于大结节的恶性等级注释

等级 解释
1 患癌症的可能性很小
2 患癌症的可能性不大
3 患癌症的可能性不确定
4 疑似患癌症
5 患癌症的可能性大

1.2. 数据清洗

数据清洗的流程如图1所示,在构建模型阶段时只使用“金标准”数据,即具有病理诊断信息的数据,在评估模型预测与医生注释结果一致性时,将多名放射科医生注释与具有病理诊断信息的结节数据进行了对应。

图 1.

图 1

Data cleaning flow chart

数据清洗流程图

LIDC-IDRI数据库中共有157名受试者拥有病理诊断信息,诊断信息分为患者层面和结节层面,各层面的诊断结果以及诊断方法如表2所示,其中患者层面和结节层面病理诊断结果相同的有138名。有研究表明CT层厚 ≤ 2.5 mm对于肺结节的诊断更有意义[14],最终CT层厚 ≤ 2.5 mm且诊断结果一致的受试者为125名,其中的结节尺寸分布以及医生注释情况如表3所示。

表 2. Diagnostic results and methods at patient and nodule levels.

在患者及结节层面的诊断结果、诊断方法

等级 诊断结果 诊断方法
0 未知 未知
1 良性或非恶性疾病 两年影像学检查显示结节稳定
2 原发性肺癌的恶性肿瘤 组织切片检查
3 与胸外原发性恶性肿瘤相关的
转移性病变
外科手术
4 进展或反应

表 3. Number of doctors marked and distribution of nodule size.

标注医生人数和结节尺寸分布

标注医生人数/名 结节直径 ≥ 3 mm 结节直径 < 3 mm
良性/例 恶性/例 良性/例 恶性/例
0 0 0 222 484
1 26 46
2 13 31
3 17 40
4 22 110
单名医生对同一结节重复标注 0 2

1.3. 数据预处理

研究将具有病理诊断信息的数据作为训练及测试模型的数据集,良恶性数据分别按照9:1的比例划分为训练集与测试集,如表4所示。

表 4. Sample size division of training set and test set.

训练集及测试集样本量划分

数据集 良性/例 恶性/例
训练集 270 642
测试集 30 71

使用线性变换,将CT切片中CT值在−1 000~400亨氏单位(hounsfield units,HU)归一化至0~1,如式(1)所示:

1.3. 1

其中,Hmax = 400 HU,为最大亨氏单位;Hmin = 1 000 HU,为最小亨氏单位。Ph是归一化前的CT值,P为归一化后在0~1范围的值。

数据库中的CT是由不同的扫描设备扫描得到,分辨率不同,本研究使用的125名患者CT的xy方向的分辨率在0.46~0.98 mm之间,z方向的层厚在0.6~2.5 mm之间,为消除分辨率的差异,使用重采样的方法将CT图像xyz三个方向重采样为1 mm×1 mm×1 mm。

对于具有诊断信息的数据,一部分为大结节数据,一部分为小结节数据,大结节的质心坐标采用Reeves等[15]的研究,小结节的质心坐标通过读取XML文件获得。所有获得的质心坐标,都是距离每张图像中心扫描点的距离信息,并不是坐标信息,无法直接定位到CT图像上,因此需要先进行坐标转换,大结节质心坐标转换,如式(2)~式(4)所示;小结节质心坐标转换,如式(2)、(3)、(5)所示:

1.3. 2
1.3. 3
1.3. 4
1.3. 5

其中,Inline graphicInline graphicInline graphic 是经过坐标转换后的在每张CT图像中的体素坐标,CoordxCoordyCoordz是原始的距离信息,OrigSpaxOrigSpayOrigSpaz分别为CT图像重采样前xyz三个方向的像素分辨率,Origz为CT图像在z方向的原点坐标,ResSpaz为CT图像重采样后z方向的像素分辨率,OrigSizez为CT图像重采样前z方向的的大小。

样本大小选择对于研究本身也是一个关键因素,样本大小为层数×长×宽,由于大结节的直径在3.14~30.82 mm之间,因此样本的长和宽需要大于结节的最大直径,如表5所示,基于相同结构的3D CNN,采用Acc、灵敏度(sensitivity,Sen)和特异度(specificity,Spe)作为评判指标,进行多次实验后,最终研究采用的样本长 × 宽为40 mm × 40 mm,同时3D样本的层数也受到了图形处理器以及运算时间的限制,最终样本的层数设置为9,即高为9 mm。

表 5. Sample size selection.

样本大小选择

样本大小/mm Acc Sen Spe
5 × 47 × 47 90.90% 90.63% 91.11%
5 × 40 × 40 91.10% 93.03% 87.11%
9 × 47 × 47 90.09% 84.38% 95.56%
9 × 40 × 40 93.07% 95.77% 86.67%

在模型训练中,良恶性结节的类别不平衡可能会造成模型学习偏向数据量更大的一类,为克服此问题,本研究在数据平衡阶段采用随机平移技术来平衡数据。在数据集样本较少时,为防止模型过拟合,可以通过数据增强来扩增样本量,避免模型训练过拟合。本文采用随机平移、旋转和翻转对原始数据进行扩增,扩增后的良恶性肺结节数据总量为76 260例。

2. 方法

2.1. 三维卷积神经网络

CNN一般由输入层、卷积层、池化层、全连接(fully connected,FC)层及输出层构成,其借鉴生物分层理解图像的原理,提取图像的抽象表示。

CT以切片序列的形式存在,出现了时间维度上物体运动的信息,为提取3D空间信息,本研究使用3D卷积(convolution,Conv)操作。然后采用线性整流函数(rectified linear unit,ReLU)作为激活函数,增强网络的学习能力和非线性表达能力。为降低特征映射的维数,引入3D最大池化(max pooling),其不仅能降低图像维度,还带来了一定程度的平移、旋转不变性。在CNN中起到“分类器”作用的是FC层,在模型训练的过程中80%的参数都来自于FC层,因此在FC层后加入丢弃(dropout)层[16],提高了网络的泛化能力。为加快网络的训练过程,网络中加入了批量归一化(batch normalization,BN)层[17],其可以对前一层输入数据进行批量归一化处理,然后送入下一层。为进一步避免过拟合,研究采用了L2正则化。

2.2. 挤压激励模块

为使模型可以在学习的过程中关注不同视角之间的差异性,自动学习到不同视角特征的重要程度,在模型中引入了SE模块[18],SE模块本质上实现了通道的自注意功能,它能够重新校准通道特征响应,并通过抑制非有用特征和强调信息特征来学习全局信息,同时,通过SE模块可以积累特征再校准。Hu等[18]的研究已经证明SE模块可以有效地提高CNN的表现,SE模块的结构如图2所示,其计算过程如式(6)~式(9)所示:

图 2.

图 2

SE module structure

SE模块结构

2.2. 6
2.2. 7
2.2. 8
2.2. 9

首先通过卷积操作Ftr,将通道数为 Inline graphic、长为 Inline graphic 和宽为 Inline graphic 维度的输入 X = [x1, x2, Inline graphic, xc']变换为通道数为C、长为H和宽为W维度的特征映射U= [u1, u2, Inline graphic, uc],如式(6)所示,*代表卷积操作,vc为第c个卷积核参数,uc为第c个特征映射,xn为第n个通道映射,Inline graphic 为对应第n个通道映射的第c个卷积核参数。为学习到每个特征通道的重要程度,基于全局平均池化操作FsqU变换为维度1 × 1 × C的特征映射Z = [z1, z2, Inline graphic, zc],此时全局空间信息被压缩到通道描述符中,生成了面向通道的统计信息,如式(7)所示,zc为第c个通道的统计信息。为能够利用通道统计信息,SE模块在激励过程中先通过FC层和ReLU激活函数学习通道之间的非线性相互作用,然后采用FC层与S型生长曲线(sigmoid)函数学习非互斥的关系,确保允许多个通道被强调,以上这两步操作被定义为Fex,如式(8)所示,其中δ代表了ReLU激活函数,σ代表了sigmoid激活函数,W为学习过程中的权重参数,S = [s1, s2, Inline graphic, sc]为学习到各个通道的激活值。最后,将U与激活值S通过通道乘法Fscale输出维度为C × H × WInline graphic, 如式(9)所示,sc为第c个通道的激活值,Inline graphic 为第c个通道的输出值。

2.3. 三维多视角挤压激励卷积神经网络模型

肺结节的形状通常是球形的,多个方位观察的形状趋于相近,但是当被血管等包围时,形状很复杂,因此只从单个视角观察肺结节不能够充分掌握其特点,需结合多个视角进行观察,通常医生对于可疑性结节会对其进行一次靶扫描,以获得结节所在部位更高分辨率以及全方位的影像资料,然后从多角度观察病灶,结合多个视角的观察对可疑性结节进一步诊断。

为仿照医生对可疑性肺结节的诊断方法,本研究提出3D MVCNN框架,基准模型的结构如图3所示,在3D CNN 框中Conv层的核大小为3 × 3 × 3或1 × 1 × 1,核的个数分别为64、32、32和16,max pooling层的核大小为2 × 2 × 2,在3D CNN模型基础上,将单视角增加至9个视角。首先对预处理后的样本根据结节位置进行3D感兴趣区域(region of interest,ROI)采样,采样至50 mm × 50 mm × 50 mm,见图3中ROI提取区域。然后,对ROI使用空间采样技术,如图3中的ROI的提取和多视角图像的提取所示,并与3D CNN模型进行对比,研究中设计的所有模型输入均采样为40 mm× 40 mm×9 mm。Setio等[9]研究表明,当9个视图全部作为输入时模型效果最优,如图3 特征提取及融合所示,本研究将基于CT方位的9个3D视图全部作为模型的输入,每个视角的3D视图由一个独立的3D CNN(如图3中3D CNN去除虚线框后的结构所示)处理,学习各个视角肺结节特征,充分地挖掘肺结节多方位信息。为使模型能够自动学习9个视角的特征差异性,在特征提取及融合阶段引入SE模块,如式(10)所示,S = [s1, s2, Inline graphic, s9]为SE模块中学习到的各个视角的权重组合,F = [f1, f2, Inline graphic, f9]为9个视角经过3D CNN特征提取后的深度特征映射集合,M = [m1, m2, Inline graphic, m9]为通过SE模块后的具有差异性的9个视角深度特征映射组合。最后,模型通过FC层和归一化指数函数(softmax)计算类别得分。

图 3.

图 3

3D MVSECNN model structure

3D MVSECNN模型结构

2.3. 10

3. 结果

3.1. 评价标准

研究通过计算Acc、Sen、Spe、马修斯相关系数(Matthews correlation coefficient,MCC)和接收者操作特征(receiver operating characteristic,ROC)曲线下面积(area under curve,AUC)来评估模型的性能,如式(11)~式(14)所示:

3.1. 11
3.1. 12
3.1. 13
3.1. 14

其中,真阳性(true positive,TP)表示正样本被正确分类的个数,真阴性(true negative,TN)表示负样本被正确分类的个数,假阳性(false positive,FP)表示负样本被错误分类为正样本的个数,假阴性(false negative,FN)表示正样本被错误分类为负样个数。

MCC作为二分类问题的最佳度量指标,综合考量了TP、TN、FP及 FN四个基础评价指标,在样本类别平衡与不平衡时都能作为有效的评价指标。ROC是反映Sen和Spe连续变量的综合指标,AUC可以评估该二元分类器的可信度,AUC值越大说明其可信度越高。

为分析模型预测与医生注释结果一致性,研究引入了科恩卡帕系数(Cohen’s Kappa)[19]、加权卡帕系数(Weighted Kappa) [20]、弗莱斯卡帕系数(Fleiss’ Kappa)[21]和肯德尔和谐系数 (Kendall’s coefficient of concordance,Kendall’s W)[22]这四个一致性评价系数。

3.2. 实验设置

研究在操作系统Windows10(Microsoft,美国)和图形处理器NVIDIA TITAN RTX(NVIDIA,美国)进行深度学习环境的搭建,利用机器学习库Tensorflow 1.9.0(Google,美国)以及神经网络库Keras 2.1.6(Google,美国)构建模型,模型训练过程中使用自适应矩估计(adaptive moment estimation,Adam)优化器,设置初始学习率为0.01,最小学习率为0.000 001;采用类交叉熵损失(categorical-crossentropy loss)函数进行参数的优化与迭代;使用回调函数与早停(early stopping)策略来优化学习率以及防止模型过拟合;利用统计分析软件SPSS 25.0(IBM,美国)进行模型预测与医生注释结果的一致性分析。

3.3. 三维多视角挤压激励卷积神经网络模型结果

本研究提出的3D MVSECNN模型结合了3D MVCNN框架和SE模块,并探讨了3D MVCNN和SE模块在肺结节良恶性分类中的能力,以说明3D MVSECNN模型的潜在优势。3D CNN、3D MVCNN和3D MVSECNN模型层数都为10层,三个模型的性能比较如表6所示。如图4所示,展示了部分肺结节正确分类结果。

表 6. Performance comparison of three models.

三个模型性能比较

模型类型 MCC AUC Acc Sen Spe
3D CNN模型 0.833 0.935 93.07% 95.77% 86.67%
3D MVCNN模型 0.882 0.940 95.05% 100.00% 83.33%
3D MVSECNN模型 0.904 0.943 96.04% 98.59% 90.00%

图 4.

图 4

Test results display of 3D MVSECNN model

3D MVSECNN模型测试结果展示

3.4. 模型预测与医生注释结果一致性分析

为评估所提出的模型临床适用性,以病理诊断为媒介,基于有病理诊断和医生注释的数据(既拥有病理诊断且拥有4位医生注释,在等级注释中没有不确定等级注释的结节数据),对病理诊断与模型预测以及病理诊断与医生注释结果分别进行了一致性分析。

病理诊断与医生注释结果的一致性分析方法及结果为:① 对四名医生的注释结果分别与病理诊断进行一致性分析,通过Cohen’s Kappa一致性分数以及P值表明单名医生注释结果与病理诊断无一致性(P > 0.05)或一致性较差(Cohen’s Kappa= 0.308,P = 0.027);② 四名医生注释结果之间进行一致性分析,发现四名医生的注释结果之间无一致性(P > 0.05),两名或三名医生的注释结果一致性较好,因此将一致性分数最高的两名医生的注释结果(Cohen’s Kappa = 0.671,P < 0.05)和三名医生的注释结果(Kendall’s W = 0.786,P < 0.05)分别与病理诊断做一致性分析,结果表明:两名医生的注释结果与病理诊断一致性一般(Fleiss’ Kappa = 0.438,P < 0.05),三名医生的注释结果与病理诊断一致性一般(Fleiss’ Kappa = 0.477,P < 0.05)。

对于病理诊断与模型预测的一致性分析,利用 Cohen’s Kappa一致性分析,模型预测与病理诊断的一致性好(Cohen’s Kappa = 0.948,P < 0.05),表明模型预测与病理诊断的一致性明显高于医生注释结果与病理诊断的一致性。

4. 讨论

本研究提出了一种新的基于CT图像的肺结节良恶性分类方法,该方法利用3D MVSECNN模型学习肺结节良恶性分类的高分辨特征,在开源数据库LIDC-IDRI上进行验证,AUC为0.943[95% 置信区间(confidence interval,CI): 0.879,0.979],Acc为 96.04%,结果表明该方法具有良好的肺结节良恶性分类性能。

表7所示,基于开源数据库LIDC-IDRI中拥有病理诊断的数据,比较了本文提出的方法与其他研究方法的性能。Shewaye等[23]采用基于影像组学的传统方法进行肺结节良恶性分类,但是这种方法在提取影像组学特征时其过程既复杂又费时;Kumar等[24-25]与Kang等[26]的研究利用深度学习方法进行建模,只是Kumar等[24-25]的两个研究都是利用深度学习模型进行特征提取,然后基于提取的深度特征训练分类器,采用的是“两步走”模式,而Kang等[26]采用的是端到端的模式,更方便快捷,本研究在构建模型时也选择了端到端的方式。Kang等[26]的研究虽然AUC值高于本研究,但是Acc以及Sen都低于本研究,这可能是由于其选择的模型架构更复杂,且采用的数据是肺部图像数据库联盟(lung image database consortium,LIDC)2图像工具包(image toolbox)[27]自动提取的96名患者病理诊断数据,没有将全部病理诊断数据用于研究。

表 7. Performance comparison between this research method and existing research methods.

本研究方法与已有研究方法性能对比

方法 Acc Sen Spe AUC
文献[23] 84.00% 82.00% 93.00% 0.94
文献[24] 75.01% 83.35%
文献[25] 77.52% 79.06% 76.11%
文献[26] 95.41% 95.68% 94.51% 0.99
本文研究方法 96.04% 98.59% 90.00% 0.94

研究提出的3D MVCNN框架和SE模块的组合是一种有效的肺结节良恶性分类方法。3D MVSECNN综合了3D MVCNN框架的多视角特征融合特性和SE模块用于特征重新校准的优点,在肺结节良恶性分类中显示出良好的性能。如图5所示,在模型训练时,3D MVCNN比3D CNN收敛慢,这是由于模型需要考虑更多的数据以及参数,但是当在特征融合阶段引入SE模块后,3D MVSECNN模型在训练过程中的收敛速度要快于其他两个模型。

图 5.

图 5

Acc change curve of the three models in the model training

三个模型在模型训练阶段的Acc变化曲线

图6所示,3D MVSECNN模型在独立测试集上预测错误的样本共四个,一个为恶性样本,三个为良性样本。对于恶性样本,模型预测时将其预测为良性结节,可能是由于多视角观察其形状都为光滑的类圆形;右上角的良性结节被错误分类可能是由于多视角观察肺结节的形状较为复杂,与别的肺部结构有牵连;左下角的良性结节可能是由于其周围有多条血管;右下角的良性结节被错误分类最大可能性是由于结节直径较大,因为肺结节的良恶性诊断很大一部分原因取决于结节直径大小。

图 6.

图 6

Sample display of prediction error of 3D MVSECNN model

3D MVSECNN模型预测错误样本展示

5. 结论

本文提出了一种新的基于CT图像的肺结节良恶性分类方法。该方法使用3D MVSECNN学习高分辨特征来分类恶性和良性肺结节。在开源数据库LIDC-IDRI进行验证,实验结果表明:该方法的Acc和Sen比现有的基于传统特征和深度特征的方法的更高,恶性肺结节预测结果的逃逸率小于1.5%;与病理诊断的一致性分析表明:模型预测与病理诊断的一致性明显高于医生注释结果与病理诊断的一致性,模型分类结果对辅助临床医生诊断具有重要作用。本研究将进一步收集肺结节良恶性病理诊断数据用于现有模型优化和验证,继而开发深度学习技术对肺结节进行分类。

重要声明

利益冲突声明:本文全体作者均声明不存在利益冲突。

作者贡献声明:杨杨负责研究算法程序设计,文章构思,实验数据处理,论文撰写;韩振波和付继鹏负责论文修改和图表绘制;李晓琴,高斌负责实验指导,数据分析指导,论文审阅修订。

Funding Statement

国家重点研发计划资助项目(2017YFC0111104);国家自然科学基金资助项目(61931013)

National Key Research and Development Program of China; National Natural Science Foundation of China

References

  • 1.Sung H, Ferlay J, Siegel R L, et al Global cancer statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin. 2021;71(3):209–249. doi: 10.3322/caac.21660. [DOI] [PubMed] [Google Scholar]
  • 2.Siegel R L, Miller K D, Jemal A Cancer statistics, 2020. CA Cancer J Clin. 2020;70(1):7–30. doi: 10.3322/caac.21590. [DOI] [PubMed] [Google Scholar]
  • 3.LeCun Y, Boser B, Denker J S, et al Backpropagation applied to handwritten zip code recognition. Neural Comput. 1989;1(4):541–551. doi: 10.1162/neco.1989.1.4.541. [DOI] [Google Scholar]
  • 4.Hua K L, Hsu C H, Hidayati H C, et al Computer-aided classification of lung nodules on computed tomography images via deep learning technique. Onco Targets Ther. 2015;8:2015–2022. doi: 10.2147/OTT.S80733. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 5.Liu Shuang, Xie Yiting, Jirapatnakul A, et al Pulmonary nodule classification in lung cancer screening with three-dimensional convolutional neural networks. J Med Imaging (Bellingham) 2017;4(4):041308. doi: 10.1117/1.JMI.4.4.041308. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 6.Marques S, Schiavo F, Ferreira C A, et al A multi-task CNN approach for lung nodule malignancy classification and characterization. Expert Syst Appl. 2021;184:115469. doi: 10.1016/j.eswa.2021.115469. [DOI] [Google Scholar]
  • 7.Astaraki M, Zakko Y, Toma D I, et al Benign-malignant pulmonary nodule classification in low-dose CT with convolutional features. Phys Med. 2021;83:146–153. doi: 10.1016/j.ejmp.2021.03.013. [DOI] [PubMed] [Google Scholar]
  • 8.Tang Siyuan, Ma Rong, Li Qingqian, et al Classification of benign and malignant pulmonary nodules based on the multiresolution 3D DPSECN model and semisupervised clustering. IEEE Access. 2021;9:43397–43410. doi: 10.1109/ACCESS.2021.3060178. [DOI] [Google Scholar]
  • 9.Setio A A, Ciompi F, Litjens G, et al Pulmonary nodule detection in CT images: false positive reduction using multi-view convolutional networks. IEEE Trans Med Imaging. 2016;35(5):1160–1169. doi: 10.1109/TMI.2016.2536809. [DOI] [PubMed] [Google Scholar]
  • 10.Roth H R, Lu L, Seff A, et al A new 2. 5 D representation for lymph node detection using random sets of deep convolutional neural network observations//Medical Image Computing and Computer-Assisted Intervention, Boston: MICCAI. 2014:520–527. doi: 10.1007/978-3-319-10404-1_65. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 11.Zhai Penghua, Tao Yaling, Chen Hao, et al Multi-task learning for lung nodule classification on chest CT. IEEE Access. 2020;8:180317–180327. doi: 10.1109/ACCESS.2020.3027812. [DOI] [Google Scholar]
  • 12.Xie Y, Xia Y, Zhang J, et al Knowledge-based collaborative deep learning for benign-malignant lung nodule classification on chest CT. IEEE Trans Med Imaging. 2019;38(4):991–1004. doi: 10.1109/TMI.2018.2876510. [DOI] [PubMed] [Google Scholar]
  • 13.Armato S G, Mclennan G, Bidaut L, et al The lung image database consortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans. Med Phys. 2011;38(2):915–931. doi: 10.1118/1.3528204. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 14.Manos D, Seely J M, Taylor J, et al The lung reporting and data system (LU-RADS): a proposal for computed tomography screening. Canadian Association of Radiologists Journal. 2014;65(2):121–134. doi: 10.1016/j.carj.2014.03.004. [DOI] [PubMed] [Google Scholar]
  • 15.Reeves A P, Biancardi A M. The lung image database consortium (lidc) nodule size report. Cornell Univ, 2011. (2011-10-27) [2021-09-15]. http: //www.via.cornell.edu/lidc/list3.2.html.
  • 16.Srivastava N, Hinton G, Krizhevsky A, et al Dropout: a simple way to prevent neural networks from overfitting. J Mach Learn Res. 2014;15(1):1929–1958. [Google Scholar]
  • 17.Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv: 1502.03167, 2015.
  • 18.Hu Jie, Shen Li, Sun Gang. Squeeze-and-excitation networks//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City: IEEE, 2018: 7132-7141.
  • 19.Cantor A B Sample-size calculations for Cohen's kappa. Psychol Methods. 1996;1(2):150. doi: 10.1037/1082-989X.1.2.150. [DOI] [Google Scholar]
  • 20.Fleiss J L, Cohen J The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educ Psychol Meas. 1973;33(3):613–619. doi: 10.1177/001316447303300309. [DOI] [Google Scholar]
  • 21.Randolph J J. Free-marginal multirater Kappa(multirater Kfree): an alternative to Fleiss' fixed-marginal multirater Kappa//the Joensuu Learning and Instruction Symposium, Joensuu, Finland: ERIC, 2005: ED490661.
  • 22.Willerman B The adaptation and use of Kendall's coefficient of concordance (W) to sociometric-type rankings. Psychol Bull. 1955;52(2):132–133. doi: 10.1037/h0041665. [DOI] [PubMed] [Google Scholar]
  • 23.Shewaye T N, Mekonnen A A. Benign-malignant lung nodule classification with geometric and appearance histogram features. arXiv preprint arXiv: 1605.08350, 2016.
  • 24.Kumar D, Chung A G, Shafiee M J, et al. Discovery radiomics for pathologically-proven computed tomography lung cancer prediction. arXiv preprint arXiv: 1509.00117, 2017.
  • 25.Kumar D, Wong A, Clausi D A. Lung nodule classification using deep features in CT images//2015 12th Conference on Computer and Robot Vision, Halifax: IEEE, 2015: 133-138.
  • 26.Kang Guixia, Liu Kui, Hou Beibei, et al 3D multi-view convolutional neural networks for lung nodule classification. PLoS One. 2017;12(11):12–22. doi: 10.1371/journal.pone.0188290. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 27.Lampert T, Stumpf A, Gancarski P An empirical study into annotator agreement, ground truth estimation, and algorithm evaluation. IEEE Trans Image Process. 2016;25(6):2557–2572. doi: 10.1109/TIP.2016.2544703. [DOI] [PubMed] [Google Scholar]

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University

RESOURCES