Abstract
准确分割磨玻璃肺结节（GGN）具有重要临床意义。针对电子计算机断层扫描（CT）图像中GGN边界模糊、形状不规则、强度不均匀等特点导致其分割困难的问题，本文提出一种全卷积残差网络算法，即基于空洞空间卷积池化金字塔结构和注意力机制的残差网络（ResAANet）算法。该网络算法利用空洞空间卷积池化金字塔（ASPP）结构扩大特征图感受野，提取更充分的目标特征，并采用注意力机制、残差连接和长跳跃连接充分保留卷积层提取的GGN敏感特征。首先，用上海市胸科医院收集的565个GGN对ResAANet进行全监督训练、验证，得到稳定的模型；然后，利用收集的另84个GGN和肺部图像数据库联盟 （LIDC）公共数据库中145个GGN分别测试模型得到粗分割结果；最后，用连通域分析方法去除假阳性区域得到优化结果。本文所提算法在采集的临床数据和LIDC测试集上的戴斯相似系数（DSC）达到83.46%、83.26%，平均重合度（IoU）达到72.39%、71.56%，切片分割效率达到0.1 s/张。与其他算法相比，本文提出的方法能准确、快速分割GGN，且具有较好的稳健性，可以为医生提供结节大小、密度等重要信息，辅助医生后续的诊断和治疗。
Keywords: 磨玻璃肺结节分割, 残差网络, 空洞卷积, 注意力机制, 电子计算机断层扫描影像
Abstract
Accurate segmentation of ground glass nodule (GGN) is important in clinical. But it is a tough work to segment the GGN, as the GGN in the computed tomography images show blur boundary, irregular shape, and uneven intensity. This paper aims to segment GGN by proposing a fully convolutional residual network, i.e., residual network based on atrous spatial pyramid pooling structure and attention mechanism (ResAANet). The network uses atrous spatial pyramid pooling (ASPP) structure to expand the feature map receptive field and extract more sufficient features, and utilizes attention mechanism, residual connection, long skip connection to fully retain sensitive features, which is extracted by the convolutional layer. First, we employ 565 GGN provided by Shanghai Chest Hospital to train and validate ResAANet, so as to obtain a stable model. Then, two groups of data selected from clinical examinations (84 GGN) and lung image database consortium (LIDC) dataset (145 GGN) were employed to validate and evaluate the performance of the proposed method. Finally, we apply the best threshold method to remove false positive regions and obtain optimized results. The average dice similarity coefficient (DSC) of the proposed algorithm on the clinical dataset and LIDC dataset reached 83.46%, 83.26% respectively, the average Jaccard index (IoU) reached 72.39%, 71.56% respectively, and the speed of segmentation reached 0.1 seconds per image. Comparing with other reported methods, our new method could segment GGN accurately, quickly and robustly. It could provide doctors with important information such as nodule size or density, which assist doctors in subsequent diagnosis and treatment.
Keywords: Ground glass nodule segmentation, Residual network, Atrous convolution, Attention mechanism, Computed tomography image
引言
据2020年癌症报告（Cancer statistics，2020）显示，肺癌仍是全球恶性肿瘤致死的主要原因，而我国肺癌新发患者数占全球肺癌新发患者数的20%以上[1]。计算机断层扫描成像技术（computed tomography，CT）成像快、图像分辨率高，已成为目前发现、监测早期肺癌的首选技术[2]。早期肺癌的影像表现是肺结节形成，在计算机辅助肺癌诊断中，准确提取CT扫描图像中肺结节的完整边界可以为医生提供肿瘤大小、密度等重要信息，辅助医生后续的诊断和治疗。此外，在肺癌的分子亚型和放射组学中，肺结节分割也起着举足轻重的作用。磨玻璃肺结节（ground glass nodule，GGN）是一类特殊的结节，与实性结节相比，GGN具有边界模糊、形状不规则、强度不均匀、与周围正常组织对比度低等特点，易被医生忽略。因此，GGN的分割与诊断一直是医学图像分割领域的重点和难点[3]。准确分割GGN可为医学影像评价和治疗方案的制定提供重要依据，对提高早期肺癌的监测效率有重要意义。根据所含实性成分，GGN可分为混合GGN （mixed GGN，mGGN）和纯GGN （pure GGN，pGGN），其形态如图1所示。图1中白色小框内，mGGN边界模糊、中心区域密度稍高，但其较高的密度不能完全遮盖穿行其中的正常支气管、血管束；pGGN为灰度轻度增高的云雾状淡薄影，与肺实质的灰度相近，更易被忽略。
图 1.
GGN classification
GGN分类
近年来，GGN分割主要依靠聚类、可变形模型、基于马尔科夫随机场（Markov random field，MRF）理论等传统的无监督方法。其中，聚类方法主要利用GGN区域的特征相似性实现像素聚簇，如Liu等[4-5]提出了一种快速自适应模糊C均值（fuzzy C mean，FCM）聚类算法及其改进算法，在GGN的分割上有一定效果，但对直径<10 mm的GGN分割效果不佳。另外，Shakibapour等[6]基于元启发式搜索策略对像素进行聚类，可自动分割具有不同位置和纹理特征的结节，但分割效率有待提升。而可变形模型主要利用曲线在边界停止演化得到结节轮廓，如有研究者先后将活动轮廓模型（active contour model，ACM）与FCM聚类结合、提出基于自适应局部区域能量和后验概率的ACM，在GGN分割上效果较好，但方法的计算复杂度高[7-8]。Jung等[9]提出非对称多相变形模型解决了GGN分割中易发生活动轮廓泄露的问题[10]。此外，基于MRF理论的方法通过求解模型局部能量最小值完成GGN分割，比如Zhang等[11]利用MRF能量构造ACM的区域项，并用高斯混合模型（Gaussian mixture mode，GMM）得到边界检测函数，完成目标分割。上述传统方法虽在分割复杂背景下的GGN有优势，但对人工干预的依赖性较强，如聚类方法过度依赖种子点的选择；ACM依赖初始轮廓的位置，且对噪声敏感；基于MRF理论的分割方法易消耗不必要的计算等。随着深度学习方法的发展，神经网络已成功用于一般类型结节的分割中，但针对GGN分割的神经网络较少。Wang等[12]提出一种中心聚焦卷积神经网络（central focused-convolutional neural network，CF-CNN），在含未知数量GGN的测试集上戴斯相似性系数（Dice similarity coefficient，DSC）均值达81.09%。Liu等[13]的级联双路径残差网络（cascaded dual pathway-residual network，CDP-ResNet）和Cao等[14]的双分支残差网络（dual branch-residual network，DB-ResNet）也在含GGN的测试集进行了测试，DSC均值分别达81.58%、82.74%，但GGN的数据量未见报道。Wu等[15]用三维U型网络（U-Net）分割结节联合条件随机场（conditional random field，CRF）优化分割结果的方法，在仅有的68个GGN测试中，DSC达83.28%。深度学习分割方法已在许多实验研究中表现出了精度高、速度快的优势，备受关注；但目前针对GGN分割的深度学习方法仍较少。在此基础上，本文将深度学习与传统方法结合，先用提出的基于空洞空间卷积池化金字塔结构和注意力机制的残差网络（residual network based on atrous spatial pyramid pooling structure and attention mechanism，ResAANet）粗分割GGN，再用传统方法去除假阳性区域，力求解决GGN分割精度低、分割难度大的问题，旨在为医生提供准确的结节大小、密度等信息，辅助医生后续的诊断和治疗。
1. GGN分割模型
针对GGN分割，本文设计的分割框架主要包括针对感兴趣区域（region of interest，ROI）的图像预处理、ResAANet粗分割和连通域分析细分割三部分，最终实现结节分割结果优化，其流程如图2所示。
图 2.
Flow chart of optimized GGN segmentation by ResAANet combined with connected component analysis method
ResAANet结合连通域分析方法优化的GGN分割流程图
1.1. 图像预处理
本文实验数据分三组：① 临床数据组1：从上海市胸科医院采集的565个GGN原图及对应标注信息，图像层厚为0.625～3.0 mm，作为模型的训练集和验证集；② 临床数据组2：从上海市胸科医院采集的另84个GGN，图像层厚为0.625～1.0 mm，作为模型的测试集1；③ 来自美国国家癌症研究中心创建的肺部图像数据库联盟（lung image database consortium，LIDC）（https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI）的145个GGN，图像层厚为0.45～5.0 mm，作为模型的测试集2；该LIDC数据库是全球范围内可用于肺结节分割算法研究的公共数据库，包含1 010例患者共1 018次胸部CT扫描序列以及相应的诊断报告，报告中包含四位放射科医生对序列中结节数量、边界和良恶性判断的注释。
本文使用的临床数据已得到上海市胸科医院伦理审查委员会的批准。将医生标注的结节信息视为金标准，而LIDC数据库也包含有四位医生标注结节信息的记录，由于不同医生标注的轮廓信息存在互异性，本文取50%的置信度生成唯一的金标准[16]。采用的数据其直径信息如图3所示。
图 3.
GGN diameter distribution
GGN直径分布
本文在前人工作[17-19]的基础上，先将医学数字成像和通信（digital imaging and communications in medicine，DICOM）图像的CT值调整到[−1 000，400] Hu之间，再以8 bit灰度图像进行保存，以凸显GGN与周围结构组织的差异。然后，以结节为中心，分别对原图像和金标准提取256×256个像素大小的ROI做网络输入，预处理效果如图4所示。
图 4.
Image preprocessing result
图像预处理效果
1.2. ResAANet分割网络
本文基于U-Net框架设计了一个分割网络：使用空洞空间卷积池化金字塔（atrous spatial pyramid pooling，ASPP）结构桥接编、解码路径，利用多个并行的空洞卷积提取目标区域的多尺度感受野特征，提高模型对尺度变化明显的结节的分割精度；通过注意力机制加强结节区域的权重，减少结节区域与背景区分度低对模型的干扰，提升分割精度；引入改进的残差块，使深层特征与浅层特征进行融合，增强特征的传播能力，同时避免训练中梯度消失问题。对于结果中的假阳性区域，利用提出的连通域分析方法得到有效优化。
1.2.1. 改进的残差块
在一定程度上，网络的表达能力会随着网络深度的增加而增强。而对于用残差单元加深网络深度带来的梯度消失问题，He等[20]将线性整流函数（rectified linear unit，ReLU）激活层加入残差单元中，获得了收敛性能和像素分类性能都有所提升的网络。在本文提出的网络中，将批量标准化（batch normalization，BN）层加在ReLU激活函数之前，得到改进的残差块，如图5所示。ReLU是非线性激活函数，其表达式及其导数形式（ReLU’），如式(1)～式(2)所示：
图 5.
Residual structure
残差结构
 |
1 |
 |
2 |
式中，x表示输入的特征值，max（x, 0）表示取二者中的最大值。由式(2)可知，当网络的学习率较大时，反向传播过程会产生较大的梯度进入ReLU层，使该层更新的偏置和权重过小，造成下一轮正向传播过程中该层的输出为0，相关参数不再更新，最终导致整体数据分布往ReLU函数的上下限两端靠、神经元失活。于是，使用BN层将输入ReLU层之前的数据强行转换为标准正态分布，如式(3)所示：
 |
3 |
式中，x（k）表示k维数据矩阵，其中E[x（k）]表示最小批处理的均值， Var[x（k）]表示最小批处理的方差。然而，这样强行变换数据分布会导致部分特征无法学习到。因此，引入γ、β两个参数，同时使模型通过反向传播自适应学习这两个参数，得到BN层的输出y，如式(4)所示:
 |
4 |
BN层的加入使输入ReLU激活层的数据在反向传播中能产生更明显的梯度，增强了特征的传播能力，打破了较大学习率的设置对ReLU函数激活神经元的干扰，让网络加速收敛，同时避免了梯度消失的问题。
1.2.2. ASPP模块
ASPP模块，如图6所示，主要利用空洞卷积[21]设置不同的扩张率得到不同视野大小的特征图，以捕获分割目标的多尺度信息。空洞卷积通过在滤波器中间填充0来扩大核间隔得到大小为k + （k − 1）×（r − 1）的膨胀卷积核，式中k表示当前层卷积核的大小，r表示扩张率，当r = 1时，空洞卷积即标准卷积。空洞卷积虽扩大了感受野，但并未增加新的参数和计算量。ASPP模块主要由4个卷积层，1个全局均值池化 （global average pooling，GAP）层并行组成，最后将5个通道的输出合并在一起，实现了不同尺度特征图的获取以及跨通道信息的整合，接收信息的区域得到增加，从而合并更多的上下文特征。
图 6.
ASPP block
ASPP模块
1.2.3. 注意力模块
网络的特征表示会随着网络的加深越加丰富，但由于级联卷积及下采样操作，很多空间信息会丢失。为此，本网络在编、解码路径中加入注意力模块，不仅将编码层中的空间信息传播到解码层，也减少了前向传播过程中信息的丢失。本网络使用的注意力模块由通道注意力和空间注意力模块共同组成[22]，同时在空间和通道上对输入进行较准，当输入特征图的位置信息在通道及空间较准中均有更高的重要性时，即得到更高的激活度，从而鼓励网络学习更多的有效特征，其结构如图7所示。对于通道注意力模块，输入的全局特征映射先由一个GAP层压缩至一个矢量中，并经全连接（dense）层和ReLU激活函数处理后输入权重不同的另一个全连接层，然后经“S”形函数（Sigmoid）较准；最后将该输出与输入特征图相乘，能充分保留通道信息，随着网络的学习，其输出会自适应地调整，以学习更多重要的目标特征。对于空间注意力模块，输入的特征映射先输入一个核大小为1×1的卷积层中，得到一个输出张量，该张量经Sigmoid函数较准后与输入特征图相乘，得到该模块的输出，可保留更多重要的空间信息。
图 7.
Attention module
注意力模块
1.2.4. 网络结构
ResAANet结构，如图8所示，采用256 × 256 × 1个像素大小的图像输入，并在每个卷积层后使用BN处理及ReLU激活函数，有效避免了训练过程中的过拟合或欠拟合。网络的编码路径包含4个下采样模块和1个ASPP模块，每个下采样模块又包含一个改进的残差块和一个注意力模块。网络的解码路径由4个上采样模块组成，每个上采样模块同样包含1个改进的残差块和一个注意力模块，将局部特征的分辨率恢复至输入图像大小。编码路径与解码路径使用ASPP模块桥接，该模块从编码路径学习到的高层特征中提取结节的多尺度特征，并将这些特征传递至解码路径中。此时各模块的输出，如式(5)～式(7)所示：
图 8.
ResAANet structure
ResAANet结构
 |
5 |
 |
6 |
 |
7 |
式中，YAttention是注意力模块输出，YIm-Res是改进的残差模块输出，YConv是卷积层输出，wX1、 wX2、wX3是每层的权重，bX1、bX2、 bX3是每层的偏置。由上式可知，编码路径的输出已融合了注意力模块和改进残差块所学习到的GGN特征，各模块利用各自的结构优势，减少了前向传播过程中信息的丢失，提取了结节更充分的抽象特征。在解码路径的最后一级使用1 × 1卷积和Sigmoid函数将多通道特征映射投影到目标区域的分割中，并取0.5的阈值[18, 23]生成最终预测掩模。
1.2.5. 模型训练
数据经预处理后，将临床数据组1的565个GGN随机打乱；然后，将该数据集按9：1随机划分为训练集、验证集，并对训练集和验证集做旋转、平移、缩放操作进行数据扩增，输入网络训练；最后，使用测试集1和测试集2测试模型。模型训练的批处理大小为32，初始学习率为10−2，卷积层权重使用He正态分布方法初始化。训练过程中，使用后向传播算法和动量（momentum）值为0.9、衰减率为10−4的随机梯度下降（stochastic gradient descent，SGD）优化器监督损失函数，优化网络参数，使训练样本的输出愈加接近对应的标签，并降低损失率，直到模型趋于稳定，保存损失值最小时模型的权重和偏置，用此权重和偏置分割测试集，得到GGN粗分割结果。深度学习分割网络主要利用损失函数反映预测图像与标签的差异，本文使用的是重叠度（intersection over union，IoU） 损失函数（
），如式(8)所示：
 |
8 |
式中，pi和gi分别表示第i个像素对应的算法预测结果和金标准值，经Sigmoid函数分类后，pi∈[0,1]。
本文提出的ResAANet经过500次迭代训练、耗时约11.39 h后，训练结果趋于稳定。如图9所示，损失不断减小，网络不断优化，且最终训练与验证的损失值基本一致，同时，训练与验证的重叠率曲线拟合得也很好，不存在过拟合或欠拟合现象。然而，由于训练集与验证集是按照GGN个体进行随机划分的，两个数据集不可避免地存在样本差异，以致训练过程中验证曲线出现轻微震荡，但仍属正常情况。
图 9.
Network model training results
网络模型训练情况
1.3. 分割结果优化
由于部分解剖结构的灰度值与GGN相近，导致深度学习网络的预测结果中存在部分假阳性区域。本文采用连通域分析方法去除假阳性区域，其实施流程如图10所示。对预测结果中连通域进行标记，利用GGN质心即ROI中心，计算连通域质心与ROI中心的距离，以锁定该距离最短的目标连通域，并以该连通域的面积S为最佳阈值，去除假阳性区域。
图 10.
Flow chart of optimized segmentation result
优化分割结果流程图
2. 实验结果
实验工具为Python 3.6（Centrum Wiskunde & Informatica，荷兰）中的Keras 2.1.6，编译环境搭建在64位Windows 10操作系统上，中央处理器（central processing unit，CPU）为3.20 GHz，图形处理器（graphics processing unit，GPU）为1 080 Ti，内存32 GB。Keras（Google Inc.，美国）是一个高度开源的深度学习库，它可以利用诸如GPU等并行结构优化深度学习模型，本文使用端对端开源机器学习平台Tensorflow（Google Inc.，美国）作后端搭建模型。经反复训练、验证，得到稳定模型后，将测试数据输入网络得到预测掩模，并用上述连通域分析方法进行分割结果优化，得到最终的分割掩模。
本文算法分割效果及优化效果，如图11所示。图11中绿色轮廓为金标准，蓝色轮廓为算法分割结果。从分割结果与金标准的拟合程度来看，本文提出的方法在pGGN与mGGN两类结节的分割上效果较好，且对分割难度大的空洞型mGGN（见图11中最后一行所示）的分割也适用。根据优化结果来看，本文提出的优化分割方法能有效去除因临近组织灰度相近而产生的假阳性区域，并且对不含假阳性区域的分割结果不产生影响。
图 11.
Segmentation results of the algorithm in this paper
本文算法分割效果
2.1. 分割方法评价指标
在分割结果的量化评价方面，本文将算法自动分割结果和金标准之间的戴斯相似性系数（Dice similarity coefficient，DSC）、阳性预测值（positive prediction value，PPV）、敏感性（sensitivity，SEN）和IoU作为评价指标，如式(9)～式(12)所示：
 |
9 |
 |
10 |
 |
11 |
 |
12 |
式中，真阳性（true positive，TP） 即算法检测为结节区域且为金标准区域；假阳性（false positive，FP） 即算法检测为结节区域但非金标准区域；假阴性（false negative，FN） 即算法检测为非结节区域且非金标准区域；真阴性（true negative，TN） 即算法检测为非结节区域但是金标准区域[24]。
以上指标中，DSC用来衡量分割结果与金标准之间的轮廓拟合程度；PPV是指分割结果中分类正确的像素占分割结果中总像素的比例；SEN则是用来表示分割结果中分类正确的像素占金标准中总像素的比例；IoU用来衡量分割结果与金标准之间的重合程度。以上四个评价指标的数值范围均在0～1之间，且值越大表明分割结果与金标准越接近，分割效果越好。
2.2. 实验结果与对比
用模型对测试集1和测试集2进行粗分割后，对该结果进行优化，两测试集的各指标值及分割效率，如表1所示。
表 1. Segmentation results of the algorithm in this paper.
本文算法分割结果
| 数据集 | 测试结节数量/个 | 后处理（是/否） | DSC | PPV | SEN | IoU | 分割效率/(s·张−1) |
| 测试集 1 | 84 | 否 | 82.46% | 78.48% | 90.51% | 71.29% | 0.10 |
| 是 | 83.46% | 79.76% | 90.52% | 72.39% | |||
| 测试集2 | 145 | 否 | 82.92% | 81.43% | 86.26% | 71.17% | |
| 是 | 83.26% | 81.91% | 86.28% | 71.56% |
本文的ResAANet分割网络主要是将改进的残差块、ASPP模块、注意力模块巧妙地融合于U-Net框架中得到。为进一步验证该分割网络的性能，本文在U-Net结构的基础上设计了是否含改进的残差块、ASPP模块、注意力模块等7个基于深度学习方法（U-Net结合ASPP模块、U-Net结合注意力模块、U-Net结合ASPP与注意力模块、残差U-Net、残差U-Net结合ASPP模块、残差U-Net结合注意力模块）的对比实验，以及基于GMM的MRF （GMM-MRF） 水平集（level set） 的两种传统方法的对比实验。以上实验均在同一计算机环境中进行，并在相同数据集划分情况下训练、验证，在各模型稳定后，对两组测试集进行相同测试。得到对比实验结果，如表2所示。
表 2. Results of comparative experiments.
对比实验结果
| 方法 | U-Net结构 | 改进的残差块 | ASPP | 注意力模块 | DSC | PPV | SEN | IoU |
| GMM-MRF | — | — | — | — | 53.25% | 62.98% | 67.97% | 43.94% |
| level set | — | — | — | — | 61.73% | 58.31% | 82.28% | 46.17% |
| U-Net | + | — | — | — | 72.68% | 68.06% | 84.64% | 60.11% |
| U-Net结合ASPP模块 | + | — | + | — | 75.37% | 76.91% | 80.06% | 63.84% |
| U-Net结合注意力模块 | + | — | — | + | 72.73% | 71.26% | 79.92% | 61.71% |
| U-Net结合ASPP与注意力模块 | + | — | + | + | 77.64% | 73.86% | 86.87% | 65.96% |
| 残差U-Net | + | + | — | — | 65.08% | 59.86% | 80.04% | 52.25% |
| 残差U-Net结合ASPP模块 | + | + | + | — | 77.16% | 76.40% | 82.52% | 65.37% |
| 残差U-Net结合注意力模块 | + | + | — | + | 71.40% | 70.87% | 78.15% | 60.03% |
| 本文提出的方法 | + | + | + | + | 83.36% | 80.84% | 88.40% | 71.56% |
同时，将本文提出的ResAANet分割网络与其他一些结节分割方法[6, 9, 13-14, 23, 25-26]在LIDC数据库中的GGN数据集上的分割表现进行对比，并以算法分割结果和金标准之间的DSC、IoU值和分割效率作为评价指标，结果如表3所示。
表 3. The performance of different methods on the LIDC dataset.
各类方法在LIDC数据集的表现
2.3. 实验结果讨论
从表2与表3中可以看出，GMM-MRF及level set方法用于分割GGN的各评价指标值明显低于其他8个深度学习分割网络的，分析其原因，GMM-MRF方法在实施分割之前需要人工指定GGN区域与背景区域种子点，两个种子点的灰度对比度于分割结果的影响非常大，而level set方法需要人工给定初始轮廓的位置及大小，对于与周围组织对比度低的GGN而言，分割难度较大。相比之下，本文提出的ResAANet分割网络较其他7个对比分割网络的分割结果要更好，说明同时融合改进的残差块、ASPP模块、注意力模块三个结构的ResAANet其分割性能最好。在针对具体类型的GGN分割中，各类方法各有其优缺点。在孤立型pGGN的分割中，各类方法均表现较好；在粘连型GGN的分割中，GMM-MRF方法出现了严重的边界泄露，level set方法在该类结节分割中存在明显的欠分割，U-Net等其他神经网络虽能准确定位出结节的位置，但出现了不同程度的假阳性区域，而本文方法则保证了较高的分割准确率；在空洞型mGGN的分割中，GMM-MRF方法无法准确区分结节区域和血管区域从而导致分割不准确，level set则通过曲线演化只分割出了结节中的空洞成分，U-Net等其他神经网络皆产生明显的欠分割现象，但本文方法对该类结节的分割效果较好。此外，通过对比各方法的分割效率后，可看出本文提出的方法分割精度更高、速度更快，更能满足临床对GGN分割的需求。
另外，将以上8个深度学习网络取前300轮的训练损失值进行比较，如图12所示，可以看出本文的ResAANet的训练损失曲线下降平缓，且比其他网络的损失率低，故本文提出的网络分割性能更佳。
图 12.
Loss graph of 8 comparative networks
8个对比网络的损失曲线图
3. 总结
为解决CT影像中GGN灰度对比度低、边界模糊给图像分割带来的难题，本文先用深度学习方法粗分割结节，再用传统方法去除假阳性区域，优化分割结果。本文提出的ResAANet分割网络基于U-Net框架进行改进：① 将BN层加入残差结构，减少了内部协方差的漂移，同时避免了残差结构加深网络深度带来的网络梯度消失、性能退化的问题；并以跳跃连接将低层特征和高层特征进行了有效融合，使整个网络的有效信息损失最小化。② 用ASPP模块替代网络瓶颈层中的卷积层，有效地从高层特征图中提取GGN多尺度感受野特征，提高了模型处理大小不同的GGN的能力；③ 通道注意力模块和空间注意力模块结合，有效减少了传递过程中结节特征信息的损失。
本文提出的分割网络在临床收集的数据集以及LIDC公共数据集上进行了大量实验，并与其他结节分割方法进行了比较，验证了本文方法在GGN分割上的有效性。对于深度学习分割结果中存在的假阳性区域，本文提出的连通域分析方法能有效去除假阳性区域。最终，本文方法在临床数据集和LIDC数据集的测试结果显示DSC可达83.46%、83.26%，IoU可达72.39%、71.56%，此外，切片分割效率达0.1 s/张，表明该方法不仅支持GGN自动分割方法的研究，而且为肺癌的计算机辅助诊断提供了一个强大而有效的工具，该工具不仅可以提高GGN的人工识别能力，还可以减少使用辅助工具分割的时间，有望成为医生进行结节大小、密度等计算工作的“好帮手”。在未来工作中，本课题组计划提高粘连型GGN及其他类型结节的分割精度，同时通过优化分割网络模型，实现无假阳性区域分割。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：董婷是本研究的实验设计者和实验研究的执行人，完成数据分析，论文初稿的写作与 修改；魏珑和叶晓丹指导论文写作，提出修改意见；陈阳与侯学文参与实验设计和试验结果分析；聂生东是项目的构思者及负责人，指导实验设计、数据分析、论文写作与修改。全体作者都阅读并同意最终的文本。
伦理声明：本研究通过了上海市胸科医院伦理委员会的审批（批文编号：KS1832）。
Funding Statement
国家自然科学基金重点项目(81830052)；上海市分子影像学重点实验室项目(18DZ2260400)；上海市自然科学基金(20ZR1438300)
National Natural Science Foundation of China; Shanghai Key Laboratory of Molecular Imaging; Shanghai Municipal Natural Science Foundation
References
- 1.Siegel R L, Miller K D, Jemal A Cancer statistics, 2020. CA Cancer J Clin. 2020;70(1):7–30. doi: 10.3322/caac.21590. [DOI] [PubMed] [Google Scholar]
- 2.Henschke C, Yip R, Ma T, et al CT screening for lung cancer: comparison of three baseline screening protocols. Eur Radiol. 2019;29(10):5217–5226. doi: 10.1007/s00330-018-5857-5. [DOI] [PubMed] [Google Scholar]
- 3.Fan L, Liu S Y, Li Q C, et al Multidetector CT features of pulmonary focal ground-glass opacity: differences between benign and malignant. Br J Radiol. 2012;85(115):897–904. doi: 10.1259/bjr/33150223. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 4.Liu H, Zhang C M, Su Z Y, et al Research on a pulmonary nodule segmentation method combining fast self-adaptive FCM and classification. Comput Math Methods Med. 2015;2015:185726. doi: 10.1155/2015/185726. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.Liu Hui, Geng Fenghuan, Guo Qiang, et al A fast weak-supervised pulmonary nodule segmentation method based on modified self-adaptive FCM algorithm. Soft comput. 2018;22(12):3983–3995. doi: 10.1007/s00500-017-2608-5. [DOI] [Google Scholar]
- 6.Shakibapour E, Cunha A, Aresta G, et al An unsupervised metaheuristic search approach for segmentation and volume measurement of pulmonary nodules in lung CT scans. Expert Syst Appl. 2019;(119):415–428. [Google Scholar]
- 7.Nithila E E, Kumar S S Segmentation of lung nodule in CT data using active contour model and fuzzy C-mean clustering. Alexandria Engineering Journal. 2016;55(3):2583–2588. doi: 10.1016/j.aej.2016.06.002. [DOI] [Google Scholar]
- 8.Li B, Chen K, Peng G M, et al Segmentation of ground glass opacity pulmonary nodules using an integrated active contour model with wavelet energy-based adaptive local energy and posterior probability-based speed function. Materials Express. 2016;6(4):317–327. doi: 10.1166/mex.2016.1311. [DOI] [Google Scholar]
- 9.Jung J, Hong H, Goo J M Ground-glass nodule segmentation in chest CT images using asymmetric multi-phase deformable model and pulmonary vessel removal. Comput Biol Med. 2018;92:128–138. doi: 10.1016/j.compbiomed.2017.11.013. [DOI] [PubMed] [Google Scholar]
- 10.Farhangi M M, Frigui H, Seow A, et al 3-D active contour segmentation based on sparse linear combination of training shapes (Scots) IEEE Trans Med Imaging. 2017;36(11):2239–2249. doi: 10.1109/TMI.2017.2720119. [DOI] [PubMed] [Google Scholar]
- 11.Zhang S, Chen X, Zhu Z, et al Segmentation of small ground glass opacity pulmonary nodules based on Markov random field energy and Bayesian probability difference. Biomed Eng Online. 2020;19(1):51. doi: 10.1186/s12938-020-00793-0. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 12.Wang Shuo, Zhou Mu, Liu Zaiyi, et al Central focused convolutional neural networks: developing a data-driven model for lung nodule segmentation. Med Image Anal. 2017;40(40):172–183. doi: 10.1016/j.media.2017.06.014. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 13.Liu H, Cao H, Song E, et al A cascaded dual-pathway residual network for lung nodule segmentation in CT images. Phys Med. 2019;63:112–121. doi: 10.1016/j.ejmp.2019.06.003. [DOI] [PubMed] [Google Scholar]
- 14.Cao H, Liu H, Song E, et al Dual-branch residual network for lung nodule segmentation. Appl Soft Comput. 2020;2020(86):105934–105945. [Google Scholar]
- 15.Wu Wenhao, Gao Lei, Duan Huihong, et al Segmentation of pulmonary nodules in CT images based on 3D-UNET combined with three-dimensional conditional random field optimization. Med Phys. 2020;47(9):4054–4063. doi: 10.1002/mp.14248. [DOI] [PubMed] [Google Scholar]
- 16.Meyer C R, Johnson T D, Mclennan G, et al Evaluation of lung MDCT nodule annotation across radiologists and methods. Acad Radiol. 2006;13(10):1254–1265. doi: 10.1016/j.acra.2006.07.012. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 17.Wang Wenzhe, Feng Ruiwei, Chen Jintai, et al Nodule-plus R-CNN and deep self-paced active learning for 3D instance segmentation of pulmonary nodules. IEEE Access. 2019;7(99):128796–128805. [Google Scholar]
- 18.Cai Linqin, Long Tao, Dai Yuhan, et al Mask R-CNN-based detection and segmentation for pulmonary nodule 3D visualization diagnosis. IEEE Access. 2020;8:44400–44409. doi: 10.1109/ACCESS.2020.2976432. [DOI] [Google Scholar]
- 19.Li Xiangxia, Li Bin, Liu Fang, et al Segmentation of pulmonary nodules using a GMM fuzzy C-means algorithm. IEEE Access. 2020;8(99):37541–37556. [Google Scholar]
- 20.He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks// European Conference on Computer Vision, Cham: Springer, 2016: 630-645.
- 21.Yu F, Koltun V Multi-scale context aggregation by dilated convolutions// International Conference on Learning Representations, Computer Vision and Pattern Recognition. New York: Academic Press. 2015:255. [Google Scholar]
- 22.Roy A G, Navab N, Wachinger C. Concurrent spatial and channel squeeze & excitation in fully convolutional networks//Medical Image Computing and Computer Assisted Intervention (MICCAI), Cham: Springer, 2018: 421-429.
- 23.Jiang J, Hu Y C, Liu C J, et al Multiple resolution residually connected feature streams for automatic lung tumor segmentation from CT images. IEEE Trans Med Imaging. 2019;38(1):134–144. doi: 10.1109/TMI.2018.2857800. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 24.Esteves T, Quelhas P, Mendonca A M, et al Gradient convergence filters and a phase congruency approach for in vivo cell nuclei detection. Machine Vision Applications. 2012;23(4):623–638. doi: 10.1007/s00138-012-0407-7. [DOI] [Google Scholar]
- 25.Dhara A K, Mukhopadhyay S, Das Gupta R, et al Erratum to: a segmentation framework of pulmonary nodules in lung CT images. J Digit Imaging. 2016;29(1):148–148. doi: 10.1007/s10278-015-9812-6. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 26.Song Jiangdian, Yang Caiyun, Fan Li, et al Lung lesion extraction using a toboggan based growing automatic segmentation approach. IEEE Trans Med Imaging. 2016;35(1):337–353. doi: 10.1109/TMI.2015.2474119. [DOI] [PubMed] [Google Scholar]