基于深度学习的甲状腺疾病超声图像诊断研究综述

Abstract

近年来，甲状腺疾病的发病率显著升高，超声检查是甲状腺疾病诊断的首选检查手段。同时，基于深度学习的医疗影像分析水平快速提高，超声影像分析取得了一系列里程碑式的突破，深度学习算法在医学图像分割和分类领域展现出强大的性能。本文首先阐述了深度学习算法在甲状腺超声图像分割、特征提取和分类分化三个方面的应用，其次对深度学习处理多模态超声图像的算法进行归纳总结，最后指出现阶段甲状腺超声图像诊断存在的问题，展望未来发展方向，以期促进深度学习在甲状腺临床超声图像诊断中的应用，为医生诊断甲状腺疾病提供参考。

0. 引言

甲状腺结节是颈部常见疾病。其中，甲状腺癌是全球近20年来发病率增长最快的恶性肿瘤。2020年全球癌症统计报告表明，甲状腺癌新增人数占癌症总人数的3.0%，死亡率占0.4%；女性的发病率较高，同时发达国家的发病率高于发展中国家^[1]。细针穿刺是甲状腺癌检查的“金标准”，近年来，以超声为主的新诊断技术在甲状腺癌的筛查中已广泛使用，避免了对人体细胞的过度穿刺，但也出现了甲状腺结节的过度诊治问题^[2]。

超声检查是目前诊断甲状腺结节的首选检查手段，超声成像对人体的软组织有良好的分辨能力，且无电离辐射，成像速度快，能够形成层次分明的切面图像，数项研究证实超声检查在甲状腺结节诊断中的有效性^[3]。2017年美国放射学学院发布的甲状腺成像、报告和数据系统（thyroid imaging reporting and data system，TI-RADS）把甲状腺结节诊断的重要超声特征分为五类，包括成分、回声、形状、边缘和回声灶^[4]。TI-RADS提供了基于超声影像管理甲状腺结节的指导意见，引入了客观评分体系。

现行指南推荐，良性甲状腺结节大部分采用随访观察的处理方法，而恶性甲状腺癌多采用手术治疗。但在实际施行过程中，甲状腺结节具有较强的异质性，内部成分不均一，良性结节和恶性肿瘤的超声图像存在重叠现象，而且图像本身也存在伪像较多、噪声大等问题，医生对甲状腺超声图像评判的准确性和一致性受到影响。同时，传统的图像分割方法需要人为设置参数，具有局限性。不同医学设备采集的图像适用性和反映的信息也不同，因此在空间位置、灰度表达和分辨率方面的差异很大。

深度学习是机器学习中一个较新且十分重要的研究领域，它更贴近于人工智能。传统的机器学习需要专业的医师对图像进行分割，而深度学习可以直接对图像进行处理，并且对图像的变化具有鲁棒性，从而有利于实现诊断的自动化^[5]。已有诸多学者对基于深度学习的甲状腺疾病超声图像诊断研究的相关论文进行介绍和总结。例如，Chen等^[6]介绍了医学超声图像甲状腺分割及甲状腺结节分割方法，同时详细分析了方法之间的相关性。Cao等^[7]总结了基于影像组学的分化型甲状腺癌（differentiated thyroid carcinoma，DTC）在各种成像技术中的分类和预测性能等相关研究，讨论了影像组学的应用和局限，主要强调其对DTC患者的实用性。Sharifi等^[8]评估了深度学习在甲状腺结节超声图像上的诊断过程，提出了未来工作中需要解决的几个现有问题。针对上述研究，本文除了介绍甲状腺超声图像的分割方法外，还进一步从图像的特征提取和分类分化等方面进行阐述；本文也基于深度学习算法，更细致深入综述了多模态甲状腺超声图像研究。

总之，本文综述了近几年来提出的基于深度学习的甲状腺疾病超声图像诊断的关键技术研究进展，系统梳理深度学习在甲状腺超声图像分析各个过程的国内外研究现状，重点对甲状腺超声图像的分割、特征提取、分类和分化等方面有代表性的文献进行归纳总结，同时将多模态图像下深度学习方法处理超声图像的文献进行阐述，最后总结深度学习方法应用于甲状腺图像分析时面临的挑战并对未来发展方向进行展望。

1. 甲状腺疾病超声图像诊断关键技术研究

1.1. 基于深度学习的甲状腺超声图像分割

分割的目标是勾勒和分离图像中的不同对象，以获得病变区域的形状和边界。目前，超声图像分割的流程一般包含图像预处理、感兴趣区域定位和图像分割三个阶段。由于受到超声图像固有缺点的影响，计算机很难准确地识别出原始超声图像中的甲状腺区域，因此通常需要在分割甲状腺结节之前进行图像预处理，一般的预处理方法是在甲状腺超声图像中标记出结节的粗略位置后，对图像进行去噪和增强^[9]。感兴趣区域定位是指检测病灶区的大体位置，该过程有助于减少计算量，提高算法速度，同时也能减少背景干扰，提高算法精度。

基于深度学习的分割方法能够识别超声图像中甲状腺实质与结节大小、形状、边缘等信息并进行准确分割，从而可以更准确地对甲状腺超声图像进行诊断。卷积神经网络（convolutional neural network，CNN）是深度学习算法中最常用的一种网络架构，它能够对图像进行分层特征表示，这使其在医学图像分割领域具有非常优异的适应性。Kumar等^[10]提出了一种具有扩张卷积层的新型多输出CNN算法。此算法可以自动检测和分割甲状腺结节和囊性成分，平均骰子（Dice）系数为0.76，其性能与当代种子算法相当，但它不能分割非常小的囊性成分。

CNN中基于U型网络（U-Net）解码—编码网络结构和U-Net网络变体的语义分割模型在甲状腺超声图像分割方面也被广泛应用。U-Net网络通过结合低分辨率和高分辨率特征图，有效地融合了低级和高级图像特征，其典型的研究成果汇总如表1所示。Chu等^[11]提出了一种用于甲状腺结节超声图像分割的标记引导U-Net（marker-guided U-Net，MGU-Net）模型，该模型分割的结节区域与人工描绘的结节区域重叠率接近100%，分割准确率高达97.85%。MGU-Net模型在训练数据较少的情况下，显著提高了甲状腺结节的分割精度，为临床诊断和治疗提供了参考。Wu等^[12]以U-Net为骨干，提出了一种基于联合上采样的甲状腺结节超声图像分割方法。此方法提高了挖掘全局上下文信息的能力，实现了结节目标的精确定位，准确率达到93.19%，Dice相似系数（Dice similarity coefficient，DSC）为0.855 8，优于现有的其它甲状腺结节分割网络模型。但此模型比U-Net模型更复杂，因此计算时间较长。Ding等^[13]提出了一种残差注意门U-Net（residual substructures and attention gates U-Net，ReAgU-Net）模型，将改进的残差单元嵌入到编解码路径之间的跳跃连接中，并引入注意力机制，使从浅层和深层获得的权重特征图相乘，准确率达到87.3%。这一模型增加了反向传播梯度，解决了网络深度增加造成的空间信息损失问题，但当结节和背景之间的对比度较低时，该模型的性能较差。相反，Yang等^[14]提出的双路径镜像U-Net（dual-route mirroring U-Net，DMU-Net）对边缘细节敏感，在分割对比度较低的图像时具有优势。该方法使用U形子网和倒U形子网以及三个模块提取超声图像中甲状腺结节的信息，同时引入了相互学习的策略，以提高DMU-Net的性能，最终获得的DSC系数高于分割网络（SegNet）、U-Net和嵌套U-Net架构（U-Net++）。

表 1. Research results of U-Net networks in thyroid ultrasound image segmentation.

U-Net网络在甲状腺超声图像分割中的研究成果

文献	算法模型	准确率（%）	DSC
[11]	MGU-Net	97.85	0.957 6
[12]	联合上采样的U-Net模型	93.19	0.855 8
[13]	ReAgU-Net	87.30	0.869 0
[14]	DMU-Net	—	0.727 2～0.810 7

深度实验（DeepLabv3+）是深度学习语义分割中一种较为先进的方法，其引入了解码器模块，提升了分割边界的准确度。Webb等^[15]分四个阶段训练一个基于DeepLabv3+的卷积长短期记忆神经网络模型，同时利用超声图像的空间背景进行语义分割。他们提出的模型在甲状腺上的平均交叉联合得分为0.739，适用于甲状腺超声视频的自动分割，但此模型在分割囊肿和结节的表现不佳，尚不能用作辅助工具。Sun等^[16]提出了一种包括区域和形状的双路径CNN，此网络使用DeepLabv3+作为骨干，在两条路径之间插入软形状监督块，以实现跨路径注意力机制，测试结果的准确率为95.81%，DSC为0.853 3。与经典算法相比，此算法通过软形状监督块提高了边界的识别和提取能力，同时双路径网络可以准确地实现超声图像上甲状腺结节的自动分割，提高了分割的完整性。

有些研究者通过图像中存在的标记物来提高模型性能。例如，Buda等^[17]利用图像中存在的卡尺提出并评估了两种基于深度学习的甲状腺结节分割方法，第一种方法使用卡尺生成的近似结节掩模；第二种方法将手动注释与卡尺自动引导相结合。当仅使用近似结节掩模进行训练时，实现的DSC为0.851，使用手动注释训练网络的DSC为0.904，当增加卡尺的自动引导时，性能增加到DSC为0.931。此方法可以减少创建用于开发深度学习模型的数据集所需的人工劳动，但分割掩模由单个读取器提供，因此分割的结果可能存在偏差，特定读取器也存在过拟合的风险。

1.2. 基于深度学习的甲状腺超声图像特征提取

医学图像的复杂性使其具备大量特征，但其中许多特征是多余或不相关的。超声图像一般包含较多的标记和背景信息，而甲状腺病变区域通常只占一小部分。特征提取，是指计算机自动识别并提取超声图像中病变区域的信息，将提取的高层次深度特征和低层次特征融合进行分类识别。

过去，研究人员通常使用传统的机器学习算法从甲状腺超声图像中手动提取形态特征或纹理特征。这种方法的整体性能受到图像模式、图像质量、病变形态相似性、癌症类型等因素的影响，并且对良性结节和恶性甲状腺癌的区分能力有限。近年来，CNN在特征学习方面极具优势，其可以在卷积层序列上应用具有合适过滤器的卷积操作，促进了深度学习在甲状腺超声图像特征提取中的应用^[18]。例如，Zhao等^[19]提出了一种结合CNN和图像纹理特征的自动化诊断甲状腺超声结节方法，构建了一个能够适应甲状腺结节特征的深度神经网络诊断模型，结果表明此网络可以区分甲状腺良恶性结节，平衡F分数（F1 score，F1）达到了92.52%。与传统的机器学习方法和CNN相比，该方法的性能更好，同时也可应用于迁移学习和融合特征结构下的各个领域。Song等^[20]在CNN中增加了特征裁剪分支，对特征图进行批量裁剪，这一方法在数据集中实现了96.13%的准确率、93.24%的精度、97.18%的召回率和95.17%的F1分数，优于其它模型；该方法可以降低图像局部特征的相似性对分类的影响，同时解决了参数过多的问题。Wang等^[21]提出一种基于CNN的新型架构，该架构包括特征提取网络、基于注意力的特征聚合网络和分类网络。其中，特征提取网络可以一次性从不同的视图中提取特征，同时使用注意力网络来聚合这些特征，此架构在测试集上达到了84.62%的准确率，但在这项工作中没有对图像进行预处理，导致视图不一致。

为了关注空间信息以及满足大量训练样本的需求，Tasnimi等^[22]提出了一种基于胶囊网络的超声图像特征提取方法，此方法将深层特征与常规特征融合在一起，性能优于其它方法。同时，该胶囊网络也面临相应挑战，其中最主要的是提取组织特征的时间长，并且特征向量过长导致分类模型的基本复杂度较高。

1.3. 基于深度学习的甲状腺超声图像分类和分化

甲状腺结节按照性质来分，可以分为良性结节和恶性肿瘤，良性结节有炎症性、囊肿性、肿瘤性和增生性，恶性肿瘤又分化为乳头状癌（papillary thyroid carcinoma，PTC）、髓样癌（medullary thyroid carcinoma，MTC）、滤泡状癌（follicular thyroid cancer，FTC）和未分化癌^[23]。对甲状腺结节进行有效的分类对及时发现甲状腺疾病具有重要意义，分类准确性会影响患者能否得到及时治疗。深度学习算法在甲状腺超声图像分类和分化中的研究成果，总结如表2所示。Guan等^[24]采用深度学习算法——第三代启发式网络（Inception）系列模型（InceptionV3）对甲状腺超声图像进行分类，此算法的初始模块由几个小卷积层组成，以相对较少的参数增加了层深度，在测试组中取得了93.3%的灵敏度和87.4%的特异性。InceptionV3诊断大小为0.5～1.0 cm、具有微钙化和较高形状的结节更准确，但在诊断良性结节方面不如经验丰富的医生准确。张烽等^[25]提出一种基于全变分（total variation，TV）模型和谷歌网络（GoogLeNet）模型的甲状腺结节图像分类方法，分类准确率达到96.04%，高于乐网络5（LeNet5）和视觉几何组16（visual geometry group 16，VGG 16）模型，同时该分类方法可以修复超声图像中因标记而破坏的部分纹理。Wei等^[26]基于稠密卷积网络（dense convolutional network，DenseNet）改进了分类模型，提出一种精确定位后的甲状腺结节集成深度学习分类模型（ensemble deep learning classification model for thyroid nodules，EDLC-TN），并采用多步级联实验途径，该方法的准确率可达98.51%。但该模型没有分析甲状腺结节的广泛病理类型，同时只给出分类结果，不提供分类标准或纹理分析。Vasile等^[27]开发了一种融合CNN和迁移学习两种深度学习模型的算法，第一个模型是5-CNN，第二个模型是预先训练的视觉几何组19（visual geometry group 19，VGG19）架构。该集成5-CNN模型和VGG19模型的方法获得了优异的结果，测试准确率为97.35%，特异性为98.43%，灵敏度为95.75%，受试者工作特征曲线下面积（area under curve，AUC）为96.0%，同时还通过微调降低了网络的过拟合风险。

表 2. Research results of deep learning algorithms in thyroid ultrasound image classification and differentiation.

深度学习算法在甲状腺超声图像中分类和分化中的研究成果

文献	算法模型	准确率（%）	特异性（%）	灵敏度（%）
[24]	InceptionV3	90.50	87.40	93.30
[25]	TV模型和GoogLeNet模型	96.04	—	—
[26]	EDLC-TN	98.51	94.01	93.19
[27]	5-CNN模型和VGG19模型	97.35	98.43	95.75

在甲状腺癌难以诊断的病理分类中，罕见的病例包括FTC和许特莱细胞癌（Hürthle cell carcinoma，HCC）。Chan等^[28]采用InceptionV3、残差网络101（residual network 101，ResNet101）和VGG19三个CNN进行迁移学习，再进行训练和测试，各网络模型所得准确率分别为：76.5%（InceptionV3）、77.6%（ResNet101）和76.1%（VGG19）。研究结果表明，重新训练的深度CNN可以提高大多数DTC的诊断准确性，包括FTC；但用于训练的大多数图像呈现的是可识别的单个结节，此模型诊断边界不清的多结节性甲状腺的能力仍不清楚。

1.4. 基于深度学习的甲状腺多模态图像研究

甲状腺疾病诊断过程中期望融合各个类型的图像，多模态超声利用不同成像技术的特征互补性，可以更全面地对甲状腺结节的良恶性进行诊断，其中超声检查主要包括二维高频超声、彩色多普勒、超声造影、弹性成像和超声引导下的细针穿刺等技术^[29]。基于深度学习的方法可以直接对映射进行编码，此方法能达到比传统方法更好的融合效果，因而在实际应用中具有巨大潜力。Zhao等^[30]设计了语义一致性生成对抗网络，提出了一种新的医学图像诊断多模态域自适应方法，此方法通过自注意力机制进行双域之间的对抗学习，准确率达到94.30%，AUC达到97.02%。这一模型克服了模态数据之间的视觉差异，同时解决了模型泛化性能差的问题。Yang等^[31]提出了一个多任务级联深度学习模型，并使用多模态超声图像进行甲状腺结节的自动诊断，首先使用预训练的视觉几何组13（visual geometry group 13，VGG13）模型对结节进行分割，然后开发了一个双路径半监督条件生成对抗网络来解决模型对病变标注的依赖性，最后训练半监督支持向量机对多模态甲状腺超声图像进行分类，准确率为90.01%，AUC为91.07%。

武宽等^[32]提出了一种基于CNN的常规超声成像和超声弹性成像的特征结合方法，对甲状腺结节良恶性进行分类。二者融合的混合特征可以更全面地描述不同病灶之间的差异，准确率达到92.4%，高于其他单一数据源的方法，同时使用迁移学习的方法解决了样本数据不足的问题。

在三种模态融合领域，Xiang等^[33]在超声图像、弹性成像和彩色多普勒图像的基础上使用自监督学习初始化的3个残差网络18（residual network 18，ResNet18）作为分支，分别提取每种模态的图像信息，然后去除三种模态的共同信息，并结合每种模态的知识进行甲状腺疾病诊断，分类的AUC值为96.3%，优于单模态和双模态的诊断结果。此算法利用多模态特征指导模块解决了不同模态图像之间的信息差异造成的数据利用难的问题，同时在图像分类中采取残差连接避免了梯度爆炸和梯度消失，加快了收敛速度。

2. 总结与展望

近年来，在甲状腺结节超声图像的诊断中，不同医生的认知与经验不同，可能导致诊断结果的一致性较差，增加了患者的有创检查次数及治疗风险。随着深度学习技术的快速发展，其在医学图像领域发挥了重要作用，在诊断甲状腺疾病等方面的应用不仅有利于提高医生的诊断准确率和诊断速度，更为超声检查提供了相对客观的第二意见，从而减小了医生之间的诊断差异，这是深度学习应用的一个备受期待的优势^[34]。然而，这些方法也存在一定的局限性：① 数据难以获得和注释，特别是在数据获取和注释成本高昂的医疗领域^[35]。同时，分割结果受超声图像质量的影响，模糊的图像难以应用于复杂先进的模型。基于此，Shi等^[36]提出了一种知识引导的对抗增强方法，可以合成高质量的甲状腺结节图像，此方法可以缓解医疗领域的数据不足问题。② 因为小样本的训练可能出现过拟合现象，因此需要大量的训练数据和标签来构造分类器，这导致深度学习分类器的训练过程非常耗时。③ 与经验丰富的医生相比，深度学习模型具有相似的灵敏度，但特异性和准确性存在差异，当出现多结节时，模型也需要改进。因此研究者将这些模型用作高灵敏度的筛查工具，以帮助经验不足的操作人员，未来有必要使用深度学习算法开发具有高精度、特异性和灵敏度的模型。④ 许多研究已经将深度学习模型应用于甲状腺超声图像诊断中。然而，大部分工作都集中在PTC上，在诊断FTC和HCC时，因其在临床实践中的罕见性，以及其超声图像与良性病变的图像具有相似性而受到干扰。只要及早发现，理想情况下，临床医生能够在手术干预前确认诊断。例如，Seo等 ^[37]使用深度学习方法对甲状腺滤泡腺瘤和甲状腺癌进行了区分，其收集了与结节边缘轮廓相邻的小框选定图像，并应用CNN进行区分，整体分化准确率为89.51%，该研究结果可为临床医生提供借鉴。

在未来的研究中，研究者应收集更多高质量和准确标记的甲状腺数据，并将深度学习模型应用于数据，以评估模型应用到真实医疗环境的潜力。此外，应尝试整合更多领域的知识和多种类型的数据，探索更有效的方法使数据得到充分利用。随着研究的深入以及超声技术的发展，影像组学也被广泛应用于医学图像分析中^[38]，多模式^[39]、多方法融合的智能化诊疗系统也成为未来超声诊疗甲状腺疾病的发展趋势。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：戚枫源负责文献资料的收集、分析以及论文初稿的撰写，邱敏负责论文资料的整理并协助论文修订，魏国辉负责论文写作思路的制定及论文审阅修订。

Funding Statement

国家自然科学基金（61702087）；山东省自然科学基金面上项目（ZR2022MH203）；山东省研究生教育优质课程和专业学位研究生教学案例库立项项目（SDYAL20050）；山东省医药卫生科技发展计划（202109040649）；山东中医药大学教育教学研究课题（实验教学专项）（SYJX2022013）

National Natural Science Foundation of China; Department of Science & Technology of Shandong Province; Shandong Provincial Education Department; Health Commission of Shandong Province; Shandong University of Traditional Chinese Medicine