生成式对抗网络在医学图像处理中的应用

Abstract

近年来，研究人员将众多领域方法引入到医学图像处理中。经过不断改进，医学图像处理算法的效果和效率均得到不同程度的提高。目前，生成式对抗网络（GAN）在医学图像处理领域中的应用研究发展迅速。本文主要综述了 GAN 在医学图像处理中的应用研究情况，介绍了 GAN 的基本概念，并从医学图像降噪、检测、分割、合成、重建和分类等六个方面对 GAN 应用研究的最新进展进行了归纳总结，最后对该领域中值得进一步研究的方向进行了展望。

引言

随着信息技术的飞速发展和计算机应用水平的不断提高，利用计算机断层成像（computed tomography，CT）、正电子发射断层成像（positron emission computed tomography，PET）、单光子发射计算机断层成像（single-photon emission computed tomography，SPECT）、磁共振成像（magnetic resonance imaging，MRI）、超声成像以及其他医学影像设备所获得的图像，被广泛应用于医疗诊断、组织容积定量分析、病变组织定位、解剖结构学习、治疗规划、功能成像数据的局部体效应校正、计算机指导手术、手术导航和术后监测等各个医疗环节中。医学影像技术的飞速发展极大地提升了现代医疗诊断水平，并已成为推动医学进步的主要动力之一。与普通图像相比，医学图像纹理更多，分辨率更高，相关性更强，所需存储空间更大，并且为了严格确保临床应用的可靠性，人们对压缩、分割等图像预处理、图像分析及理解等的要求更高。医学图像处理跨计算机、数学、图形学、医学等多学科领域，处理技术包括图像变换、图像压缩、图像增强、图像平滑、边缘锐化、图像分割、图像识别、图像融合等等。近年来，研究人员将众多领域方法引入到医学图像处理中。经过不断改进，医学图像处理算法的效果和效率均得到不同程度的提高^[1]。

生成式对抗网络（generative adversarial networks，GAN）是 Goodfellow 等^[2]在 2014 年提出的一种生成式模型。原始 GAN 模型由一个生成器和一个判别器构成，生成器通过捕捉真实数据样本的潜在分布来生成新的数据样本；判别器是一个二分类器，判别输入的是真实数据还是生成的样本。在当前的人工智能热潮下，GAN 的提出满足了众多领域的研究和应用需求，同时为这些领域注入了新的发展动力。目前，GAN 应用得最广泛的领域是图像和视觉领域。它在图像生成^[3]、图像分割^[4]、由低分辨率图像生成高分辨率图像^[5]等方面都已表现出了独有的优势。近年来，随着 GAN 的飞速发展，越来越多的学者开始将其应用到医学图像处理中。这为该领域带来了新的方法和思路。

1. 生成式对抗网络概述

GAN 模型是受到博弈论中纳什均衡的启发而提出来的。其基本框架包含一对模型：生成模型（generative model，G）和判别模型（discriminative model，D）。主要目的是由判别器 D 辅助生成器 G 产生出与真实数据分布一致的伪数据。模型的输入为随机高斯白噪声信号 z；该噪声信号经由生成器 G 映射到某个新的数据空间，得到生成数据 G（z）；将真实数据 x 与生成数据 G（z）作为 D 的输入，判别器 D 输出一个概率，用以表示输入是真实数据的置信度，以此衡量 D、G 的性能并计算梯度反向调节 D、G；当最终 D 不能区分真实数据 x 和生成数据 G（z）时，就认为生成器 G 达到了最优。原始 GAN 模型结构如图 1 所示。

图 1.

The original GAN model structure

原始 GAN 模型结构

GAN 作为一个强大的生成式模型，可以由 G 产生出与真实数据分布一致的样本，现已被广泛应用于图像处理领域。常见的应用有图片合成^[3]、图像增强与超分辨率重建^[5]、草稿图复原^[6]、图片上色^[6]、图片风格化^[7]以及水下图像实时色彩校正^[8]等。GAN 模型易于与其他神经网络模型结合，生成器 G 和判别器 D 可以灵活使用其他模型结构来充当。这使得 GAN 很快渗入到其他研究领域中。从 2016 年底开始，GAN 在医学图像处理领域的研究如雨后春笋般涌现。根据我们对收集到的文献的分析归纳，GAN 在医学图像领域中的应用，目前主要涉及以下这些方面：医学图像降噪、医学图像检测、医学图像分割、医学图像合成、医学图像重构和医学图像分类等。

2. 生成式对抗网络在医学图像处理领域研究进展

2.1. 医学图像降噪方向

目前 GAN 在医学图像降噪领域中的研究主要是集中在低剂量 CT（low-dose CT，LDCT）图像的降噪研究上。Wolterink 等^[9]提出一种基于 GAN 的 CT 图像去噪方法，该模型将图像体素损失和判别器 D 的对抗损失函数结合起来进行优化，使得去噪后的图像具有更好的质量。Yang 等^[10]提出一种融合 Wasserstein 距离^[11]与知觉相似度（perceptual similarity）的基于视觉几何组网络的 Wasserstein 生成式对抗网（Wasserstein GAN-visual geometry group，WGAN-VGG）用于 CT 图像降噪，使其既能够降低噪声水平，又能保留图像的关键信息。Yi 等^[12]在其提出的模型中，额外增加了一个清晰度检测子网络 S，用来比较生成图像与真实图像之间的清晰度，使去噪后的图像不仅更逼真，而且能保持与常规剂量 CT 相近的清晰度，从而弥补了其他去噪方法在去噪后图像变模糊的缺陷。Wolterink 等^[9]的实验结果表明，将 GAN 与卷积神经网络（convolutional neural network，CNN）结合用于低剂量 CT 降噪，相比传统的迭代重建法具有更低的硬件及数据需求，并具有更高的效率；Yang 等^[10]的实验表明，相比基于 CNN 的去噪方法，其提出的基于 GAN 的模型能保留更多细节信息，减少过度平滑。

从以上研究结果可以看出，基于 GAN 的去噪模型易于扩展，可以通过在其损失函数中灵活加入其他优化项（如像素级损失、知觉损失等）来获得更高质量的去噪图像；也可直接增加额外的子网络模块来专门优化图像的某些属性，如文献[12]中增加清晰度检测子网络，提高了去噪后图像的清晰度。

2.2. 医学图像检测方向

检测和量化医学图像中的疾病标志物在疾病诊断或监测疾病进展中具有重要意义。然而，基于深度学习的图像检测模型训练通常需要大量人工标注样本。这不但需要花费大量精力，而且，目前对疾病标志物认识的局限性也会使人工标注过程有可能遗漏掉一些有用的信息^[13]。Schlegl 等^[13]提出了一种无监督模型 Anomaly GAN（AnoGAN），用于自动从光学相干断层成像（optical coherence tomography，OCT）图像中筛检出可以作为新的候选疾病标志物的异常部位；Kohl 等^[14]将 GAN 应用于侵袭性前列腺癌的检测中，输入 MRI 图像切片，输出标注好前列腺癌部位的图像；Baumgartner 等^[15]提出一种基于 WGAN^[11]的模型用于图像视觉特征检测，可以自动标识出某类患者 MRI 图像的类别特征区域。

与普通图像相比，医学图像数据较难获得，且人工标注成本很高。然而，用传统的全卷积网络模型从医学图像中检测出患病部位或疾病标志物，又往往需要大量人工标注的训练样本。于是，获取大量人工标注的训练样本就成为了模型训练的一个瓶颈。将 GAN 引入医学图像检测后，由于对抗训练的优势，模型对训练数据的需求量大大减少，且检测效率获得提升。通过对 GAN 的损失函数进行灵活修改，可以使模型对图像差异的检测更具全局性，且能约束模型倾向于捕捉图像最重要的特征。

2.3. 医学图像分割方向

医学图像的分割是按照纹理、颜色等特征，把图像分解成具有不同特性的区域，并将感兴趣的部分提取出来的过程。它是图像处理与分析的关键步骤，也是对图像进行特征提取、参数选择、目标识别的基础和前提条件^[16]。传统的医学图像分割模型都需要大量的有标注的图像来训练，而带标注的医学图像往往很难获得，我们常常能获取到的数据是少量带标注的图像和大量未标注的图像。Zhang 等^[17]提出一种基于 GAN 的深度对抗网络（deep adversarial networks，DAN），可以将未标注的图像与标注图像一起应用到医学图像分割模型的训练中，减少了对标注数据的需求。Kamnitsas 等^[18]提出了一种基于 GAN 的无监督域适应网络用于脑部损伤分割。该模型的优点在于，可以适应不同成像设备或成像协议下采集的图像数据。Dai 等^[19]提出一种基于 GAN 的结构校正对抗网络（Structure Correcting Adversarial Network，SCAN）用于胸部 X 射线图像的分割，模型简单高效，对训练数据的需求量小，分割效果好。Xue 等^[4]提出一种基于 GAN 的图像分割模型，并提出一种新的损失计算方法，作者称之为 multi-scale L1 loss，计算该 loss 时会从判别器 D 的各个层（包括输入层和各卷积层）中提取特征进行计算，这样可以检测图像的像素级特征、低维特征、高维特征等不同级别特征的差异，使模型更加精确。

GAN 在医学图像分割领域中的应用主要是利用了其强大的生成能力。这里，生成的不是医学图像本身，而是感兴趣区域的标签。与其他模型的改进思路相比，上述基于 GAN 的分割模型的改进思路主要有：减少对人工标注样本的需要，将大量无标签数据应用到网络的训练中来；利用判别器 D 识别图像来源，尽量提取不受图像来源影响的特征，增加模型的适应性和鲁棒性；用不同级别卷积层提取到的特征计算损失，相比只用最后一层提取到的特征计算损失更加合理。

2.4. 医学图像合成方向

医学图像的获取方式多样，各有其优点和缺点。有时，出于成本和对人体所造成的副作用等因素的考虑，会利用其他成像技术获得的图像来合成我们所需的图像。这是医学图像合成的一个重要研究方向。Nie 等^[20]用 CNN 作为生成器来从 MR 图像生成对应的 CT 图像，采用 GAN 的对抗训练策略使生成的 CT 图像更加逼真，最后运用自动上下文模型（auto-context model）^[21]对生成的 CT 图像进行进一步精炼。Wolterink 等^[22]提出了一种基于循环生成式对抗网络（cycle generative adversarial networks，CycleGAN）的模型，用于从 MR 图像生成相应的 CT 图像，并且用于训练的 MR 和 CT 数据不需要配对。此外，还有利用已有 CT 图像生成相应的 PET 图像^[23-24]、利用带标签的 CT 图像生成带标签的 MR 图像^[25]等研究。

由于医学图像数据较难获得，尤其是获得带标注的医学图像更是要耗费大量人力物力，于是，人工合成医学图像就成为了扩充医学图像数据的一种有效方法。Costa 等^[26]提出一种基于 GAN 的生成眼底图像（retinal image）的模型，该模型可以用很少的带标签数据进行训练，生成逼真的眼底图像。Zhao 等^[27]也用 GAN 来生成眼底图像，其特点是通过增加一个额外的模块来控制生成图像的风格。

图像合成是 GAN 最擅长的领域之一，将其应用到医学图像领域也使得医学图像合成效果得到提升。用 GAN 进行医学图像合成可以在一定程度上缓解医学图像数据获取难的问题，也可以实现不同模态图像之间的转换（如由 MR 图像合成 CT 图像）。基于 GAN 的图像合成模型可以在较小的数据集上进行训练，且通过对抗训练能够得到更逼真的合成图像，模型结构易于扩展。

2.5. 医学图像重建方向

医学图像重建的目的是，对已经获得的医学图像进行重建处理，以得到更具有诊断价值的图像。目前 GAN 在该领域的研究主要是集中于对快速 MR 成像产生的欠采样图像进行重建。快速 MR 成像可以加快成像速度，但由于采集信号减少，违背 Nyquist-Shannon 采样定理，图像会产生混叠伪影。Yang 等^[28]提出一种基于 GAN 的快速压缩感知磁共振图像（compressive sensing based MRI，CS-MRI）重建模型，重建后的图像在细节还原上取得了不错的效果；并且，重建一幅图像只需要 0.22～0.37 ms，可以达到实时性应用的要求。Shitrit 等^[29]也提出一种基于 GAN 的 CS-MRI 重建模型，在采样率 52% 的 1.5T MRI 欠采样图像上取得了令人满意的重建结果。

在医学图像中，扫描切片越薄，就越能提供更高的空间分辨率和更多的诊断信息，但是相应的，也会增加扫描成本和扫描时间。Li 等^[30]通过软件，用基于 GAN 的模型来实现从厚层 MR 图像到薄层 MR 图像的重建。作者用该模型从切片厚度为 6 mm 的 T2Flair MR 图像重建出切片厚度为 2 mm 的 T2Flair MR 图像，并在两个数据集上验证了方法的优越性。

无论是对快速 MR 成像产生的欠采样图像进行重建以得到接近全采样效果的图像，还是从厚切片图像重建出薄切片图像，都是为了在硬件和成本等条件的限制下用软件方法来提升图像的诊断价值。医学图像重建和上一节的医学图像合成类似，主要利用 GAN 的生成模型来产生新的图像，GAN 在非医学领域图像生成上已取得很好的效果，将其引入到医学图像领域也表现出了其在图像生成上的优势。

2.6. 医学图像分类方向

目前，GAN 在医学图像分类方向上的应用尚处于起步阶段，发表的论文较少，且主要集中在以下两种应用：一是直接用 GAN 来提取特征，训练基于 GAN 的分类器来提高分类精度；二是将 GAN 作为数据扩充（data augmentation，DA）工具，生成更多样本来提高其他分类器的分类能力。

Zhang 等^[31]提出一种基于 GAN 的半监督分类模型，用于从大量的心脏 MR 图像中筛选出覆盖完整左心室的图像。作者在模型中设置了两个生成器 G1、G2，分别用来生成带标签 1 的正例图像（左心室无缺失）和带标签 0 的反例图像（左心室有缺失），另外还需要准备少量带标签 1 的真实图像（左心室无缺失）和带标签 0 的真实图像（左心室有缺失）。判别器 D 的输入是上面四种图像及标签的组合，输出是分类标量，1 代表该图像为正例（左心室无缺失），0 代表该图像为反例（左心室有缺失）。该模型取得了比 2D CNN 分类模型更好的效果，而且在训练分类器 D 的同时，也训练出了两个图片生成器 G1、G2，可以人工合成带标签的样本来训练分类器 D，从而大大减少了模型训练对真实带标签图像的需求。Hu 等^[32]将 GAN 用于组织病理学图像的细胞分类。作者将梯度罚项生成式对抗网络（Wasserstein GAN-gradient penalty，WGAN-GP）^[33]的稳定性与互信息生成式对抗网络（mutual information GAN，InfoGAN）^[34]能学到具有良好可解释性的表达这两种优点结合起来，创建了基于 GAN 的分类模型。该模型主要由三部分组成：生成器 G，判别器 D，辅助网络 Q。生成器和判别器的对抗训练使 D 能学到图像的特征，将 D 习得的参数共享给辅助网络 Q，利用作者设计的损失函数对 Q 的输出进行约束，使 Q 学习到图像与类别之间的隐含关系。模型训练好之后，Q 就成为了一个分类器，输入细胞图像就能输出其类别信息。Frid-Adar 等^[35]将 GAN 用于数据扩充，将 CNN 分类器的准确率提升了约 7%。

相比前述的医学图像分割、医学图像合成、医学图像重建等，GAN 在医学图像分类领域主要利用其判别模型 D。在原始 GAN 模型中，判别器 D 只需要判别输入图像是真实图像还是生成图像；将 GAN 用于医学图像分类中，D 必须既能判断图像真伪，也能判断图像类别。这可以通过改进判别器的结构或增加额外的判别器来实现。基于 GAN 的医学图像分类模型可以减少对训练数据的需求，对抗训练思想也能提升模型的分类准确性。

3. 总结与展望

对各种基于 GAN 的医学图像处理模型进行归纳总结，所得结果如表 1 所示。理论上，GAN 的生成器 G 和判别器 D 可以由任意种类的神经网络模型充当，但用于医学图像处理时，GAN 都是与 CNN 结合来构造模型的，因为 CNN 在图像处理上具有天然优势。目前，这些模型主要从以下两个方面进行改进。（1）增加额外损失函数项：在 GAN 原始的对抗损失基础上增加图像像素级损失、知觉损失等，使生成的图像更逼真，或根据特定的改进目标，加入约束图像某方面特征的特殊损失项（如约束图像清晰度的损失项等），使实验结果朝着期望的优化目标方向改进。当需要添加的损失项无法通过现有网络结构中的各模块算出，则又引入另一种改进方法，即：（2）增加用于计算损失项的额外模块。增加额外模块计算出可以约束模型优化方向的损失项，然后将其加入到总损失函数中，以期取得更好效果。增加额外模块往往也是通过添加额外损失函数项的方式而对总体优化过程产生影响的。

表 1. Summary on medical image processing models based on GAN.

基于 GAN 的医学图像处理模型的文献总结

应用方向	文献	年份	总体结构	具体结构
				生成器 G	判别器 D	额外模块	损失函数
注：WGAN[11]、DCGAN（Deep Convolutional GAN，深度卷积生成式对抗网络）[3]、CycleGAN[36]、PatchGAN[6]（Patch GAN，图像块生成式对抗网络）和 InfoGAN[34]为 GAN 模型的变体；U-Net[37]、3D CNN（three-dimensional CNN，三维卷积神经网络）、DCAN（Deep Contour-Aware Networks，深度轮廓感知网络）[38]和 VGG16[39]为 CNN 的变体
医学图像降噪	Wolterink 等[9]	2017	GAN + CNN	CNN	CNN		平方误差 + 二元交叉熵
医学图像降噪	Yang 等[10]	2018	WGAN + CNN	CNN	CNN	VGG 结构的知觉损失 计算模块	WGAN 的损失 + VGG 模块损失
医学图像降噪	Yi 等[12]	2018	GAN + CNN	U-Net	PatchGAN 的 D	增加额外的外形检测 网络 S	GAN 的对抗损失 + L1 损失 + shape 网络损失
医学图像检测	Schlegl 等[13]	2017	DCGAN	CNN	CNN	无	判别器 D 的损失 + 残差损失
医学图像检测	Kohl 等[14]	2017	GAN + CNN	U-Net	CNN	无	GAN 的对抗损失
医学图像检测	Baumgartner 等[15]	2017	WGAN + CNN	3D U-Net	CNN	无	GAN 的对抗损失 + L1 正则化项
医学图像分割	Zhang 等[17]	2017	GAN + CNN	DCAN	VGG16	无	多类交叉熵损失 + 二元交叉熵损失
医学图像分割	Kamnitsas 等[18]	2017	GAN + CNN	3D CNN	3D CNN	无	分割损失 + 域分类器损失
医学图像分割	Dai 等[19]	2018	GAN + CNN	CNN	CNN	无	多类交叉熵损失 + 二元逻辑损失
医学图像分割	Xue 等 [4]	2017	GAN + CNN	CNN	CNN	无	绝对平均误差
医学图像合成	Nie 等[20]	2017	GAN + CNN + ACM	3D CNN	CNN	ACM:Auto-Context Model 用于精炼生成的图像	二元交叉熵损失 + 梯度差损失
医学图像合成	Wolterink 等 [22]	2017	CycleGAN + CNN	CNN	CNN	该模型使用两个子循环 进行训练	两个子循环的对抗损失 + 重建差异损失
医学图像合成	Costa 等[26]	2018	GAN + CNN	CNN	CNN	Segmentation（U-net 结构） 对实验数据预处理	对抗损失 + 全局 L1 损失
医学图像合成	Zhao 等[27]	2017	GAN + CNN	CNN	CNN	VGG feature network 用于风格转换	对抗损失 + VGG 网络损失 + 总变化损失
医学图像重构	Yang 等[28]	2018	GAN + CNN	U-Net	CNN	VGG 网络用于 计算知觉损失	均方误差 + VGG 网络损失 + 对抗损失
医学图像重构	Shitrit 等[29]	2017	GAN + CNN	CNN	CNN	F 模块（快速傅里叶 逆变换模块）	对抗损失 + L2 损失
医学图像重构	Li 等[30]	2017	GAN + CNN	CNN	CNN	无	像素级损失 + 对抗损失 + 3D 总变化损失 + 权重正则化损失
医学图像分类	Zhang 等[31]	2017	GAN + CNN	CNN	CNN	无	对抗损失
医学图像分类	Hu 等[32]	2018	WGAN + InfoGAN + CNN	CNN	CNN	辅助网络 Q（CNN 结构）	对抗损失 + 辅助网络 Q 的损失
医学图像分类	Frid-Adar 等[35]	2018	GAN + CNN	CNN	CNN	无	对抗损失

GAN 目前是一个非常热门的研究方向。自 2014 年 GAN 提出以来，有关 GAN 的论文数量逐年增加。GAN 作为一种生成式方法，不需要预先设定数据分布，理论上可以完全逼近真实数据，在图像生成上能够生成更利于人类理解的样本。GAN 的对抗训练方法摒弃了直接对真实数据的复制或平均，增加了生成样本的多样性；对抗训练可以使用反向传播进行训练，不需要效率较低的马尔科夫链方法，改善了生成模型的训练难度和训练效率。GAN 也包含判别模型，可以利用 GAN 的判别模型来完成分类任务。当利用 GAN 来实现分类时，GAN 的生成模型可以通过与判别模型的对抗训练帮助判别器更好地学习到图像的类别特征，使得模型对带标签训练数据的需求减少。GAN 提供的对抗训练框架可以很好地与其他神经网络模型结合，理论上生成器和判别器可以由任何神经网络来充当。GAN 的这些优势使其被迅速应用到图像合成、超分辨率图像生成、文本生成图像等方向。

GAN 在医学图像处理领域中的应用研究是在 2016 年末兴起的，目前尚处于起步阶段，但 GAN 对训练数据的需求少、图像生成效果好、易于与其他神经网络模型相结合等优势已经显现出来。特别地，医学图像数据获取困难是其他神经网络方法在医学图像领域应用的一大瓶颈；而 GAN 在小样本数据集上也能取得很好的训练效果。这就给医学图像领域中的深度学习发展带来了新的动力。

从目前收集的文献资料来看，GAN 在医学图像处理领域的应用主要集中在医学图像分割、医学图像合成等方面，在医学图像检测和分类方向上的研究较少，在医学图像配准^[40]、医学图像压缩和医学图像融合等方面的研究就更少了。这些尚有待研究者进一步去探索。Yan 等^[40]提出了一种基于 GAN 的多模态配准模型，作者将参考图像和待配准图像通过维度串联方式输入到生成器 G 中，生成刚性配准的 6 个变换参数。将重采样后的图像输入到判别器 D 中可得到衡量配准效果好坏的度量值。该模型可在 100 ms 内完成前列腺部位的 MR 和超声图像的刚性配准，能满足实时配准的要求。我们研究组目前已参考该论文完成了一系列用于鼻咽癌辅助诊断的基于 GAN 的 CT 和 MR 模态图像配准实验，虽然模型的训练稳定性还有待优化，但其与传统配准方法相比，配准时间大大缩短，从几分钟缩短到几秒。我们相信，GAN 用于医学图像配准将是未来值得深入研究的一个方向。

目前基于 GAN 的医学图像处理模型主要是与 CNN 模型的结合使用，在未来的研究中，我们可以尝试将 GAN 与循环神经网络（Recurrent Neural Networks，RNN）模型结合，用于处理医学图像领域中的时序信息，如对患者长期随访过程中产生的一系列图像数据的时间序列进行分析，找出疾病变化与图像变化间的联系，用于患者状态预测等研究。与此同时，当 GAN 提出新的变体（如能够提升 GAN 训练稳定性的 WGAN），或其他神经网络模型取得新进展时，我们可以将新的进展应用到医学图像处理模型中，以期提高模型性能。此外，不同损失函数项对实验结果和训练收敛性的影响，以及不同损失函数项之间的权重选择也是未来值得深入研究的问题。

有理由相信，GAN 研究的快速发展与医学图像领域研究的持续深入一定会推动 GAN 在医学图像处理领域中取得更多更好的研究成果。

Funding Statement

国家自然科学基金项目（61772143，61300107）；广东省自然科学基金项目（S2012010010212）；广州市科技计划项目（201601010034，201804010278）；广东省大数据分析与处理重点实验室开放基金项目资助（201801）