生成对抗网络在磁共振图像重建领域的应用

Abstract

磁共振成像（MRI）是一种重要的医学成像技术，但其成像机制导致其扫描时间较长，增加了患者的检查成本与等待时间。目前已有一些技术手段，如并行成像（PI）、压缩感知（CS）等重建技术加快了其成像速度，但重建图像的质量受算法的影响。传统的重建算法在图像质量与重建速度等方面都有提高的空间。近年来，基于生成对抗网络（GAN）的方法在磁共振图像重建中展现出了优良性能，成为磁共振图像重建领域的研究热点。本文对近几年生成对抗网络在磁共振图像重建领域中的应用研究进行了全面梳理归纳，从单一模态加速重建和多模态协同加速重建两个方面综述了目前生成对抗网络在磁共振成像图像重建中的应用，以期为相关研究者提供有益参考。此外，本文还进一步分析了现有技术的特点与局限，并对未来发展趋势进行了展望。

0. 引言

磁共振成像（magnetic resonance imaging，MRI）技术是现代医学中最重要的影像诊断手段之一。相比于计算机断层扫描（computed tomography，CT）等其他医学成像方法，MRI的扫描速度缓慢，增加了患者检查的成本与等待的时间。因此，在保证图像质量的前提下加快MRI的扫描速度成为该领域重要的研究课题。MRI的扫描速度主要取决于k空间数据的填充速度，因此加速MRI的两个主要途径就是加快k空间数据的填充或者减少图像重建所需的k空间数据量。并行成像（parallel imaging，PI）与压缩感知（compress sensing，CS）是两类通过减少k空间的相位编码步数来缩短采集时间的技术^[1-2]，它们利用特定的算法实现对欠采样k空间数据的重建。但是基于PI和CS的图像重建算法很难完全消除图像混叠伪影，也会导致重建图像模糊；并且随着欠采样倍数的提高，重建噪声也会升高。在临床MRI检查中，医学影像技师必须在图像质量和扫描速度中进行权衡。

在基于深度学习（deep learning，DL）的医学图像人工智能研究热潮中，卷积神经网络（convolutional neuron network，CNN）发挥了重要的作用。经过近十年的发展，CNN在医学图像的分割、配准、重建和分类等问题中展现出比传统方法更好的效果，但由于其网络结构特点的限制，CNN在图像生成任务中尚不能达到完美的应用效果。随着研究的深入，最早为解决图像生成任务而设计的新型人工神经网络——生成对抗网络（generative adversarial network，GAN）也逐步推广至图像重建、分割、分类等领域^[3-5]。近年来，GAN网络在快速MRI图像重建任务中得到广泛应用，效果超越传统的重建算法和其他DL算法，成为MRI图像重建领域的研究热点。

本文系统综述了近年来GAN网络在MRI图像重建领域中的应用：首先简单介绍快速MRI图像重建的现状和GAN网络的基本原理；其次，聚焦单一模态加速重建、多模态协同加速重建两个方向介绍相关领域最新研究进展，对所提及的方法进行了总结；最后，评价了GAN网络在MRI图像快速重建领域中的发展现状和局限性，展望了该技术的发展趋势。希望本文可以帮助相关科研工作者快速了解GAN网络在MRI图像重建领域的最新应用进展，为其研究提供有益参考。

1. 快速MRI图像重建方法和GAN模型原理

1.1. 快速MRI图像重建方法

CS和PI是目前加速MRI扫描的主流方法，已普遍应用于临床检查。但是传统的CS和PI重建算法结构比较复杂，且在较高欠采样率下重建的图像质量欠佳。此外，传统算法对重建计算机的硬件要求较高，在实时性要求较高的应用场景中，图像质量和重建时间难以两全。DL算法的出现，很大程度上解决了这一问题。通过应用训练好的人工神经网络，图像重建速度可以达到毫秒量级，图像质量也可媲美甚至超过传统算法。

另一方面，一次MRI检查会扫描产生不同模态的MRI图像。利用各模态MRI图像之间的共享信息来加速MRI扫描速度的方法称为多模态协同加速重建。但是多模态数据增加了MRI图像重建算法的复杂性，常规算法很难取得高质量重建图像。DL算法自动特征提取的能力和GAN网络强大的图像学习能力可为MRI图像多模态协同加速重建问题提供良好的解决方案。

1.2. GAN模型原理

2014年，Goodfellow等^[3]提出了GAN网络，具体结构如图1所示。它由生成器和鉴别器组成，生成器捕捉输入数据的分布并通过学习生成具有相同分布的数据；鉴别器是一个二元分类器，作用是评估该生成数据是否属于真实数据。二者之间不断对抗迭代训练，最终使生成器生成的数据使得鉴别器无法判别真伪。在分类和特征提取方面，GAN网络比传统的神经网络更具有优势。GAN网络不仅可以按照真实数据的特点生成新的数据，还可通过无监督方式训练网络，无需金标准数据即可进行监督学习以生成高质量图像，在一定程度上缓解了标签影像数据获取困难的压力。另一方面，为了解决原始GAN网络模型存在的缺陷，研究者提出了大量的基于GAN网络的优化模型^[6-7]。这些改进网络加速了GAN模型在医学图像处理中的应用，使得GAN网络在MRI图像重建领域取得了大量成果并成为MRI图像重建的重要方法^[8-9]。本文将从MRI图像单一模态加速重建和多模态协同加速重建两个主要方向分别介绍GAN网络在MRI图像重建中的应用。

图 1.

Overview of GAN network structure

GAN网络模型结构

2. GAN在MRI图像重建中的应用

基于GAN的MRI图像重建算法使用标准GAN网络结构，通过训练数据直接建立从有伪影图像到最终清晰图像的映射关系。由于MRI图像重建存在k空间到图像域的变换过程，因此网络的输入可以是带有伪影的图像数据，也可以是填充不完整的k空间数据。虽然也有很多使用基于标准网络结构映射输入与输出结构的CNN模型来进行快速MRI图像重建研究，但是在GAN网络中，对抗损失函数的利用使得基于GAN的重建模型在欠采样MRI图像的伪影消除和多模态图像协同重建上有更好的效果。

2.1. 基于GAN的单一模态加速重建

近年来，采用GAN网络实现单一模态数据重建的方法逐步发展成MRI图像快速重建领域中重要的技术手段。从方法上区分，MRI图像单一模态加速重建方法有CS与PI两种主流的加速技术，目前均已经广泛应用于临床检查。在这两种MRI图像加速技术的重建方法中，GAN网络都发挥了重要的作用。

2.1.1. 基于压缩感知原理的加速重建

自Yang等^[10]提出基于条件GAN（conditional GAN，CGAN）的深度去混叠GAN模型（deep de-aliasing GAN，DAGAN）开始，大量基于GAN的MRI图像加速重建研究陆续展开。

目前，研究者们的研究重点是根据MRI图像的特点以及重建任务的不同，对GAN网络模型进行优化。针对传统GAN鉴别器的缺点，Yuan等^[11]提出了基于自注意力机制与相对平均鉴别器的GAN网络模型。该模型为了充分利用先验信息，使用相对平均鉴别器将绝对真假判别转化为相对真假判别，解决了原始GAN模型忽略鉴别器输入数据的先验信息的问题，提高了鉴别器的性能。同时，该研究在生成器中引入了自注意力机制，可以有效解决卷积核大小受限的问题。上述两方面的改进使得该模型取得了优于DAGAN的图像重建效果。此外，Shaul等^[12]提出了一个具有k空间和图像域级联生成器结构的GAN网络模型，模型根据MRI图像重建的原理设计了k空间数据生成模块和图像域数据生成模块，充分挖掘两个变换域中的信息。与此同时，该模型还将相邻k空间的切片数据进行输入，充分利用原始数据中时间以及空间相关性。通过对三个带有病灶信息的脑部图像数据集的图像分割效果以及药代动力学参数的分析，验证了该模型具有良好的临床使用效果。

由于CNN网络的滤波特性，基于DL的MRI图像重建算法常会导致图像过度平滑。为解决MRI重建图像边缘不够清晰的问题，Li等^[13]和Huang等^[14]分别提出了具有双鉴别器结构的GAN网络用于MRI图像的快速重建。双鉴别器设计的目的是提高MRI图像重建网络的边缘信息重建能力：一个鉴别器用于图像的整体重建，另一个鉴别器则负责边缘信息的增强。该结构的添加，是针对MRI图像重建特点对GAN网络结构做的一次有益优化，使得MRI重建图像细节更加丰富，重建结果更接近于全采样图像。

近年来，随着转换器（Transformer）结构的深入研究，结合Transformer进行重建网络搭建的研究工作陆续展开^[15]。Transformer引入了基于伪协方差的自注意力机制，相比CNN网络，它的感受野更大，在图像特征提取的方面更有优势。Huang等^[16]提出了一种基于Transformer结构生成器的GAN网络快速MRI图像重建方法。为了进一步保存边缘和纹理信息，该模型同样引入了双鉴别结构模块。相比于基于CNN结构的GAN网络，基于Transformer结构的模型在不同欠采样条件下MRI图像的重建结果更优，这也证明了Transformer网络结构在特征提取和特征汇聚方面的优势。但相比于CNN网络，目前Transformer结构对数据样本量的要求更高。因此，随着该结构的进一步优化，其在MRI图像重建中的性能还可以进一步提高。

以上研究中使用的MRI图像都为静态MRI图像，此类图像的金标准图像相对容易获得。但是在某些快速MRI成像应用场景下，如动态对比度增强成像、三维心脏电影和四维血流成像等图像的重建任务中，全采集的金标准图像通常很难获取。因此，基于无监督学习的DL方法更加适用于此类图像的快速重建。Cole等^[17]提出了一种基于无监督GAN网络的图像重建模型，使用生成图像的傅里叶逆变换随机采样数据与原始图像欠采样k空间数据作为鉴别器的输入进行网络训练。该模型解决了先前无监督重建模型中迭代速度慢和无法使用展开网络的问题，在回顾性和前瞻性动态对比度增强图像数据集中进行测试，取得了快速和高质量的重建结果，接近有监督学习的GAN模型。此外，Oh等^[18]也发表了基于循环GAN（cycleGAN）的不成对CS-MRI数据重建网络模型。cycleGAN模型的主要原理是通过训练两对生成器-鉴别器，实现了图像在两个领域间的无监督转换。该研究使用了一种新的成分鉴别器，并在损失函数中的循环一致性项中加入平方和平方根运算。这些改进提高了网络训练的稳定性，减少了训练时间。该方法中的模型相比传统cycleGAN模型，在无监督MRI图像重建任务中有更优异的表现，重建效果与基于有监督学习网络的重建结果相当。

此外，高欠采样率下的图像重建质量是未来MRI临床应用的重要课题。Li等^[19]提出了一种改进的GAN重建模型，该模型将残差U型网络（U-Net）与空间注意力模块以及通道注意力模块相结合，消除高欠采样率造成的伪影。该研究分别在笛卡尔和非笛卡尔坐标系中使用不同的采样模式和欠采样率数据来重建图像，在最高10%的采样率下重建出定量指标上都优于其他方法的MRI图像，显示了其在高欠采样率下优良的重建性能。Belov等^[20]使用几个已有的GAN重建和超分辨模型以及U-Net模型的组合，对高欠采样率图像进行图像质量的改善和分辨率的恢复。将在不同欠采样模式和欠采样率下的重建结果进行了对比研究，他们发现超分辨GAN（super-resolution GAN，SRGAN）和U-Net的组合模型效果最好。此外，该研究还讨论了32倍和64倍极高欠采样率下的重建图像在非诊断性临床应用场合中的可能应用，对后续研究有启发意义。

2.1.2. 基于PI原理的加速重建

为了更好地重建多通道MRI图像数据，文献[17]在提出的无监督CS-MRI图像重建方法中初步利用了线圈灵敏度分布图，但并未为线圈灵敏度分布图设计独立的损失函数进行网络训练，因此该工作也未深入研究线圈灵敏度信息在PI重建中的应用。Lv等^[21]开始将灵敏度编码（sensitivity encoding，SENSE）算法与GAN模型相结合。该研究使用残差U-Net网络作为GAN网络的生成器，首先将多通道图像使用SENSE算法进行重建，重建后图像作为GAN网络生成器的输入进行进一步图像重建。结果表明，该模型能使用高g因子下SENSE算法采集的数据重建出无伪影图像，可以有效地应用于实际临床中前瞻性欠采样数据的重建。但由于网络结构原因，它并不适用于基于单线圈图像的重建。因此，在文献[21]工作的基础上，Lv等^[22]又提出了名为PI耦合GAN（PI coupled GAN， PIC-GAN）的多通道并行MRI图像重建模型。该方法不仅结合了SENSE和广义自动校准部分并行采集（generalized autocalibrating partially parallel acquisitions，GRAPPA）两种不同的PI方法，更重要的是将线圈灵敏度空间分布纳入损失函数，同时分别加入了图像域损失项和k空间损失项，提升了并行MRI图像重建结果的结构相似性。接着，在PIC-GAN模型的基础上，该研究团队通过三个不同MRI图像数据库的迁移学习研究，探讨了PIC-GAN模型的泛化能力^[23]。研究表明，在样本量偏小的情况下，应用迁移学习的方法可以提高并行MRI图像重建的效果。上述这些重建模型涵盖了不同的临床并行MRI图像采集方式，并且取得了较传统方法更好的图像重建效果和更短的图像重建时间。

尽管基于GAN的单一模态加速重建算法已经得到了广泛的研究，但是由于MRI图像重建的任务的多样性，研究人员往往需要根据目标任务的特点，改变GAN网络的结构和损失函数，合理设置超参数，以优化模型效果。针对GAN网络中相关参数设置与重建图像质量之间的关系，研究者也进行了深入探讨。Edupuganti等^[24]设计了一个基于GAN网络的测试模型，用于评估基于GAN网络的MRI图像重建模型的稳定性以及重建图像的伪影程度、结构不确定性。该研究结果表明，采样率、k空间采集模式和损失函数等因素对模型的鲁棒性影响较大，同时超参数的合理选择对于图像的稳定重建有很大的影响。虽然本领域研究追求的最终目标是设计出适用于不同部位和不同序列图像的通用重建网络，但可以预期，有针对性的模型改进和参数优化仍将是研究热点。同时，目前临床MRI应用基本采用CS与PI相结合的方式进行数据采集，如何根据CS和PI的特点设计有效的采样模式，同时针对性地进行图像重建，是目前各个研究机构与设备厂商积极探索的前沿课题之一。

2.2. 基于GAN的多模态协同加速重建

多模态、多参数是MRI图像最大的特点。典型的MRI临床检查协议一般包含T1加权、T2加权和质子密度加权等多个不同方位的不同对比度成像序列。多模态数据可以为临床诊断提供更充足的依据，确保诊断结果的可靠性，但这意味着更长的检查时间。同时，研究者们发现多模态图像之间存在大量的冗余和关联信息，如组织形态结构、密度和对比度信息等。因此，在MRI图像单一模态加速重建技术的基础上，充分利用多模态间的共享信息^[25-27]，可以进一步减少目标模态的采样数据，这为提高临床MRI检查速度提供了新的思路。

在DL技术应用于MRI图像重建之前，多模态协同加速重建技术主要为基于群稀疏理论的贝叶斯CS加速重建。但由于此类算法重建时间长、图像质量不稳定，无法应用于实际临床检查^[28]。近年来，DL在MRI图像快速重建领域中的迅速应用并取得良好效果。深度神经网络结构灵活，可拓展为使用多个通道输入对多模态图像进行处理，也可大幅度提高重建速度，这些特点使得DL特别适用于MRI多模态图像加速重建。因此，基于DL的多模态协同加速重建的工作开始大量陆续展开。

Xiang等^[29]借助T1模态和T2模态图像之间的共享信息，使用临床采集时间较短的全采集T1图像对最高8倍欠采样的T2图像进行协同加速重建。该研究在经典U-Net模型基础上加入了密集连接模块来适应多模态重建任务的新需求。密集连接模块可以改善跨层的特征流，对于多模态图像中的相同特征的学习和提取有一定帮助。因此，与U-Net模型相比，该研究中重建图像的边界更为清晰，重建误差也更低。该研究是使用DL技术对多模态MRI图像进行协同加速重建的首次尝试，其多模态输入的网络结构、利用多模态共享信息以及使用短时模态图像辅助耗时模态图像重建以减少采样时间的思路对后续研究有启发作用。但在重建模型的结构以及多模态图像特征的利用方面，该研究还有待进一步优化，例如U-Net网络在建模远程交互方面受限，这可能影响图像中精细结构的还原^[28]。此后，针对多模态MRI图像的特点，更多的优化网络模型和共享特征的提取方法相继出现。其中，GAN网络作为一种广泛应用的生成模型，它的对抗机制可以很好地学习MRI图像各模态中的共享特征并体现在目标模态图像的重建中，提高图像的重建质量，因此基于GAN网络的重建模型逐步在MRI图像多模态协同加速重建任务中凸显优势。

Kim等^[28]成功地将GAN网络应用在了多模态加速重建中，该研究指出，对抗损失和像素损失的加入有利于提高重建图像的视觉质量，同时该研究也强调了MRI图像高频信息主要表征组织的结构信息，可通过共享各模态之间的高频信息，对目标模态的欠采样行数进行补充，从而达到提高目标模态图像分辨率的目的。该研究利用公共数据集和自有数据进行了验证，结果表明：① 使用其他模态高分辨数据辅助重建的图像效果好于使用单一模态进行重建的结果，也要好于SRGAN等成熟的超分辨神经网络模型的结果。② 使用了对抗结构的GAN网络与只有生成器结构的单一CNN网络相比，重建图像有更好的视觉效果。另外，通过该研究发现，目前对于重建图像的视觉效果的评估，还缺乏客观的评价参数，影响了图像重建结果评估的客观性。

Do等^[30]提出了一个更优化的GAN多模态协同加速重建模型，GAN网络的生成器由两个残差U-Net网络构成。该模型分别将T1和T2对比度图像作为多通道输入，从欠采样图像重建全采样图像，再通过GAN网络对重建图像进行进一步优化，取得的结果优于传统CS和PI方法以及U-Net重建方法。在该研究中，GAN网络模型的使用提高了重建图像真实度，但并没有过多的参与到多模态图像的关键重建环节。此外，Dar等^[31]提出了一种结合重建网络和生成网络的GAN重建模型。首先，该方法根据多模态MRI图像的原理和图像特点提出了三个重要的先验依据：① 共享各模态高频信息有利于目标模态的高频细节重建。② 共享低频信息可防止目标模态中的特征丢失。③ 像素感知信息可改善高级特征的还原。该模型使用多对比度图像作为生成器的输入，分别提取各模态图像中的高频信息和低频信息，辅助生成目标模态的图像。同时，在损失函数中通过加入最小化像素损失、感知损失项来提高重建图像的质量。最后，该研究使用健康受试者以及患者的脑MRI图像数据集中T1、T2和质子密度加权图像进行了验证。与单一模态重建和交叉模态合成方法相比，该方法可以使用重度欠采样的目标模态k空间数据和全采或轻度欠采样的辅助模态k空间数据，重建出高质量的目标模态图像。结果表明，重建图像的精细程度和还原度有明显提高，并且在高达50倍的加速倍数情况下，可以稳定重建出质量可靠的图像。

如何从多模态图像数据中挖掘共享的信息，是多模态加速重建中关键的技术环节之一。为了更好地挖掘多模态图像中的共享信息，楼鑫杰^[32]提出了一种基于拉普拉斯金字塔深度级联网络的多模态快速MRI图像重建方法。图像金字塔模型广泛应用于图像分割和超分辨等应用。该研究从图像金字塔思想出发，考虑了MRI图像的特性和深度级联网络结构的优势，通过不同模态数据的一致性分析得出在高欠采样率下目标模态图像和全采样参考模态之间的相似性下降的结论。因此，该研究通过利用k空间的拉普拉斯金字塔模型逐步对多模态数据进行特征提取和学习，提升了高欠采样率下多模态协同加速重建的图像效果，给了研究者们新的启示。

多模态成像是临床MRI扫描的基本方式，而多模态MRI图像天然具有冗余性，利用多模态信息进行图像重建必将是今后重要的研究方向，多模态协同加速重建也将成为MRI图像加速重建的重要手段。就目前文献检索和分析来看，基于GAN的MRI图像多模态协同加速重建算法研究刚刚起步，但已展示出了其优越的重建性能。然而，相比图像生成和图像转化任务，临床诊断对于图像重建任务中重建图像的准确度要求更高，错误的重建所带来的临床误诊将造成无法预估的后果。在GAN网络真正应用于临床MRI图像重建之前，GAN网络重建的真实性问题是研究者必须充分解决和充分证明的关键问题。

3. 总结与展望

本文对近年来GAN网络模型在MRI图像快速重建中的应用进行了详细的综述，从单一模态加速重建和多模态协同加速重建两个方面对目前现有方法进行了分析、分类和总结。最后，对GAN网络在MRI图像加速重建中的进一步应用进行展望。

首先，在CS-MRI和并行MRI图像重建领域，针对GAN模型本身缺陷的完善工作一直在进行。将GAN网络在自然图像领域中出现的新技术应用于MRI图像重建领域，是学术界需要持续关注的问题。同时，由于MRI图像重建任务种类繁多，针对不同目标任务进行模型修正和参数的优化也将是持续的研究热点。例如，在欠采样数据的重建中将结合了PI采样与CS采样后的MRI数据进行一次重建得到最后高质量图像。更进一步，构建通用于不同部位和不同模态的重建任务网络结构，将对该领域有更深刻的影响。

其次，通过文献分析得知，多模态协同加速重建的主要目标模态都集中在较常规的临床MRI图像模态，如T2图像和液体衰减反转恢复（fluid-attenuated inversion recovery，FLAIR）图像。临床中使用的MRI图像模态多种多样，很多高级序列的采集和图像重建更加费时。针对这些高级序列图像的协同加速重建研究可以大幅度提升相关序列的检查速度和图像质量，进一步增强MRI的临床应用能力。同时，更多的临床模态带来了更为丰富的多模态信息，如何提取并利用这些多模态信息将是接下来研究工作的重点。通过不断优化现有模型的结构，更加充分地利用多模态间的共享信息将使多模态协同加速重建算法的性能进一步提高。

此外，大量研究表明，相比于CNN网络，GAN网络可以重建出视觉效果更好的MRI图像，但这大都是由影像专家主观评判得出结果。同时，在图像重建中常用的图像重建指标如峰值信噪比（peak signal-to-noise ratio，PSNR）和结构相似性（structural similarity，SSIM）等，并不能反映重建图像质量是否完全满足临床诊断的需求。如何使用客观评价参数准确地评估GAN网络重建图像还原程度和视觉真实程度将是GAN网络广泛应用的先决条件之一。随着计算机辅助诊断算法的发展和成熟，建立基于计算机辅助诊断结果的图像重建评价指标也许会为基于GAN的MRI图像重建算法性能的提升提供新的突破点，这类研究也是后续研究者们关注的方向之一。

综上所述，未来随着GAN网络的不断改进发展以及MRI新技术的不断应用，两者结合的应用场景将更加多元，应用也将更加深入有效。基于GAN模型的重建算法将逐步真正应用于MRI图像重建，帮助提升MRI扫描的速度和图像质量，助力临床MRI检查。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：蔡昕负责文献调研、模型测试及论文撰写；侯学文参与论文核对检查；杨光参与体系梳理和论文撰写指导；聂生东参与论文撰写指导和审校。

Funding Statement

国家自然科学基重点金资助项目（81830052）；上海市自然科学基金资助项目（20ZR1438300）

National Natural Science Foundation of China; Shanghai Municipal Natural Science Foundation