Abstract
目的
探讨基于多模态脑影像数据的超分辨率合成模型将低分辨率的厚层数据重建成为高分辨率的薄层数据。
方法
使用真实成对的多模态低-高分辨率MRI数据(2D-T1，2D-T2 FLAIR和3D-T1)设计结构约束的图像超分辨率重建网络，从不同模态的低分辨率MRI提取重要特征重建更高分辨率的T1图像。将T1作为主要模态使用图像全部信息，T2 FLAIR作为补充模态选取皮层下核团为关键区域进行信息增强。通过比较超分辨率重建图像与真实的高分辨率图像之间的灰度和结构相似性来确定网络的学习方向，同时通过脑分割工具获取重建图像和金标准图像的大脑解剖学结构信息，并将其作为重要约束条件来让重建模型自适应的学习大脑的组织结构特征，从而有效提升模型的重建性能。
结果
在整体图像质量评价方面，该模型在149例测试集上的重建图像的平均PSNR值为33.11，SSIM为0.996，质量优于本文的其余对比方法生成的结果。在大脑解剖结构方面，我们的方法可以重建出较为清晰的脑沟、脑回以及皮层下核团，可视化结果显示了根据医学图像特性加入解剖学结构信息的有效性。分别使用单模态T1和多模态T1、T2 FLAIR进行图像重建的结果说明了有效选择第二模态关键区域的可行性。同时，在高分辨率图像作为金标准的情况下，使用本文提出的方法重建得到的超分辨率图像与使用低分辨率图像相比，在大脑灰质、白质和脑脊液上的体积测量平均精度有了较大的提升，灰质体积平均误差从3%降到1%，白质从18%降为了2%，脑脊液从35%降为了8%。
结论
基于多模态的MRI脑影像超分辨率模型加入了同一组织的不同模态信息与解剖学信息，相比现有的方法，可以重建出更为接近真实高分辨率的图像，有望将其应用于临床诊疗流程中。
Keywords: 图像超分辨率重建, 脑影像, MRI, 多模态, 解剖结构约束
Abstract
Objective
To propose a multi-modality-based super-resolution synthesis model for reconstruction of routine brain magnetic resonance images (MRI) with a low resolution and a high thickness into high-resolution images.
Methods
Based on real paired low-high resolution MRI data (2D T1, 2D T2 FLAIR and 3D T1), a structure-constrained image mapping network was used to extract important features from the images with different modalities including the whole T1 and subcortical regions of T2 FLAIR to reconstruct T1 images with higher resolutions. The gray scale intensity and structural similarities between the super-resolution images and high-resolution images were used to enhance the reconstruction performance. We used the anatomical information acquired from segment maps of the super-resolution T1 image and the ground truth by a segmentation tool as a significant constraint for adaptive learning of the intrinsic tissue structure characteristics of the brain to improve the reconstruction performance of the model.
Results
Our method showed the performance on the testing dataset than other methods with an average PSNR of 33.11 and SSIM of 0.996. The anatomical structure of the brain including the sulcus, gyrus, and subcortex were all reconstructed clearly using the proposed method, which also greatly enhanced the precision of MSCSR for brain volume measurement.
Conclusion
The proposed MSCSR model shows excellent performance for reconstructing super-resolution brain MR images based on the information of brain tissue structure and multimodality MR images.
Keywords: image super resolution, brain images, magnetic resonance imaging, multimodality, anatomical information
通常，脑疾病的分析与诊断依赖于组织结构显像较好的高分辨率MR图像，但是由于其扫描耗时过长，一般只用于特殊脑疾病的诊疗[1, 2]与脑科学研究[3]，不用于常规疾病的筛查。临床常规的影像平扫序列主要包括T1、T2和T2 FLAIR，虽然层内分辨率比较高(≤1 mm2)，但是由于层厚或者层间距过大(4~7 mm)，极大的限制了大脑子结构的定量评估，无法及时检测到一些脑疾病相关的微小结构变化[4]。
基于深度学习的图像超分辨率重建算法，通过学习训练数据的分布特征，建立从低分辨率图像到高分辨率图像的映射关系，进而为低分辨率图像补充更多的高频信息，可以有效提升图像的分辨率，已经被广泛的用于图像信息增强方向[5-7]。Dong等[8]使用几个堆叠的卷积层实现了低分辨率图像到超分辨率图像的端到端映射；Li等[9]提出在不过多增加网络参数的情况下，使用反馈机制可以有效提升神经网络在图像超分任务上的性能。Lan等[10, 11]提出增强的深度残差网络，极大的提升了图像的重建性能[12]。但目前性能较好的算法均是基于二维自然图像特征进行设计的，由于自然图像与医学图像之间的差异，算法直接迁移到医学图像领域会导致性能大幅度下降的问题；同时，目前图像超分辨率领域获取的低分辨率数据一般是经由高分辨率图像下采样得到，与真实场景下的低分辨率数据存在着较大的差异，为算法实际使用带来了巨大的问题。而无需严格成对数据的无监督学习方法虽然在整体图像的重建上有着不俗的效果[13]，但是对于某些细节部分缺乏有效约束手段，使得图像更加趋于平滑，导致一些微小结构更容易被忽略。
在这篇文章中，我们提出了一种基于结构约束的多模态医学图像超分方法(MSCSR)，使用真实成对的多模态低-高分辨MRI数据，解决了模拟数据与真实数据之间存在的差异，不能很好的反应真实低分辨率图像重建性能的问题；同时，利用大脑的不同组织结构信息和不同方向采集的不同模态数据的纵向信息来提升网络对于医学图像的超分辨率重建性能[14]，避免图像过于平滑带来的信息丢失问题。MSCSR模型首先利用图像超分辨率网络对输入的多模态低分辨率数据提取重要特征进行重建得到超分图像，然后对其进行脑组织分割，与高分辨率图像的分割结果作对比，约束超分网络向着二者一致的方向优化参数，从而使得重建结果保持医学图像特有的解剖结构特征。
1. 材料和方法
1.1. 实验数据
本文的实验数据来自南京金陵医院，包含379例同时采集的成对的低-高分辨率MRI数据(由高年资的放射科医生阅片选择，排除了包含局部性病灶以及严重异常的数据)。其中，低分辨率数据包括临床常规扫描的各向异性的T1，T2 FLAIR两个模态：T1空间分辨率为0.75×0.75×4.4 mm3，轴状位分辨率较高，扫描层厚为4.4 mm，共30层；T2 FLAIR空间分辨率为0.86×4× 0.86 mm3，冠状位分辨率较高，扫描层厚为4 mm，共28层；高分辨率数据为T1模态，空间分辨率为0.5×0.5× 1 mm3的MPRAGE序列，扫描层厚为1 mm，共176层。所有被试随机分为两个数据集：60%作为训练集—230例用于模型训练，40%作为测试集—149例用于模型性能测试。
1.2. 数据预处理
图像预处理的步骤如图 1所示。由于MRI图像的值仅代表了各个组织在成像过程中的相对值，我们将所有图像的灰度值都归一化到了[0, 1]来减少同一组织在不同机器中具有不同的灰度值造成的误差。考虑到T1与T2 FLAIR图像的表现形式存在较大的差异，本文只选取了T2 FLAIR图像上的关键区域(ROI)即与大脑退行性疾病较为相关的皮层下核团(海马及周围的海马旁回和内嗅皮质)作为第二模态进行信息增强。通过分割工具获得了皮层下核团的掩膜，然后处理得到T2FLAIR的皮层下核团图像。
图 1.
图像预处理步骤
Preprocessing of brain MRI for super-resolution.
1.3. 模型
本研究提出一种MSCSR模型(图 2)，基于轴状位高分辨率的厚层T1加权图像，从冠状位高清的厚层T2 FLAIR模态获取关键区域的补充信息，来重建各向同性的高分辨率T1图像，并引入了解剖学结构信息作为约束，提升图像超分辨率重建性能。
图 2.
多模态MR图像超分辨率重建框架图（MSCSR）
Framework of image super-resolution with multimodality MRI.
图像超分辨率映射网络：作为图像超分辨率任务的主体结构，其作用是将低分辨率的厚层MRI映射为高分辨率薄层T1图像。我们的超分辨率网络架构基于增强的深度残差网络(EDSR)[10]，主要由32个残差模块和一个上采样模块构成。由于EDSR是针对于二维自然图像超分辨率任务提出的，并不是完全适用于医学图像领域的任务，我们针对本文的研究内容做了一定的改进。首先，在预处理阶段，我们通过插值的方法将低分辨率图像和高分辨率图像都变换都到了体素为1×1×1的标准高分辨率空间，在将低分辨率图像通过网络进行像素级别的信息增强之后，输出图像即为我们的目标高分辨率图像，无需再对输出结果进行尺寸扩充，所以对原EDSR网络中的上采样模块做了移除。其次，医学图像本身具有三维信息，整幅图作为输入，对计算机硬件的要求比较高，考虑到算力问题，我们将预处理之后的图像切块到[32, 32, 32]的大小作为图像超分辨率网络的输入。除此之外，为了更好的适应三维图像，我们将网络的卷积核修改为3D形式，同时提取关于(x, y, z) 三个方向的信息；由于原始低分辨率图像的分辨率均为层内高、层间低，为了更好的利用原始的图像信息，我们采取了各向异性卷积策略，即在高分辨率方向与低分辨率方向使用不同尺度的卷积核，尽可能多的保留原始高清信息，提高整体图像的超分重建质量。最后，在特征提取的残差块内，我们使用两个连续的1×3×3和3×1×1的卷积核替换了传统的3×3×3的卷积核来减少训练过程中使用的计算资源，提高网络的计算速度。在本文中，使用的超分辨率网络，主要由1个下采样模块，32个残差块，以及1个重建模块组成。下采样模块和残差块用来提取图像特征。其中下采样模块主要包含一个1× 3×3大小的卷积层；每个特征提取的残差块都依次包含一个3×1×1卷积，一个1×3×3卷积，一个线性整流单元(ReLU)，一个3×1×1卷积，一个1×3×3卷积和一个残差缩放因子为0.1的恒定缩放层(Scale)，每个残差块的输入输出特征图都以跳层方式连接避免由于网络层数过大导致的梯度消失[15]，增强网络的层间特征交流；重建模块包括两个3×3×3大小的卷积，第二个卷积输入为第一个卷积的输出和整个网络第一次下采样之后的特征图之和，促进图像低维度和高维度特征之间的交流融合[16](图 3)。
图 3.
图像超分辨率映射网络结构
Structure of image super-resolution mapping network.
1.4. 损失函数
为了提升图像的重建质量，我们提出在有监督的学习过程中，使用灰度值相似性，以及脑组织分割相似性来约束超分辨率网络的重建学习方向。
图像灰度值方面，我们在像素级别上使用重建的超分辨率图像(SR)和对应高分辨率图像(HR)之间的均方误差(MSE)损失作为监督。MSE损失函数如下：
 |
1 |
在上式中，N表示一个图像块中像素点的总数，i表示第i个像素点。考虑到医学图像首先是属于图像范畴，所以我们加入了评估图像的结构相似性损失来约束超分图像和高分辨率图像之间在亮度、对比度和结构趋于一致。但是当图像信号的采集密度、用户的观看距离和人眼视觉系统的感知能力中的任何一项发生变化，对给定图像的主观评估也会随之发生改变，所以我们使用了多尺度的结构相似性[17, 18](MS-SSIM)损失来增强网络对于图像的重建性能。MS-SSIM损失函数如下：
 |
2 |
其中，αj为图像不同尺度下的参数，M为图像最大的尺度，j ∈[1, M]；l(SR, HR)，c(SR, HR)，s(SR, HR) 分别表示两幅图像的亮度对比函数，对比度对比函数，结构对比函数，其定义如下：
 |
3 |
 |
4 |
 |
5 |
其中μSR、μHR分别为每个图像块SR和对应HR的像素均值；σSR、σHR为两个对应图像像素值的标准差，σSR2、σHR2为两个对应图像像素值的方差，σSR -HR为上述两图像的像素值的协方差。一般，C1 = 0.012, C2 = 0.032, 
。
除此之外，考虑到医学图像本身具有的解剖学意义，我们引入脑组织分割来提升网络对于大脑组织结构之间相关性的重建性能。我们使用现有的脑组织分割工具对网络重建出的SR图像与其对应的HR图像进行实时分割，获取包含背景、灰质、白质和脑脊液的组织分割图(tissueSR, tissueHR)，并算分别两个图像中三个组织还有背景之间的分割系数(Dice)损失。Dice损失函数如下：
 |
6 |
其中C = 4为分割图的组织类别数，W为[背景，灰质，白质，脑脊液]各个组织的权重系数矩阵，k表示属于第k类组织的像素点。实验过程中发现，分割图显示在图像超分辨率过程中各个组织的边界非常容易混淆在一起。为此，我们根据组织分割结果，得到每个HR图像上每个像素点距离最近的组织边界的距离，取这个距离的反比，作为组织边界的权重矩阵D，在重建时通过加权的MSE损失为处于组织边界的像素点赋予更大的惩罚。
所以，本文最终使用的损失函数为：
 |
7 |
1.5. 实验设置
本研究使用230例成对的T1、T2 FLAIR厚层图像与MPRAGE序列的T1图像进行模型训练，149例数据来评估模型性能。在整个过程中，网络的输入均为经过分辨率标准化、去颅骨、灰度值归一化、T2 FLAIR关键区域获取一系列预处理之后的图像。
训练中，模型采取自适应矩估计方法[19](Adam)进行优化；使用本文中提出的混合Loss作为损失函数，进行监督学习；学习率设为5 × 10-5。整个模型基于PyTorch深度学习框架，模型训练和测试均在安装了NVIDIATITAN Xp 12G的GPU显卡的计算机上进行。
实验过程中，我们为LossMS -SSIM选取的图像尺度M = 3，对应α1, 2, 3 =[0.2, 0.5, 0.3]；LossDice的各个组织的权重系数矩阵设置为W =[0.01, 1, 1, 1]；混合损失函数的超参数设置为λ1 = 1，λ2 = 0.5，λ3 = 0.1。
对于超分辨率图像重建结果，我们使用两个客观的图像质量评价指标来评估超分辨率网络的重建性能，包括峰值信噪比[20](PSNR)和图像结构相似性[18](SSIM)。PSNR基于像素点间的误差，是使用范围最广泛的图像客观评价指标，但是没有考虑到人眼的视觉特性。所以我们还加入了SSIM这个指标来从图像的亮度、对比度和结构三个方面来对图像质量进行整体评价。此外，考虑到医学图像的临床使用价值，我们还对重建图像进行了脑组织体积测量精度的评估。
为了比较本文提出的方法在医学图像超分辨率任务上的有效性，我们在测试集上使用两个客观的图像质量评价指标对比了MSCSR模型与4种现有单一图像超分辨率方法的重建性能。对比方法分别为：基于传统方法的三线性插值[21]，基于加速的浅层网络的超分辨率卷积神经网络[22](FSRCNN), 基于反馈机制的图像超分辨率反馈网络[9](SRFBN)以及基于U-net[23]框架的图像超分辨率网络。在本文中除插值之外涉及到的3种神经网络对比方法，都将其使用的2D卷积替换为3D卷积以适应本文中的医学图像数据集，且均以单模态的厚层T1图像作为输入。
此外，为了验证T2 FLAIR模态对于T1图像重建的有效性，本研究也使用单模态T1图像作为网络输入来进行超分辨率重建(SCSR)，使用图像评价指标来评估重建质量。
2. 结果
MSCSR与4种对比方法和单模态T1图像作为输入的SCSR的重建结果以及真实采集的高分辨率3DT1的可视化结果，在脑沟、脑回和皮层下区域，插值的方法丢失了很较多细节；FSRCNN的重建结果有较为清晰的脑沟和脑回，但是皮层下核团粘连的现象比较严重；U-net有清晰的脑沟、脑回和皮层下结构，但是与HR相比，还存在较大的差异；SRFBN在前面几种方法的基础上有所改善，但一些细节部分与HR还是存在肉眼可见的差异；本文所提出的方法，在视觉效果上与HR图像最为接近(图 4)。
图 4.
不同图像超分辨率重建方法在测试集中一例数据的可视化结果
Visualization results of different methods for image super-resolution task in the test dataset. LR: Low-Resolution image which was used as the input of SR networks. FSRCNN: Fast super-resolution convolutional neural network. SRFBN: Super-resolution feedback network. SCSR: Structure-constrained super-resolution network. MSCSR: Multi-modality structure-constrained superresolution network. HR: High resolution image which is the ground truth.
同时，我们对几种方法在测试集上的超分辨率重建结果进行了图像量化分析，无论是PSNR还是SSIM，我们的方法都取得了最好的结果(表 1)。
表 1.
不同方法在MR脑影像超分辨率任务上的测试结果
Metrics of different methods in super-resolution task for routine brain MRI
| Item | Interpolation | FSRCNN | U-net | SRFBN | SCSR | MSCSR |
| FSRCNN: Fast super-resolution convolutional neural network, SRFBN: Super-resolution feedback Network, SCSR: Structure-constrained super-resolution network, MSCSR: Multi-modality structure-constrained super-resolution network. PSNR: Peak signal-to-noise ratio, SSIM: Structural similarity. GM: Gray matter, WM: White matter, CSF: Cerebrospinal fluid. | ||||||
| PSNR | 14.47±0.60 | 19.39±0.75 | 21.83±0.78 | 24.40±0.68 | 26.34±0.89 | 33.11±0.86 |
| SSIM | 0.943±0.006 | 0.978±0.003 | 0.989±0.002 | 0.992±0.001 | 0.995±0.001 | 0.996±0.001 |
| Volume Error | ||||||
| GM | 19 622(3%) | 68 610(10%) | 209 725 (33%) | 8372 (1%) | 14 799 (2%) | 9967(1%) |
| WM | 84 461 (18%) | 48 629(10%) | 159 236 (34%) | 9383 (2%) | 6207 (1%) | 8455 (2%) |
| CSF | 98 681 (35%) | 13 918(5%) | 83 004 (30%) | 7818(3%) | 10 300 (3%) | 24 187 (8%) |
我们统计发现，按照体素为1 mm×1 mm×1 mm计算，成年人的脑组织总体积平均约为1 410 000个体素，其中灰质(GM)约占46%，白质(WM)约占34%，脑脊液(CSF)约占20%。在脑组织体积测量方面(高分辨率图像作为金标准)，使用我们提出的方法与低分辨率图像(超分辨率重建网络的输入)相比，灰质体积的测量平均误差从3%降到了1%，白质体积平均误差从18%降到了2%，脑脊液从35%降到了8%。
3. 讨论
近年来，由于真实成对的低-高分辨率医学图像数据的缺乏，在图像域上的超分辨重建方法，大部分都沿用自然图像领域的思想，即对采集的高分辨率据进行下采样来获得对应的低分辨率数据，使用模拟的低分辨率数据和真实高分辨率数据来设计超分辨率重建的方法[24, 25]。通常，在进行图像超分辨率重建时，很多方法都只考虑整体的图像质量，试图一个算法可以适用于一个模态的所有图像，而没有针对医学图像本身不同部位结构也会有所不同的特性[26, 27]。Shi等[28]使用残差向量学习的方式对下采样之后的低分辨率脑部MRI图像进行空间分辨率的恢复，与使用FSRCNN网络的效果相比，在无脑肿瘤的图像上平均PSNR增长了3.57 dB，SSIM增长了0.026，而在有脑肿瘤的图像上，增长分别仅为0.98和0.0126。
一些研究人员意识到，通过下采样得到的低分辨率数据与真实临床采集的低分辨率图像存在着极大的差异，仅使用一般下采样方式得到的低分辨率数据来设计医学图像的超分辨重建方法，不能很好的利用真实数据特征，会极大的限制这些方法的实际应用。Iglesias等[29]分析了真实场景的低分辨率图像和高分辨率图像之间的差异，设计了一个数据生成器来生成更多的接近真实低分辨率数据的图像，来训练卷积神经网络，以期望可以更好的适用于临床数据分析，但由于仍然是使用模拟的数据进行学习，在真实数据上进行测试时，依然有较大的性能损失；Liu等[30]使用大量成对的真实数据来对临床常规的MRI脑图进行超分辨率重建，各项分析指标结果表明重建出的图像有较好的临床应用价值。
在本文中，我们使用了实际场景中采集的真实成对低-高分辨率数据，分别作为网络的输入与重建目标。测试集上的重建结果可视化显示，对于医学图像，如果只是按照一般图像超分辨率重建的方法，只从灰度值，以及图像整体的亮度、对比度和结构方面考虑(插值、FSRCNN、U-net、SRFBN)，对于大脑这一类具有非常复杂的解剖结构的图像，就会损失掉非常多的可供参考的细节信息，比如灰质白质之间的界限，脑沟脑回的走向，甚至皮层下核团的体积，这样的超分辨率图像将是缺少临床使用价值的。所以考虑到医学图像本身的特性，在实验中引入了第二模态图像的关键区域作为信息补充，从不同角度获得重要区域的更多信息，同时将人体解剖结构的信息通过损失函数利用起来，使得重建出的超分辨率图像更为接近MRI设备直接采集出的高分辨率图像。
目前，非常多的医院临床常规扫描的影像均为厚层数据，而好的医学图像超分辨率方法将直接有利于常规诊疗流程对一些特殊疾病的及早筛查；除此之外，经过长时间的积累，每个医院都拥有数量可观的厚层影像数据，如果可以将这些历史数据通过超分辨率方法重建出更高分辨率的图像，那显然会对科研有较大的推动作用。
为了为未来计算机辅助诊断提供更好的选择，本文提出的方法仍然需要进一步的临床验证。
Biography
曹泽红，在读硕士研究生，E-mail: redizc@outlook.com
Funding Statement
国家自然科学基金(61971213)
Supported by National Natural Science Foundation of China (61971213)
Contributor Information
曹 泽红 (Zehong CAO), Email: redizc@outlook.com.
张 煜 (Yu ZHANG), Email: yuzhang@smu.edu.cn.
References
- 1.David B, Kröll-Seger J, Schuch F, et al. External validation of automated focal cortical dysplasia detection using morphometric analysis. Epilepsia. 2021;62(4):1005–21. doi: 10.1111/epi.16853. [DOI] [PubMed] [Google Scholar]
- 2.Bernasconi A, Cendes F, Theodore WH, et al. Recommendations for the use of structural magnetic resonance imaging in the care of patients with epilepsy: a consensus report from the international league against epilepsy neuroimaging task force. Epilepsia. 2019;60(6):1054–68. doi: 10.1111/epi.15612. [DOI] [PubMed] [Google Scholar]
- 3.Crespo FB, Roiz SR, Pérez IR, et al. Sex-specific variation of MRIbased cortical morphometry in adult healthy volunteers: the effect on cognitive functioning. Prog Neuropsychopharmacol Biol Psychiatry. 2011;35(2):616–23. doi: 10.1016/j.pnpbp.2011.01.005. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 4.Tian QY, Bilgic B, Fan QY, et al. Improving in vivo human cerebral cortical surface reconstruction using data-driven super-resolution. Cereb Cortex. 2021;31(1):463–82. doi: 10.1093/cercor/bhaa237. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.Yang WM, Zhang XC, Tian YP, et al. Deep learning for single image super-resolution: a brief review. IEEE Trans Multimed. 2019;21(12):3106–21. doi: 10.1109/TMM.2019.2919431. [DOI] [Google Scholar]
- 6.Huang JH, Fang YY, Wu YZ, et al. Swin transformer for fast MRI. Neurocomputing. 2022;493:281–304. doi: 10.1016/j.neucom.2022.04.051. [DOI] [Google Scholar]
- 7.Yue LW, Shen HF, Li J, et al. Image super-resolution: the techniques, applications, and future. Signal Process. 2016;128:389–408. doi: 10.1016/j.sigpro.2016.05.002. [DOI] [Google Scholar]
- 8.Dong C, Loy CC, He KM, et al. Image super-resolution using deep convolutional networks. IEEE Trans Pattern Anal Mach Intell. 2016;38(2):295–307. doi: 10.1109/TPAMI.2015.2439281. [DOI] [PubMed] [Google Scholar]
- 9.Li Z, Li QL, Wu W, et al. Deep recursive up-down sampling networks for single image super-resolution. Neurocomputing. 2020;398:377–88. doi: 10.1016/j.neucom.2019.04.004. [DOI] [Google Scholar]
- 10.Lan RS, Sun L, Liu ZB, et al. Cascading and enhanced residual networks for accurate single-image super-resolution. IEEE Trans Cybern. 2021;51(1):115–25. doi: 10.1109/TCYB.2019.2952710. [DOI] [PubMed] [Google Scholar]
- 11.Karimi D, Warfield SK, Gholipour A. Transfer learning in medical image segmentation: new insights from analysis of the dynamics of model parameters and learned representations. Artif Intell Med. 2021;116:102078. doi: 10.1016/j.artmed.2021.102078. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 12.Cheplygina V. Cats or CAT scans: transfer learning from natural or medical image source data sets. Curr Opin Biomed Eng. 2019;9:21–7. doi: 10.1016/j.cobme.2018.12.005. [DOI] [Google Scholar]
- 13.Mahapatra D, Bozorgtabar B, Garnavi R. Image super-resolution using progressive generative adversarial networks for medical image analysis. Comput Med Imaging Graph. 2019;71:30–9. doi: 10.1016/j.compmedimag.2018.10.005. [DOI] [PubMed] [Google Scholar]
- 14.Sarasaen C, Chatterjee S, Breitkopf M, et al. Fine-tuning deep learning model parameters for improved super-resolution of dynamic MRI with prior-knowledge. Artif Intell Med. 2021;121:102196. doi: 10.1016/j.artmed.2021.102196. [DOI] [PubMed] [Google Scholar]
- 15.He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 770-8.
- 16.Feng XJ, Yao HX, Zhang SP. An efficient way to refine DenseNet. Signal Image Video Process. 2019;13(5):959–65. doi: 10.1007/s11760-019-01433-4. [DOI] [Google Scholar]
- 17.Wang Z, Simoncelli EP, Bovik AC. Multiscale structural similarity for image quality assessment[C]//The thrity-seventh asilomar conference on signals, Systems & Computers, 2003. November 9-12, 2003, Pacific Grove, CA, USA. IEEE, 2003: 1398-402.
- 18.Wang Z, Bovik AC, Sheikh HR, et al. Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process. 2004;13(4):600–12. doi: 10.1109/TIP.2003.819861. [DOI] [PubMed] [Google Scholar]
- 19.Kingma D, Ba J. Adam: a method for stochastic optimization. Learning. 2014;arXiv:1412, 6980. [Google Scholar]
- 20.Sara U, Akter M, Uddin MS. Image quality assessment through FSIM, SSIM, MSE and PSNR-A comparative study. J Comput Commun. 2019;7(3):8–18. doi: 10.4236/jcc.2019.73002. [DOI] [Google Scholar]
- 21.Rajon DA, Bolch WE. Marching cube algorithm: review and trilinear interpolation adaptation for image-based dosimetric models. Comput Med Imaging Graph. 2003;27(5):411–35. doi: 10.1016/S0895-6111(03)00032-6. [DOI] [PubMed] [Google Scholar]
- 22.Dong C, Loy CC, Tang XO. Accelerating the super-resolution convolutional neural network[C]//Comput Vis-ECCV 2016, 2016: 391-407.
- 23.Siddique N, Paheding S, Elkin CP, et al. U-net and its variants for medical image segmentation: a review of theory and applications. IEEEAccess. 2021;9:82031–57. [Google Scholar]
- 24.Bai Y, Han X, Prince JL, editors. Super-resolution reconstruction of MR brain images[C]. Conference on information sciences and systems (CISS04). 2004. 1358-63.
- 25.Feng CM, Wang K, Lu SJ, et al. Brain MRI super-resolution using coupled-projection residual network. Neurocomputing. 2021;456:190–9. doi: 10.1016/j.neucom.2021.01.130. [DOI] [Google Scholar]
- 26.Wang YH, Qiao JQ, Li JB, et al. Sparse representation-based MRI super-resolution reconstruction. Measurement. 2014;47:946–53. doi: 10.1016/j.measurement.2013.10.026. [DOI] [Google Scholar]
- 27.Zeng K, Zheng H, Cai CB, et al. Simultaneous single-and multicontrast super-resolution for brain MRI images based on a convolutional neural network. Comput Biol Med. 2018;99:133–41. doi: 10.1016/j.compbiomed.2018.06.010. [DOI] [PubMed] [Google Scholar]
- 28.Shi J, Liu QP, Wang CF, et al. Super-resolution reconstruction of MR image with a novel residual learning network algorithm. Phys Med Biol. 2018;63(8):085011. doi: 10.1088/1361-6560/aab9e9. [DOI] [PubMed] [Google Scholar]
- 29.Iglesias JE, Billot B, Balbastre Y, et al. Joint super-resolution and synthesis of 1 mm isotropic MP-RAGE volumes from clinical MRI exams with scans of different orientation, resolution and contrast. NeuroImage. 2021;237:118206. doi: 10.1016/j.neuroimage.2021.118206. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 30.Liu GP, Cao ZH, Xu Q, et al. Recycling diagnostic MRI for empowering brain morphometric research-Critical & practical assessment on learning-based image super-resolution. NeuroImage. 2021;245:118687. doi: 10.1016/j.neuroimage.2021.118687. [DOI] [PubMed] [Google Scholar]