Abstract
目的
提出一种非局部能谱相似特征引导的双能CT基物质分解方法(NSSD-Net)以抑制低剂量能谱CT基物质图像的相关性噪声。
方法
首先构建模型驱动的双能CT迭代分解模型,采用迭代软阈值算法(ISTA)优化分解模型目标函数的求解过程,并利用深度学习技术将此过程展开为迭代分解网络的形式。然后构建非局部能谱相似特征引导的代价函数,约束网络的训练过程。利用双能CT真实病人数据所建立的基物质分解数据集进行评估。将NSSD-Net与2种传统模型驱动的基物质分解方法、1种基于数据驱动的基物质分解方法以及1种基于数据-模型耦合驱动的监督分解方法进行对比实验。
结果
与传统模型驱动的基物质分解方法以及数据驱动的基物质分解方法相比,NSSD-Net方法在水和骨基物质分解结果中均获得最高的PNSR指标(31.383和31.444)、最高的SSIM指标(0.970和0.963)以及最低的RMSE指标(2.901和1.633);与数据-模型耦合驱动的监督分解方法相比,NSSD-Net方法在水和骨基物质分解结果中均获得最高的SSIM指标;临床影像专家的主观图像质量评估结果显示,NSSD-Net方法在水和骨基物质分解结果中图像质量评分均最高(8.625和8.250),与其他4种对比方法分解性能之间的差异具有统计学意义(P < 0.001)。
结论
本方法可以获得高质量的基物质分解结果,有效避免训练数据质量问题和模型不可解释问题。
Keywords: 能谱CT, 基物质分解方法, 深度学习, 非局部能谱相似性
Abstract
Objective
To propose a nonlocal spectral similarity-induced material decomposition network (NSSD-Net) to reduce the correlation noise in the low-dose spectral CT decomposed images.
Methods
We first built a model-driven iterative decomposition model for dual-energy CT, optimized the objective function solving process using the iterative shrinking threshold algorithm (ISTA), and cast the ISTA decomposition model into the deep learning network. We then developed a novel cost function based on the nonlocal spectral similarity to constrain the training process. To validate the decomposition performance, we established a material decomposition dataset by real patient dual-energy CT data. The NSSD-Net was compared with two traditional model-driven material decomposition methods, one data-based material decomposition method and one data-model coupling-driven material decomposition supervised learning method.
Results
The quantitative results showed that compared with the two traditional methods, the NSSD-Net method obtained the highest PNSR values (31.383 and 31.444) and SSIM values (0.970 and 0.963) and the lowest RMSE values (2.901 and 1.633). Compared with the datamodel coupling-driven supervised decomposition method, the NSSD-Net method obtained the highest SSIM values on water and bone decomposed results. The results of subjective image quality assessment by clinical experts showed that the NSSD-Net achieved the highest image quality assessment scores on water and bone basis material (8.625 and 8.250), showing significant differences from the other 4 decomposition methods (P < 0.001).
Conclusion
The proposed method can achieve high-precision material decomposition and avoid training data quality issues and model unexplainable issues.
Keywords: spectral CT, material decomposition methods, deep learning, nonlocal spectral
双能计算机断层成像(双能CT)广泛应用于如肾结石表征[1],碘定量检查[2, 3]等诸多临床诊断中。与传统CT相比,双能CT充分考虑X射线的连续能谱特性以及与物质作用后丰富的衰减信息,可以实现基物质分解以及能量选择性成像,具有重要的临床诊断意义。现阶段基物质分解任务主要面临的问题有:(1)双能CT检查中需要尽可能降低辐射剂量,这使得双能CT重建图像引入大量噪声[4],导致基物质分解问题退化为不适定逆问题,继而影响基物质图像质量;(2)传统的基物质分解方法难以有效抑制基物质图像数据相关性噪声,导致分解精度下降。这两类问题均导致基图像含有大量噪声引起的伪影,图像质量退化。
目前,双能CT基物质分解方法可以归纳为2类:模型驱动的基物质分解方法和数据驱动的基物质分解方法。模型驱动的基物质分解方法是基于基物质物理特性和目标图像的衰减特性进行模型构建,并优化分解模型,获得基物质图像数据。它包括:基于测量数据特性的基物质投影数据分解方法[5, 6],基于双能图像特性的基物质图像数据分解方法[7, 8],和基于测量数据特性的基物质图像分解方法[9, 10]。然而,基于测量数据特性的基物质投影数据分解方法要求不同能量段下投影几何具有空间一致性[11];基于双能图像特性的基物质图像数据分解方法在分解过程中存在噪声激增的问题[12];基于测量数据特性的基物质图像分解模型求解复杂,计算量大[13]。另一方面,数据驱动的基物质分解方法[14-17]基于大量配对的训练样本利用深度卷积神经网络来替代传统的数学模型。此类方法的优势在于可以利用大量成对的训练数据中丰富的结构特征信息,通过自适应学习获得精准的基图像,进而减少人工干预的复杂超参数调节。然而此类方法还存在两个主要问题:一是未考虑图像域物质分解的物理机制,其不可解释特性是阻碍临床医生接受深度学习技术的主要障碍之一[18]。二是分解性能取决于训练数据对的质量与数量[19],但在实际临床应用中,高质量的训练数据对难以大量获取,导致模型泛化能力差。近年来,研究人员提出了一种数据-模型耦合驱动的方法,并成功的应用于低剂量CT重建领域[20]。
受到上述工作的启发,本文提出了一种基于非局部能谱相似特征的双能CT基物质分解方法(NSSD-Net),以解决训练样本质量问题和模型不可解释问题。该方法首先构建模型驱动的双能CT基物质迭代分解模型,利用迭代软阈值算法(ISTA)优化求解分解模型的目标函数,并展开成迭代分解网络的形式;然后根据双能CT图像的结构相似性和谱相关性,构造基于非局部能谱相似特征[21]的代价函数,并将其纳入迭代分解网络中,采用自监督学习策略对该迭代分解网络所涉及的参数进行优化,以获得高精度的基图像。临床病人数据实验结果显示本文提出的方法可以有效抑制基图像的噪声和伪影,并保持目标分解图像的结构特征,提升了模型的收敛性能。
1. 材料和方法
1.1. 模型驱动的基物质分解模型
根据图像域物质分解理论,每个像素的线性衰减系数可以近似表示为基物质图像像素值的线性组合[22]。根据上述假设,双能CT基物质分解模型可以近似表示为如下形式:
![]() |
1 |
其中,U =[μH, μL]T表示物质在高、低能量下对应的线性衰减系数,即为经过系统校准的双能CT重建图像;X =[x1, x2]T表示不同物质对应的密度,即为待求解的两种基物质图像,根据能谱CT物质分解理论,原则上需要选择原子序数差异大的两种物质作为基物质,因此本文选择水和骨基物质来评估所提出方法的性能;A是系统矩阵,可表示如下:
![]() |
2 |
其中,μMij是高、低能量下不同基物质对应的质量衰减系数,I表示大小为2N × 2N的单位矩阵,其中N表示一张CT图像中总像素数目。
当CT重建图像U中包含较强的噪声或伪影时,上述问题具有强不适定性,被视为病态求解过程,极易受噪声干扰,进而影响基图像质量[23, 24]。为了求解获得高质量基图像,可以将上述问题采用最小二乘法解决,并通过引入正则项P(∙) 来进一步约束解空间。则双能CT基物质分解模型可以表达为:
![]() |
3 |
其中,P(X) 表示解空间先验约束项,本研究中,P(X) = ||X||1。λ > 0是正则化超参数。
对于双能CT基物质分解问题,本文采用ISTA优化上述分解模型的求解过程。该算法通过软阈值操作更新每一次迭代中的基图像,相应的迭代优化求解步骤可以表示为:
![]() |
4 |
![]() |
5 |
其中,ρ是步长数,X(k)表示第k次迭代得到的基图像,R(k)表示第k次迭代得到的基图像更新结果。模型驱动的基物质分解模型虽然可以获得较为准确的基物质分解结果,但是该类方法存在最优参数(包括ρ和λ)选择困难、实际应用中全局最优解难快速获得、计算量大等缺陷。
1.2. NSSD-Net
1.2.1. NSSD-Net构建
针对上述问题,本文提出一种非局部能谱相似特征引导的基物质分解网络(图 1)。所提出的网络包括:(A)基于ISTA的迭代分解网络;(B)非局部能谱相似特征构建。
1.

本文提出的NSSD-Net总体结构
Overall architecture of the proposed NSSD-Net. A: ISTA-based decomposition network. B: NSS feature generation.
(A)基于ISTA的迭代分解网络:受到卷积神经网络(CNN)强大的表征能力和普遍近似性的启发[25],本文利用F(∙) 表示CNN模块,用于表示求解基物质分解问题的非线性变换函数,该模块具有很好地图像去噪性能。则基于ISTA的基物质分解模型可以表示为如下形式:
![]() |
6 |
![]() |
7 |
其中,θ是网络可学习的参数。若将F(X) 视为变量,则可以得到其闭式解的表达式为:
![]() |
8 |
由于非线性变换函数F(∙) 是可以学习的,定义
为F的左逆,需要满足对称性约束条件
。因此,第k次迭代获得的基图像X(k)的闭式解表示为:
![]() |
9 |
其中,
是与F(∙) 结构对称的CNN模块。
(B)非局部能谱相似特征构建:考虑到双能CT图像存在丰富的数据特性,例如结构相似性、谱相关性,而上述特性被认为是高质量能谱特定的先验特征信息。结合前期工作[21, 26],利用双能CT图像的结构相似性和谱相关性,构建非局部能谱相似性特征,用以提升模型驱动的分解网络模型的分解性能。如图 1所示,本方法首先对高、低能量图像U =[μH, μL]T加权平均获得均值图像Uavi, 该图像包含的噪声少,图像信噪比高。结合该均值图像Uavi,采用aviNLM方法[21, 26]分别对含噪声高、低能量图像U去噪,获得去噪后的高、低能量图像,并采用基于图像域的基物质分解方法获得其对应的基图像Xp,利用该图像约束迭代分解网络,以提升双能CT基物质图像精度。因此,所提出的基于非局部能谱相似特征的代价函数可以表示为:
![]() |
10 |
其中,N是训练样本总量,Nt是基模块数量,Xi(Nt)是网络最终输出的基物质分解结果。基于上述,该网络可称为非局部能谱相似特征引导的基物质分解网络(NSSD-Net)。
1.2.2. 网络实现
所提出的NSSD-Net由多个CNN基础模块堆叠组成,每个基础模块包括2个子模块(图 1):梯度下降模块R(k)和近端映射模块X(k),具体如下:
梯度下降模块R(k) : 该模块基于梯度下降算法对基图像进行迭代更新。通过最小化
,以获得更精确地估计。由于数据保真项对应于能谱CT噪声统计模型,本方法通过施加一个物理约束提供先验信息,利用先验信息约束模型训练,从而确定梯度下降步长ρ。
近端映射模块X(k) : 该模块以R(k)作为输入项,利用公式(6)迭代更新获得更精准的基图像X(k),并将上述过程视为近端优化求解问题,即:
![]() |
11 |
近端算子通过变换域的阈值抑制中间过程基图像R(k)中的噪声与伪影。所提出的NSSD-Net旨在通过大量训练,学习得到非线性变换函数F(∙) 和阈值θ(k)。
每个CNN基础模块中,F(∙) 被设计为5层卷积层的线性组合,由ReLU激活层分隔开。第1层卷积算子对应Nf个滤波器(每个滤波器大小为3×3),其他3层卷积算子对应Nf个滤波器(每个滤波器大小为3×3× Nf)。本文中,我们设置Nf = 32。
1.2.3. 损失函数
NSSD- Net以低剂量双能CT图像{Ui}i=1N和基于非局部能谱相似特征获得的基图像{Xp}i=1N作为输入,输出对应的基物质分解图像Xi(Nt),并采用自监督学习策略通过最小化损失函数对网络进行优化。所提出的NSSD-Net总损失函数可以表示为:
![]() |
12 |
![]() |
13 |
其中,τ为一常数,本研究设置τ =1。
1.3. 实验设计
1.3.1. 实验数据集
为了验证NSSD-Net的分解性能,本研究在地方附属医院的帮助下建立了双能CT基物质分解的数据集。在与病人签订临床研究知情协议后,我们使用GE公司的Discovery750 HD宝石能谱CT对29位患有冠状动脉粥样硬化的患者进行双能CT扫描。本文以胸部能谱CT成像为研究对象,数据集采集自患者在高、低能量管电压分别为140 kVp和80 kVp,管电流均为360 mA下进行从胸部至腹部扫描的数据。本研究中,我们首先从双能CT图像中获得两个虚拟单能图像,分别为140 kev和90 kev。通过美国国家标准技术研究院(NIST)网站[27]查找得到该虚拟单能图像对应的基物质的线性衰减系数。另外,我们利用前期工作[28]中的仿真技术,仿真得到含噪声的双能CT数据,以观察各类基物质分解方法抑制噪声的能力。
针对网络训练,我们以2个不同能量下的低剂量虚拟单能图像作为训练数据对。实验中,随机选取22位病人数据作为训练集,将剩余的7位病人数据作为测试集。
1.3.2. 实验设置及对比方法
NSSD-Net网络模型使用PyTorch框架实现训练与测试[29],使用一个内存为11G的NVIDIA Tesla P40图像处理单元(GPU)进行训练,采用Adam优化器,初始学习率设置为1e-3,批处理参数(batch size)设置为1,训练次数(epoch)设置为42,每个epoch中的迭代次数设置为100,训练共耗时3 h。训练过程中,CNN基础模块数目设置为8,梯度下降步长参数ρ初始值设置为0.5,超参数τ设置为1,阈值θ的初始值设置为0.1。
为验证NSSD-Net的分解性能,我们选用了模型驱动和数据驱动的基物质分解方法进行比较。其中,模型驱动的基物质分解方法包括传统的直接矩阵求逆分解方法(DIMD)和基于统计迭代模型的分解方法(Itera-tive MD)[6];基于深度学习技术的基物质分解方法包括:数据驱动的分解方法(CD-Convnet)[17]以及本文所介绍的基于ISTA的迭代分解网络,该方法用于代表数据-模型耦合驱动的监督分解方法(ISTA-Net)[30]。基于深度学习技术的基物质分解方法均采用监督学习的方式进行训练。为了公平比较,上述方法均使用相同的训练数据和最优超参数进行训练。
1.3.3. 评估标准
(1)定量评估:为了评估不同方法的基物质分解性能,本研究采用3种定量指标对基物质分解结果进行量化分析。具体地,采用峰值信噪比(PSNR)对噪声抑制性能进行评估,其计算公式具体如下:
![]() |
14 |
![]() |
15 |
式中,Y和X表示基物质分解真值图像和含噪声的基物质分解图像;maxY表示基物质分解真值图像的最大值。
采用均方根误差(RMSE)对基图像的精确度进行定量评估,其计算公式具体如下:
![]() |
16 |
采用结构相似性(SSIM)对基图像的亮度、对比[31]度和结构进行定量评估。该指标基于三个项的计算,即亮度项l(X, Y)、对比度项c(X, Y) 和结构项s(X, Y),可以表示为:
![]() |
17 |
其中μX、μY、σX、σY和σXY分别表示基图像分解结果X和基图像真值结果Y的局部均值、标准差和互协方差。
(2)主观图像质量评估:为了进一步评估不同分解方法的临床可行性,本研究邀请4位专业的临床影像科专家对基物质分解结果的诊断质量进行评估。具体地,我们采用双盲图像质量评估策略,各个专家均独立打分,评分综合考虑基图像的分解准确性、噪声和伪影抑制程度以及软组织的结构保持性[32, 33]。评分结果采用1~10 Likert量表进行统计,其中10代表最高分,1代表最低分。
1.3.4. 统计学方法
主观图像质量评估的最终评分结果为4位临床影像科专家评分的平数±标准差。采用U检验对图像质量评分结果进行统计分析,以验证图像质量评估结果中NSSD-Net方法与其他分解方法之间分解性能差异,P < 0.05表示差异具有统计学意义。
2. 结果
2.1. CNN基础模块数目的影响
CNN具有图像去噪性能,CNN基础模块的数量影响模型分解结果的准确性。因此,本节讨论了6~10层CNN基础模块对应的模型分解性能。图 2展示不同CNN基础模块数目下NSSD-Net方法的性能。其中,图 2A与图 2B分别展示了不同数目CNN基础模块所构成的模型对于骨组织与水组织的分解性能差异。从图 2A中观察到,当基础模块数目大于8时,分解性能下降并趋于一个稳定的水平。但是当基础模块数目大于10时,GPU的计算成本显著增加。然而,为了平衡图像质量和计算成本之间的关系,本文设置CNN基础模块数目为8。
2.

不同CNN基础模块数目对NSSD-Net方法性能的影响
Influence of different numbers of the basis CNN blocks on performance of NSSD-Net method. A: Performance of the bone decomposed image. B: Performance of the water decomposed image.
2.2. 收敛性分析
本节选取了数据驱动的CD-Convnet与本文提出的NSSD-Net方法进行对比。图 3中展示了所提出的NSSD-Net和CD-Convnet训练模型的收敛性能。基于此,本文设置epoch次数为42。
3.

收敛性能分析
Convergence performance analysis.
2.3. 对比实验
2.3.1. 视觉比较
图 4分别给出了采用双能CT基物质分解数据集获得的分解结果。第1和第3行分别展示了两位病人的水基图,第2和第4行分别展示了2位病人的骨基图;从左至右,第1列是水和骨组织的理论分解图像,第2列是DIMD算法的分解图像,第3列是Iterative MD方法的分解图像,第4列是CD-Convnet方法的分解结果,第5列和第6列分别是ISTA- Net和NSSD-Net方法的分解图像。图 5展示了图 4中2位患者2种基物质的分解结果感兴趣区域(图 4中红色正方形区域)的放大图像。从结果中可以观察到,DIMD方法的基图像中存在严重的噪声和伪影,其水基图中软组织区域边缘难以准确的区分、骨基图存在错分现象。Iterative MD方法软组织区域仍存在明显的“块状伪影”,水基图的解剖结构信息被噪声引起的伪影掩盖。CD-Convnet和ISTA-Net方法一定程度上抑制了噪声,但丢失了很多结构边缘细节和软组织细节区域信息(图 5橙色箭头处)。NSSD-Net可以更好的保持基图像中血管细节信息以及骨组织边缘结构信息(图 5橙色箭头处),并一定程度上抑制噪声和噪声引起的伪影。
4.

不同方法获得的基物质分解结果
Decomposed images obtained by different methods.
5.

图 4中红色正方形标记处的感兴趣区域放大图
Zoomed-in views of the region of interest in Fig. 4 indicated by the red square.
图 6给出了图 4分解结果中橙色线条标记位置的水平剖面线。与数据-模型耦合驱动的ISTA-Net分解方法相比,NSSD-Net方法的分解结果与理论分解图像的像素值最接近,可以获得更准确的估计值。
6.

不同方法分解结果在图 4中橙色线条标记处的剖面线比较
Profile comparison among different methods along the orange line in Fig. 4. A: Profile of the water decomposed images. B: Profile of the bone decomposed images.
2.3.2. 定量评估比较
表 1和表 2分别给出了在测试集中水基物质、骨基物质分解结果的平均PSNR、SSIM和RMSE指标。与传统模型驱动的基物质分解方法(DIMD和Iterative MD)相比,本文提出的NSSD-Net方法在水组织与骨组织分解任务中均取得了最高的PNSR指标(分别为31.383和31.444)、最高的SSIM指标(分别为0.970和0.963)以及最低的RMSE指标(分别为2.901和1.633);与基于数据驱动的监督分解方法(CD-Convnet)相比,所提出的NSSD-Net方法均取得了最高的PSNR、SSIM指标以及最低的RMSE指标结果;与基于数据-模型耦合驱动的监督分解方法(ISTA-Net)相比,所提出的方法在水基图与骨基图分解结果中均取得了最高的SSIM值(水基图结果为0.970;骨基图结果为0.963)。
1.
采用不同基物质分解方法获得水基图的定量结果
Quantitative results of water basis images obtained by different material decomposition methods (Mean±SD)
| Methods | PSNR | SSIM | RMSE |
| DIMD | 21.669±2.085 | 0.807±0.0866 | 9.173±2.936 |
| Iterative MD | 24.007±0.860 | 0.893±0.0385 | 4.331±1.057 |
| CD-Convnet | 29.213±0.314 | 0.865±0.0365 | 6.190±0.818 |
| ISTA-Net | 32.655±0.751 | 0.968±0.0251 | 2.606±0.847 |
| NSSD-Net | 31.383±0.886 | 0.970±0.0130 | 2.901±0.527 |
2.
采用不同基物质分解方法获得骨基图的定量结果
Quantitative results of bone basis images obtained by different material decomposition methods (Mean±SD)
| Methods | PSNR | SSIM | RMSE |
| DIMD | 22.165±1.851 | 0.795±0.010 | 8.899±3.084 |
| Iterative MD | 27.653±1.016 | 0.910±0.039 | 3.649±1.148 |
| CD-Convnet | 28.155±0.881 | 0.926±0.020 | 4.030±0.842 |
| ISTA-Net | 32.511±1.018 | 0.960±0.014 | 1.421±0.683 |
| NSSD-Net | 31.444±1.094 | 0.963±0.022 | 1.633±0.699 |
2.3.3. 主观图像质量评估比较
表 3和表 4分别为真值分解结果与4种不同的基物质分解方法计算得到水基图、骨基图的图像质量评估结果,以及NSSD-Net方法与其他对比方法之间评估分数的假设U检验结果。可以看到,本文提出的NSSD-Net方法在水基图与骨基图结果中图像质量评分均最优(分别为8.625和8.250),且评分结果优于真值分解结果(分别为8.500和7.870)。另外,从U检验结果中可以看到,NSSD-Net方法与其他4种对比方法之间图像质量评分的差异均具有统计学意义(P < 0.001)。
3.
不同基物质分解方法对应水基图的图像质量评估结果与统计分析
Image quality evaluation results and statistical analysis of water basis images obtained by different material decomposition methods
| Methods | Mean±SD | P |
| Ground-truth | 8.500±1.414 | 0.809 |
| DIMD | 4.125±2.416 | < 0.001 |
| Iterative MD | 6.125±1.458 | < 0.001 |
| CD-Convnet | 3.625±1.408 | < 0.001 |
| ISTA-Net | 7.125±1.126 | < 0.001 |
| NSSD-Net | 8.625±1.188 | - |
4.
不同基物质分解方法对应骨基图的图像质量评估结果与统计分析
Image quality evaluation results and statistical analysis of bone basis images obtained by different material decomposition methods
| Methods | Mean±SD | P |
| Ground-truth | 7.875±1.959 | 0.503 |
| DIMD | 3.625±2.200 | < 0.001 |
| Iterative MD | 6.625±1.303 | < 0.001 |
| CD-Convnet | 3.625±1.408 | < 0.001 |
| ISTA-Net | 7.375±1.061 | 0.043 |
| NSSD-Net | 8.250±1.035 | - |
3. 讨论
为了有效抑制低剂量能谱CT基图像的噪声,本文提出了一种基于非局部能谱相似特征引导的双能CT基物质分解方法。该方法将传统正则化模型的迭代分解过程与深度卷积神经网络耦合,并利用双能CT图像的非局部能谱相似特征进行自监督形式的优化,以获得准确的基图像。具体地,首先构建模型驱动的能谱CT迭代分解模型,利用ISTA优化求解分解模型的目标函数,并展开为迭代分解网络;然后利用双能CT图像丰富的冗余信息,构造非局部能谱相似特征引导的代价函数,以优化网络参数,提升模型的稳定性和泛化性能。
本文采用双能CT基物质分解数据集进行评估,从图 4和图 5中可以观察到,传统DIMD方法迭代分解过程中存在不适定问题[34],导致基物质图像中包含严重的噪声和伪影,进而影响基图像的诊断性能。通过Iterative MD方法可以抑制部分噪声,但是局部区域出现块状伪影,这是由于手工调参难以寻得最优解导致的[6]。与上述两种方法相比,基于监督学习策略的CD-Convnet和ISTA-Net有效避免参数难以选择的问题,可以去除大部分噪声和噪声引起的伪影,但是丢失了很多结构边缘细节和软组织细节信息,且存在一定程度的分辨率损失[17]。而本文提出的NSSD-Net不仅可以抑制噪声和伪影,还可以有效避免过平滑现象,保持基图像中纹理细节。这些结果说明本文引入的非局部能谱相似性特征可以提供结构先验信息,确保模型收敛性能。定量评估结果进一步验证了NSSD-Net的分解性能,NSSD-Net方法取得了最高的SSIM指标,充分证实了所提出的方法可以更好的提供基图像的全局和局部结构信息。然而,ISTA-Net在PSNR和RMSE指标方面更优的原因是由于其使用高质量、配对的训练样本[30],采用监督学习的方式进行训练,而本文提出的NSSD-Net在训练过程中未使用任何真实标签数据。另外,通过收敛性分析实验可以看到,数据驱动的CD-Convnet需要超过100次迭代才可以收敛到平稳水平,而NSSD-Net仅需要训练42步即可获得准确的分解结果,说明本方法可以显著提升模型分解的收敛速度。
本文方法的优势在于:(1)与传统模型驱动的基物质分解方法相比,本文提出的NSSD-Net将统计迭代模型驱动的基物质分解模型优化求解过程展开为深度学习网络的形式,从而自适应优化分解模型中所涉及的参数,以解决传统迭代算法面临的超参数优选难题[35];(2)与数据驱动的基物质分解方法相比,NSSD-Net网络结构源于求解传统基物质分解模型的优化算法,网络优化基于能谱CT图像的先验特征[36](例如,能谱相关性和结构相似性),通过无标签样本训练网络,学习出模型与算法中的超参数。本方法可以有效避免数据驱动的方法存在解释性不足、结果不可预期、配对训练样本依赖性强的问题,模型泛化性能与收敛速度显著增强。
本研究也存在一定的局限性与不足之处:目前仅在仿真得到的含噪声能谱CT数据集上验证了所提出的方法的有效性,未来可以在真实的能谱CT图像上评估;本文中用于构建先验的基础模块引入了额外的参数,应该确定其先验结构(包括滤波器的数量和滤波器的大小),这被认为是与数据噪声统计高度相关的[20],如何选择合适的参数是应用本方法需要解决的一个问题。未来会采集更多的能谱CT临床数据进行训练,从而探究这些参数对所提出方法性能的影响,以更深入的验证本方法的合理性;本文只在非局部能谱相似特征引导的迭代分解网络中讨论了该方法的有效性以及最优超参数组合。不同特征图像包含的先验信息不同,如何选择最优的先验信息是应用本方法所面临的一个问题。未来会研究更多先验图像对所提出网络性能的影响,将更深入的探究本方法的合理性。另外,通过细微的修改,所提出的NSSD-Net方法亦可扩展到CT成像的其他应用,例如低剂量CT重建、稀疏角度CT重建和灌注CT成像。
Biography
王蕾,在读硕士研究生,E-mail: cheney312@smu.edu.cn
Funding Statement
国家自然科学基金(U1708261,U21A6005);国家重点研发计划项目(2020YFA0712201,2020YFA0712200);广州市科技计划项目(202206010148)
Supported by National Natural Science Foundation of China (U1708261, U21A6005)
Contributor Information
王 蕾 (Lei WANG), Email: cheney312@smu.edu.cn.
黄 静 (Jing HUANG), Email: hjing@smu.edu.cn.
References
- 1.Große Hokamp N, Lennartz S, Salem J, et al. Dose independent characterization of renal stones by means of dual energy computed tomography and machine learning: an ex vivo study. Eur Radiol. 2020;30(3):1397–404. doi: 10.1007/s00330-019-06455-7. [Große Hokamp N, Lennartz S, Salem J, et al. Dose independent characterization of renal stones by means of dual energy computed tomography and machine learning: an ex vivo study[J]. Eur Radiol, 2020, 30(3): 1397-404.] [DOI] [PubMed] [Google Scholar]
- 2.Jacobsen MC, Cressman ENK, Tamm EP, et al. Dual-energy CT: lower limits of iodine detection and quantification. Radiology. 2019;292(2):414–9. doi: 10.1148/radiol.2019182870. [Jacobsen MC, Cressman ENK, Tamm EP, et al. Dual-energy CT: lower limits of iodine detection and quantification[J]. Radiology, 2019, 292(2): 414-9.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 3.Chandarana H, Megibow AJ, Cohen BA, et al. Iodine quantification with dual-energy CT: phantom study and preliminary experience with renal masses. AJR Am J Roentgenol. 2011;196(6):W693–700. doi: 10.2214/AJR.10.5541. [Chandarana H, Megibow AJ, Cohen BA, et al. Iodine quantification with dual-energy CT: phantom study and preliminary experience with renal masses[J]. AJR Am J Roentgenol, 2011, 196(6): W693-700.] [DOI] [PubMed] [Google Scholar]
- 4.Xie Q, Zeng D, Zhao Q, et al. Robust low-dose CT sinogram preprocessing via exploiting noise-generating mechanism. IEEE Trans Med Imaging. 2017;36(12):2487–98. doi: 10.1109/TMI.2017.2767290. [Xie Q, Zeng D, Zhao Q, et al. Robust low-dose CT sinogram preprocessing via exploiting noise-generating mechanism[J]. IEEE Trans Med Imaging, 2017, 36(12): 2487-98.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 5.Alvarez RE, Macovski A. Energy-selective reconstructions in X-ray computerized tomography. Phys Med Biol. 1976;21(5):733–44. doi: 10.1088/0031-9155/21/5/002. [Alvarez RE, Macovski A. Energy-selective reconstructions in X-ray computerized tomography[J]. Phys Med Biol, 1976, 21(5): 733-44.] [DOI] [PubMed] [Google Scholar]
- 6.Ducros N, Abascal JFPJ, Sixou B, et al. Regularization of nonlinear decomposition of spectral X-ray projection images. Med Phys. 2017;44(9):e174–87. doi: 10.1002/mp.12283. [Ducros N, Abascal JFPJ, Sixou B, et al. Regularization of nonlinear decomposition of spectral X-ray projection images[J]. Med Phys, 2017, 44(9): e174-87.] [DOI] [PubMed] [Google Scholar]
- 7.Clark DP, Badea CT. Spectral diffusion: an algorithm for robust material decomposition of spectral CT data. Phys Med Biol. 2014;59(21):6445–66. doi: 10.1088/0031-9155/59/21/6445. [Clark DP, Badea CT. Spectral diffusion: an algorithm for robust material decomposition of spectral CT data[J]. Phys Med Biol, 2014, 59(21): 6445-66.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 8.Xue Y, Ruan RS, Hu XH, et al. Statistical image-domain multi-material decomposition for dual-energy CT. Med Phys. 2017;44(3):886–901. doi: 10.1002/mp.12096. [Xue Y, Ruan RS, Hu XH, et al. Statistical image-domain multi-material decomposition for dual-energy CT[J]. Med Phys, 2017, 44 (3): 886-901.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 9.Foygel Barber R, Sidky EY, Gilat Schmidt T, et al. An algorithm for constrained one-step inversion of spectral CT data. Phys Med Biol. 2016;61(10):3784–818. doi: 10.1088/0031-9155/61/10/3784. [Foygel Barber R, Sidky EY, Gilat Schmidt T, et al. An algorithm for constrained one-step inversion of spectral CT data[J]. Phys Med Biol, 2016, 61(10): 3784-818.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 10.Long Y, Fessler JA. Multi-material decomposition using statistical image reconstruction for spectral CT. IEEE Trans Med Imaging. 2014;33(8):1614–26. doi: 10.1109/TMI.2014.2320284. [Long Y, Fessler JA. Multi-material decomposition using statistical image reconstruction for spectral CT[J]. IEEE Trans Med Imaging, 2014, 33(8): 1614-26.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 11.Sidky E Y, Yu L, Pan X, et al. A robust method of x-ray source spectrum estimation from transmission measurements. J Appl Phys. 2005;97(12):124701–70. doi: 10.1063/1.1928312. [Sidky E Y, Yu L, Pan X, et al. A robust method of x-ray source spectrum estimation from transmission measurements[J]. J Appl Phys, 2005, 97(12): 124701-70.] [DOI] [Google Scholar]
- 12.Niu TY, Dong X, Petrongolo M, et al. Iterative image-domain decomposition for dual-energy CT. Med Phys. 2014;41(4):041901. doi: 10.1118/1.4866386. [Niu TY, Dong X, Petrongolo M, et al. Iterative image-domain decomposition for dual-energy CT[J]. Med Phys, 2014, 41(4): 041901.] [DOI] [PubMed] [Google Scholar]
- 13.Sukovic P, Clinthorne NH. Penalized weighted least-squares image reconstruction for dual energy X-ray transmission tomography. IEEE Trans Med Imaging. 2000;19(11):1075–81. doi: 10.1109/42.896783. [Sukovic P, Clinthorne NH. Penalized weighted least-squares image reconstruction for dual energy X-ray transmission tomography[J]. IEEE Trans Med Imaging, 2000, 19(11): 1075-81.] [DOI] [PubMed] [Google Scholar]
- 14.Shi ZF, Li HL, Cao QJ, et al. A material decomposition method for dual-energy CT via dual interactive Wasserstein generative adversarial networks. Med Phys. 2021;48(6):2891–905. doi: 10.1002/mp.14828. [Shi ZF, Li HL, Cao QJ, et al. A material decomposition method for dual-energy CT via dual interactive Wasserstein generative adversarial networks[J]. Med Phys, 2021, 48(6): 2891-905.] [DOI] [PubMed] [Google Scholar]
- 15.Xu YF, Yan B, Zhang JF, et al. Image decomposition algorithm for dual-energy computed tomography via fully convolutional network. Comput Math Methods Med. 2018;2018:2527516. doi: 10.1155/2018/2527516. [Xu YF, Yan B, Zhang JF, et al. Image decomposition algorithm for dual-energy computed tomography via fully convolutional network[J]. Comput Math Methods Med, 2018, 2018: 2527516.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 16.Zhang WK, Zhang HM, Wang LY, et al. Image domain dual material decomposition for dual-energy CT using butterfly network. Med Phys. 2019;46(5):2037–51. doi: 10.1002/mp.13489. [Zhang WK, Zhang HM, Wang LY, et al. Image domain dual material decomposition for dual-energy CT using butterfly network[J]. Med Phys, 2019, 46(5): 2037-51.] [DOI] [PubMed] [Google Scholar]
- 17.Liao YT, Wang YB, Li S, et al. Pseudo dual energy CT imaging using deep learning-based framework: basic material estimation[C]//SPIE Medical Imaging. Proc SPIE 10573, Medical Imaging 2018: Physics of Medical Imaging, Houston, Texas, USA. 2018, 10573: 1190-4.
- 18.Xu ZB, Sun J. Model-driven deep-learning. Natl Sci Rev. 2017;5(1):22–4. [Xu ZB, Sun J. Model-driven deep-learning[J]. Natl Sci Rev, 2017, 5 (1): 22-4.] [Google Scholar]
- 19.Zhou ZH. A brief introduction to weakly supervised learning. Natl Sci Rev. 2017;5(1):44–53. [Zhou ZH. A brief introduction to weakly supervised learning[J]. Natl Sci Rev, 2017, 5(1): 44-53.] [Google Scholar]
- 20.He J, Yang Y, Wang YB, et al. Optimizing a parameterized plug-and-play ADMM for iterative low-dose CT reconstruction. IEEE Trans Med Imaging. 2019;38(2):371–82. doi: 10.1109/TMI.2018.2865202. [He J, Yang Y, Wang YB, et al. Optimizing a parameterized plug-and-play ADMM for iterative low-dose CT reconstruction[J]. IEEE Trans Med Imaging, 2019, 38(2): 371-82.] [DOI] [PubMed] [Google Scholar]
- 21.Zhang HJ, Zeng D, Lin JH, et al. Iterative reconstruction for dual energy CT with an average image-induced nonlocal means regularization. Phys Med Biol. 2017;62(13):5556–74. doi: 10.1088/1361-6560/aa7122. [Zhang HJ, Zeng D, Lin JH, et al. Iterative reconstruction for dual energy CT with an average image-induced nonlocal means regularization[J]. Phys Med Biol, 2017, 62(13): 5556-74.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 22.Szczykutowicz TP, Chen GH. Dual energy CT using slow kVp switching acquisition and prior image constrained compressed sensing. Phys Med Biol. 2010;55(21):6411–29. doi: 10.1088/0031-9155/55/21/005. [Szczykutowicz TP, Chen GH. Dual energy CT using slow kVp switching acquisition and prior image constrained compressed sensing[J]. Phys Med Biol, 2010, 55(21): 6411-29.] [DOI] [PubMed] [Google Scholar]
- 23.Kalender WA, Klotz E, Kostaridou L. An algorithm for noise suppression in dual energy CT material density images. IEEE Trans Med Imaging. 1988;7(3):218–24. doi: 10.1109/42.7785. [Kalender WA, Klotz E, Kostaridou L. An algorithm for noise suppression in dual energy CT material density images[J]. IEEE Trans Med Imaging, 1988, 7(3): 218-24.] [DOI] [PubMed] [Google Scholar]
- 24.Warp RJ, Dobbins JT 3rd. Quantitative evaluation of noise reduction strategies in dual-energy imaging. Med Phys. 2003;30(2):190–8. doi: 10.1118/1.1538232. [Warp RJ, Dobbins JT 3rd. Quantitative evaluation of noise reduction strategies in dual-energy imaging[J]. Med Phys, 2003, 30(2): 190-8.] [DOI] [PubMed] [Google Scholar]
- 25.Liu PY. Approximation capabilities of multilayer feedforward regular fuzzy neural networks. Appl Math A J Chin Univ. 2001;16(1):45–57. doi: 10.1007/s11766-001-0036-9. [Liu PY. Approximation capabilities of multilayer feedforward regular fuzzy neural networks[J]. Appl Math A J Chin Univ, 2001, 16 (1): 45-57.] [DOI] [Google Scholar]
- 26.Ma JH, Zhang H, Gao Y, et al. Iterative image reconstruction for cerebral perfusion CT using a pre-contrast scan induced edge-preserving prior. Phys Med Biol. 2012;57(22):7519–42. doi: 10.1088/0031-9155/57/22/7519. [Ma JH, Zhang H, Gao Y, et al. Iterative image reconstruction for cerebral perfusion CT using a pre-contrast scan induced edge-preserving prior[J]. Phys Med Biol, 2012, 57(22): 7519-42.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 27.Hubbell JH, Seltzer SM. Tables of x-ray mass attenuation coefficients and mass energy-absorption coefficients 1 keV to 20 MeV for elements Z=1 to 92 and 48 additional substances of dosimetry interest[R]. National Institute of Standards and Technology, 1995.
- 28.Zeng D, Huang J, Bian ZY, et al. A simple low-dose X-ray CT simulation from high-dose scan. IEEE Trans Nucl Sci. 2015;62(5):2226–33. doi: 10.1109/TNS.2015.2467219. [Zeng D, Huang J, Bian ZY, et al. A simple low-dose X-ray CT simulation from high-dose scan[J]. IEEE Trans Nucl Sci, 2015, 62 (5): 2226-33.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 29.Paszke A, Gross S, Chintala S, et al. Automatic differentiation in PyTorch[C]. Neural Information Processing Systems Conference Record, 2017.
- 30.Zhang J, Ghanem B. ISTA-net: interpretable optimization-inspired deep network for image compressive sensing[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018: 1828-37.
- 31.Wang Z, Bovik AC, Sheikh HR, et al. Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process. 2004;13(4):600–12. doi: 10.1109/TIP.2003.819861. [Wang Z, Bovik AC, Sheikh HR, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans Image Process, 2004, 13(4): 600-12.] [DOI] [PubMed] [Google Scholar]
- 32.Cao L, Liu X, Li JY, et al. A study of using a deep learning image reconstruction to improve the image quality of extremely low- dose contrast-enhanced abdominal CT for patients with hepatic lesions. Br J Radiol. 2021;94(1118):20201086. doi: 10.1259/bjr.20201086. [Cao L, Liu X, Li JY, et al. A study of using a deep learning image reconstruction to improve the image quality of extremely low- dose contrast-enhanced abdominal CT for patients with hepatic lesions[J]. Br J Radiol, 2021, 94(1118): 20201086.] [DOI] [PMC free article] [PubMed] [Google Scholar]
- 33.Higashigaito K, Euler A, Eberhard M, et al. Contrast-enhanced abdominal CT with clinical photon-counting detector CT: assessment of image quality and comparison with energy-integrating detector CT. Acad Radiol. 2022;29(5):689–97. doi: 10.1016/j.acra.2021.06.018. [Higashigaito K, Euler A, Eberhard M, et al. Contrast-enhanced abdominal CT with clinical photon-counting detector CT: assessment of image quality and comparison with energy-integrating detector CT[J]. Acad Radiol, 2022, 29(5): 689-97.] [DOI] [PubMed] [Google Scholar]
- 34.Levitan E, Herman GT. A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography. IEEE Trans Med Imaging. 1987;6(3):185–92. doi: 10.1109/TMI.1987.4307826. [Levitan E, Herman GT. A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography[J]. IEEE Trans Med Imaging, 1987, 6(3): 185-92.] [DOI] [PubMed] [Google Scholar]
- 35.Fang W, Wu D, Kim K, et al. Iterative material decomposition for spectral CT using self-supervised Noise2Noise prior. Phys Med Biol. 2021;66(15):155013–31. doi: 10.1088/1361-6560/ac0afd. [Fang W, Wu D, Kim K, et al. Iterative material decomposition for spectral CT using self-supervised Noise2Noise prior[J]. Phys Med Biol, 2021, 66(15): 155013-31.] [DOI] [PubMed] [Google Scholar]
- 36.Zeng D, Huang J, Zhang H, et al. Spectral CT image restoration via an average image-induced nonlocal means filter. IEEE Trans Biomed Eng. 2015;63(5):1044–57. doi: 10.1109/TBME.2015.2476371. [Zeng D, Huang J, Zhang H, et al. Spectral CT image restoration via an average image-induced nonlocal means filter[J]. IEEE Trans Biomed Eng, 2015, 63(5): 1044-57.] [DOI] [PubMed] [Google Scholar]

















