基于轻量级神经网络的特发性肌炎超声图像分类

Abstract

Existing classification methods for myositis ultrasound images have problems of poor classification performance or high computational cost. Motivated by this difficulty, a lightweight neural network based on a soft threshold attention mechanism is proposed to cater for a better IIMs classification. The proposed network was constructed by alternately using depthwise separable convolution (DSC) and conventional convolution (CConv). Moreover, a soft threshold attention mechanism was leveraged to enhance the extraction capabilities of key features. Compared with the current dual-branch feature fusion myositis classification network with the highest classification accuracy, the classification accuracy of the network proposed in this paper increased by 5.9%, reaching 96.1%, and its computational complexity was only 0.25% of the existing method. The obtained results support that the proposed method can provide physicians with more accurate classification results at a lower computational cost, thereby greatly assisting them in their clinical diagnosis.

0. 引言

特发性炎症性肌病（idiopathic inflammatory myopathies，IIMs）是一组自身免疫性肌肉疾病^[1]，主要包括多发性肌炎（polymyositis，PM）、皮肌炎（dermatomyositis，DM）和包涵体肌炎（inclusion body myositis，IBM）三种亚型疾病。治疗延误会使患者的残疾率和死亡率显著增加^[2]。此外，上述三类亚型疾病虽同属肌肉炎症疾病，但其危害与治疗方式存在显著区别^[3]，及早进行病理筛查，有助于对不同亚型疾病进行靶向治疗，增加患者治愈率。定量超声是一种无创、操作方便的成像技术，能动态观察肌肉组织^[4]。Botar-Jid等^[5]发现肌肉超声图像的颜色特征与患PM、DM的概率显著相关，证明了超声弹性成像在检测IIMs上的可行性。此外，Noto等^[6]研究发现，患有IBM的肌肉在超声显影中的平均灰度普遍高于PM和DM，表明超声图像的回声强度可以区分不同的IIMs亚型疾病。然而，由于超声图像具有高噪声、低分辨率特点，通过人工视觉来分辨超声图像上细微的差距十分耗时，且其准确性很大程度上取决于医生的主观经验^[7]。因此，有必要采用计算机辅助诊断的方法，提高IIMs诊断效率，有效减少医生的工作量^[8]。

在传统机器学习领域，Nodera等^[9]提取肌肉超声图像的灰度共生纹理特征，采用随机森林（random forest，RF）分类器对PM、DM以及IBM进行三分类，分类正确率为58.8%。2017年，Burlina等^[10]首次对比了传统机器学习和深度学习在IIMs分类上的表现，实验结果表明AlexNet网络分类表现更好，准确率达到72.3%。为进一步提升IIMs的分类正确率，Uçar^[11]结合VGG16与VGG19网络，构造了一个高模型复杂度的VGG（16+19）网络，分类正确率达到90.2%。Uçar的模型虽然可以提高分类正确率，但以高模型复杂度为代价，随着模型复杂度增加，系统存储与计算成本也相应增加，因此该网络在实际应用中将受到限制。

综上，如何以较低的算法复杂度获得较高的分类正确率成为了一个重要挑战。鉴于此，本文提出一种基于软阈值注意力机制的轻量级卷积神经网络（lightweight convolutional neural network with soft threshold attention，LCNN-STA）来平衡分类正确率和模型复杂度。MobileNetV1作为经典的轻量级神经网络，其搭载的深度可分离卷积模块（depthwise separable convolution，DSC）相比于传统的卷积模块（conventional convolution，CConv）具有更小的参数量和计算量^[12]。因此，本文借鉴MobileNetV1的构建思想，交替使用DSC与CConv来构造轻量级卷积神经网络（lightweight convolution neural network，LCNN）为本文的主干网络。此外，鉴于DSC的参数量较小、拟合能力受到一定限制，为进一步提升分类性能，本文构建了软阈值注意力机制（soft threshold attention，STA），旨在消除冗余的噪声特征，以强化网络对关键特征的捕获能力。

1. 相关工作

1.1. 网络的整体结构

本文设计的轻量级神经网络LCNN-STA，其结构如图1所示。受MobileNetV1启发，设计了5个卷积组，且每个卷积组都由DSC与CConv交替搭建而成。每个卷积块后面均采用批量归一化层与线性整流函数进行数据归一化与激活，加速网络的收敛速度^[13]。此外，本文还提出一种全新的STA注意力机制，通过自适应伸缩的阈值来捕获关键的特征。该模块被添加在DSC与CConv模块之间，用于弥补DSC模块提取特征能力不足的缺点。

图 1.

The structure of the LCNN-STA

LCNN-STA网络结构图

LCNN-STA网络的输入为3通道肌肉超声图像，大小为224×224。网络主要由构建的5个卷积组进行特征提取，在前两个卷积组中分别采用11×11与5×5的卷积核来快速减少特征图的大小，增加特征提取的感受野。逐步下采样后，采用全局平均池化层（global average pooling，GAP）将二维图像特征池化为一维特征点。与直接采用全连接层（fully connected，FC）不同，采用GAP层作为过渡层可较大程度地减少网络的参数量，从而改善过拟合现象^[14]。最后，特征数据经过softmax激活函数后得到IIMs的分类结果。

1.2. 深度可分离卷积

卷积神经网络中的参数量和计算量分别决定了算法的空间和时间复杂度。传统的卷积块CConv，其参数量和计算量分别如式(1)和式(2)所示：

1

2

其中表示经过卷积后的特征图大小，和分别表示卷积前后的特征通道数，表示卷积核的大小。在本文中，对于同一DSC或者CConv，卷积前后的通道数是相同的，所以。而DSC模块包括逐通道卷积和逐点卷积两部分，其参数量和计算量如下：

（1）逐通道卷积指的是一个卷积核只负责一个通道，卷积前后的通道数一致。假设输出特征图大小为，通道数为，则逐通道卷积的参数量和计算量分别为和。

（2）由于逐通道卷积仅对独立的通道进行卷积，无法有效地利用不同通道在相同空间上的图像特征，所以需采用逐点卷积将不同通道的特征图进行组合。假设逐点卷积后的特征图大小为，通道数为，则该卷积过程的参数量和计算量分别为和。

将逐通道卷积和逐点卷积的参数量和计算量进行叠加，可得出DSC模块的参数量和计算量，如下所示：

3

4

为进行定量比较，假设特征图大小、通道数在DSC与CConv模块进行卷积前后相同，则，。因此，DSC与CConv模块的参数量之比和计算量之比分别如式(5)和式(6)所示：

5

6

特别地，当输出通道为256、卷积核大小为3 × 3时，DSC模块的参数量和计算量仅为CConv模块的1/9。因此，DSC是本文构建轻量级神经网络的关键模块。

1.3. 注意力机制

挤压和激励网络（squeeze and excitation，SE）是神经网络中应用广泛的注意力机制^[15]。SE通过GAP层来计算通道注意力，以较低的计算成本带来显著的性能收益。然而，SE忽略了空间信息的重要性，而空间信息是捕获重要特征的关键^[16]。针对SE的缺点，Woo等^[17]提出了卷积块注意力机制（convolution block attention module，CBAM），其结构如图2所示。CBAM先对输入特征按通道进行池化，获取通道激励，再将与进行逐通道相乘，获得通道注意力特征块。然后将特征块按空间进行池化，获得空间激励。最后将与相乘获得特征块，有效结合通道注意力和空间注意力。

图 2.

The structure of the CBAM module

CBAM结构图

然而，研究表明卷积只能捕获卷积核覆盖的局部关系，难以处理复杂的多分类场景^[18]。为此，Hou等^[19]基于通道注意力机制计算成本低的优势，将空间信息嵌入通道注意力中，提出了坐标轴注意机制（coordinate attention，CA），如图3所示。CA通过GAP层对输入特征块的纵向H和横向W进行信息压缩，分别获得激励和激励。然后将与进行拼接，通过卷积生成特征块。随后将进行拆分，分别通过卷积生成新的激励函数与。最后，将、与相乘，在获得通道注意力的同时，捕捉空间中纵向和横向的关键信息。

图 3.

The structure of the CA module

CA结构图

本文的分类对象是肌肉超声图像，属于高噪声图像。CA注意力机制直接将空间注意力嵌入通道中，将部分噪声信号作为有效的特征进行学习。因此，有必要采取去噪算法来优化该注意力机制。小波软阈值法是一种经典的去噪方法，通常分为小波分解、阈值选择和小波重构三个步骤^[20]。如式（7）所示，经过信号分解后，当特征的绝对值小于软阈值时，判断为噪声信号被过滤，而当的绝对值大于时，判断为有用的特征，并将其减去从而获得去噪后的特征值。因此，的选取是去噪过程中的关键步骤^[21]。

7

的选取不当会造成信号的失真，因此本文借鉴了Zhao等^[22]提出的自适应工业信号去噪方法，将软阈值插入神经网络模型中，该阈值将根据网络的迭代发生自适应改变，对现有的CA进行改进，消除主观因素带来的误差。

本文提出的STA注意力机制如图4左图所示。在CA的基础上添加了自适应收缩（adaptive shrinkage，AS）模块，该模块中的阈值参数会根据网络的迭代发生自适应改变。具体地，将AS模块分别添加在CA的H分支和W分支上。AS模块的结构如图4右图所示，假设输入特征为，其中C和W分别为特征图的通道数与宽度，经过三层卷积块后，对二维特征图进行GAP操作，压缩W方向上的信息为一维向量。然后输入至阈值的自适应调整模块，该模块由两层FC构建，其参数根据网络的迭代发生改变，使输入的一维向量发生自适应变化。根据式（7）可知，如果软阈值过大，大部分特征值会被强制转化为0，于是在FC层的末端添加Sigmoid激活函数，使得每个通道的向量都放缩到（0，1）的范围内，防止梯度弥散与梯度爆炸，该过程如下式所示：

图 4.

The structure of the STA module

STA结构图

8

其中i为通道的索引，，为第i通道的特征值，为对应通道的阈值软化参数。将作用在的对应通道上，获得自适应伸缩的阈值，如下所示：

9

式中为一维向量的第i个通道特征值，经过C轮乘积后，获得一维软阈值。最后，每个通道的一维数据根据对应的软阈值进行去噪，所有的通道去噪完成后，再次组合通道特征进行输出。

2. 实验与分析

2.1. 数据集

本文实验数据来自Burlina等^[10]公开的数据集。该数据集来源于美国的约翰·霍普金斯肌炎诊所，包含3 214张肌肉超声图像，分别采集自肱二头肌、三角肌、指深屈肌、桡腕屈肌、腓肠肌、股直肌和胫骨前肌，共7个肌肉部位。该数据集涉及14名PM患者、14名DM患者、19名IBM患者以及33名健康志愿者（Normal），共80人，并已通过欧洲医学肌肉协会进行标签的制定^[23]。本文的分类场景为4分类，目的是对PM、DM、IBM以及Normal进行区分，图5展示了这4类超声图像的一组典型样本（肱二头肌部位）。

图 5.

Samples of ultrasound images

不同类别的肌肉超声样本图

本文采用五折交叉验证方法，所有数据被随机分为5个大小相等的子集，训练集和测试集的比例为4∶1。其中每个受试者的七个肌肉部位均采集了对应的超声图片，因此存在同一患者某一部位的超声图片作为训练集，而另一部位的超声图片作为测试集的情况。具体的，每个数据子集的疾病类别和超声图像数量选取细节如表1所示。

表 1. Distribution of the number of muscle ultrasound samples in the dataset per fold.

每折数据集中肌肉超声样本数量分布情况

数据子集	PM（14名）	DM（14名）	IBM（19名）	Normal（33名）
子集1	110	111	159	262
子集2	111	111	159	262
子集3	111	111	158	263
子集4	110	111	159	263
子集5	110	111	159	263
所有数据	552	555	794	1313

2.2. 实验环境与参数

LCNN-STA基于Python3.6 语言，在Keras2.6.0框架与Tensorflow2.0后端中进行构建。实验设备的参数如下：GPU为NVIDIA GeForce GTX 3060 6 GB；RAM为16 GB；操作系统为Windows11专业工作站版。模型训练的超参数如表2所示。

表 2. The parameters used in this work.

超参数表

超参数	值
输入图像的尺寸	224×224×3
损失优化器	SGD
学习率	0.01
批量训练图像数目	16
训练次数	100

2.3. 评价指标

为定量评价所提网络对IIMs的分类性能，采用正确率（ACC）、精确度（PRE）、灵敏度（SEN）以及综合指标（F1-score）来进行模型评价。具体地，这些指标的计算见式(10)：

10

其中TP、TN、FP和FN分别为真阳性、真阴性、假阳性和假阴性的数量。

2.4. 主干网络的消融实验

本文主干网络指的是通过借鉴MobileNetV1的构建思想，交替使用DSC与CConv来构建的LCNN网络。不同的主干网络对同一数据集的分类效果有所差异。为客观评价所提出的主干网络，本节比较了目前流行的轻量级神经网络。这些模型都是基于DSC与CConv构建的，包括GhostNet；EfficientNetV1、V2以及MobileNetV1、V2、V3系列，采用的超参数同表2。各网络的分类效果如表3所示。可以看到，对于IIMs分类，本文所提出的主干网络在参数量最低的情况下，获得了最佳的分类表现，分类正确率达到93.5%。

表 3. Classification performance of different backbone networks for IIMs.

不同主干网络对IIMs的分类效果

网络名称	正确率	精确度	灵敏度	综合指标	参数量	计算量
注：加粗数字为最优结果
GhostNet	86.5%	85.9%	84.5%	85.1%	3.9 MB	144.3 MB
EfficientNetV1	80.2%	79.2%	76.9%	77.9%	4.1 MB	396.9 MB
EfficientNetV2	84.2%	82.9%	80.7%	81.5%	7.1 MB	726.5 MB
MobileNetV1	91.6%	91.4%	90.2%	90.7%	4.9 MB	574.5 MB
MobileNetV2	91.0%	91.1%	90.0%	90.5%	2.2 MB	323.2 MB
MobileNetV3_small	85.5%	85.5%	82.7%	83.7%	1.7 MB	60.0 MB
MobileNetV3_large	90.4%	89.6%	88.9%	89.2%	4.2 MB	222.9 MB
主干网络（LCNN）	93.5%	93.3%	92.5%	92.8%	0.5 MB	82.1 MB

2.5. 注意力机制的消融实验

1.2小节提到，DSC的参数量较小，拟合能力有限。为此，本文采用注意力机制来加强网络捕获关键特征的能力，从而提高分类表现。本文在所提的主干网络LCNN中分别添加了目前较为流行的注意力机制，用于比较各种注意力机制对IIMs的分类效果，包括SE、CBAM、CA以及自主构建的STA注意力机制。

表4展示了各注意力机制下网络的分类性能指标，相比于SE、CBAM以及CA，STA的参数量与计算量有轻微增加。其中搭载了STA的网络在单张超声图像上的预测时间与现有CA注意力机制相比，增加了0.7 ms，但分类正确率提升明显，达到96.1%。表明本文设计的STA注意力机制在IIMs分类中要优于其他注意力机制。

表 4. Accuracy of classification under different attention mechanisms.

不同注意力机制下的分类正确率

注意力机制	正确率	精确度	灵敏度	综合指标	参数量	计算量	耗时
注：加粗数字为最优结果
SE	94.1%	94.6%	92.1%	93.1%	0.50 MB	82.3 MB	13.5 ms
CBAM	94.2%	93.9%	93.3%	93.6%	0.58 MB	82.9 MB	15.7 ms
CA	94.7%	94.7%	93.8%	94.2%	0.51 MB	82.6 MB	15.2 ms
STA	96.1%	96.8%	95.0%	95.7%	0.60 MB	84.0 MB	15.9 ms

为直观突出STA的优势，采用Grad-CAM^[24]作为可视化工具，作用于网络最后一层卷积层，用于定位不同的注意力机制所关注的重点特征区域。图6第一列展示了7个部位的超声原图，肌肉信息区域已根据临床专家建议，采用红色曲线标明。图6中红色光晕覆盖部位为各注意力机制重点关注的信息区域。对比发现，本文提出的STA相比其他注意力机制更能准确定位到肌肉信息区域，且覆盖的肌肉信息区更加全面。

图 6.

Heat map of muscle characteristics under different attentional mechanisms

不同注意力机制下的肌肉特征热力图

2.6. 与现有IIMs分类方法的对比

为了进一步证明LCNN-STA在IIMs分类表现和模型复杂度方面的优越性，我们将它与现有IIMs分类的相关方法进行了比较，结果如表5所示。其中Burlina-RF和Burlina-Alexnet仅针对肌炎进行二分类，即区分患病与健康的肌肉超声图像，并未对肌炎的亚型疾病进行分类，因此直接引用原文给出的实验数据作为对比。具体的，在传统机器学习方法中，Nodera等通过RF进行了三分类，分类正确率仅有58.8%。Burlina等比较了传统机器学习和深度学习在IIMs中的分类效果，采用的Alexnet正确率到达76.2%。Uçar针对深度学习中IIMs分类效果不佳的问题，将VGG16与VGG19网络进行合并，构建了一个模型复杂度较大的双分支特征融合肌炎分类网络VGG(16+19)（计算量达到34 877.0 MB），使分类正确率达到90.2%。该作者公布了已训练的模型结构和参数，并且标明了训练和测试数据的图片编号。本文通过复现该作者上传的模型，保持相同的数据集划分标准，得出了表5中关于LCNN-STA的实验结果。本文提出的LCNN-STA计算量为86 MB，仅占VGG(16+19)方法的0.25%，在相同的实验超参数和实验数据情况下，分类正确率提升了5.9%，因此具有更高的实际应用价值。

表 5. Comparison between the proposed model and existing methods.

现有IIMs分类网络比较

研究来源	网络	分类类型	正确率	参数量	计算量
注：加粗数字为最优结果
Nodera [9]	RF	DM/PM/IBM	58.8%	−	−
Burlina [10]	RF	Normal/DM+PM+IBM	72.3%	−	−
Burlina [10]	Alexnet	Normal/DM+PM+IBM	76.2%	25.0 MB	720.0 MB
Uçar [11]	VGG(16+19)	DM/PM/IBM/Normal	90.2%	36.5 MB	34877.0 MB
本文方法	LCNN-STA	DM/PM/IBM/Normal	96.1%	1.2 MB	86.0 MB

3. 结论

本文针对现有的IIMs分类方法不能兼顾正确率与算法复杂度的问题，提出了LCNN-STA网络。该网络以DSC与CConv为基础卷积模块，构建了轻量级主干网络。与目前流行的轻量级网络相比，我们所构建的主干网络以最小的算法复杂度获得了最佳的分类表现。另外，为弥补DSC模块拟合能力不足的缺点，进一步加强主干网络的分类表现，本文在DSC与CConv模块之间添加了STA注意力机制，用于加强关键语义特征的提取，摒弃冗余的噪声特征。通过消融实验证明了STA注意力机制能够更加精准定位到肌肉信息区，分类表现有了较大提升。实验结果表明，与现有的IIMs方法相比，LCNN-STA以极低的算法复杂度，较大程度上提高了IIMs分类性能，突出了其较高的临床应用潜力。IIMs作为特发性疾病，可获取样本较少，在下一步研究中，我们考虑使用生成对抗网络来合成更多有效的数据进行模型训练，以进一步提高所提网络的泛化性和鲁棒性。

重要声明

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：谭浩负责实验设计与实践和论文写作；王涛、卢宇负责数据整理；何冰冰、张榆锋负责超声数据分析；李支尧负责医学指导和数据审查；郎恂负责理论研究、论文整体审查润色和论文写作指导。

Funding Statement

国家自然科学基金资助项目（62201495）；云南省基础研究计划项目（202301AT070277）；云南省基础研究计划项目（202301AU070187）

National Natural Science Foundation of China; Yunnan Fundamental Research Projects; Yunnan Fundamental Research Projects