聚类先验引导的自适应Transformer肌肉疲劳预测

Abstract

Due to the significant non-stationarity and feature distribution discrepancies in surface electromyography (sEMG) signals during muscle fatigue monitoring, traditional fixed-parameter Transformer models often struggle to accurately capture the complex evolution of time-frequency characteristics across different fatigue stages. To address this limitation, this paper proposes a K-means clustering-guided neural architecture search method (CG-NAS) to achieve adaptive optimization of Transformer architectures based on data distribution characteristics. The method first classified input EMG features using the K-means clustering algorithm and constructed Gaussian distributions characterized by mean and variance to quantify the complexity of each cluster. These distribution priors then guided the neural architecture search process, enabling dynamic alignment between the architecture search space and data characteristics: for low-complexity data clusters with small mean and variance, lightweight Transformer architectures were selected, whereas for high-complexity clusters, architectures with greater width and depth were allocated. Experimental results demonstrated the superior performance of CG-NAS in muscle fatigue index prediction tasks, achieving a mean absolute error of 0.098 2 and a coefficient of determination of 0.957 3, significantly outperforming multiple benchmark models. The study shows that CG-NAS effectively aligns with the nonlinear evolution of time-frequency features during the fatigue process and provides an efficient and robust solution for fatigue monitoring.

0. 引言

肌肉疲劳的实时监测在康复医学、运动科学及工业作业负荷评价中具有重要意义^[1-2]。在人体生理信息的评估中，表面肌电信号（surface electromyography，sEMG）作为肌肉活动的无创生物电表征，广泛应用于疲劳状态的量化分析^[3-6]。然而，sEMG信号具有高度非平稳性、个体差异性，且易受环境噪声干扰，给肌肉疲劳的精确预测带来了显著挑战^[7]。

传统的肌肉疲劳预测方法主要依赖于时频域分析和信息域分析^[8-10]，时频域方法通过特征提取与时频变换监测疲劳状态^[11-12]。例如，Karthick^[13]利用时频分析提取中值频率指标，Daniel等^[14]则通过离散小波变换重构sEMG信号，分别从不同角度实现了动态疲劳的检测。信息域方法则通过量化肌肉协调性的变化来描述疲劳过程^[15]。虽然结合肌声信号的多模态分析在提升分类鲁棒性方面表现出潜力^[16]，但基于单一sEMG模态的高效预测仍是目前临床与工程应用的主流需求^[17]。近年来，深度学习方法如卷积神经网络（convolutional neural network，CNN）与长短期记忆网络（long short-term memory，LSTM）及其混合模型在疲劳预测中展现出优势^[18-20]。Zhang等^[21]提出的MACNet模型结合多注意力机制和CNN，实现了sEMG信号的三级疲劳评估，在被试数据中的分类准确率为84.11%。Bala等^[22]提出了一种用于预测肌肉疲劳的深度学习模型MEFFNet，该模型结合了CNN、LSTM和注意力机制，从肌肉疲劳的时间序列数据中提取重要特征，并成功提升了预测准确性。Ao等^[23]通过生成对抗网络克服了肌肉疲劳对手势识别的影响。

随着注意力机制的应用^[24-25]，Transformer模型因其长程依赖建模能力，在信号处理中受到关注^[26-28]。Yu等^[29]结合CNN、LSTM和Transformer架构优化了下肢康复中的疲劳分类性能。Acharya等^[30]构建集成Transformer、LSTM与XGBoost的混合模型以应对复杂姿态下的疲劳检测。随后，Tu等^[31]利用多任务学习框架同时实现运动意向与疲劳等级识别，Zendehbad等^[32]则通过结合图神经网络与Transformer检测疲劳。

然而，这些深度学习方法通常采用固定的网络架构，缺乏对输入信号复杂性和个体差异的自适应能力，容易导致过拟合或欠拟合。虽然神经架构搜索（neural architecture search，NAS）已被引入以自动设计网络结构^[33]，但传统NAS方法往往忽略了输入数据的统计特性，导致搜索效率较低且模型结构缺乏物理可解释性。此外，sEMG信号随疲劳加深而产生的分布偏移，要求模型架构能够在推理过程中实现动态匹配^[34]。

针对上述挑战，本研究提出了一种聚类先验引导的自适应Transformer架构搜索框架（clustering-guided neural architecture search，CG-NAS）。该框架旨在利用sEMG信号的聚类特征，动态调整Transformer架构的深度和宽度，以精确适应不同疲劳阶段的信号复杂性。具体来说，本研究的目标是通过引入聚类统计特征来优化NAS过程，实现架构和信号特性的紧密耦合，进而提高肌肉疲劳监测的准确性与鲁棒性。

1. 方法

本研究提出CG-NAS框架，通过结合特征聚类与强化学习实现网络层数及超参数的动态演进，利用聚类分析产生的先验知识来约束和引导搜索空间，从而在复杂的肌肉疲劳预测任务中快速定位最优架构。

1.1. 特征聚类与高斯分布建模

为刻画不同疲劳阶段下信号特征分布的差异性，首先对提取后的低维特征向量进行K-means聚类，将样本划分为若干语义簇。聚类过程中以样本间相似性为依据，通过迭代优化簇划分，使簇内样本尽可能紧凑、簇间样本尽可能分离，最终得到的每个簇代表一类具有相似统计特征的信号样本群体。设为某一簇，为该簇内的样本数量（即），为了对每个簇的特征进行进一步分析，簇均值与簇方差的计算公式如下：

1

2

其中，表示簇内第个样本的特征向量，簇均值为簇内所有样本特征的平均值，代表簇的特征中心，簇方差则度量了簇内样本分布的离散程度，表示该簇内样本特征的变化幅度。根据各簇对应的大小，将数据簇由低到高划分为簇1~簇4四个复杂度等级：方差较小的簇（簇1）代表信号平稳、特征集中，对应低复杂度；方差较大的簇（簇4）则对应信号波动剧烈、分布离散度高、非平稳性显著的超高复杂度阶段。

为评估聚类效果及数据簇的紧凑度，引入平均轮廓系数（average silhouette coefficient，ASC）衡量簇内相似度与簇间分离度，该值越接近1代表聚类效果越好；此外，簇内距离（intra-cluster distance，ICD）用于表征特定疲劳阶段下信号特征的离散程度。为了量化不同疲劳阶段间的状态跨度，引入簇中心迁移距离，当增大时，意味着当前信号的非线性特征增强，此时网络深度调整系数相应增大，引导控制器在动作空间中选择更高深度的Transformer架构，以实现对复杂疲劳流形的有效解耦。簇中心位置的动态漂移揭示了肌肉生理状态随时间的演化路径，的大小直接反映了相邻疲劳阶段间特征分布的变迁程度。因此，不仅为识别疲劳发生的转折点提供了空间依据，也进一步加强了模型对肌肉疲劳动态演化的适应能力。

1.2. 聚类先验引导下的CG-NAS搜索机制

在CG-NAS中，簇的均值与方差作为先验信息参与NAS决策。强化学习根据簇复杂度动态选择Transformer层数及其超参数，实现架构自适应。将第个簇引导下的神经架构搜索过程建模为马尔可夫决策过程。在时间步，智能体观察到的状态包含两部分信息：一是当前数据簇的统计特征，二是当前网络结构状态。状态空间定义为：

3

其中，与表征当前数据簇在特征空间中的统计分布特性，与分别表示当前网络宽度与深度状态。动作空间定义了强化学习智能体在状态下可执行的所有合法操作，用于动态地确定当前Transformer层的结构配置。为实现序列化决策建模，本文构建了基于LSTM的控制器作为强化学习的智能体。控制器接收当前的状态信息，并通过Softmax层输出不同架构参数的选择概率：

4

5

其中是控制器的隐状态，和是学习到的权重矩阵。智能体根据概率分布采样生成具体网络架构，从而实现非线性、自适应的结构探索。在超参数决策层面，时间步的超参数向量定义为：

6

其中，表示嵌入维度，为注意力头数，为前馈网络维度，为激活函数类型。此外，本文设计了一个多目标奖励函数R。智能体的目标是最大化预期的累积奖励，表达式定义为：

7

其中，衡量模型在验证集上的回归误差，表示当前架构参数规模，和分别为精度权重与复杂度惩罚系数。

1.3. 模型架构

网络架构由输入层、编码器和解码器三部分组成。输入层融合原始特征与簇统计特征，并映射至高维潜在空间，形成初始特征嵌入。编码器基于多层Transformer块进行分层建模，在簇统计信息与NAS机制引导下动态调整网络深度、宽度及相关超参数，以实现对不同复杂度数据的自适应建模。解码器将编码特征映射至目标空间，通过全连接层和多层感知机（multilayer perceptron，MLP）输出最终疲劳指数预测值。整体结构如图1所示。

图 1.

The proposed CG-NAS network architecture

所提出的CG-NAS网络结构

1.3.1. 输入层

首先将样本的原始特征向量与所属簇的统计特征分别进行标准化，并将二者融合得到特征向量。簇的统计特征作为先验信息，为后续NAS在状态空间与动作空间中的结构选择提供引导。随后采用线性投影将融合特征映射至高维潜在空间，得到初始特征嵌入。

1.3.2. 编码器

编码器对融合后的输入特征进行分层建模，由五个可堆叠的Transformer块组成。每个块包含多头自注意力机制和前馈网络。与传统静态结构不同，本模型的Transformer深度、宽度及内部超参数的选择由样本所属簇的统计特征动态调控。簇的统计特征包含簇均值与簇方差，计算公式如下：

8

9

其中，簇均值比例表征簇均值相对全局均值的偏移程度，簇方差比例表征簇内部的可变性。为特征维度，和分别表示簇均值和方差的最大值。为了使结构适配不同簇的复杂程度，采用簇驱动的结构映射机制，将与映射为Transformer的宽度等级和深度等级，公式如下：

10

其中，表示簇的复杂度，为中心点参数，为平滑因子，用于控制结构调整的敏感度。与分别定义搜索空间的基准等级与跨度。

在动作空间中，嵌入维度决定当前层的特征表示容量，定义为。智能体依据宽度等级选择对应的嵌入维度，较高的宽度等级对应更大的表示容量，映射关系如下：

11

注意力头数决定多头自注意力机制的视角数量，定义为。智能体根据簇方差比例决定注意力头数的选择，方差越大表示簇内部离散度高，特征关系复杂，智能体会选择更多的注意力头以增强建模能力。映射关系如下：

12

前馈网络维度决定层内非线性变换的表达能力，设置为嵌入维度的2倍，定义为，映射关系如下：

13

激活函数用于调节层的非线性映射能力。根据复杂度比例，当时选择ReLU以保持计算效率与训练稳定性；当时选择GELU以增强高复杂度条件下的非线性建模能力。编码器通过堆叠Transformer块逐层提取全局依赖关系与高阶非线性特征，输出高维表示作为解码器输入。

1.3.3. 解码器

解码器负责将编码器提取的高维特征映射到目标空间，生成最终疲劳指数预测结果。首先，通过全连接层将特征映射至中间隐空间，并采用层归一化进行标准化处理，以提高训练稳定性与收敛速度。随后通过MLP进行非线性变换，增强特征组合表达能力。最终MLP输出连续疲劳指数作为预测结果。解码器结构保持固定，不随簇统计特征动态调整，以保证回归输出的一致性与可重复性。

1.4. 损失函数

为训练网络精确预测疲劳指数，采用均方误差（mean squared error，MSE）作为回归损失函数：

14

其中，为模型预测值，为真实值，为样本数量。该损失函数直接度量预测误差，并对偏差较大的样本施加更高惩罚，从而提升回归精度。训练过程中通过反向传播联合优化所有参数，使模型充分利用编码器提取的高维特征，实现准确稳定的疲劳指数预测。

2. 实验

2.1. 数据采集

本研究共招募10名健康成年受试者（男性6名，女性4名），年龄22～25岁，体重55～86 kg，身高172～185 cm。所有受试者均无神经肌肉系统疾病史，上肢功能正常，且实验前24小时内未摄入咖啡因、尼古丁和酒精，未进行剧烈运动。实验方案严格遵循《赫尔辛基宣言》伦理原则，并已获得宁夏大学伦理审查委员会批准（批准号：NXU-H-2024-0148）。实验前，所有受试者均详细了解流程并签署书面知情同意书。肌电信号采用Trigno无线肌电系统采集，采样频率2 000 Hz，并通过EMGworks软件进行数据记录。

实验采用最大自愿收缩标准化方案诱导肌肉疲劳^[35-36]。受试者保持直立坐姿^[37]，室温控制在（22±2） ℃。实验开始时，前臂垂直于上臂，在无负载条件下采集3 s基线sEMG信号。随后受试者手持哑铃进行重复肘关节屈伸运动，目标频率不低于20次/分，每个循环定义为从参考位置至最大屈曲角度后返回参考位置的完整过程。该过程持续至任务失败，期间连续记录目标肌肉的sEMG信号。

疲劳程度的划分依据运动过程中中值频率下降趋势及主观疲劳感觉量表（Rating of Perceived Exertion，RPE）评分综合确定^[38]。RPE具体分级标准为：6～11分为无疲劳，12～14分为轻度疲劳，15～18分为中度疲劳，19～20分为重度疲劳。实验过程中实时记录RPE值以量化疲劳演变，确保每个阶段的疲劳状态得到准确标定。基于上述标定的四种疲劳状态，原始sEMG数据被相应地划分为四个类别（簇1~簇4），作为构建聚类先验引导的自适应Transformer模型的输入基准。

2.2. 数据处理和特征提取

数据处理和特征提取在MATLAB环境下进行。预处理包含两个关键步骤：异常值检测与处理以及带通滤波。首先，识别并剔除由电极接触不良或运动干扰引起的异常点。随后采用4阶巴特沃斯带通滤波器（20～500 Hz）对sEMG信号进行滤波，以去除低频运动伪影与高频噪声。肌肉疲劳评估基于sEMG信号的时域与频域特征。其中，时域特征包括整流平均值（average rectified value，ARV）、均方根（root mean square，RMS），其上升趋势常指示肌肉激活增强与疲劳积累^[39]。频域特征则选取对频谱变化敏感的平均功率频率（mean power frequency，MNF）和中位频率（median frequency，MDF），其下降被视为动作电位传导速度减慢和疲劳发生的典型标志^[40]。特征提取采用0.5 s滑动窗口，重叠率为25%。每个窗口先通过快速傅里叶变换得到功率谱，随后计算相关特征。

完成多维特征提取后，为了将ARV、RMS、MNF及MDF转化为CG-NAS框架的可观测信息，对特征向量进行Z-score标准化处理以消除量纲影响。随后采用K-means算法进行无监督划分，并通过手肘法分析平方误差和变化趋势确定最优簇数K = 4。最终将各数据簇与2.1节中基于RPE标定的疲劳状态进行对应，形成簇1（无疲劳）~簇4（重度疲劳）的映射关系，并计算各簇的统计先验用于后续架构搜索的状态初始化。

3. 结果与分析

3.1. 多肌肉协同运动下的sEMG特征表现

图2展示了肘屈运动过程中，肱二头肌、肱三头肌与肱桡肌的关键生理特征（ARV、RMS、MNF、MDF）随疲劳诱导时间的演变趋势。实验观察到，表征肌肉募集程度与能量强度的时域指标ARV和RMS在整个运动周期内整体呈现上升趋势。其中，作为主动肌的肱二头肌上升趋势最为显著，而肱三头肌和肱桡肌的增长幅度相对较缓，这表明随着疲劳程度加深，各目标肌肉均通过增加运动单位募集频率与同步化程度来代偿输出功率的下降，且主动肌的代偿机制表现得更为突出。与此同时，频域指标MNF与MDF表现出明显的单调下降特性，定量地印证了疲劳导致的肌纤维动作电位传导速度减慢。通过对特征演化轨迹的对比分析发现，各肌肉群的疲劳动力学特征表现出显著的空间异质性。肱二头肌的频域指标下降速率明显高于肱桡肌与肱三头肌，表明其在该项运动任务中具有更高的疲劳敏感度。

图 2.

Schematic of various fatigue feature indices

不同疲劳特征指标示意图

尽管图中采用线性拟合展示了整体演化趋向，但实验显示，肱三头肌与肱桡肌在运动后期的时域特征变化趋势存在阶段性偏移，表现出明显的代偿性活跃，这与肱二头肌的早发性疲劳形成了对比。因此，图2所呈现的特征演变规律进一步强调了构建自适应模型的重要性，即模型需具备捕捉不同肌肉群在各疲劳阶段特征差异的能力，以应对生物医学信号的非平稳特性。

3.2. 簇特征分布的可视化分析

图3展示了隐空间中肌肉疲劳簇特征分布结果。图中通过矢量箭头的时空分布刻画了不同疲劳阶段下肌肉电生理活动的动态迁移规律，每一箭头代表肌电信号中提取的疲劳特征向量分布，其指向揭示了隐空间内肌肉活动的演化趋势，箭头长度则通过模值大小反映了肌肉活动的强度演变速率。此外，从紫色至黄色的颜色映射直观表征了疲劳程度从低到高的演化。

图 3.

Clustering distribution and flow evolution of muscle fatigue features in the latent space

隐空间下肌肉疲劳特征的聚类分布及其流向演化图

聚类结果显示，从正常生理状态到重度疲劳状态的特征迁移具有显著的统计规律。实验测得各簇的ASC为0.72，表明不同疲劳阶段的特征具有良好的类间分离度。关于反映特征分布紧凑性的ICD，其数值大小直接对应了生理信号的确定性：数值越大，信号的随机性与个体差异越强；数值越小，则特征越趋于稳定和一致。实验观察到，在正常状态下特征分布较为分散，初始ICD均值为0.81；随着疲劳程度加深，特征表现出显著的向心收缩趋势，进入重度疲劳期后ICD减小至0.58（缩减率为28.4%）。这种从有序外扩到向心收缩的几何变化模式，证明了CG-NAS能够有效解耦不同复杂度的数据特征，并根据数据的分布密度动态调整模型感受野。在整个疲劳诱发过程中，呈现出非线性增长态势。统计结果表明，其全程均值为0.42，中位数为0.38，反映了多数疲劳采样点的平稳性。而在疲劳状态剧烈波动的阶段，其极大值可达0.65，此时触发了Transformer深度的峰值调整以捕捉瞬态特征；在初始稳定期，的极小值为0.12，保证了模型在简单信号下的轻量化运行。

3.3. 消融实验

为系统性验证CG-NAS模型中各核心模块的必要性，本文设计了四组消融实验，在保持网络主干、输入特征维度、学习率以及优化器等训练策略完全一致的情况下，仅通过移除目标模块来观察模型性能变化。

实验结果（见表1）表明，移除簇特征融合模块后，MAE从0.098 2显著上升至0.158 9，下跌了约16.4%。在排除了基础架构干扰的前提下，该结果直接证明了聚类先验提供的分布信息是模型精准对齐非平稳信号特征的主因。移除动态深度模块或动态宽度模块，分别降至0.823 8和0.839 1，MAE分别增加至0.149 8和0.125 5。证明了针对高度非平稳的特征空间，调整网络深度和宽度是实现高表征能力的核心驱动力。无动态机制的静态模型在所有设置中表现最差，验证了CG-NAS方法中动态调整机制的必要性。

表 1. Performance comparison of model decoding under different component removals.

不同组件移除下的模型解码性能对比

模块	模型配置	MAE	R 2
完整模型CG-NAS	簇特征融合 + 动态宽度 + 动态深度 + 解码器	0.098 2	0.957 3
模型无簇特征	原始特征 + 动态宽度 + 动态深度 + 解码器	0.158 9	0.800 2
模型无动态深度	簇特征融合 + 动态宽度 + 解码器	0.149 8	0.823 8
模型无动态宽度	簇特征融合 + 动态深度 + 解码器	0.125 5	0.839 1
模型无动态机制	簇特征融合 + 固定Transformer编码器 + 解码器	0.152 1	0.820 2

3.4. 性能比较

为保证对比的公正性，所有实验均在统一环境下进行。各模型采用相同的数据划分比例（7∶2∶1），统一采用Z-score标准化预处理流程；优化器统一为Adam优化器，初始学习率为，Batch Size为32。

为全面评估CG-NAS的性能，本文与支持向量回归（support vector regression，SVR）、Transformer、MACNet^[21]及NAS^[34]等方法进行了对比。结果表明（见表2），CG-NAS在各项指标上均取得最优表现。MAE为0.098 2，RMSE为0.146 6。相比固定结构Transformer，预测误差降低了35.4%；相比SVR，MSE由0.084 2降至0.021 5。与NAS^[34]相比，MAE由0.119 2下降至0.098 2，提升了17.6%，MAPE下降为6.14%。相较于CNN-LSTM-Transformer^[29]，MAE亦降低约21.1%。实验结果表明，CG-NAS在保证鲁棒性的同时显著提升了预测精度。

表 2. Performance comparison of different models for muscle fatigue prediction.

不同模型在肌肉疲劳预测任务上的性能对比

方法	MSE	RMSE	MAE	MAPE（%）
SVR	0.084 2	0.290 2	0.221 5	18.42
MEFFNet[22]	0.079 1	0.281 2	0.210 4	16.85
Transformer–LSTM–XGBoost[30]	0.052 1	0.228 3	0.174 5	12.31
Transformer	0.043 5	0.208 6	0.152 1	10.54
MACNet[21]	0.038 2	0.195 4	0.138 9	9.21
CNN-LSTM-Transformer[29]	0.035 1	0.187 3	0.124 5	8.45
NAS[34]	0.031 2	0.176 6	0.119 2	7.92
CG-NAS（本文方法）	0.021 5	0.146 6	0.098 2	6.14

3.5. 模型搜索效率与适应性分析

图4展示了不同复杂度的模型性能对比以及生成模型数量在MSE区间的分布情况。图中包括两个子图，分别展示了模型在不同数据复杂度下的表现和模型数量的分布。

图 4.

Error distribution statistics and performance comparison of models with different complexities

误差分布统计与不同复杂度模型性能对比

a. 生成模型数量分布；b. 不同复杂度簇性能对比

a. distribution of generated models by MSE range; b. performance across clusters of varying complexity

图4a展示了模型生成数量随MSE区间的分布情况，生成的模型主要集中在较低MSE区间，且随MSE增大呈递减趋势。这表明CG-NAS在解空间较平滑区域进行更密集的搜索，而在变化较剧烈区域采用相对稀疏的搜索策略，从而实现搜索效率与精细度的平衡。图4b显示，当簇复杂度较低时，CG-NAS与固定结构模型的误差差异较小，随着复杂度提升，CG-NAS逐渐表现出更明显的优势，在高复杂度簇上保持更低的误差水平。这说明动态架构机制在处理复杂数据分布时具有更好的适应能力。

4. 讨论与结论

本研究提出了一种聚类引导的神经架构搜索方法CG-NAS，用于解决sEMG疲劳监测中信号非平稳性强、特征分布差异大以及固定结构Transformer难以刻画复杂时频演变的问题。CG-NAS通过K-means识别特征分布模式，并利用高斯分布的均值与方差量化数据复杂度，将数据分布先验转化为架构搜索的指导信息，从而实现模型结构的自适应调整。该机制使模型能够在不同疲劳阶段有效匹配信号复杂度，提高预测精度。实验结果表明，CG-NAS优于主流方法，MAE为0.098 2，达到0.957 3。性能提升表明动态架构能够更有效地刻画生理信号的演变规律。从机制角度看，模型复杂度随信号复杂度动态调整的规律，与肌肉疲劳过程中运动单位非线性募集增强的生理机制相一致，为模型设计提供了生物学层面的解释。

尽管CG-NAS在理论与实验层面表现出良好性能，但仍存在一定局限。当前数据规模较小，仅基于肘屈动作验证，样本多样性不足，可能影响模型在更大规模人群中的泛化能力。此外，尚未评估模型在资源受限场景下的实时计算性能。未来研究可进一步扩大实验对象数量，丰富人群类型，并纳入不同疾病人群进行验证，以提升模型的泛化能力并增强其临床实用性。总体而言，本研究提出的聚类引导NAS框架为sEMG疲劳监测提供了自适应建模思路，为可穿戴康复设备与实时运动状态监测系统的开发奠定了方法基础。

Funding Statement

宁夏自然科学基金重点项目（2025AAC020036）；国家自然科学青年基金（62001258）；宁夏回族自治区重点研发计划重点项目（2023BEG02030）