Abstract
针对传统下肢康复量表评估方法费时、费力且难以在外骨骼康复训练中使用的问题,本文基于下肢外骨骼机器人训练提出了一种多模态协同信息融合的下肢步行能力定量评估方法。该方法通过引入定量的协同指标融合电生理和运动学层面信息,显著提高康复评估过程的效率和信度。首先,采集受试者穿戴外骨骼步行训练的下肢肌电和运动学数据。然后,基于肌肉协同理论,使用协同量化算法构造肌电和运动学的协同指标特征。最后,融合电生理和运动学层面信息,建立模态特征融合模型,输出下肢运动功能评分。试验结果表明,本文所构造的肌电、运动学协同特征与临床量表的相关系数分别为0.799和0.825。融合后的协同特征在K近邻(KNN)模型中的结果得到了更高的相关系数(r = 0.921,P < 0.01)。该方法可以根据评估结果修改外骨骼机器人的康复训练模式,为实现“人在环中”的评估—训练同步模式奠定了基础,也为下肢远程康复训练和评估提供了一个潜在的方法。
Keywords: 康复评估, 肌肉协同, 模态融合, 机器学习, 脑卒中
Abstract
In response to the problem that the traditional lower limb rehabilitation scale assessment method is time-consuming and difficult to use in exoskeleton rehabilitation training, this paper proposes a quantitative assessment method for lower limb walking ability based on lower limb exoskeleton robot training with multimodal synergistic information fusion. The method significantly improves the efficiency and reliability of the rehabilitation assessment process by introducing quantitative synergistic indicators fusing electrophysiological and kinematic level information. First, electromyographic and kinematic data of the lower extremity were collected from subjects trained to walk wearing an exoskeleton. Then, based on muscle synergy theory, a synergistic quantification algorithm was used to construct synergistic index features of electromyography and kinematics. Finally, the electrophysiological and kinematic level information was fused to build a modal feature fusion model and output the lower limb motor function score. The experimental results showed that the correlation coefficients of the constructed synergistic features of electromyography and kinematics with the clinical scale were 0.799 and 0.825, respectively. The results of the fused synergistic features in the K-nearest neighbor (KNN) model yielded higher correlation coefficients (r = 0.921, P < 0.01). This method can modify the rehabilitation training mode of the exoskeleton robot according to the assessment results, which provides a basis for the synchronized assessment-training mode of “human in the loop” and provides a potential method for remote rehabilitation training and assessment of the lower extremity.
Keywords: Rehabilitation assessment, Muscle synergy, Modal fusion, Machine learning, Stroke
0. 引言
研究分析显示,由脑卒中疾病引起的伤残数已经从1990年的第三位飙升到2017年的第一位,脑卒中已经成为危及国人健康和生活质量的最大病因之一[1]。有数据表明,神经系统功能的康复效果在发生功能障碍后3个月内较为显著[2],在康复的窗口期如果不能得到周期性的有效康复治疗,可能会导致肌肉的永久性损伤。在临床康复治疗过程中发现,通过康复医师在康复窗口期的肌张力抑制性牵引、跟腱拉伸、直立床站立训练、神经—肌肉电刺激等方法能够纠正并增强患者的肌张力,提高患者对下肢的控制能力,从而一定程度上恢复下肢的运动能力[3]。据《中国卫生健康统计年鉴》的数据表明,2020年中国康复执业(助理)医师数为4.9 万人,按照2025年每10 万人口配置康复医师8 人的标准而言,目前仍然存在5.2 万人缺口[4]。传统康复治疗机构以及相关治疗医师难以满足日益增长的社会需求,康复机器人技术应运而生。
20世纪末和21世纪初,世界范围内就已开启了对外骨骼康复装置的研究,研制出了如ReWalk[5](ReWalk Robotics Inc.,美国)、HAL[6](Cyberdyne Inc.,日本)、Lokomat[7](Hocoma Inc.,瑞士)等成品康复外骨骼系统。我国外骨骼康复机器人的研究起步较晚,但经过科研院所与企业的不断创新,涌现了如大艾[8](北京大艾机器人科技有限公司,中国)、布法罗[9](布法罗机器人科技(成都)有限公司,中国)、程天科技[10](杭州程天科技发展有限公司,中国)等一大批性能优秀的外骨骼机器人且取得了较好的应用效果。从外骨骼康复机器人技术的角度来看,现有的机器人往往注重早期本体功能的实现,没有个性化和定制化的服务,穿戴和适配繁杂,对于医生和患者体验感都较低;且助力控制模式的设定未实现康复流程的智能化[11],需要人为介入,运行效率低,目前难以广泛应用于临床。从机器人系统智能控制角度出发,如能实现“人在环中”的闭环控制[12-13],可以让医患减轻负担,为外骨骼机器人康复流程智能化带来更多可能。目前,各外骨骼机器人相关的临床研究都具有专门性,缺乏统一的康复训练进程和效果评估[11]。因此,人在闭环的康复评估—训练模式下可能会取得较好的康复效果。通常,临床评估是由有经验的康复医师使用图表的分级或评分指标手动进行,如布鲁恩斯特朗分期量表(Brunnstorm recovery stages,BRS)[14]、福格-迈耶评估量表(Fugl-Meyer assessment,FMA)[15]、运动评估量表(motor assessment scale,MAS)[16]等。这种半定量的评估方法费时费力,且具有人为主观性。随着康复医学的发展,早期的一些临床诊断评定已不能满足日益发展的康复医学的需要。目前更多研究采用客观性的评定方法,如利用生物力学、神经电生理等来衡量康复效果[17-18],这相比于传统的康复评定方法具有更高的客观度并且可以一定程度上减少对康复医师的依赖性。随着康复机器人技术的发展,由康复机器人衍生的测量技术为评估运动功能增加了一个新的维度,可通过获取患者的各项参数,弥补临床上康复医师肉眼难以观测到的物理量,还可根据相应的参数评估当前的康复进程,为下一步的康复治疗提供有力的依据[19-20]。
近年来,人们对脑卒中的神经生理学和生物力学进行分析以量化患者异常的严重程度[21]。其中,康复机器人如何辅助康复训练后运动功能的定量评估成为研究的热点[22-23]。Liparulo等[24]以单通道表面肌电(surface electromyography,sEMG)信号自动评估脑卒中患者的损伤水平,并生成量表分期的客观分类结果,与临床量表呈现相关性。研究人员设计了便携式测量系统,通过测量关节加速度,建立基于极限学习机的集成回归模型来评估上肢活动能力,可在临床和家庭环境中使用[25-26]。Ye等[27]使用上肢sEMG数据建立基于反向传播网络的数据驱动评估模型,可以用来评估慢性脑卒中患者的上肢运动功能。Qian等[22]开发了一种基于机器人的力和轨迹特征的运动功能定量评估方法,以反映脑卒中患者运动功能的恢复。这些研究提高了康复评估的效度可靠性,也拓展了其应用场景,有助于康复机器人在临床的推广。另外,随着计算机科学技术的发展,机器学习成为研究的热点。关于使用机器学习方法进行运动评估的研究,一般将动作分为正确或错误的类别,这些方法的输出是0或1的离散值(即正确或不正确),只定性而不能定量检测不同水平的运动质量或识别患者表象的增量的变化,且构建模型较为复杂,对模型的训练集有特殊的要求。应用过程中,当出现新的数据集时,需要对模型重新训练,过程周期较长,难以适应临床康复评估的实际应用场景[28]。对此,基于距离函数的模板匹配算法已成功应用于脑卒中后康复训练里训练动作的分类和评估[29],这种方法具有不需要训练模型、无需大量数据、计算速度快等优点。为了建立一个客观的评估系统,量化完成规定练习动作的正确程度对于开发支持家庭或远程康复的工具和设备十分必要。现有研究中,运动评估通常是通过比较患者的运动表现与健康参与者的期望表现来完成的[30]。该过程中,采用距离函数调整偏差,如欧几里得距离、马哈拉诺比斯距离和序列之间的动态时间规整等[29],其优点是不针对特定的运动,因此可以用于评估新的运动类别。但是目前大部分研究仅仅使用单一传感器[31],难以全面评估患者的康复情况,并且这些研究大多针对上肢康复训练与评估,缺乏针对下肢康复训练的研究数据。下肢行走是保证人类进行正常独立生活的必要条件,尽早地帮助患者恢复运动功能和行走能力,对其身心恢复也具有重要作用[32]。因此,开发一种针对下肢外骨骼康复机器人的康复评估技术成为本研究需要关注的重点。
本文针对上述问题,提出一种面向下肢外骨骼的多模态传感信息融合的偏瘫患者下肢运动功能康复评估方法。如图1所示,通过采集下肢sEMG和运动学信号,从运动学和电生理学角度全面分析患者的康复状态,可以为患者个性化康复训练提供可靠的依据,也可以作为直观的反馈,以促进患者在有监督和无监督环境下的康复训练。评估过程采用一种基于主成分分析(principal component analysis,PCA)运动数据相似度计算的方法来生成客观一致的定量结果,以反映患者相对于预定义的模板的运动质量,从而体现肢体的康复程度。本研究还通过对不同程度偏瘫患者的试验来验证所提出评估指标的效度和信度;并探讨不同评分结果的差异是否具有统计学意义,以及所提出的评估指标与评分量表的相关性,再将与临床量表相关的指标结果输入建立的融合模型中得到机器评估结果。最终,期望本文研究方法结合临床康复医生的决策,可用于脑卒中患者的下肢外骨骼机器人辅助康复。
图 1.
Process of lower limb rehabilitation assessment system
下肢康复评估系统流程
论文主要贡献如下:① 根据下肢运动特性,构建协同量化指标作为下肢分类和评估的特征,验证与临床康复量表具有较高的相关性。② 构建运动学、电生理信息的多模态协同特征融合评估模型,验证对于不同新患者而言本文模型的评估效果,期望能具有较好的泛化性,可应用于康复评估的临床实际场景。③ 评估所需的sEMG传感器和惯性测量单元(inertial measurement unit,IMU)传感器是否使用简单、穿戴便捷,以便在下肢外骨骼不附加多余传感器的基础上,实现“人在环中”的评估—训练同步模式。
1. 基于外骨骼的数据采集试验范式
1.1. 受试者信息
如表1所示,本研究从辽宁省人民医院康复科招募了10名患有慢性脑卒中的偏瘫患者(编号为S1~S10),遵循以下准则入组:① 年龄为18~78 岁之间,为首次发生缺血性或出血性中风。② 能够主动或被动进行独立行走,时长约1 min。③ 经BRS分期或FMA评分和精神状态检查,无严重的认知功能障。④ 患者下肢等目标肌群可检测到自发性的sEMG信号。另招募10名正常发育的成年男性志愿者作为对照组,年龄(26.6 ± 2.6) 岁,身高(1.74 ± 0.08) m,体重(69 ± 10.9) kg,步态行走正常,无神经系统性疾病。在试验之前,每位脑卒中患者都由一位经验丰富的康复治疗师进行量表评估分类,分类结果如表1所示。所有受试者均已签署书面知情同意书。本文试验过程遵循赫尔辛基宣言,并通过了辽宁省人民医院伦理委员会的伦理审核批准(批件号:2022HS007)。
表 1. Basic information of patients.
患者基本信息
患者编号 | 年龄/岁 | 性别(男/女) | 患侧(左/右) | BRS分期 |
S1 | 67 | 男 | 左 | 4 |
S2 | 59 | 男 | 左 | 5 |
S3 | 42 | 女 | 右 | 3 |
S4 | 58 | 男 | 右 | 4 |
S5 | 31 | 男 | 左 | 5 |
S6 | 42 | 男 | 左 | 3 |
S7 | 68 | 女 | 左 | 5 |
S8 | 73 | 女 | 左 | 4 |
S9 | 40 | 男 | 左 | 6 |
S10 | 54 | 男 | 左 | 6 |
1.2. 监测肌群的选择
偏瘫患者的胫骨前肌(tibialis anterior,TA)肌力小于正常人且作用时间短,导致踝关节背屈不足,作用时间仅限于足跟落地的短时间内,且支撑中期偏瘫患者的腓肠肌和比目鱼肌力均小于正常人[33-34]。如图2所示,本文选取以下8块肌肉将8个电极放置在肌肉表面:TA、腓骨长肌(peronaeus longus,PL)、外侧腓肠肌(lateral gastrocnemius,LG)、股内侧肌(vastus medialis,VM)、股直肌(rectus femoris,RF)、股外侧肌(vastus lateralis,VL)、半腱肌(semitendinosus,ST)、股二头肌(biceps femoris,BF)。
图 2.
Subject signal acquisition
受试者信号采集
1.3. 信号采集与处理
下肢外骨骼使用本课题组开发的康复机器人,如图2所示,其基于仿生的刚柔耦合结构,可实现下肢矢状面双侧六关节的全自由度主动驱动,对具有运动功能障碍的受试者可实现人机复杂交互场景下的准确力/位跟踪与主动辅助力矩生成;利用多传感信息与平衡控制器对人机交互意图、平衡异常状态进行估计,能够预规划多模场景下人体下肢运动状态,确保人机系统间协同交互的柔顺性。而且,为了增强不同康复时期患者下肢肌肉的运动能力,还可采取主动训练和被动训练相结合的康复策略。其中,外骨骼机器人采用如图3所示的下肢髋、膝、踝关节助力曲线,不同助力模式对应四种步态曲线,可覆盖下肢BRS 3期~ BRS 6期运动功能障碍者的康复训练[35]。所有受试者可在外骨骼训练过程中实现信号采集与评估。本研究利用训练过程中的10个步态数据进行评估分析,其中基准模板为所有对照组受试者的平均数据。
图 3.
The power curve of the exoskeleton
外骨骼助力曲线
sEMG数据采集设备为Noraxon Ultium系统(NORAXON Inc., 美国)。采用氯化银(AgCl)材质的电极片,每个通道的两个电极间隔20 mm 粘贴在受试者双腿的目标肌肉沿肌肉纤维方向的肌腹[36]。运动学信号采用myoMOTION (NORAXON Inc.,美国)的IMU,采集下肢髋、膝、踝关节矢状面的角度变化,如图2所示,分别为IMU 1~IMU 4,测量髋关节角度为θ1、和膝关节角度为θ2、和踝关节角度为θ3。受试者按前述方法佩戴传感器,穿着外骨骼,同步采集训练的sEMG信号和运动角度信号。
由于原始的sEMG信号中存在大量的噪声信号[37],而其频率范围在0~500 Hz[38],所以本文需对原始sEMG信号进行滤波去噪处理。记录采样频率为2 000 Hz的原始sEMG信号,经高通滤波(巴特沃斯,25 Hz,5阶)、整流和低通滤波(巴特沃斯,5 Hz,5阶)进行归一化处理[39-40]。运动角度信号的采样频率为200 Hz,不需进行预处理。
1.4. 连续步态周期划分
本试验采用患者穿戴外骨骼训练后最常见的每个步行动作为样本,以测试受试者的下肢活动能力。由于步态分析需要以周期为单位进行研究,因此首先要确定步态的起始点,进而划分步态周期,截取每个步态周期所对应的多通道数据用于下一步分析。如图4所示,一个完整的步态是由足跟落地、足掌落地、足跟离地、脚趾离地四个典型的步态事件组成的一个完整的步态周期[41]。其中,支撑期为足跟落地至脚趾离地,约占步态周期的60%,摆动期为脚趾离地至二次足跟落地,约占步态周期的40%。该过程与患者穿戴外骨骼进行的训练动作相吻合,可直接使用在下肢外骨骼系统上。步态起始时间S(t)的定义如式(1)所示:
图 4.
Cycle division of lower limb gait
下肢步态周期划分
![]() |
1 |
其中, 为足部的俯仰角大小,其峰值为步态周期的开始[41];max(·)代表最大值函数;t代表步行时间;采样样本为连续10个步态周期的数据。
2. 基于肌肉协同理论的下肢运动量化方法
2.1. 肌肉协同提取
肌肉协同(muscle synergy)被认为是中枢神经系统产生协调运动的一种优化的控制策略[42],现已有足够的经验证据支持肌肉协同分析在评估脑卒中康复效果时的潜在效用[43]。研究人员发现,在发育正常的健康人的下肢运动步态分析中,肌肉协同模式具有高度的一致性[44]。即使在一些需要学习的专业运动员训练动作中,研究人员也证实肌肉协同作用在受试者之间是一致的[45]。这些研究揭示了肌肉协同是神经肌肉协调控制的普遍机制,同时也为康复运动功能障碍分析提供了新的思路。肌肉协同可以用肌肉运动所产生的sEMG信号随时间变化的模式来定量分析。已有一些分解算法,如因子分析、非负矩阵分解、PCA等,被用于将多通道sEMG数据分解为更小的高代表性变量集[46]。协同分解的基本数学模型如式(2)所示:
![]() |
2 |
其中,给定矩阵Mn· t可分解为反映空间特征的协同元矩阵Wn· k和反映时序特征的激活系数矩阵Hk· t,E为误差矩阵,可忽略不计。n为信号的通道个数,t为样本的数量,k为协同元个数,T为转置符号,i为矩阵个数。
典型的协同提取方法是矩阵分解,将原始数据投影到较低维空间中,同时保留代表性信息。本文采用的PCA是一种特征提取的经典统计技术,适用于包含冗余信息的数据集,广泛用于模式识别和计算机视觉等领域[47-48]。它寻求一个线性正交变换W矩阵,将获取的数据X矩阵转化为隐藏的低维变量矩阵Z,如式(3)所示:
![]() |
3 |
其中,矩阵Z的每个元素获得方式,如式(4)所示:
![]() |
4 |
其中,zij为低维矩阵Z的元素,wi为其正交向量,xj为特征向量,T为转置符号。为了得到正交向量wi,将损失函数J设为变换后方差的最大值,如式(5)所示:
![]() |
5 |
其中, 表示xj的平均值,A为X的协方差矩阵。损失函数J在wi上等于S的r个最大特征值的特征向量。本文使用奇异值分解(singular value decomposition,SVD)用于获取特征值σi和对应的特征向量ui,之后得到正交矩阵W。由此,可以计算出式(3)中的Z。本文中X为预处理后的t·n维sEMG数据(t为一个步态周期的采样点个数,n为8 个通道),W为n·k维的正交变换矩阵(k为肌肉协同元个数),Z为k·m维的变换数据。经SVD后得到的特征值和特征向量用于计算相似度。在Ivanenko等[44]的研究中,人步行时的下肢肌肉可以分为5个协同模式,因此在本文中的协同元k设为5。
2.2. 协同量化
对于运动数据 ,其中n是提取的分割步态的数量,
是其中一个步态的数据。经PCA分解后,即有协同向量ui、vi,对应特征值σi
、δi,如式6所示。在高维的空间中,如果两个运动是相似的,那么其运动轨迹应是相似的。因此,如果对应的运动相似,运动数据矩阵应该具有相似的几何结构[49]。本研究利用PCA算法进行协同分解,生成运动矩阵的特征向量,并利用这些特征向量对相应的运动数据进行索引或分类。
![]() |
6 |
如果两个运动相似,其对应的协同向量u1和v1应该在几何上基本平行[49],即有 。θ为两个协同向量u1和v1之间的夹角。为了评价患者的康复程度,如式(7)所示,本文使用加权相似度度量方法[50]来计算每段sEMG数据和运动数据与基准模板的相似程度,以定量评估患者的康复状态。
![]() |
7 |
其中,n为特征值数量,B为依据对照组建立的基准数据,P为受试患者数据。σi、λi为基准数据和受试数据的第i个特征值,对应于第i个协同向量ui、vi。因此,相似性度量仅为两个运动矩阵的协同向量和对应的特征值,而不包含来自其他运动数据矩阵的任何贡献。其可捕获分解的k个协同向量的相似程度,并由对应的特征值加权计算。φ 的范围在0~1之间。越接近于1,证明患者与对照组的模板越相似,即康复状态越好。
2.3. 模态融合评估模型
根据BRS分期的定义[14],分期的主要区别是协同模式和独立关节的运动模式不同,强调整个恢复过程逐渐向正常、复杂的运动模式发展,从而达到中枢神经系统重新组合的效果。这在使用单一传感器测量时可能不明显,需要额外的特征来进一步区分每个具体运动的模式分期[31]。因此,为了证明所提出协同特征的适用性,本文构建电生理和运动学的融合协同向量Fi如式(8)所示:
![]() |
8 |
其中,Ei为电生理协同特征,Ki为运动学协同特征,n为协同特征个数。采用有监督的机器学习模型,可以得到受试者下肢康复的预测分数Si,如式(9)所示:
![]() |
9 |
其中,M选取K近邻(k- nearest neighbor,KNN)、随机森林(random forest,RF)、多层感知机(multilayer perceptron,MLP)、支持向量回归(support vector regression,SVR)四种机器学习模型[18]。在KNN模型中取最近邻数为5,设特征空间X是n维实数向量空间,(xi,xj)∈X,xi =(xi(1),xi(2),···,xi(n)), xj=(xj(1),xj(2),···,xj(n))。(xi, xj)的距离函数L,采用如式(10)所示的欧几里得距离:
![]() |
10 |
其中,l为特征空间X的维数。
MLP定义为多层前馈神经网络,隐藏层设置为130 个神经元,输出层选取线性整流函数(rectified linear unit,ReLU)作为激活函数。为了优化权重和偏置,在神经网络中采用拟牛顿法(quasi-Newton)的优化器来加快收敛速度和效果;设置RF最大的树深为5,基评估器的数量为10;SVR采用径向基函数为核函数。Si为模型的输出,评估分数对应模型输出,为连续的分数,因此比传统的分类评估更精细化。为了评估模型综合不同等级患者数据的能力,适应新患者的在线康复评估,体现融合评估模型的泛化性能,由100个试验样本组成的完整数据集被分为训练集和测试集。训练数据集从6个个体中收集60 个试验样本,其余4 个个体样本被划分为测试数据集。
3. 试验结果及分析
3.1. 健患侧比较分析
BRS 3期受试者健、患侧协同元权重对比如图5所示。其中1~5为分解出的五个协同元肌肉激活权重。其范围为0~1,表示肌肉激活权重由小到大。图5可以看出,由于偏瘫后部分肌肉萎缩导致sEMG信号活跃度较低,患侧权重普遍比健侧权重低。但是BRS 3期患者的PL患侧激活权重比健侧高,这可能是由于PL痉挛导致下肢肌张力偏高。
图 5.
Comparison of synergies weights in the affected and contralateral side of patients
健患侧协同元权重对比
从患者身上采集的运动样本量表BRS 6期和BRS 3期主体如图6所示。BRS 6期的患者有能力完成独立行走,并且相关参数和正常人保持一致。然而,由于脑卒中引起的下肢疼痛和肌肉控制受损,BRS 3期的样本往往是不稳定的。具体而言表现为,由于髋屈肌无力,患者髋关节的活动范围明显降低。由于膝关节屈肌无力,受影响的膝关节在站立或摆动阶段都不能正常弯曲,抬腿的幅度较小导致膝关节的屈曲角度偏小。通常,踝关节的最大足底屈曲是在步态周期的起始阶段产生的,但由于膝关节屈曲角度降低,患侧足难以踏出地面,因此足底没有明显屈曲。此外,由于患者在摆动期未能充分抬起患侧的脚前掌,最初的接触表现为平足接触地面,而不是足跟落地。
图 6.
Comparison of lower limb angle data of subjects
受试者下肢角度对比
综上所述,患侧肢体主要表现为在摆动阶段屈伸运动减弱,患者下肢肌肉力量的缺失,导致行走的灵活性和稳定性的不足,在支撑阶段不能很好地单独支撑身体重量。通过对sEMG信号和关节角度的分析,可以揭示偏瘫患者的行走能力在关节运动范围上是如何受限的。BRS 3期患者由于关节灵活性的限制和出现的肌肉痉挛现象,导致运动总是提前终止或者偏离正常角度。这些都可以很直观地反映出患者组下肢行走活动能力的局限性。
3.2. 协同指标特性分析
本文将10名患者分为4个BRS分期。如图7所示,不同BRS分期的患者的协同指标特征差异均具有统计学意义(独立样本t检验:P < 0.01)。协同特征在不同BRS分期中的对比分布情况如图7所示,sEMG协同特征在BRS 6期和3期分布较为集中。在BRS 5期中由于患者S7肌肉痉挛比较明显,导致sEMG协同特征相较于对照组模板对比差异较大,出现了两个异常的值。但是,在同期的运动学指标中数据分布较为稳定。相反在运动学指标中,BRS 3期患者组数据分布差异较大,且与对照组差异波动范围较大,达到0.102~0.648,这可能是因为患者S6主诉为右侧肢体活动不能伴有言语不能,且该患者发病时间刚满一个月导致下肢的肌肉控制情况不理想,因此有少量行走不佳的运动样本。BRS 3期患者由于患有严重运动功能障碍和过高的痉挛性肌张力,他们的运动学和肌电的协同指标特征也相对较低。然而,本试验中的BRS 6期患者的标准差都远小于BRS 3~5期偏瘫患者,因此不管sEMG还是运动学协同指标特征都表现得比较稳定和集中,说明BRS 6期患者在下肢步行运动时肌肉控制能力和角度曲线都相对稳定,比较接近正常健康人水平。
图 7.
Data distribution diagram of synergy indices
协同指标的数据分布关系
* P<0.01
* P<0.01
总体来说,不管是sEMG还是运动学协同指标,在特征分布上都符合BRS分期的特点。如图7所示,BRS 3~6期的患者组sEMG指标的25%~75%位数分别在0.37~0.48、0.56~0.77、0.71~0.80、0.92~0.97范围内;运动学指标3~6期受试者25%~75%位数分别在0.17~0.56、0.55~0.75、0.78~0.87、0.93~0.96范围内。仅sEMG指标,在BRS 4期和5期有部分重叠,其原因可能是4期和5期受试者接受训练时间较长,恢复状况较好,导致电生理层面差异较小。其余各分期受试者的指标范围较少有重叠的部分,说明该指标可以较好地根据建立的健康基准模板进行无监督的康复量表分期。如表2所示,为每位患者的sEMG指标和运动学指标的中位数、平均值、25%~75%差值。
表 2. Synergy index results.
协同指标结果
BRS分期 | 患者编号(患侧) | 采样数/组 | sEMG指标 | 运动学指标 | |||||
中位数 | 平均值 | 25%~75%位数 | 中位数 | 平均值 | 25%~75%位数 | ||||
3 | S3(右) | 10 | 0.378 | 0.378 | 0.064 | 0.569 | 0.534 | 0.324 | |
S6(左) | 10 | 0.482 | 0.461 | 0.110 | 0.143 | 0.145 | 0.175 | ||
4 | S1(左) | 10 | 0.495 | 0.492 | 0.170 | 0.508 | 0.496 | 0.188 | |
S4(右) | 10 | 0.749 | 0.722 | 0.175 | 0.748 | 0.706 | 0.304 | ||
S8(左) | 10 | 0.762 | 0.772 | 0.284 | 0.696 | 0.693 | 0.144 | ||
5 | S2(左) | 10 | 0.679 | 0.666 | 0.080 | 0.755 | 0.763 | 0.065 | |
S5(左) | 10 | 0.78 | 0.777 | 0.101 | 0.877 | 0.875 | 0.090 | ||
S7(左) | 10 | 0.774 | 0.744 | 0.056 | 0.695 | 0.693 | 0.077 | ||
6 | S9(左) | 10 | 0.905 | 0.887 | 0.043 | 0.950 | 0.944 | 0.030 | |
S10(左) | 10 | 0.867 | 0.899 | 0.050 | 0.906 | 0.911 | 0.033 |
3.3. 融合结果分析
为了更好地评估两种指标与临床BRS分期量表的相关性,如式(11)所示,计算sEMG指标和运动学指标与临床量表的相关系数,检验水准为0.05。
![]() |
11 |
其中,Xi、Yi分别是所提协同指标和临床量表对应i的值,、
分别为Xi、Yi的平均值,n为样本数量,r为计算出的相关系数。
如图8所示,运动学指标与BRS分期之间的相关性为r = 0.825(P < 0.01),sEMG指标与BRS分期之间的相关性为r = 0.799(P < 0.01)。结果显示,电生理层面和运动学层面的两项协同指标都与临床评估量表有较强的相关性。为了验证所提出协同指标的效度和信度,将融合特征输入几种机器学习模型中,得到评估分数。使用95%置信区间进行皮尔逊(Pearson)相关检验来分析单模态与多模态融合模型和BRS分期之间的相关性,结果如表3所示。
图 8.
Correlation test between synergy index and clinical scale
协同指标与临床量表的相关性检验
表 3. Comparison of correlation coefficient of different models.
模型相关系数对比
模型 | 相关系数r | ||
单模态sEMG | 单模态运动学 | 多模态融合 | |
KNN | 0.818 | 0.872 | 0.921 |
RF | 0.646 | 0.785 | 0.866 |
MLP | 0.786 | 0.821 | 0.860 |
SVR | 0.788 | 0.825 | 0.861 |
结果显示,单模态运动学的相关系数比单模态sEMG更接近于1;sEMG信号由于受试者个体差异,因而具有非平稳性和个体差异性,其结果都较低于单模态运动学。但是无论何种模型,其多模态特征融合都展示出了更高的相关系数。相比于其他三种算法,KNN表现出了良好的评估性能,其原理为计算测试与训练样本集中每个样本的欧几里得距离,即在特征空间中的K个最相邻样本属于某一个类别,则该样本也属于这个类别,这与模板匹配产生的协同特征指标思想基本一致,都为计算相似度,所以输入的协同融合向量在KNN模型中得到了最好的结果。如图8所示,所提出的融合特征指标与BRS分期结果之间呈正相关关系(r = 0.921,P < 0.01)。相比于单一指标与临床康复分期量表取得了更好的相关性,而且对于康复结果的描述更为细化。因此,通过融合运动学和电生理信息,利用其互补性,既可以降低sEMG等生理信号的非平稳性,又可以融合运动学信号的稳定性,开发出具有良好的临床相关性的定量评估系统。根据康复评估模型,该方法可以在线评估康复效果,进而根据评估结果调整康复处方,基于人体反馈对设备参数进行优化,更新下肢外骨骼训练轨迹,实现“人在环中”的评估—训练同步模式。
4. 结论与展望
本文建立了一种基于协同特征的脑卒中后下肢康复步行活动能力评价指标体系,并对其与临床下肢康复BRS量表分期的有效性进行了测试。结果显示,该评分与标准临床试验BRS量表相关性较高。通过融合不同模态信息之间的互补性,该方法的生成结果既提高了临床评估的准确性,也可辅助实现根据评估结果更新下肢外骨骼训练轨迹。从临床角度来看,该评估体系可以更好地适应临床评估的应用,即通过对已知患者进行建模,并将其用于新入科的患者,进行BRS下肢分期评估,大大节省了康复医师的评估时间,可提高康复医师的工作效率,辅助其根据评估结果修改康复治疗方案。
然而,本研究也存在一定的局限性。一方面对于协同指标特征的融合方法较为单一,后续将更深入研究模态融合算法以及应用深度学习等方法提高临床康复评估的效果。另一方面,由于脑卒中后偏瘫的患者在1期和2期几乎无法进行下肢步行运动,而本试验设计导致系统只能对3期及以上患者进行评估,故后续将调整试验任务,以满足更严重的脑卒中患者评估的要求。
未来,本研究将深入研究多传感器融合和人机交互在康复领域的应用,将所提出的评估系统调整以适应于开发的下肢外骨骼机器人的训练控制中,在临床康复过程中根据康复功能评估数据指标可以判断当前患者的运动障碍程度和下肢运动功能的恢复水平,进而分阶段、有目的、周期性地修改康复机器人的助力策略,达到科学康复的目的;亦可考虑将其应用于家庭或社区环境中,为远程康复训练和评估提供潜在的方法。
重要声明
利益冲突声明:本文全体作者均声明不存在利益冲突。
作者贡献声明:赵新刚、张弼负责项目主持、指导试验设计;钟旭负责数据分析、算法设计与论文写作;李纪桅负责试验数据采集;张亮、元香南、张鹏负责提供临床试验指导,患者试验分析。
伦理声明:本研究通过了辽宁省人民医院机构伦理委员会的审批(批文编号:2022HS007)。
Funding Statement
国家重点研发计划项目课题(2022YFB4703203);国家自然科学基金项目(62103406,U22A2067);辽宁省应用基础研究计划项目(2022JH2/101300102)
National key research and development plan; National Natural Science Foundation of China; Science and Technology Department of Liaoning Province; Chinese Academy of Sciences; Science and Technology Department of Liaoning Province
References
- 1.Zhou M, Wang H, Zeng X, et al Mortality, morbidity, and risk factors in China and its provinces, 1990-2017: a systematic analysis for the Global Burden of Disease Study 2017. Lancet. 2019;394(10204):1145–1158. doi: 10.1016/S0140-6736(19)30427-1. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 2.Hatem S M, Saussez G, Della Faille M, et al Rehabilitation of motor function after stroke: a multiple systematic review focused on techniques to stimulate upper extremity recovery. Front Hum Neurosci. 2016;10:442. doi: 10.3389/fnhum.2016.00442. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 3.中华医学会神经病学分会神经康复学组, 中华医学会神经病学分会脑血管病学组, 卫生部脑卒中筛查与防治工程委员会办公室, 等 中国脑卒中康复治疗指南(2011完全版) 中国康复理论与实践. 2012;18(4):301–318. doi: 10.3969/j.issn.1006-9771.2012.04.001. [DOI] [Google Scholar]
- 4.国家卫生健康委员会. 2021中国卫生健康统计年鉴. 北京: 中国协和医科大学出版社, 2021.
- 5.Esquenazi A, Talaty M, Packel A, et al The ReWalk powered exoskeleton to restore ambulatory function to individuals with thoracic-level motor-complete spinal cord injury. American Journal of Physical Medicine Rehabilitation. 2012;91(11):911–921. doi: 10.1097/PHM.0b013e318269d9a3. [DOI] [PubMed] [Google Scholar]
- 6.Nilsson A, Vreede K S, Häglund V, et al Gait training early after stroke with a new exoskeleton–the hybrid assistive limb: a study of safety and feasibility. J Neuroeng Rehabil. 2014;11:92. doi: 10.1186/1743-0003-11-92. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 7.Nam K Y, Kim H J, Kwon B S, et al Robot-assisted gait training (Lokomat) improves walking function and activity in people with spinal cord injury: a systematic review. J Neuroeng Rehabil. 2017;14(1):24. doi: 10.1186/s12984-017-0232-3. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 8.刘京运 从马拉松到冬奥会,大艾外骨骼机器人为残疾人创造更多可能. 机器人产业. 2022;2022(4):35–39. doi: 10.3969/j.issn.2096-0182.2022.04.007. [DOI] [Google Scholar]
- 9.程洪, 黄瑞, 邱静, 等 康复机器人及其临床应用综述. 机器人. 2021;43(5):606–619. doi: 10.13973/j.cnki.robot.200570. [DOI] [Google Scholar]
- 10.王天. 一种下肢康复训练用外骨骼机器人. 浙江省: CN215193457U, 2021-12-17.
- 11.丁逸苇, 涂利娟, 刘怡希, 等 可穿戴式下肢外骨骼康复机器人研究进展. 机器人. 2022;44(5):522–532. doi: 10.13973/j.cnki.robot.220256. [DOI] [Google Scholar]
- 12.Zhang J, Fiers P, Witte K A, et al Human-in-the-loop optimization of exoskeleton assistance during walking. Science. 2017;356(6344):1280–1284. doi: 10.1126/science.aal5054. [DOI] [PubMed] [Google Scholar]
- 13.Gordon D F, Mcgreavy C, Christou A, et al Human-in-the-loop optimization of exoskeleton assistance via online simulation of metabolic cost. IEEE Trans Rob. 2022;38(3):1410–1429. doi: 10.1109/TRO.2021.3133137. [DOI] [Google Scholar]
- 14.Brunnstrom S Motor testing procedures in hemiplegia: based on sequential recovery stages. Physical Therapy. 1966;46(4):357–375. doi: 10.1093/ptj/46.4.357. [DOI] [PubMed] [Google Scholar]
- 15.Sanford J, Moreland J, Swanson L R, et al Reliability of the Fugl-Meyer assessment for testing motor performance in patients following stroke. Physical therapy. 1993;73(7):447–454. doi: 10.1093/ptj/73.7.447. [DOI] [PubMed] [Google Scholar]
- 16.Carr J H, Shepherd R B, Nordholm L, et al Investigation of a new motor assessment scale for stroke patients. Physical therapy. 1985;65(2):175–180. doi: 10.1093/ptj/65.2.175. [DOI] [PubMed] [Google Scholar]
- 17.Kinoshita S, Abo M, Okamoto T Effectiveness of ICF-based multidisciplinary rehabilitation approach with serial assessment and discussion using the ICF rehabilitation set in a convalescent rehabilitation ward. Int J Rehabil Res. 2020;43(3):255–260. doi: 10.1097/MRR.0000000000000421. [DOI] [PubMed] [Google Scholar]
- 18.姜荣荣, 陈艳, 潘翠环 脑卒中后上肢和手运动功能康复评定的研究进展. 中国康复理论与实践. 2015;21(10):1173–1177. doi: 10.3969/j.issn.1006-9771.2015.10.011. [DOI] [Google Scholar]
- 19.Gao F, Wang L, Lin T Intelligent wearable rehabilitation robot control system based on mobile communication network. Comput Commun. 2020;153:286–293. doi: 10.1016/j.comcom.2020.01.054. [DOI] [Google Scholar]
- 20.Bai J, Song A Development of a novel home based multi-scene upper limb rehabilitation training and evaluation system for post-stroke patients. IEEE Access. 2019;7:9667–9677. doi: 10.1109/ACCESS.2019.2891606. [DOI] [Google Scholar]
- 21.Cerfoglio S, Ferraris C, Vismara L, et al Kinect-based assessment of lower limbs during gait in post-stroke hemiplegic patients: a narrative review. Sensors. 2022;22(13):4910. doi: 10.3390/s22134910. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 22.Qian C, Li W, Jia T, et al Quantitative assessment of motor function by an end-effector upper limb rehabilitation robot based on admittance control. Appl Sci. 2021;11(15):6854. doi: 10.3390/app11156854. [DOI] [Google Scholar]
- 23.Meziani Y, Morère Y, Hadj-Abdelkader A, et al Towards adaptive and finer rehabilitation assessment: a learning framework for kinematic evaluation of upper limb rehabilitation on an Armeo Spring exoskeleton. Control Engineering Practice. 2021;111:104804. doi: 10.1016/j.conengprac.2021.104804. [DOI] [Google Scholar]
- 24.Liparulo L, Zhang Z, Panella M, et al A novel fuzzy approach for automatic Brunnstrom stage classification using surface electromyography. Med Biol Eng Comput. 2017;55(8):1367–1378. doi: 10.1007/s11517-016-1597-3. [DOI] [PubMed] [Google Scholar]
- 25.Yu L, Xiong D, Guo L, et al A remote quantitative Fugl-Meyer assessment framework for stroke patients based on wearable sensor networks. Comput Methods Programs Biomed. 2016;128:100–110. doi: 10.1016/j.cmpb.2016.02.012. [DOI] [PubMed] [Google Scholar]
- 26.王跃, 郁磊, 傅建明, 等 基于极限学习机的脑卒中上肢康复 Brunnstrom 远程智能评定系统. 生物医学工程学杂志. 2014;31(2):251–256. doi: 10.7507/1001-5515.20140047. [DOI] [PubMed] [Google Scholar]
- 27.Ye F, Yang B, Nam C, et al A data-driven investigation on surface electromyography based clinical assessment in chronic stroke. Front Neurorobot. 2021;15:648855. doi: 10.3389/fnbot.2021.648855. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 28.李素姣, 吴坤, 孟巧玲, 等 脑卒中患者上肢功能智能评估系统研究进展. 生物医学工程学杂志. 2022;39(3):620–626. doi: 10.7507/1001-5515.202112046. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 29.Zhang Z, Fang Q, Gu X Objective assessment of upper-limb mobility for poststroke rehabilitation. IEEE Trans Biomed Eng. 2015;63(4):859–868. doi: 10.1109/TBME.2015.2477095. [DOI] [PubMed] [Google Scholar]
- 30.Rahman S, Sarker S, Haque A K M N, et al AI-driven stroke rehabilitation systems and assessment: a systematic review. IEEE Trans Neural Syst Rehabil Eng. 2023;31:192–207. doi: 10.1109/TNSRE.2022.3219085. [DOI] [PubMed] [Google Scholar]
- 31.Woodward R B, Shefelbine S J, Vaidyanathan R Pervasive monitoring of motion and muscle activation: Inertial and mechanomyography fusion. IEEE/ASME Trans Mechatron. 2017;22(5):2022–2033. doi: 10.1109/TMECH.2017.2715163. [DOI] [Google Scholar]
- 32.Zhang X, Yue Z, Wang J Robotics in lower-limb rehabilitation after stroke. Behav Neurol. 2017;2017:3731802. doi: 10.1155/2017/3731802. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 33.束一铭, 钱竞光, 戎科, 等 偏瘫患者步态特征的动力学仿真分析. 医用生物力学. 2017;32(6):535–540. doi: 10.16156/j.1004-7220.2017.06.009. [DOI] [Google Scholar]
- 34.娄智, 姚博, 杨基海 基于表面肌电信号的小儿脑瘫步态活动段检测研究. 生物医学工程学杂志. 2017;34(3):342–349. doi: 10.7507/1001-5515.201512064. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 35.陈万鑫, 张弼, 张庆超等 面向康复外骨骼的串联弹性关节设计与控制. 机器人. 2023;45(5):554–567. doi: 10.13973/j.cnki.robot.220122. [DOI] [Google Scholar]
- 36.Hermens H J, Freriks B, Disselhorst-Klug C, et al Development of recommendations for SEMG sensors and sensor placement procedures. J Electromyogr Kinesiol. 2000;10(5):361–374. doi: 10.1016/S1050-6411(00)00027-4. [DOI] [PubMed] [Google Scholar]
- 37.陈玲玲, 张存, 宋晓伟, 等 面向外骨骼机器人的肌肉功能网络构建及分析. 生物医学工程学杂志. 2019;36(4):565–572. doi: 10.7507/1001-5515.201803059. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 38.Wen L, Xu J, Li D, et al Continuous estimation of upper limb joint angle from sEMG based on multiple decomposition feature and BiLSTM network. Biomed Signal Process Control. 2023;80:104303. doi: 10.1016/j.bspc.2022.104303. [DOI] [Google Scholar]
- 39.Sartori M, Llyod D G, Farina D Neural data-driven musculoskeletal modeling for personalized neurorehabilitation technologies. IEEE Trans Biomed Eng. 2016;63(5):879–893. doi: 10.1109/TBME.2016.2538296. [DOI] [PubMed] [Google Scholar]
- 40.Zhang L, Li Z, Hu Y, et al Ankle joint torque estimation using an EMG-driven neuromusculoskeletal model and an artificial neural network model. IEEE Trans Autom Sci Eng. 2021;18(2):564–573. doi: 10.1109/TASE.2020.3033664. [DOI] [Google Scholar]
- 41.Yang Y, Chen L, Pang J, et al Validation of a spatiotemporal gait model using inertial measurement units for early-stage Parkinson’s disease detection during turns. IEEE Trans Biomed Eng. 2022;69(12):3591–3699. doi: 10.1109/TBME.2022.3172725. [DOI] [PubMed] [Google Scholar]
- 42.Ison M, Artemiadis P The role of muscle synergies in myoelectric control: trends and challenges for simultaneous multifunction control. J Neural Eng. 2014;11(5):051001. doi: 10.1088/1741-2560/11/5/051001. [DOI] [PubMed] [Google Scholar]
- 43.Hong Y N G, Ballekere A N, Fregly B J, et al Are muscle synergies useful for stroke rehabilitation? Current Opinion in Biomedical Engineering. 2021;19:100315. doi: 10.1016/j.cobme.2021.100315. [DOI] [Google Scholar]
- 44.Ivanenko Y P, Poppele R E, Lacquaniti F Five basic muscle activation patterns account for muscle activity during human locomotion. J Physiol. 2004;556:267–282. doi: 10.1113/jphysiol.2003.057174. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 45.Frère J, Hug F Between-subject variability of muscle synergies during a complex motor skill. Front Comput Neurosci. 2012;6:99. doi: 10.3389/fncom.2012.00099. [DOI] [PMC free article] [PubMed] [Google Scholar]
- 46.Ryait H S, Arora A, Agarwal R Interpretations of wrist/grip operations from SEMG signals at different locations on arm. IEEE Trans Biomed Circuits Syst. 2010;4(2):101–111. doi: 10.1109/TBCAS.2009.2037604. [DOI] [PubMed] [Google Scholar]
- 47.Yang J, Zhang D, Frangi A F, et al Two-dimensional PCA: a new approach to appearance-based face representation and recognition. IEEE Trans Pattern Anal Mach Intell. 2004;26(1):131–137. doi: 10.1109/TPAMI.2004.1261097. [DOI] [PubMed] [Google Scholar]
- 48.Hao W Classification of sport actions using principal component analysis and random forest based on three-dimensional data. Displays. 2022;72:102135. doi: 10.1016/j.displa.2021.102135. [DOI] [Google Scholar]
- 49.Krüger B, Vögele A, Willig T, et al Efficient unsupervised temporal segmentation of motion data. IEEE Trans Multimedia. 2016;19(4):797–812. [Google Scholar]
- 50.Li C, Zheng S Q, Prabhakaran B Segmentation and recognition of motion streams by similarity search. ACM Trans Multimedia Comput Commun. 2007;3(3):16. doi: 10.1145/1236471.1236475. [DOI] [Google Scholar]