一种基于二维视频的运动障碍量化评估方法与临床应用研究

Abstract

The increasing prevalence of the aging population, and inadequate and uneven distribution of medical resources, have led to a growing demand for telemedicine services. Gait disturbance is a primary symptom of neurological disorders such as Parkinson’s disease (PD). This study proposed a novel approach for the quantitative assessment and analysis of gait disturbance from two-dimensional (2D) videos captured using smartphones. The approach used a convolutional pose machine to extract human body joints and a gait phase segmentation algorithm based on node motion characteristics to identify the gait phase. Moreover, it extracted features of the upper and lower limbs. A height ratio-based spatial feature extraction method was proposed that effectively captures spatial information. The proposed method underwent validation via error analysis, correction compensation, and accuracy verification using the motion capture system. Specifically, the proposed method achieved an extracted step length error of less than 3 cm. The proposed method underwent clinical validation, recruiting 64 patients with Parkinson’s disease and 46 healthy controls of the same age group. Various gait indicators were statistically analyzed using three classic classification methods, with the random forest method achieving a classification accuracy of 91%. This method provides an objective, convenient, and intelligent solution for telemedicine focused on movement disorders in neurological diseases.

0. 引言

由于人口老龄化不断加剧，优质医疗资源较为稀缺且分布不均衡，特别是对于因帕金森病、脑卒中等神经系统疾病导致运动障碍、需要早诊断早治疗或及时随访的患者，远程诊疗的重要性日益攀升^[1-2]。目前，视频分析技术正逐步应用于运动障碍的测评中^[3]，并且近些年来智能手机大量普及，使用手机进行视频录制越来越简单，这使得通过视频对疾病进行远程监测和筛查成为可能。

帕金森病、脑卒中等是常见于老年人的神经系统疾病^[4]。患者的姿态和运动异常是这类疾病造成的运动障碍的一种主要表现，患者步态的显著变化已经成为帕金森病早期筛查和诊断的重要参考指标^[5]。然而，目前临床上使用的筛查方法，如帕金森病综合评分量表（Movement Disorder Society-Unified Parkinson’s Disease Rating Scale，MDS-UPDRS）^[6]，很大程度上依赖于医生的专业知识、经验和判断。因此，亟需一种客观、有效、便利的评测手段。

随着传感装置的不断发展，多种方法已经被用于识别受损步态。其中，运动捕捉技术^[7]和压力垫技术^[8]的使用最为广泛，它们也被认为是临床评估中的金标准^[9-10]。Nardo等^[11]使用运动捕捉系统对9名接受了脑深部电刺激手术治疗的帕金森病患者进行了步态分析。刘俊杰^[12]提出了针对垂直地面反作用力信号的步态特征提取方法。然而，对运动捕捉系统来说，严格的测量条件使之只能在实验室中完成。压力垫系统虽然布置简单，但缺少人体上肢信息。可穿戴设备的使用使得测试可以在非实验室环境下进行，Greene等^[13]和Lima等^[14]分别使用了陀螺仪和加速计来对运动功能进行量化评估，沈天毓等^[15]则使用了惯性传感器进行了运动分析。但此类专业设备仍无法满足大规模人群筛查、远程诊疗的需求。

近些年来，基于计算机视觉技术的步态量化评估方法受到越来越多的关注。Kinect可以拍摄带有深度信息的影像并获得三维步态信息^[16]。为了在二维图像中定位人体特定关节，Kim等^[17]通过在受试者的身体粘贴标志点来实现，但标志点的固定与获取也为评估增加了困难。Gabel等^[18]使用Kinect对健康人的步态进行了分析，基于Kinect的方法可以实现在非实验室环境下进行非接触式的步态分析，但数据的采集仍然需要专业设备。Verlekar等^[19]使用背景减除算法实现了在无标记环境下对人体轮廓的提取，进而获取步态信息，但此方法对实验环境要求严格。部分研究实现了在无标记的复杂场景中提取人体关节信息的功能，但此类研究多为使用神经网络针对大量数据集进行训练^[20]，且没有对精度进行校正，并未在临床中得到应用。

本文提出了一种基于二维（two-dimensional，2D）视频的运动障碍量化评估方法，通过由姿态估计算法提取的人体关节信息，利用受试者在社区甚至家中的行走视频进行步态分析。采用卷积姿态机（convolutional pose machine，CPM）提取人体关节点，进而计算步态的时间和空间相关特征。我们设计了一个包括视频和运动捕捉的同步采集系统，对参数进行误差分析和校正补偿，进一步提高了视频分析的精度。随后我们采集了帕金森病患者和同年龄组健康人的步行视频数据，使用所建立的系统进行步态分析和健患分类。本文所提出的系统仅需一部手机作为数据采集设备，可以在社区甚至家中进行行走视频的录制，以期为运动障碍的远程诊疗提供一种客观、方便、智能化的解决方案。

1. 材料与方法

1.1. 实验环境与数据采集

1.1.1. 步态特征校正实验

步态特征校正实验在南开大学人工智能学院运动捕捉实验室进行，行走区域长度为5 m。一部智能手机（Nova 7，HUAWEI，中国）被架设在垂直于行走方向的一侧以记录受试者行走过程中的矢状面图像，且本实验中对手机的相对位置无需定点定标，只要求手机架设在运动范围的中垂线上，且受试者及运动区域都在视频拍摄范围内。视频拍摄的图像规格为1 920*1 080 像素，帧率为30帧/秒。

采用由8台摄像机组成的光学运动捕捉系统（Vicon，Oxford Metrics Limited，英国）与视频同时进行数据采集，采样频率为100 Hz。有研究表明，按照规范操作使用三维运动捕捉进行步态分析是可信的^[21-22]，且可以作为步态评估的金标准^[23]。实验开始前，将用于运动捕捉的标志点固定在受试者身体上，与姿态估计算法检测得到的关键点位置保持一致，具体位置如图1所示。

图 1.

Marker placement diagram of motion capture system

运动捕捉系统标志点粘贴示意图

步态特征校正实验中共招募了10名健康志愿者，其中包括7名男性和3名女性，年龄（23.50 ± 0.92）岁，身高（171.90 ± 7.71）cm，无运动障碍相关疾病，每名志愿者都被要求在行走区域内往返行走三次。

1.1.2. 临床试验

临床试验中共招募了110名受试者，其中实验组为64名帕金森病患者，包含38名男性和26名女性，年龄（63.09 ± 8.49）岁，身高（166.92 ± 8.40）cm；对照组为46名同年龄组健康人，包括20名男性和26名女性，年龄（55.45 ± 8.32）岁，身高（166.55 ± 7.11）cm。

临床试验在天津市环湖医院康复医学科进行，本研究已通过医学伦理许可并在中国临床试验注册中心注册（注册编号：ChiCTR1900025372），且经过了受试者及其家属的知情同意。临床试验中每名受试者均需在长度为5 m的试验区域内往返行走3次，行走过程的视频数据由按照要求设置的智能手机录制。

1.2. 步态特征提取

我们提出的基于视频的步态分析方法以二维图像作为输入，整体流程如图2所示。在使用姿态估计算法提取人体的骨架之后，首先计算时间相关的步态参数；然后以获得的关键时间点为基础，计算空间相关的步态特征，并与运动捕捉系统计算得到的步态特征进行对比以验证所提出方法的准确性。而且，针对步长等空间特征，根据对比的结果进行补偿以提高精度。本研究中的步态特征是基于帕金森病患者运动功能障碍临床症状选取的，有研究表明，所用时间相关特征（如步态周期时间、支撑相时间、摆动相时间等）和空间相关特征（如步长、步速等）均为帕金森病运动功能障碍评估中的有效指标，可在临床诊断和早期筛查中发挥重要作用^[24-25]。

图 2.

Flow chart of the quantitative evaluation method and parameter calibration

量化评估方法与参数校正流程图

1.2.1. 姿态估计算法

在所提出的方法中，我们使用了基于CPM的开源姿态估计算法OpenPose来完成对人体关键点的估计，整体结构如图3所示。在第1阶段，通过卷积与池化，获得关节点置信度热度图。从第2阶段开始，每个阶段中CPM都使用从图像中提取得到的信息和从前一个阶段热力图中获得的空间上下文信息，来对关节点的位置进行预测。

图 3.

The structure of the CPM

CPM模型结构图

采用姿态估计算法提取人体骨架中各个关键点在二维图像中的坐标，位置与人的各个关节对应，包括髋、膝、踝、肩、肘和腕等部位，如图4所示。

图 4.

Node extraction schematic of pose estimation algorithm

姿态估计算法关节点提取示意图

1.2.2. 时间相关的步态特征计算

一个步态周期可以被划分为支撑相和摆动相，通过识别足跟触地和脚趾离地时刻，可以对步相进行划分，如图5所示。找到这两个关键时间点是计算步态时间相关参数的关键。

图 5.

The diagram of the relationship between foot angle and gait phase

足部角度和步相划分关系示意图

我们将足跟和脚趾的连线与水平线之间的夹角定义为足部与地面的夹角，当脚趾高度大于足跟时，夹角为正；否则为负。首先对得到的角度数据进行低通滤波处理，因为在正常条件下人运动的最大频率为20 Hz^[26]，考虑到人体步态周期大约为1 s，所以我们将滤波的截止频率设为10 Hz。根据人体步态运动特征，当足跟触地时，足部角度达到一个步态周期中的极大值，该时刻即为支撑相开始的时间点。定义脚趾离地时刻即为脚趾移动速度由慢变快的时刻，即加速度最大时刻。本研究中使用二阶差分方法计算脚趾标志点加速度变化，以识别脚趾离地时刻。由于不同人的步态习惯不同，步态周期也会有差异，识别过程中如果选取的帧数过少，可能漏掉脚趾离地帧；选取的帧数过多，可能会采集到下一步态周期的数据。经过多次实验分析，我们得出选取9帧是比较合适的。

为了找到脚趾离地的时间点，我们对足部与地面夹角极小值点附近共9帧的数据求取二阶差分：

1

2

其中，为时刻足部与地面夹角。二阶差分曲线的极大值点即为所求。

利用得到的足跟触地和脚趾离地这两个关键时间点，可以进一步计算出步态周期、支撑相时间和摆动相时间：

3

4

5

其中，为第个步态周期，为第个支撑相时间，为第个摆动相时间，为第个脚跟触地的时间点，为第个脚趾离地的时间点。

运动捕捉系统中，使用受试者前进方向和竖直方向的数据进行计算，提取两个步态事件中的两个关键时间并进一步计算时间相关的步态参数。

1.2.3. 空间相关的步态特征计算

步长为两侧足跟触地点之间的距离，并按迈步下肢区分左右侧。基于上文得到的足跟触地时间点，步长的计算方法为：

6

其中， 为第i个步长在图像中的长度， 为t时刻的足跟水平坐标。

由于使用智能手机拍摄视频得到的是没有深度信息的二维图像，所以计算得到的是像素距离，而非实际距离。为了将步长的像素长度转化为真实长度，我们将人体脊柱部分的真实长度与像素长度的比值作为转化因子。测量受试者身高，根据人体身材的比例^[27]，计算得到受试者的脊柱真实长度。而脊柱的像素长度则可以通过计算颈部到髋部中点的距离得到，即图6中的红色连线。为了尽量减少由于姿态估计算法导致的误差，我们将足跟触地帧附近5帧的脊柱长度取均值作为。进一步计算真实步长为：

图 6.

Diagram of arm swing

摆臂角度示意图

7

步速的减慢同样是帕金森病患者的主要运动特征之一。以步长为基础，全部步长之和与时间的比值即为步速：

8

其中，为行走过程的总时间。

1.2.4. 上肢特征计算

上肢摆动异常是除步态外，帕金森病患者另一种常见的运动功能障碍，对上肢摆动的分析也可以作为对病情的有效预警，有时候甚至还要早于临床的诊断^[28]。故在步态时空特征基础上，我们增加了上肢摆动相关指标进行运动功能量化分析。将上肢摆动角度（arm swing angle，ASA）定义为上臂肱骨与图像中竖直线的夹角，当上臂摆动到身体前侧时，角度为正数；当上臂摆动到身体后侧时，角度为负数。在实验中，手机被架设在行走区域的一侧，因此由于身体的遮挡，只有靠近手机一侧的手臂摆动可以被记录下来，由于实验范式中要求患者做往返步行运动，因此两侧摆臂会被交替记录与分析。一个步态周期序列中录制的一侧摆臂角度变化如图6所示。

手臂摆动幅度（arm swing magnitude，ASM）被定义为相邻的的最大值（）与最小值（）之差：

9

而手臂摆动速度（arm swing velocity，ASV）则为与摆臂时间的比值：

10

1.2.5. 检验与分类算法

我们使用独立样本t检验测试了所提出方法关于区分帕金森病患者和健康人的能力，并进一步验证了基于这些特征的分类精度。采用三种分类方法，分别为逻辑回归（logistic regression，LR）、支持向量机（support vector machine，SVM）和随机森林（random forest，RF），并使用五折交叉验证来验证这些分类方法的准确性。

为了客观地对各分类算法进行评估，分别使用准确率（accuracy）、精确率（precision）、召回率（recall）、F1得分（F1 score）、受试者操作特征（receiver operating characteristic，ROC）曲线下面积（area under curve，AUC）作为评价指标进行分类性能分析。

2. 结果与分析

2.1. 步态特征校正实验结果

将本文方法提取的步态参数与金标准运动捕捉系统进行对比，结果如表1所示。首先是对于步态中关键事件发生时间的确定，由于视频的采集帧率为30帧/秒，即每次采样的间隔为0.03 s左右，本文所提出的方法中，输出的脚跟触地与脚趾离地的时间点与运动捕捉系统的误差均接近甚至小于0.03 s。基于准确的两个关键事件计算得到的时间步态参数如步态周期、支撑相时间和摆动相时间也有着相近的高精确度。

表 1. Results of the validation experiment.

精度验证实验结果

特征	样本数量	本文提出方法	运动捕捉系统	绝对值平均误差	均方根平均误差
足跟触地（左）/s	212	―	―	0.02	0.03
足跟触地（右）/s	198	―	―	0.02	0.03
脚趾离地（左）/s	174	―	―	0.02	0.03
脚趾离地（右）/s	172	―	―	0.03	0.04
步态周期（左）/s	159	1.17±0.22	1.18±0.21	0.01	0.03
步态周期（右）/s	128	1.15±0.16	1.15±0.16	0.02	0.03
支撑相（左）/s	159	0.79±0.17	0.79±0.16	0.01	0.04
支撑相（右）/s	128	0.75±0.15	0.76±0.15	0.02	0.04
摆动相（左）/s	159	0.42±0.11	0.42±0.12	0.03	0.04
摆动相（右）/s	128	0.42±0.17	0.41±0.17	0.03	0.04
步长（左）/cm	129	64.21±6.44	63.50±5.75	3.29	4.11
步长（右）/cm	126	60.37±4.63	62.24±4.05	3.32	3.97
步速/(m·s-1)	53	1.01±0.07	1.01±0.08	0.01	0.01
摆臂幅度（左）/(°)	101	36.99±12.38	33.44±10.58	3.98	5.15
摆臂幅度（右）/(°)	104	34.75±15.61	30.98±15.22	4.01	4.86
摆臂速度（左）/(°·s-1)	101	66.89±21.19	62.98±19.21	6.34	8.64
摆臂速度（右）/(°·s-1)	104	62.47±25.79	57.32±17.57	6.23	7.99

对于空间步态参数，由于步速反映了一段时间内行走速度的均值，因此所提出的方法与运动捕捉系统得到的数值十分接近。但是对于步长来说，二维图像中缺少深度信息使得其计算结果并不理想。

2.2. 步长的反馈补偿

为了分析步长精度不理想的原因，我们绘制出了随水平坐标变化的误差分布图，如图7所示。以视频图像的正中央为原点，设整个图像的水平宽度为1，因此视频水平坐标范围为[−0.5, 0.5]。我们以实验中129个左侧步长和126个右侧步长足跟触地的水平坐标为横坐标，以步长的误差绝对值作为纵坐标绘制出散点图。

图 7.

Distribution of step length error with horizontal coordinates

步长误差随水平坐标变化的分布图

通过观察发现，左侧步长和右侧步长随坐标的变化均呈现出中间误差小、两端误差大的规律。镜头由若干组透镜构成，由于镜头焦平面上不同区域对影像的放大率不同，因而形成的画面会存在扭曲变形现象。这种变形的程度从画面中心至画面边缘依次递增，在步长计算中越远离视频中央的步长误差越大。而左侧步长随水平坐标的增大而增大，右侧步长随水平坐标的增大而减小，是因为OpenPose依赖图像空间信息来进行姿态估计，视野边缘的不同视角会给OpenPose依赖空间信息的参数带来误差，从而导致左右两侧在进行步长计算过程中呈现出不同的规律。

我们使用最小二乘法分别对左右侧步长误差分布图中的点进行拟合，拟合结果分别如式(11)和式(12)所示。

11

12

为了对这种趋势进行弥补以减小误差，将之前计算得到的步长与拟合曲线上对应的数据作差进行反馈补偿，补偿后由视频计算的步长与动作捕捉获得的标准步长误差减小，距视频中心较远的位置步长误差明显减小。具体数据如表2所示，相对于补偿前，补偿后左右两侧误差分别缩小了29.87%和10.38%，且误差均可达到3 cm以下。

表 2. Step length after compensation.

补偿后的步长

组别	动作捕捉系统步长/cm	补偿前步长/cm	补偿后步长/cm	补偿前误差绝对值/cm	补偿后误差绝对值/cm
左侧	63.50±5.75	64.21±6.44	64.18±6.52	3.30	2.31
右侧	62.24±4.05	60.37±4.63	61.01±4.38	3.32	2.98

2.3. 步态特征临床试验结果及统计学分析

临床试验中对帕金森病实验组和健康对照组以0.001作为检验水准进行了独立样本t检验，步态特征结果与统计学分析如表3所示。为了消除身高对于指标的影响，我们计算了步长和步速的实际值，并与身高的比值进行了归一化。在空间相关的步态特征中，帕金森病实验组与健康对照组的差异均有统计学意义，实验组的步长显著小于对照组，步速显著慢于对照组。在上肢摆动相关特征中也有着相同的趋势，实验组的摆臂幅度显著小于对照组，摆臂速度显著慢于对照组。而在时间相关的步态特征方面如步态周期、支撑相和摆动相等，健患组间差异无统计学意义。

表 3. Mean and standard deviation of gait features for Parkinsion’s disease patients and healthy control.

帕金森病患者和健康对照组的步态特征的平均值和标准差

步态特征	帕金森病实验组	健康对照组	MD（95% CI）	P值
归一化步长（左）	27.39±6.58	36.23±3.33	8.84（6.73，10.95）	< 0.001
归一化步长（右）	27.87±7.00	36.81±3.54	8.94（6.90,10.98）	< 0.001
归一化步速	0.51±0.13	0.67±0.07	0.16（0.12，0.21）	< 0.001
摆臂幅度（左）/(°)	16.24±8.55	38.79±11.32	22.54（18.75，26.32）	< 0.001
摆臂幅度（右）/(°)	16.85±11.31	36.44±9.82	19.59（15.45，23.73）	< 0.001
摆臂速度（左）/(°·s−1)	31.75±15.92	79.67±26.82	47.92（39.73，56.11）	< 0.001
摆臂速度（右）/(°·s−1)	32.07±19.68	75.30±26.09	43.23（34.50，51.96）	< 0.001
步态周期（左）/s	1.11±0.09	1.10±0.06	−6.61×10−3（−3.76×10−2，2.44×10−2）	0.671
步态周期（右）/s	1.11±0.09	1.11±0.06	−9.14×10−3 （−4.04×10−2，2.22×10−2）	0.562
支撑相（左）/s	0.67±0.08	0.67±0.04	3.38×10−3 （−2.13×10−2，2.80×10−2）	0.793
支撑相（右）/s	0.68±0.08	0.67±0.04	−7.42×10−3 （−3.27×10−2，1.78×10−2）	0.564
摆动相（左）/s	0.44±0.05	0.43±0.02	−2.92×10−3 （−1.78×10−2，1.20×10−2）	0.705
摆动相（右）/s	0.43±0.05	0.43±0.02	4.40×10−4 （−1.41×10−2，1.50×10−2）	0.956

2.4. 分类结果

基于上述的归一化步长、归一化步速、摆臂幅度、摆臂速度、步态周期、支撑相和摆动相等特征，使用LR、SVM和RF算法来进行分类，并分别通过五折交叉验证提高结果的可靠性。各分类算法性能的评价指标如图8和表4所示。其中，采用RF分类算法可以获得较高的分类精度。以上各项指标证明了本文所提出方法能够有效地对帕金森病患者及健康人进行区分。

图 8.

The ROC curves by three methods

三种方法的ROC曲线

表 4. Classification performance using LR, SVM and RF.

使用LR、SVM和RF的分类性能

分类算法	准确率	精确率	召回率	F1得分	AUC
LR	0.87	0.85	0.92	0.89	0.93
SVM	0.87	0.86	0.91	0.89	0.94
RF	0.91	0.88	0.94	0.92	0.96

3. 结论

为了解决目前人口老龄化加剧、医疗资源不足和分布不均衡以及突发公共卫生事件的挑战问题，我们提出了一种基于单目视觉的步态识别与分类方法，以行走视频作为输入，实现了对主要步态特征的提取，并设计实验通过运动捕捉系统对所提特征进行校正。步长在矫正后左右两侧误差缩小了29.87%和10.38%，且均达到了3 cm以下。基于这些步态特征，我们进一步开展了临床试验，对帕金森病患者组和健康对照组的各项指标进行了统计学分析，并使用三种不同的分类算法进行健患分类，其中使用随机森林分类算法的准确率达到0.91，证明了所提方法对帕金森病患者和健康人具有良好的区分能力，达到了较高的分类准确率。除此之外，实验过程中只需要一部智能手机即可完成数据的采集。本文为运动功能障碍远程诊疗及大规模筛查提供了一种新的方案。

重要声明：

利益冲突声明：本文全体作者均声明不存在利益冲突。

作者贡献声明：孙玉波、刘培培与杨宇辰对本文贡献相同。孙玉波、刘培培与杨宇辰负责研究框架设计、实验方案设计与实现以及数据处理与分析。孙玉波与杨宇辰负责代码撰写与文稿写作。于洋、于欢与孙潇逸主要负责数据采集、整理、分析与解释。巫嘉陵教授、韩建达教授与于宁波教授负责课题构思与设计以及资料的分析和解释。孙玉波与于宁波教授负责对文稿关键方法与学术内容的修改以及最后定稿。

伦理声明：本研究已通过天津市环湖医院医学伦理许可并在中国临床试验注册中心注册（注册编号：ChiCTR1900025372），临床数据由天津市环湖医院授权使用。

Funding Statement

国家自然科学基金（U1913208）；天津市自然科学基金（21JCZDJC00170）；天津市医学重点学科（专科）建设项目（TJYXZDXK-052B）；天津市科技计划项目（21JCYBJC01440）；天津市卫生健康科研项目（TJWJ2022MS033，TJWJ2022MS031）