仿生小脑运动控制模型及其在手臂控制中的应用

Abstract

在小脑皮层神经元水平上研究小脑如何实现对肢体运动的控制并运用到智能机器人系统中，是目前人工智能和康复医学等研究领域的一个热点。目前通常使用的小脑模型仅以控制效果为目的，虽借鉴了小脑的功能模式，却忽略了小脑的结构特性。实际上，小脑模型除了用于实现控制目的以外，还应该具有控制过程的可解释性并能分析小脑发生病变时带来的后果等，所以需要建立一种更能表达小脑特性的仿生小脑模型。本文在神经元水平上探讨了小脑如何处理外部输入信息进而产生控制指令的过程，通过对具有匀质结构的小脑进行功能化分块，构建了一种包含小脑皮层主要细胞类型和细胞间连接方式的新型仿生小脑运动控制模型。通过仿真实验和力反馈器控制实验表明，本文构建的仿生小脑运动控制模型与目前广泛应用的小脑关联控制器模型相比，具有更好的控制效果，从而验证了本文仿生小脑运动控制模型的有效性，为进一步实现真正意义上的类脑人工智能控制奠定了基础。

引言

小脑在人体协调运动控制和学习中起着重要的作用，小脑皮质内的多种神经元接收并整合大脑皮层传出的控制肌肉运动的信号和运动过程中肌肉传来的反馈信息，通过传出纤维调整和纠正四肢的运动实现对肢体精准而稳定地控制^[1-3]。鉴于小脑在运动系统中独特的结构和连通性，模拟小脑神经系统结构及信息处理机制，建立类小脑模型以提升现有小脑模型与系统的智能水平成为生物医学工程、人工智能和控制科学等领域的研究热点。

多年来包括生物学、神经生理学以及控制工程学等领域的学者们模拟小脑神经系统的结构或功能特征，建立了多种小脑模型。自从 Albus^[4]提出了小脑是感受器的观点以来，小脑关联控制器（cerebellar model articulation controller，CMAC）被广泛地应用到机器人控制领域当中。为了提高 CMAC 的非线性逼近能力和不确定性处理能力，研究人员尝试将模糊理论引入 CMAC 中^[5-7]。Chao 等^[5]在三种干扰条件下，将模糊 CMAC 方法用以控制仿真三关节机械臂，三个关节 30 s 的平均均方误差分别为 141.8、141.1 和 141.1，表明模糊 CMAC 具有很好的抗干扰能力。CMAC 虽然借鉴了小脑的功能模式，却忽略了小脑的结构特性和生理特性。结合小脑的神经生物学特性和运动指令计算过程，Solouki 等^[8]基于半监督学习模式提出一个多元结构，期望构建一种可控制并应用小脑的运动模式以提高控制效率，但这一假说还需要更多的实验来验证。Antonietti 等^[9]基于脉冲神经网络建立小脑运动控制模型并应用于机器人 NAO（V3.3，Aldebaran Robotics Inc，法国）中，实现了对 NAO 机器人左臂肩肘的三个自由度的运动控制。然而，该方法受到网络尺度的限制，输出控制信号分辨率较低，三个关节在 5 s 内的归一化平均均方根误差在 0.3～0.5 的范围内。

在小脑模型提出不到 30 年的时间里，其研究无论在理论上还是在实际应用中都取得了长足的进步。但实际上，人们对小脑神经系统结构的了解与研究还很欠缺，用以描述小脑模型的神经网络无论在结构上还是在规模上都还只是真实小脑神经系统结构的极简单模拟，因此小脑模型的研究还有待进一步的深入。本文通过对小脑皮层的解剖学和生理学的深入研究，利用神经计算学方法和神经元模拟器提出了能够表达其内部神经元通路和作用机制的仿生小脑运动控制（bionic cerebellar motion control，BCMC）模型，以期实现对手臂运动模式的在线学习和精准控制。这不仅能够实现对机器人运动更好的控制，而且可以模拟在小脑受损状态下，挖掘处于病理状态的小脑模型在神经网络层面的改变与运动功能障碍之间的映射关系，从而有助于指导小脑病变患者的制定和调整康复训练方法。更进一步，BCMC 模型有助于加深对小脑基本功能和突触可塑性的理解，在医学和人工智能之间架起桥梁，为人工智能、生物医学工程、康复医学和机器人学等多学科的相互深入交叉和发展提供新思路，为实现真正意义上的类脑人工智能控制奠定基础。

1. 仿生小脑运动控制模型

目前 CMAC 是机器人控制领域中应用最为广泛的模型之一，其神经网络实现是通过两次基本映射来表示输入和输出之间的非线性关系，包括结果输出及误差生成和权值调整两个阶段。本文提出的 BCMC 模型以小脑的生理学和解剖学为基础，综合考虑小脑皮层中各神经元的连接方式和功能特性，结合控制学建模理论，设计出一种仿生小脑模型，包括小脑功能模块、状态编码器模块、反馈模块和运动映射模块四个功能模块。BCMC 与 CMAC 两种模型的结构对比如图 1 所示。

图 1.

Structure comparison of the BCMC model and the CMAC model

BCMC 与 CMAC 两种模型的结构对比

1.1. 小脑功能模块

小脑功能模块的作用是在动态执行过程中不断调整突触的记忆权值，从而实现控制功能。小脑皮层可以划分为三层：表层，主要包含星形细胞（stellate cell，SC）和篮细胞（basket cell，BC）；中间层，主要分布着浦肯野细胞（purkinje cell，PC）的胞体；内层，除了包含颗粒细胞（granule cell，GC）外，还包含高尔基细胞（golgi cell，GoC）。小脑皮层输入信息主要来源于苔藓纤维（mossy fibers，MF）和攀爬纤维（climbing fibers，CF）。MF 对本体感受和期望位置等信息进行稀疏编码，通过突触的形式将信息传递给 GC。CF 为小脑学习过程提供反馈信息，与 PC 形成兴奋性突触。PC 是小脑皮层的唯一输出，经 PC 处理后的输出信息映射至感觉、决策和运动中枢等其它大脑区域^[10]。在此过程中，本体感受信息被平行纤维（parallel fibers，PF）通过 GC-PF 突触捕获并传递给 PC 的同时，也会将该信息传递给局部抑制神经元（GoC，SC，BC），这些局部神经元会与 PC 和 GC 形成抑制性突触。当 GoC 处于兴奋状态时会抑制 GC 的活性，使之趋于稳定。同理，处于兴奋状态的 SC 和 BC 会对 PC 产生抑制效果。

小脑皮层具有匀质特性，即不同部位的神经元种类和连接模式大致相同，据此可以将小脑功能模块设计成由 N 个小脑基本单元组成，每个基本单元具有相同的输入输出和功能，其仿生结构如图 2 所示，箭头表示兴奋性刺激，圆点表示抑制性刺激。虚线框内表示小脑皮层主要神经元，虚线框外表示 BCMC 模型的两种输入：MF 和 PF。

图 2.

Basic unit structure of cerebellar functional module

小脑功能模块基本单元结构

设 u（t）=［u₁（t），u₂（t）， ，u_N（t）］^T 为小脑功能模块的整体指令，其中 u_n（t）为小脑功能模块中第 n（n = 1，2， ，N）个基本单元的输出指令，其值由该基本单元中的各个 PC 的激活值确定，如式（1）所示：

1

其中，常数 a 为命令调整系数，PC_nl（t）为对应于第 n 个基本单元的第 l（l = 1，2， ，L）个 PC 在 t 时刻的激活值，L 表示基本单元中的 PC 数目，每个基本单元中 PC 的数目都是相同的。根据小脑皮层的匀质特性，每个基本单元的计算方法都是相同的，所以以下将 PC_nl（t）简化为 PC_l（t）。PC 的状态为二值性，用“0”表示抑制状态，“1”表示激活状态，其状态由式（2）确定：

2

其中，θ 为 PC 的阈值电位， 为第 l 个 PC 的膜电位， 的计算如式（3）所示：

3

其中，PF_i 表示第 i（i = 1，2， ，M）个 PF 的激活值，M 表示 PF 的个数，w_il（t）表示第 i 个 PF 与第 l 个 PC 形成突触的记忆权值， 和 分别表示 SC 和 BC 与第 l 个 PC 形成的突触的权值，由于 SC 和 BC 对 PC 产生抑制作用，所以其值皆为负值 。SC 表示 SC 的状态（SC 与所有 PC 相连，具有同一数值），BC_l 表示与第 l 个 PC 相连的 BC 的状态。

以上是在 t 时刻各个信号之间的关系，在动态执行过程中突触的记忆权值 w_il（t）也在不断调整，在 t + 1 时刻的调整方式，如式（4）所示：

4

其中，常数 K 为权值调整系数，∆w_il（t）为 t 时刻突触的记忆权值 w_il（t）的改变量。

1.2. 状态编码器模块

状态编码器模块将手臂末端空间位置信息映射为小脑功能模块基本单元中的 PF 的状态。小脑功能模块基本单元中的 PF 的状态表现为 PF_i 的取值，状态编码器原理如图 3 所示，包括手臂末端三维状态空间输入 P（t）= ［x（t），y（t），z（t）］^T、相关区域 a_j（j = 1，2， ，q）、权值 ω_j（j = 1，2， ，q）和输出 PF_i，其中 q 为逻辑分区数量。根据输入所对应的逻辑分区，基于表格查询的方式确定 a_j 的取值，激活的 a_j 为 1，未激活的 a_j 为 0，在未学习状态下权值 ω_j 都默认为 1，其输出即为激活的 PF，其值也具有二值性，用“0”表示抑制状态，“1”表示激活状态。

图 3.

Schematic diagram of principle of status encoder

状态编码器原理

1.3. 反馈模块

反馈模块通过下橄榄（inferior olive，IO）为小脑传递训练信号以纠正手臂运动的误差。训练信号为小脑的学习过程提供反馈信息以调整相应的权值，其权值调整方式，如式（5）所示：

5

其中，ε 和 τ 皆为正的常数。CF_n 为第 n 个基本单元中的 CF 的激活值，其值也具有二值性，用“0”表示抑制状态，“1”表示激活状态。其状态计算规则，如式（6）所示：

6

其中，P_n 为第 n 个基本单元中的 CF 的激活概率。激活概率 P_n，如式（7）所示：

7

其中，β_n 为仿生手臂的实际位置与理想位置之间的偏差∆P 与各命令映射向量 D_n = ［d_nx，d_ny，d_nz］^T 之间的夹角 。当 P_n 的直接计算值小于 0.5 时，令 P_n = 0。

1.4. 运动映射模块

运动映射模块基于可调模式发生器实现小脑运动命令到手臂运动执行的映射。运动映射模块具有储存和执行运动命令等功能，因其产生的运动命令在幅度与周期等方面是可以改变的，因而被命名为可调模式发生器（adjust pattern generator，APG）。小脑基本单元与 APG 相对应，每个 APG 通过对关节的舒张肌和收缩肌的控制从而在运动空间以特定的方向移动手臂，即 APG 的作用方向。在动态执行过程中仿生手臂末端的位移调整向量 dφ =［dx，dy，dz］^T 可根据命令映射矩阵 D = ［D₁，D₂， ，D_N］和小脑输出指令 u（t）计算，如式（8）所示：

8

则 t + 1 时刻时，仿真手臂的空间位置 P（t + 1），如式（9）所示：

9

若仿真手臂实际输出与期望输出之间的误差达到了允许范围，则手臂运动控制结束。否则，BCMC 重复学习过程并继续调整 w_il（t）的权值。

2. 实验方法

为了确认本文提出的 BCMC 模型的可行性，并且能够直观地了解控制过程，首先使用神经网络模拟器 Emergent 8.5.6（University of Colorado，美国）建立 BCMC 模型控制仿真手臂，观测控制过程中小脑皮层神经网络的变化情况。Emergent 的作用主要在于神经仿真及模拟神经元活动，而 CMAC 模型简化了神经元结构，只是在功能上实现控制，所以这种观测是 CMAC 模型无法做到的。在确认了本文提出的 BCMC 模型的可行性之后，继续设计了双杆双关节手臂跟踪控制仿真实验及力反馈器控制实验，并与 CMAC 模型进行比较，验证 BCMC 模型的控制效果。

2.1. Emergent 仿真手臂控制实验

本文实验中使用的 Emergent 仿真手臂是一种综合神经网络模拟器，可以创建和分析各种复杂的神经网络，具有三维可视化的图形界面，便于交互，用 Emergent 仿真手臂可以对本文提出的仿生小脑运动控制模型的控制过程进行观测^[11]。

实验基于 Emergent 软件建立了具有 4 自由度（肩关节 3 个自由度及肘关节 1 个自由度）和 12 块肌肉群的仿真手臂，如图 4 所示。这些肌肉分别附着在肩关节、上臂、前臂和手的不同位置，其中红色球、青色球和绿色球依次为肩关节、肌肉插入点和期望位置，灰色柱条部分则表示手、前臂、上臂和躯干。

图 4.

Simulation arm

仿真手臂

假设上臂、前臂和手掌是圆柱形的，设置其具有典型的人体尺寸和质量。肌肉的长度可由手臂的关节空间坐标表示，而手臂的关节坐标空间又可转化为手臂的操作空间坐标。将手臂在操作空间的末端坐标映射到手臂关节空间肩关节的 3 个欧拉角 α、β、γ 和肘关节角 δ，其中肩部的欧拉角对应于固有的 Z 轴-X 轴-Z 轴旋转，令 γ = 0 从而使手臂末端三维坐标和四个关节角之间能够建立一种双射关系，如式（10）所示：

10

其中，L₁ 和 L₂ 分别为上臂和前臂的长度。在手臂角度为（α，β，γ，δ）状态时可根据旋转矩阵 A = ［A₁，A₂，A₃］求出每块肌肉两端插入点的位置，进而可以得到肌肉的长度和肌肉速度等信息。旋转矩阵 A 如式（11）所示：

11

再根据式（12）求出肌肉的长度误差∆L 和速度误差∆V：

12

其中，L_M（t）和 V_M（t）分别为 t 时刻手臂的肌肉长度和收缩速度，L_EM 表示肌肉的期望长度，G_L 和 G_V 代表增益因子，在实验中设置为 G_L = 2 和 G_V = 1。当 L_M（t）与 L_EM 一致时即认为手臂到达目标位置，t + 1 时刻手臂的肌肉长度 L_M（t + 1）和速度 V_M（t + 1）如式（13）所示：

13

2.2. 双杆双关节手臂跟踪控制仿真实验

双杆双关节手臂跟踪控制仿真实验的目的是观察两种模型控制方法能否准确快速地跟踪目标，在仿真实验中忽略了连杆的重量和肌肉模型以简化计算。为得到可靠结论，进行了 30 次对比实验，并对两种模型控制方法所用的平均跟踪时间进行了计算。仿真实验所用软件为 Matlab 2018a（MathWorks，美国），运行平台为戴尔笔记本（灵越燃 7000II，Dell Inc.，美国），系统配置为 CPU: i5-8250U，RAM: 4G。

2.3. 力反馈器控制实验

将控制方法应用在力反馈器上建立仿生手臂控制系统，通过设定不同的期望位置以检验控制方法对仿生手臂的运动控制效果。为得到可靠结论，实验设置了 4 个期望位置 A（50，50，50）、B（− 50，50，50）、C（− 50，− 50，50）和 D（50，− 50，50），每个期望位置进行 30 次对比实验，记录手臂末端轨迹，计算不同期望位置下的手臂末端轨迹误差。

本文实验中使用的是力反馈器（Touch，3D Systems Inc.，美国），该设备具有 6 个自由度，每个自由度都具有传感器，能够实时提供操作空间的位姿信息和运动空间中速度、加速度等运动学信息^[12-13]。在给定关节角度 θ = ［θ₁，θ₂，θ₃］^T 和手臂长度的情况下，采用正向运动学计算工作空间坐标 P = ［x，y，z］^T，如式（14）所示，具体参数含义如图 5 所示。对该仿生手臂的控制也可利用逆向运动学，具体的原理和实现方法参见文献[14]。

图 5.

Schematic diagram of parameters of force feedback device

力反馈器参数示意图

14

其中，L₁ = L₂ = 135 mm 表示手臂的上臂和下臂，O₁ 和 O₂ 分别是手臂的基坐标系和操作空间坐标系。 表示上臂在水平面上的投影沿逆时针旋转的角度， 表示上臂与水平方向的夹角， 表示下臂与竖直方向的夹角。力反馈器的驱动方程，如式（15）所示：

15

其中，F 表示力反馈器产生的三个方向的力向量，P 表示手臂的三个方向的位移向量，V 表示手臂的三个方向的速度向量。S 表示刚度系数，单位为 N/m，C 表示阻尼系数，单位为 N·s/m。

3. 实验结果

3.1. Emergent 仿真手臂控制实验结果

小脑皮层神经网络的各层神经元在手臂执行任务超过期望位置及到达期望位置时的激活情况如图 6 所示，其中红色表示高度激活，黄色表示一般激活，灰色表示未激活。红（绿）色映射线表示兴奋（抑制）性刺激。小脑皮层的输入信息包括手的目标位置（target position，TP）和本体感受信息，其中本体感受信息又包括：12 块肌肉的期望长度（target length，TL）、当前长度（current length，L）、速度（current velocity，V）、手臂末端当前位置（hand position，HP）和速度（hand velocity，HV）。可以看到，当手臂超过期望位置时，IO 神经元活跃度有了很大提升，这是由于肌肉误差信号传至 IO 从而刺激 IO 神经元由未激活状态（灰色）转化为激活状态（黄色）。该误差通过 IO 传至 PC，经过误差纠正以后，手臂重新回到了期望位置，此时 IO 层神经元由激活状态（黄色）转化为未激活状态（灰色）。

图 6.

Neural network of cerebellar cortical

小脑皮层的神经网络

图 7 左图表示的是手臂末端运动轨迹，实线和虚线分别表示手臂末端的实际位置和期望位置，可以看到在 t = 0.58 s 附近时，手臂末端轨迹（实线）到达了期望位置（点线）。由于惯性，当手臂末端轨迹开始超过期望位置时，小脑通过学习纠正手臂末端运动误差，从而使手臂末端渐进重回到期望位置。图 7 右图表示的是肌肉误差与手臂轨迹误差的关系，当手臂末端超过期望位置时，IO 捕获的手臂轨迹误差（点线）信号会触发肌肉误差（实线）信号，该误差信号经 IO 传至小脑，最终影响 PF 和 PC 之间的突触权值。小脑会学习该训练信号，最终影响小脑产生的输出控制指令，驱动手臂末端到达期望位置。图 7 左图和右图在时间节点上的差异体现出了控制信号与输出状态的关系。

图 7.

The trajectory of the arm end and the relationship between muscle error signal and arm trajectory error

手臂末端运动轨迹及肌肉误差与手臂轨迹误差的关系

3.2. 双杆双关节手臂跟踪控制仿真实验结果

双杆双关节手臂跟踪控制仿真实验结果如图 8 所示。其中实线为手臂关节的设定值，虚线为本文 BCMC 方法的跟踪角度，点线为 CMAC 方法的跟踪角度，两种方法都有很好的跟踪效果。CMAC 平均耗时为 25.24 s，而 BCMC 方法平均耗时为 10.81 s。结果表明 BCMC 方法对手臂运动控制具有更快的响应速度和更高的控制精度。

图 8.

The curve of joint tracking

关节跟踪曲线

3.3. 力反馈器控制实验结果

力反馈器控制实验的手臂末端轨迹如图 9 所示，其中实线为本文 BCMC 方法的手臂末端轨迹，点线为 CMAC 方法的手臂末端轨迹，棱形和星形代表每次实验的最终位置，起始位置为原点。

图 9.

Trajectory of the arm end in the control experiment of force feedback device

力反馈器控制实验中手臂末端轨迹

对于 4 个期望位置 ABCD，本文 BCMC 方法的手臂末端轨迹平均误差分别为 3.12 mm、2.01 mm、3.67 mm、4.83 mm，而 CMAC 方法的手臂末端轨迹平均误差分别为 3.44 mm、4.99 mm、5.32 mm、5.26 mm，如图 10 所示。结果表明了 BCMC 方法可以实现对仿生手臂更准确的控制。

图 10.

Arm trajectory error at different desired positions

不同期望位置下的手臂轨迹误差

4. 结论

脑科学与智能技术的融合将推动类脑智能研究的突破和发展，对人脑认知神经机制的理解能为人工算法的研究带来新启发。本文内容的出发点，是课题组在前期研究过程中发现，目前的小脑模型通常仅以控制效果为目的，虽借鉴了小脑的功能模式，却忽略了小脑的结构特性，这样必然会带来一定的局限性。因此设想了一种新型的仿生小脑运动控制模型，将小脑解剖结构反映在仿生小脑运动控制模型的各个功能模块中，从而除了可以实现控制目的以外，还可以追踪与解释控制过程，并能分析小脑发生病变时带来的后果。最终，本文通过神经计算仿真软件、手臂仿真模型及仿生手臂机器人控制实验，验证了仿生小脑运动控制模型的有效性，实现了精准而稳定的控制。本文研究是一次有益的尝试，为小脑模型的研究发展提供了新思路，即将结构仿生与功能仿生相结合才能实现更优的效果，同时也为下一步建立基于脉冲神经网络的类小脑模型的研究奠定了基础。

利益冲突声明：本文全体作者均声明不存在利益冲突。

Funding Statement

国家自然科学基金资助项目（81741137）；辽宁省自然科学基金项目（2020-KF-12-04）