类脑脉冲神经网络及其神经形态芯片研究综述

Abstract

Under the current situation of the rapid development of brain-like artificial intelligence and the increasingly complex electromagnetic environment, the most bionic and anti-interference spiking neural network has shown great potential in computing speed, real-time information processing, and spatiotemporal data processing. Spiking neural network is the core part of brain-like artificial intelligence, which realizes brain-like computing by simulating the structure of biological neural network and the way of information transmission. This article first summarizes the advantages and disadvantages of the five models, and analyzes the characteristics of several network topologies. Then, it summarizes the spiking neural network algorithms. The unsupervised learning based on spike timing dependent plasticity (STDP) rules and four types of supervised learning algorithms are analyzed. Finally, the research on brain-like neuromorphic chips at home and abroad are reviewed. This paper aims to provide learning ideas and research directions for new colleagues in the field of spiking neural network.

引言

人类是地球上最具智慧的生物，人脑中的生物神经网络连接复杂，却在处理各项任务时极具高效性和鲁棒性。一般认为人脑一天消耗的能量以电能形式来表示，大约只相当于 25 W。这使得众多学者致力于脑科学研究，通过探究人脑中生物神经网络的工作机制，模拟大脑处理、记忆信息的方式进行模式识别、智能控制等。1997 年“人类脑计划”在美国正式启动，2013 年 4 月 2 日美国总统奥巴马宣布启动通过推动创新型神经技术开展大脑研究计划（Brain Research Through Advancing Innovative Neurotechnologies，BRAIN），随后欧盟脑科学计划（Human Brain Project，HBP）和日本脑科学计划（Brain Mapping by Integrated Neurotechnologies for Disease Studies，MINDS）也逐渐开展^[1]。2018 年我国正式发布“脑计划”的内容，我国的脑计划旨在通过对大脑认知原理的探索，将脑科学原理逐渐应用于医学诊断和类脑智能，一方面针对脑类疾病探究治疗方案、研发医疗器械，另一方面发展类脑人工智能的相关新技术^[2]。

人脑是由近千亿个神经元及其突触连接形成的巨大网络，网络中神经元通过树突接收其他神经元传递的信息，再通过轴突和突触等结构将信息传递给下一神经元。而人工神经网络（artificial neural network，ANN）通过模拟人脑中信息传递的过程来进行运算，应用于科技创造和生活中的众多领域，包括语音处理、计算机视觉、自然语言处理等^[3]。但传统 ANN 和真正的生物神经网络仍有较大区别，传统 ANN 的输入输出均为实数值，而人脑中信息传递的形式是离散的动作电位或脉冲。Maass^[4]在 1997 年提出的脉冲神经网络（spiking neural network，SNN）完全模仿生物神经网络，通过脉冲形式传递信息，其本质上是二进制事件，对提高处理效率和降低能耗具有重要作用。但是信息传递的离散性使得 SNN 算法的实现变得相对困难，因此部分学者针对 SNN 的原理和特性设计学习算法；另外部分学者致力于将已有的 ANN 算法理念更有效地运用到 SNN 中。传统 ANN 算法有中央处理器（central processing unit，CPU）、图形处理器（graphics processing unit，GPU）等硬件加速平台，SNN 算法的高效应用也同样需要硬件支撑，近些年众多的研究机构和公司已有 SNN 硬件化成果，类脑神经形态芯片已经面世且具有极大的发展前景，有望真正实现类脑人工智能。

本文从 SNN 具有的仿生性好、高效率及低能耗等特点出发，从神经元模型、网络拓扑结构、学习算法到 SNN 类脑神经芯片依次进行综述。首先总结五种脉冲神经元模型的优缺点和五种 SNN 网络拓扑结构的特点，为寻找更具生物特性的模型及网络提供参考；其次从学习方式的角度综述无监督学习算法以及基于突触可塑性、基于反向传播、基于卷积、ANN 权重转化到 SNN 四类有监督学习算法；最后从数模混合电路和数字电路两类电路结构对 SNN 类脑神经形态芯片进行综述。

1. 脉冲神经元模型及脉冲神经网络拓扑结构

1.1. 脉冲神经元模型

SNN 中最基本的构成元素是脉冲神经元（spiking neuron，SN）。脉冲神经元的两个决定性变量是膜电势和激活阈值，神经元是否动作与这两个变量有密切关系，网络中的两个基本神经元如果前一个神经元的膜电势达到激活阈值，会发放一个脉冲信号通过突触传递到下一个神经元，大量神经元共同作用形成网络进行系统性地学习。SNN 网络构建中最常用的模型有霍金-霍胥黎模型（Hodgkin-Huxley，H-H）^[5]、积分点火模型（integrate and fire，IF）^[6-7]、漏积分点火模型（leaky integrate and fire，LIF）^[8]、脉冲响应模型（spike response model，SRM）^[9]和 Izhikevich 模型^[10-11]五种。H-H 模型可以精确地表示离子通道动态变化，但需要对钠、钾离子和泄漏通道分别建模，表达形式复杂且运算过程繁琐。LIF 模型是目前 SNN 网络中最常用的模型，虽然忽略了离子通道动态变化只反映宏观膜电位的变化，但是计算简单。五种脉冲神经元模型总结如表 1 所示。

表 1. Summary of five commonly used spiking neuron models.

五种常用脉冲神经元模型总结

神经元模型	电路形式	数学表达形式	优点	缺点
H-H	电容电阻电路	微分	接近生物神经元，精确度高	表达复杂，运算繁琐
IF	电容	微分	运算简单	模型简单，具有记忆效应
LIF	电容电阻电路	微分	模拟静息状态，运算简单	模型简单，忽略许多神经动力学特性
SRM	\	积分	模拟不应期动态变化	模型简单，忽略部分神经动力学特性
Izhikevich	\	微分	模拟多种放电模式	运算效率低

除上述五种常用脉冲神经元模型之外，近些年也有学者创新性地结合生物机制和数学性质，探索出兼具生物学特性和计算特性的脉冲神经元模型。例如，Zuo 等^[12]从概率的角度提出了一种概率脉冲响应模型，该模型的点火模式既不取决于阈值与膜电压的差，也不依赖于脉冲的形式，而是重构了膜电压和神经元点火的概率关系，以概率的形式来传递信息。

1.2. 脉冲神经网络拓扑结构

多个脉冲神经元通过突触连接构成大规模的 SNN 网络，不同连接方式决定 SNN 网络拓扑结构的类型。和传统 ANN 类似，SNN 网络拓扑结构可以分为前馈型 SNN、递归型 SNN、循环型 SNN、进化型 SNN 和混合型 SNN。前馈型 SNN 由输入层、隐藏层和输出层构成，每层由一个或多个神经元排列组成，神经元之间通过多个权值可动态调整的突触连接，将信号从输入层传递到下一层中；递归型 SNN 和循环型 SNN 都含有反馈回路，更能反映真实神经元之间的连接，但是在算法设计上增加了难度；进化型 SNN 具有自适应、自组织的特点，可根据样本的特征动态调整神经元的数量；混合型 SNN 在局部上的结构类型多样，包含前馈型、递归型等。目前来说，从拓扑结构实现的复杂程度、网络参数的更新迭代速度等角度考虑，最常用的是前馈型 SNN，而且 SNN 网络拓扑结构的模型构建可影响 SNN 学习算法的选择。

2. 脉冲神经网络学习算法

网络构建后对数据进行训练需要使用 SNN 学习算法，根据 SNN 学习算法的实现形式可分为无监督学习算法和有监督学习算法两类。其中无监督学习算法的核心是脉冲时序依赖的可塑性规则（spike timing dependent plasticity，STDP）；有监督学习算法根据设计思想总结为两类，一类围绕 STDP 规则，一类利用 ANN 中的反向传播（back propagation，BP）^[13]、卷积等思想进行直接或间接训练。无监督学习算法利用 STDP 规则能有效反映生物学特性，但 STDP 具有局部性特征，每一层都着重适应前一层输出，无法协调整个网络，不适用于多层结构，分类准确率较低。许多学者通过修正 STDP 学习规则、结合卷积网络深度提取特征以及在训练中加入监督学习任务解决分类问题，因此产生了一类基于 STDP 学习规则的有监督学习算法。另一类有监督学习算法以 ANN 思想为核心，其中基于 BP 思想的直接训练算法的难点在于解决神经元方程的不可微、梯度爆炸和过拟合问题，基于卷积思想的直接训练算法主要关注卷积核的选择和优化，基于 ANN 的间接训练算法是先训练 ANN 再通过归一化等方式转化到 SNN。在本节中，将对无监督学习算法和有监督学习算法进行详细地综述。

2.1. 无监督学习算法

Song 等^[14]在 Hebbian 学习规则^[15]的基础上提出了 STDP 学习规则，STDP 学习规则根据神经元学习的先后顺序，调整神经元之间连接的强弱。对于任意两个神经元，突触前神经元脉冲发放早于突触后神经元，则神经元之间的连接强度变大；反之，神经元之间的连接强度变小。STDP 规则的典型数学模型为：

1

其中参数 和 表示突触前至突触后间隔的大小，在此范围内发生突触连接增强或减弱，和 表示权重增强和减弱的增益^[14]。为提高无监督学习算法在实际问题中的分类准确率，可以对 STDP 规则进行改进，例如在 STDP 规则中加入事件驱动环节或自适应阈值策略来优化分类效果^[16-17]。

研究表明，以无监督 STDP 算法为核心的 SNN 浅层网络在分类任务中的表现远不如卷积神经网络（convolutional neural networks，CNN）等传统 ANN。CNN 在模式识别、图像分类等各个领域广泛应用，尤其是深层 CNN 在提取关键特征上有良好表现，但 CNN 中的权重连接方式没有生物学依据，因此学者趋向于将 STDP 规则和 CNN 结合起来，更全面地发挥 CNN 在计算准确率上和 SNN 在计算效率上的优势。例如 Lee 等^[18-19]提出了一种深度脉冲卷积神经网络（deep spiking convolutional neural network，SpiCNN），使用基于 STDP 规则的无监督方法训练两个卷积层。Srinivasan 等^[20]提出基于 STDP 规则的概率学习算法，称为混合 STDP 算法（hybrid-STDP，HB-STDP），该算法结合 STDP 和 anti-STDP 学习机制，以分层无监督学习方式训练由二进制核组成的剩余随机多层卷积脉冲神经网络（residual stochastic multilayer convolutional spiking neural network，ReStoCNet）。综合来看，结合卷积和 STDP 学习规则的 SNN 无监督学习算法能够发挥 CNN 和 SNN 各自的特点，兼具计算高效性和仿生性。

2.2. 监督学习算法

2.2.1. 基于 STDP 规则的监督学习算法

STDP 规则学习首先应用于无监督学习算法中，但无监督学习算法只适用于聚类问题，解决问题单一且自适应性不强。因此，Ponulak 等^[21]在 STDP 学习规则基础上进行修正，提出远程监督算法（remote supervised method，ReSuMe），该算法将 STDP 规则和远程监督结合起来，在不计算梯度的情况下最小化输出和目标脉冲间的差值来更新权重。Taherkhani 等^[22]利用 STDP、anti-STDP 和延迟学习规则并行学习隐含层和输出层的学习参数，使得权重和延迟学习相互作用，大幅提高了算法的学习精度并且更具有生物特性。此外，有学者提出奖励调节 STDP 规则（reward-modulated STDP，R-STDP），R-STDP 规则受神经调节剂如多巴胺和乙酰胆碱在 STDP 调节中的作用启发，是 STDP 监督学习中依据的重要规则^[23-24]。Mozafari 等^[25]将 STDP 规则和 R-STDP 规则同时应用于深度卷积 SNN 中，在第一层网络中使用 STDP 规则，在后两层中使用 R-STDP 规则，最终在 MNIST 数据集^[26]上的识别率可达 97.2%。基于 STDP 规则的监督学习算法在保证仿生性的基础上提高了分类任务的准确率，近几年基于 STDP 学习规则的 SNN 监督学习算法总结对比如表 2 所示。

表 2. Supervised learning algorithm of spiking neural network based on STDP learning rules.

基于 STDP 学习规则的脉冲神经网络监督学习算法

算法	网络结构	神经元模型	脉冲形式	处理方式	特点
ReSuMe	单层	LIF/H-H	脉冲序列	离线/在线	自适应性强
Taherkhani 等	多层前馈	LIF	脉冲序列	在线	仿生性强
Mozafari 等	多层前馈	LIF	脉冲序列	在线	数据量少

2.2.2. 基于 ANN 思想的直接、间接学习算法

　　　（1）基于反向传播的直接训练算法：

反向传播和梯度下降是神经网络中实现优化的重要手段，在权重更新上采用合适的反向传播和梯度下降思想，可解决 SNN 的不可微性问题。

Bohte 等^[27]最早将反向传播和梯度下降思想应用于 SNN，其提出的监督学习算法 SpikeProp 引入反向传播过程，根据误差最小原则来计算梯度下降，更新突触权重以获得最优解。反向传播算法具有传统学习算法的背景，因此在许多方面存在问题，例如：梯度问题会使学习过程效率低下；在学习过程中融入的全局错误信息缺乏生物学支持；为了提高算法的准确度需要增加隐含层数量，但是隐含层数量过多会产生过拟合问题，使学习过程对干扰不具有鲁棒性。Hong 等^[28]提出一种改进的 SpikeProp 学习算法，设计了一种脉冲梯度阈值规则来解决 SNN 训练中的梯度爆炸问题，为了控制训练过程中的网络活跃度，还加入了脉冲发射率和连接权重的调节规则。此外，学者们通过考虑反向传播中的各项影响因素，例如轴突延迟^[29]、局部传播形式^[30]、空间域时间域协同性^[31]、宏观微观多样性^[32]、近似激活函数^[33]以及代理梯度^[34]等，逐渐提高算法的分类精度。已知最优情况下，在 MNIST 数据集上的分类准确率可达 99.49%。近几年基于反向传播思想的 SNN 算法总结对比如表 3 所示。

表 3. Supervised learning algorithm of spiking neural network based on back propagation.

基于反向传播思想的脉冲神经网络监督学习算法

算法	网络结构	神经元模型	脉冲形式	处理方式	特点
Bohte 等（SpikeProp）	多层前馈	SRM	单脉冲	在线	首次使用反向传播
Hong 等	多层前馈	LIF	脉冲序列	在线	梯度阈值，仿生性强
Kim 等（LbAP）[29]	多层前馈	SRM	脉冲序列	在线	动态网络，容错性高
Shrestha 等（SLAYER）[30]	多层前馈	SRM	脉冲序列	离线	结合 STDP 和 BP
Wu 等[31]	多层前馈	LIF	脉冲序列	离线	时空 BP，处理动态数据流
Jin 等[32]	多层前馈	LIF	脉冲序列	在线	微、宏观结合

（2）基于卷积的直接训练算法：

Widrow-Hoff 规则^[35]是线性神经网络中常用的调整权重的算法之一，适用于模拟信号，但脉冲序列是离散性信号，无法直接应用 Widrow-Hoff 规则。因此学者们利用卷积的思想处理离散数据，使其具有连续特征。通常采用加入卷积核的方式，把脉冲向量的元素相对应地转化为连续函数：

2

Mohemmed 等^[36]提出的脉冲模式联合神经元算法（spike pattern association neuron，SPAN）通过核函数将脉冲序列（输入脉冲序列、神经元目标和实际输出脉冲序列）变为连续函数信号，然后应用 Widrow-Hoff 规则调节突触权重。Yu 等^[37]提出的精准脉冲驱动可塑性算法（precise-spike-driven，PSD）只利用核函数将输入脉冲序列转换为卷积信号，通过目标输出脉冲与实际输出脉冲之间的误差驱动突触实现自适应。基于卷积思想的算法核心集中在卷积核的选择上，蔺想红等^[38]从卷积核内核函数出发，提出针对脉冲神经元的脉冲训练卷积核学习规则（spike train kernel learning rule，STKLR），在 STKLR 算法中测试了各种内核函数。基于脉冲序列卷积的 SNN 算法总结对比如表 4 所示。

表 4. Supervised learning algorithm of spiking neural network based on convolution.

基于脉冲序列卷积的脉冲神经网络监督学习算法

算法	网络结构	神经元模型	脉冲形式	处理方式	特点
SPAN	单层	LIF	脉冲序列	离线/在线	卷积核转化脉冲序列
PSD	单层	LIF/IM	脉冲序列	离线/在线	仅卷积输入序列
STKLR	单层	SRM	脉冲序列	离线/在线	多种卷积核的利用

（3）基于 ANN 的间接训练算法：

ANN 的发展已经进入成熟期，广泛应用于图像识别、目标识别、无人驾驶、生物信息学等领域，如果将传统 ANN 的成熟算法间接应用于 SNN，或许可获得良好效果。因此众多学者不再直接训练 SNN 参数，而是通过将 ANN 中训练好的参数转化到相同结构的 SNN 中。为实现近无损的 ANN-SNN 转换，需要对原始的 ANN 模型做一定约束，例如对网络的不同层进行归一化。Sengupta 等^[39]对每一层接收到的最大输入进行加权归一化，提高了该算法在分类任务中的识别率。Srinivasan 等^[40]提出一种 ANN 转化到 SNN 的方法，先对 ANN 进行约束训练，包括删除批处理规范化层和偏向神经元，再将训练后的权重从 ANN 转移到 SNN，最后在 SNN 网络中使用基于 IF 神经元近似导数的反向传播算法进行训练。

ANN 转化到 SNN 的间接训练算法的优势在于权重训练方法相对成熟，在传统数据集上的分类效果理想，可以达到深度学习的水平。但对 ANN 采取约束会造成 SNN 性能下降，而且转化 SNN 训练时需要长时间的步长模拟，效率远低于直接训练的方式。另外，间接训练算法的特征提取步骤在 ANN 中完成，很难提取输入信息在时间维度上的特征，不适用于时空数据的分类。

3. 脉冲神经网络类脑神经形态计算平台

类脑 SNN 在处理稀疏和离散数据上表现出巨大潜力，不但能处理编码后的图像信息，还能从时间维度上挖掘语音、脑电等时空数据的特征，目前大部分 SNN 算法的实现仍基于 CPU、GPU 处理器，但这类数据处理模块和存储模块分离的计算平台无法发挥 SNN 并行程度高、计算速度快的优势。因此近十几年来，一系列面向 SNN 的专用硬件计算平台出现，成为类脑计算的一大分支。基于 SNN 的类脑神经形态计算平台必须满足：稀疏事件驱动性质，即信息传递以脉冲方式实现；可实现复杂的动力学功能，如实现神经元和突触组成的神经核、实现 STDP 学习规则；神经核之间可实现大规模并行连接，通过片上网络（network-on-chip，NoC）等通信。类脑神经形态计算平台主要通过模仿轴突、突触、树突、细胞体等结构完成信息输入、权重储存、信息加权、控制脉冲发放等功能，且通过配置路由功能实现不同计算核之间的数据传递。现有的 SNN 类脑神经形态计算平台可以从电路技术上分为数模混合计算平台和全数字计算平台。模拟电路能够精确地模拟神经元的动态特性，实现相对复杂的动力学模型，但是模拟电路容易受外界因素的影响且可编程性较弱，因此众多研究趋向于采用数模混合电路或纯数字电路。硬件材料的选取上，通常采用亚阈值或超阈值下的硅晶体管，实现技术包括互补金属氧化物半导体技术（complementary metal-oxide-semiconductor，CMOS）和全耗尽硅技术（fully depleted-silicon-on-insulator，FDSOI）等。类脑神经形态计算平台在体积上、能耗上明显优于其他硬件系统，有望在未来解决摩尔定律失效及冯·诺依曼体系局限性问题。

3.1. 脉冲神经网络数模混合计算平台

数模混合计算平台中，模拟电路部分能够直观地表现神经元动力学特性，实现神经元及突触的功能；由于路由部分需要完成稳定的数据传输，因此通常采用稳定性好和可靠性高的数字电路来实现。斯坦福大学的 Neurogrid 系统是最典型的数模混合类脑神经形态计算平台。

斯坦福大学的 Neurogrid 系统^[41]是一个由 16 个芯片组成的百万级神经元神经形态系统，能耗仅为 3.1 W，使用的晶体管在亚阈值范围内运行。16 个芯片间的通信通过树状路由网络连接，可实现突触连接数量的最大化。Braindrop^[42]是斯坦福大学的另一款类脑神经形态芯片，也采用数模混合设计。两者对比，Neurogrid 系统在神经突触级别进行编程，需要使用硬件方面的专业知识，Braindrop 采用耦合的非线性动力学计算方式，并通过自动化程序综合到硬件中，提供一种高度抽象的编程方式以降低对使用者的技术要求。未来，斯坦福大学将集成多个 Braindrop 内核以构建更大的 Brainstorm 芯片。

ROLLs^[43]也采用亚阈值数模混合电路实现神经元和突触动力学，网络规模略小但对突触学习机制的仿生效果较好，可实现基于双稳态脉冲的可塑性机制，经历长时程增强（long-term potentiation，LTP）或长时程抑制（long-term depression，LTD）。此外 ROLLs 可实时更新突触连接强度实现片上在线学习，能耗仅为 4 mW。

与以上三者不同的是，BrainScaleS 采用超阈值数模混合电路来进行神经元动力学仿真，可实现短时程抑制和促进以及 STDP 两种学习规则^[44-45]。2018 年，第二代 BrainScaleS 系统（简称 BrainScaleS-2）面世，BrainScaleS-2 使用支持非线性树突和结构化神经元的复杂模型，添加了混合可塑性方案^[46]。与 BrainScaleS 中基于 STDP 的固定学习算法相比，BrainScaleS-2 中的学习算法可在软件中自由编程并在嵌入式微处理器上执行，可支持 SNN 算法和传统 ANN 算法^[47]。

瑞士苏黎世大学设计的 DYNAPs 神经形态处理系统和 DYNAP-SEL 芯片同样采用超阈值数模混合电路。DYNAPs 和 DYNAP-SEL 采用两级路由方案以最小化内存使用，将 2D 网格与树状路由相结合，芯片间通过 2D 网格路由通信，神经处理核心间通过树状路由通信，并采用了点对点源地址路由和多点组合广播目标地址路由^[48-49]。这种新型的路由方案适合开发新兴的储存技术，例如电阻随机存取存储器（resistive random-access memory，RRAM）、相变储存器（phase-change memory，PCM）。

Neurogrid 系统使用树突共享结构和多播树路由器，同层相邻神经元具有相同输入，不同层相应位置处神经元具有平移不变的连接，可达到吞吐量最大化，但 Neurogrid 系统未体现突触可塑性机制，也无法片上调整参数。BrainScaleS 可实现 STDP 规则，BrainScaleS-2 系统在此基础上增加了混合可塑性方案，通过软-硬件协同，可实现片上调整参数。DYNAPs 可实现 STDP 规则和片上学习，而且在通信方案上选择了分层、网状路由结合，提高了信息流传输效率。ROLLS 可以实现多种突触可塑性规则和多种网络结构（前馈结构、循环结构），但 ROLLS 规模较小，无法满足大规模网络需要。基于数模混合电路的类脑神经形态芯片参数和优缺点对比如表 5 所示。

表 5. Comparison of neuromorphic chips based on digital analog hybrid circuit.

数模混合电路类脑神经形态芯片对比

系统名称	制造工艺	神经元规模	突触规模	神经元模型	学习算法	优点	缺点
Neurogrid	180 nm CMOS	1 048 576 个	数亿个	QIF	\	吞吐量大	未体现突触可塑性
ROLLS	180 nm CMOS	256 个	128 000 个	AdExp-I&F	STDP	多种突触可塑性规则， 多种网络结构	规模小
BrainScaleS-2	65 nm CMOS	196 608 个	50 331 648 个	AdExp-I&F	STDP	混合可塑性规则	未体现处理实际任务的能力
DYNAPs	180 nm CMOS	9 216 个	589 824 个	AdExp-I&F	STDP	通信速度快	神经元核心密度小

3.2. 脉冲神经网络全数字计算平台

模拟电路的固有异质性和可变性导致难以在单个神经元和突触的维度上进行编程，但全数字式电路的实施方案可以通过兼容编程软件灵活调整 SNN 结构和参数。在全数字计算平台上，IBM 和英特尔等大公司以及曼彻斯特大学、清华大学、浙江大学等顶尖大学都已有突出成果。

IBM 公司从 2008 年开始致力于神经形态处理器的研究，先后有 Golden Gate 芯片^[50]和 TrueNorth 处理器^[51]两项成果。2018 年，IBM 发布了多核处理器 NS16e-4 TrueNorth 系统，该系统由 TrueNorth 处理器构成，包含 6 400 万个神经元和 160 亿个突触。TrueNorth 系列神经形态处理器已经应用于各种复杂任务，例如：无人机或自动驾驶任务中的动态图像识别、生物医学图像分割及脑电信号分类^[52-54]。

曼彻斯特大学的 SpiNNaker 系统包含多达 1 036 800 个精简指令集计算机处理器（advanced RISC machine，ARM）和 7 太字节的片外动态随机存取存储器（dynamic random access memory，DRAM）^[55-56]，可模拟的神经元数量为人脑的 1%。该团队计划扩大神经元规模，模拟人的整个大脑，研发 SpiNNaker 二代系统（简称 SpiNNaker2）。SpiNNaker2 系统计划在第一代的基础上实现动态电源管理、储存器共享、多重累加加速器、神经形态加速器、片上网络等功能^[57]。

相较于 TrueNorth 和 SpiNNaker，ODIN 是小型的在线数字神经形态芯片，可以实现 LIF 神经元和 20 种不同的 Izhikevich 放电模式^[58]。MorphIC 是该团队提出的第二个版本的神经形态芯片，实现规模上优于 ODIN，而且采用了 STDP 规则的随机版本和分层路由结构，处理实际任务的准确率有所提升^[59]。

Loihi^[60]是英特尔发布的数字型神经形态处理器，专长于实现各种突触学习规则，不仅支持简单的成对 STDP 规则，也支持复杂的三重 STDP 规则、带有突触标签分配的强化学习规则以及利用平均速率和脉冲定时轨迹的 STDP 规则^[61]。在此基础上，配有 64 个 Loihi 芯片、能够模拟 800 多万个神经元的 Pohoiki Beach 系统和配有 768 个 Loihi 芯片、能够模拟 1 亿多个神经元的 Pohoiki Springs 系统已经基本成型。

浙江大学和杭州电子科技大学合作研究的达尔文神经处理单元支持可配置数量的神经元、突触和突触延迟，是一款高度可配置的神经形态芯片^[62-63]。清华大学类脑计算研究中心提出的天机芯是第一款异构融合的神经形态计算芯片，同时支持基于计算机科学的机器学习算法和基于神经科学的生物启发模型。天机芯可以自由集成各种神经网络和混合编码方案，从而允许多个网络（包括 SNN 和 ANN）之间进行无缝通信^[64]。该团队已经在天机芯上构建了用于语音命令识别的 SNN、用于图像处理和目标检测的 CNN、用于人类目标跟踪的连续吸引子神经网络（continuous attractor neural network，CANN）、用于自然语言识别的长短时记忆网络（long short-term memory，LSTM）和用于姿态平衡和方向控制的多层感知器（multilayer perceptron，MLP）^[65]。天机芯能够解决计算型 ANN 和类脑型 SNN 在硬件上不兼容的问题，推动了 SNN 在解决实际问题中的发展。

TrueNorth 神经形态处理器的神经核心参数和连接方式是高度可配置的，软-硬件完全对应可实现在模拟器和芯片上运行相同的程序，但参数的更新只能在软件上实现，无法片上学习。SpiNNaker 处理器、Loihi 处理器能够实现片上调整神经元、突触参数及学习规则，尤其 Loihi 处理器可配置突触延迟、自适应阈值、随机噪声及神经元分级连接等多项参数。ODIN 处理器和达尔文处理器均只实现了单芯片，规模较小，但 ODIN 处理器能够实现多种神经元模型，且神经元和突触密度已知为最高，达尔文处理器具有高配置性，能够满足实际任务的需要。天机芯的特点在于异构融合的思想，可以集成各种神经网络，并实现不同网络间的通信。基于数字电路的类脑神经形态芯片参数和优缺点对比如表 6 所示。

表 6. Comparison of neuromorphic chips based on digital circuit.

数字电路类脑神经形态芯片对比

系统名称	制造工艺	神经元规模	突触规模	神经元模型	学习算法	优点	缺点
TrueNorth	28 nm CMOS	100 万个	2.56 亿个	LIF	\	高度可配置	仅片外学习
SpiNNaker	130 nm CMOS	约 10 亿个	约 10 000 亿个	LIF，Izhikevich	STDP	片上学习	体积相对较大
ODIN	28 nm CMOS	256 个	264 000 个	LIF，Izhikevich	STDP	神经元核心密度大	单芯片，规模小
Loihi	14 nm CMOS	131 072 个	约 1.3 亿个	LIF	STDP	片上学习，高度可配置	未体现处理实际任务的能力
达尔文芯片	180 nm CMOS	2 048 个	4 194 304 个	LIF	\	高度可配置	单芯片，规模小
天机芯片	28 nm CMOS	4 万个	1 000 万个	LIF	STDP	异构融合	\

4. 总结与展望

本文总结了 SNN 网络构建中常用的五种神经元模型，即 H-H 模型、IF 模型、LIF 模型、SRM 模型和 Izhikevich 模型，对五种模型的电路、数学形式以及优缺点进行分析；概述了五种网络拓扑结构，即前馈型 SNN、递归型 SNN、循环型 SNN、进化型 SNN 和混合型 SNN，对五种网络拓扑结构的特点进行总结。在此基础上，综述了 SNN 学习算法及 SNN 神经形态计算平台，首先从无监督学习和监督学习两个角度，总结了近几年 SNN 算法实现和改进中的几个思考方向；然后对已经初具规模的 SNN 神经形态计算平台进行总结分析，对比了各计算平台的优缺点。通过对当前 SNN 各方面研究进展的分析，可以看出 SNN 作为新一代神经网络，算法和计算平台等均未成熟，正处于高速发展的阶段，面临着众多挑战，目前亟待解决的问题和发展趋势可能包括以下几个方面：

（1）在 SNN 神经元模型和网络结构方面：目前 SNN 网络多数基于这五种神经元模型，尤其是 LIF 神经元模型。研究者在选择神经元模型时，主要考虑两方面：一是模型的计算量，二是模型的仿生程度，LIF 神经元模型目前最能平衡这两个要求。但 LIF 神经元仅仅体现了神经元膜电位的泄露、积累和阈值激发过程，与真实神经元放电特征相差许多，因此在保证计算速度的基础上加入更多生物学特征是未来的发展方向。SNN 网络结构种类较多，但实际应用中只局限于前馈神经网络。虽然网络越复杂可能越影响计算效率，但仍要考虑其在计算精度提升上的作用，因此在网络构建中，要考虑加入循环、反馈等机制。

（2）在 SNN 学习算法方面：学习算法是网络更新迭代的命脉，SNN 目前在模式识别、目标检测等领域的应用远不如传统 ANN。基于 STDP 规则的无监督学习算法能够反映大脑中神经元和突触的连接规律，但在处理大规模任务上的潜力仍需挖掘；几类监督学习算法主要从反向传播和卷积的角度出发，虽然在仿生性上远不如 STDP 规则，但在利用深层网络分类的准确性上已经可以达到传统 ANN 的水平。目前 SNN 算法还面临众多挑战，具体体现为：基于 STDP 规则的学习算法如何应用在深层网络中，满足识别任务的需要；基于反向传播的算法如何解决神经元模型不可微问题，在深层网络中解决过拟合和鲁棒性问题；ANN 转化到 SNN 的算法，要保证转化前后分类精度无损。此外，如何将 SNN 真正地应用于分类、检测任务是最亟待解决的问题，尤其 SNN 的特点非常适合处理时空数据，例如动态视觉信息、语音、视频、脑电、心电等，要充分挖掘 SNN 处理动态信息的潜能。

（3）在 SNN 神经形态计算平台方面：SNN 神经形态计算平台为解决摩尔定律失效问题、计算存储分离的“冯·诺依曼”架构体系的能效低下问题提供了新思路，也正面临着许多问题。一是要确保神经元核心内部、单芯片内神经元核心间以及芯片间高效通信，路由方案的选择影响信息传递的效率，要选择合适的通信方案；二是实现系统参数的高度可配置性，多数芯片还未实现可配置参数多样化，包括神经元模型、网络拓扑、学习规则等宏观结构以及突触延迟、自适应阈值、随机噪声等微观调整；三是最大程度地利用神经形态芯片在效率和能耗上的优势实现片上学习；四是实现片上 ANN 转化到 SNN 或 ANN、SNN 并行计算，使芯片具有普适性。

总体而言，SNN 是从生物智能中得到的重要启示，将成为类脑人工智能实现的基本依据。通过对 SNN 神经形态处理器的总结，目前的处理器必须和软件协同作用才能更新参数，主要的学习功能均需在软件上实现，多数处理器还不具有处理复杂任务的能力。不过，在人工智能快速发展的热潮下，SNN 算法的准确度在逐步提高，SNN 类脑神经形态芯片的功能也逐渐增加。期待 SNN 在模式识别、目标检测等领域被广泛应用，在处理时空数据上的潜力被逐步挖掘。

利益冲突声明：本文全体作者均声明不存在利益冲突。

Funding Statement

国家自然科学基金资助项目（51977060，51737003）

The National Natural Science Foundation of China