Skip to main content
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering logoLink to Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
. 2022 Jun 25;39(3):612–619. [Article in Chinese] doi: 10.7507/1001-5515.202109067

传递熵算法研究进展及其应用

Research progress and application of transfer entropy algorithm

Tianxiang LI 1,2,3, Shuangyan LI 1,2,3
PMCID: PMC10950766  PMID: 35788531

Abstract

In recent years, exploring the physiological and pathological mechanisms of brain functional integration from the neural network level has become one of the focuses of neuroscience research. Due to the non-stationary and nonlinear characteristics of neural signals, its linear characteristics are not sufficient to fully explain the potential neurophysiological activity mechanism in the implementation of complex brain functions. In order to overcome the limitation that the linear algorithm cannot effectively analyze the nonlinear characteristics of signals, researchers proposed the transfer entropy (TE) algorithm. In recent years, with the introduction of the concept of brain functional network, TE has been continuously optimized as a powerful tool for nonlinear time series multivariate analysis. This paper first introduces the principle of TE algorithm and the research progress of related improved algorithms, discusses and compares their respective characteristics, and then summarizes the application of TE algorithm in the field of electrophysiological signal analysis. Finally, combined with the research progress in recent years, the existing problems of TE are discussed, and the future development direction is prospected.

Keywords: Transfer entropy, Brain functional network, Neural signal analysis

引言

人脑中约有数十亿神经元通过突触连接在一起,神经元间通过电化学信号传递信息,形成复杂的结构及功能网络,从而实现复杂脑功能。网络中的神经元电活动状态与神经系统的生理、病理状态息息相关,对其特征的提取和分析是目前神经系统功能相关疾病诊断、防治以及康复评估的重要方法之一。神经元的活动可以通过基于侵入或非侵入式电极等从相关脑区或头皮获取的电信号来反映[1],因此,发展相关算法,对神经电活动信号的特征进行有效表征和分析,一直是神经科学领域研究的热点和难点之一。

近年来,从神经网络层面探索脑功能整合的相关生理病理机制已经成为神经科学领域研究关注的焦点之一。为实现对脑网络连接特性的定量表征,科学家们提出并发展了相关脑连接分析的模型和算法,主要包括:功能连接和有效(因效)连接等[2]。由于人脑是时刻对外界刺激进行响应的复杂动态系统,在脑功能实现过程中,相关脑区之间时刻存在着信息的交互协同。因此,能反映相关脑区瞬时信息流向的有效连接在近年来得到了更为广泛的关注和应用。现有的有效连接算法可以分为基于模型和无模型算法两种类型。目前,基于模型的算法主要有:格兰杰因果[3](Granger causality,GC)、定向传递函数[4]、动态因果模型[5](dynamic causal model,DCM)等。上述方法均能够对记录所得多通道神经信号之间的有向功能连接进行估计,但使用时存在一定的局限性,如使用GC对所得信号进行分析时,为保证分析结果的有效性,要求所分析的信号应具有高信噪比[6]。此外,上述方法多是通过线性方法建立模型,进而对变量之间的潜在因果关系进行分析,从而无法有效分析信号的非线性特征[7]

神经信号具有非线性、非平稳的特征,其线性特征不足以充分解释复杂脑功能执行过程中潜在的神经生理活动机制,而该问题有望通过分析其非线性特征得到改善[8]。因此,发展相关非线性的有效连接分析方法将成为上述方法的有力补充。此外,该类方法还应满足以下几点要求:① 无需先验知识预定义观测系统的交互类型,以便作为探索性分析工具(这也是无模型有效连接算法提出的初衷)。② 可有效观测到系统中的非线性相互作用。③ 观测信号间存在相互作用延迟时仍可检测其中的有效连接[9]。④ 可克服观测单元间的串扰[10]。在此需求背景下,2000年Schreiber[11]结合信息论(information theory,IT)和图论相关理论提出传递熵(transfer entropy,TE)算法。该方法以IT相关理论为基础,适用于监测分析信号中的非线性特征,并且能够检测变量间的定向和动态信息传递,在具有非线性特性的时间序列因果分析的研究中展现出较为显著的优势。近来,随着记录技术的发展,所采集的神经信号呈现出多维、高时空分辨率、海量等发展趋势。为满足对此类信号特征分析的需求,研究者们提出了一系列的TE相关改进算法。

因此,本文主要对近年来已应用或有望应用于神经电生理信号分析的TE及其相关改进算法进行了综述。文中先介绍了TE算法的原理以及相关改进算法的研究进展,并对其特点和不足进行了探讨,随后总结了上述算法在电生理信号分析领域的应用。最后,对TE相关算法可能的发展方向进行了展望。

1. 传递熵算法原理及相关算法研究进展

1.1. 传递熵算法

为了度量具有非线性特性的变量之间的有效连接,Schreiber[11]于2000年提出了TE算法。由于TE本质上是不对称的且是基于转移概率的,因此它能够有效表征变量之间的动态信息传递。其基本原理如下:假设存在XY两个系统,用xy代表对应系统随时间变化的变量,用 Inline graphicInline graphic 描述在 Inline graphic 时刻变量xy的值,Inline graphic 则代表从n时刻到 Inline graphic 时刻对应的x变量值组成的向量。此时,从xy的TE值定义为:

1.1. 1

其中 Inline graphic 代表条件熵,例如 Inline graphic 表示在已知随机变量 Inline graphic 的条件下,随机变量 Inline graphic 的不确定性。由上述可知,TE算法的核心思想是如果在已知变量y过去时刻值的基础上引入变量x的过去值信息,能够降低估计变量y的当前值的不确定性,则认为变量x是变量y的因。Schreiber将TE算法用于分析睡眠呼吸暂停综合征患者睡眠时呼吸频率和瞬时心率之间的相互作用,观察到从心率到呼吸频率方向的因果性的增强,证明了TE算法的可行性及有效性。

1.2. 改进的传递熵算法

1.2.1. 多变量传递熵算法

传统的TE算法仅可用于研究两变量间的有效连接,该算法在分析较短的时间序列时表现出较高的灵敏度,但随着数据长度的增加和信噪比的降低,其分析结果的可靠性会显著降低,进而影响聚类系数、最短路径长度等参数估计的准确性。因此,相关研究人员提出了多变量传递熵(multivariate transfer entropy,MTE)算法[12],其原理如下:在上述双变量TE算法的基础上引入链式法则[13],依据此法经时间延迟分解即可得高维TE公式[13],之后可用图论模型解决估计中的无限维度问题[14]。与二元TE相比,MTE用于分析较长的时间序列时仍具有较高的可靠性。在存在其余系统Z的条件下从源系统X到目标系统Y的MTE算法如下:

1.2.1. 2

其中 Inline graphicInline graphic 与式(1)中定义相同,Inline graphic 为其余系统在 Inline graphic 时刻的变量值。2017年Olejarczyk等[15]将MTE算法用于分析对比睁眼与闭眼状态下脑电图(electroencephalogram,EEG)信号网络的连通性变化。结果显示,两种状态下脑网络的特性存在明显差异。研究探索了两种状态下不同脑区间信息传递与大脑同步化程度的关系,对揭示脑网络信息交互模式具有重要意义。2021年Wang等[16]将MTE算法与心电图(electrocardiogram,ECG)的特征提取相结合,研究了睡眠呼吸暂停低通气综合征(sleep apnea–hypopnea syndrome,SAHS)患者睡眠期间中枢—自主神经系统网络的相互作用,结果表明SAHS患者的两系统网络双向信息传输强度变化与呼吸频率密切相关。这些发现对于理解SAHS如何逐渐增加患者心血管疾病的患病率或其他功能障碍的风险提供了新的见解。

客观复杂的生物系统由多层次子系统组成,研究脑网络间的作用也需要从多个变量、多个尺度进行综合分析,这也对应着MTE算法的一个改进方向。2021年Zhang等[17]对MTE算法进行改进,提出了多尺度多元传递熵算法(multiscale multivariate transfer entropy,MSMVTE),并将其应用于功能性皮质耦合,分析验证了皮层运动区被广泛激活时的相互作用,为更好地理解脑网络动力学提供了支持。

1.2.2. 符号传递熵

对于庞大且复杂的信号,直接通过时间序列估计TE时对数据要求较高,且噪声影响显著[18]。为克服此类局限性,Staniek等[19]在传统TE算法的基础上进行改进提出了符号传递熵(symbolic transfer entropy,STE)算法。此算法先将原始数据转换为符号化序列,然后通过对符号序列进行分析以获取相应的动态特性。该方法在保留信号非线性动态特征的同时,可以去除大量冗余信息。STE的计算式定义如下:

1.2.2. 3

其中 Inline graphicInline graphic 表示在 t 时刻来自系统XY对应变量xy的值,Inline graphic表示将信号序列通过相应的映射准则转化为符号化序列。2020年Zhang等[20]将静态符号化法[21]与TE相结合,成功验证了抑郁症患者存在负性认知偏向以及脑半球情绪功能的不对称性。但此算法需要根据数据类型调节符号化的映射参数,平衡原始数据的动态特性和信息冗余,稳定性较低。2020年Ye等[22]将STE算法应用于经颅磁刺激—EEG数据的分析,成功地在视觉区域检测到来自经颅磁刺激目标的信息流,证实STE算法可以有效分析认知功能及静息状态下的全脑活动。此外,针对大脑区域之间存在神经信息传输延迟问题,Wang等[23]在STE算法基础上进行优化,提出延迟符号相位传递熵算法(delay symbolic phase transfer entropy,dSPTE),并将此算法应用于功能性近红外光谱数据的分析,结果显示该算法对具有不同耦合时延的复杂脑网络构建与分析有很强的适用性。

1.2.3. 离散传递熵算法

所需处理数据的复杂化和海量化使得传统TE算法在实际应用中计算负担较大,并可能在计算结果中含有大量的虚假连接[24]。STE算法虽然可以在一定程度上解决这一问题,但其局限性在于:① 将原始时间序列转化成符号序列会导致信息的丢失。② 对于大多数系统没有通用的方法来创建最合适符号化分区[25]。2020年Zhang等[26]提出离散传递熵(dispersion transfer entropy,DTE)算法对符号化过程进行优化。该算法依据Ragwitz准则[27],使用离散模式动态地选择参数,解决了序列符号化过程中的上述两个主要问题。主要算法步骤如下:① 数据的处理。用正态累积分布函数将时间序列标准化到[0, 1]。② 生成嵌入向量。每一个标准化向量都有一个可能的离散模式,据此则可得出相应的符号序列,此序列将用于计算TE。③ 计算嵌入维度。利用Ragwitz准则通过最小化预测偏差来寻找合适的嵌入维数。④ 计算DTE。

1.2.3. 4

其中Inline graphic是标准化的Inline graphicInline graphicInline graphic为嵌入维度,Inline graphic为预测延迟,通常适当选择为等于信号间交互延迟的一个值。在该文章中还提出两种DTE的扩展——离散多元传递熵(dispersion multivariate transfer entropy,DMTE)和离散部分传递熵(dispersion partial transfer entropy,DPTE)。其中,DMTE在很大程度上削弱了数据的同步性和相似性对因果关系检测的影响。这些算法可以联合起来从多个角度测量大脑内部复杂多变量系统之间的因果关系,获得更全面、准确的分析结果。

1.2.4. 补偿传递熵算法

体积传导问题一直是研究多通道神经信号相互作用时的难题之一,即未测量源信号的瞬时耦合效应会导致被测传感器数据间的显著干扰。这也极大地影响了进一步对所采集的信号进行连通性分析的有效性和可靠性,尤其是会影响对虚假连接的检测与排除[28]。例如,受到体积传导效应的影响,传统TE算法对来自不同系统的变量间的因果性进行分析时,会将变量间的瞬时相关误认为是存在因果关系,从而产生在没有因果连接的变量间检测出信息传输的情况。为了解决这个问题,Faes等[29]对传统TE算法进行改进,提出了补偿传递熵(compensated transfer entropy,cTE)算法。此算法能够提高对虚假连接的检测能力,在一定程度上抑制体积传导问题。cTE具体算法如下:当只考虑两个分别来自系统XY的随机过程xy时,从XY的TE计算式可化为多个条件熵项。Faes等[29]采用将瞬时效应的影响纳入到计算TE的两个条件熵项中的解决方案,只有x过去值的信息有助于解释y时cTE的理论值才为非零,在不存在瞬时相关的情况下cTE与传统TE类似。cTE的计算式如下:

1.2.4. 5

其中 Inline graphicInline graphic 表示在 t 时刻来自系统XY对应变量xy的值,Inline graphic 代表条件熵。cTE算法在视触觉认知任务中记录的真实脑磁图数据上进行测试时,成功检测到视觉皮层到体感区域的信息流,证明了算法的可行性。与传统TE算法相比,在没有信号串扰的情况下cTE与TE性能类似,但在非因果信号存在瞬时耦合的情况下cTE降低了假阳性连接的比例。2021年Gu等[30]结合前文中提到的符号化法及多尺度分析法的优势,将时延因子和时间尺度因子纳入至cTE算法中提出了时滞多尺度符号相位补偿传递熵(time-delay multiscale symbolic phase compensated transfer entropy,SpcTE)算法,不仅消除了瞬时效应的影响,还突出了信号间不同时间尺度上的相互作用。此算法在成人睡眠呼吸障碍、快速眼动行为障碍、失眠等睡眠障碍临床病例的循环交替模式的研究中效果显著[31-33],成功检测到上述病症患者不同方向上的心电-肌电(electromyogram,EMG)和EEG-EMG信息流,使我们能够从一个新的角度理解病理系统。

1.2.5. Gabor小波-传递熵算法

随着对神经电生理信号研究的深入,人们逐渐认识到其中所包含的信息涉及多个时间尺度与维度。为详细研究相关生理功能的运行机制,研究人员逐渐采用分频的方法将问题转入至频域进行研究[34]。此前已有研究借助TE算法的优势应用于EEG-EMG 信号间的非线性耦合特征的探索,但由于此类信号不同特征频段的耦合特征存在明显差异,因此有必要将信号分解为不同频段信号后进行进一步分析。2017年张园园等[35]利用Gabor小波变换将包含不同频率成分的EEG、EMG信号分解至局部频带,利用其具有高频率分辨率的特性提出Gabor-TE算法。该算法首先将预处理后的EEG-EMG信号经Gabor小波变换进行时频分解和重构,随后通过计算信号序列的TE值来分析其因果性。具体算法如下:

1.2.5. 6

其中 Inline graphicInline graphic 分别对应EEG和EMG信号序列,t 为离散的时间指标,u为预测时间,mn分别为延迟向量。将此算法应用于手部不同恒定握力输出下特征频段EEG-EMG 信号非线性同步耦合特性的研究时,成功验证了皮层肌肉耦合的方向性。与传统TE算法相比,Gabor-TE可更好地提取信号的局部特征且利于不同耦合方向上以及不同频段间的耦合分析。

1.2.6. 瞬时点过程传递熵算法

尽管TE算法在之前的发展中弥补了大部分不足,但此前所提出的相关算法都无法准确跟踪高时间分辨率条件下系统间非平稳信息的传递。为解决此类问题,Valenza等[36]基于应用于心血管动力学的点过程概率理论提出一种具有时变特性的TE算法——瞬时点过程传递熵算法(instantaneous point process transfer entropy,ipTE)。此算法避免了对原始生理时间序列的插值处理,有较高的时间分辨率,很好地克服了传统TE算法执行估计时要求数据在短时间窗内保持静止的局限性。ipTE定义式的标准形式如下:

1.2.6. 7

其中 Inline graphicInline graphic 表示在 Inline graphic 时刻来自系统XY对应变量xy的值,Inline graphic 为条件概率密度函数。与传统TE算法相比,ipTE定义灵活且不局限于双变量模型,适用于多元信息传递的瞬时测量,在一些复杂的多系统生理学检测诸如脑电—肌电、脑电—心电等相互作用研究上有着广泛的应用前景。

1.2.7. 以TE算法为核心的IDTxl

对算法的模拟验证需要相关模型的构建,在模型构建中存在的问题也为算法的发展指明了方向。近年来关于相关模型构建存在诸多挑战,其中有两个较为显著:① 网络模型的状态空间随着网络规模的增加呈现出甚于指数式增长的趋势。② 基于信息论框架的估计器在多变量集上易遭受“维数灾难”问题[37]

此前的诸多研究[38-39]曾提出用贪婪算法解决以上问题,此类算法是通过贪婪地选择随机变量来减轻所谓的“维数诅咒”问题[40]。尽管这些方案对解决此前提出的两大难题有所帮助,但多元TE估计带来的计算挑战严重限制了在一般情况下研究问题的规模。比如:2016年Kim等[41]用了6个节点和100个样本进行研究;2018年Runge[40]用了10个节点和500个样本进行研究。而现代的神经信号采集设备记录的数据往往有数百个节点和数万个样本,此前的方案难以奏效。2019年Wollstadt等[42]提出用严格的统计检验法来解决上述挑战,用基于时间序列替代项的零分布比较自动确定最优停止条件,降低了计算量,并将这些算法实现做成了程序包IDTxl(information dynamics toolkit xl),可对100个节点、10 000个样本的非线性系统进行研究,能够满足绝大多数EEG、脑磁图(magnetoencephalography,MEG)等数据的研究规模,为复杂脑网络的分析提供了坚实的算法基础。

1.3. TE及其相关算法小结

TE及其相关改进算法在非线性时间序列的多元分析上展现出各自的优势,也仍存在一定的局限性。结合前文所述,对文中所介绍的各种TE及相关改进算法特点进行汇总和比较,如表1所示。

表 1. The characteristics of the TE and the related algorithms.

TE及其相关算法特点

算法 精确度 信息
丢失
抗噪声
干扰
高维长时
程数据
多变量
数据
注:“*”数量的多少代表程度的大小,注意此表示方法是定性描述,而非定量分析;“+”代表方法有效,“−”代表方法无效或效果很差
TE * ***** *
MTE ** **** ** * +
STE *** *** ** *** +
DTE **** * *** ****
DMTE **** * *** **** +
DPTE **** * *** ****
cTE **** ** **** ** +
Gabor-TE **** ** *** ** +
ipTE ***** ** *** ** +
IDTxl ***** * **** ***** +

传统的TE算法用于脑网络连接分析时主要存在以下几个问题:无法利用数据的所有可用信息导致对虚假有向链路的错误识别,估计精度较低;不适用于长时程数据的分析;体积传导效应严重,抗噪声干扰能力差;无法分析多变量数据。此后陆续提出的改进算法对上述不足之处进行了改进,其中:① ipTE和IDTxl在时间分辨率等方面进行改进,在精确度方面表现优异。② DTE、DMTE、DPTE和IDTxl从决策检验、优化符号化分区、增强时变特性捕捉等方面进行优化,在防信息丢失方面表现优异。③ cTE和IDTxl在插值处理等方面进行改进,提高了算法的鲁棒性,抗噪声干扰能力较强。④ STE、DTE、DMTE、DPTE和IDTxl分别通过符号化处理、引入预测延迟等方法,提高了算法对高维长时程数据的处理能力,其中IDTxl在数百甚至上百万次的大规模观测数据分析中表现尤为优异。⑤ MTE、STE、DMTE、cTE、Gabor-TE、ipTE及IDTxl等算法可以用于多变量数据。

2. TE及相关算法在电生理信号分析领域的应用

TE及相关算法已被证明是用于测量非线性神经信号有效连通性的重要指标,并且可以应用于MEG、EEG等多种神经信号,为各种疾病的诊断、防治以及疗效的评估提供了有效的方法。目前,TE及相关算法在脑网络分析、机器学习和大数据分析等方面均得到了广泛的应用。

2.1. 脑网络分析

人的大脑通过不同神经元集群间的动态调节来实现目标导向行为,不同脑区或功能网络间的同步或失同步与相应的生理状态相对应[43]。TE算法作为非线性脑功能网络有效连接的分析方法,其结果可阐明在外界因素影响下不同脑区间连接状态的变化,所蕴含的大量有意义的生理信息为疾病的早期诊断与检测提供了科学的依据[44]。2020年Harmah等[45]通过MTE算法基于精神分裂症(schizophrenia,SCZ)患者EEG信号来构建有效网络,结果显示:与健康对照组相比,SCZ患者的事件相关EEG脑网络连接强度等网络参数降低,为进一步理解SCZ患者疾病诱发的脑网络机制提供了帮助。2020年Zhang等[20]将STE算法用于抑郁症患者的MEG分析,通过计算熵值来对比抑郁症患者和健康对照组被试在不同情绪类图像刺激时脑网络特性的差异。结果表明,抑郁症患者存在消极认知偏差及脑半球情绪功能的不对称性。2020年Li等[46]将STE算法与加权概率分布相结合来度量两个神经元群体之间信息传输的方向性。当应用于癫痫皮层脑电图数据时,在癫痫发作过程中成功检测到从丘脑前核到癫痫起始区的神经振荡耦合。此方法在抗噪声能力方面表现良好,但局限性在于不能直接应用于两个以上的神经振荡,有待在未来的研究中进一步探索和完善。

2.2. 机器学习

随着计算机性能的提升、大数据的积累以及神经网络算法的兴起,人工智能的发展如火如荼,在各个领域应用广泛。人工智能的核心技术是机器学习算法,用基于神经信号和机器学习的技术发现生物特征用以辅助诊断、解码大脑状态、开发脑机接口应用是当前神经科学领域极为热门的研究方向。2021年Ciprian等[47]将STE算法与机器学习算法相结合用以诊断SCZ,其主要思路是先采用STE方法检测SCZ患者脑区之间的有效连接,构建脑网络,然后应用机器学习算法对网络特征进行识别分类。与以往研究相比,该方法可利用更少量的特征和更简单的机器学习算法,更精确地完成SCZ患者与健康对照组的识别,分类精度高达96.92%。这意味着应用STE构建的脑网络特征可能是SCZ临床诊断的极有应用前景的判断指标[48]。如果将机器学习看成一种任务,那么神经网络则是实现机器学习任务的一种方法。当前的神经网络结构由于所用数据集的规模和复杂度不断增大,训练难度大了很多倍。之前也有研究从各个角度对其进行优化,但TE的引入则提供了一个新的思路。2020年Moldovan等[49]提出一种利用TE反馈连接来提高神经网络性能的反向传播型训练算法,此算法大大减少了优化超参数和隐含层神经元数目的工作量,并且可以方便地利用因果范式从训练好的网络中提取有效信息,具有广泛的应用前景。

2.3. 大数据分析

大数据技术的意义不在于对于庞大信息量的掌握,而在于对其中有意义信息的提取与解释。其中电生理大数据的一类重要隐藏信息则是信号间的因果关系。鉴于TE在信息传输与因果检测中的优势,其有望在生理大数据分析中发挥更大的作用。2019年Dourado等[50]基于延迟TE优异的因果信息处理能力对其进行改进,研究比较了使用异构Beowulf集群从大数据序列中计算延迟TE的不同并行策略。分析显示任务并行比数据并行明显更为快速,为更大数据集的分析提供了有力的统计证据。神经生理信号大多发作迅速且持续时间较短,易受噪声影响,若想持续观测无疑会带来极大的计算负担。2021年Silini等[51]将改进的TE算法与时移替代检验相结合,进一步降低了大数据集分析时的计算成本,当从大量短时序列的分析中推断因果网络时效果显著。此外,上文中提到的IDTxl算法在数百甚至上百万次的大规模观测数据条件下表现优异,在诸如健康大数据分析等方面有着非常广阔的应用前景。

结合前文所述,对于TE及相关算法在脑网络分析、机器学习和大数据分析等方面的应用,总结如表2所示。

表 2. The application of the TE and the related algorithms.

TE及其相关算法的应用

文献出处 主要算法类型 应用领域 特点
Harmah等[45],2020 MTE 脑网络分析 分析长时数据可靠性高
Zhang等[20],2020 STE 脑网络分析 低信息冗余,抗噪声干扰能力强
Li等[46],2020 STE 脑网络分析 精度高,抗噪声干扰能力强
Ciprian等[47],2021 STE 机器学习 算法轻量化,计算速度快,分类精度高
Moldovan等[49],2020 TE 机器学习 训练速度快,精度高
Dourado等[50],2019 TE 大数据分析 计算速度快,可分析数据量大
Silini等[51],2021 TE 大数据分析 对短时数据集计算效率高

3. 总结与展望

综上所述,TE算法的发展历程也是信号采集与分析技术发展过程的一个体现,为适应所需分析信号多元、高维、海量、非平稳、高冗余以及强混合等特点,国内外众多研究者基于传统TE算法提出了诸多的改进算法,在不同程度上对TE算法进行了继承和发展。本文主要对近年提出的应用于电生理信号分析的TE相关算法的原理及特点进行了介绍和对比,并列举了相关算法在实际中的应用。随着研究的深入和神经电信号采集技术的不断革新,TE算法在未来的发展与应用中仍面临着一些问题和挑战,例如:

(1)TE这种无模型的方法有助于量化非线性神经元相互作用,但是与有模型的分析方法相比,其对于结果的解释稍显困难。例如,近年来提出的DCM算法,基于神经动力学模型进行建模,并结合贝叶斯估计对模型进行验证,因此被认为具备了天然的生理可解释性。与此相对,无模型的TE算法虽然不会受到复杂模型所造成的大量参数估计和优化困难等相关问题的困扰,却难以提出具有生理合理性的结果解释。如何使结果更具有可解释性,是目前乃至今后很长一段时间TE算法应用于神经电生理数据分析时的重要问题,有待进一步探讨。

(2)峰电位(spikes)信号为一个或多个神经元的离散动作电位发放序列,多个功能相关的神经元通过峰电位等信号相互交互构成特定的功能网络。随着微电极阵列的广泛应用,对神经元集群锋电位信号间的因果分析引起越来越多研究者的关注。此前已有研究通过分析神经峰电位机制来估计它的因果效应[52]。目前,现有的多元时间序列分析方法(如TE、GC、DCM等)已被证明在连续神经信号(如EEG信号)的建模和分析中非常有效,然而,这些方法通常没有很好地适应离散信号的分析。因此,如何对TE算法进行改进,在保留其因果分析优势的同时,使其适用于诸如峰电位信号的离散时间序列的因果分析,将是一个有益的探究方向。

重要声明

利益冲突声明:本文全体作者均声明不存在利益冲突。

作者贡献声明:李天翔为综述主要撰写人,完成文献资料的整理、收集与分析,以及综述初稿的撰写;李双燕为论文的构思者及负责人,指导论文写作,参与论文修改和审校。

Funding Statement

国家自然科学基金(51737003);河北省引进留学人员资助项目(C20200315)

The National Natural Science Foundation of China; Foundation for Returned Scholars of Hebei Province

References

  • 1.覃国萍, 李双燕 多尺度熵算法研究进展及其在神经信号分析中的应用. 生物医学工程学杂志. 2020;37(3):541–548. doi: 10.7507/1001-5515.201908044. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 2.Chen Xiangbin, Liu Mengting, Wu Zhibing, et al Topological abnormalities of functional brain network in early-stage parkinson's disease patients with mild cognitive impairment. Front Neurosci-Switz. 2020;14:616872. doi: 10.3389/fnins.2020.616872. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 3.Li Fei, Wang Xuewei, Lin Qiang, et al Unified model selection approach based on minimum description length principle in granger causality analysis. IEEE Access. 2020;8:68400–68416. doi: 10.1109/ACCESS.2020.2987033. [DOI] [Google Scholar]
  • 4.Olejarczyk E, Zuchowicz U, Wozniak-Kwasniewska A, et al The impact of repetitive transcranial magnetic stimulation on functional connectivity in major depressive disorder and bipolar disorder evaluated by directed transfer function and indices based on graph theory. Int J Neural Syst. 2020;30(4):2050015. doi: 10.1142/S012906572050015X. [DOI] [PubMed] [Google Scholar]
  • 5.Jafarian A, Litvak V, Cagnan H, et al Comparing dynamic causal models of neurovascular coupling with fMRI and EEG/MEG. Neuroimage. 2020;216(2-3):116734. doi: 10.1016/j.neuroimage.2020.116734. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 6.Nalatore H, Sasikumar N, Rangarajan G Effect of measurement noise on granger causality. Phys Rev E. 2014;90(6-1):062127. doi: 10.1103/PhysRevE.90.062127. [DOI] [PubMed] [Google Scholar]
  • 7.Gong Xiajing, Li Wu, Liang Hualou Spike-field granger causality for hybrid neural data analysis. J Neurophysiol. 2019;122(2):809–822. doi: 10.1152/jn.00246.2019. [DOI] [PubMed] [Google Scholar]
  • 8.Fei He, Yuan Yang Nonlinear system identification of neural systems from neurophysiological signals. Neuroscience. 2021;458:213–228. doi: 10.1016/j.neuroscience.2020.12.001. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 9.Joko O, Vidakovic M R, Lorincz J, et al A novel latency estimation algorithm of motor evoked potential signals. IEEE Access. 2020;8:193356–193374. doi: 10.1109/ACCESS.2020.3033075. [DOI] [Google Scholar]
  • 10.Talib I, Sundaraj K, Lam C K, et al A review on crosstalk in myographic signals. Eur J Appl Physiol. 2018;119(1):9–28. doi: 10.1007/s00421-018-3994-9. [DOI] [PubMed] [Google Scholar]
  • 11.Schreiber T Measuring information transfer. Phys Rev Lett. 2000;85(2):461–464. doi: 10.1103/PhysRevLett.85.461. [DOI] [PubMed] [Google Scholar]
  • 12.Novelli L, Lizier J T. Inferring network properties from time series via transfer entropy and mutual information: validation of bivariate versus multivariate approaches. Netw Neurosci, 5(2): 373-404.
  • 13.Mao Xuegeng, Shang Pengjian Transfer entropy between multivariate time series. Commun Nonlinear Sci. 2016;47:338–347. [Google Scholar]
  • 14.Cao Jianqin, Li Yang, Yu Hong, et al Investigation of brain networks in children with attention deficit/hyperactivity disorder using a graph theoretical approach. Biomed Signal Proces. 2018;40(1):351–358. [Google Scholar]
  • 15.Olejarczyk E, Marzetti L, Pizzella V, et al Comparison of connectivity analyses for resting state EEG data. J Neural Eng. 2017;14(3):036017. doi: 10.1088/1741-2552/aa6401. [DOI] [PubMed] [Google Scholar]
  • 16.Wang Tingting, Yang Juan, Song Yingjie, et al. Interactions of central and autonomic nervous systems in patients with sleep apnea-hypopnea syndrome during sleep. Sleep Breath, 2021. DOI: 10.1007/s11325-021-02429-6.
  • 17.Zhang Yuanyuan, Chen Xiaoling, Pang Xiaohui, et al Multiscale multivariate transfer entropy and application to functional corticocortical coupling. J Neural Eng. 2021;18(4):046056. doi: 10.1088/1741-2552/abd685. [DOI] [PubMed] [Google Scholar]
  • 18.Bing Pingping, Liu Wei, Wang Zhong, et al Noise reduction in ECG signal using an effective hybrid scheme. IEEE Access. 2020;8:160790–160801. doi: 10.1109/ACCESS.2020.3021068. [DOI] [Google Scholar]
  • 19.Staniek M, Lehnertz K Symbolic transfer entropy: inferring directionality in biosignals. Nat Biomed Eng. 2009;54(6):323–328. doi: 10.1515/BMT.2009.040. [DOI] [PubMed] [Google Scholar]
  • 20.Zhang Yu, Zhang Yiling, Chen Junwei, et al Magnetoencephalogram analysis of depression based on multivariable sign transfer entropy. J Phys Conf Ser. 2020;1592(1):012093. doi: 10.1088/1742-6596/1592/1/012093. [DOI] [Google Scholar]
  • 21.Wessel N, Ziehmann C, Kurths J, et al Short-term forecasting of life-threatening cardiac arrhythmias based on symbolic dynamics and finite-time growth rates. Phys Rev A. 2000;61(1):733–739. doi: 10.1103/physreve.61.733. [DOI] [PubMed] [Google Scholar]
  • 22.Ye S, Kitago K, Kitano K Information-theoretic approach to detect directional information flow in EEG signals induced by TMS. Neurosci Res. 2020;156(1):197–205. doi: 10.1016/j.neures.2019.09.003. [DOI] [PubMed] [Google Scholar]
  • 23.Wang Yalin, Chen Wei Effective brain connectivity for fNIRS data analysis based on multi-delays symbolic phase transfer entropy. J Neural Eng. 2020;17(5):056024. doi: 10.1088/1741-2552/abb4a4. [DOI] [PubMed] [Google Scholar]
  • 24.Fang Pan, Dai Liming, Hou Yongjun, et al The study of identification method for dynamic behavior of high-dimensional nonlinear system. Shock Vib. 2019;2:1–9. [Google Scholar]
  • 25.Porta A, Bari V, Cario B, et al Comparison of symbolization strategies for complexity assessment of spontaneous variability in individuals with signs of cardiovascular control impairment. Biomed Signal Proces. 2020;62(1):102128. [Google Scholar]
  • 26.Zhang Boyi, Shang Pengjian Measuring information transfer by dispersion transfer entropy. Commun Nonlinear Sci. 2020;89(2):105329. [Google Scholar]
  • 27.Rostaghi M, Azami H. Dispersion entropy: a measure for time-series analysis. IEEE Signal Proc Lett, 23(5): 610-614.
  • 28.Rogers N, Thunemann M, Devor A, et al Impact of brain surface boundary conditions on electrophysiology and implications for electrocorticography. Front Neurosci-Switz. 2020;14(1):763. doi: 10.3389/fnins.2020.00763. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 29.Faes L, Erla S, Nollo G Compensating for instantaneous signal mixing in transfer entropy analysis of neurobiological time series// Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Shenzhen: IEEE. 2012:3672–3675. doi: 10.1109/EMBC.2012.6349824. [DOI] [PubMed] [Google Scholar]
  • 30.Gu Danlei, Mi Yujia, Lin Aijing Application of time-delay multiscale symbolic phase compensated transfer entropy in analyzing cyclic alternating pattern (CAP) in sleep-related pathological data. Commun Nonlinear Sci. 2021;99(9):105835. [Google Scholar]
  • 31.Mckenna D, Peever J Degeneration of rapid eye movement sleep circuitry underlies rapid eye movement sleep behavior disorder. Mov Disord. 2017;32(5):636–644. doi: 10.1002/mds.27003. [DOI] [PubMed] [Google Scholar]
  • 32.Wakasugi N, Togo H, Mukai Y, et al Prefrontal network dysfunctions in rapid eye movement sleep behavior disorder. Parkinsonism Relat D. 2021;85:72–77. doi: 10.1016/j.parkreldis.2021.03.005. [DOI] [PubMed] [Google Scholar]
  • 33.Fonseca P, Gilst M, Radha M, et al Automatic sleep staging using heart rate variability, body movements, and recurrent neural networks in a sleep disordered population. Sleep. 2020;43(9):zsaa048. doi: 10.1093/sleep/zsaa048. [DOI] [PubMed] [Google Scholar]
  • 34.Sammani F, Sim K S, Tan S C Encoding rich frequencies for classification of stroke patients EEG signals. IEEE Access. 2020;8:135811–135820. doi: 10.1109/ACCESS.2020.3011185. [DOI] [Google Scholar]
  • 35.张园园, 邹策, 陈晓玲 基于Gabor小波-传递熵的脑-肌电信号同步耦合分析. 生物医学工程学杂志. 2017;34(6):850–856. doi: 10.7507/1001-5515.201608018. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 36.Valenza G, Fase L, Citi L, et al Instantaneous transfer entropy for the study of cardiovascular and cardio-respiratory nonstationary dynamics. IEEE Trans Biomed Eng. 2018;65(5):1077–1085. doi: 10.1109/TBME.2017.2740259. [DOI] [PubMed] [Google Scholar]
  • 37.Blanchard M, Bennouna M A The representation power of neural networks: breaking the curse of dimensionality. ArXiv preprint. 2020:arxiv–2012.05451. [Google Scholar]
  • 38.Mostafa S S, Baptista D, Garcia A G, et al Greedy based convolutional neural network optimization for detecting apnea. Comput Meth Prog Bio. 2020;197:105640. doi: 10.1016/j.cmpb.2020.105640. [DOI] [PubMed] [Google Scholar]
  • 39.Han Chunxiao, Sun Xiaozhou, Yang Yaru, et al Brain complex network characteristic analysis of fatigue during simulated driving based on electroencephalogram signals. Entropy-Switz. 2019;21(4):353. doi: 10.3390/e21040353. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 40.Runge J Causal network reconstruction from time series: From theoretical assumptions to practical estimation. Chaos. 2019;28(7):075310. doi: 10.1063/1.5025050. [DOI] [PubMed] [Google Scholar]
  • 41.Kim P, Rogers J, Sun J, et al Causation entropy identifies sparsity structure for parameter estimation of dynamic systems. J Comput Nonlin Dyn. 2016;12:011008. [Google Scholar]
  • 42.Wollstadt P, Lizier J T, Vicente R, et al IDTxl: the information dynamics toolkit xl: a python package for the efficient analysis of multivariate information dynamics in networks. J Syst Softw. 2019;4(34):1081. [Google Scholar]
  • 43.Yin Guimei, Li Haifang, Tan Shuping, et al Synchronization stability model of complex brain networks: an EEG study. Front Psychiatry. 2020;11:571068. doi: 10.3389/fpsyt.2020.571068. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 44.Li Haifang, Yao Rong, Xia Xiaoluan, et al Adjustment of synchronization stability of dynamic brain-networks based on feature fusion. Front Hum Neurosci. 2019;13:98. doi: 10.3389/fnhum.2019.00098. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 45.Harmah D J, Li C, Li F, et al Measuring the non-linear directed information flow in schizophrenia by multivariate transfer entropy. Front Comput Neurosc. 2020;13:85. doi: 10.3389/fncom.2019.00085. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 46.Li Zhaohui, Li Shuaifei, Yu Tao, et al Measuring the coupling direction between neural oscillations with weighted symbolic transfer entropy. Entropy-Switz. 2020;22(12):1442. doi: 10.3390/e22121442. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 47.Ciprian C, Masychev K, Ravan M, et al Diagnosing schizophrenia using effective connectivity of resting-state EEG data. Algorithms. 2021;14(5):139. doi: 10.3390/a14050139. [DOI] [Google Scholar]
  • 48.Wu Zhanxiong, Chen Xnmin, Gao Mingyu, et al Effective connectivity extracted from resting-state fMRI images using transfer entropy. IRBM. 2021;42(6):457–465. doi: 10.1016/j.irbm.2021.02.007. [DOI] [Google Scholar]
  • 49.Moldovan A, Caţaron A, Andonie R. Learning in feedforward neural networks accelerated by transfer entropy. Entropy-Switz. 2020, 22(1): 102.
  • 50.Dourado J R, Junior J, Maciel C Parallelism strategies for big data delayed transfer entropy evaluation. Algorithms. 2019;12(9):190. doi: 10.3390/a12090190. [DOI] [Google Scholar]
  • 51.Silini R, Masoller C Fast and effective pseudo transfer entropy for bivariate data-driven causal inference. Sci Rep-UK. 2021;11(1):8423. doi: 10.1038/s41598-021-87818-3. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 52.Li Zhaohui, Gao Mengyu, Wang Yongtian The orientation selectivity of spike-LFP synchronization in macaque V1 and V4. Front Comput Neurosc. 2019;13:47. doi: 10.3389/fncom.2019.00047. [DOI] [PMC free article] [PubMed] [Google Scholar]

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University

RESOURCES