Skip to main content
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering logoLink to Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
. 2020 Apr;37(2):251–261. [Article in Chinese] doi: 10.7507/1001-5515.201812027

虚拟现实视觉体验对脑功能网络的影响

Effects of virtual reality visual experience on brain functional network

天恒 张 1,2, 磊 王 1,2, 苗苗 郭 1,2,*, 桂芝 徐 1,2
PMCID: PMC9927611  PMID: 32329277

Abstract

随着虚拟现实(VR)技术的广泛应用和相关设备的迅速普及,长时间使用 VR 技术引起的脑疲劳问题受到广泛关注。本研究结合主观疲劳量表与脑电信号脑功能网络特征参数,研究 VR 技术引起的脑疲劳问题。随机选取 16 名健康受试者,同步采集观看相同题材的传统平面(TP)视频及 VR 视频时的脑电信号,观看视频前后填写主观疲劳量表,利用互相关方法对所采集到的脑电信号进行关联特性分析,构建两种视觉体验前后的脑功能网络,并从复杂网络的角度,对比分析平均度、平均聚类系数、平均路径长度、平均全局效率和“小世界”属性等脑网络特征参数。结果发现,观看视频后的量表分值均大于观看前,并且从主观感受上,受试者观看 VR 视频比观看 TP 视频更容易产生疲劳感;观看 VR 和 TP 视频后,脑网络互相关系数、平均度值、平均聚类系数和平均全局效率值均比观看视频前显著降低,平均路径长度值显著升高,“小世界”属性显著减小;并且相比观看 TP 视频,观看 VR 视频后脑网络特征参数变化量更大,且差异具有统计学意义(P < 0.05)。通过本研究结果,或可为分析和评价 VR 视觉体验引发的脑疲劳提供理论依据和试验参考。

Keywords: 脑电图, 虚拟现实, 脑网络, 脑疲劳

引言

虚拟现实(virtual reality,VR)技术是一种新型的人机交互技术,可为用户提供视、听、体等感官的模拟体验。随着 VR 技术的发展和 VR 产品的普及,VR 技术已经涉及到人们日常生活的方方面面,并被广泛运用到医疗、工程、军事、航空、教育、娱乐等诸多领域[1-3]。随之而来的是,许多使用者反映使用 VR 设备一段时间后容易产生眼睛不适、眩晕和疲劳等症状,因此 VR 技术对人体健康的影响引起广泛关注。探索 VR 视觉体验与脑疲劳的关系,并研究可监测 VR 技术引起脑疲劳程度的方法,具有重要的研究意义和参考价值。

目前,研究人体脑疲劳程度主要通过主观评价和客观分析两种方式。主观评价主要通过主观问卷来获得受试者的主观疲劳状态,疲劳程度指标包括评估眼压、注意力集中程度、头痛程度等[4]。虽然主观评价是评价一个人的疲劳状态的可靠方法,但易受个体差异影响,评价标准不统一[5]。而采用客观分析的方式中,检测脑电图(electroencephalogram,EEG)信号已成为监测疲劳程度的金标准[6]。例如,王利等[7]研究驾驶疲劳时发现,EEG 信号的不同节律随疲劳程度的加深而产生不同变化。张力新等[8]研究体脑疲劳交互影响时,将 EEG 信号作为脑疲劳监测的一个重要指标。杨硕等[9]采用相位—幅值耦合方法对脑疲劳前后的 theta 和 gamma 节律的 EEG 信号进行研究,解释了脑疲劳对大脑信息传递机制的影响。

然而,大脑的认知功能执行需要多个脑区相互协作共同完成,因此从复杂网络的角度研究大脑功能是十分必要的。脑网络是将大脑看作复杂的统一整体,来研究不同时空尺度上脑网络拓扑结构、动力学属性等内容,它为理解脑的信息加工过程及脑的高级功能提供了全新的视角[10-11]。目前,脑网络一方面已经被应用于大脑信息处理机制的研究,包括脑信息处理模式及认知功能等重要问题[12-14];另一方面,有关各种神经、精神疾病的研究也广泛采用大脑功能网络来进行分析[15-17]。陈润格等[18]进行了工作记忆任务过程中脑网络的研究,结果表明,随着认知任务维度升级脑力负荷增加,EEG 信号中 alpha、beta 波段的功率比下降,脑网络中各脑区之间的信息流增强且不同维度任务的信息流向与当前任务紧密相关。孟桂芳等[19]利用脑网络方法,通过对疲劳前后脑网络的分析比较,提取了一个N-back 试验下与脑疲劳相关的特异性脑网络结构。现阶段,对于由 VR 视觉体验引发的脑疲劳问题已引发关注,例如,Guo 等[20]通过主观量表评价 VR 环境中,头戴式设备对受试者疲劳造成的影响。许昊骏[21]通过相机运动、观众视角等 VR 视频拍摄和观看角度,研究 VR 视频引起主观疲劳的评估方法,并对引入 EEG 信号客观评价标准提出展望。Liu 等[22]利用递归模糊神经网络来评估 VR 动态驾驶环境中驾驶员的疲劳程度。然而,目前尚未确立统一有效的评价方法和手段,所以脑网络的研究可为分析 VR 视觉体验引发的脑疲劳研究提供新的思路。

本文将结合主观疲劳量表和客观 EEG 信号指标来研究 VR 视觉体验引发的脑疲劳。在受试者观看 VR 视频和观看传统平面(traditional plane,TP)视频前后填写疲劳量表,同步采集观看视频过程中的 EEG 信号,并基于 EEG 信号数据构建受试者的脑功能网络,利用复杂网络理论对比分析受试者观看 VR 视频和观看 TP 视频前后的脑功能网络参数,并结合受试者的主观疲劳感受,探索 VR 视觉体验引发脑疲劳的有效监测方法,进而为建立脑疲劳的评价指标以及推动 VR 设备合理健康的应用起到积极作用。

1. 试验内容和处理方法

1.1. 试验对象

本研究招募的受试者为 16 名健康在校大学生,年龄为(25 ± 3)岁,无眼部和脑部疾病史,矫正视力 1.0,均为右利手。受试者在试验前均已知晓试验内容,并签署了知情同意书,研究要求受试者试验前 24 h 内不能饮用酒、浓茶或咖啡等物质,并保证充足的睡眠时间。本研究经河北工业大学生物医学伦理委员会审核通过(HEBUThMEC2019016)。

1.2. 试验设备

试验中,观看视频采用 TP 和 VR 两种屏幕显示方式,分别通过 22 寸液晶显示器(ThinkVision,联想,中国)和 VR 眼镜(PLAY2,小米,中国)实现。试验采用可穿戴无线 EEG 信号采集系统(Neuracle,博睿康,中国)进行 EEG 数据采集,该系统配有 32 导联电极帽、无线主机放大器和电脑同步软件组成,电极帽电极排列方式按照 10-20 国际标准,主机放大器可固定在电极帽上,用于获取 EEG 信号电位信息,并用无线保真(wireless fidelity,Wi-Fi)模块通过智能同步中心将采集数据传送到电脑上,通过电脑同步软件进行数据显示和存储。参考电极为 CPz,位置位于头顶中心,电极 Cz 和 Pz 之间,采样频率为 250 Hz,试验过程中电极阻抗均保持在 5 kΩ 以下。

1.3. 试验方法

受试者在试验前已熟知试验的详细流程和注意事项,每个受试者需完成两次试验任务,试验时间为连续两天的同一时间段,每次任务分别观看相同题材内容的 TP 视频和 VR 视频,视频内容为《复仇者联盟》和《复仇者联盟 2》(正版购买,非商业用途),其中 8 名受试者第一天观看 VR 视频,另外 8 名受试者第一天观看 TP 视频。

本文从主观和客观两方面对观看 VR 视频引起的脑疲劳进行分析,主观评价主要是通过受试者在试验前后填写主观量表,获得受试者是否疲劳的主观感受;客观分析主要是通过采集受试者的 EEG 信号,并对 EEG 信号进行分析和处理,从 EEG 数据的角度进行客观剖析。

本文主观评价采用了两种主观疲劳量表,一种是由 Rechichi 等[23]提出的判断疲劳标准的视屏终端综合症(visual display terminal,VDT)的主观疲劳量表,常见的 VDT 有 10 个主诉症状,包括头痛、流泪、眼刺痛、视物模糊、复视、眼痛、畏光、眨眼、恶心及眼沉重感等,均在该量表中给与相应评分选项,如表 1 所示;另一种是萨姆佩雷利疲劳量表(Samn-Perelli fatigue scale,SPFS),该主观疲劳量表共 7 个评分等级,得分越高,表示受试者疲劳程度越高,如表 2 所示。

表 1. VDT fatigue scale.

VDT 疲劳量表

特征描述 分值
头痛(headache) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
流泪(tearing) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
眼刺痛(eye smarting) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
视物模糊(blurred vision) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
复视(double vision) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
眼痛(ocular itching) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
畏光(photophobia) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
眨眼(blinking) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
恶心(nausea) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重
眼沉重感(eye heaviness) 0 无 1 轻微 2 一般 3 较为严重 4 严重 5 非常严重

表 2. SPFS fatigue scale.

SPFS 疲劳量表

特征描述 分值
完全警觉,完全清醒(fully alert,wide awake) 1
很有活力,反应还算灵敏,但不是最佳状态(very lively,responsive,but not at peak) 2
情况一般,稍微清醒(okay,somewhat fresh) 3
有点累,不怎么清醒(a little tired,less than fresh) 4
挺累的,无精打采(moderately tired,let down) 5
非常疲惫,难以集中精神(extremely tired,very difficult to concentrate) 6
精疲力尽,无法有效地工作(completely exhausted,unable to function effectively) 7

本次试验设计了连续观看视频的试验模式,观看视频总时长约为 40 min。试验具体流程为:受试者观看视频前先填写 VDT 和 SPFS 主观疲劳量表(包括:VDT 和 SPFS),之后采集其 5 min 静息态 EEG 信号;然后受试者连续观看视频 40 min,实时监测 EEG 信号;最后,观看视频结束后再次填写 VDT 和 SPFS 主观疲劳量表,并再次采集 5 min 的静息态 EEG 信号,整个流程如图 1 所示。

图 1.

图 1

The process of brain fatigue experiment

脑疲劳试验流程

1.4. 数据处理和分析方法

1.4.1. 脑功能网络的构建

本研究选取互相关方法以求取任意两个通道间 EEG 信号的相互关联关系,基于互相关系数RXY构建互相关系数矩阵。任意两个通道的 EEG 信号序列用XY两个随机变量表示,在时域上的互相关系数RXY如式(1)所示:

1.4.1. 1

式中,ij表示任意两个通道的样本点,xiyj表示XY两个信号的样本数据,n表示样本点总数目,k表示XY两个样本点间的延迟时间。

在本研究中,EEG 信号时间序列是进行同步采集的,每个通道之间采集的 EEG 信号时间相同,因此互相关系数RXY可以简化如式(2)所示:

1.4.1. 2

互相关系数RXY的大小反映了不同通道之间 EEG 信号相关程度的高低,取值在 0~1 之间,数值越接近 1,则表示相关程度越高;数值越接近 0,则表示相关程度越低。

基于互相关方法求解任意两个通道之间 EEG 信号的互相关系数,可以得到一个 EEG 信号通道之间的关联特性矩阵,即互相关系数矩阵,用以反映各个通道间 EEG 信号的相关程度。每个通道的 EEG 信号与其自身的互相关系数为 0,也就是互相关系数矩阵的对角元素为 0,以避免网络中有自连接的边存在[24]。互相关系数矩阵可以如式(3)所示:

1.4.1. 3

其中,RXY表示通道X与通道Y之间的互相关系数,n表示所有通道数。RM 表示由互相关系数构成的互相关系数矩阵。

在互相关系数矩阵的基础上,确定合适的阈值,构建一个互相关二值矩阵。在取得合适的阈值后,当通道与通道之间的互相关系数大于阈值时,二值矩阵所对应位置的元素为 l;反之,当通道与通道之间的互相关系数小于阈值时,二值矩阵所对应位置的元素为 0。因此,由互相关系数矩阵可以得到一个矩阵元素仅由 0 和 1 构成的互相关二值矩阵,如式(4)所示:

1.4.1. 4

其中,rXY与互相关系数矩阵中的同位置RXY对应,rXY取值为 0 或 1,rM表示互相关二值矩阵。在构建脑功能网络的基础上,求取平均度、平均聚类系数和平均路径长度等脑功能网络参数,通过对比分析网络参数的不同,来定量分析评价脑功能网络的特征。

1.4.2. 节点度

在脑功能网络中,节点i的度以符号ki表示,定义为网络中和该节点连接的节点的数目[25],即节点i在网络中邻居节点的个数,平均度以符号k表示,其计算公式如式(5)所示:

1.4.2. 5

其中,N表示网络的总节点数,rij表示二值矩阵中的元素。节点的度越大,表示跟此节点连接的节点越多,则此节点在网络中的影响越大[26]

1.4.3. 聚类系数

聚类系数可以评定网络的集成程度,以符号Ci表示,表示某一节点i的邻居间互为邻居的可能概率[27],它代表了相邻两节点之间共有连接关系的节点的重叠度,平均聚类系数以符号C表示,其计算公式如式(6)所示:

1.4.3. 6

式中,ki表示节点i对应的节点度,Ei表示节点iki个邻节点之间实际存在的边数。C越大表示脑网络局部区域的神经元之间的连接越紧密。

1.4.4. 平均路径长度

在网络中,两节点ij的最短路径长度是指连接节点i和节点j的最少边数。平均路径长度是网络中全部节点的路径长度的平均值,以符号L表示,其计算公式如式(7)所示:

1.4.4. 7

其中,N表示网络中总节点数目,dij表示节点i和节点j之间的路径长度。平均路径长度L越小,表明信息传递越快,网路的连通性越好。

1.4.5. 全局效率

全局效率反应了网络中节点之间发送信息的平均效率,定义为网络中两个节点之间路径长度的简谐平均值,以符号Eg表示,其计算公式如式(8)所示:

1.4.5. 8

其中,N表示网络中总节点数目,dij表示节点i和节点j之间的路径长度。全局效率越高,表明信息传递效率越高。

1.4.6. “小世界”属性

Watts 等[28]将兼具高聚类系数和平均路径长度的网络称为“小世界”网络,“小世界”属性用σ来衡量,其计算公式如式(9)所示:

1.4.6. 9

其中,CL表示该网络的平均聚类系数和平均路径长度,CrandomLrandom 表示与该网络相同节点数和相同边数的随机网络的聚类系数和路径长度。当σ > 1 时网络具有“小世界”属性,且 σ越大表明网络的“小世界”属性越强。

2. 结果

2.1. 主观量表分析

本文主观分析采用判断受试者主观疲劳状态的 VDT 和 SPFS 主观量表,分别对 16 个受试者在观看视频前后的量表分值进行均值化,针对观看 TP 视频与 VR 视频前后的对比结果,如图 2 所示,可以看出,无论是采用 TP 还是 VR,观看视频后的量表分值明显都高于观看视频前,经t检验,观看视频前后的两组量表分值均有P < 0.05,差异具有统计学意义,这说明无论采取哪种方式观看,受试者在观看视频后主观上都有了疲劳感。

图 2.

图 2

The comparison of scales before and after watching video

观看视频前后量表对比结果

进一步对不同观看方式下,观看视频前后的量表分值变化做对比,将观看视频前后的量表分值作差,得到观看视频后量表分值的差值,如图 3 所示,可以看出,无论是 VDT 还是 SPFS 主观量表,在观看视频结束后,VR 试验的量表分值差值明显高于 TP 试验的量表分值差值,经t检验,两组主观量表均有P < 0.05,差异具有统计学意义,这说明受试者在观看 VR 视频后的主观量表分值增加的更多,受试者主观疲劳程度变化更大。由此可以认为,相比观看 TP 视频,观看 VR 视频更容易使受试者上产生疲劳感。

图 3.

图 3

The comparison of scale differences before and after watching video

观看视频前后量表差值对比结果

2.2. 脑功能网络分析

利用互相关脑功能网络构建方法,分别计算了 TP 和 VR 两种观看视频方式下,观看视频前和观看视频后各 5 min 的静息态 EEG 信号 30 通道的互相关系数矩阵,并将所有受试者的互相关系数均值化,得到不同状态下的互相关系数矩阵图,结果如图 4 所示。

图 4.

图 4

The comparison of correlation coefficient matrix before and after watching video

观看视频前后互相关系数矩阵对比结果

图 4 所示,分别表示了 TP 和 VR 两种观看方式下,观看视频前和观看视频后的互相关系数矩阵图,矩阵图中颜色越接近蓝色,表示两个通道的互相关系数越小,颜色越接近红色,表示两个通道的互相关系数越大。首先,对比观看 TP 视频前后的互相关系数矩阵图可以看出,观看 TP 视频后的互相关矩阵红色的部分减少,蓝色的部分增加,表示观看 TP 视频后大脑不同通道之间的互相关性减少;其次,对比观看 VR 视频前后的互相关系数矩阵图可以看出,观看 VR 视频后的互相关矩阵红色的部分明显减少,整体更接近于蓝色,表示观看 VR 视频后大脑不同通道之间的互相关性减少。

进一步,根据选取的阈值,在互相关系数矩阵基础上,得到 TP 和 VR 两种观看视频方式下,观看视频前和观看视频后两种状态下的互相关二值矩阵图,结果如图 5 所示,分别表示了 TP 和 VR 两种观看方式下,观看视频前和观看视频后的互相关二值矩阵图,在互相关二值矩阵图中只包含有 0 和 1 两种元素,其中蓝色表示二值矩阵中元素为 0,即两个通道之间没有相关性;红色表示二值矩阵中元素为 1,即两个通道之间有相关性。首先,对比观看 TP 视频前后的互相关二值矩阵图可以看出,观看 TP 视频后的互相关二值矩阵中红色数量明显减少,表示观看 TP 视频后大脑不同通道之间存在相关性的通道数量减少;其次,对比观看 VR 视频前后的互相关二值矩阵图可以看出,观看 VR 视频后的互相关二值矩阵颜色红色数量明显减少,表示观看 VR 视频后大脑不同通道之间存在相关性的通道数量减少。最后,对比观看 TP 视频后和观看 VR 视频后的互相关二值矩阵图可以看出,相比观看 TP 视频,观看 VR 视频后的大脑不同通道之间存在相关性的通道数量更少,说明受试者在观看 VR 视频后,大脑通道之间相关性受到的影响更大。

图 5.

图 5

The comparison of correlation binary matrix before and after watching video

观看视频前后互相关二值矩阵对比结果

在互相关二值矩阵的基础上,构建脑网络连接图。当互相关二值矩阵中的元素为 1 时,就将该元素对应的两个通道的电极位置相连接,从而得到一个脑网络连接边;当互相关二值矩阵中的元素为 0 时,则该元素对应的两个通道的电极位置无连接,结果如图 6 所示。

图 6.

图 6

The comparison of brain network connections before and after watching video

观看视频前后脑网络连接对比结果

图 6 所示,分别表示了 TP 和 VR 两种观看方式下,观看视频前和观看视频后的脑网络连接对比图。首先,分别对比观看 TP 视频前后和观看 VR 视频前后的脑网络连接图可以看出,观看视频后的脑网络连接都明显减少,脑网络都变稀疏,复杂程度都减小;并且对比观看 TP 视频和观看 VR 视频后的脑网络连接图可以看出,观看 VR 视频后的大脑脑网络连接更少,脑网络更稀疏,说明受试者在观看 VR 视频后,大脑通道之间相关性受到的影响更大。

2.3. 脑功能网络参数

在互相关网络的基础上,对比分析受试者观看视频前、后两种状态下脑网络的平均度、平均聚类系数、平均路径长度、平均全局效率和“小世界”属性 5 个特征参数,再利用t检验进行统计学分析,来定量描述分析脑网络特征。

对比 TP 和 VR 两种观看方式下,观看视频前后脑网络的平均度和平均聚类系数,以及这两个特征参数的差值,结果如图 7所示,由图 7 左上和右上可以看出,无论是观看 TP 视频还是 VR 视频后,脑网络的平均度和平均聚类系数值都明显减少,经t检验,两种观看方式下,观看视频前后的差异都具有统计学意义(P < 0.05)。由 图 7 第二排数据可以看出,相比观看 TP 视频前后,观看 VR 视频前后,脑网络的平均度差值和平均聚类系数差值更高,且经t检验,两种观看方式下的两组差值都具有统计学意义(P < 0.05)。以上结果可以表明,受试者在观看视频产生疲劳后,脑网络的平均度和平均聚类系数都会减少,并且观看 VR 视频后,脑网络的平均度和平均聚类系数减少的更多,网络节点的连接更少。

图 7.

图 7

The comparison of average degree and clustering coefficient in brain network before and after watching video

观看视频前后脑网络的平均度和平均聚类系数的对比结果

对比不同观看方式下,观看视频前后脑网络的平均路径长度和平均全局效率,以及观看视频前后这两个网络特征参数的差值,结果如图 8 所示,由图 8 第一排可以看出,无论是观看 TP 视频还是观看 VR 视频后,脑网络的平均路径长度都明显增加,平均全局效率都明显减少,经 t 检验,两种观看方式下,观看视频前后的差异都具有统计学意义(P < 0.05)。由 图 8 第二排可以看出,相比观看 TP 视频前后,观看 VR 视频前后脑网络的平均路径长度差值和平均全局效率差值更高,且经 t 检验,两种观看方式下的平均路径长度差值和平均全局效率差值具有统计学意义(P < 0.05)。以上结果可以表明,受试者在观看视频产生疲劳后,脑网络的平均路径长度都增加,平均全局效率都减少,并且观看 VR 视频后,脑网络的平均路径长度增加更多,平均全局效率下降的更多,网络传递信息效率更低。

图 8.

图 8

The comparison of average path length and global efficiency in brain network before and after watching video

观看视频前后脑网络的平均路径长度和平均全局效率的对比结果

对比不同观看方式下,观看视频前后脑网络的“小世界”属性,以及观看视频前后“小世界”属性的差值,结果如图 9 左图所示,无论是观看 TP 视频还是观看 VR 视频后,脑网络的“小世界”属性都明显减少,经t检验,两种观看方式下,观看视频前后的“小世界”属性差异都具有统计学意义(P < 0.05)。同时可以看出,两种观看方式下,观看视频前后的“小世界”属性值都大于 1,表明观看视频前后的脑网络都具有“小世界”属性。由 图 9 右图可以看出,相比观看 TP 视频前后,观看 VR 视频前后,脑网络的“小世界”属性差值更大,且经t检验,两种观看方式下的“小世界”属性差值具有统计学意义(P < 0.05)。以上结果可以表明,受试者在观看视频产生疲劳后,脑网络的“小世界”属性都会减少,并且观看 VR 视频后,脑网络的“小世界”属性减少更多。

图 9.

图 9

The comparison of small world attribute in brain network before and after watching video

观看视频前后脑网络“小世界”属性对比结果

3. 讨论

本文通过主观疲劳量表和客观 EEG 信号来研究 VR 视觉体验引发的脑疲劳,基于 EEG 信号数据构建受试者在不同状态下的脑功能网络,利用脑功能网络手段对比分析受试者的脑功能网络参数,并结合主观疲劳量表来共同评价受试者的脑疲劳程度。

首先,通过 VDT 和 SPFS 主观量表的对比分析可以看出观看视频后的量表分值都高于观看视频前,且观看 VR 视频后的量表分值的增加高于观看 TP 视频,说明受试者在观看视频后主观都产生了疲劳感,且观看 VR 视频比观看 TP 视频更容易产生疲劳感。

其次,对比分析了 TP 和 VR 两种观看方式下,观看视频前和观看视频后各 5 min 的静息态 EEG 信号 30 通道的脑网络互相关矩阵和互相关二值矩阵。通过矩阵图可以看出,无论是观看 TP 视频还是观看 VR 视频后,互相关矩阵和互相关二值矩阵图的白色区域部分都减少,说明观看视频后大脑不同通道之间的互相关性都减少;并且通过互相关二值矩阵图可以看出,相比观看 TP 视频,观看 VR 视频后大脑不同通道之间存在相关性的通道数量更少,说明受试者在观看 VR 视频后,大脑通道之间相关性受到的影响更大。因此可以说明,随着脑疲劳的出现,脑网络互相关系数减小,脑网络连接减少,脑网络变稀疏,复杂程度变小,并且相比观看 TP 视频,观看 VR 视频后对受试者的脑网络的影响更大。

最后,在互相关矩阵和互相关二值矩阵的基础上,对比分析了受试者观看视频前和观看视频后两种状态下所有受试者的脑网络的平均度、平均聚类系数、平均路径长度、平均全局效率和“小世界”属性 5 个网络特征参数的统计学差异,可以看出,无论是观看 TP 视频还是观看 VR 视频后,脑网络的平均度、平均聚类系数、平均全局效率值和“小世界”属性都明显减少,且相比观看 TP 视频方式,观看 VR 视频后脑网络的平均度值、平均聚类系数、平均全局效率和“小世界”属性减少得更多;同时,脑网络的平均路径长度值都明显增加,且相比观看 TP 视频方式,观看 VR 视频后脑网络的平均路径长度值增加得更多。因此可以说明,随着观看视频后脑疲劳的出现,平均度和平均聚类系数均减少,表明疲劳状态时,脑功能网络节点间的连接减少,聚集程度减弱,网络连通性变差;平均路径长度的增大和平均全局效率值的降低,表明疲劳状态时,大脑信息传输路径变长,导致传输速度变慢,传递效率降低,网络的传输能力减弱;“小世界”属性减少,脑网络的拓扑结构发生了变化,并且相比观看 TP 视频,观看 VR 视频后对脑网络特征参数的影响更大。

功能连接是指空间上分离的神经单元其神经活动在时间上的关联性或统计依赖关系[29],脑功能网络就是对大脑结构网络上不同的神经元或脑区之间动态活动交互整合的直观描述。Zhang 等[30]利用脑功能网络方法研究驾驶疲劳的脑网络特性,结果发现随着疲劳的增加,会导致大脑网络连接数量、聚类系数和全局效率都减少,路径长度增加。与本研究的疲劳结果相同,脑疲劳会影响大脑的网络结构,导致不同的神经元和脑区之间的交互减少,网络连接性减小,信息交流传递能力减弱。Li 等[31]利用小世界脑功能网络研究观看三维视频前后的脑网络变化,结果发现观看三维视频比观看二维视频更容易导致大脑疲劳。观看 VR 视频与观看三维视频有类似效果,观看 VR 视频也需要左右眼分别观看平面影像,再通过大脑合成立体影像,相比 TP 视频,观看 VR 视频时大脑需要处理更多的视觉信息,大脑需要承受更多的信息负荷,而大脑中信息的处理需要神经元的持续快速放电,但长时间的高负荷状态会使大脑消耗更多的能量,过多的能量消耗会抑制神经元的放电,使大脑趋于缓慢,产生疲劳状态。脑功能网络的基本组成是每个节点的连接性,因此局部连接变化会影响到整个脑网络,由于大脑产生疲劳会对神经元抑制放电,就会由局部变化反映到整个脑网络,从而导致整个脑网络的连接性减少。

基于以上讨论,在今后的研究中应更多关注长时间观看 VR 视频对于大脑的影响。目前已有研究者希望通过其他感官刺激来减少观看 VR 视频带来的影响,例如:Seok 等[32]通过香味刺激嗅觉感官来减少受试者观看 VR 视频时引发的沉浸、头晕和压力等不适症状。但从 VR 设备的实际应用来说,更多地应该从 VR 本身技术的提升和设备的合理使用来提高用户体验,EEG 信号以及脑网络处理分析等手段可以为 VR 技术的改进提供监测方法和参考价值。

4. 结论

本文通过采集受试者观看 TP 视频和观看 VR 视频的 EEG 信号数据,对观看视频前后的 EEG 信号数据进行处理分析,利用互相关脑功能网络构建方法,分别构建了观看 TP 视频和观看 VR 视频前后的互相关脑网络,并对互相关系数矩阵、互相关二值矩阵以及平均度、平均聚类系数、平均路径长度、平均全局效率和“小世界”属性等脑网络特征参数进行对比分析,并结合对受试者的主观疲劳量表分析,从主观和客观两个角度来研究 VR 视觉体验引起脑疲劳的影响。结果发现:一定时间内从主观感受上,观看 VR 视频比观看 TP 视频更容易产生疲劳感;随着脑疲劳的出现,脑网络互相关系数减小,脑网络连接减少,脑网络变稀疏;并且相比观看 TP 视频,观看 VR 视频后对脑网络参数的影响更大;可以通过观看视频后平均度、平均聚类系数、平均全局效率和“小世界”属性的减少以及平均路径长度的增加等脑网络特征参数的变化趋势来分析观看 VR 视频引发人体脑疲劳作用的影响,从而为探索 VR 视觉体验引发脑疲劳的有效监测方法,进而为建立脑疲劳的评价指标和 VR 设备的合理健康应用提供重要的理论基础和参考价值。

利益冲突声明:本文全体作者均声明不存在利益冲突。

Funding Statement

国家自然科学基金项目(51707054,51677053,51877067);河北省自然科学基金(F2017202197);河北省高等学校科学技术研究项目(QN2017048)

References

  • 1.Bailenson J, Patel K, Nielsen A, et al The effect of interactivity on learning physical actions in virtual reality. Media Psychol. 2008;11(3):354–376. doi: 10.1080/15213260802285214. [DOI] [Google Scholar]
  • 2.Bailenson J N, Yee N, Blascovich J, et al The use of immersive virtual reality in the learning sciences: digital transformations of teachers, students, and social context. Journal of the Learning Sciences. 2008;17(1):102–141. doi: 10.1080/10508400701793141. [DOI] [Google Scholar]
  • 3.Bohil C J, Alicea B, Biocca F A Virtual reality in neuroscience research and therapy. Nature Reviews Neuroscience. 2011;12:752–762. doi: 10.1038/nrn3122. [DOI] [PubMed] [Google Scholar]
  • 4.Suzumura A Visual fatigue. Ganka. 1981;23:799–904. [Google Scholar]
  • 5.Zhang C, Zheng C, Yu X Evaluation of mental fatigue based on multipsychophysiological parameters and kernel learning algorithms. Chin Sci Bull. 2008;53(12):1847–1853. [Google Scholar]
  • 6.刘建平, 张崇, 郑崇勋, 等 基于多导脑电复杂性测度的脑疲劳分析. 西安交通大学学报. 2008;42(12):1555–1559. doi: 10.3321/j.issn:0253-987X.2008.12.025. [DOI] [Google Scholar]
  • 7.王利, 艾玲梅, 王四万, 等 驾驶疲劳脑电信号节律的特征分析. 生物医学工程学杂志. 2012;29(4):629–633. [PubMed] [Google Scholar]
  • 8.张力新, 张春翠, 何峰, 等 体脑疲劳交互影响及神经机制研究进展. 生物医学工程学杂志. 2015;32(5):1135–1140. doi: 10.7507/1001-5515.20150201. [DOI] [PubMed] [Google Scholar]
  • 9.杨硕, 冀亚坤, 李润泽, 等 基于theta-gamma相位幅值耦合的脑疲劳信息传递整合机制研究. 生物医学工程学杂志. 2018;35(5):672–678. doi: 10.7507/1001-5515.201703067. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 10.Bullmore E, Sporns O Complex brain networks: graph theoretical analysis of structural and functional systems. Nat Rev Neurosci. 2009;10(3):186–198. doi: 10.1038/nrn2575. [DOI] [PubMed] [Google Scholar]
  • 11.He B, Dai Y, Astolfi L, et al eConnectome: a MATLAB toolbox for mapping and imaging of brain functional connectivity. J Neurosci Methods. 2011;195(2):261–269. doi: 10.1016/j.jneumeth.2010.11.015. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 12.Ewen J B, Lakshmanan B M, Hallett M, et al Dynamics of functional and effective connectivity within human cortical motor control networks. Clinical Neurophysiology. 2015;126(5):987–996. doi: 10.1016/j.clinph.2014.09.006. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 13.蒋田仔, 刘勇, 李永辉 脑网络: 从脑结构到脑功能. 生命科学. 2009;21(2):181–188. [Google Scholar]
  • 14.李亚鹏. 大脑功能网络及其动力学研究. 武汉: 华中科技大学, 2014.
  • 15.Weiss S A, Bassett D S, Rubinstein D, et al Functional brain network characterization and adaptivity during task practice in healthy volunteers and people with schizophrenia. Frontiers in Human Neuroscience. 2011;5:81. doi: 10.3389/fnhum.2011.00081. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 16.Simonyan K, Ostuni J, Ludlow C L, et al Functional but not structural networks of the human laryngeal motor cortex show left hemispheric lateralization during syllable but not breathing production. Journal of Neuroscience. 2009;29(47):14912–14923. doi: 10.1523/JNEUROSCI.4897-09.2009. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 17.Yaffe R B, Borger P, Megev P, et al Physiology of functional and effective networks in epilepsy. Clinical Neurophysiology. 2015;126(2):227–236. doi: 10.1016/j.clinph.2014.09.009. [DOI] [PubMed] [Google Scholar]
  • 18.陈润格, 张露, 王晓璐, 等 自适应多维N-back认知负荷模型下的脑网络研究. 航天医学与医学工程. 2015;28(6):391–396. [Google Scholar]
  • 19.孟桂芳, 许敏鹏, 张春翠, 等 一种与N-Back诱发脑力疲劳相关的特异性脑电网络结构. 中国生物医学工程学报. 2017;36(2):143–149. doi: 10.3969/j.issn.0258-8021.2017.02.003. [DOI] [Google Scholar]
  • 20.Guo Jie, Weng Dongdong, Duh H B L, et al. Effects of using HMDs on visual fatigue in virtual environments//19th IEEE Virtual Reality Conference (VR), Los Angeles: IEEE, 2017: 456-460.
  • 21.许昊骏. 面向VR影视的疲劳度和关注度的评估方法. 上海: 上海大学, 2018.
  • 22.Liu Yuting, Wu Shanglin, Chou Kuangpen, et al. Driving fatigue prediction with pre-event electroencephalography (EEG) via a recurrent fuzzy neural network//2016 IEEE International Conference on Fuzzy Systems, Vancouver: IEEE, 2016. DOI: 10.1109/FUZZ-IEEE.2016.7738006.
  • 23.Rechichi C, Scullica L Asthenopia and monitor characteristics. J Fr Ophtalmol. 1990;13(8-9):456–460. [PubMed] [Google Scholar]
  • 24.尹宁. 基于脑电的磁刺激穴位复杂脑功能网络研究. 天津: 河北工业大学, 2013.
  • 25.Albert R, Barabasi A L Statistical mechanics of complex networks. Rev Mod Phys. 2002;74(1):47–97. doi: 10.1103/RevModPhys.74.47. [DOI] [Google Scholar]
  • 26.赵静. 基于互信息的EEG脑功能网络研究. 西安: 西安电子科技大学, 2013.
  • 27.梁夏, 王金辉, 贺永 人脑连接组研究: 脑结构网络和脑功能网络. 科学通报. 2010;55(16):1565–1583. [Google Scholar]
  • 28.Watts D J, Strogatz S H Collective dynamics of 'small-world' networks. Nature. 1988;393(6684):440–442. doi: 10.1038/30918. [DOI] [PubMed] [Google Scholar]
  • 29.Friston K J, Frith C D, Liddle P F, et al Functional connectivity: the principal-component analysis of large (PET) data sets. J Cereb Blood Flow Metab. 1993;13(1):5–14. doi: 10.1038/jcbfm.1993.4. [DOI] [PubMed] [Google Scholar]
  • 30.Zhang C, Cong F, Wang H. Driver fatigue analysis based on binary brain networks//International Conference on Information Science and Technology (ICIST), Da Nang, 2017: 485-489.
  • 31.Li Jian, Chen Chunxiao, Liu Yuping, et al Small-world brain functional network altered by watching 2D/3DTV. Journal of Visual Communication and Image Representation. 2016;38:433–439. doi: 10.1016/j.jvcir.2016.03.023. [DOI] [Google Scholar]
  • 32.Seok H O, Taeg K W. Study on relieving VR contents user’s fatigue degree using aroma by measuring EEG//The 9th International Conference on Information and Communication Technology Convergence (ICTC), Jeju Island, 2018: 568-570.

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University

RESOURCES