VisConnectome：基于图论且独立运行的脑网络可视化软件

Abstract

As a complex system, the topology of human’s brain network has an important effect on further study of brain’s structural and functional mechanism. Graph theory, a kind of sophisticated analytic strategies, is widely used for analyzing complex brain networks effectively and comparing difference of topological structure alteration in normal development and pathological condition. For the purpose of using this analysis methodology efficiently, it is necessary to develop graph-based visualization software. Thus, we developed VisConnectome, which displays analysis results of the brain network friendly and intuitively. It provides an original graphical user interface (GUI) including the tool window, tool bar and innovative double slider filter, brain region bar, runs in any Windows operating system and doesn’t rely on any platform such as Matlab. When importing the user-defined script file that initializes the brain network, VisConnectome abstracts the brain network to the ball-and-stick model and render it. VisConnectome allows a series of visual operations, such as identifying nodes and connection, modifying properties of nodes and connection such as color and size with the color palette and size double slider, imaging the brain regions, filtering the brain network according to its size property in a specific domain as simplification and blending with the brain surface as a context of the brain network. Through experiment and analysis, we conclude that VisConnectome is an effective visualization software with high speed and quality, which helps researchers to visualize and compare the structural and functional brain networks flexibly.

引言

人脑作为一个强大的系统，存在着复杂的拓扑结构，有许多认知疾病可以引起人脑拓扑结构的变化，如阿尔兹海默症（Alzheimer’s disease，AD）^[1]和精神分裂症^[2]等，通过其拓扑结构来揭示脑结构和功能机制是目前研究的一个重要方向。

图论作为通用的建模方式，将复杂网络抽象为简单的几何图形，包括节点以及不同节点之间的边^[3]，常用来分析人脑的拓扑属性^[4]。目前，在使用图论分析脑网络的拓扑关系时，大多采用的是大尺度脑网络模型^[3]。其中，节点是由大脑解剖（或功能）模板划分的感兴趣区（region of interest，ROI）；连接节点的边则主要由节点之间的结构（或功能）连接关系决定^[5]，结构连接关系通过白质纤维的连接情况表示^[6-7]，而功能连接关系主要取决于两个节点信号的时间同步性和功能上的依赖关系^[8-9]。对脑区和脑区之间的连接情况进行结构性的描述，有助于在人脑结构基础上理解其功能。

随着图论在复杂脑网络中的应用，一些具有图形界面的脑网络可视化软件发展起来。Caret（http://brainvis.wustl.edu/wiki/index.php/Caret:About）是一个用于对大脑或小脑皮质进行结构和功能性研究的软件包，既可以在图形界面上操作和显示神经影像数据，又可以使用命令行批量处理神经影像数据，但是它更侧重于大脑皮层的可视化与分析，缺乏对脑网络拓扑关系的研究。GAT^[10]是基于 Matlab 的工具包，其图形用户界面（Graphical User Interface，GUI）用来比较分析结构和功能脑网络的拓扑属性差异。Connectome Viewer^[11]是基于 Python 的可视化工具，不仅可以进行大脑分区显示还可以显示脑网络拓扑结构。而 Brainnet Viewer^[12]则是一个基于 Matlab 的广泛使用的脑网络可视化工具，可按照感兴趣区对脑表皮进行分区，还可对脑网络的球棍模型进行用户交互操作，但其可视化速度有待提高。

为了解决上述问题，我们选择 Microsoft Foundation Classes（MFC）作为程序框架，读取脑节点和连接关系的信息，并通过 OpenGL 实现脑网络的可视化，提高绘制的质量与效率。

1. 相关技术

1.1. 数据定义

在绘制脑网络之前，需要导入自定义脚本文件：coord 文件、colorramp 文件、node 文件、connection 文件和 surface 文件。其中，coord 文件包含所有节点名称及三维坐标，colorramp 文件中颜色组合用于脑网络着色，node 文件由节点名称及其各项属性（如节点大小）构成，connection 文件包含具有连接关系的节点名称以及边的属性（如颜色、大小），surface 文件包含不同脑区顶点和面信息。

自定义脚本文件中，有 Coord、ColorRamp 和 Window 三个模块，如图 1 所示。在 Coord 和 ColorRamp 模块中，直接调用对应文件。而在模块 Window 中，有 Node、Connection、Surface 和 Annotation 四个对象，首先引用对应的文件，然后根据定义的初始颜色和透明度给不同对象赋值，其中在初始化 Node 和 Connection 对象时，需设置大小范围、过滤显示范围等。

图 1.

Custom script file

自定义脚本文件

1.2. 脑网络可视化

1.2.1. 数据预处理

从 Multi-Modal MRI Reproducibility Resource（http://www.nitrc.org/projects/multimodal）下载得到使用的弥散张量成像（diffusion tensor imaging，DTI）数据。原始的人脑核磁共振数据被许多不可控因素影响，因此我们使用 PANDA（http://www.nitrc.org/projects/panda/）对数据进行预处理。具体步骤如下：

① 图像校正：利用空间位置校正去除数据扫描时被试头部晃动带来的噪声，并减弱成像时涡流效应造成的误差^[13]。

② 空间配准：对被试的 T1 结构图像进行医学图像配准^[14]，然后将配准参数作用在 DTI 图像上，将 DTI 图像归入蒙特利尔神经学研究所提出的坐标系（Montreal Neurological Institute，MNI）进行标准化。

③ 脑区模块化：利用 MNI 机构提供的 Anatomical Automatic Labeling（AAL）^[15]标准模板对脑区进行模块划分，每个脑区可看作一个节点。

④ 平滑：采用 AAL 标准模板消除个体大脑形态结构之间差异后，利用平滑进一步消除细微差异。

1.2.2. 构建脑网络

在获取脑网络节点后，边由基于弥散张量成像的纤维追踪方法获取。追踪过程中采用确定性追踪算法中的连续纤维跟踪法（fiber assignment by continuous tracking，FACT）^[16]。选定随机种子数，从中心种子开始，通过它的主向量的正、反方向分别进行延伸至体素边界。纤维延伸过程中遇到新的体素时，当前种子是否添加到纤维中由它的主向量方向与延伸方向之间的夹角确定，如此反复直到达到追踪的终止条件^[16]，如图 2 所示，以种子点的中央（坐标是 (2.5, 2.5)）作为出发点，沿各向异性程度较高的邻域体素跟踪，作为下一走向。在实验中发现，临界夹角设置过大可产生虚假纤维，过小则丢失部分目标纤维，当临界夹角设置为 45°，构建的脑网络完整性和准确性最高。因此，实验设定临界夹角为 45°，即当前体素与纤维延伸方向夹角小于 45° 时，属于扩散纤维。

图 2.

Diffusion fiber extension process based on FACT algorithm

FACT算法扩散纤维延伸过程

the yellow ellipse represents voxel; the shadows indicate that the voxel anisotropy in this region is high; the black solid line with arrows indicates the tracked fiber path; the red frame indicates that the critical angle of voxel is more than 45 degrees, and the voxel direction is not selected

黄色椭圆表示体素，阴影表示该区域的体素各向异性程度较高，带箭头的黑色实线表示跟踪出的纤维路径，红色框线表示体素的临界夹角超过 45° 不选取该体素方向

1.2.3. 绘制脑网络

步骤 1：绘制节点和边的几何模型。利用球模型来表示脑节点，六面体所形成的管状曲面表示边，通过绘制六面体代替圆柱体来减少绘制次数并且提高可视化速度。如图 3 所示，已知起始位置 和终止位置 ，以及管状底面半径 r 和方向向量 。对向量 n 的 Y 坐标值增加小幅度（如 0.01）变化，形成新的向量 m，由 n 与 m 形成平面P，其法向量 。定义 ，对向量 与向量 进行单位化：

图 3.

Schematic diagram of tubular surface

管状曲面示意图

1

由 p、q 形成的平面 L 垂直于 n，以 为中心，假设 ，六面体的底面顶点 为：

2

对管状顶面进行相同操作形成顶点 ，绘制每个矩形 。

步骤 2：利用 Color Ramp 着色。根据属性范围（如大小）来绘制节点和边的不同颜色。假设 colorramp 文件中定义的颜色数为N，颜色序列为 。当前要绘制的节点为M，它的大小 X 在区间[A, B]内，则它的相对位置 ξ 为：

3

根据 ξ，节点所对应的颜色索引为：

4

故在颜色序列 C 中，C_i 是绘制节点 M 选取的颜色。上述着色方法同样适用于脑网络的边。

步骤 3：确定节点大小。脚本文件中所引用节点属性决定它们的大小，通过遍历 node 文件中定义的节点属性可得最大值 R_max 和最小值 R_min，R_i 是当前节点的属性值。如图 4a 所示，S₀ 和 S₁ 是双滑块的边界，最大值和最小值为 S_max 和 S_min，我们在程序里设定 S_max 和 S_min 的值。当通过滑动双滑块的边界改变当前节点的大小时，节点的实际显示大小 S_i 由它的初始大小和双滑块的边界大小共同决定：

图 4.

Schematic diagram of double slider

双滑块示意图

a. for resizing; b. for filtering

a. 用于调整大小；b. 过滤器

5

步骤 4：管状曲面的大小。与步骤 3 算法类似，R_max 和 R_min 由 connection 文件得到，S_max 和 S_min 与上面定义的相同。

步骤 5：过滤显示脑网络。由于大脑具有复杂的连接关系，我们设计的过滤器用于显示局部的脑网络结构，图 4b 为双滑块示意图，根据节点或边特定属性（如大小），将脑网络分为 Inner 和 Outer 两部分。Inner 部分表示在双滑块边界所确定的属性值范围内的节点或边，而在 Outer 部分中显示剩余的节点或边，过滤效果如图 5 所示。

图 5.

The renderings of brain networks using double slider filter

双滑块过滤器显示脑网络效果图

步骤 6：显示脑分区。脑表皮对于脑网络是非常重要的关联信息，用户可以通过脑表皮观察节点所对应的脑区位置。在 surface 文件加载后，系统通过绘制三角面片形成脑表皮。

① 从 BrainNet Viewer（https://www.nitrc.org/frs/?group_id=504）开源数据中获得带有脑分区信息的 nii 文件，利用 Matlab 的 SPM12 包对数据进行降维处理，并转为 txt 格式方便后续使用。

② 提取脑区边缘数据。寻找边缘点，使用处理后的数据绘制出原始的脑表皮。

③ 判断边缘点。由于输入数据是一个M × N × P的三维体数据，在构成 obj 文件时首先要找到边缘上的点。边缘点并不好定义，但是对于内部点很好界定。在考虑单个点的情况时，位于三维体数据的中间点通常有 26 个，如图 6 所示。对单个点情况进行推广，通过对点周围数据的判断，将点分为以下三种类型，从而对三维数据进行降维处理：

图 6.

Three-dimensional point matrix model

三维点矩阵模型

• 区域点：与区域值相等的点，标记该点所属脑区；

• 内部点：在点周围 26 个方向上的点都是同一区域点，那么这个点就是该区域的一个内部点；

• 边缘点：在点周围 26 个方向上存在不同区域的点。

④ 前面已经获取了边缘点，我们需要在此基础上构建表面，实现脑区表面的绘制，利用边界点集构建边界面。利用 OpenGL 相关函数呈现脑分区，根据所有 obj 文件绘制不同脑区，并对模型随机着色。

2. 结果与分析

实验中，脑网络的节点由 AAL 模板划分得到，边的连接强度由扩散纤维上的体素个数代表，节点和大脑表皮处于同一坐标系，即 MNI 坐标系。VisConnectome 以 C++作为编程语言，在 Windows64 位操作系统（Microsoft Corp.，美国）下开发。使用 MFC 控件构成图形界面，并调用 OpenGL 绘制脑网络，获得平均帧速率约 210 帧/秒。其 GUI 提供便捷的用户交互操作，通过双滑块设置 Inner 和 Outer 范围，可显示任一部分脑网络。而 BrainNet Viewer 只显示高于设定阈值的部分^[12]。

2.1. 图形用户界面

图形界面由工具箱、工具栏、状态栏和视区四部分组成，如图 7 所示。工具栏按钮对应菜单中的几何操作，工具箱的操作界面如图 8 所示，节点模块中包含颜色、大小和过滤显示，分别对应的功能为颜色及透明度调整、大小设置以及过滤显示局部脑网络。边模块所含功能与节点模块类似。

图 7.

GUI of VisConnectome

VisConnectome窗口界面

图 8.

Toolbox

工具箱

a. toolbox objects; b. resizing panel; c. color palette and transparency slider; d. double slider filter options

a. 操作对象；b. 调节大小的面板；c. 颜色调色板及透明度滑动条；d. 双滑块过滤器选项

2.2. 脑网络可视化效果

自定义脚本文件中脑网络初始的颜色和透明度必须设置，通过关键字“size”“ramp”和“filter”决定大小调节、分层着色和过滤显示功能。同时，脚本文件包含 coord、node、connection、surface 和 colorramp 等子文件信息，不同子文件组合可以写入到脚本文件中，如图 9 所示。脑分区结果的不同视角如图 10 所示。

图 9.

Visualization of brain networks under different file combinations

不同文件组合下的脑网络可视化效果

a. coord file; b. coord, color ramp and node files; c. coord, color ramp and connection files; d. coord, color ramp, node and connection files; e. coord, color ramp and surface files; f. coord, color ramp, node, connection, surface and annotation files

组合方式为：a. coord 文件；b. coord、color ramp 和 node 文件；c. coord、color ramp 和 connection 文件；d. coord、color ramp、node 和 connection 文件；e. coord、color ramp 和 surface 文件；f. coord、color ramp、node、connection、surface 和 annotation 文件

图 10.

Brain regions of different perspectives

不同视角的脑分区

2.3. 正常和病理变化的脑网络的比较

对神经精神疾病引起分离的脑区结构和功能变异的研究已经很多，但神经精神疾病往往不止由分离的脑区结构和功能变异诱发，而是很多脑区结构功能变异共同作用的结果^[17]。复杂脑网络分析对于研究神经精神疾病的多脑区作用机制具有独到优势。

因此，我们选择 ADNI 网站（https://ida.loni.usc.edu/login.jsp?project=ADNI）上项目 136_S_1227 中的 AD 患者数据（该患者患病 5 年，处于 AD 第二阶段中度痴呆期，表现为远近记忆严重受损，简单结构的视空间能力下降，时间、地点定向障碍；不能独立进行室外活动，在穿衣和个人卫生等方面需要帮助；可见失语、失用和失认）。

脑网络类聚系数为网络内所有节点的类聚系数 C_i 的均值，而节点 i 的类聚系数 C_i 定义为：网络 G 内与节点 i 直接相连的“其他节点”之间的边数与这些“其他节点”之间的最大可能边数之间的比值，见式（6）。其中，E_i 代表与节点 i 直接相连的“其他节点”之间的边数，D_i 即与节点 i 直接相连的“其他节点”数目。

6

可以看出C_i表征的是节点i的相邻节点组成的“团”的紧凑程度。按照 1.2 节的方法进行处理，并与 1.2 节所提及的正常人的脑网络进行可视化效果比较，图 11 直观表现了它们之间的差异：AD 患者的脑网络类聚系数显著小于正常人。AD 患者脑网络中节点所在“团”的紧凑程度大大下降，而在一些特定的区域（图中黑框标记）节点间连接强度增强。可证明 AD 患者脑网络拓扑结构发生了病理性的变化，并且可以以脑网络类聚系数为依据实现对正常人和 AD 患者之间的分类，这与 Supekar 等^[18]基于脑电技术（electroencephalogram，EEG）得到的 AD 患者脑结构变化相吻合。

图 11.

Visual comparative analysis of brain networks of normal person and AD patient in specific regions

正常人和AD患者脑网络在特定区域的可视比较分析

3. 结论

基于图论的复杂脑网络分析已经广泛展开，并且在正常人脑网络特性分析和患者脑网络变异分析中取得很多有价值的成果。但目前该领域的研究还处于起步阶段，有很多问题需要结合可视化技术深入探索，比如脑结构网络与功能网络的相互影响关系、功能网络拓扑结构随时间的变化，以及网络拓扑结构参数与认知、行为的关系等。

VisConnectome 具有创新用户界面，如工具箱、工具栏、双滑块过滤器等设计，以平均 210 帧/秒速度实现快速可视化，不依赖其他平台（如 Matlab），在 Windows 操作系统下独立运行。利用它可以方便地进行脑网络的系列可视化操作，如节点和边的标识、属性改变、过滤简化以及与脑表面融合等。VisConnectome 是一个高效、快速的脑网络可视化软件，帮助研究人员更加灵活方便地对结构或功能脑网络进行可视化，发现脑网络异常。

VisConnectome 仍然需要在一些地方进一步改进，如未来和脑网络领域专家合作，根据需求扩展可视分析功能，将过滤显示和分层着色与局部脑网络分析结合起来；此外，从绘制的速度和质量方面也有待进一步提高，如采用基于图形处理器（graphics processing unit，GPU）的 Compute Unified Device Architecture（CUDA）框架提高速度。

利益冲突声明：本文全体作者均声明不存在利益冲突。

Funding Statement

国家自然科学基金（61977063）