Skip to main content
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering logoLink to Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
. 2021 Apr 25;38(2):369–378. [Article in Chinese] doi: 10.7507/1001-5515.202009062

光声显微与光声层析成像中运动伪影校正方法的研究进展

Progress of motion artifact correction in photoacoustic microscopy and photoacoustic tomography

洁洁 杜 1,2, 正 孙 1,2
PMCID: PMC9927676  PMID: 33913298

Abstract

光声成像(PAI)技术是一种发展迅速的新型复合生物医学成像技术,可实现组织的结构成像和功能成像。在对活体的成像中,目标的呼吸、心跳或眼球转动等可导致重建图像中出现运动伪影,降低成像分辨率,增加获得高质量光声图像的难度。本文分别对光声显微成像(PAM)和光声层析成像(PAT)中校正运动伪影的方法进行归纳和总结,讨论不同方法的优势和不足,展望未来可能的发展方向。

Keywords: 光声成像, 光声显微成像, 光声层析成像, 运动伪影, 运动校正

引言

生物光声成像(photoacoustic imaging,PAI)是一种多物理场耦合的新型成像技术,它利用纳秒级短脉冲激光照射生物组织,组织内的发色团快速吸收光能量,使周围组织的温度上升继而受热膨胀,激发出宽带超声波(即光声信号)并向组织表面传播,位于目标周围的超声换能器采集光声信号并送入计算机内,通过求解声学逆问题重建目标的初始声压分布图或光吸收能量分布图[1]。在此基础上,通过求解光学逆问题还可重建组织的光学特性参数和热膨胀系数分布图,实现定量光声成像。PAI 技术结合了纯光学成像的高对比度和超声成像的高穿透深度的优点,可提供从细胞器到器官的多尺度的解剖、功能和分子对比信息,在生物医学领域具有广阔的应用前景[2]。按照成像模式的不同,PAI 可分为光声显微成像(photoacoustic microscopy,PAM)和光声层析成像(photoacoustic tomography,PAT)。

在活体成像中,生物体的运动通常会导致图像中产生伪影,降低图像质量。生物体的运动包括自主运动和不自主运动,其中呼吸、心跳和眼球转动等属于不自主运动,身体移动属于自主运动。针对自主运动,可通过使目标在成像阶段保持静默以避免产生运动伪影[3]。例如,在对小动物进行全身光声成像时,通常采用不同的安装方案,通过机械夹紧和固定减少运动伪影[4-6]。但是并非所有身体部位都适合夹持,例如眼睛,夹持会阻碍血流,可能降低图像质量[3]。因而此类方法只适用于特定的应用场合和成像系统,不具有普适性,不能从根本上解决运动伪影问题。本文对 PAM 和 PAT 运动伪影校正方法的研究现状进行综述,分析各方法的优势和不足,同时展望未来可能的发展方向。

1. PAM 运动校正方法

1.1. PAM 原理及目标运动对成像质量的影响

PAM 是一种聚焦型扫描成像技术,它采用聚焦型入射光或聚焦型超声探测的方法进行成像,成像深度为毫米级[7-8],现已应用于血管生物学、神经学、肿瘤学、皮肤学以及眼科学等领域的研究中[9-12]。如图 1 所示,根据成像系统中光束焦斑与声束焦斑的相对大小,PAM 分为光学分辨率光声显微成像(optical resolution PAM,OR-PAM)和声学分辨率光声显微成像(acoustic resolution PAM,AR-PAM)[3, 7],二者的区别在于光束和声束聚焦的相对大小,图像重建过程基本一致[10]。AR-PAM 的成像深度较大(1~10 mm)[13],横向分辨率取决于探头焦点宽度,纵向分辨率取决于探头带宽。OR-PAM 的成像深度较小(1~2 mm),与光学成像接近,横向分辨率为微米级甚至亚微米级,纵向分辨率与超声换能器的频率呈正比,特别适合观察细胞和微血管水平的生理过程[10]

图 1.

图 1

Comparison of focusing modes of PAM

PAM 聚焦方式对比

PAM 的成像分辨率高,因而对运动伪影非常敏感。当对大面积区域成像时,由于样品表面通常不平坦,因此需要针对不同分区调整成像系统的焦平面,获得样品的多幅图像,再通过图像拼接得到整个区域的图像。获取各分区的图像时,对应区域的目标运动会导致不同分区图像之间的不匹配,使拼接后的图像存在扭曲和变形。此外,运动伪影还会影响图像后处理(如信号增强、提取和特征识别等)的效果,导致关键信息丢失,进而降低定量成像的精度[3]。目前对 PAM 运动伪影的主要校正方法包括动态参考对象法、运动量化法、亚像素运动估计法、Demons 图像配准法和基于深度学习的方法,如表 1 所列。

表 1. Comparison of main methods of motion correction in PAM.

PAM 运动校正的主要方法对比

方法 适用范围 优点 不足
成像模式 运动类型
动态参考对象 皮肤表层的
光声介观成像
皮肤的垂直运动 ① 校正准确度高;② 校正速度快 ① 寻找动态参考对象的难度大;② 适用范围的局限性大
运动量化 ① 高信噪比;② 全自动化;③ 不依赖于图像分割方法 ① 对高运动区域的校正效果有限;② 对黑色素瘤成像存在阴影效应
亚像素运动估计 线性运动 校正精度高 ① 校正时间长;② 仅限于校正线性运动伪影
Demons 图像配准 细胞和微血管
水平的 PAM
较剧烈的运动 ① 校正精度高;② 鲁棒性强;③ 无需参考对象 ① 在无血管或血管数量有限的情况下校正效果不佳;② 只能校正沿慢扫描轴方向的运动伪影;③ 处理速度慢
深度学习 呼吸、心跳和
脉搏等运动
① 可通过修改训练集校正其他成像模式中的运动伪影;② 无需参考对象;③ 可校正任意方向上的运动伪影 需要大量训练数据

1.2. 光声介观成像的运动校正方法

光栅扫描光声介观成像(raster-scan optoacoustic mesoscopy,RSOM)是一种声学分辨率光声显微成像,其信号采集速度取决于激光脉冲的重复频率(pulse repetition rate,PRR),当 PRR 为 1 kHz 时,扫描一块 250 × 250 点的区域约需 60 s[14]。受信号采集速度的限制,成像目标的运动(如频率为 30 次/分的呼吸运动)会改变聚焦超声换能器与感兴趣区域的相对位置,导致图像质量下降。

1.2.1. 动态参考对象法

Schwarz 等[14]提出一种基于动态参考对象的 RSOM 运动校正方法,假设皮肤表层是连续的,根据惠更斯-菲涅耳原理,连续皮肤表层发出的超声波会产生一个连续次波前,然而呼吸运动造成皮肤表层相对于换能器的垂直运动,使次波前发生中断(如图 2 所示)。观测三维波形图中皮肤层产生的超声波波前的垂直中断,利用滑动平均滤波算法对受损表层进行平滑和滤波处理,生成一个光滑、连续的仿真皮肤表层。最后计算仿真表层和受损表层之间的偏移,并据此调整换能器的焦点。该方法可有效减少重建图像中由皮肤表层相对于超声换能器的垂直运动所致的伪影,提高信噪比和分辨率。但由于穿透深度和成像区域有限,较难找到相对于成像目标静止的动态参考目标,因而其适用范围有限。

图 2.

Skin surface detected in raw RSOM data before and after motion correction with the dynamic reference method[14]

采用动态参考对象法校正运动前后的皮肤表层[14]

a. 未校正的健康皮肤;b. 校正后的健康皮肤;c. 未校正的银屑病斑块;d. 校正后的银屑病斑块

a. healthy skin uncorrected; b. healthy skin corrected; c. psoriasis plaque uncorrected; d. psoriasis plaque corrected

图 2

1.2.2. 运动量化法

动态参考对象法假设目标运动是刚性的,当目标运动量较大时,非刚性运动会影响其校正效果。针对该问题,Aguirre 等[15]提出利用垂直位移对图像质量的改善程度进行量化,校正由皮肤垂直运动所致的伪影。首先,将 RSOM 扫描头固定在所需位置,采集 10 s 的光声信号,激光的重复频率与常规 RSOM 相同。采集与每个激光脉冲对应的一维光声信号,将所有一维信号组合起来形成一个二维平面(即运动图),用于观察运动。计算第一个一维信号和其余一维信号之间互相关函数的最大值,得到位移函数:

1.2.2. 1

其中,Aτ,vt)是在时刻 τ 采集的一维信号,v 是超声波在水中的传播速度,t 是光声信号从声源到探测器的传播时间,vt 是反距离(reciprocal distance),“*”是互相关运算。然后,利用正常光栅扫描方式采集 RSOM 正弦图,并计算累积互相关表面(cross-correlation surface,CS)函数:

1.2.2. 2

其中,xiyj 分别是快扫描轴和慢扫描轴上采集网格的位置,(xi,yj)是正弦图中一条 A 扫描线的位置,tk 是每条 A 扫描线的时间,btk, xli, yN)表示时刻 tk、坐标(xi − l/2, yj)到(xi+l/2, yj)范围内的 A 扫描线对应的 B 扫描面。最后,计算一个合成平滑 CS 函数,将正弦图每一行的垂直位移量化为合成 CS 和原始 CS 之间的反距离,继而根据探测器到皮肤的实际距离重建图像。如图 3 所示,校正后图像的清晰度明显提高。该算法是全自动的,无需进行图像分割,对中低运动区域的校正效果优于高运动区域。当对黑色素瘤成像时,病灶表面对激发光的强烈吸收可能导致阴影效应,此时可采用较长波长的激发光减少阴影效应。

图 3.

Reconstructed images of the skin surface of the elbow joint before and after motion correction[15]

运动校正前后的肘关节皮肤表层图像[15]

a. 未进行运动校正的图像;b. 运动校正后的图像

a. before motion correction; b. after motion correction

图 3

1.2.3. 亚像素运动估计法

运动量化法可实现像素级的运动校正,但其忽略了亚像素级的错位对图像质量的影响。Cheng 等[16]提出了一种亚像素级运动估计方法,首先进行亚像素级全局运动校正,即将前一帧 B 扫描图像作为参考图像,估计后一帧的运动向量,然后利用样条插值法校正运动,最后进行亚像素级垂直运动校正,即通过累积互相关差分(cross-correlation differential,CD)函数计算 B 扫描面上 A 扫描线的总垂直位移:

1.2.3. 3

其中,xiyj 是采集网格在 x 轴和 y 轴方向上的位置,yN 是当前 B 扫描图像在 y 方向上的位置,cdxi,yN)是在当前 B 扫描图像中位于 xi 处的 A 扫描线的总位移,▽xx 方向上的差分算子,dzik 表示(xi, yN)处的 A 线与(xi,yN − 1)处的 A 线之间亚像素级相对位移的估计值。如图 4 所示,进行全局运动校正后,明显改善了水平和垂直方向的伪影,但仍存在条纹伪影,而进行垂直运动校正后,皮肤表面的光滑程度明显提高。该算法具有较高的校正精度,校正后的图像可以清晰显示血管边界,甚至是单根毛细血管。但是其所需的校正时间较长,且只能校正线性运动伪影,对旋转所致伪影的校正能力有限。

图 4.

PA images of skin of hand back before and after motion correction[16]

运动校正前后对人手背皮肤的光声成像结果[16]

a. 未进行运动校正;b. 亚像素全局运动校正;c. 亚像素全局和垂直运动校正

a. without motion correction; b. subpixel global motion correction; c. subpixel global and vertical motion correction

图 4

1.3. 基于 Demons 图像配准的运动补偿

Demons 算法是一种基于光流理论的图像配准方法,通常用于非刚性图像配准,其基本思想是假设运动目标的灰度不随时间变化,那么图像配准可以看作是浮动图像中的各像素向参考图像逐步扩散的过程,扩散速度取决于参考图像的灰度梯度信息[17]。针对 OR-PAM 图像中运动伪影的校正问题,Zhao 等[3]提出一种改进的 Demons 图像配准算法,其原理是:首先通过比较相邻层之间的互信息(mutual information,MI)值[18],从原始三维光声信号中识别和提取被运动损坏的 B 扫描图像 K,对 K 的非运动损坏相邻层,即 K-1K+1 层进行样条插值得到一个新层 K1;然后,将 K 层作为浮动图像,K1 层作为参考图像,利用 Demons 算法对 K 层和 K1 层进行非线性配准,使 K 层向 K1 层变形,得到一个新层 K2,根据光流方程得到位移 µ

1.3. 4

其中,fr 分别是浮动图像 F 和参考图像 R 在像素点 p 处的灰度值,r 是参考图像在 p 点处的灰度梯度。最后,计算 K1K2 层与 K− 1K+1 层之间的 MI 值,用 MI 最大值所在层(K1K2)替换原始数据中的 K 层。如图 5 所示,运动校正前血管图像中存在锯齿状的运动伪影,校正后图像的清晰度明显提高。该方法不需要动态参考对象,并且只需一组三维光声信号数据即可,但是数据采集和处理速度较慢。利用浸水式微电机扫描系统可提高数据采集速度[19],此外利用高性能图形处理单元(graphic processing unit,GPU)进行并行计算,也可以缩短数据处理时间,实现实时成像。

图 5.

Maximum amplitude projection images of rat iris vessels before and after motion correction based on Demons registration[3]

基于 Demons 图像配准的运动校正前后小鼠虹膜血管的最大幅值投影图像[3]

a. 原始图像;b. 运动校正后的图像

a. image corresponding to the raw data; b. image after motion correction

图 5

1.4. 基于深度学习的运动校正

近年来,深度学习(deep learning,DL)特别是卷积神经网络(convolutional neural network,CNN)已经迅速成为医学图像分析与处理的首选方法,在快速重建高质量的图像方面也表现出了巨大潜力[20]。例如 Chen 等[21]采用 DL 方法实现了 OR-PAM 图像中运动伪影的校正,其原理是:首先利用希尔伯特变换提取每个深度方向上光声信号的包络,并取其轴向投影的最大幅值,获得最大幅值投影(maximum amplitude projection,MAP)图像;然后搭建 CNN 模型,根据先验知识设计损失函数,使用反向传播算法更新网络参数(例如卷积核和神经元偏移向量),通过最小化损失函数对模型进行训练,提升模型的学习能力;最后利用该 CNN 模型进行图像后处理,校正运动伪影,结果如图 6 所示。增大卷积核可提高 CNN 的性能,但会降低处理效率,因此卷积核大小的选择应是性能与效率之间权衡的结果。虽然该方法是为 OR-PAM 设计的,但是可以通过改变训练集实现其他成像模式的运动伪影校正。然而 CNN 模型的搭建及训练需要大量成像数据,到目前为止还没有针对光声图像重建的公开数据集,可用的临床病例数据也十分有限。

图 6.

OR-PAM images of a rat brain before and after correction of motion artifacts by use of the CNN-based method[21]

采用 CNN 方法对大鼠大脑 OR-PAM 图像进行运动伪影校正前后的结果[21]

a. 原始图像;b. 运动校正后的图像

a. image corresponding to the raw data; b. image after motion correction

图 6

2. PAT 运动校正方法

2.1. PAT 原理及目标运动的影响

图 7 所示,PAT 是用非聚焦短脉冲激光作为激励源照射待成像组织,利用具有扫描功能的超声换能器或换能器阵列采集组织产生的光声信号,组织内不同深度的光吸收体产生的光声信号到达超声换能器的时间不同,利用时间分辨技术可获得多个不同层析面的光声信号,进而重建组织的二维或三维初始声压分布图或光吸收能量分布图[22]。PAT 的成像深度可达数厘米,空间分辨率可达数十微米,在冠状动脉粥样硬化性疾病、乳腺癌和消化系统病变等疾病的早期诊断方面具有良好的应用前景[23]

图 7.

图 7

Schematic diagram of PAT principle

PAT 成像原理示意图

由于 PAT 具有在单个纳秒级激光脉冲作用下从整个成像区域采集图像数据的能力,因此它能够有效消除单帧图像中的运动伪影。但是,在多光谱光声层析成像(multi-spectral optoacoustic tomography,MSOT)或基于扫描的成像系统中,多帧图像分析通常是必不可少的,因此需要采用有效的方法校正由运动引起的图像失真。例如,可以减少连续激光脉冲之间的延迟抑制运动[24-25],但需要专用的激光器系统。除此之外,主要的运动校正方法包括呼吸门控技术、运动聚类法、基于混合成像模型的方法和帧平均-帧间运动补偿法,如表 2 所列。

表 2. Comparison of existing methods of motion correction for PAT.

PAT 运动校正方法的对比

方法 适用范围 优点 不足
成像模式 运动类型
呼吸门控 硬件 胸部以下区域的 PAT 呼吸运动 ① 呼吸波形的监测不受图像噪声的影响;② 计算量小;③ 呼吸周期可视化 ① 呼吸不规律时会出现漏感应或错误感应;② 校正速度慢
软件 基于多帧图像分析
的全身 PAT
① 在重建图像前校正运动;② 校正速度快 ① 鲁棒性差;② 需要呼吸特征的先验知识
运动聚类 MSOT 呼吸、心跳和
脉搏运动
校正速度快 增加集群数量会降低信噪比
混合成像模型 声速恒定的 PAT 缓慢的运动 ① 精度高;② 可应用于旋转和平移等变形模型 反演公式、时间反演算法和级数解法均不可用
帧平均-帧间运动补偿 深层组织的 PAT 呼吸、脉搏和消化
器官的运动
① 显著提高轴向分辨率和峰值信噪比;② 运动矢量不累积 步长的选取直接影响校正精度

2.2. 呼吸门控技术

门控技术是医学成像中减少由心跳和呼吸所致运动伪影的常用方法,分为前瞻性和回顾性两种方式。前瞻性门控是指采用专门的心电或呼吸门控采集装置,只在每个心动或呼吸周期中的相同相位处采集图像或信号,由于每个心动或呼吸周期只采集一帧图像,因而与连续采集的方式相比,这种方式延长了成像时间。回顾性门控是指在整个心动或呼吸周期内连续采集图像或信号,同时记录心电信号或呼吸波形。待扫描结束后,将采集的图像或信号与心电或呼吸信号进行对照和分析,选择在相同相位处采集的图像或信号,该技术在许多需要精确定位器官的成像中是必不可少的[26-27]

小动物全身 PAT 系统的帧频通常小于 1 Hz,而小鼠的呼吸频率可高达 3 Hz,所以在对胸部以下区域进行 PAT 扫描时,呼吸是产生运动伪影的主要原因[28],导致图像模糊和分辨率下降。回顾性呼吸门控技术是消除 PAT 呼吸运动伪影的常用方法,包括硬件门控和软件门控两种方式。回顾性硬件呼吸门控是在成像目标自由呼吸时采集光声信号,同时利用外部设备监测呼吸波形,通过分析光声信号数据,选择出具有相同呼吸相位的信号[27]。例如,Xia 等[29]利用回顾性呼吸门控技术对小鼠的肝脏和肾脏 PAT 图像进行运动校正,将小鼠完全或部分浸入水中,利用压力传感器持续监测水位波动,并据此监测呼吸波形。然后,根据呼吸相位对光声信号进行排序和聚类,采用在同一呼吸相位采集的光声数据重建图像,结果如图 8 所示。该方法对呼吸波形的监测不受图像噪声的影响,而且数据处理的计算量较低,可直接观察呼吸周期,提高瞬时分辨率。但是若目标呼吸比较急促或者不均匀,往往会出现漏感应或错误感应,导致触发精度降低,因此需要对目标进行呼吸训练。

图 8.

In vivo cross-sectional PAT images acquired around the liver region of a mouse[29]

活体小鼠肝脏区域的横截面 PAT 图像[29]

a. 无呼吸运动门控;b. 有呼吸运动门控

a. without respiratory motion gating; b. with respiratory motion gating

图 8

回顾性软件呼吸门控不需要借助外部硬件设备监测呼吸波形,而是根据采集的光声信号计算呼吸门控信号[30]。例如,Ron 等[28]提出一种自门控技术,首先将超声换能器阵列中各阵元采集的光声信号排列成二维矩阵,其中行表示各信号的 m 个时间样本,列对应换能器阵列的 n 个阵元,在每个换能器位置共采集 k 帧,并将该帧序列排列成一个 m × n 行和 k 列的二维矩阵,表示在该换能器位置的整个帧序列;然后利用主成分分析法计算相邻帧之间的自相关矩阵,并对其采用二阶 k-means 算法进行聚类[31-32],将 k 帧分为运动帧和静态帧两类;最后利用滤波反投影算法重建三维图像,结果如图 9 所示。该方法可在重建图像之前进行运动校正,提高图像的清晰度和信噪比,避免对图像进行后处理。但是有的生物体两次呼吸之间的停顿超过单次呼吸长度,需根据呼吸特征的先验知识建立运动帧和静态帧之间的区分标准。此外,呼吸门控信号提取的准确性会影响运动校正的效果。

图 9.

Motion rejection results for spiral volumetric optoacoustic tomography[28]

采用自呼吸门控技术对小鼠 PAT 图像的运动伪影抑制结果[28]

a. 选择出的帧;b. 丢弃的帧(箭头指示产生变形的结构);c. 图 a 中虚线标记位置的声压幅值曲线,其中虚线曲线对应采用所有帧进行图像重建,实线曲线对应采用选择帧进行图像重建

a. selected frame; b. rejected frame (distorted structures are marked with arrows); c. amplitude profiles marked in Fig. a (dashed lines) for images reconstructed from all the frames (dashed lines) versus selected frames (solid lines)

图 9

2.3. 基于运动聚类的校正方法

MSOT 根据不同组织的光谱吸收特性,利用不同波长的脉冲激光照射组织,产生具有组织特异性的光声信号,可更好地识别和标定组织成分[33]。对于心脏 MSOT,信号采集过程中的心跳运动会导致图像产生模糊,分辨率降低[34-35]。Taruttis 等[34]提出采用运动聚类技术对心脏 MSOT 图像进行运动校正,其原理是:首先利用反投影算法重建每个波长对应的 100 帧图像;然后利用 k-means 算法对 100 帧图像进行聚类,再对聚类后的图像求平均,考虑到心室运动存在两个转折点,因此聚类的集群数量取值为 2;最后对平均后的图像进行线性光谱解混。如图 10 所示,执行聚类的图像中由运动造成的模糊程度明显降低,且增加集群数量可进一步降低运动模糊程度,但也会降低信噪比。随着集群数量的增加,集群之间的距离会减小,也提高了对 k-means 算法聚类能力的要求,因此需要结合图像模糊程度、信噪比和 k-means 算法的性能设定集群数量。

图 10.

Motion correction for unmixed MSOT images of deoxyhemoglobin contribution[34]

由光谱解混获得的脱氧血红蛋白 MSOT 图像[34]

a. 直接对各波长的 100 帧图像进行平均得到的光谱解混图像;b. 只对各波长的较大集群图像进行平均得到的光谱解混图像;c. 只对各波长的较小集群图像进行平均得到的光谱解混图像

a. unmixed image after all 100 images were averaged for each wavelength; b. unmixed image after averaging only the larger clusters for each wavelength; c. unmixed image after averaging only the smaller clusters for each wavelength

图 10

2.4. 基于混合成像模型的运动校正

Chung 等[36]提出一种基于混合成像模型的图像重建方法,建立考虑呼吸运动的成像模型,并求解使模型输出值与光声测量数据之间误差最小的非线性最小二乘问题,同时实现运动校正和图像重建。其原理是:假设声速恒定,成像目标在连续两次照明和测量之间的变化非常缓慢,用声压的圆 Radon 变换(circular radon transform,CRT)[37]表示声压测量数据:

2.4. 5

式中,r 是换能器与变形区域之间的距离,ϕ 是换能器阵列旋转的角度,zϕ)=(cosϕ, sinϕ)是测量位置,fϕ 是初始声压 ftϕ 时刻的变形,Φϕ, x)是点 x 到点 y 的变形映射,Ψ(ϕ,·)是 Φϕ,·)的逆映射[38]JxΦϕ, x)]是变量 xy = Φϕ, x)变形映射的雅可比行列式的绝对值。那么,PAT 图像重建问题可简化为逆 CRT 问题。假设由呼吸产生的运动是垂直拉伸,建立光声成像的离散模型:

2.4. 6

其中,g =[g1 ··· gnT∈Rn × m 是测量值矩阵,n 是换能器的测量位置数,f 是初始声压矩阵,γ =[γ1 ··· γnT 是运动参数矩阵,γizi 处的运动参数,e =[e1 ··· enT∈Rn × m 是独立同分布的高斯噪声矩阵,Aγ)=[A1Kγ1) ··· AnKγn)]T∈Rnm × NAi 是每个换能器位置对应的投影矩阵,Aif 表示 f 在以 zi 为中心的圆上的 CRT,fi = Kγif 是第 i 个变形后的声压矩阵,Kγi)∈RN × N 表示一维拉伸/膨胀变形。当运动参数是变量时,f 的估计问题定义为如下非线性最小二乘问题:

2.4. 7

式中,λ 是正则化参数。利用变量投影算法[39]分离线性变量和非线性变量,进而采用高斯牛顿迭代法[40]对非线性参数γ进行优化,其中利用复合最小二乘 QR 分解(hybrid least square QR factorization,HyBR)算法自动选择正则化参数,并求解关于 f 的线性最小二乘问题,结果如图 11 所示。该方法不仅可应用于垂直拉伸模型,还可以扩展到其他变形模型,例如旋转或者平移。

图 11.

PAT images reconstructed based on a hybrid model[36]

基于混合成像模型的 PAT 图像重建结果[36]

a. 忽略运动;b. 采用 LSQR 算法求解线性问题;c. 采用 HyBR 算法求解线性问题

a. initial regularized reconstruction ignoring motion; b. reconstruction obtained by using LSQR to solve the linear problem; c. reconstruction obtained by using HyBR to solve the linear problem

图 11

2.5. 帧平均-帧间运动补偿

对于深层组织的 PAT,由于产生的声压信号较弱,导致重建图像质量较差。为了提高信噪比,可以利用高功率脉冲激光来提高声压,但是这种方法存在安全风险(皮肤辐射暴露 < 20 mJ/cm2)。对于采用安全激光脉冲能量的 PAT,可利用帧平均(frame averaging,FA)技术,对相同几何结构的图像进行平均以提高图像的信噪比。但是因为激光脉冲重复频率的限制以及成像目标运动的影响,采用 FA 技术很难实现高分辨率实时成像。针对该问题,Kim 等[41]将 FA 技术与帧间运动补偿(inter-frame motion compensation,IFMC)相结合,即 FA-IFMC 技术,用于补偿深层组织 PAT 图像中的运动伪影。其原理是:首先,利用块匹配算法[42]和三步搜索法进行运动估计,从最近获得的图像中选取局部参考区,在先验图像中选取对比区,二者大小相同,用平均绝对误差(mean absolute difference,MAD)作为匹配准则:

2.5. 8

其中,NM 分别是待匹配图像块在轴向和横向上的像素数,CijRij 分别是对比区和参考区中像素(i, j)的灰度值。将参考区及其邻近区域定义为搜索区域,在参考区及其八邻域方向上以步长逐次减半的方式进行搜索,在搜索区域中找到与对比区最相似的子区域,参考区和相似子区域之间的坐标偏移就是估计出的运动矢量。然后,根据运动矢量,利用 IFMC 比较图像序列中的相邻帧实现运动伪影的校正。

图 12 所示,与传统 FA 相比,FA-IFMC 提高了成像的峰值信噪比和轴向分辨率。与帧运动补偿(frame motion compensation,FMC)[41]相比,由于 FMC 选取的参考图像和对比图像不是相邻帧,两帧之间的运动矢量随着时间的增加而积累,而搜索步长又限制了搜索区域的大小,导致运动矢量很容易超出搜索范围,而 FA-IFMC 的参考图像和对比图像取自相邻帧,避免了帧平均-帧运动补偿(frame averaging-frame motion compensation,FA-FMC)中的问题。但是步长决定了运动估计的精度和搜索范围,需谨慎选择,后续研究中可利用变形块匹配算法进行运动估计,并利用浮动步长提高运动补偿的能力。

图 12.

PAT images after motion compensation superposed on ultrasonic images[41]

PAT 图像的运动补偿结果(叠加在超声图像上)[41]

a. 对无运动的 64 帧图像进行帧平均的结果;b. FA 法;c. FA-FMC 法;d. FA-IFMC 法

a. averaging 64 frames without motion; b. FA method; c. FA-FMC method; d. FA-IFMC method

图 12

3. 结论

在光声成像中,目标的呼吸、心跳、脉搏、眼球转动和身体移动等会导致图像中产生运动伪影,降低成像分辨率,对运动伪影进行抑制和补偿对于提高成像质量具有重要意义。本文分别对 PAM 和 PAT 中运动伪影的主要校正方法进行了归纳和总结。目前,该领域仍面临诸多问题,例如:为了提高运动聚类法的准确性,需要不断提高 k-means 算法的聚类性能;多数方法不具有一般性,例如基于 Demons 图像配准的方法只有在成像区域中血管数量较多的情况下才能取得理想的校正效果,呼吸门控法只适用于校正由呼吸运动产生的伪影;多数方法只能校正垂直方向上由一维运动产生的伪影,针对其他方向上或者由二维运动产生的伪影的校正是未来主要的研究方向;虽然采用运动校正方法可明显改善图像质量,但是为了实现实时成像,仍需提高成像系统的数据采集和处理速度。

此外,现有的运动校正方法均是针对体外扫描成像系统的,尚未检索到针对内窥式光声成像[43]的运动校正方法。例如,冠状动脉血管内光声(intravascular photoacoustic,IVPA)图像序列[44]中存在由周期性的心脏运动、呼吸运动和动脉内搏动的血流造成的运动伪影,在横截面图像中表现为相邻帧之间血管横截面的错位,在纵向视图中表现为血管壁呈现锯齿状边缘,严重影响了 IVPA 图像序列的视觉效果,降低了血管形态结构和组织成分定量分析以及血管三维重建的精度。因此,针对内窥式光声成像中运动伪影的校正将是未来该领域的重要研究方向之一。

利益冲突声明:本文全体作者均声明不存在利益冲突。

Funding Statement

国家自然科学基金资助项目(62071181)

The National Natural Science Foundation of China

References

  • 1.孙梦娟, 吴丹, 蒋华北 光声成像与中医药研究. 世界中医药. 2020;15(11):1527–1534. doi: 10.3969/j.issn.1673-7202.2020.11.003. [DOI] [Google Scholar]
  • 2.林日强, 冷吉, 陈敬钦, 等 面向临床应用的光声成像技术. 中国医疗设备. 2018;33(1):1–5, 15. doi: 10.3969/j.issn.1674-1633.2018.01.001. [DOI] [Google Scholar]
  • 3.Zhao H, Chen N, Li T, et al Motion correction in optical resolution photoacoustic microscopy. IEEE Trans Med Imaging. 2019;38(9):2139–2150. doi: 10.1109/TMI.2019.2893021. [DOI] [PubMed] [Google Scholar]
  • 4.Lin R, Chen J, Wang H, et al Longitudinal label-free optical-resolution photoacoustic microscopy of tumor angiogenesis in vivo. Quant Imag Med Surg. 2015;5:23. doi: 10.3978/j.issn.2223-4292.2014.11.08. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 5.Zhao H, Wang G, Lin R, et al Three-dimensional hessian matrix-based quantitative vascular imaging of rat iris with optical-resolution photoacoustic microscopy in vivo. J Biomed Opt. 2018;23(4):1–11. doi: 10.1117/1.JBO.23.4.046006. [DOI] [PubMed] [Google Scholar]
  • 6.Zhao H, Li K, Chen N, et al Multiscale vascular enhancement filter applied to in vivo morphologic and functional photoacoustic imaging of rat ocular vasculature. IEEE Photonics J. 2019;11(6):3900912. [Google Scholar]
  • 7.龙晓云, 田超 生物医学光声显微成像: 技术和应用进展. 中国激光. 2020;47(2):207–221. [Google Scholar]
  • 8.张建辉, 陈宁波, 王柏权, 等 光声显微成像技术的研究进展. 数据采集与处理. 2019;34(5):771–788. [Google Scholar]
  • 9.陈懂. 声学分辨率光声显微成像系统的构建与研究. 昆明: 云南大学, 2018.
  • 10.杜怡. 光声显微成像信号的时频分析和去噪. 上海: 上海交通大学, 2015.
  • 11.Shintate R, Morino T, Kawaguchi K, et al Development of optical resolution photoacoustic microscopy with sub-micron lateral resolution for visualization of cells and their structures. Jpn J Appl Phys. 2020;59(SK):1–11. [Google Scholar]
  • 12.Bailleul J, Simon B, Debailleul M, et al Tomographic diffractive microscopy: towards high-resolution 3-D real-time data acquisition, image reconstruction and display of unlabeled samples. Opt Commun. 2018;422(SI):28–37. [Google Scholar]
  • 13.Liu W, Yao J J Photoacoustic microscopy: principles and biomedical applications. Biomed Eng Lett. 2018;8(2):203–213. doi: 10.1007/s13534-018-0067-2. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 14.Schwarz M, Garzorz-Stark N, Eyerich K, et al Motion correction in optoacoustic mesoscopy. Sci Rep. 2017;7(1):10386. doi: 10.1038/s41598-017-11277-y. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 15.Aguirre J, Berezhnoi A, He H L, et al Motion quantifification and automated correction in clinical RSOM. IEEE Trans Med Imag. 2019;38(6):1340–1346. doi: 10.1109/TMI.2018.2883154. [DOI] [PubMed] [Google Scholar]
  • 16.Cheng Z W, Ma H G, Wang Z Y, et al Subpixel and on-line motion correction for photoacoustic dermoscopy. IEEE J Sel Top Quantum Electron. 2021;27(4):6800408. [Google Scholar]
  • 17.Lan S, Guo Z, You J Non-rigid medical image registration using image field in demons algorithm. Pattern Recogn Lett. 2019;125(7):98–104. [Google Scholar]
  • 18.Lin L H, Chen T J Mutual information correlation with human vision in medical image compression. Curr Med Imaging Rev. 2018;14(1):64–70. doi: 10.2174/1573405613666171003151036. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 19.Moothanchery M, Bi R, Kim J Y, et al Optical resolution photoacoustic microscopy based on multimode fibers. Biomed Opt Express. 2018;9(3):1190–1197. doi: 10.1364/BOE.9.001190. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 20.孙正, 王新宇 深度学习在光声成像中的应用现状. 计算机科学. 2020;47(6A):148–152. [Google Scholar]
  • 21.Chen X X, Qi W Z, Xi L Deep-learning-based motion-correction algorithm in optical resolution photoacoustic microscopy. Vis Comput Ind Biomed Art. 2019;2(1):1–6. doi: 10.1186/s42492-019-0012-y. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 22.孙正, 闫向阳 采用稀疏测量数据的有限角度光声层析成像的研究进展. 声学技术. 2020;39(1):1–10. [Google Scholar]
  • 23.刘强, 金天, 陈倩, 等 小型化光声成像技术在生物医学领域的研究进展. 中国激光. 2020;47(2):256–264. [Google Scholar]
  • 24.Deán-Ben X L, Bay E Functional optoacoustic imaging of moving objects using microsecond-delay acquisition of multispectral three-dimensional tomographic data. Sci Rep. 2014;4:5878. doi: 10.1038/srep05878. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 25.Märk J, Wagener A Photoacoustic pump-probe tomography of fluorophores in vivo using interleaved image acquisition for motion suppression. Sci Rep. 2017;7:40496. doi: 10.1038/srep40496. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 26.Lu Y H, Fontaine K, Mulnix T, et al Respiratory motion compensation for PET/CT with motion information derived from matched attenuation-corrected gated PET data. J Nucl Med. 2018;59(9):1480–1486. doi: 10.2967/jnumed.117.203000. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 27.Moghari M H, Barthur A, Amaral M E, et al Free-breathing whole-heart 3D cine magnetic resonance imaging with prospective respiratory motion compensation. Magn Reson Med. 2018;80(1):181–189. doi: 10.1002/mrm.27021. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 28.Ron A, Davoudi N, Deán-Ben X L, et al Self-gated respiratory motion rejection for optoacoustic tomography. Appl Sci. 2019;9(13):2737. doi: 10.3390/app9132737. [DOI] [Google Scholar]
  • 29.Xia J, Chen W Y, Maslov K, et al Retrospective respiration-gated whole-body photoacoustic computed tomography of mice. J Biomed Opt. 2014;19(1):16003. doi: 10.1117/1.JBO.19.1.016003. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 30.van de Lindt T, Fast M, Nowee M, et al PO-0956: A self-gated coronal 4D-MRI method for daily imaging of liver lesions on an MR-Linac. Radiother Oncol. 2018;127(S5):23–24. doi: 10.1016/j.ijrobp.2018.05.029. [DOI] [PubMed] [Google Scholar]
  • 31.Capo M, Perez A, Lozano J A. A cheap feature selection approach for the k-means algorithm. IEEE T Neur Net Lear, 2020. DOI: 10.1109/TNNLS.2020.3002576.
  • 32.马健 基于改进的k-means算法初始化方法研究. 云南民族大学学报(自然科学版) 2020;29(3):274–278. [Google Scholar]
  • 33.Karlas A, Kallmayer M, Fasoula N A, et al Multispectral optoacoustic tomography of muscle perfusion and oxygenation under arterial and venous occlusion: a human pilot study. J Biophotonics. 2020;13(6):1–9. doi: 10.1002/jbio.201960169. [DOI] [PubMed] [Google Scholar]
  • 34.Taruttis A, Claussen J, Razansky D, et al Motion clustering for deblurring multispectral optoacoustic tomography images of the mouse heart. J Biomed Opt. 2012;17(1):016009. doi: 10.1117/1.JBO.17.1.016009. [DOI] [PubMed] [Google Scholar]
  • 35.Ivankovic I, Merčep E, Schmedt, C G, et al Real-time volumetric assessment of the human carotid artery: handheld multispectral optoacoustic tomography. Radiology. 2019;291(1):45–50. doi: 10.1148/radiol.2019181325. [DOI] [PubMed] [Google Scholar]
  • 36.Chung J, Nguyen L Motion estimation and correction in photoacoustic tomographic reconstruction. SIAM J Imaging Sci. 2017;10(1):216–242. doi: 10.1137/16M1082901. [DOI] [Google Scholar]
  • 37.Gubinelli M, Koch H, Oh T Renormalization of the two-dimensional stochastic nonlinear wave equation. T Am Math Soc. 2018;370(10):7335–7359. doi: 10.1090/tran/7452. [DOI] [Google Scholar]
  • 38.Schuster T, Hahn B, Burger M Dynamic inverse problems: modelling-regularization-numerics. Inverse Probl. 2018;34(4):040301. doi: 10.1088/1361-6420/aab0f5. [DOI] [Google Scholar]
  • 39.Chen G Y, Wang S Q, Wang D Q, et al Regularization methods for separable nonlinear models. Nonlinear Dyn. 2019;98(2):1287–1298. doi: 10.1007/s11071-019-05262-5. [DOI] [Google Scholar]
  • 40.Iakymchuk R, Yarmola H, Shakhno S Gauss-Newton-Secant method for solving nonlinear least squares problems. Proc Appl Math Mech. 2018;18(1):e201800228. [Google Scholar]
  • 41.Kim M, Kang J, Chang J H, et al. Image quality improvement based on inter-frame motion compensation for photoacoustic imaging: a preliminary study// Proceedings of 2013 IEEE International Ultrasonics Symposium (IUS). Prague: IEEE, 2013: 1527-1531.
  • 42.Manikandan L C, Nair S A H, Sanalkumar K P, et al A study and analysis on block matching algorithms for motion estimation in video coding. Cluster Comput. 2019;22(5):11773–11780. [Google Scholar]
  • 43.Miranda C, Marschall E, Browning B, et al Side-viewing photoacoustic waveguide endoscopy. Photoacoustics. 2020;19:100167. doi: 10.1016/j.pacs.2020.100167. [DOI] [PMC free article] [PubMed] [Google Scholar]
  • 44.Iskander-Rizk S, Wu M, Springeling G, et al In vivo intravascular photoacoustic imaging of lipid plaque in coronary atherosclerosis. EuroIntervention. 2019;15(5):452–456. doi: 10.4244/EIJ-D-19-00318. [DOI] [PubMed] [Google Scholar]

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University

RESOURCES