Combining Visual Cues with Interactions for 3D–2D Registration in Liver Laparoscopy翻译

Combining Visual Cues with Interactions for 3D–2D Registration in Liver Laparoscopy翻译

• 0. 摘要
• 1. 介绍
• 2. 相关工作
• • 2.1 肝脏术前模型配准
• 3. 方法
• • 3.1 混合方法配准
  • • 3.1.1 原理流程
    • 3.1.2 生物力学模型和视觉信息
    • 3.1.3 笼子用户交互
  • 3.2 触觉图形用户界面
• 4. 结果
• • 4.1 在肝体膜上的评估精确度
  • 4.2 活体肝的多变性和控制视图
  • • 4.2.1 Variability for MR, AB and HB Registrations
    • 4.2.2 Control View
    • 4.2.3 Registration Time
  • 4.3 离体羊肝评估精确度
• 5. 讨论
• 6. 文献

0. 摘要

1. 介绍

目前腹腔镜手术的主要难点之一是无法准确定位目标器官的内部解剖结构(由于缺乏触觉信息反馈)。这对于可能包含恶性肿瘤，需要精确切除肿瘤边缘的肝脏来说是一个特别重要的问题。克服这一难点，增强现实 (AR) 是一种很有前景的方法。它的关键思想是将从术前 CT重建的三维模型配准到腹腔镜图像上，肿瘤及其肿瘤边缘或血管结构信息在增强现实中显示。在手术的初始探索阶段，增强现实指导外科医生制定切除计划。下图 1 显示增强的腹腔镜图像示例。腹腔镜图像与肿瘤边界肝脏表面（腹腔镜不可见）以及沿着肿瘤边缘的计划切除路径进行投影重叠。与腹腔镜检查中使用的经典映射方法相比，文献12提出的 AR 系统可以应对肝脏从术前到术中阶段所经历的变形。此外，与从单独的屏幕映射到腹腔镜图像上相比，直接将腹腔镜图像与已注册的实质内结构的术前模型重叠，可以让外科医生对这些结构的真实位置有更直观的视觉效果。

######################无法加载图，系统监测违规##############
图1：增强的腹腔镜图像示例：肿瘤边界（红色）及其肿瘤边缘（绿色）投影到肝脏表面。可见下表面肿瘤（黄色）和主要血管（蓝色）。蓝色标记是规划的切除路径。 从肝脏表面到肿瘤的每一厘米处遍布红点。肿瘤边缘1cm范围进行切除，用于治疗结直肠癌肝转移 (CRLM) 和肝细胞癌 (HCC)。

基于 增强现实AR 的经典腹腔镜引导系统由两个阶段组成：
(i) 初始配准阶段：在此阶段术前 3D 模型与术中腹腔镜图像对齐或配准；
(ii) 更新阶段：在此期间，模型通过跟踪视觉信息自动注册到新的腹腔镜图像。
当前的系统充其量只能处理有限的平滑变化，例如由呼吸、心跳和手术器械操作引起的变化，但会因切割或撕裂等不规则变化而失败。 在这篇文章中，我们专注于初始平滑变形配准阶段 (i)，这是一个非常具有挑战性且目前被高度研究的问题。其原理如下图2所示。

######################无法加载图，系统监测违规##############
图2：术前 3D 肝脏模型与腹腔镜图像的配准。 从 CT 中提取术前 3D 模型，相机代表腹腔镜。 术前 3D 模型包括外表面为灰色的肝脏及其部分内部解剖结构，即黄色为表面下的肿瘤，蓝色为静脉。

注册问题的难度是双重的。 首先，肝脏在腹腔镜图像中仅部分可见；因为肝脏尺寸大且靠近腹腔镜。 其次，肝脏在术前模型和腹腔镜图像之间发生了显着变形；因为气腹（术中吹入二氧化碳气体）和手术器械对其的操作。 我们专注于常规腹腔镜检查，它在计算机视觉方面是一个单目针孔摄像头，并形成了手术室的标准。 很明显，任何为单眼腹腔镜设计的系统都可以扩展到立体腹腔镜。

目前，最有价值的注册方法有两个主要特点。首先，他们仅从图像内容解决注册，而不借助于外部硬件。其次，他们使用由肝脏、肿瘤和血管表面等组织结构组成的术前 3D 模型，这些组织结构通过术前CT数据分割方法重建而成。最先进的注册方法分为手动（文献15）和自动（文献1,11,17）两种。在文献 15 中，术前 3D 模型通过用户交互与腹腔镜图像刚性配准。在文献 1,11 和 17 中，术前模型通过Iterative Closest Point（ICP）按照生物力学模型进行变形，以匹配从腹腔镜图像中提取的视觉信息。这些视觉信息是解剖学标志，包括镰状韧带和下脊，以及轮廓。当前的手动和自动方法都存在重要的缺点，如下图 3 所示。在文献 15 中，刚性假设过于严格，无法准确模拟肝脏变形。在文献 1,11 和 17 中，视觉信息是稀疏的，并且没有足够的信息用来精准配准。尽管原因不同，但这两种情况都会导致配准错误，从而削弱 AR 的可靠性。

• 第一次评估对象：硅肝体模，重建从 CT 重建获得的患者肝脏形状。模型发生变形，并使用 Structure-from-Motion 来重建它的真实 3D 形状。通过 4 个不同变形数据集（每个数据集 5 个视图）的 20 个视图进行测试配准。配准误差是术前模型和真实模型顶点之间的平均距离。配准误差用来对可见部分和隐藏部分进行评估。
• 第二次评估对象：7 名患者的 7 幅图像。由 5 名外科医生为每位患者进行配准。他们的手动交互包括 自动生物力学方法AB 和 混合方法HB 的视觉信息标记。获得的配准结果用于评估和比较用户间配准的差异性，以及用于配准的原始视图和从插入另一个光学套管针的腹腔镜获得的控制视图中的 2D 重投影误差。配准差异性（定义为顶点位置标准偏差的均方根），在配准的 3D 模型的所有顶点和可见顶点上进行评估。
• 第三次评估：包括腹腔镜图像中可见的肝脏的一组遮挡轮廓片段与原始视图和控制视图中注册的 3D 模型轮廓的边界之间的 2D 重投影误差测量。
• 第四次评估：包括测量离体羊肝的配准误差。将三个内部人工肿瘤注射到肝脏中。对肝脏的初始状态和变形状态进行 CT 扫描，分别获得术前和真实 3D 模型。对三种肿瘤的 MR、AB 和 HB方法 的两个腹腔镜视图的配准误差进行了评价。

2. 相关工作

2.1 肝脏术前模型配准

本节综述从在单目内窥镜中使用图像内容和使用其他方式的两种方法入手阐述术前肝脏模型配准。

单目内窥镜方法处理单个腹腔镜图像，其中手动标记的轮廓表征视觉信息 。具体讲，文献11 和 17 依赖于轮廓，即镰状韧带、下脊线以及轮廓；而文献1完全依赖于轮廓。 文献11还使用了一个阴影信息的方法，而 文献17利用环境先验建模气腹和重力的影响。 由于涉及内脏的未知边界条件，在体内利用这些环境先验仍然很困难。 这些方法对标准腹腔镜检查兼容是理想的。 它们的主要限制之一是闭塞部分仍然很难配准，这对配准的肿瘤和血管的位置有着直接的影响。

非单目内窥镜方法（文献11-21） 使用双目内窥镜重建术中肝脏形状的可见表面。在文献10中，肝脏的 3D 轮廓边界会在可见表面上自动分割并用于约束配准。 文献18的方法 在术前和术中表面 格上提取 3D 特征，并使用特征描述符和位置找到对应关系；然后通过刚性配准对齐这两个形状。文献21中重建术中肝脏形状的表面斑块。双目内窥镜使用光学定位系统进行跟踪。这允许在世界坐标中定位肝脏位置并使用它们进行配准。 文献8中使用跟踪笔在肝脏表面上标记。因为标记点的位置是已知的，所以可以直接进行配准。 文献16使用术中 CT 扫描进行配准。最后，文献7通过在 CT 体积内对腹腔镜远端本身成像并将其与阴影相结合，将术中 CT 扫描配准到腹腔镜图像上。这些方法都依赖于非标准腹腔镜检查或特殊硬件来解决配准问题。尽管如此，除了文献16，目前都没能解决配准肝脏隐藏部分的问题，极大限制了在 AR 中的使用。

• 在基于点的方法中，用户提供一组点位移，每个位移都包括一个点及其预期的运动和影响区域。点的分布方式不取决于模型的形状，而更多地取决于用户的偏好。当这些点被移动时，器脏会被扭曲以匹配位移形变。【文献5】
• 在基于曲线的方法中，形变由一条或多条曲线控制，控制点分布形成一条线。变形器脏被扭曲以从源曲线映射到目标曲线。【文献4】
• 基于表面的方法包括器脏变形，在平移一组控制点来修改表面时。控制点直接位于模型的表面上。其主要困难之一是找到一种将器脏上的样本点附加到形变patch上的方法。【文献9】
• 基于笼子的方法包住器脏。这个笼子可以有一个固定的形状，例如一个长方体（文献20）或者可以适应形变物体的形状（文献19）。 这个笼子的形状可以通过重新定位控制点来改变。然后将产生的笼子形变转移到器脏上。

3. 方法

3.1 混合方法配准

我们首先描述我们方法的原理和流程。 然后，描述了生物力学模型和视觉信息约束的实现过程。 最终展示了这些如何与基于笼子的用户交互集成。

3.1.1 原理流程

我们的混合配准方法将术前 3D 模型和单个腹腔镜图像作为输入。 其原理是将生物力学模型与手动自动配准方法相结合。利用从图像中提取的用户交互和视觉信息来解决配准问题。因此，我们的方法依赖于三个约束条件，前两个是参考文献11。这些是基于 Neo-Hookean弹性模型、使用镰状韧带、作为曲线对应下脊线以及轮廓的生物力学模型。 第三个约束条件是基于笼子的约束，对用户交互进行建模。具体而言，术前3D模型由四面体 格（tetrahedral mesh）表征，基于位置的动力学原理（position-based dynamics）进行优化。

我们方法的流程如图 4 所示，7 个主要步骤，前两个步骤参考文献11。

• 第(1)步：用户在腹腔镜图像上标记镰状韧带、下脊线和轮廓。
• 第(2)步：用户在术前3D模型上标记对应的轮廓。
• 第(3)步：系统生成包围术前 3D 模型的笼子，用于在步骤 (6) 中进行用户交互。
• 第(4)步：将笼子的控制点和术前 3D 模型共四面体，获得单个整体四面体模型。
• 第(5)步：根据文献11的自动方法，仅使用视觉提信息计算初始配准。该初始配准是交互式配准所必需的。
• 第(6)步：用户通过移动笼子的控制点以交互方式调整配准。配准会实时更新，为用户提供实时反馈。在这一步重要的是，笼子的控制点和视觉信息都用于更新配准。
• 第(7)步：最后，一旦用户对配准结果满意，使用从术前 3D 模型转移的隐藏解剖元素来增强腹腔镜图像。

3.1.2 生物力学模型和视觉信息

生物力学模型是通过使用各向同性 Neo-Hookean 弹性模型增强术前 3D 模型而创建的（文献6）。这种非线性超弹性模型在以下三个条件下非常适用于腹腔镜中的配准，其中涉及中等形变；1）肝脏从镰状韧带和圆韧带中被释放后（出于可及性目的，总是在手术开始时进行）；2）在没有来自工具的强大的外力时；3）任何切除之前。相关的设备参数设置为肝脏测量的通用值，即Young’s modulus E = 60000 Pa 和Poisson比率v = 0.49（文献17）。轮廓约束依赖于解剖标志，即下脊线、镰状韧带和边缘轮廓来约束形变。

• 下脊线轮廓位于肝脏底部，几乎总是可见，并且具有非常独特的轮廓。
• 镰状韧带将肝脏连接到腹壁，它位于左右叶之间的分离区；其手术初期切开，让肝脏可以自由翻动；然后在肝脏外表面上清楚地看到它的位置。这两组轮廓片段是静止的。它们与术前 3D 模型中顶点的对应关系在整个配准过程中保持不变。
• 最后一组是肝脏边缘轮廓，使肝脏模型不会形变超出这些边界。

3.1.3 笼子用户交互

3.2 触觉图形用户界面

• 第一部分：可视化区域
  显示腹腔镜图像和术前三维模型。用户可以通过触觉手势或者键盘鼠标来定位术前三维模型和标记轮廓。
• 第二部分：左侧工具栏
  导入或者导出腹腔镜图像和术前三维模型。
• 第三部分：右侧工具栏
  修改术前三维模型外观、标记视觉信息、启动配准。
• 第四部分：下侧工具栏
  控制可视化区域大小，让用户激活笼子调整模式，并且实现其他复杂功能。

1）下图这个按钮设置从先前校准流程中获得的腹腔镜参数开启配准。

5）用户通过点击下图按钮进行轮廓配准。然后可以平移和旋转术前 3D 模型，使其与图像大致吻合。

7）完成后，用户可以通过单击下图这个按钮继续使用笼子调整配准。在系统结合视觉信息和笼子进行实时配准显示的同时，笼子的顶点可以被拖动调整。

4.2.2 Control View

5. 讨论

配准性能仍然与腹腔镜手术固有的技术困难相关，例如视野缩小和视点范围有限，这可能会随着患者的解剖结构而显着变化。 例如，一个腹腔镜图像的配准，其肝脏完全可见且解剖标记可以准确定位（表5中的5 患者）比肝脏部分可见、标记定位不明确情况下的配准更准确（表5中的3 患者）。

6. 文献

[1] Adagolodjo, Y., R. Trivisonne, N. Haouchine, S. Cotin, and H. Courtecuisse. Silhouette-based pose estimation for deformable organs application to surgical augmented reality. In: IROS, 2017.
[2] Adams, F., T. Qiu, A. Mark, B. Fritz, L. Kramer, D. Schlager, U. Wetterauer, A. Miernik, and P. Fischer. Soft 3D-printed phantom of the human kidney with collecting system. Ann. Biomed. Eng. 45:963–972, 2017.
[3] AgiSoft PhotoScan Professional (Version 1.2.6) (Software), 2016.
[4] Barr, A. H. Global and local deformations of solid primitives. Comput. Graph. 18(3):21–30, 1984.
[5] Bechmann, D., and D. Gerber. Arbitrary shaped deformations with dogme. Vis. Comput. 19:175–186, 2003.
[6] Bender, J., D. Koschier, P. Charrier, and D. Weber. Position-based simulation of continuous materials. Comput. Graph. 44:1–10, 2014.
[7] Bernhardt, S., S. Nicolau, A. Bartoli, V. Agnus, L. Soler, and C. Doignon. Using shading to register an intraoperative CT scan to a laparoscopic image. Computer-Assisted Robotic Endoscopy. CARE, 2015.
[8] Clements, L., J. Collins, J. Weis, A. Simpson, T. Kingham, W. Jarnagin, and M. Miga. Deformation correction for image guided liver surgery: an intraoperative fidelity assessment. Surgery 162(3):537–547, 2017.
[9] Feng, J., J. Shao, X. Jin, Q. Peng, and R. Forrest. Multiresolution free-form deformations with subdivision surfaces of arbitrary topology. Vis. Comput. 22(1):28–42, 2005.
[10] Haouchine, N., F. Roy, L. Untereiner, and S. Cotin. Using contours as boundary conditions for elastic registration during minimally invasive hepatic surgery. In: IROS, 2016.
[11] Koo, B., E. Ozgur, B. Le Roy, E. Buc, and A. Bartoli Deformable registration of a preoperative 3D liver volume to a laparoscopy image using contour and shading cues. In: MICCAI, 2017.
[12] Lamata, P., F. Lamata, V. Sojar, P. Makowski, L. Massoptier, S. Casciaro, W. Ali, T. Studeli, J. Declerck, O. Elle, and B. Edwin. Use of the Resection Map system as guidance during hepatectomy. Surg. Endosc. 24:2327–2337, 2010.
[13] Margonis, G., T. Sergentanis, I. Ntanasis-Stathopoulos, N. Andreatos, I. Tzanninis, K. Sasaki, T. Psaltopoulou, J. Wang, S. Buettner, A. Papalois, J. He, C. Wolfgang, T. Pawlik, and M. Weiss. Impact of surgical margin width on recurrence and overall survival following R0 hepatic resection of colorectal metastases: a systematic review and meta-analysis. Ann. Surg. 267(6):1047–1055, 2018.
[14] Moghari, M., B. Ma, and P. Abolmaesumi. A theoretical comparison of different target registration error estimators. In: MICCAI, 2008.
[15] Nicolau, S., L. Soler, D. Mutter, and J. Marescaux. Augmented reality in laparoscopic surgical oncology. Surg. Oncol. 20(3):189–201, 2011.
[16] Oktay, O., L. Zhang, T. Mansi, P. Mountney, P. Mewes, S. Nicolau, L. Soler, and C. Chefd’hotel. Biomechanically driven registration of pre- to intra-operative 3d images for laparoscopic surgery. In: MICCAI, 2013.
[17] Ozgur, E., B. Koo, B. Le Roy, E. Buc, and A. Bartoli. Preoperative liver registration for augmented monocular laparoscopy using backward-forward biomechanical simulation. Int. J. Comput. Assist. Radiol. Surg. 13:1629–1640, 2018.
[18] Robu, M. R., J. Ramalhinho, S. Thompson, K. Gurusamy, B. Davidson, D. Hawkes, D. Stoyanov, and M. Clarkson. Global rigid registration of CT to video in laparoscopic liver surgery. Int. J. Comput. Assist. Radiol. Surg. 13:947–956, 2018.
[19] Sacht, L., E. Vouga, and A. Jacobson. Nested cages. ACM Trans. Graph. 34(6) Article No. 170, 2015.
[20] Sederberg, T. W., and S. R. Parry. Free-form deformation of solid geometric models. Comput. Graph. 20(4):151–160, 1986.
[21] Thompson, S., J. Totz, Y. Song, S. Johnsen, D. Stoyanov, S. Ourselin, K. Gurusamy, C. Schneider, B. Davidson, D. Hawkes, and M. Clarkson. Accuracy validation of an image guided laparoscopy system for liver resection. Proc. SPIE 9415(09):1–12, 2015.
[22] Zhong, F. P., Y. J. Zhang, Y. Liu, and S. B. Zou. Prognostic impact of surgical margin in patients with hepatocellular carcinoma: a meta-analysis. Medicine 96(37):e8043, 2017.

文章知识点与官方知识档案匹配，可进一步学习相关知识OpenCV技能树首页概览11315 人正在系统学习中