使用条件生成对抗网络减少机器人远程手术中延迟的影响

1、使用条件生成对抗网络减少 机器人远程手术中延迟的影响手术机器人的引入给外科手术带来了明显的进步，使远程手术成为可 能，从而惠及更多医疗条件受限的地区。然而，在手术中，医生的输 入与机器人执行的动作之间任何微小的延迟都可能严重伤害病人，在 某些情况下甚至会导致死亡。来自佛罗里达大西洋大学机器感知和 认知机器人实验室的四位研究人员Neil Sachdeva、Misha Klopukh、 Rachel St. Clair和 William Edward Hahn试图通过使用条件生成对抗网 络解决这一问题。程手术的应用范围很广，在医疗 经验的可及性和多样性可能受到限制的地区建造医疗诊所并部署 机器人，

2、能够让更多人得到所需的医疗保障。 但远程手术也涉及到一个严肃的问题，即无 线连接不良可能会导致医生的输入与机器人 执行的动作之间有长时间延迟。在外科手术 中，任何微小的延迟都可能严重伤害病人， 在某些情况下甚至会导致死亡。提高安全性的一种方法是使用由深度学 习辅助的计算机视觉减轻延迟的影响。当前 的手术机器人使用经过校准的传感器来测量 手臂和工具的位置，但在这项研究中，我们 提出了一种纯光学方法，用于测量工具相对 于患者组织的位置。这项研究的目的是生成 一种神经网络，使机器人能够探测到其自身 的机械操作臂。一个条件生成对抗网络(cGAN， conditional generative adve

3、rsarial network) 在 2015年EndoVis器械挑战赛的模拟胃肠道机 器人手术的1107帧和每帧对应的手绘标签上 进行了训练。当在新的测试数据上运行时， 该网络对输入图像生成了近乎完美的标签， 这些标签与手绘标签在视觉上一致，并且能 够在299毫秒内完成此操作。然后，这些精 确生成的标签可以作为简化的标识符，让机 器人跟踪由自己控制的工具。这些结果显示了条件生成对抗网络作为 一种反应机制的潜力，它使机器人能够检测 到其手臂移动到患者的手术区域之外时的情 况。该系统可以更准确地监测外科手术器械 相对于患者组织的位置，增加远程外科手术 系统不可或缺的安全措施。引言外科手术机器人，

4、如达芬奇手术系统， 允许医生以极高的准确性和完全的可操作性 进行微创手术。在一个典型的机器人手术系 统中，医生的控制台直接连接到机器人，并 且一块屏幕上显示患者体内机械臂的实时信 息回传。为了使外科手术机器人在远离操作手术 的医生的远程环境中具有完全的可靠性，它 们需要能够在网络连接不可靠的情况下继续 操作，因为任何微秒的延迟都可能导致严重 的事故。此外，没有网络具有100%的可靠性, 因此存在延迟时间一视频回传可能冻结或 者没有接收到移动机器人的命令。这种情况 下，即使病人挡住了路径，机器人也将继续 移动。这些风险阻碍了该实践的广泛应用， 并且尽管目前已开展远程手术1，但由于与 延迟相关的潜

5、在危险，远程手术无法大规模 使用如在测量延迟对手术性能的影响的研 究45中，已经确定延迟超过300毫秒会导致 手术精度的“可测量的性能退化”，因此这 对于需要高效且可靠的反应指标的跨大陆手 术应用来说是不可行的气解决延迟问题是 这项研究的主要关注点，以帮助提升远程手 术的可靠性和现场的实用性。通过实现计算机视觉辅助系统作为机器 人和医生之间的媒介,机器人不再仅依赖于医 生,因此减轻了输入延迟的影响一一特别是在 时间命令达到机器人的时间内，也就是机载 自主系统能够进行控制的时间。在实际应用 中，机器人将被安置在一个远程位置，而医 生将位于他们自己办公室的控制站。神经网 络将被加载到手术机器人的机

6、载计算机上， 并将在任何需要的时候控制机器人的手臂。 如果发生中断，神经网络可以识别机械臂向 一个危险的位置移动，并推翻机器人的控制， 迫使其停止。该系统具有准确监测与患者组 织相关的手术器械的潜力。当前的手术机器 人使用经过校准的传感器测量手臂和工具的 位置，但在这项研究中，我们提出了一种纯 光学方法，由人工神经网络支持，用于测量工具相对于患者组织的位置。(a)内窥镜视频回传的样本图像(b)左机械臂手绘分割标签(c)右机械臂手绘分割标签(d)结合后的分割标签工具相对于患者组织的位置。(a)内窥镜视频回传的样本图像(b)左机械臂手绘分割标签(c)右机械臂手绘分割标签(d)结合后的分割标签图1来

7、自EndoVi s挑战赛数据集的样本帧数据和方法数据集2015年Endovis挑战赛数据集作为训练 数据，包含3个模拟胃肠道手术的视频，每 个视频长44秒气 第一个视频是关于一个机 械臂在离体设置中模拟手术的内窥镜视频片 段。视频的每一帧都有对应的用于定位右臂 和左臂的手绘标签，该标签构成了另外两个 视频文件(一个视频用于左臂分割，一个视 频用于右臂分割)。数据准备本研究利用 由Jun-Yan Zhu、Taesung Park、Tongzhou Wang 编写的 PyTorch 实现的 Pix2Pix 模型8o PyTorch 是一个基于 python 的深度学习框架，该框架模以使用多维数组

8、作为张量的Torch框架为模型。Pix2Pix是一 个条件生成对抗网络，专门用于图像到图像 的转换和分割。它获取图像及其被标记的分 割，并学习如何从一个图像转换到另一个图 像。因为整个研究都是使用Colab ( Google的 在线Jupyter笔记本)进行的，所以我们能够 将Github存储库克隆到Google驱动器，并从 那里访问模型。该模型要求输入数据(图像和标签)以 单对图像的形式输入。我们首先将视频文件 分割成如图1a所示的单个图像帧。如图1b 和1c所示，由于分割后的标签视频是用手臂 分开的，我们将它们合并，使两个手臂的分 割在一张图像中，如图1d所示。然后将内窥图2检查模型适应性

9、的测试帧(a)图2检查模型适应性的测试帧(a)单臂帧(原始镜头)(b)单臂分割(c)单臂生成分割镜图片和合并的分割标签缝合在一起，形成 两个帧并排的图像，再将其上传到Google驱 动器。对于视频的每一帧，这一过程重复了 1107次。该模型经过2。个轮次的训练，每 5个轮次测试一次准确性。讨论与未来研究该网络能够在两个手臂的手术图像上表 现得非常好，通过200轮次的生成器达到了 近乎完美的精度。非零像素数量的差异显示 出精度提高了 5倍。这支持了以下假设：条 件生成对抗网络有能力学习和再现手术机械 臂在手术环境中的样子。有了分割和跟踪机械臂的能力，这项研 究的下一个重要部分就是时间因素。如果训

10、 练过的模型花费的时间太长，以至于无法处 理给出的图像，那么将它作为解决远程手术 中延迟问题的整个前提就会失败。为了测试 这一点，我们编写了一个脚本，该脚本计算 了模型对单个输入图像进行分割所花费的时 间，结果是299毫秒。这段时间是在延时对 手术产生严重的影响之下，因此肯定了该模 型的适用性。这项研究的结果表明，条件生成对抗架 构的神经网络可以有效地用于教系统如何识 别其自身的机器人肢体。但在该系统应用于 实际的外科手术之前，需要解决该模型的一 些限制。我们用于模型训练的数据集仅限于在胃 肠道手术中移动的两个机械臂的图像。因此， 模型知道每个图像中总是会有两个机械臂， 当在只有一个机械臂的图

11、像上对其进行测试时，生成器会产生混淆并产生不准确的图像 (如图2所示)。深度学习提供的多功能性使得扩展训练 数据成为可能，包括单臂机器人的图像，并 且模型将相应地学习如何识别它们。实际上， 通过添加训练数据并使模型熟悉各种类型的 机器人手术，可以解决很多与这个项目的范 围有关的问题。例如，如果需要添加订书机 或镊子之类的不同附件，则只需将各自的图 像添加到训练数据中，就可以训练模型识别 所有必要的组件。该网络有潜力使远程外科手术能够在以 下两种情况中应用：在普遍存在延迟的高速 光纤连接不可用的地方(如不发达国家、潜 艇或外层空间)，以及在延迟和网络连接是 一种风险因素的任何地方。未来几年，这将 使医疗专业人员进一步帮助病人，并使远程 手术能够挽救生命。这项研究的目的是制造一个可以学习如 何识别机械肢体的系统，然而，条件生成对 抗网络在外科手术中的潜力还有更大的范围 有待探索。用于器官标记以提高准确性的应 用和跟踪其他手术器械的应用都可以通过神 经网络和机器学习实现。在这项研究中，我 们能够生成一个神经网络，它能够跟踪机械 臂并在手术环境中判断其位置。通过设计一 个系统检测机械臂何时向患者体内的危险位 置移动，这项研究将为在高速光纤连接不可 用的地方应用远程手术的未来研究提供基础。这项研究仅限于双臂机器人手术的视频 数据，但未来的研究将包括更大的数据样