腹腔镜结直肠手术组织解剖效率的人工智能评估

数据集如图 1 所示。2016 年至 2017 年间，JSES 收集的 619 个腹腔镜乙状结肠切除术/结直肠癌高位前切除术视频有 ESSQS 评分，8 个高容量中心收集的 147 个手术视频没有 ESSQS 评分。对于数据集 1，从 619 个有 ESSQS 评分的手术视频中，最终分别提取出高技能组和中等技能组各 15 个视频，从 147 个没有 ESSQS 评分的视频中，提取出 13 个视频属于低技能组。对于数据集 2，剩余的 134 个没有 ESSQS 评分的视频用于构建深度学习模型。本研究使用了以下数据集：（i）数据集 1，包括三组，用于验证是否可以基于组织解剖效率进行手术技能评估； (ii) 数据集 2，用于创建基于深度学习的单极设备组织解剖识别模型。为了使用基于数据集 2 开发的 AI 模型来验证数据集 1，数据集 1 和 2 不能包含相同的视频。模型构建和分析的目标手术场景是直肠游离术，因为单极设备在该手术场景中最常用。未显示单极设备使用场景和/或未包含直肠游离实例的视频将被排除。为了保持一致性，数据集 1 和 2 中的所有视频均被分割为 30 fps 的静态图像，并转换为相同的编解码器 (MPEG-4 AVC/H.264) 和显示分辨率 (1280 × 720 像素)。

图 1.

用于模型构建和验证的数据集。将收集到的视频分为三组用于评估手术技能的数据集，以及用于构建基于深度学习的组织解剖开/关分类模型并评估模型分类准确率的数据集

组织解剖开启/关闭分类模型的构建示意图如图 2 所示。首先，为了更准确地对组织解剖进行分类，作者将聚焦于单极装置尖端的裁剪图像用作训练数据。单极装置尖端的裁剪如下所述。对于数据集 1 和 2 中的所有静态图像，作者使用之前研究  中的八种手术器械的识别模型识别单极装置，然后提取以单极装置尖端为对角线交点的 224 × 224 像素的方形裁剪图像（红色方块）。接下来，作者通过整合 RGB 和基于光流的分类方法，构建了基于深度学习的组织解剖识别模型。为了识别单极装置在灼烧组织时发出的光以及在切开组织时组织的快速运动，作者决定使用基于光流的模型，因为作者观察到与单独的 RGB 模型相比，整合光流模型后组织解剖识别率有显著提高，因此作者决定使用这种整合方法。此外，作者在本研究中采用了二元分类模型，然后如图 S1 所示，分别对解剖开始和结束进行后处理，因为这比仅对解剖开始进行后处理更准确。首先，创建裁剪的 RGB 图像，并为每一帧（1/30 秒）标注两个类：“解剖开始”和“解剖结束”。此后，使用数据集 2 的裁剪 RGB 图像构建组织解剖开/关分类模型，该数据集构成训练和验证数据。其次，创建裁剪的光流图像以为分析添加动态元素。然后，使用光流图像和前面提到的数据集 2 的注释标签构建组织解剖开/关分类模型。这两个模型均基于 EfficientNetB7  作为卷积神经网络 (CNN) 架构构建。最后，如图 3 所示，使用数据集 2 中的测试数据，将两个模型的输出结果组合起来，进行组织解剖识别。两个模型结果组合的详细信息如图 S1 所示。使用数据集 1 作为测试数据评估模型的准确率。在构建组织解剖识别模型时，训练数据包含 285,362 帧（开启，64,734 帧；关闭，220,628 帧），验证数据包含 20,546 帧（开启，4,661 帧；关闭，15,885 帧），测试数据包含 1,150,406 帧（开启，137,474 帧；关闭，1,012,932 帧）。

图 2.

组织解剖开启/关闭分类模型构建方法（单极装置尖端识别和裁剪图像创建）。首先，作者使用聚焦于单极装置尖端的裁剪图像作为训练数据，以便更准确地对组织解剖进行分类。接下来，作者构建了一个基于深度学习的组织解剖识别模型，该模型基于RGB和基于光流的分类方法。RGB：红-绿-蓝

图3

使用组织解剖开启/关闭分类模型进行自动组织解剖识别。组织解剖识别是通过整合基于RGB和基于光流的组织解剖开启/关闭分类模型的输出结果来实现的。RGB：红-绿-蓝