WCLC中国之声丨基于视频的人工智能在胸腔镜肺癌肺叶切除术中的应用

编者按：2023年世界肺癌大会（WCLC）9月9日-12日在新加坡召开，肿瘤瞭望深入会议一线，直击前沿进展，也见证了中国抗肿瘤事业在国际舞台上开拓前行。广州医科大学第一附属医院梁恒瑞博士在2023 WCLC以微型口头汇报的形式，展示了中国研究者在“人工智能应用于胸腔镜肺癌肺叶切除术”领域的研究成果。

基于视频的人工智能在胸腔镜肺癌肺叶切除术中的应用

在医疗领域，一场革命正在悄然发生。智能手术，尤其是基于深度学习的自动手术结构识别，已经成为备受关注的前沿研究领域。它在经典和相对简单的手术中已经取得了令人鼓舞的成果，但对于视频辅助胸腔镜手术（VATS）肺叶切除术的应用却鲜有报道。

今天，我们要介绍的是LungSurg系统，这个系统融合了两个强大的神经网络，一个用于分割胸腔内解剖结构和手术器械（SurgSeg），另一个用于识别手术阶段（SurgClass）。研究团队前瞻性地收集了152个VATS肺叶切除术视频，涵盖了超过一百万帧图像，这些图像详细标注了手术结构和阶段信息。

令人振奋的是，分割网络在准确识别五种不同类型的手术器械方面表现卓越，平均精度高达0.920，同时在识别八种不同解剖结构上的精度为0.675。而分类网络在区分14个具体手术阶段方面也取得了显著的成功，Top-1准确率达到了0.757，Top-3准确率达到了0.925。

这一研究还引入了一些创新算法，进一步提升了现有模型的性能。为了更好地可视化和操作，研究团队将该模型集成到了一个专门设计的软件中。

这一突破性的研究为VATS肺叶切除术带来了前所未有的精准性。AI不仅能准确识别手术器械和解剖结构，还能精确区分不同的手术阶段。这标志着在胸外科智能领域取得了巨大的进展，为手术的未来带来了无限可能性。

研究简介

MA11.04-Video-Based Artificial Intelligence in Thoracoscopic Lobectomy for Lung Cancer: Surgical Structures Segmentation and Phase Recognition

基于视频的人工智能在胸腔镜肺癌肺叶切除术中的应用:手术结构解剖和相位识别

引言：智能手术，涵盖了基于深度学习的自动手术结构识别，已然成为引领研究前沿的重要领域。AI驱动的手术结构识别，利用视频数据，在一些经典而相对简单的手术中已经展现出了令人鼓舞的前景。然而，关于将AI技术融入视频辅助胸腔镜手术（VATS）肺叶切除术的研究，迄今尚未有任何报道。

方法：LungSurg系统构建了两个互相融合的神经网络（如图1所示）：（1）用于识别胸腔内解剖结构和手术器械的分割网络（SurgSeg）；以及（2）用于手术阶段识别的分类网络（SurgClass）。我们前瞻性地收集了手术视频，并由两组外科医生进行详细标注，作为培训和测试AI模型的数据来源。

图1

结果：本研究涵盖了152个VATS肺叶切除术视频，其中包含了26799个手术结构的精确注释，以及超过一百万帧图像，其中包含了详细的手术阶段信息。分割网络在识别五种不同类型的手术器械方面表现出了出色的性能，平均精度达到0.920，同时在识别八种不同解剖结构上的精度为0.675。分类网络在区分14个具体手术阶段方面取得了显著的成就，Top-1准确率达到了0.757，Top-3准确率达到了0.925。我们的创新算法进一步提升了现有模型在分割和分类任务中的性能，这些创新包括SurgSeg中的图像填充和共现损失计算，以及SurgClass中四种类型数据的综合应用。为了更好地可视化和操作，我们将该模型集成到了一个专门设计的软件中（如图2所示）。

图2

结论：这一深度学习模型在VATS肺叶切除术中，高度精确地识别了五种不同类别的手术器械、八种不同的解剖结构以及14个具体的手术阶段。本研究的结果强调了在VATS肺叶切除术中整合AI技术的可行性和潜力，标志着胸外科智能领域取得了重大的进展。

梁恒瑞 博士

国际肺癌研究会 (IASLC) member，CSCO智慧医疗专委会委员、世界华人医师协会青委会委员、广东省药学会胸外科分会青年委员；

主要研究方向为胸外科微创及智慧外科的开发应用；

在Lancet Digital Health、JAMA Intern Med、Ann Surg等世界权威期刊累计发表第一或通讯作者（含共同）SCI论文 40余篇；

多次在 WCLC、ESTS、ESMO ASIA等医学国际学术会议做口头汇报并获ESMO ASIA Merit Award、WCLC Travel Award、JLCS Travel Award、AATS Training Fellowship 等国际奖项。