手术AI的比较研究：数据、基础模型与迈向医学通用智能的障碍 A Comparative Study in Surgical AI: Datasets, Foundation Models, and Barriers to Med-AGI
大规模视觉语言模型在手术工具检测任务上表现不佳，专业化小模型胜出
前置知识
视觉语言模型 (VLM)
视觉语言模型是同时处理图像和文本输入的多模态人工智能系统，通过联合训练视觉编码器和语言编码器来实现跨模态理解和推理。这类模型通常在包含图像-文本对的大规模数据集上进行预训练，然后在下游任务上进行微调。代表性模型包括GPT-4V、Gemma、Qwen-VL等，它们能够回答关于图像的问题、描述图像内容、执行视觉推理等任务。VLM的核心优势在于其通用性和灵活性，能够处理多样化的视觉-语言任务而无需针对每个任务重新训练。
本文的核心研究对象就是评估这类通用VLM在手术领域特定任务上的表现，理解VLM的工作原理对于理解本文的实验设计和结果解释至关重要。
LoRA (Low-Rank Adaptation)
LoRA是一种高效的参数微调技术，通过在预训练模型的权重矩阵上添加低秩分解的可训练参数来实现模型适配。具体而言，对于原始权重矩阵W，LoRA引入两个低秩矩阵A和B，使得更新后的权重变为W加上BA的乘积。训练过程中只有A和B的参数被更新，大大减少了可训练参数的数量。LoRA的优势在于计算效率高、存储开销小，同时能够保留预训练模型的知识。LoRA rank参数控制可训练参数的数量，rank越大，模型的适应能力越强，但也越容易过拟合。
本文使用LoRA技术对27B参数的Gemma 3模型进行微调，并通过sweep LoRA rank从2到1024来研究扩展模型容量是否能够改善泛化性能，这是本文实验设计的核心组成部分。
分布偏移 (Distribution Shift)
分布偏移是指模型在训练时使用的数据分布与在测试或部署时遇到的数据分布不一致的情况。在机器学习中，这会导致模型性能下降，因为模型学习到的规律不再适用于新的数据分布。分布偏移可以发生在多个层面：协变量偏移（输入分布变化）、标签偏移（标签分布变化）、概念偏移（输入输出关系变化）等。在手术场景中，不同手术过程、不同医院、不同医生的操作风格都可能导致显著的数据分布偏移。例如，某些手术工具在某些手术过程中频繁出现，而在其他过程中很少使用，这种工具使用频率的分布变化就是分布偏移的一种体现。
本文的核心发现之一就是VLM在手术工具检测任务上面临严重的分布偏移问题：训练集和验证集按手术过程划分，模型在训练集上达到99%准确率，但在验证集上仍低于40%，这表明模型无法很好地泛化到未见过的手术过程。
精确匹配准确率 (Exact Match Accuracy)
精确匹配准确率是一种严格的评估指标，要求模型预测的结果与真实标注完全一致才会被计为正确。在多标签分类任务如手术工具检测中，这意味着模型预测的工具集合必须与真实工具集合完全相同，任何一个工具的误检或漏检都会导致该帧被计为错误。与较宽松的指标（如Jaccard相似度、F1分数）相比，精确匹配准确率对错误更加敏感，更能反映模型在复杂多标签场景下的实际可用性。例如，如果真实标签是Drill和Suction而模型预测为Drill、Suction和Grasper，由于多检测了一个工具，精确匹配准确率为0，但Jaccard相似度仍可达0.67。
本文使用精确匹配准确率作为主要评估指标，因为手术场景下的工具检测对精度要求极高，任何错误都可能导致严重后果，因此采用严格的评估指标更能反映实际应用需求。
缩放定律 (Scaling Laws)
缩放定律是深度学习中的一个经验观察，描述了模型性能与模型规模、训练数据量、计算资源之间的幂律关系。Kaplan等人首次系统性地展示了交叉熵损失随着模型参数数量、训练数据量和计算量的增加呈现幂律下降趋势。后续研究还发现某些能力会在模型规模超过临界值时涌现，即在较小模型上几乎为零的性能在较大模型上突然出现显著提升。这一观察推动了越大越好的研究范式，认为持续增加模型规模和计算资源就能实现通用人工智能。这一范式在自然语言处理领域取得了巨大成功，但在专业领域的适用性仍需验证。
本文的核心研究问题就是检验缩放定律在手术AI领域是否成立，即通过增加模型规模、训练时间和计算资源是否能够改善手术工具检测性能。本文的发现表明，在特定专业领域，缩放定律可能失效，为这一主流观点提供了重要的反例。
研究动机
现有方法在手术领域面临严峻挑战，尽管大规模视觉语言模型在通用基准测试上表现出色，但在手术工具检测这一看似简单的感知任务上却难以超越简单的多数类基线。具体而言，20个开放权重VLM（参数量从2B到235B，涵盖2023年9月至2026年4月近三年的发展）在SDSC-EEA验证集上的精确匹配准确率最高仅为14.52%，远低于多数类基线13.41%的性能。更令人担忧的是，MMBench得分高达90.9的Gemma 4 31B在工具检测任务上仅取得10.05%的准确率，甚至低于基线。这一现象揭示了通用VLM在医学专业领域的性能鸿沟：尽管这些模型在医学问答等文本任务上可能表现良好，但它们缺乏对手术场景视觉特征的理解能力。手术数据具有独特的挑战性：需要协调多模态数据集成、人机交互和物理效应，且手术工具的外观、使用场景、遮挡情况极其复杂多变。此外，主流医学基准测试完全不包含手术视频或术中手术工具识别任务，这导致在这些基准上表现优异的模型可能根本不具备手术场景的理解能力。
本文的目标是本文的目标是通过实证研究探讨一个核心问题：通过增加模型规模、训练数据和计算资源，能够在多大程度上推动手术AI的发展。具体而言，作者选择手术工具检测作为研究切入点，因为这是任何 aspiring to general surgical intelligence 的系统必须具备的基础能力，但当前VLM在这一任务上的表现却令人失望。作者希望回答以下关键问题：零样本VLM在手术工具检测任务上的性能如何？通过任务特定的微调如LoRA能否缩小性能差距？扩展模型容量如增加LoRA rank是否能够改善泛化性能？专业化的小规模模型是否能够超越大规模通用VLM？这些发现在不同的手术领域和数据集上是否具有普适性？通过对这些问题的系统研究，作者希望揭示手术AI发展的真正瓶颈所在，是模型规模和计算资源，还是专业领域数据的可用性和质量。
与已有工作不同的是，本文的独特切入角度在于提供了对手术AI发展瓶颈的实证检验，挑战了越大越好的主流观点。与以往专注于特定模型改进或特定任务优化的研究不同，本文从宏观视角比较了不同规模、不同架构的模型在相同任务上的表现，并系统地探索了扩展模型容量的边际效应。更重要的是，本文通过在四个独立的手术数据集上进行相同的实验验证，确保了发现的普适性和可靠性。这一研究设计使得作者能够区分模型容量不足和数据分布偏移这两个不同的性能瓶颈来源。本文的另一个独特之处是对比了开放权重模型和闭源前沿模型在手术任务上的表现，这在手术AI研究中是罕见的，因为大多数研究只能使用开放权重模型。最后，本文不仅指出了问题，还提出了有前景的解决方案方向即分层架构，让通用VLM委托给专门的感知模块，为未来的手术AI研究提供了清晰的道路图。
核心方法
本文采用系统性的实证研究方法，通过一系列精心设计的实验来探索手术AI的性能边界和限制因素。研究以手术工具检测为核心任务，在多个数据集上评估不同规模、不同架构的AI模型，包括零样本VLM、LoRA微调的VLM、以及专业化的目标检测模型。实验设计遵循渐进式探索的逻辑：首先评估零样本VLM的性能基线，然后尝试通过微调来提升性能，接着测试扩展模型容量是否有效，最后与专业化模型进行比较。为了确保发现的普适性，作者在四个独立的手术数据集上重复了关键实验，涵盖了不同的手术类型和数据来源。这种多数据集验证策略使得作者能够区分任务特定的因素和数据集特定的因素，从而得出更可靠的结论。此外，作者还引入了五种闭源前沿VLM进行对比评估，这在手术AI研究中是罕见的创新，因为大多数研究只能使用开放权重模型。整个研究方法强调可重复性和透明性，所有实验配置、超参数、评估指标都有详细描述，代码和数据尽可能公开。
本文的核心创新点在于通过系统性的缩放实验来检验缩放定律在手术AI领域的适用性，并提出了数据瓶颈而非模型规模瓶颈的关键论断。具体而言，作者通过将近三个数量级的LoRA rank sweep来测试扩展模型容量是否能够改善泛化性能。实验发现，尽管训练准确率随着rank增加单调上升至98.6%，但验证准确率始终低于40%，这直接证明了瓶颈不在模型容量。另一个关键创新是对比了大规模VLM和专业化小模型在相同任务上的表现，发现26M参数的YOLOv12-m在性能上超越了27B参数的VLM，而参数量相差1000倍。这一发现有力地支持了作者的论断：在专业领域，专业化的小模型比大规模通用模型更有效。此外，本文的另一个创新点是在四个独立的手术数据集上进行相同实验的验证，包括三个公共数据集上的五种闭源前沿VLM评估，这在手术AI研究中是前所未有的。这种多数据集、多模型、多策略的系统性比较，为手术AI的发展提供了前所未有的实证基础。
方法步骤详情
本文的研究方法包含以下几个主要步骤。首先，数据准备阶段：作者使用SDSC-EEA作为主要数据集，该数据集包含67,634个标注帧，来自66个独特的神经外科手术过程，标注了31种不同的手术器械类别。为了防止数据泄露，作者按手术过程级别划分训练集和验证集。此外，作者还准备了三个额外的公共数据集用于验证发现的普适性：CholecT50（腹腔镜胆囊切除术）、PitVis-2023（内镜垂体神经外科）、SurgVU（机器人辅助手术训练）。其次，零样本评估阶段：作者对20个开放权重VLM进行零样本手术工具检测评估。每个模型被提示从31种有效工具名称列表中识别所有可见的手术工具，并以JSON对象格式返回预测结果。输出经过严格schema验证，格式错误的输出被视为空预测。第三，LoRA微调阶段：作者使用LoRA技术对Gemma 3 27B进行微调，探索两种不同的输出策略：JSON生成和分类头。第四，扩展实验阶段：作者通过sweep LoRA rank从r=2到r=1024，将近三个数量级地增加可训练参数数量，测试扩展模型容量是否能够改善泛化性能。第五，专业化模型对比：作者训练YOLOv12-m作为专业化目标检测基线。第六，跨数据集验证：作者在CholecT50、PitVis-2023和SurgVU三个公共数据集上重复关键实验，包括零样本评估、LoRA微调、LoRA rank sweep和YOLO训练。此外，在公共数据集上还评估了五种闭源前沿VLM。最后，评估阶段：作者使用精确匹配准确率、Jaccard相似度、每工具precision和recall和F1、ROC-AUC、AUPRC、Top-1准确率等多个指标进行评估，并通过bootstrap重采样计算95%置信区间。
技术新颖性
本文的技术新颖性体现在多个方面。首先，这是首次在手术AI领域系统性地检验缩放定律的研究，通过将近三个数量级的LoRA rank sweep来测试扩展模型容量是否能够改善泛化性能，发现了训练准确率与验证准确率之间的巨大鸿沟。其次，这是首次在手术工具检测任务上大规模对比开放权重VLM和闭源前沿VLM的研究，包括五种最新的商业模型，这在手术AI研究中是罕见的创新。第三，这是首次在四个独立的手术数据集上进行相同实验验证的研究，涵盖了不同的手术类型和数据来源，确保了发现的普适性。第四，这是首次在手术工具检测任务上对比大规模VLM和专业化小模型的研究，发现26M参数的YOLOv12-m在性能上超越了27B参数的VLM，而参数量相差1000倍。第五，本文提出了分层架构的解决方案方向，让通用VLM委托给专门的感知模块，这一思想在手术AI领域是新颖的。最后，本文的实验设计强调可重复性和透明性，所有实验配置、超参数、评估指标都有详细描述，这为后续研究提供了坚实的基础。
实验结果
本文通过六个主要实验得出了关键发现。实验一：零样本开放权重VLM无法超越简单的多数类基线。在SDSC-EEA验证集上，20个VLM的精确匹配准确率最高仅为14.52%，仅略微超过13.41%的多数类基线。更令人担忧的是，MMBench得分高达90.9的Gemma 4 31B在工具检测任务上仅取得10.05%的准确率，甚至低于基线。这一发现表明，通用VLM在通用基准上的表现无法可靠地迁移到手术感知任务。实验二：LoRA微调能够显著改善性能，但仍存在泛化差距。使用LoRA微调Gemma 3 27B进行JSON生成，验证集精确匹配准确率达到47.63%，Jaccard相似度为57.34%，显著优于基线。然而，训练集和验证集之间的性能差距依然明显，表明模型难以泛化到未见过的手术过程。实验三：使用分类头替代JSON生成能够进一步提升性能。分类头方法达到51.08%的验证集精确匹配准确率和61.33%的Jaccard相似度，是所有基于VLM的方法中表现最好的。模型还达到了80.5%的macro-averaged ROC-AUC和37.6%的macro-averaged AUPRC。实验四：扩展LoRA rank无法改善泛化性能。将LoRA rank从2增加到1024，将近三个数量级地增加可训练参数，训练准确率从35.9%单调增加到98.6%，但验证准确率始终低于40%，峰值仅为39.6%。这表明瓶颈不在模型容量，而是分布偏移。实验五：专业化小模型超越所有基于VLM的方法。YOLOv12-m达到54.73%的验证集精确匹配准确率和64.00%的Jaccard相似度，优于最好的VLM方法，而参数量少1000倍。实验六：相同的模式在三个额外的公共数据集上得到验证。在CholecT50上，零样本Gemma 3 27B达到6.87%准确率，远低于34.76%的基线；微调后的Gemma 3 27B达到83.02%，YOLOv12-m达到81.37%；闭源前沿模型中表现最好的Gemini 3 Flash Preview达到69.15%。在PitVis-2023上，零样本Gemma 3 27B达到28.46%，低于39.63%的基线；微调后的Gemma 3 27B达到84.77%，YOLOv12-m达到82.78%；闭源前沿模型中表现最好的Gemini 3.1 Pro Preview达到57.65%。在SurgVU上，零样本Gemma 3 27B仅达到2.90%，远低于16.94%的基线；微调后的Gemma 3 27B达到50.61%，YOLOv12-m达到51.75%；闭源前沿模型中只有Claude Sonnet 4.6和Gemini 3.1 Pro Preview明显超过基线。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 手术工具检测 (SDSC-EEA) | 精确匹配准确率 | YOLOv12-m: 54.73% | 多数类基线: 13.41% | +41.32个百分点 |
| 手术工具检测 (SDSC-EEA) | 精确匹配准确率 | Gemma 3 27B + LoRA分类头: 51.08% | 零样本Gemma 3 27B: 9.83% | +41.25个百分点 |
| 手术工具检测 (CholecT50) | 精确匹配准确率 | Gemma 3 27B + LoRA分类头: 83.02% | 多数类基线: 34.76% | +48.26个百分点 |
| 手术工具检测 (CholecT50) | 精确匹配准确率 | Gemini 3 Flash Preview (零样本): 69.15% | 零样本Gemma 3 27B: 6.87% | +62.28个百分点 |
| 手术工具检测 (PitVis-2023) | 精确匹配准确率 | Gemma 3 27B + LoRA分类头: 84.77% | 多数类基线: 39.63% | +45.14个百分点 |
| 手术工具检测 (SurgVU) | 精确匹配准确率 | YOLOv12-m: 51.75% | 多数类基线: 16.94% | +34.81个百分点 |
| 手术工具检测 (SurgVU) | 精确匹配准确率 | Gemma 3 27B + LoRA分类头: 50.61% | 零样本Gemma 3 27B: 2.90% | +47.71个百分点 |
局限与改进
本研究存在几个局限性。首先，评估仅限于手术工具检测：工具检测是任何 aspiring to general surgical intelligence 的系统的必要前提，但本文没有评估更高阶的能力，如阶段识别、决策支持或异常检测。VLM在这些更抽象的任务上可能提供更大的优势，因为在这些任务中语言中介推理发挥更大的作用。其次，VLM评估专注于具有特定提示和解码设置的开放权重模型。更强的闭源模型、替代的提示策略或更广泛的指令微调可能会产生不同的结果。第三，本文的结论在多大程度上能够推广到其他外科专业、机构和记录条件仍是一个开放问题，尽管在CholecT50、PitVis-2023和SurgVU上的发现与作者在自己数据上的发现一致性表明，广泛模式在四个不同的手术领域中都成立。第四，作者使用的SurgVU标签不是直接的视觉ground truth：它们是从达芬奇机器人臂上自动收获的安装和卸载事件时间戳中衍生而来的，这意味着每帧标签记录的是在此时间间隔内安装在手臂上并激活的工具，而不是在此特定裁剪帧中可见的工具。因此，工具可以在被标记为存在的同时暂时不在屏幕上、被组织或另一个器械遮挡，或完全在裁剪视野之外。这种标签源不匹配可能会更多地抑制零样本VLM分数，而不是微调模型。第五，虽然作者尽了最大努力在计算范围内进行缩放实验，但如果模型规模和训练持续时间扩展到一个尚未发现的阈值之外，未来的模型仍可能显示出非线性的涌现式性能跳跃。
独立分析的弱点
本文的研究存在几个可以进一步改进的弱点。首先，评估范围相对狭窄，仅限于手术工具检测这一感知任务，未涵盖手术场景理解的更高级能力，如手术阶段识别、工具和动作和目标三元组检测、异常检测、决策支持等。这些更高级的任务可能更依赖语言推理能力，VLM在这些任务上可能相对优势更大。其次，VLM评估主要集中在开放权重模型上，对闭源前沿模型的评估受限于API使用成本和数据隐私限制。这限制了对最先进模型的全面评估。第三，实验设计的多样性有限，主要探索了LoRA微调这一种适应策略，未探索其他可能有效的适应方法，如完全微调、提示工程、上下文学习、检索增强生成等。第四，虽然作者在四个数据集上进行了验证，但这些数据集都相对集中在特定类型的手术，对其他常见手术类型如心脏手术、骨科手术、整形外科手术等的泛化性尚未验证。第五，对于SurgVU数据集，标签来源不是直接的视觉标注，而是从机器人事件日志中衍生的，这可能引入标签噪声，影响评估结果的可靠性。改进方向包括：扩展评估范围到更高级的手术理解任务；探索更多样化的模型适应策略；在更多样化的手术类型上进行验证；开发更可靠的标签获取方法；进行更全面的消融研究以理解不同因素对性能的影响。
未来方向
基于本文的发现，未来研究可以从多个方向展开。首先，开发分层架构是promising的方向：让通用VLM作为协调器，根据任务需求委托给专门的感知模块。例如，VLM可以负责高层语义理解和决策，而YOLOv12-m等专业化模型负责精确的工具检测和定位。这种混合系统可以结合VLM的通用推理能力和专业化模型的高精度感知能力。其次，大规模社区驱动的数据收集和标注倡议是关键：本文的核心发现是手术AI的瓶颈在于专业数据的可用性而非模型规模。未来需要多机构合作，建立标准化的数据共享协议，开发高效的标注框架，收集涵盖不同手术类型、不同机构、不同患者人群的大规模标准化手术数据集。第三，探索更好的跨手术过程泛化方法：本文发现的训练和验证差距表明模型难以泛化到未见过的手术过程。未来研究可以开发域适应、元学习、少样本学习等方法来提高跨手术过程的泛化能力。第四，深入研究VLM在手术场景中的失败模式：本文发现VLM在手术工具检测上表现不佳，但对具体的失败原因缺乏深入分析。未来研究可以通过可视化分析、错误分析等方法来理解VLM的局限性，从而指导模型改进。第五，探索更适合手术场景的模型架构：YOLOv12-m的成功表明专业化模型在手术任务上具有优势。未来可以探索专门为手术场景设计的模型架构，如考虑手术视频的时序信息、多摄像头信息、工具之间的协同关系等。第六，开发更全面的手术AI评估基准：当前医学基准测试不包含手术视频理解任务，未来需要开发涵盖手术感知、推理、决策等多方面能力的综合基准测试。最后，探索手术AI的临床应用路径：本文的研究主要关注技术性能，未来需要考虑如何将这些技术转化为实际的临床工具，包括实时性要求、可靠性保证、人机交互设计等。
复现评估
本文在可复现性方面表现出色，但仍存在一些挑战。作者在论文中提供了详细的实验配置、超参数设置、评估指标定义，所有这些都有助于复现。此外，作者在附录中提供了额外的细节，如完整的提示模板、输出验证方法论、LoRA配置细节、YOLO配置等。作者使用了三个公共数据集，这些数据集对研究社区公开，其他研究者可以在相同数据集上验证发现。然而，也存在一些复现挑战：首先，SDSC-EEA是私有数据集，由Surgical Data Science Collective提供，其他研究者无法直接访问。这限制了主要发现的独立验证。其次，实验涉及大规模模型训练和推理，计算需求很高。例如，训练27B参数的Gemma 3 27B需要大量GPU资源，扩展到rank等于1024的LoRA训练更是如此。作者提到计算实验是在芝加哥Booth的Pythia超级计算机集群上进行的，这对大多数研究团队来说是不可及的资源。第三，评估涉及五种闭源前沿VLM，这些模型通过API访问，需要付费且可能有使用限制。第四，数据预处理和标注过程相对复杂，特别是SurgVU数据集的标签来自机器人事件日志而非直接视觉标注，需要额外的处理步骤。总体而言，本文在公共数据集上的部分实验具有较高的可复现性，但涉及私有数据和大规模计算的部分复现难度较高。作者如果能够开源代码、训练脚本和部分模型检查点，将进一步提高可复现性。
论文图表
