Colon-Bench：全流程结肠镜视频可扩展密集病灶标注的智能工作流 Colon-Bench: An Agentic Workflow for Scalable Dense Lesion Annotation in Full-Procedure Colonoscopy Videos

标注工作流的具体步骤如下：第一步是初始VLM提议，使用Gemini-2.5-flash-lite从60个REAL-COLON长视频中生成1325个候选病灶窗口，总时长22.97小时，共826763帧。这一步的目标是从长视频中自动定位可能包含病灶的时间段，利用VLM的视觉理解能力快速生成大量候选。第二步是智能体过滤，使用Gemini-3-pro对每个候选窗口进行视频级验证，判断是否真正包含病灶，将窗口数量从1325减少到903，帧数从826763减少到648440，时长从22.97小时减少到18.01小时。这一步的目标是过滤掉大部分假阳性窗口，提高标注精度。第三步是带提示的AI确认，使用Gemini-3-flash生成帧级边界框，然后用EdgeTAM跟踪器在帧间传播边界框，生成密集空间标注。这一步生成了314408个初始边界框和227343个分割掩码，同时进一步精炼了时间边界，将窗口数量减少到597，帧数减少到492606，时长减少到13.68小时。第四步是人类专家审核，通过交互式网页界面让医生对597个预渲染的窗口进行最终审核，医生只需拒绝69个窗口（11.6%），保留了528个高质量标注窗口。最终数据集包含464035帧，300132个边界框，213067个分割掩码，以及133289个临床描述词。基准评估的具体步骤是：对于二元病变分类，将视频片段分为包含病灶和不包含病灶两类，使用精确率、召回率和F1分数评估模型性能。对于开放词汇视频对象分割，首先让MLLM用3个边界框提示定位病灶，然后用EdgeTAM跟踪器传播掩码，使用IoU和Dice指标评估分割质量。对于视觉问答，设计了两个难度层次：prompted VQA在视频中叠加边界框提示，包含1485个五选一问题覆盖499个片段；unprompted VQA使用原始帧，包含2740个问题覆盖918个片段。问题类型涵盖病灶识别（39%/43%）、颜色和表面外观（38%/44%）、解剖位置（30%/35%）、形态特征（20%/20%）以及时间推理（59%/2%，仅在prompted版本中）。最后，对于colon-skill提取，首先收集每个模型在整个基准上的VQA预测，按病变类别分层错误，只保留大多数模型回答错误的问题。然后将这些共同失败案例连同问题答案上下文和类别元数据输入前沿大语言模型，合成简洁的、自然语言的colon-skill：形态学线索、常见混淆陷阱和针对结肠镜VQA的决策检查清单。最后将colon-skill前缀到每个VQA提示并重新评估所有模型。

本文的技术新颖性体现在多个方面：在数据构建方面，这是首次将智能体工作流应用于大规模医学视频标注，通过整合多个AI模型和人类在环评审，实现了在保证质量前提下的规模化标注。与REAL-COLON等数据集只提供单一类别（息肉）的标注不同，Colon-Bench涵盖了14种病变类别，包括息肉、溃疡、出血、血管扩张、憩室等，这种多样化的病变类型使得数据集能够支持更全面的模型评估。在标注模态方面，Colon-Bench同时提供了边界框、分割掩码和临床文本描述三种模态的标注，这在医学视频数据集中是前所未有的。特别是133289个临床描述词，为多模态模型提供了丰富的语言监督，支持文本到视觉的跨模态理解任务。在基准设计方面，这是首个结肠镜视频的开放词汇视频对象分割基准，填补了医学视频理解领域的重要空白。两个难度层次的VQA设计（prompted和unprompted）能够系统评估模型在不同视觉提示条件下的表现，为理解MLLM的视觉推理能力提供了重要insight。在方法创新方面，colon-skill提示策略是一种新颖的零样本性能提升方法，与传统微调方法有本质区别。通过分析跨模型的错误模式提炼结构化知识，然后在推理时作为提示前缀输入，这种方法成本低、易部署、可快速迭代，特别适合医学等高精度要求的领域。实验结果表明，colon-skill能够在大多数MLLM上带来最高9.7%的性能提升，证明了这种基于错误模式蒸馏的提示优化方法的有效性。在评估规模方面，本文系统评估了15个前沿MLLM在四个基准任务上的表现，包括GPT-5.2/5.4、Gemini系列、Qwen系列、Seed、GLM、Molmo等，这是迄今最全面的医学视频理解模型评估之一。通过分析不同模型在不同任务上的性能差异，本文揭示了MLLM在医学视频理解中的优势、局限性和改进方向。

独立分析的第一个弱点是数据集的长尾分布问题，sessile息肉占据主导地位，而憩室、寄生虫等稀有类别样本极少。在真实临床场景中，这些稀有病变的准确识别可能更为关键，因为它们更容易被遗漏或误诊。改进方向包括设计针对性的数据增强策略，如通过生成式AI合成稀有病变样本，或者设计更适合长尾分布的损失函数（如Focal Loss的改进版本），在训练时给予稀有类别更高的权重。第二个弱点是标注流程对特定模型（Gemini系列）的高度依赖，这可能导致系统性偏差。改进方向包括引入模型集成策略，使用多个不同的VLM进行提议和验证，通过投票或共识机制降低单一模型偏差的影响。此外，可以在人类审核阶段引入多个专家医生的交叉验证，进一步确保标注的多样性和可靠性。第三个弱点是MLLM在分类任务上的类别偏差问题，如Qwen系列倾向于预测多数良性类别而不是检测病灶存在。改进方向包括设计类别平衡的提示策略，明确告诉模型真实数据的类别分布，或者在推理时使用校准方法如温度缩放（Temperature Scaling）调整模型输出的置信度。第四个弱点是分割任务的整体精度仍然有限（最高48.3% IoU），特别是对于细小或边界模糊的病变。改进方向包括设计更精确的边界提示策略，如要求MLLM生成多个边界框然后通过模型融合获得更精细的分割，或者引入专门的医学分割模型与MLLM结合，利用MLLM的语义理解和分割模型的精细定位能力。第五个弱点是VQA任务的文本捷径问题，虽然作者应用了两阶段去偏，但盲准确率仍有提升空间。改进方向包括设计更严格的质量控制机制，如增加人工审核VQA问题的比例（目前是10%），或者设计自动化的捷径检测方法，通过训练文本分类器判断问题是否可以仅凭文本回答。

作者提出的未来研究方向包括：扩展数据集规模和多样性，目前Colon-Bench基于60个REAL-COLON视频，未来可以整合更多来源的视频，增加患者多样性和设备多样性，提高数据集的泛化能力。探索长期上下文理解，目前评估主要基于视频片段而非全流程视频，未来可以设计需要理解长时间上下文的任务，如病变的演变追踪、全流程诊断等。改进零样本医学视频分割，虽然MLLM已经表现出优于SAM-3的性能，但仍有很大提升空间，可以探索更精细的提示策略或引入医学先验知识。基于作者成果可以延伸的方向包括：设计专门针对医学视频的MLLM，通过在Colon-Bench等医学视频数据集上进行预训练或微调，提升模型在医学领域的专业性。开发自动化的质量保证机制，利用AI模型自动检测标注错误或异常，减少人工审核的负担。探索跨模态的知识蒸馏，将大型MLLM的知识蒸馏到小型专用模型中，实现性能和效率的平衡。研究医学视频的可解释性，通过可视化模型的注意力机制或决策过程，帮助医生理解模型的推理过程，建立对AI系统的信任。开发实时结肠镜分析系统，将论文中的方法集成到实际的结肠镜设备中，实现实时的病灶检测、分类和分割，辅助医生进行诊断和治疗。探索多任务学习的潜力，利用Colon-Bench的多任务特性，设计统一的模型同时执行分类、分割和VQA任务，提高整体性能和效率。研究领域适应和迁移学习，将Colon-Bench上学到的知识迁移到其他内窥镜领域，如胃镜、支气管镜等，扩大应用范围。

论文声称Colon-Bench数据集和代码将在https://abdullahamdi.com/colon-bench开源，数据集采用Creative Commons Attribution (CC BY)许可，与REAL-COLON保持一致，这意味着其他人可以自由使用和分享数据集，只要注明原作者。视频版权仍归其所有者（REAL-COLON），这可能意味着某些视频的完整版本可能受到限制，但标注数据和预处理后的视频应该是可访问的。数据集规模相当大，包含528个视频片段，464035帧，300132个边界框，213067个分割掩码和133289个临床描述词，这需要相当大的存储空间。估计存储需求可能在数百GB级别，对于个人研究者来说可能需要云存储或分布式存储解决方案。计算资源需求取决于具体任务：对于VQA任务，需要调用MLLM的API，如OpenAI API或Google Cloud API，这会产生一定的API调用成本。论文没有明确说明具体的API调用次数和成本，但从实验规模来看，可能需要数千次API调用，成本可能在数百到数千美元级别。对于分割任务，除了MLLM API调用外，还需要运行EdgeTAM跟踪器，这是一个相对轻量级的跟踪算法，可以在普通GPU上运行。论文没有明确说明具体的硬件配置，但从实验规模来看，可能需要多GPU并行处理以提高效率。复现难度主要取决于两个方面：一是获取完整的数据集，包括视频、标注和临床描述，这需要等待作者正式发布；二是调用MLLM API的成本和权限，某些模型（如GPT-5系列）可能不是公开可用的，需要特殊权限或等待模型发布。论文的实验设计相对详细，提供了具体的模型配置、评估指标和消融研究，这有助于其他研究者复现和验证结果。作者还提供了去偏VQA设计的详细说明，包括对抗性干扰项生成和盲文本压力测试的具体步骤，这对于理解VQA结果的有效性至关重要。总体而言，论文的开源承诺和详细的实验描述为复现工作提供了良好的基础，但数据集规模和API成本可能是潜在的障碍。