MedOpenClaw：面向完整临床研究流程的可审计医学影像智能体 MedOpenClaw: Auditable Medical Imaging Agents Reasoning over Uncurated Full Studies
提出可审计运行时和全流程基准，评估医学AI在完整临床研究中的推理与证据提供能力。
前置知识
医学视觉语言模型（Medical VLM）
能够同时处理医学图像和自然语言文本的多模态大语言模型，例如GPT-5.5、Gemini 3.1 Pro等。这类模型可以接收医学图像输入并以自然语言形式回答临床相关问题，如诊断分类、病灶描述等。在本文的语境中，这些模型被用作智能体的骨干网络，驱动专业医学影像软件完成全流程推理任务。
本文的核心评测对象就是这些医学VLM在专业软件环境中的表现，理解它们的能力和局限是理解全文的基础。
3D Slicer 与 QuPath
3D Slicer 是一款开源的三维医学影像查看和分析平台，支持DICOM导入、多序列浏览、体绘制、分割、配准等操作，广泛用于放射学影像的临床和科研工作流。QuPath 是一款开源的全切片病理图像（WSI）分析平台，支持千兆像素级切片的浏览、注释、坐标转换和自动化分析。本文将这两个平台作为智能体操作的专业软件环境。
这两个软件是本文评测框架的运行环境，智能体必须通过它们完成全流程任务，而非直接处理预选图片。
可审计证据（Auditable Evidence）
指智能体在完成医学影像推理任务时，必须提交的结构化、可验证的证据，包括关键切片位置（key slice）、RAS坐标、感兴趣区域（ROI）、病灶状态字段等。这些证据不是自由文本推理，而是与图像内容直接绑定的可检查字段，由基准的确定性规则与隐藏的真实标注进行比对验证。
这是本文最核心的创新概念——传统基准只看答案对不对，而本文要求答案必须有可验证的证据支持，这一要求直接暴露了现有模型的重大缺陷。
RANO 响应评估标准
RANO（Response Assessment in Neuro-Oncology）是神经肿瘤学中评估脑肿瘤治疗反应的标准框架，将治疗反应分为完全缓解（CR）、部分缓解（PR）、疾病稳定（SD）和疾病进展（PD）四类。评估需要对比基线和随访MRI中目标病灶和非目标病灶的变化，包括可测量病灶、T2进展、新发病灶等多个证据字段。
本文的纵向MRI任务直接使用RANO标准作为评估框架，智能体不仅要给出正确的RANO分类，还必须提供每个证据字段的正确答案。
MONAI 与 VISTA3D
MONAI（Medical Open Network for AI）是NVIDIA主导的开源医学深度学习框架，提供预训练模型和标准化的医学影像AI工作流。VISTA3D是基于MONAI的自动化三维体积分割工具，可以通过标签提示（label prompt）自动生成器官或病灶的分割掩膜，无需手动交互式分割。在本文中，VISTA3D作为高级分析操作（Analysis Operator）集成到3D Slicer中。
VISTA3D是本文测试的高级操作之一，实验表明高度自动化的工具比需要多步交互的操作更能帮助智能体。
研究动机
当前医学影像VLM的评测严重脱离真实临床工作流。现有基准如VQA-RAD、PathVQA等，都是给模型提供一两张预选的诊断性2D图像，然后让模型回答一个局部问题。这种设置把医学影像分析简化成了视觉识别任务，移除了真实工作流中最核心的困难：在完整的体积研究中搜索发现、在多切片间导航、操作专业影像软件、调整显示设置（如窗宽窗位、融合）、跨序列和时间点比较证据、并记录可回溯的诊断证据链。以放射学为例，一个完整的脑部MRI研究包含数十到数百个切片的多个序列（T1、T1c、T2、FLAIR），医生需要在这些序列间反复切换、滚动浏览、调整显示参数才能定位病灶。病理学也类似，全切片图像（WSI）是千兆像素级的，医生需要在不同区域和放大倍数间导航。现有基准完全绕过了这些软件交互和证据搜索过程，导致模型只需给出「看起来合理」的答案就能得分，而无法暴露它们在真实工作流中的致命缺陷。
本文的目标是本文的具体目标是建立一个全新的评测范式，将医学影像智能体的评估从「预选图像上的答案准确性」扩展到「完整临床研究中的全流程推理与证据提供能力」。具体而言，本文要实现三个目标：第一，创建一个可审计的运行时环境（MedOpenClaw），让VLM智能体能安全地操作3D Slicer和QuPath等专业医学软件，所有操作都被记录为可回溯的执行轨迹；第二，建立一个覆盖放射学和病理学的全流程基准（MedFlow-Bench），包含5个任务族、3个评估轨道；第三，揭示一个关键发现——仅看最终答案会严重高估智能体的工作流能力，当评估要求同时提供正确证据时，性能会显著下降。
与已有工作不同的是，本文的独特切入角度在于将「可审计性」作为评估的核心维度。已有工作要么评估静态图像上的视觉识别能力（传统VQA基准），要么关注多步推理但不涉及专业软件交互（如医学推理Agent），要么探索软件集成但不建立标准化评估框架。本文抓住了一个被长期忽视的关键问题：在真实临床场景中，医生不仅需要给出诊断结论，还需要留下可审计的诊断证据链——看了哪些切片、在哪个位置发现了异常、使用了什么显示设置、基于什么证据得出了结论。本文认为，这种「证据产生」的工作流是医学影像智能体评估的一个关键缺失轴。通过将智能体限制在预定义的软件操作范围内，并要求提交结构化的可验证证据，本文建立了一个比传统基准更接近真实临床需求的评估体系。
核心方法
本文的方法可以用一个类比来理解：如果传统医学VQA基准是「开卷考试中只给你一页笔记让你答题」，那么MedFlow-Bench就是「让你在完整的病历系统中翻阅所有资料，找到关键证据，然后提交包含证据链的诊断报告」。整个系统由两个核心组件构成：MedOpenClaw是一个可审计的运行时环境，它像一个「安全沙箱」一样坐在VLM智能体和专业医学影像软件之间，将智能体的操作限制在预定义的软件原生动作范围内（如滚动切片、调整窗宽窗位、选择序列、坐标转换等），同时记录每一步操作的输入、输出、查看器状态快照和生成的工件。MedFlow-Bench则是在这个运行时上构建的评测基准，定义了5个临床任务族（脑肿瘤亚型评估、纵向治疗反应评估、肺部PET/CT分析、乳腺组织学分类、淋巴结转移评估），3个评估轨道（查看器原生、高级操作、运行时无关），以及基于证据的评分规则。每个评测场景都是一个完整的研究或全切片，智能体必须操作软件、搜索完整研究、收集证据，并提交结构化的答案和证据字段。
本文最核心的创新是提出了「证据约束评分」（Strict scoring）机制，这是与已有方法最本质的区别。传统基准只评估最终答案的正确性（Task score），而本文引入了Strict分数：只有当最终答案正确且所有要求的证据字段都通过确定性检查时，才算得分；否则该案例得分为0。这些证据字段因任务而异：在UCSF-PDGM脑肿瘤诊断中，需要提供正确的关键切片位置（axial、sagittal、coronal方向的毫米偏移）和RAS坐标，且坐标必须落在隐藏的肿瘤掩膜内；在LUMIERE纵向MRI中，需要正确填写6个病灶状态字段（不可测量病灶、T2进展、当前目标病灶、新目标病灶等）；在病理WSI中，需要提供落在正确标注ROI内的全切片坐标。这种设计将评估从「你能猜对答案吗」升级为「你能找到并记录支持答案的证据吗」，直接暴露了模型在证据搜索和记录方面的重大缺陷。
方法步骤详情
方法的执行流程可以分为以下几个步骤。第一步是环境准备：每个评测案例包含一个完整的体积研究（如一个患者的全部脑部MRI序列）或一张全切片病理图像，预加载到3D Slicer或QuPath中。智能体接收任务提示、场景清单和初始截图。第二步是智能体探索：智能体通过MedOpenClaw暴露的动作空间与软件交互，包括查看器控制（选择序列、滚动切片、缩放、平移、设置窗宽窗位、融合对齐体积）、证据捕获（保存书签视图、记录关键切片位置、绘制ROI、保存坐标）和分析操作（分割、配准、定量分析等）。智能体有最多20轮操作预算。第三步是证据提交：智能体在完成探索后，提交任务答案和结构化证据块，包含关键切片偏移、RAS坐标、病灶状态字段等。第四步是确定性评分：系统使用隐藏的真实标注（肿瘤掩膜、病理标注、标签等）对答案和证据进行自动化评分。答案正确性用MCQ或结构化答案解析来判断，证据正确性用确定性规则检查（如RAS坐标是否在掩膜内、关键切片是否在正确范围内、WSI坐标是否命中标注ROI）。
技术新颖性
本文的技术新颖性体现在三个层面。第一，在评测理念上，这是首个将「可审计性」作为医学影像智能体核心评估维度的工作。传统基准隐含假设「如果答案对了，推理过程就是对的」，而本文通过大量实验和失败案例分析证明了这一假设在全流程场景下是错误的——模型可能给出正确答案但基于完全错误的证据，或者在简单任务上证据正确但在复杂工作流中证据崩溃。第二，在系统设计上，MedOpenClaw是首个将VLM智能体限制在专业医学影像软件原生操作范围内、同时记录完整可回溯执行轨迹的运行时。与通用智能体运行时不同，它将有界控制内置于医学影像接口本身，禁止原始代码执行，使轨迹更安全、可重放、且符合临床证据要求。第三，在评估方法上，三轨道设计（查看器原生、高级操作、运行时无关）分离了不同维度的评估，使得基准不仅是对特定运行时的测试，而是成为全流程医学影像智能体评估的通用标准。
实验结果
本文的实验揭示了几个核心发现，每个都对医学AI的发展方向有重要启示。首先，全流程评估是可行的：当前的前沿VLM智能体确实能操作医学影像软件、检查完整体积或全切片案例、并解决一些非平凡的研究级任务，无需预选输入。例如，Gemini 3.1 Pro Preview在脑部MRI上达到了0.73的Task分数和0.96的定位分数，表明当目标病灶在空间上较为显著时，前沿模型已具备一定的全流程推理能力。其次，也是最重要的发现，仅看最终答案会严重高估工作流能力：所有模型在Task分数和Strict分数之间存在巨大鸿沟。通用模型的平均Task分数为0.37，但平均Strict分数仅为0.14；医学领域模型更糟，Task平均0.24，Strict平均仅0.02。在最困难的任务（Lung PET/CT）上，最好的Strict分数仅为0.14（Gemini 3.1 Pro Preview），而最好的定位分数仅为0.26。这意味着模型常常「猜对了答案但找不到证据」或「找到了错误的证据」。第三，高级操作并非万能药：分割和配准操作暴露给当前智能体后，并未可靠地提升基准性能，其改进是局部的、不一致的。在某些情况下，Task和Strict分数反而下降。相反，高度自动化的MONAI VISTA3D在肺部PET/CT上更有效，因为它减少了中间决策负担。第四，失败案例分析暴露了四类反复出现的故障模式：工作流意图管理失败（智能体从纵向比较任务漂移到混合配准操作）、空间和参数动作锚定失败（将弱屏幕坐标转化为精确毫米级临床证据）、有状态工件管理失败（变换对象、变换节点、查看器层和最终推理不一致）、操作结果校准和验证失败（丢弃正确的候选结果、强化错误假设）。第五，重复运行同一案例显示严重的程序不稳定性：在10次配准运行中，只有3次完成了预期的BRAINSFit→重采样→配准融合序列，分割运行产生从合理掩膜到种子点证据甚至无掩膜的截然不同输出。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 脑部MRI肿瘤亚型诊断（UCSF-PDGM） | Task / Strict / Loc. | 最佳：Gemini 3.1 Pro 0.73 / 0.73 / 0.96 | 通用模型平均 0.48 / 0.28 / 0.43 | 前沿模型在显著病灶上已接近临床可用，但医学领域模型（0.37/0.06/0.02）远落后 |
| 纵向MRI治疗反应评估（LUMIERE） | Task / Strict | 最佳：Gemini 3.1 Pro 0.37 / 0.08 | 通用模型平均 0.28 / 0.10 | Strict分数极低，表明跨时间点比较的证据提供能力极弱 |
| 肺部PET/CT分析（NSCLC） | Task / Strict / Loc. | 最佳：GPT-5.5 0.55 / Gemini 3.1 Pro 0.14 / Gemini Flash 0.26 | 通用模型平均 0.36 / 0.03 / 0.05 | 小病灶定位极其困难，Strict分数接近零 |
| 乳腺WSI组织学分类（BRACS） | Task / Strict / Loc. | 最佳：Gemini 3.1 Pro 0.34 / 0.15 / 0.19 | 模型平均约 0.26 / 0.11 / 0.11 | WSI导航和诊断区域定位仍是开放问题 |
| 淋巴结WSI转移检测（CAMELYON17） | Task / Strict / Loc. | 最佳：GPT-5.4 0.35 / 0.11 / 0.19 | 模型平均约 0.24 / 0.07 / 0.21 | 阳性切片的肿瘤坐标定位仍有很大改进空间 |
| VISTA3D高级操作（Lung PET/CT） | Strict变化 | Gemini 3.1 Pro: 0.14→0.22 (+0.08) | Viewer-Native: 0.14 | 高度自动化工具带来一致的定位增益（+0.27）和部分Strict改进 |
局限与改进
本文存在多方面的局限性。首先，作者明确指出基准设计用于受控评估而非临床部署，当前的评分协议使用公开数据集标签和隐藏标注作为参考标准，这些虽然是可复现性的必要条件，但仍然是完整临床裁决的代理指标。其次，病理学实验目前主要关注查看器原生的QuPath导航和坐标锚定证据获取，更丰富的病理学特有操作（如免疫组化分析、分子标记物评估）和更大的全切片队列仍是重要的扩展方向。第三，运行时无关轨道虽然可用于比较替代的全流程管线，但这些方法不一定产生相同的可审计软件轨迹，这限制了跨方法的公平比较。从笔者的观察来看，当前的证据约束评分虽然比传统方法严格得多，但仍然只检查单个坐标或几个关键切片，未能完全覆盖完整的诊断推理链——一个模型可能偶然猜对了坐标但推理过程完全错误。此外，20轮操作预算对某些复杂工作流可能不够，而对简单任务则可能过多，操作预算与任务复杂度之间的最优匹配仍需探索。实验中使用的模型均为商业API版本，开源模型的表现普遍较差，这可能限制了该基准在开源社区中的实用价值。
独立分析的弱点
从独立分析的角度，本文存在几个值得关注的弱点。第一，证据验证粒度仍然粗糙：当前的Strict评分只检查最终提交的坐标或字段是否落在正确范围内，但不评估中间推理过程的质量。一个智能体可能在20轮操作中只有最后1轮碰巧找到了正确位置，而前面19轮完全是无效探索——这种情况仍能获得满分Strict。改进方向是引入过程级评估指标，如「有效操作比率」「证据发现效率」等，更好地衡量工作流质量。第二，三轨道设计虽有创新，但Track C（运行时无关）的实际参与度有限：文中报告的替代方法主要是2D切片拼接和原生3D VLM，缺乏基于其他交互式运行时的完整管线。未来应鼓励社区提交更多样化的运行时无关方法。第三，任务多样性仍需扩展：当前5个任务族虽然覆盖了放射学和病理学的关键场景，但缺乏超声、内窥镜、皮肤镜等其他重要医学影像模态，也缺乏多患者、多医生的真实临床场景模拟。第四，高级操作的评估可能不公平：VISTA3D等深度学习操作本身就包含了大量预训练的医学知识，将其得分完全归因于智能体的工作流能力可能高估了智能体的真实水平。改进方向是将操作本身的质量和智能体的使用能力解耦。
未来方向
作者在论文中提出了几个明确的未来方向：扩大模态覆盖范围、增加病理学和纵向队列规模、添加多轮临床医生-智能体交互、以及集成来自MONAI和医学影像生态系统的更多经审核的操作。基于本文的成果，还可以延伸出更多研究方向。第一，可以探索「证据链审计」的更细粒度形式，不仅检查最终证据是否正确，还检查智能体在探索过程中是否遵循了合理的诊断推理路径（如先宏观筛查再微观确认、先排除常见诊断再考虑罕见诊断）。第二，可以引入「临床医生-智能体协作」评估模式，让智能体在探索过程中可以向临床医生请求指导，评估人机协作的效率和安全性。第三，可以将证据约束评分扩展到医学报告生成任务中，要求生成的报告中的每个发现都能追溯到具体的图像证据。第四，可以探索「操作预算自适应」机制，让智能体根据任务复杂度动态调整探索策略，而非使用固定的20轮预算。
复现评估
本文在可复现性方面做得较好。MedOpenClaw运行时和MedFlow-Bench的代码作为代码工件发布，所有实验使用公开数据集（LUMIERE、UCSF-PDGM、NSCLC-Radiogenomics、BRACS、CAMELYON17），评分规则是确定性的（不使用人工或LLM评判），完整的案例级提示、截图、工具调用轨迹、工具输出、查看器状态和最终响应都随代码一起发布。复现所需的算力主要是VLM API调用费用（实验使用了GPT-5.5、Gemini 3.1 Pro等多个商业模型），不涉及模型训练。使用3D Slicer（BSD许可）和QuPath（GPL v3）等开源软件，MONAI VISTA3D模型权重在非商业研究/评估用途下可用。复现的主要挑战在于：需要正确配置3D Slicer和QuPath的WebServer接口和REST端点、需要下载并预处理多个大型医学影像数据集（特别是全切片病理图像）、以及需要正确实现MedOpenClaw的桥接处理器和安全约束。总体而言，对于有医学影像处理经验的团队，复现难度中等。
论文图表
展示了同一案例10次重复运行的配准里程碑完成情况。预期序列是BRAINSFit配准→重采样/应用变换→配准融合验证。绿色标记完成有效配准融合工作流的运行，红色标记缺失、不完整或未配准融合的运行。10次中只有3次完成了预期序列。
这是暴露智能体程序稳定性问题的关键证据——即使输入完全相同，智能体也无法可靠地重复同一工作流。
展示了同一案例10次重复运行的分割输出。绿色叠加层为生成的掩膜，黄色标记和红色框为选择的种子或候选区域。输出从广泛的过度分割到局部掩膜、仅种子点证据、以及无掩膜失败不等，说明智能体对分割参数、源状态和故障恢复的控制极不稳定。
与Figure 7一起，完整展示了智能体在高级操作使用中的不稳定性问题——不仅配准，分割也存在同样的问题。