AutoMedBench：面向医疗自动研究的智能体 AI 评测基准 AutoMedBench: Towards Medical AutoResearch with Agentic AI Models
工作流感知的医疗AI自主研究智能体基准，五阶段拆解失败根因
前置知识
智能体工作流（Agentic Workflow）
智能体指能自主调用工具、执行代码、跨多轮交互完成复杂任务的大语言模型系统。在 AutoResearch 场景中，智能体不只是回答问题，而是要规划方案、配置环境、加载模型、验证中间结果、运行推理并提交最终产物，整个过程需要持续维护上下文记忆。
本文的核心评测对象就是这种端到端研究智能体，理解它的多阶段协作方式才能看懂为何需要工作流级评分。
AutoResearch（研究自动化）
AutoResearch 指用智能体自动完成原本由人类研究员执行的科研流程，例如规划实验、配置依赖、运行管线、检查中间结果、产出可评估的研究产物。本文把医学 AI 研究建模为一条共享的五阶段工作流，让智能体在该流程上被端到端评测。
它定义了本文的任务边界——只评测推理阶段的自动化研究能力，不涉及模型训练或微调环节。
分割指标 macro Dice
Dice 系数衡量预测掩码与参考掩码的重叠度，公式为 $2|P\cap G|/(|P|+|G|)$，取值 0 到 1。macro Dice 指先在每个病例内对所有目标类别求平均，再对所有病例求平均，是医学图像分割最常用的总体质量指标。
它是本文五大赛道之一的打分依据，理解该指标才能判断分割任务的 TASK 分数究竟意味着什么。
LLM Judge（大模型评判打分）
LLM Judge 指用另一个大语言模型充当评分器，依据保存的工件产物和执行轨迹对智能体行为打分。本文在 S1 规划、S2 环境配置、S3 验证三个定性阶段采用 LLM Judge 给离散分，因为这些环节涉及难以机械判定的研究决策。
它解释了 AGENTIC 分数中 S1–S3 如何被评定，是理解流程级评分如何运作的关键机制。
双容器隔离与隐藏评测
本文采用双容器隔离：智能体容器拥有 GPU、网络和公开输入及可写工作区；离线评测容器持有私有的参考答案与打分代码、断网，且只在运行结束后接收提交产物。任何越界访问私有数据的行为会被判零分并保留计费记录。
它保证评测的公平与可复现，理解隔离设计才能看懂失败处理规则与零分惩罚机制。
研究动机
现有的医疗与健康智能体基准大多只评测最终输出：医学选择题问答（如 MedQA、PubMedQA、MedMCQA）、临床对话或健康场景、EHR/FHIR 交互、医疗管理等。这些场景有价值，却都无法回答一个更关键的问题——智能体能否端到端完成一条医学 AI 研究工作流。在长程任务中（本文平均每次运行约 33 轮交互），失败可能来自任何阶段并逐步累积，最终坍缩成一个总分，使得诊断「智能体到底卡在哪」几乎不可能：一个低分可能源于误读任务、选错方法、环境配置失败、跳过验证、产出畸形输出或提交格式错误。仅看最终指标，根本无法判断当前智能体是被领域知识限制，还是被工程可靠性、验证能力或工作流纪律所限制。因此现有基准对 AutoResearch 这一新方向的可视性严重不足。
本文的目标是本文的目标是构建一个工作流感知的医疗 AI 自主研究基准，既能评测最终产物的质量，又能精细追踪智能体在研究流程中的表现。具体而言：覆盖分割、图像增强、VQA、报告生成、病灶检测五大赛道共 24 个任务，跨越 CT、MRI、X 光、病理、显微、牙科、医学视频等多种模态；把每次运行组织成统一的 Plan-Setup-Validate-Inference-Submit 五阶段流程；通过 AGENTIC 流程分与 TASK 任务分的组合评分，让评分不只看结果还看过程；并通过事后错误码诊断揭示隐藏的崩溃点（如模型加载失败、形状 bug、跳过验证、空输出、畸形提交），从而精确定位医学 AutoResearch 智能体的真正瓶颈。
与已有工作不同的是，本文的独特切入角度是「过程级诊断」。区别于 CamylaBench、MedAgentBench、PhysicianBench 等已有基准主要报最终答案准确率或任务成功率，AutoMedBench 是首个同时满足七项特性的基准：端到端医学 AI 管线、代码执行环境、跨任务统一工作流、流程级评分、隐藏评测、可控难度分级、事后错误诊断。它最关键的洞察是：把阶段分数与因果错误码关联起来，就能暴露被最终指标掩盖的隐性问题——例如智能体擅长让管线跑起来却不会验证其可靠性。这种「能力落在哪个环节、因何失败」的双重视角，是本文与所有先前医疗智能体基准的本质差异。
核心方法
直觉上，AutoMedBench 像给医学研究员面试官发一份带评分表的「实操考核」：不只看最终提交的片子或报告对不对，还要全程录像，按「选题—搭台—试跑—量产—交卷」五个动作逐一打分。技术路线上，每个任务实例被形式化为 $T=(D_{pub},D_{priv},b,A,S,m,\tau)$，即公开输入、隐藏参考、任务简报、最终产物、提交格式、任务指标与时间上限。智能体拿到简报和公开输入后，在隔离容器里自主完成五阶段流程并提交产物；离线评测器用私有参考计算 TASK 分，同时依据保存的工件和执行轨迹给 AGENTIC 分。整个过程遵循推理专用协议（只能用预训练模型和受批推理 API，不允许训练或微调），并在双容器隔离下保证公平与可复现。
核心创新是「用一条统一的五阶段工作流，把异构医学任务拉平到同一流程协议下做过程级评分」。AGENTIC 分采用加权 $0.25S_1+0.15S_2+0.35S_3+0.15S_4+0.10S_5$，其中验证阶段 S3 权重最高（35%），因为在大规模推理前发现并修正管线错误是研究中最关键也最常被忽视的环节；规划 S1 次之（25%），因为方法选错或任务理解错无法在下游挽回。S1–S3 用 LLM Judge 打离散分（定性决策），S4–S5 用确定性检查（产出文件是否存在、格式是否合法）。配合事后五类错误码 E1–E5，本文首次把「阶段分数 + 因果错误码」绑定，让任何一次运行的崩溃点都可被精确定位，而不是被压成一个含糊的总分。
方法步骤详情
一次运行的完整步骤如下。S1 规划：智能体阅读任务简报，研究可行方法并选择适合任务约束的方案，写出含执行步骤、预期输出与验证检查的 plan.md。S2 环境配置：安装依赖、准备软件环境，加载允许的预训练权重或配置模型推理 API，核验数据路径、脚本和输出目录。S3 验证：在全量推理前跑一个试点病例或小子集，检查中间输出的形状、格式与临床合理性，并在扩量前修复管线错误。S4 推理：在完整评测输入集上运行选定管线，为每个评测病例写出预测文件。S5 提交：核验预测符合提交格式后，只把最终产物提交给评测器。打分端：S1–S3 由 LLM Judge 从工件和轨迹评出离散分，S4–S5 做确定性检查；TASK 由离线评测器用私有参考计算（macro Dice、SSIM、VQA 准确率、mAP@0.5、报告的 BLEU/METEOR/ROUGE-L/F1RadGraph 等七项均值）。失败处理上，超时只评分已写入工件，畸形提交 S5 置零，违反隔离则全部 S1–S5 判零并排除任务评分。
技术新颖性
技术新颖性体现在四点。第一，区别于只评最终输出的静态医学基准，本文要求智能体跑完整条研究管线并提交可被任务评测器评估的产物。第二，区别于单环境单任务的 EHR 或对话基准，本文用一条共享五阶段工作流横跨五种异构产物（掩码、图像、答案、报告、检测框）。第三，引入难度分级 LITE/STANDARD：两者数据、指标、时限、提交格式完全一致，只改任务简报的脚手架量，从而隔离「自主度」这一变量。第四，用事后因果错误码 E1–E5 与阶段分数绑定，揭示「验证与提交」才是高频崩溃点而非「任务理解」，这是先前医疗智能体基准从未呈现的诊断视角，也为后续 agent 自改进提供了可操作的训练信号。
实验结果
实验在 6 个前沿模型上跑了 288 个评测单元（N=10，分割类用 N=20）。发现 1：总榜把智能体分开但无全能型——总分跨度 15.3 分（51.2 到 66.5），Opus 4.6 以 66.5 分领跑并在分割、增强、报告、检测四项领先，但 VQA 由 GLM-5（64.0）领先。发现 2：任务质量滞后于流程完成度——所有智能体的 AGENTIC 分都高于 TASK 分，走完流程并不等于产物正确。发现 3：赛道暴露不同弱点，检测（约束格式 + 成熟检测器）最易、报告与 VQA 最难。诊断层面：S3 验证是平均最弱阶段、S2 配置最强；错误码 E3 验证占 37.7%、E5 提交占 38.1%，E1 任务理解仅 0.9%，工程型失败远多于知识型失败；触发一个错误码的运行总平均比无错误码低 48%。分级分析：STANDARD 换到 LITE 并无一致提升，GPT-5.4 反降 16.3%。成本分析：Opus 每运行 19.77 美元、GLM-5 仅 2.73 美元，但更高花费未必更好。恢复分析：强智能体不是错误最少，而是在出现两个以上错误后仍能恢复完成的比例更高。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 总体综合分 OVERALL（$0.5\times$AGENTIC $+0.5\times$TASK） | Overall score（0–100） | Opus 4.6 最高 66.5 | Qwen3.5 最低 51.2；GLM-5 61.6 / Gemini 3.1 Pro 59.0 / GPT-5.4 55.3 / MiniMax 51.6 | 榜首与末位相差 15.3 分，证明基准能区分智能体且无全能型选手 |
| 医学图像分割（8 个任务，含 KiTS19、TotalSegmentator 等） | Macro Dice | Opus 4.6 = 67.2 | Qwen3.5 = 42.8；GPT-5.4 59.4 / GLM-5 58.0 / Gemini 54.7 | 分割是管线最重最贵赛道，榜首领先末位 24.4 分 |
| 医学视觉问答（VQA-RAD、PathVQA、MedXpertQA-MM 等） | VQA accuracy（精确匹配） | GLM-5 = 64.0（VQA 唯一非 Opus 领先赛道） | GPT-5.4 = 36.5（全场最低）；Opus 55.5 / MiniMax 55.8 | 跨度 27.5 分，反映语义理解类任务方差最大 |
| 病灶检测（BCCD、VinDr-CXR、DENTEX 等） | mAP@0.5 | Opus 4.6 = 85.7 | ChatGPT-5.4 = 73.8（最低），其余 77–83 | 约束输出格式 + 成熟检测器使检测为最易赛道，整体均分最高 |
| 成本-性能权衡（每运行美元 vs 总分） | Avg cost/run vs Overall | GLM-5：61.6 分 @ $2.73/run | Opus 4.6：66.5 分 @ $19.77/run（约 7.2 倍成本换 +4.9 分） | 高分智能体与低成本实用选择不必相同，证明成本-性能弱相关 |
局限与改进
作者明确承认三点：其一，高 AGENTIC 分不保证临床有效或高准确率，流程级评分不能替代结果评测；其二，基准排除主观判断、长程临床对话和训练时适应类任务，聚焦推理阶段；其三，每个智能体只用单一基础 LLM，不引入厂商专属 agent 框架、多智能体控制器或外部检索封装，因此比较反映的是基座模型在固定合约下的差异，而非产品级 agent 系统。我自己另观察到：错误码依赖事后对 conversation.json 的标注，标注质量本身可能引入噪声；TASK 分高度依赖各赛道评测脚本，但不同赛道难度不可直接横比；LITE 脚手架「反而拖累」GPT-5.4 的现象暗示评分对简报措辞敏感，存在 prompt 工程脆弱性，单一简报措辞未必代表全部自主度场景。
独立分析的弱点
独立分析几个弱点。弱点 1：错误码为事后标注且可叠加触发，同一运行可能同时命中 E3 与 E5，但论文未报告标注者间一致性，建议引入多标注者交叉验证并公布 Cohen's $\kappa$。弱点 2：S1–S3 依赖 LLM Judge 打分，可能受裁判模型自身偏见影响，不同裁判模型可能给出不同排名，建议公开判分 prompt 并做裁判模型敏感性消融。弱点 3：N=10（部分 N=20）的样本量对高方差分割任务偏小，置信区间可能重叠，建议自适应增加重复以收敛区间。弱点 4：任务均来自公开挑战，存在数据污染风险——智能体可能已「见过」参考实现，建议引入私密保留集或动态扰动版本。弱点 5：仅评单基座 LLM，未覆盖多智能体编排与工具增强组合，而这恰是实际部署的主流形态，建议扩展到 agent 框架对比。
未来方向
作者方向：构建兼具高质量领域知识与鲁棒工程能力（中间验证、错误恢复）的医学研究智能体，并把流程级评分与错误码作为 agent 自改进的训练信号。可延伸方向：其一，把 S3 验证能力的弱项显式建模为可训练的「自检」技能，用强化学习奖励「在扩量前主动验证」的行为；其二，扩展到训练时适应（当前被刻意排除），评测智能体能否自主微调模型；其三，引入多模态医学视频等更长程任务与私密保留集，对抗数据污染；其四，把错误码作为诊断 API 实时反馈给 agent，形成在线修复闭环，而非仅做事后统计。
复现评估
复现门槛中等偏高，对普通研究者不算友好。有利因素：代码、沙箱、评测环境均开源（容器化 agent 与隔离评测环境），任务来自 20+ 公开挑战，提供完整 ledger（按 agent/task/tier/run-id 记录），可重算所有统计而无需重跑基准。不利因素：受限数据集需自取凭证（MIMIC-CXR 经 PhysioNet、fastMRI 经 NYU 数据共享协议）才能跑通；算力昂贵——单次分割运行平均 41.6 分钟、1.24M tokens、约 8.98 美元，跑满 288 单元 × N=10/20 开销巨大；模型多为闭源 API（Opus、Gemini、GPT-5.4）且时点为 2026 年 2 月，未必长期可复现。社区复现建议：先在 LITE + 增强/检测两条低成本赛道验证管线，再逐步扩展到昂贵的分割任务。
论文图表
