HealthAgentBench：用于挑战前沿AI智能体的统一真实医疗环境基准测试套件 HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents

方法步骤的完整描述如下：首先，候选任务必须满足四个选择标准：需要智能体工作流，涉及规划、工具使用、多步骤推理或环境交互，简单的单次LLM提示无法完成；覆盖真实临床工作流，包括数据管理、诊断、事件建模和治疗规划等不同阶段，所有任务都包含真实临床数据；广泛的模态和环境覆盖，套件跨越五种输入模态和多样的临床工作流阶段；可验证且随机成功率低，优先考虑具有客观可验证成功标准的任务，同时确保低随机成功率，通常低于10%。其次，任务从两个来源构建：一是重新设计现有基准，如EHR事件建模改编自EHRSHOT，将原本为人类研究人员设计的任务转换为需要智能体执行整个机器学习工作流的环境；二是通过规则增强或管道包装创建新任务，如EHR数据质量审计通过在MIMIC-IV数据集中注入现实的数据质量问题构建。第三，每个任务都遵循五个设计原则：通用的终端环境，使用Harbor框架打包；高效、代表性的采样，每个任务类别采样5-15个代表性样本；即时数据下载，不重新分发数据和标签；通过构造防作弊，金标签和验证器代码只挂载到验证器步骤，从不进入智能体容器；极简指令，智能体面向的提示只用几句话陈述目标，将策略完全留给智能体；确定任务特定的成功标准，每个任务使用二元成功或失败标准评估。最后，在任务加入套件之前，进行创建后检查，包括在多个前沿智能体上运行基线扫描并检查轨迹，手动和LLM协助审查智能体转录本，以捕获两种失败模式：智能体找到意外的捷径或任务中存在真正的歧义。

本文的技术新颖性体现在多个方面。首先，HealthAgentBench是第一个统一的、可执行的、多模态的医疗AI智能体基准测试套件，覆盖整个患者旅程和广泛的临床工作流阶段。其次，采用了终端环境设计，这与当前主流代码代理的执行环境匹配，提供了灵活的接口来处理异构数据格式。第三，提出了系统化的任务创建工作流，确保基准测试的质量、多样性和挑战性，这为未来的基准测试提供了可扩展的框架。第四，采用了统一的二元成功或失败标准，允许跨不同任务的统一比较。第五，通过构造防作弊设计，如禁用网络浏览、使智能体可见的标识符不透明、从文件名中清除语料库名称等，确保评估的公正性。最后，对10个前沿智能体进行了全面的评估，揭示了当前系统的重要优势和局限性，特别是在医学影像、大搜索空间和复杂组合推理方面的持续挑战。

从独立分析的角度来看，本文存在几个可以改进的弱点。首先，虽然基准测试涵盖了54个任务，但每个任务类别的样本量相对较小（5-15个），这可能会影响结果的统计显著性和泛化性。更大的样本量将有助于更可靠地估计智能体性能。其次，基准测试的成功标准相当严格，要求完全正确的解决方案，这可能低估了智能体的部分能力。例如，在临床试验匹配中，智能体必须检索所有符合资格的试验（召回率为1.0）才能通过任务，这在实践中可能是过于严格的要求。一个改进方向是引入部分成功的度量，如召回率、精确率或F1分数，以更好地捕获智能体的部分能力。第三，基准测试主要评估单智能体场景，没有评估多智能体协作能力。在复杂临床工作流中，多个专业智能体（如放射科智能体、病理科智能体、肿瘤科智能体）协作可能是更现实的场景。未来的工作应该包括多智能体协作任务。第四，基准测试的终端环境设计与真实临床环境不同，实际临床系统可能使用图形界面、API调用或其他交互方式。虽然作者认为这种选择适合评估而非部署，但可能会限制智能体性能在真实临床设置中的泛化性。一个改进方向是引入更接近真实临床环境的交互界面，如图形界面模拟或API调用接口。第五，基准测试主要关注任务级别的成功，没有深入分析智能体的决策过程和推理质量。例如，在医学影像任务中，即使智能体最终答案不正确，它的中间推理步骤可能仍然有价值。未来的工作应该包括对智能体决策过程的更细粒度分析。最后，基准测试没有评估智能体的可解释性和可信度，这在医疗应用中是至关重要的。临床医生需要理解智能体的决策过程才能信任其建议。未来的工作应该包括对智能体可解释性的评估。

作者提出了几个未来研究方向。首先，他们鼓励未来的工作添加额外的任务和模态，以更好地捕捉智能体在医疗领域能力的全部光谱。例如，可以添加更多医学影像类型（如MRI、超声、核医学），或涵盖更多临床工作流阶段（如长期随访、康复管理）。其次，可以扩展基准测试以包括多智能体协作场景，评估多个专业智能体如何协作解决复杂的临床问题。第三，可以引入更长期、更复杂的多步骤任务，评估智能体的持续学习和适应能力。第四，可以探索智能体在真实临床环境中的性能，而不仅是模拟的终端环境。第五，可以开发更细粒度的评估指标，不仅评估最终答案的正确性，还评估决策过程的质量、推理的深度和策略的有效性。基于本文的成果，可以延伸多个未来研究方向。首先，鉴于医学影像任务对所有智能体都特别具有挑战性，一个明显的方向是研究工具增强或专用视觉后端，以帮助智能体更好地处理医学影像。例如，可以为智能体提供专门的医学影像分析工具，或预训练的医学影像模型作为后端。其次，鉴于大搜索空间和组合推理是主要瓶颈，可以研究更好的搜索策略和推理方法，如层次化搜索、增量推理或元学习。第三，鉴于Codex GPT系列在影像任务上优于Claude Code系列，但在文本任务上相当，可以深入研究模型架构和训练方法对多模态任务性能的影响，以指导未来的模型设计。第四，可以研究智能体在长期、多步骤任务中的持续交互和记忆管理能力，这对真实临床应用至关重要。第五，可以开发更接近真实临床环境的评估设置，如集成到真实的电子健康记录系统或影像归档和通信系统（PACS）中。最后，可以研究智能体在实时临床决策支持中的性能，评估其在动态、时间敏感的环境中的能力。

作者在GitHub上发布了基准测试代码（https://github.com/microsoft/HealthAgentBench），这为研究人员复现结果提供了基础。然而，基准测试不重新分发数据和标签，而是提供一键运行脚本在用户提供凭据后从原始源下载数据。这种设计避免了数据重新分发的法律和隐私问题，但增加了复现的复杂性。用户需要获取多个数据源的访问权限，这可能需要时间和资源。从算力角度看，运行完整的基准测试需要相当的资源，因为每个智能体需要进行54个任务的3次尝试（共162次试验），每个任务的平均执行时间为14-24分钟。这意味着完整的基准测试可能需要数天才能完成。此外，某些任务涉及大型数据集（如MIMIC-IV数据集包含超过80万行），需要足够的存储和计算资源。从难度角度看，复现本文的主要结果应该是可行的，因为作者提供了详细的代码和数据下载脚本。然而，复现完整的基线比较可能需要访问不同的LLM API（如GPT-5系列和Claude系列），这可能会产生显著的费用。例如，根据报告，Codex GPT-5.5每个任务成本$2.8，意味着完整的基准测试（162次试验）将成本约$453.6。Claude Code Opus-4.7每个任务成本$4.8，意味着完整的基准测试将成本约$777.6。这对于普通研究人员来说可能是相当昂贵的。此外，某些任务可能需要特定的软件或库（如OpenSlide用于病理切片），这可能需要额外的配置。总体而言，虽然复现本文的主要结果在技术上是可行的，但由于数据访问、计算资源和API成本等因素，实际的复现可能需要相当的时间和资源投入。