χ-Bench：AI 代理能否端到端自动化长视野、政策密集型医疗工作流？

首个面向真实医保运营的长视野代理基准，最强模型仅 28% 通过率

前置知识

MCP (Model Context Protocol)

Anthropic 提出的模型上下文协议，把外部工具/数据源以标准化的方式暴露给 LLM 代理，服务器侧提供 resources、tools、prompts 三类原语。代理通过 JSON-RPC 调用工具，能像调用函数一样查询数据库或操作系统。

本文 χ-World 通过 87 个 MCP 工具对外暴露 20 个医保应用，读者必须理解 MCP 才能看懂代理与模拟器之间的交互方式。

Partially Observable Markov Decision Process (POMDP)

POMDP 是序列决策的通用形式化，用元组 $(S, A, O, P, Z, R)$ 描述：状态空间 $S$、动作空间 $A$、观测空间 $O$、转移核 $P$、观测核 $Z$、奖励函数 $R$。智能体在每一步只能拿到观测 $o_t$，需要在信念状态上做规划。

本文把医保工作流建模为层次化 POMDP $M = (S, A, O, P, Z, R, \rho_0; H)$，借助这一形式化区分了角色切换、交接不可逆性等关键约束。

Hierarchical POMDP / Options Framework

层次化 POMDP 在普通 POMDP 上叠加结构 $H := (G, \nu, W)$：$G$ 是子目标/子代理集合，$\nu$ 决定交接顺序，$W$ 是共享工作区。Sutton 等人提出的 options 把动作也层次化，每个 option 是一个时间扩展的子策略。

医保任务要扮演多个角色（护士→医生→peer-to-peer 协调员），层次化 POMDP + options 才能表达「先完成 nurse_review 再 escalate 到 MD」的流程。

Prior Authorization (PA) / Utilization Management (UM) / Care Management (CM)

PA 是医院向保险公司申请某项检查/手术的事先授权；UM 是保险公司审核申请并发出批准/拒赔/补充材料的过程；CM 是保险公司对慢病患者的长期跟踪与护理计划。三者都是美国管理式医疗中长尾、高频、人力消耗大的运营流程。

本文的三类任务全部来源于这三个真实工作流，读者需要先理解业务背景才能体会 'policy density' 和 'handoff irreversibility' 为什么会成为评估焦点。

pass@k / pass^k 可靠性指标

pass@k 衡量在 k 次独立试验中至少一次成功的概率；pass^k (pass-hat-k, τ-Bench 引入) 要求 k 次试验全部成功。对 Bernoulli(p) 试验, pass@k = 1-(1-p)^k, pass^k = p^k, 差距随 k 指数放大。

本文报告 pass@1、pass@3 和 pass^3 三个指标，用来同时刻画峰值能力和生产级可靠性；Opus 4.6 的 pass@1=28.0% 但 pass^3 只有 18.7%，揭示了部署风险。

Agent Skills / Progressive-Disclosure Manuals

Agent Skills 是一种把外部知识以分层、按需加载的方式注入代理上下文的技术：顶层 SKILL.md 充当目录，子目录提供具体操作手册。代理运行时按需打开子目录，避免一次性塞入过多 token。

本文提出 1,279 文档的 Managed-Care Operations Handbook，是已发表最大的 agent skill，读者需理解 progressive disclosure 原理才能体会其工程意义。

研究动机

美国医保运营长期被视为「行政噩梦」：prior authorization (PA) 中医院整理临床证据交给保险公司审核，平均要等数周且常被拒；utilization management (UM) 中保险公司护士与医生层层复核；care management (CM) 中护士需要花数小时联系慢病患者。AI 代理近年在长视野编码/网页任务上取得突破（数百次工具调用、持续数小时），但能否迁移到这些真实医疗流程仍是开放问题。既有医疗 AI 基准大多只考察医学知识（MedQA、PubMedQA）、EHR 查询（EHRSQL）、短视野临床代理（MedAgentBench）或单角色行政交互（HealthAdminBench），没有同时覆盖「政策密度、多角色交接、多边对话、不可逆状态、in-situ 验证」这五项真实工作流的核心压力。CHI-Bench 在论文中明确指出：现有 29 个医疗/长视野代理基准中，没有任何一个把这五项同时纳入评估。

本文的目标是论文目标有二：其一，构建一个面向真实医保运营的端到端基准 χ-Bench，让 AI 代理在 20 个医疗应用、87 个 MCP 工具、1279 文档政策手册的复杂环境中完成 PA/UM/CM 三类任务；其二，通过 30 种代理框架 × 模型组合的系统评测，定量回答「当前前沿代理离真实医保自动化还有多远」，并以失败模式分析定位瓶颈。作者把 χ-Bench 定位为「压力测试」而非「能力宣告」，期望其揭示的差距能阻止代理过早部署到影响患者的不可逆流程。

与已有工作不同的是，本文的切入角度有三层独特性。第一，与 HealthAdminBench 等 GUI 浏览类基准不同，χ-Bench 通过结构化 MCP 工具暴露应用，规避像素/DOM 噪声并暴露真实 API 语义。第二，把 1279 文档的 managed-care handbook 以 progressive-disclosure skill 形式注入，而非塞入 system prompt，模拟新员工入职手册的组织方式。第三，把评测扩展到三 agent 协同的「arena」（provider + payer 双代理）以及 25 任务连续执行的「marathon」，从而在单任务以外考察多边交接和长视野可靠性。这三点综合起来，使 χ-Bench 成为首个把政策密度、多角色组合、多边对话、不可逆状态、in-situ 验证同时纳入的医保代理基准。

核心方法

χ-Bench 的整体思路是「搭一个真实可玩的医保沙盘，让代理在沙盘里走完病例」。技术上分三层：底层 χ-World Engine 用 FastAPI+SQLite+SQLModel 实现了 20 个医保应用、151 个 REST API 和 87 个 MCP 工具，约 115K 行 Python，承载 50 个虚拟患者、约 90 个医务工作者、约 5000 条图表活动；中间层 Managed-Care Operations Handbook 以 progressive-disclosure skill 形式提供 1279 个 markdown，把政策、平台使用、角色交接规则组织成 wiki 式手册；上层任务层用层次化 POMDP $M = (S, A, O, P, Z, R, \rho_0; H)$ 形式化每个任务，并通过两阶段验证（deterministic contract + rubric LLM judge）计算奖励。直觉上，这套设计模拟的不是「会答题的代理」，而是「会办医保事务的新员工」——必须自己查手册、自己换角色、自己和模拟患者对话。

核心创新是把医保工作流建模为「角色-交接-不可逆」的层次化 POMDP，并通过 χ-World Engine 把它落地为可执行的容器化环境。与已有基准的本质区别在于：(1) 任务不再是一次性问答，而是带状态机的长视野流程；(2) 政策不再以选择题形式存在，而是要求代理在 1279 文档中检索并应用；(3) 多边交互通过模拟的患者外呼、payer-provider peer-to-peer 实现，而非静态脚本；(4) 验证不再依赖 ground-truth 答案匹配，而是对模拟器真实持久化的世界状态、事件日志和对话记录做 deterministic + LLM rubric 双层判定。换言之，χ-Bench 把「代理能力」与「政策合规性」「交接正确性」剥离成可独立观测的信号，从而能细致归因失败原因。

方法步骤详情

方法分四步。第一步构建 χ-World Engine：用约 115K 行 Python 实现 20 个医保应用，通过 3 个 MCP 服务器暴露 87 个工具；状态机含 29 个 case status，跨应用事件原子化触发保证一致性。第二步编写 Managed-Care Operations Handbook：1279 个 markdown 分三个 role sub-skill 与两个共享附录，顶层 SKILL.md 充当目录按需加载。第三步任务构造：先用 Claude Opus 4.7 加结构化 JSON 从终端状态反向生成 artifacts，再由医务工作者在 live UI 上 walkthrough；523 候选筛 75 代表性任务，平均 21 步、最多 40 步。第四步评测：每任务 3 次独立试验，报告 pass@1、pass@3、pass^3；验证器先对模拟器持久化世界状态做 deterministic contract 检查，再用 LLM judge 在 strict-majority 投票下做 rubric 评估，两者同时通过才 pass。

技术新颖性

技术新颖性可总结为四点。(1) 在 87 工具、3 服务器、1279 文档规模的医保沙盘上实现 full-state simulator，比 HealthAdminBench 的 GUI 抽象更接近真实后端语义。(2) 提出 progressive-disclosure skill 作为「政策即上下文」的注入方式，避免一次性占用上下文窗口。(3) 用层次化 POMDP $M = (S, A, O, P, Z, R, \rho_0; H)$ 显式刻画「多角色交接 + 不可逆工作区提交 + 累积事件奖励」，这是已有医疗基准未触及的形式化粒度。(4) 评测协议同时支持单任务（Table 2）、arena（Table 3）和 marathon（Table 4）三种压力模式，能区分代理的「峰值能力」与「生产级可靠性」。这些设计使 χ-Bench 不仅是一道测试题，而是对代理在企业级长视野流程中执行能力的端到端体检。

**Figure 1**: χ-Bench: Clinical Healthcare In-Situ Environment and Evaluation Benchmark

**Figure 5**: χ-World Engine: Simulated Worlds for Clinical Healthcare In-Situ Workflows

**Figure 6**: Healthcare apps across three task domains (UM nurse review / PA service request / CM outreach)

**Figure 7**: Managed-Care Operations Handbook Skill as a progressive-disclosure manual

**Figure 8**: Example of a Payer UM task (hereditary breast-cancer genomic sequencing)

**Figure 9**: Task breakdown by domain, terminal state, persona, and clinical category

实验结果

χ-Bench 远未饱和。最强配置 Claude Code + Opus 4.6 Overall pass@1 仅 28.0%，其次为 Sonnet 4.6（26.2%）、Opus 4.7（24.4%）、GPT-5.5（20.9%）。分领域 UM 是 Opus 4.6 强项（41.3%），CM 是 Opus 4.7 强项（32.0%），PA 是 GPT-5.5 强项（29.3%）。可靠性崩塌：无代理在 pass^3 上超 20%，Opus 4.6 从 28.0% 跌到 18.7%。Arena 双代理让 GPT-5.5 pass@1 从 30.4% 跌到 0.0%；Marathon 25 任务连跑让 GPT-5.5 在 UM 从 32.0% 跌到 2.7%。技能消融显示 UM 高度依赖 domain 手册（−Domain 让 pass@1 从 32.0% 跌到 17.3%）。5886 次失败中 Clinical-Reasoning 占 35.4%、Workflow-Completion 占 23.3%，出现 CM 特有 Illegitimate Consent（5.7%）。

**Table 1**: Coverage matrix of nine evaluation axes across 29 healthcare and long-horizon agent benchmarks

**Table 2**: χ-Bench results across agent harnesses and frontier models

**Table 3**: E2E two-agent PA vs single-agent baseline

**Table 4**: χ-Bench-Marathon pass@1 vs per-task baseline

**Table 5**: pass@1 of MCP vs CLI (Codex + GPT-5.5 on 75-task suite, 3 trials)

**Figure 3**: pass@1 across the three χ-Bench environments of frontier proprietary LLMs

**Figure 4**: Comparing strengths and weaknesses of Codex GPT-5.5 and Claude Code Opus 4.6

**Figure 11**: ROI quadrants and Reliability degradation

**Figure 12**: Pass@1 under trimmed skills

**Figure 13**: Failure-mode distribution sorted by overall pass@1

**Figure 14**: Second-level failure modes (over 5,886 failed trials)

查看结构化数据

任务	指标	本文	基线	提升
Overall pass@1（PA+UM+CM, 75 任务 × 3 试验）	pass@1 (%)	Claude Code + Opus 4.6 = 28.0%（95% CI $28.0^{+6.2}_{-5.5}$%）	Codex + GPT-5.5 = 20.9%；Hermes + Grok 4.3 = 4.4%；DeepAgents + Grok 4.3 = 2.2%	Opus 4.6 比 GPT-5.5 高 7.1 个百分点，比最差 Grok 4.3 组合高约 26 个百分点
Prior Authorization pass@1（75 任务中的 PA 子集）	pass@1 (%)	Codex + GPT-5.5 = 29.3%（最佳）；Claude Code Opus 4.7 = 24.0%	Claude Code Haiku 4.5 = 0.0%；Hermes/OpenClaw + Grok 4.3 ≈ 0–1.3%	最佳 vs 最差差距约 29 个百分点
Utilization Management pass@1	pass@1 (%)	Claude Code Opus 4.6 = 41.3%（最佳）；OAI Agents + GLM-5.1 = 33.3%	Codex + GPT-5.5 = 32.0%；Gemini 3.1 Pro = 6.7%	Opus 4.6 比 GPT-5.5 高 9.3 个百分点
Care Management pass@1	pass@1 (%)	Claude Code Opus 4.7 = 32.0%（最佳）；Opus 4.6 = 24.0%	Codex + GPT-5.5 = 1.3%；Gemini 3.1 Pro/Flash = 0.0%	最佳 vs 最差差距 32 个百分点，CM 是整体最难的领域
Reliability pass^3（3 次试验全通过）	pass^3 (%)	Claude Code Opus 4.6 = 18.7%；Sonnet 4.6 = 12.0%；OAI Agents + GLM-5.1 = 12.0%	pass@1 同列配置（Opus 4.6 = 28.0%；GLM-5.1 = 18.7%）	可靠性下降明显，Opus 4.6 损失 9.3 pp，GPT-5.5 损失 11.6 pp
Arena 双代理端到端 PA（provider + payer 各为 Codex + GPT-5.5）	pass@1 (%)	E2E two-agent = 0.0%（23 任务）	PA provider-only 单代理 = 30.4%	多代理协同后性能崩塌 30.4 pp → 0 pp
Marathon 单会话连续 25 任务	pass@1 (%)	Codex + GPT-5.5：PA 8.0 / UM 2.7 / CM 0.0；Claude Code Opus 4.7：PA 8.0 / UM 1.3 / CM 2.7	Per-task 基线（Codex GPT-5.5：PA 29.3 / UM 32.0 / CM 1.3；Opus 4.7：PA 24.0 / UM 17.3 / CM 32.0）	Δ 范围 −1.3 至 −29.3 pp，UM 跌幅最大
技能消融（Codex + GPT-5.5）	pass@1 (%)	UM Full 32.0 → −Domain 17.3；PA Full 24.0 → −Both 24.0；CM 全条件 ≤ 5.3	Full skill 作为对照	UM 对 domain 手册敏感（−14.7 pp），PA 在 −Both 下反而持平，CM 不受益
MCP vs CLI 重暴露工具	pass@1 (%)	PA 28.0 / UM 25.3 / CM 4.0（CLI，Codex + GPT-5.5）	PA 29.3 / UM 32.0 / CM 1.3（MCP）	Δ = −1.3 / −6.7 / +2.7，CLI 整体中性偏负

局限与改进

作者在结论部分坦诚四点局限：(1) 仅评估语言型代理，真实医保操作常需多模态（影像、语音）推理；(2) 仅覆盖三种工作流，医保行业还有数百种长尾流程；(3) 验证器的 LLM judge 只用 Opus 4.7，未研究不同 judge 模型的影响；(4) 28% pass@1 已暗示生产部署风险，但论文未给出临床/财务/合规的具体伤害量化。此外，独立观察到的局限包括：数据集仅 75 任务，每个配置 3 次试验，置信区间仍较宽；任务构造 523 → 75 的筛选标准偏向「人类能在 21 步内完成」的难度，可能低估真实医保复杂度；patient persona 的覆盖（图 9 中 Engaged 32%、Hesitant 28%、Refusing 12%）未能完全代表真实人群分布；模拟器虽称 115K 行 Python，但缺乏与真实医院信息系统的接口兼容性测试，难以直接迁移。

独立分析的弱点

独立分析可识别三个突出弱点。弱点一：长视野记忆与任务切换不足，marathon 实验中 25 任务连跑让 pass@1 普遍下跌 15–29 个百分点，说明当前代理对累积状态、上下文压缩、跨任务工作区管理都很薄弱；改进方向是把 χ-Bench-Marathon 设为强制赛道，并引入显式的工作区 checkpoint 与 resume 机制。弱点二：失败集中在 Clinical-Reasoning（35.4%）和 Workflow-Completion（23.3%），意味着代理要么看错病要么漏做必做动作；改进方向是引入 rule-grounded chain-of-thought 模块和 plan-then-execute 模板，并在验证器中单独暴露这两类失败。弱点三：双代理 arena 性能崩塌到 0%，5 个需 P2P 任务中 0 个出现正确 P2P，说明多代理协商能力近乎为零；改进方向是设计结构化 payer-provider 通信协议（如固定 schema 的消息交换），并增加对不当 P2P 的负反馈信号。

未来方向

作者明确提出三条后续路线：扩展多模态（影像、语音）覆盖；扩展到更多医保长尾流程；研究不同 LLM judge 对验证器稳定性的影响。基于本文成果可延伸的方向有四：(1) 把 χ-World Engine 与真实医院信息系统（HIS）做受控对接，做「沙盘→真实」迁移研究；(2) 在 χ-Bench-Arena 引入第三方协调代理（coordinator agent）和显式通信协议，缓解 0% pass@1 的极端崩塌；(3) 引入人类在回路（human-in-the-loop）的混合评估，量化代理在 P2P、RFI、patient outreach 等关键节点的求助时机；(4) 把 1279 文档手册拆成可版本化、可审计的政策库，研究「政策更新对代理行为的影响」，这是真实医保系统每年都会发生的事。

复现评估

论文开源程度较好：官方主页 actava.ai/benchmarks、HuggingFace 仓库 actava-ai/chi-bench、GitHub actava/chi-bench 均公开；χ-World Engine 用 FastAPI 加 SQLite 加 SQLModel 加 MCP-over-streamable-HTTP 实现，约 115K 行 Python。单任务 1800 秒墙钟上限，每配置 3 次独立试验并给出 Wilson 95% CI。完整复现挑战：(1) 30 配置涉及多个 first-party CLI 与四个开源框架，token 成本合计数千美元；(2) Handbook 由 Johns Hopkins Medicine 协作编写，受医疗合规约束，部分文档仅作引用而非全文发布；(3) 验证器依赖 Opus 4.7 作为 LLM judge，换用其他 judge 会带来噪声；(4) 75 任务的人类 walkthrough 劳动密集。代码与任务可复现，完整评测需中等规模工程与算力投入。

χ-Bench：AI 代理能否端到端自动化长视野、政策密集型医疗工作流？ CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows?