面向医疗智能体的医疗 AI 训练场：多轮智能体强化学习的系统实证研究 Healthcare AI GYM for Medical Agents
构建医疗 RL 训练场并提出 TT-OPD 自蒸馏框架解决多轮崩塌问题
前置知识
GRPO（Group Relative Policy Optimization）
GRPO 是 PPO 的变体，用同 prompt 下 G 条采样的组内相对奖励代替价值函数，通过组内均值与标准差归一化优势。在线单轮设定下重要性比率 $\pi_\theta/\pi_{old} \equiv 1.0$，DAPO 截断等机制失效。
本文基线与 TT-OPD 都基于 GRPO，必须理解其优势估计与重要性比率的退化行为，才能看懂 EMA 教师与长度控制奖励的必要性。
EMA 教师与自蒸馏（On-Policy Distillation）
EMA 教师通过对学生参数做指数移动平均 $\theta_T \leftarrow \alpha\theta_T + (1-\alpha)\theta_S$（$\alpha=0.995$）得到无梯度的稳定参考分布；自蒸馏让学生通过 KL 散度对齐该教师，无需奖励模型即可获稠密信号。
TT-OPD 的核心创新在于 EMA 教师 + 结果条件提示的双重设计，直接解决多轮智能体中教师陈旧和 KL 崩塌的问题。
Gymnasium 环境与 POMDP
Gymnasium 提供统一的 step/reset 接口用于 RL 训练。临床决策被建模为 POMDP：智能体在回合 $t$ 接收观察 $s_t$（含对话历史、工具输出、患者数据），执行动作 $a_t$，环境转移至 $s_{t+1}$。
这是 HEALTHCARE AI GYM 与 verl 训练管线的统一建模框架，理解 POMDP 才能把握多轮信用分配困难的根本原因——稀疏终止奖励与序列化轨迹的结构性错配。
研究动机
现有医疗 LLM 在 USMLE 等单轮问答基准上已接近饱和，但真实临床决策天然是智能体式的：医生需要多轮收集病史、选择检查、解读结果、调整治疗方案。已出现的医疗智能体环境如 AgentClinic 仅模拟诊断对话而缺乏工具与 RL 训练，Agent Hospital 关注多智能体流程而非策略优化，MedAgentGym 只支持 Python 沙箱等代码中心工具，MedOpenClaw 实验还揭示了"工具使用悖论"——直接提示专业工具反而降低性能。本文进一步识别出三种仅在多轮智能体场景出现的失败模式：响应长度单调爆炸（模型把 token 覆盖率当作任务代理，输出膨胀到 12K 试图"捕获"答案）、多轮结构坍缩（智能体从协调工具对话退化为单轮独白，平均回合数从 7.65 跌至 5.52）以及蒸馏不稳定（组合复杂的轨迹空间使教师策略远比单轮 QA 中陈化），三者共同根源是稀疏终止奖励与序列化智能体轨迹的结构性错配。
本文的目标是本文提出两大核心目标：第一，构建 HEALTHCARE AI GYM——一个 Gymnasium 兼容的统一医疗 RL 训练场，覆盖 10 个临床领域、3.6K+ 任务、135 个领域专用工具和 828K 医学知识库，并配备 5 维安全感知奖励函数 $R_{total}=\sum_{j\in\{acc,proc,safe,fmt,coh\}} w_j R_j$；第二，提出 Turn-level Truncated On-Policy Distillation（TT-OPD），通过 EMA 教师和结果条件特权提示提供回合级稠密正则化，在 18 个基准上验证其相对 GRPO 与非 RL 基线的训练稳定性与泛化能力，目标是在不牺牲准确率的前提下，把响应长度控制在 5.7K–9.3K tokens、把工具回合数稳定在 7.0–7.4。
与已有工作不同的是，本文的独特切入角度在于首次系统性地刻画了"多轮智能体 RL 与单轮 RL 的失败模式断层"：单轮 OPD 工作（如 OPSD、CRISP、Self-Distilled RLVR）只在受限 QA 任务中验证过有效性，而本文通过四组消融（周期重置教师 → EMA 教师 → EMA + 提示 → TT-OPD 全量）逐步暴露 KL 崩塌、响应爆炸、回合坍缩三阶段失效，明确提出 agentic-textual transfer gap——多轮评估在知识回忆型基准（MMLU-Med）上引入系统性开销（83.8% → 60.6%），RL 提升的是程序性能力而非参数化知识的可迁移性，从而填补了"在线多轮智能体 OPD"这一 Song and Zheng (2026) 标记的开放问题。
核心方法
整体方法分两层：环境层 HEALTHCARE AI GYM 把临床决策封装为标准 POMDP，提供 step/reset API、135 个临床工具（按证据检索、临床评估、干预动作、推理脚手架四大类组织）和 5 维奖励，目标是让任何现代 RL 管线（本文用 verl 的 FSDP GRPO）即插即用；训练算法层 TT-OPD 在 GRPO 基础上叠加 EMA 教师和结果条件提示两项正则化，并联合余弦长度控制奖励 $\mathcal{R}_{cos}(c, L)$，通过回路级 KL 散度 $\mathcal{L}_{TT-OPD}=\lambda_{distill}\frac{1}{T}\sum_t\sum_k\frac{|a_k^t|}{|a^t|}D_{KL}(\pi_\theta^S\|\pi_\theta^T)$ 替代稀疏终止奖励信号，实现"奖励稀疏但梯度稠密"的多轮学习。直觉上可理解为：EMA 教师是学生的稳定镜像，结果条件提示让这面镜子只在正确轨迹上"点头"、在错误轨迹上"摇头"，长度控制则防止学生因为说太多而被截断扣分。
TT-OPD 的核心创新在于把"结果特权信息"注入教师的上下文（而非学生），从而在不显式泄露答案的前提下，让教师分布根据每条轨迹的正确与否提供稠密的回合级 KL 引导。具体机制是：教师在每个回合额外看到结果条件提示 $h(\tau)$——正确轨迹收到"Reasoning appears sound"类增强提示，错误轨迹收到"Revisit the differential diagnosis"类纠正提示——这些提示在提示-响应边界插入教师上下文，但被从其输出 logprobs 中移除，因此学生永远看不到它们，只能通过 KL 梯度间接受益。这与已有单轮 OPD（如 OPSD 用特权教师条件化）以及周期重置教师策略的关键区别在于：(1) EMA（$\alpha=0.995$，每 5 步更新）配 30 步硬拷贝兜底彻底消除 KL 崩塌；(2) 提示的"仅教师可见"设计让 KL 信号天然具备结果感知能力；(3) 余弦奖励 $\mathcal{R}_{cos}$ 通过 $1-\cos(\pi L/L_{max})$ 形状抑制响应长度爆炸，使正则化能在 60 步训练中持续生效。
方法步骤详情
TT-OPD 训练六步：(1) 在 HEALTHCARE AI GYM 采样任务，对每条 prompt 展开 $G$ 条多轮轨迹 $\tau$；(2) 教师 $\pi_\theta^T$ 计算各回合 logprobs，并注入结果条件提示 $h(\tau)$（正确给增强、错误给纠正），但删除该位置的 logprob；(3) 学生 $\pi_\theta^S$ 计算自身 logprobs 并累加 $D_{KL}(\pi_\theta^S\|\pi_\theta^T)$，超 $L_{max}$ 的回合截断；(4) 5 维奖励计算终止奖励，长度按 $\mathcal{R}_{cos}$ 余弦重塑；(5) GRPO 用组内优势 $\hat{A}_i$ 计算 $\mathcal{L}_{GRPO}$，与 $\lambda_{distill}\cdot D_{KL}$（$\lambda_{distill}=4.0$）合成 $\mathcal{L}_{total}$；(6) 每 5 步 EMA 更新 $\theta_T$，每 30 步硬拷贝防漂移。
技术新颖性
技术新颖性体现在三个层面：第一，环境层面 HEALTHCARE AI GYM 是首个同时具备"10 领域覆盖 + 135 临床工具 + 5 维安全奖励 + Gymnasium 兼容"的开源医疗 RL 训练场，填补了 AgentClinic 无工具、Agent Hospital 无策略优化、MedAgentGym 工具非临床等片段化空白；第二，算法层面把"结果条件特权提示"机制从单轮 OPD 拓展到多轮 agentic 设置，利用 EMA 教师的非梯度特性首次实现"全程稠密、结果感知"的回合级正则；第三，分析层面通过四组消融实验首次系统刻画了 agentic-specific 失效（KL 崩塌 → 响应爆炸 → 回合坍缩），并提出 agentic-textual transfer gap 概念，量化了多轮评估在 MMLU-Med 上 23.2 个百分点的系统性开销（83.8% → 60.6%），同时在 18 个基准上达到 10/18 SOTA 与平均 +3.9 pp 提升，相对 GRPO 展现出更平稳的训练动力学。
实验结果
实验以 Qwen3.5-9B 为骨干在 8×A100 80GB 训练 60 步。基准性能：TT-OPD 在 18 个基准拿下 10 个最优，含 MedQA 87.1%（+16.4 pp）、MedMCQA 66.2%（vs GRPO 58.0%）、MIMIC-III 62.7%、PathVQA 45.3%、LiveQA 62.5%、MedicationQA 60.9%；GRPO 在 KQA-Golden/Silver 反超，峰值 62.0%（step 55）。训练动力学（图 3）：TT-OPD step 60 达 61.1%（基线 52.6%，+8.5 pp）；GRPO 长度在 7.7K–10.8K 振荡，TT-OPD 通过余弦奖励控制在 5.7K–9.3K，回合数稳定 7.0–7.4。消融（图 4）：周期重置教师触发 KL 从 2.637 突降到 0.343，准确率 56.9%→49.3%；EMA 教师消除崩塌但回合从 7.82 滑落；EMA+提示带来 54.5% 平台但长度爆炸；完整 TT-OPD 收敛至 61.1% 并稳定多轮结构。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MedQA (USMLE) 多选问答 | 准确率 | 87.1% | Base (text) 70.7%；Base+AR 78.8%；GRPO 85.5% | +16.4 pp over base；+1.6 pp over GRPO |
| MedMCQA 多选问答 | 准确率 | 66.2% | Base (text) 63.8%；Base+AR 55.8%；GRPO 58.0% | +2.4 pp over base；+8.2 pp over Base+AR |
| MMLU-Med (6 子类) | 准确率 | 65.5% | Base (text) 83.8%；Base+AR 60.6%；GRPO 60.1% | +4.9 pp over Base+AR，但仍有 -18.3 pp 文本差距 |
| PathVQA 视觉问答 | 准确率 | 45.3% | Base (text) 40.5%；Base+AR 38.7%；GRPO 41.5% | +4.8 pp over base；+3.8 pp over GRPO |
| MIMIC-III EHR 推理 | 动作覆盖率得分 | 62.7% | Base (text) 58.5%；Base+AR 62.1%；GRPO 61.1% | +4.2 pp over base；+1.6 pp over GRPO |
| eICU EHR 推理 | 动作覆盖率得分 | 57.1% | Base (text) 53.2%；Base+AR 55.9%；GRPO 55.5% | +3.9 pp over base；+1.6 pp over GRPO |
| LiveQA 长问答 | 准确率 | 62.5% | Base (text) 53.2%；Base+AR 58.2%；GRPO 57.7% | +9.3 pp over base；+4.3 pp over GRPO |
| MedicationQA 长问答 | 准确率 | 60.9% | Base (text) 49.5%；Base+AR 53.1%；GRPO 55.8% | +11.4 pp over base；+5.1 pp over GRPO |
| KQA-Golden 长问答 | 准确率 | 64.1% | Base (text) 55.7%；Base+AR 62.1%；GRPO 65.3% | +8.4 pp over base；-1.2 pp 低于 GRPO |
| VQA-RAD 视觉问答 | 准确率 | 63.1% | Base (text) 52.5%；Base+AR 63.2%；GRPO 60.7% | +10.6 pp over base；略低于 Base+AR 0.1 pp |
局限与改进
作者承认的局限：(1) agentic-textual transfer gap——多轮评估在 MMLU-Med 等知识回忆型基准上引入系统性开销（83.8% → 60.6%），RL 仅部分补偿，单轮 SOTA 模型不能直接迁移到多轮场景；(2) 训练规模有限——只在 Qwen3.5-9B 60 步验证，尚未在更大模型与 20+ 回合专科会诊下测试 EMA 恢复力；(3) 单轮 OPD 工作跨规模泛化未证实；(4) 5 维奖励权重 $w_j$ 仍为手工设定，未实现自适应 SNR 调整。我的额外观察：(a) 验证集 307 任务相对 3.6K+ 训练任务比例仅 8.5%，Obstetrics 仅 6 题统计功效不足；(b) SLAKE、PMC-VQA 文本评估标注 † 来自参考，复现协议不统一；(c) 只跑了 Qwen3.5-9B 一种基座，未与 MedGemma 等医疗专用模型对比。
独立分析的弱点
独立分析有四点弱点：(1) 奖励工程依赖人工权重——5 维奖励中 $w_{acc}=0.25, w_{safe}=0.20$ 等超参未经消融，作者承认存在"格式奖励稀释"问题，可引入自适应权重 $w_j(t)\propto SNR_j(t)$ 或借鉴 DAPO 动态采样；(2) 终止条件单一——缺乏中间"安全刹车"，例如检测到禁忌药物配伍时强制提前终止并给负奖励，建议增加工具级断言奖励 $w_{assert}=0.15$；(3) 评估协议存在循环论证——统一用多轮 AgentRunner 评估掩盖了 base 模型在文本模式下 83.8% MMLU-Med 的真实能力，下游切换回单轮部署会出现性能悬崖；(4) 教师更新频率固定——每 5 步 EMA + 30 步硬拷贝对回合数差异大的混合领域一刀切，应让更新步长与回合数成反比。
未来方向
作者在讨论部分提出四个未来方向：(a) 用过程奖励模型（PRM）替代或补充稀疏终止奖励，提供回合级反馈以加速信用分配；(b) 把结果条件提示拓展为分层条件，按"正确诊断 → 治疗方案"子目标提供阶段化教师信号；(c) 实现自适应奖励权重，基于各分量的 SNR 在线调整 $w_j$ 以缓解格式奖励稀释；(d) 把 TT-OPD 扩展到 32B/70B 模型和 20+ 回合的专科会诊，验证 EMA 恢复力的规模可推广性。基于本文成果可延伸的方向还包括：(e) 把 HEALTHCARE AI GYM 与 MedSAM、Med-PaLM 等医疗专用 backbone 对接，检验方法是否与基础模型架构无关；(f) 引入人类医生在环评估，让临床医生对 agent 行为打分以弥补自动化指标盲区；(g) 把 agentic-textual transfer gap 作为独立研究方向，探索混合评估协议（如文本草稿 + 工具验证）以避免性能悬崖；(h) 借鉴 SPORT、DEPO 等多模态工具方法，将 135 工具拓展到影像 API、基因变异查询等更细粒度操作。
复现评估
复现评估整体良好：作者承诺开源 HEALTHCARE AI GYM 环境、训练管线（基于 verl 的 FSDP 多轮 GRPO）和所有实验产物，声明通过测试集指纹化验证零数据污染。算力门槛 8×A100 80GB 对学术机构可达，但 Qwen3.5-9B 全量微调 + EMA 教师双份前向需较长时间（论文未给墙钟）。超参披露较完整：EMA $\alpha=0.995$ 每 5 步更新、30 步硬拷贝，$\lambda_{distill}=4.0$，学习率等放在 Appendix F 表 4。复现难度中等偏上，主要挑战：(1) 135 个临床工具与 828K 知识库需重建；(2) 5 维奖励中 procedural 与 safety 项依赖自建临床评分细则；(3) 4 组消融变体若实现不到位难以复现 KL 崩塌现象；(4) 验证集小样本方差大，重复跑可能与论文 ±1–2 pp 不一致。
论文图表
