HuatuoGPT-3：仅用强化学习从基座模型做领域自适应 HuatuoGPT-3: RL-Only Domain Adaptation from Base Models
OnePO 把教师输出当瞬态引导，纯 RL 完成医学领域自适应并超越 SFT+RL。
前置知识
GRPO（组相对策略优化）
一种 on-policy 强化学习算法：对每个问题采样一组（如 8 条）输出，用组内奖励的均值和方差把每条输出的奖励归一化为相对优势，再用带裁剪的策略比率目标更新模型，通常不需要额外的价值网络和 KL 惩罚。
OnePO 的 on-policy 部分完全沿用标准 GRPO，它的两项创新只作用在混入的教师输出上，不懂 GRPO 的组相对优势就无法理解教师输出替换组内样本的设计。
SFT 与行为克隆
监督微调通过最小化负对数似然 $\mathcal{L}_{SFT}=-\sum_t \log \pi_\theta(o_t|q,o_{<t})$ 逐 token 模仿教师输出，本质是行为克隆：只能复制演示数据覆盖的行为，在欠表示场景泛化差，且会压缩输出多样性。
论文的核心问题是能否跳过 SFT 冷启动直接用 RL 适配领域，理解 SFT 的优点（知识注入高效）与代价（多样性下降、多阶段复杂）是全文动机的基础。
混合策略 RL（mixed-policy RL）
在 on-policy 采样组中混入外部策略（教师模型）生成的输出一起做 RL 更新，目的是缓解纯 on-policy RL 的冷启动问题：让模型在自身还采不出高奖励输出时也能从教师轨迹获得正向信号。
本文诊断出的两个失败模式——梯度饥饿与教师分布锚定——都发生在混合策略 RL 设置下，OnePO 正是对该范式的修复与改进。
策略比率与梯度消失
策略梯度方法用比率 $r=\pi_\theta/\pi_{\theta_{old}}$ 构造裁剪代理目标，对正优势 token，其梯度约正比于 $\pi_\theta(1-\pi_\theta)\nabla\log\pi_\theta$：当某 token 在当前策略下概率接近 0 时梯度也趋近 0，即使该 token 极有价值也学不动。
这正是梯度饥饿的数学根源：教师输出中的新知识 token 概率极低，标准比率目标反而学得最慢；OnePO 的概率下限和梯度重缩放都是围绕这个比率设计的。
可验证奖励与 rubric 奖励
可验证奖励用于有标准答案的任务（如选择题精确匹配）；rubric 奖励用于开放式任务：把质量标准拆成清单式评分点，由 LLM judge 逐条核对回答是否覆盖，得到细粒度分数，是 HealthBench 的评测协议。
本文训练数据一半封闭一半开放，两种奖励联合使用是实验设计的重要一环，也是理解结果中开放/封闭能力消融的前提。
研究动机
把通用大模型改造成领域专家通常走 SFT+RL 流水线：先监督微调冷启动，再强化学习提升。这条路线有明确隐患：其一，SFT 本质是行为克隆，只能复制演示覆盖的行为，在欠表示病例、隐含约束上泛化差，还会降低输出多样性、压缩后续 RL 的探索空间；其二，多阶段训练在目标函数和数据分布上反复切换，加剧灾难性遗忘并推高调参复杂度。跳过 SFT 的纯 on-policy RL 又有冷启动问题，模型要靠自身试错缓慢习得领域能力。折中的混合策略 RL（把教师输出混入 on-policy 采样组）仍有两个失败模式：早期，教师输出中信息量大的 token 在当前策略下概率极低，正优势 token 的梯度约正比于 $\hat{A}_i\pi_{i,t}^{old}\nabla\log\pi_{i,t}^{old}$，随概率趋于零而消失，作者称之为梯度饥饿——AHA-Medicine 试点中混合策略 RL 的奖励几乎停在 0，明明教师输出里写了答案也学不进去；后期，陈旧教师输出仍把策略往更弱的教师分布上拽，作者称之为教师分布锚定——锚定试点中仅把教师输出改为动态退休就能大幅抬高后期性能上限。
本文的目标是本文的目标是设计一个单阶段、纯 RL 的领域自适应范式，既保留 SFT 式冷启动的效率，又不牺牲 RL 的探索与超越模仿能力，并在高风险的医学领域验证其切实可行。具体量化目标分两层：第一层是受控比较，仅用 2 万条训练样本把 Qwen3-8B-Base 适配成强医学模型，在 HealthBench、Medbullets 等开放与封闭基准上同时超过同教师、同数据的 SFT+RL 和纯 RL 两条基线；第二层是规模验证，把同一范式沿数据轴（训练集扩充到 7 万条量级）和模型轴（Qwen3.5-9B 与 Qwen3.8-27B 两个底座）放大，产出开源的 HuatuoGPT-3 系列，使 27B 版本在 HealthBench Professional 达到 71.4、HealthBench Total 达到 70.1，超过 GPT-6 Astra（Professional 62.5）等前沿闭源模型，从而证明只要教师引导机制设计得当，RL-only 训练可以成为领域自适应的实用路线。
与已有工作不同的是，已有工作分三派：SFT 系把教师输出当模仿目标；纯 on-policy RL（如 DeepSeek-R1-Zero）完全不用外部引导，冷启动艰难；混合策略 RL 把教师输出持久地混入整个训练过程。本文的独特切入是把教师输出的角色重新定义为瞬态引导：策略弱时加强从教师吸收信号的效率，策略一旦能匹配或超过教师就自动退休这些输出，训练干净地回到 on-policy 探索。更重要的是方法论上的差异——作者不是直接抛出方案，而是先用两个受控试点实验做诊断：零数据泄漏的虚构知识 AHA-Medicine 把学习与超越模仿分离成 0.5/1.0 两级奖励，冷启动对齐设计把锚定效应从弱学习问题中剥离，从而把两个失败模式精确定位到优化层面（饥饿源于比率目标多出的 $\pi$ 因子；锚定源于教师永不退出目标函数），再对症下药；且所有机制自动启停、无需手工课程或调度，这是与以往混合策略方法最本质的区别。
核心方法
直觉上 OnePO 想要一位扶上马、送一程、然后放手的教师：领域知识生疏时教师加速注入，学生超越教师后教师退出。技术路线是在 GRPO 之上做最小改动、保持 on-policy 目标完全不变：对每个问题 $q$，从当前策略采样 $G$ 条 on-policy 输出，并预先用教师模型（DeepSeek-V3.2 thinking 或 GPT-5 Chat）为每条问题离线生成 1 条教师输出；所有输出经奖励函数打分后，教师输出先过 Teacher Retirement 关卡——只有当其奖励严格大于组内 on-policy 最大奖励 $\max_i R(o^{on}_i)$ 时才被保留，保留时替换组内一条随机 on-policy 输出以维持组大小 $G$ 与组相对优势计算；对通过筛选的教师输出，用 Adaptive Objective Evolution 计算损失：以概率下限 $c=0.1$ 修正比率分母、配合梯度重缩放项，让低概率但高价值的教师 token 获得 SFT 级学习信号。随训练推进，on-policy 输出追上教师后越来越少的教师输出被保留，目标函数平滑退化为标准 GRPO，全程没有任何手工调度。验证域为医学，底座为 Qwen3-8B-Base，单节点 8×H200 训练。
核心创新是教师输出的生命周期管理：混合策略 RL 把教师输出当持久训练目标，OnePO 只把它们当瞬态引导。数学上，教师输出的比率把分母换成 $\max\{\pi_{i,t}^{old}, c\}$：$r_{i,t}^{off}=\pi_{i,t}^{\theta}/\max\{\pi_{i,t}^{old}, c\}$，使 $\pi_\theta$ 能涨到 $c(1+\epsilon)$ 才触发裁剪，为低概率 token 留出学习空间；再乘梯度重缩放 $g_{i,t}=c/\bar{\pi}_{i,t}^{\theta}$（当 $\hat{A}_i>0$ 且 $\pi_{i,t}^{old}\max_i R(o^{on}_i)$ 的严格阈值，把教师保留与 on-policy 前沿绑定。
方法步骤详情
第一步构建 2 万条训练数据：1 万条封闭式题从 MedQA、MedMCQA 采样高难度医学选择题，模型把答案包进 标签后精确匹配得可验证奖励；1 万条开放式 prompt 来自 PMC-OA 病例报告，由 GPT-5 Chat 生成问题并附评分 rubric，LLM judge 按 HealthBench 协议逐点核对给分，为省 API 成本用 GPT-4.1 标注训练了一个 8B grader。第二步准备教师输出：每条 prompt 预先由教师模型（GPT-5 Chat 或 DeepSeek-V3.2 thinking）离线生成 1 条输出。第三步训练循环：每轮对每个 prompt 采样 rollout 大小 8 的 on-policy 组并全部打分；教师输出经退休过滤（$R(o^{off})>\max R(o^{on})$ 才保留并替换组内一条样本）；保留教师用 $c=0.1$ 的概率下限和梯度重缩放计损，其余用标准 GRPO；超参为 batch 128、mini-batch 16、学习率 $2\times10^{-6}$、DAPO 四项技巧、裁剪区间 $[0.2,0.28]$、不加 KL，在 8×H200 上更新。第四步规模化：开放题扩到 2 万并加入 2 万条 RubricHub 任务、封闭题扩到 3 万，约 600 个 RL 步，从 Qwen3.5-9B 和 Qwen3.8-27B 分别训出 HuatuoGPT-3-9B/27B。
技术新颖性
技术新颖性体现在三处。第一，对混合策略 RL 给出可检验的优化层面诊断：梯度饥饿源于比率型代理目标比 SFT 梯度 $\nabla\log\pi$ 多出因子 $\pi_{i,t}^{old}$，使最有价值的低概率 token 学习信号消失；教师分布锚定源于教师输出永不退出目标函数、持续消耗更新预算。两个试点实验分别用零数据泄漏虚构知识和冷启动对齐设计干净地分离了两种效应，这是先诊断后设计的范式。第二，Adaptive Objective Evolution 的两个修正被刻意设计成互补对：相乘时 $c$ 互相抵消，只留下优势加权的对数似然梯度，既恢复 SFT 级信号又保留 RL 的选择性，且随 token 被吸收自动平滑关闭，无需手工课程——与 RAFT、rejection sampling 等把它做成两阶段 SFT 的做法不同。第三，Teacher Retirement 用与组内 on-policy 最大奖励的严格比较作为退休条件，把教师是否还有用变成可在线测量的量；Figure 6 显示 Max > Mean > Min > None 的清晰排序，Figure 7 显示强弱教师的退休率最终都趋近 100%，机制对教师质量鲁棒。Table 3 消融证明三个组件缺一不可，去掉退休甚至会跌到纯 RL 之下。
实验结果
主实验（Table 2）在 Qwen3-8B-Base 上：纯 RL 得 HealthBench Total 59.8 但 Medbullets 仅 48.1；同用 DeepSeek-V3.2 (thinking) 教师时，SFT+RL 得 64.5/40.7（Total/Hard），OnePO 达 67.2/44.5，比 SFT+RL 高 2.7/3.8、比纯 RL 高 7.4/19.3，Medbullets 65.2、MMLU-Pro Med 82.0、MedXpertQA 25.9 全面占优；换 GPT-5 Chat 教师趋势一致（65.4 vs 63.6）。规模化后 HuatuoGPT-3-9B/27B 在 HealthBench Professional 达 68.3/71.4，27B 的 Total 70.1、Hard 49.4、Medbullets 87.3，超过 GPT-6 Astra（Prof 62.5）。消融（Table 3）：去概率下限 HealthBench 从 65.4 跌到 49.1，去重缩放跌到 57.3，去退休跌到 52.7——低于纯 RL 的 59.8、逼近教师 GPT-5 Chat 本身的 51.9，直接证实锚定会把模型封顶在教师水平。奖励消融（Figure 5）显示混合奖励最平衡且开放题超过纯 rubric 训练；退休阈值（Figure 6）给出 Max > Mean > Min > None 排序；教师鲁棒性（Table 4）：弱教师仍达 66.0/64.2。跨域（Table 5）：OnePO 在写作/法律一致领先 SFT+RL（WB 74.6 vs 71.2，LawBench 67.4 vs 64.5）。通用能力（Table 6）：OnePO 的 GSM8K 92.3 为四范式最高。试点（Figure 1）：OnePO 快速吸收虚构的 AHA-Medicine 并识别其为虚构拿到 1.0，混合策略 RL 停在 0 附近，SFT+RL 卡在 0.5 的模仿天花板。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开放医疗对话质量（Qwen3-8B-Base，DeepSeek-V3.2 教师） | HealthBench (Total) | OnePO 67.2 | SFT+RL 64.5；Pure RL 59.8；基座 22.1 | 较 SFT+RL +2.7，较纯 RL +7.4 |
| 高难度开放医疗对话（同上设置） | HealthBench (Hard) | OnePO 44.5 | SFT+RL 40.7；Pure RL 25.2 | 较 SFT+RL +3.8，较纯 RL +19.3 |
| 真实临床任务对话（HuatuoGPT-3-27B） | HealthBench Professional | 71.4（9B 为 68.3） | GPT-6 Astra 62.5；GPT-5.2 52.8；底座 Qwen3.8-27B 33.3 | 超过最强前沿基线 +8.9 |
| 医学选择题（Qwen3-8B-Base，DeepSeek-V3.2 教师） | Medbullets (5-option) | OnePO 65.2（27B 达 87.3） | SFT+RL 63.5；Pure RL 48.1 | 较 SFT+RL +1.7，较纯 RL +17.1 |
| 通用指令遵循（Qwen3-8B-Base） | IFEval | OnePO 54.2 | SFT+RL 48.8；Pure RL 37.7 | 较 SFT+RL +5.4 |
| 通用数学推理（Qwen3-8B-Base） | GSM8K | OnePO 92.3 | SFT+RL 89.7；Pure RL 87.8 | 全部训练范式中的最高分，+2.6 |
局限与改进
作者承认 HuatuoGPT-3 是研究原型、未经临床验证、不能在安全攸关场景直接部署；跨域实验（写作、法律）也只是 Qwen3-4B-Base 上的初步验证，样本和调参都不充分。我自己的观察有五点：其一，开放题奖励依赖 LLM judge——训练用自训 8B grader、评估用 GPT-4.1 或 GPT-5.4，存在 reward hacking 与评测器偏差风险，HealthBench Professional 需要做长度调整本身就说明该指标易被冗长回答操纵；其二，教师输出是离线预生成的静态数据，无法随训练进展在线定制，每条 prompt 仅 1 条教师输出限制了覆盖面；其三，规模化实验只报告 OnePO 结果，缺少在同样扩展数据上的 SFT+RL 对照，9B/27B 上 OnePO 相对两阶段的真实优势是推断而非实测；其四，基座在 HealthBench Professional/Hard 上得 0.0 分，说明输出格式适配对这类评测影响巨大，部分增益可能来自格式学习而非纯能力提升；其五，训练完全不加 KL 约束，防漂移完全依赖退休机制的及时性，若奖励噪声大，严格 max 阈值可能误判；此外依赖 GPT-5 Chat、DeepSeek-V3.2 等闭源模型做教师，成本与长期可复现性受 API 制约。
独立分析的弱点
第一，rubric 奖励的可 hack 性：LLM judge 按清单逐点核对，模型可能学会堆砌要点、写冗长模板化回答来刷分而非提升真实临床能力，8B grader 与 GPT-4.1 之间的分布差异会放大此风险；改进方向是引入对抗性 judge、多个 grader 集成评分或定期人工抽检校准。第二，退休阈值脆弱：$R(o^{off})>\max R(o^{on})$ 要求教师与 on-policy 输出在同一奖励尺度上严格可比，开放题奖励是连续 judge 分数、噪声不小，单点比较可能误退休高质量教师或保留平庸教师；可用滑动窗口统计、优势显著性检验或 EMA 阈值替代单点 max。第三，教师静态且单一：离线预生成意味着教师无法针对模型暴露的弱点定制引导，M≤1 也限制了多样性；可改为训练中按需在线调用教师、或维护教师候选池按失败模式检索注入。第四，规模化缺对照：应在扩展数据上补跑 SFT+RL 基线，确证 OnePO 在 9B/27B 的相对优势，否则属性只能算工程成功。第五，通用能力评估仅 IFEval 和 GSM8K 两项，代码、多语言、安全性等维度未覆盖，'RL-only 不伤通用能力'的结论证据面偏窄。
未来方向
作者提出的延伸包括：把 OnePO 推广到更多领域（写作与法律的初步结果已是开端），以及继续迭代放大 HuatuoGPT-3 开源系列。基于本文成果可以延伸的方向：一是在线/迭代教师——根据策略当前暴露的弱点动态生成教师输出，替代静态离线数据，让'瞬态引导'更有针对性；二是多教师扩展，为每个任务或每类失败模式维护独立的前沿阈值与退休状态；三是理论工作，刻画概率下限+重缩放的隐式课程效应与退休机制的最优停止性质，回答'教师何时该退'；四是把退休率作为难度信号反向用于训练数据筛选和课程学习——退休快的样本说明模型已掌握，可降权；五是迁移到可验证奖励极强的数学、代码域以及医学多模态（影像报告生成）场景；六是研究 rubric 的自动演化，让评分标准随策略能力共同提升，避免 judge 饱和后奖励信号失效。
复现评估
开源情况较好：代码与 HuatuoGPT-3 系列模型在 GitHub（FreedomIntelligence/HuatuoGPT-3）发布，主实验配置在正文与附录交代得细——rollout 8、batch 128、学习率 $2\times10^{-6}$、$c=0.1$、DAPO 技巧、无 KL，算法伪代码、数据构建细节、概率下限消融、跨域设置分别在附录 E/G/J/L。数据方面，2 万条训练集基于公开数据集（MedQA、MedMCQA、PMC-OA）加 GPT-5 Chat 生成，可复现但 prompt/rubric 生成的 API 成本未披露。算力方面，8B 对照实验是单节点 8×H200，属于较高但可及的门槛；9B/27B 约 600 步 RL 需要更多卡和更长时间，作者未给出精确 GPU 时。额外依赖包括教师模型（GPT-5 Chat 或 DeepSeek-V3.2）、GPT-4.1 标注训练 8B grader、HealthBench Professional 官方 grader（GPT-5.4）评测，都涉及商业 API 费用。总体判断：算法复现难度中等（在现有 GRPO/DAPO 框架上改动集中在教师输出目标与退休过滤，代码量不大），完整复现主表的真正瓶颈在闭源教师/grader 的访问与 GPU 预算。
论文图表
左图为 AHA-Medicine 试点：在零数据泄漏设定下仅通过教师输出引入虚构知识，比较 SFT+RL、纯 RL、混合策略 RL、OnePO 四条路线的奖励曲线，0.5 表示学会该事实、1.0 表示识别其为虚构。OnePO 快速吸收并达到 1.0 上限，混合策略 RL 几乎停在 0，SFT+RL 卡在 0.5。右图为锚定试点：所有变体从同一冷启动初始化出发，标准混合策略 RL 后期饱和，加入 Teacher Retirement 的变体性能显著更高。
这张图是全文动机的实验支柱：直观证明梯度饥饿与教师分布锚定两种失败模式真实存在，并分别对应 OnePO 的两个机制，先看懂它才能理解方法设计的针对性。