DRACO：面向长程智能体训练的动态量规细粒度信用分配 DRACO: Fine-Grained Credit Assignment with Dynamic Rubrics for Long-Horizon Agent Training
无需验证器：动态量规评分，轨迹优势按步闭式重分配，长程智能体RL训练超越真值奖励基线
前置知识
RLVR（可验证奖励的强化学习）
用程序化检查器（代码的单元测试、数学的精确匹配、智能体任务的通过检查）作为终端奖励来训练 LLM 的范式，奖励难以被投机取巧，DeepSeek-R1 等数学与代码能力的突破均基于此。但它有一个隐含前提：任务必须存在 ground-truth 验证器，而客服、开放式研究等智能体领域根本没有这种 oracle。
本文的整个问题定义就建立在'没有验证器怎么办'之上。理解 RLVR 的前提与局限，才能看出 DRACO 的'结果盲'（outcome-blind）设定到底比常规 RLVR 难在哪里。
GRPO（组相对策略优化）
对每个任务采样一组 $G$ 条轨迹，用组内均值和标准差把奖励标准化成优势 $A_i=(R_i-\text{mean})/\text{std}$，从而免去训练价值网络。标准实现把同一个 $A_i$ 乘到该轨迹所有 token 的对数概率梯度上，即每一步获得完全相同的推力。
DRACO 完整保留 GRPO 的奖励与组内标准化，只替换'每 token 统一乘 $A_i$'这一处——把逐步优势 $a_j$ 嵌入 GRPO 更新。不懂 GRPO 的机制就看不懂方法节和七个形式化性质。
信用分配（credit assignment）
强化学习的核心难题：终端奖励只告诉你整局好不好，不告诉是哪几步导致了好或坏。长程智能体一条轨迹几十步，把标量奖励均匀摊给每一步，会同样强化成功轨迹中的冗余步或侥幸步，也会把失败轨迹中大部分正确的步一并平均化。
DRACO 的第二个组件正是'结果盲设定下的信用分配'：把量规导出的信号（而非验证器结果）路由到具体步骤，这是本文区别于以往步级奖励工作的关键。
量规（Rubric）奖励与 LLM-as-Judge
用一组书面判据（如'分页取全数据后再决策'）代替训练出来的标量奖励模型，由 LLM 裁判对每条完整轨迹逐判据给出 pass/fail/不适用 的判决及理由，优点是优化目标显式、可审计。难点在判据必须 MECE 且判别性强，否则全组都通过就产生不了梯度，且裁判的偏差会无监督地传给策略。
DRACO 的奖励完全由动态量规构成：判据生成、合并、打分、步骤引用全都是裁判调用。读方法节之前需要建立这个'裁判即奖励'的框架。
AppWorld 与 τ-bench
两个长程工具使用基准：AppWorld 模拟 9 个应用、457 个 API，用程序化单元测试评分，指标为 TGC（任务目标完成率）和 SGC（场景全部任务通过率），训练集 90 任务，测试集 TN 168 / TC 417 任务；τ-bench 是多轮客服场景，本文用 Banking 域 97 任务，指标为状态匹配成功率 SR。
它们既是训练场也是评测场。'AppWorld 上此前所有已发表的 RL 结果全部依赖真值单元测试'是本文立论的事实基础，而 τ-bench 用于检验零样本迁移。
pass@k 与 passk（一致性指标）
$n$ 次独立评估中，pass@k 指 $k$ 次里至少一次成功（发现能力 discovery），passk 指 $k$ 次全部成功（一致性 consistency）；$k=1$ 时两者都等于平均成功率。两者差距大说明模型'碰运气能对但不稳定'。
Table 2 与 Figure 5 的核心解读就是 DRACO 主要提升一致性：AppWorldTN 上 TGC p3 提升 25.2 个点，而 pass@3 只提升 3.9 个点。
研究动机
RLVR 的成功建立在'存在程序化验证器'这一假设上：数学用精确匹配、代码用单元测试、智能体任务用 task-pass 检查。但客服、开放式研究类智能体等真实场景没有这种 oracle，构造一个往往与任务本身一样难。更棘手的是，即便有奖励，长程轨迹上的信用分配也极具破坏性：AppWorld 一条轨迹动辄几十个相互依赖的工具调用步骤，把单一轨迹级标量奖励均匀摊给每一步在统计上是浪费的、甚至有害的——成功轨迹里混着冗余或侥幸的步骤，失败轨迹里大部分步骤其实是对的（RUDDER 以来已被反复观察）。现有把量规作为奖励的方法每条轨迹只打一次分、输出一个标量；而为一个任务分布一次性写死的通用量规，也无法预见长轨迹上五花八门的具体成败方式。此外有一个被忽视的事实：AppWorld 上此前所有已发表的 RL 结果（PPO、GRPO、RLOO、DPO 变体、LOOP）全部依赖环境的真值单元测试，'训练全程完全不接触结果信号'从未被验证过。
本文的目标是本文的目标可以概括为：在不接触任何 ground-truth 成功信号或金标准答案的'结果盲'设定下训练长程工具使用智能体，并把奖励信号忠实地路由到具体步骤。拆开是三件事：其一，奖励来源完全由过程性判据（量规）构成，由冻结的外部裁判对完整轨迹逐判据打分，从源头摆脱对验证器的依赖；其二，把裁判的轨迹级判断转换为尊重长轨迹结构的逐步优势——该表扬的步骤拿到更多正梯度、该抑制的步骤拿到更多负梯度，同时不引入任何需要训练的归因模块，并保证归因错误时最坏情况可控（不翻转推力方向）；其三，在实证上证明这条路线能追平甚至超过同预算下用真值奖励训练的基线：AppWorldTN 上相对未训练模型 TGC +15.9 个点，超过真值奖励 GRPO +5.3 个点，并零样本迁移到 τ-bench。
与已有工作不同的是，本文的独特切入是同时占据两个此前无人兼得的轴：任务自适应的判据覆盖，和忠实的逐步归因——正是'验证视野'（verification horizon）框架论证的、当验证比生成更难时 jointly necessary 的两个条件。已有工作要么演化量规但每条轨迹只打一个分（DR Tülu、EvoRubric、Online Rubric Elicitation、RubricARM），要么训练一个判别器把轨迹级量规分传播到 token（Rubrics to Tokens，需要学习模块），要么在每个位置都调用一次裁判（ARCO 按步生成、SCRIBE 按深研阶段、按子目标原型分解，既昂贵又把'步骤'定义绑死在任务上）。DRACO 的组合独一无二：保留第一族的动态、轨迹级评分量规，但用闭式公式在组内把优势按裁判引用的步骤重分配——不需要逐位置的裁判调用，也不需要任何学习组件，且全程不看任何真值结果，比几乎所有奖励文献的设定都严格更难。作者也因此成为第一个在 AppWorld 上完全不碰单元测试做 RL 训练的工作。
核心方法
直觉上，GRPO 知道一条轨迹在组内应该被强化还是抑制，却不知道功劳该落在哪些步骤；LLM 裁判看得出是哪几步搞砸了任务，却不产生梯度。DRACO 把两者接起来：裁判动态生成并评判'量规'（针对当前策略实际行为的判据集合），给出逐判据的 pass/fail 判决以及支撑判决的具体步骤编号；DRACO 再用闭式公式把 GRPO 的轨迹优势 $A_i$ 按判决重分配成逐步优势 $a_j$。技术上分两条线：其一，动态量规流水线——裁判先仅凭任务指令提出判据，再对每条采样轨迹补充只有执行才能暴露的新判据，把 $G$ 条轨迹的提案合并去重为一个共享集合，并做判别性丢弃（只保留组内至少一条轨迹会失败的判据）；轨迹奖励为 $R_i=(p_i-f_i)/(p_i+f_i)$（$p_i$、$f_i$ 为适用的通过/失败判据数，无适用判据时为 0），组内标准化为 $A_i$。其二，信用重分配——用步骤质量 $Q_j=p_j/(p_j+f_j)$ 加权，胜者轨迹（$A_i\ge 0$）取 $w_j=Q_j$、败者取 $w_j=1-Q_j$，逐步优势 $a_j=A_i \cdot N w_j/(n_j \sum_k w_k)$ 把总推力守恒地摊到步骤上。全程无验证器、无学习模块。
核心创新有两点，且相互依存。第一是'动态每轨迹量规'：不为整个任务分布写一套通用判据，而是训练中随策略演进实时生成。论文用实验揭示了为什么必须动态——静态量规在 25 步内就被策略全部通过（通过率冲到 90%+，全程均值 94.8%/95.8%），判别性饱和，组内归一化后梯度趋零；而动态量规通过从指令和真实 rollout 中挖掘'至少一条轨迹会失败'的判据，持续提供组内可区分的奖励（均值 66.9%/74.2%），且重放时能覆盖静态判据集（91.3%）。第二是'量规条件化的逐步信用'：与训练归因模型或逐位置调用裁判不同，DRACO 直接利用裁判打分时顺带给出的步骤引用，在闭式下重分配 $A_i$，满足总推力守恒、符号保持、长度无关等七条精确性质——归因错了至多改变推力的分布，绝不会把好轨迹的强化翻转成抑制。附录 B.3 进一步证明两者的共生关系：静态量规下平均 76.4% 的 rollout 判决一致（信用'惰性'，退化回基线 GRPO），动态量规降到 48.1%，这从机制上解释了为什么步骤信用只在动态量规上才有效。
方法步骤详情
每个训练步执行如下。第一步：对每批 16 个任务各采样 $G=6$ 条轨迹（温度 1.0，最多 50 回合），共 96 条 rollout。第二步：裁判（GPT-5.4，温度 0.1）仅凭任务指令与系统提示提出至多 15 条判据（禁止人人必过的 table-stakes 判据），再对每条 rollout 补充至多 10 条'只有看到执行才知道'、必须锚定在该轨迹真实缺口上的新判据。第三步：合并去重为组内共享单一定集（上限 24 条，要求 MECE），并做判别性丢弃——组内无人失败的判据直接删除。第四步：逐轨迹逐判据打分，输出 +1/−1/0 判决（条件判据未触发必须 0 而非 +1；−1 与 0 之间偏向 −1），附理由和步骤引用，每个 pass/fail 必须至少引用一步。第五步：算轨迹奖励 $R_i=(p_i-f_i)/(p_i+f_i)$（无适用判据时为 0），组内标准化为 $A_i$。第六步：统计每步被引用的通过/失败数得 $Q_j$，未被引用的步继承均值 $\bar{Q}$。第七步：按 $A_i$ 符号取 $w_j=Q_j$（胜者）或 $1-Q_j$（败者），归一化项退化为 0 时回退均匀 $A_i$。第八步：逐步优势 $a_j=A_i N w_j/(n_j \sum_k w_k)$ 替换 GRPO 更新中的均匀 $A_i$，gap token 优势为 0。最后用 LoRA（rank 16）+ GRPO 更新：学习率 $5\times10^{-5}$ 恒定、KL 系数 0.01、单 PPO epoch、8×H100 训 100 步。
技术新颖性
技术新颖性体现在四个层面。其一，归因无需学习：同类逐步归因要么训练进度估计器或判别器（SPA-RL、Rubrics to Tokens），要么事后用 LLM 做反事实定位（HCAPO 的 hindsight Q 值、Hint-SD 的失败步定位），DRACO 的重分配是纯闭式算术，归因信号直接复用打分阶段的步骤引用，几乎不增加裁判调用。其二，形式化保证：论文证明七条精确性质——总推力守恒（$\sum_j n_j a_j = A_i N$，与基线 GRPO 在同样的 $N$ 个 token 上推力相同）、无信号时等权、符号保持（任何 $a_j$ 都不与 $A_i$ 反号，杜绝裁判误判导致的方向翻转）、单调正确性（胜者中 $Q_j$ 越高推力越大，败者中 $Q_j$ 越低抑制越强）、步骤总额与长度无关（$n_j a_j$ 只依赖 $w_j$，冗长买不来更多总强化）、奖励尺度不变、胜者/败者分支对称。其三，判别性丢弃被提炼为奖励工程原语：明确论证并量化了'奖励必须组内有输赢'这一前提。其四，组件共生分析：步骤信用在静态量规上几乎无效（TN 仅 +0.8 TGC，在 TC 上 p3 甚至 −3.7），在动态量规上才兑现 +3.2 TGC/+5.7 SGC——这种组件间依赖关系的机制性分析是先前文献没有的。
实验结果
主结果（Table 2，Qwen3.6-27B）：DRACO 把 AppWorldTN 的 TGC/SGC 从 69.4/41.1 提到 85.3/70.6（+15.9/+29.5），AppWorldTC TGC 从 49.7 提到 61.5，零样本迁移把 τ-bench SR 从 15.8 提到 20.4——全程未用验证器。对比真值单元测试奖励训练的 GRPO（TN 80.0/59.3），DRACO 高 5.3/11.3 个点，一致性越高差距越大（p3 时 +9.5/+13.7）。一致性收益远大于发现性：TN TGC p3 涨 25.2 个点而 pass@3 只涨 3.9，训练把'偶尔能对'变成'稳定做对'。消融显示两组件共生：单独加步骤信用或动态量规仅 +0.8/+1.0 TGC，合起来相对固定量规值 +4.2 TGC/+10.7 SGC（p3 为 +8.1/+14.3）；随机奖励对照只有 74.0/50.0。自裁判变体达 81.1/62.7，超过 outcome reward，并拿到全表最佳 τ-bench SR 21.1；其与前沿裁判判决一致率 89.4%（全 pass 基线 72.0%），但错误单向偏宽。效率上 TN 评估成本从 $10.77 降到 $8.27，平均轮数 18.7→14.7；训练裁判成本 $1607/100 步，去 thinking 版 $316（5.1 倍节省）。对比前沿模型（Table 8）：85.3 TGC 距 claude-sonnet-4-6（89.9）4.6 个点、为其 44% 成本，领先 DeepSeek-V4-Flash 14.5 个点，仅 1T 的 Kimi-K2.7-Code 又便宜又强。弱基座 Qwen2.5-32B 上增益更大（TGC +27.2 至 62.9），逼近用真值奖励的 SALT（66.2）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AppWorldTN 任务目标完成 | TGC p1 (%) | 85.3 | 未训练 Qwen3.6-27B 69.4；真值单元测试奖励 GRPO 80.0 | +15.9（对基线）；+5.3（对验证器训练） |
| AppWorldTN 场景全部任务通过 | SGC p1 (%) | 70.6 | 基线 41.1；outcome reward 59.3 | +29.5；+11.3 |
| AppWorldTC 任务目标完成 | TGC p1 (%) | 61.5 | 基线 49.7；outcome reward 59.9 | +11.8；+1.6 |
| AppWorldTC 场景全部任务通过 | SGC p1 (%) | 40.7 | 基线 30.2；outcome reward 38.3 | +10.5；+2.4 |
| τ-bench Banking（零样本迁移） | SR p1 (%) | 20.4（自裁判版 21.1，为全表最佳） | 基线 15.8；outcome reward 17.6 | +4.6；+2.8 |
| AppWorldTN 一致性 | TGC p3 (%) | 72.8 | 基线 47.6；outcome reward 63.3 | +25.2；+9.5 |
| AppWorldTN（弱基座 Qwen2.5-32B-Instruct） | TGC p1 (%) | 62.9 | 同基座基线 35.7；SALT（真值奖励）66.2 | +27.2；距 SALT −3.3 |
| 评估效率 | AppWorldTN 单次全量评估成本（USD） | 8.27（平均 14.7 轮） | 未训练 10.77（18.7 轮） | 成本 −23%，同时 TGC +15.9 |
局限与改进
作者坦承的局限：其一，结果盲设定下没有独立信号检验判据是否忠实描述了任务，验证需要人工评分者，本文未做；其二，只使用单一冻结裁判（GPT-5.4），且未报告与人的一致性的 chance-corrected 度量——内部一致的裁判可能系统性地错，现有实验无法把'一致'与'正确'分开；其三，端到端性能提升不能证明功劳落在了正确的步骤上——归因错误的重分配也可能涨分，归因正确的也可能失败；其四，判别性丢弃使判据集依赖当次采样的组，同一任务在不同训练阶段面对不同判据，而重复评估只是固定 checkpoint 的推理重复，训练期方差未被刻画。我自己的观察：裁判成本不可忽视（前沿裁判 $1607/100 步、约 $16/步），对 API 定价和延迟敏感；训练域单一（AppWorld 的 90 个任务），且步骤被定义为'一次代码块输出'，难以直接迁移到纯 tool-call 型智能体；自裁判的 false-pass 率随训练从 22.1% 漂移到 34.9%（p=2e-6），暴露了无外部锚点时奖励缓慢退化（reward hacking 式宽松）的风险；τ-bench 增益（+4.6 SR）绝对值仍低且自裁判反而最好（21.1），说明迁移收益对裁判选择敏感、方差较大。
独立分析的弱点
独立分析的弱点与改进方向。第一，裁判即目标：量规定义了优化目标，裁判偏差会被策略无监督继承（自裁判实验显示宽松漏判是严格误判的 24 倍），改进方向是用小规模人工标注校准裁判，或用多个异构裁判的分歧度对判据加权。第二，归因有效性无直接验证：步骤引用由裁判一次性给出、未经反事实检验，且单步被引用数中位数仅 1（0.6% 的步骤有 10+ 引用），$Q_j$ 大多退化为 0/1 二值；改进方向是在关键样本上做步骤消融（删步重放）回归验证归因，或对薄证据步骤收缩到中性权重。第三，惰性信用占比仍高：DRACO 全程平均 48.1% 的 rollout 判决一致、信用退化为基线 GRPO（静态量规更是 76.4%），可以引入跨步判据难度估计或历史通过率来主动提高判别性、降低惰性率。第四，方差与可复现性：动态判据集随组变化，未报告训练方差；改进方向是对判据集做 EMA 平滑、固定随机种子多次训练并报告离散度。第五，结构性耦合：$1/n_j$ 长度分摊和步骤划分依赖'一回合一代码块'的环境约定，且论文自己承认性质 P5 对步骤粒度不成立（把一步拆成两步会改变所有份额），换到自由文本动作或 API 调用型智能体需要重新定义步骤边界并重新验证。
未来方向
作者提出的方向：理解'裁判质量需要多高'——因为裁判是定义目标而非估计目标，其所需质量的理论刻画是自然下一步；以及用人工评分者验证量规的忠实性。基于成果可延伸的方向：其一，混合设定——一部分任务有验证器、一部分没有时，研究真值奖励与量规奖励的插值和课程；其二，自裁判路径已证明策略自评可达验证器训练水平（TN 81.1 超过 outcome reward 的 80.0），结合 false-pass 漂移的量化结果，可设计带置信度校准和漂移监控的自裁判迭代训练；其三，把动态量规搬到客服、深研等天然无验证器的域——附录 B.2 的判据统计（84.4% 为单任务子目标、通用判据自动再发现静态集四家族）暗示迁移可行；其四，建立归因质量评估协议，用已知因果步骤的受控合成任务系统评测重分配的正确性；其五，度量训练期方差与判据集漂移；其六，与 process reward model、步级 DPO、turn-level 奖励（如 TRACE）等替代信号做受控横向对比；其七，把惰性信用率当作训练健康度指标，用于早停或触发量规刷新。
复现评估
复现条件较好。代码已开源（github.com/IBM/draco）；训练只用 AppWorld 公开训练集（90 任务）和两个开源基座（Qwen3.6-27B、Qwen2.5-32B-Instruct）；算力为 8×H100、LoRA rank-16、100 步（20 epoch），中等规模实验室可负担。超参在 Table 10 完整公开，六个裁判提示词逐字给出（Listings 1–6），静态 21 条判据全列（Table 9），七条性质的证明与 worked example 都在附录 E。主要门槛是裁判 API 成本：前沿裁判跑满 100 步约 $1607（约 $16/步），无 thinking 单次调用版 $316，评估一次 AppWorldTN 约 $8.27——个人可用自裁判压低成本，但要接受其宽松偏差和约 4 个点的性能损失。总体难度中等：工程上需复刻五阶段裁判流水线及信用重分配的边界情况（gap token、归一化退化回退、无引用回退），并保证裁判 JSON 输出稳定；主表数字为三个 checkpoint 均值 × 3 次评估，单次运行仍有 ±1–3 个点波动（Table 4）。
论文图表