RubricEM：超越可验证奖励的Rubric引导策略分解元强化学习 RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards

RubricEM 的方法可拆为以下若干步骤。**Scaffold 蒸馏**：从 SearchArena 与 OpenScholar 等公开 query 源采样，用 Gemini-3.1-Pro 生成符合四阶段 XML schema (``/``/``/``/``/``/``) 的轨迹，rejection sampling 过滤掉违反 stage 边界、工具调用语法、引用格式或 grounding 约束的样本，得到 RubricEM-SFT checkpoint。**任务策略 rollout**：在每条 query 上从当前策略 $\pi_\theta$ 采样 $n$ 条 rollout $\{\tau_i\}_{i=1}^n \sim \pi_\theta(\cdot|q)$，每条轨迹被切分为 $K=4$ 个语义阶段 (Plan/Research/Review/Answer)，记阶段 $k$ 的 token 块为 $B_{i,k}$。**Stagewise Evolving-Rubric Judge**：对每个阶段 $k$ 维护一个 rubric buffer $B_k$，judge 跨 $n$ 条 rollout 对比、参考已存 rubric 与 policy 自生成的 rubrics，生成对当前策略分布具有判别力的新条目，淘汰不再分离质量的旧条目，得到阶段分数 $R_{i,k} \in [0,1]$。**SS-GRPO 信用分配**：构造因果 stage-dependence matrix $\Lambda = (\lambda_{k,j})$，满足 $\lambda_{k,j}=0$ (j<k) 且 $\lambda_{k,k}=1$，计算 $G^\Lambda_{i,k} = \sum_{j \geq k} \lambda_{k,j} R_{i,j}$，再在 rollout 组内做 stagewise z-score 归一化得到 advantage $A_{i,k}$，所有同阶段 token 共享此 advantage；最终用 PPO-clip 形式目标 $\mathcal{L}_{\text{SS-GRPO}} = -\frac{1}{n} \sum_{i,k,t \in B_{i,k}} \min(\rho_{i,t} A_{i,k}, \text{clip}(\rho_{i,t}, 1-\eta, 1+\eta) A_{i,k}) + \beta D_{KL}(\pi_\theta \| \pi_{\text{ref}})$，其中 $\rho_{i,t} = \pi_\theta(a_{i,t}|h_{i,t})/\pi_{\theta_{\text{old}}}(a_{i,t}|h_{i,t})$，保持 critic-free。**反射元策略训练**：在 step $N$，取 (query, 第 $N-1$ 步的 raw trajectory, 阶段 rubric 分数, evaluator justifications) 作为 prompt，固定该 trajectory 的 token、只反传 reflection tokens，让共享骨干采样 $m$ 个 reflection 候选；privileged judge 用同一套 stagewise rubric 与 within-episode / cross-episode 两条判据为每个候选打分，所有候选分数作为 RL 奖励更新骨干参数；只有最高分且被 judge 接受的 reflection 被写入 agent rubric bank。**两阶段 curriculum**：同一 query 先以 cross-episode retrieval (从相关历史问题拉 reflection) 完成第一遍 rollout，再以 within-episode refinement (复用本问题 reflection) 完成第二遍，迫使策略主动利用 bank。**异步执行**：任务策略 rollout、任务 judging、任务策略 update、反射 rollout、反射 judging、反射 update 被流水线化，反射分支相对任务策略滞后 1 步，使训练引擎与推理引擎始终有活可干，避免同步阻塞。

RubricEM 的技术新颖性可从四个层面分析。理论上，论文给出 Theorem 1 (Value of stage information) 严格证明'当同一压缩状态 $c=\phi(h)$ 对应多个阶段且阶段最优动作集互不相交时，显式阶段信息 $V_{\text{stage}} = \mathbb{E}[\max_a \mathbb{E}[U(h,a)|c,z]]$ 严格大于扁平策略 $V_{\text{flat}}$'，从信息论角度为 scaffold 设计提供理论背书；并用 Theorem 3 形式化 'stage-weighted credit improves gradient approximation when recovered intermediate signal outweighs cumulative judge misalignment'，刻画了 SS-GRPO 何时优于终端奖励。方法上，首次把 stage-dependence matrix $\Lambda$ 引入 GRPO 框架，使过程级信用分配既显式编码阶段因果又保持 critic-free；同时把 evolving rubric 从 final-answer 扩展到 process-level，并允许 judge 参考 policy 自生成 rubric 而不被其主导。系统上，'共享骨干 + 异步流水线'首次让 Meta-RL 在长程 agent 训练中不增加串行墙钟时间，是工程层的重要贡献。实验上，1400 步 RL 训练 8B 模型在四个长形式 benchmark 上取得 55.5 平均分，超过所有开源模型 (DR Tulu-8B-RL 53.6、Tongyi-30B-A3B 50.8、WebThinker-32B-DPO 49.0)，并对 short-form 任务 (SimpleQA/2Wiki/WebWalker/DSQA) 取得 73.5 平均分，远超 DR Tulu 的 49.0，证明训练经验可向 out-of-domain 任务迁移。

独立审视 RubricEM，可识别如下弱点并提出改进方向。**(1) Stage schema 僵硬**：四阶段是硬编码 XML 标签，现实中'综述'类任务需要更细的子阶段 ('claim→evidence→counter-claim→synthesis')，'代码调研'类任务又需要不同切分。改进方向是引入动态 stage discovery——用 LLM 在线决定子阶段边界，或在 stage 上加 soft 注意力而非硬切分。**(2) SS-GRPO 对 judge 噪声敏感**：Theorem 3 的条件是 'recovered intermediate signal outweighs cumulative judge misalignment'，但论文未给出 judge 失配上界的可测估计；当 judge 给出不一致的 stage 分数时，stage 内部归一化可能放大噪声。改进方向是引入 stage-level confidence weighting 或对抗训练提升 judge 鲁棒性。**(3) Rubric bank 的检索机制未充分披露**：cross-episode retrieval 的相似度度量、bank 容量管理、stale 条目淘汰策略都未在正文展开，'可复用'的强弱高度依赖这些实现细节。改进方向是显式建模 bank 的存读写协议，并用 IR 指标量化 retrieval quality。**(4) 反射与任务策略共享骨干的副作用**：共享参数使 reflection 训练的目标间接影响 task 推理时的格式倾向，可能导致两阶段 scaffold 在 inference 时发生'风格漂移'。改进方向是引入 disentangled LoRA (reflection 与 task 各占一组 adapter) 解耦目标。**(5) 评估可比性**：HealthBench 上 RubricEM-8B-RL 49.3 < DR Tulu-8B-RL 50.2，论文未给出解释；改进方向是在 controlled 同一 judge 下做 head-to-head，并按子能力 (planning / search precision / synthesis) 做细粒度拆解。

作者指出的未来方向包括：扩展 stage schema 到更细粒度的子目标；让 rubric bank 与 long-term memory (如 MemGPT 式) 结合，做跨 session 经验沉淀；将异步流水线推广到 multi-agent 协同训练。基于本文成果可延伸的方向有：(1) **自适应 stage-dependence matrix**：把 $\Lambda$ 改造为可学习参数或从数据中归纳 (例如用 attention 矩阵估计阶段间影响)，使 SS-GRPO 不再依赖人工因果先验；(2) **多模态 rubric**：将 rubric 从纯文本扩展到图像、表格、代码块，覆盖含 figure-grounded 写作的研究报告；(3) **更强的 reflection critic**：当前 reflection 候选由同一 LLM judge 打分，引入专门训练的 reflection-eval model 可降低对闭源 judge 的依赖；(4) **过程级 safety**：在 SS-GRPO 中加入 safety rubric，对幻觉、citation 造假、unsafe content 做过程级惩罚；(5) **跨模型族泛化**：把 RubricEM 推广到非 Qwen3 骨干 (如 Llama、DeepSeek) 与不同教师 (Claude Opus 4.5) 的组合，验证 framework 对 backbone 与 teacher 的鲁棒性；(6) **训练–服务闭环**：reflection bank 在 inference 时检索意味着 bank 越大延迟越高，亟需 hierarchical retrieval 或 bank distillation。

RubricEM 的复现难度较高但具备基础可行性。论文报告了主要数据 (SearchArena、OpenScholar) 与 benchmark (HealthBench、ResearchQA、DRB、ResearchRubrics) 的引用，并沿用了 DR Tulu 的 base infrastructure、训练 datasets、hyperparameters 与评估协议，理论上实验可比；训练 backbone 选用 Qwen3-8B 公开权重，teacher 选用 Gemini-3.1-Pro、search 选用 Gemini-flash-grounded Google Search + Semantic Scholar，judge 也以 Gemini 系模型为主——这意味着复现实验对 Gemini API 配额与稳定性有强依赖。代码与模型权重在论文提交时未声明开源 (Appendix H 'Further discussions and limitations' 未给链接)，但 8B backbone + 1400 步 RL 的算力需求相对适中，单机 8×H100 级别应可重放；reflection bank 容量、stage rubric buffer 更新频率、$\Lambda$ 的具体取值等关键超参需从附录 C 与 D 重建。综合来看，方法学层面可复现，bit-exact 复现依赖闭源 judge 与教师。