Themis：面向灵活多准则打分的多语言鲁棒代码奖励模型训练 Themis: Training Robust Multilingual Code Reward Models for Flexible Multi-Criteria Scoring

训练流程共两步 + 一条数据流水线。第一步：构造偏好数据 (Section 3)。从 GitHub Archive 拉 2019-06 至 2021-01 期间已合并 PR 的 commit，按 15+ stars / 5+ contributors / 10+ issues 过滤仓库；用 frontier LM (Kimi, DeepSeek, MiniMax) 生成 5 个准则的搜索 query；训练 ModernBERT 准则分类器召回高置信 commit；多 LM 投票剔除多意图；再用 LM 反向合成 inverse instruction，产出 Themis-CodePreference (350k+) 和 Themis-CodeRewardBench (8.9k) 两份数据。Test split 与训练 split 在仓库和时间上都做了严格 disjoint。第二步：偏好预训练 PT (Section 4.1)。用 110k+ 的 Themis-GeneralPreference（混合自然语言和代码偏好），训练 2 个 epoch，让 RM 先学会通用的人类偏好概念 (relevance, helpfulness, harmlessness)。第三步：偏好建模 PM (Section 4.2)。用 Themis-CodePreference 训练 1 个 epoch，损失函数是 $\mathcal{L} = -\mathbb{E}_{(p, x, y_c, y_r)\sim \mathcal{D}} [\log\sigma(r_\theta(p, x, y_c) - r_\theta(p, x, y_r)) + \lambda \log p_\theta(y_c \mid p, x) + \mu \cdot (r_\theta(p, x, y_c) + r_\theta(p, x, y_r))^2]$，其中 $\sigma$ 是 sigmoid、$\lambda$ 控制 LM 正则强度、$\mu$ 控制幅度正则强度。Prompt 采样策略：15% 样本不带准则 prompt、20% 给"全准则"通用 prompt、65% 给单准则 prompt。第四步：推理时通过 system prompt $p$ 选择想要的准则，模型按条件打分。整个训练在修改过的 trl 框架上跑，AdamW + cosine schedule + 5% warmup，从 Qwen3 dense 模型系列初始化出 0.6B/1.7B/4B/8B/14B/32B 共 6 个尺寸的 Themis-RM。

技术新颖性集中在三点。第一，commit mining pipeline：把 GitHub 单文件 merged commit 转成带 inverse instruction 的偏好对，是把"implicit human validation"工程化的范式。和之前 SFT 数据合成 (Wang et al., 2024d) 不同，这套流水线不是用 LM 编造偏好，而是复用真实开发者已经验证过的代码改动，再用 LM 写 prompt。这种"真实信号 + LM prompt augmentation"的混合方式同时保证数据规模和信号质量。第二，准则 prompt 解耦：之前的多准则 RM 通常依赖模型合并、专属 head 或 Mixture-of-Experts，本文证明仅靠 system prompt + 训练时 prompt 采样就能达到 SOTA (Table 2 中 Themis-RM-8B 合并方案 77.07% vs. prompt-conditioned 89.78%)，并保持模型架构单一、推理接口简单。第三，正则化设计：BT 损失是 underspecified 的（不同 reward 尺度都能满足同一对偏好的排序），作者加入幅度正则让多准则 RM 在不同 prompt 下尺度对齐，从而支持真正的多准则组合打分；LM 正则则让 RM 不只是一个 ranker、还具备一定的"chosen 是什么"的语义能力，缓解 generator-validator inconsistency (Li et al., 2024c)。从经验结果看，Themis-RM-32B 在 Themis-CodeRewardBench 上达到 91.82 平均准确率，比最佳 baseline (Athene-RM-70B 的 81.19) 高出 10 分以上，且 0.6B 模型 (79.26) 能超过多个 >70B 通用 RM，体现数据-目标-prompt 三位一体的设计对代码 RM 的杠杆效应。

独立分析来看，Themis 至少有以下可改进的弱点。弱点一：奖励幅度正则 $\mu$ 的选择极其脆弱。论文自己也承认尝试 $\mu \in \{0.1, 0.5\}$ 会把 reward 压得太死、伤害 listwise re-ranking，但选小了又导致 model merging 失败。本质问题是 BT 损失对 reward 绝对值无约束，可以加参数化约束 (例如强制 chosen-rejected 分差近似落在某个 sigmoid 饱和区) 或在 PT 阶段就加入 reward magnitude 锚定。弱点二：prompt-conditioned 解耦在极端多准则组合下未验证。论文实验里都是单准则或"全准则"prompt，但真实用户经常说"我要又快又安全又可读的代码"——3 准则以上的组合 prompt 是否仍能让 RM 给出兼顾的多目标评分，作者没有测。改进方向是构造 synthetic 多准则组合 prompt 训练数据 (类似 conditional RL 的 reward shaping)。弱点三：Commit 偏好对的隐式假设过强。所有偏好都来自"commit 前后代码"，但 commit 作者本身可能做了功能/性能/可读性多重改动，单意图过滤 + 多 LM 投票不能保证每对都"只差一个维度"。如果 chosen 和 rejected 在另一维度上其实相反 (e.g. 修复了 bug 但降低了效率)，RM 学到的偏好可能是混合而非条件性的。改进方向是在合成数据里显式控制 other-criteria 等价 (如同时要求 chosen 和 rejected 在其他准则上不可区分)。弱点四：评测指标单一。全部用 preference accuracy，但下游 RLHF 用的是 dense reward value，pairwise accuracy 高不代表 value function 准确。可加 calibration / Brier score / Spearman correlation with true reward 等指标。弱点五：没有 release 上线 RLHF 跑分。Table 4 仅做了 re-ranking，但没接 PPO/GRPO 看 HumanEval/MBPP pass@1 的真实提升，这是这套 RM 价值最直接的证据。

作者自己提出的未来方向在 Conclusion 隐含两个：(1) 把 RM 推广到"超出可执行代码"的后训练场景；(2) 推动开源生态共建。从论文线索和我自己的观察，可延伸的方向还有：方向一，多准则多目标的 RLHF 范式。把 Themis-RM 当成 multi-objective reward，对策略做 constrained optimization (类似 Safe-RLHF 或 MORL)，让模型在 inference 时可以按用户偏好 (latent utility vector) 调整输出。方向二，扩展准则到工程级维度。加入 test coverage、observability、error handling、API 一致性、license compliance 等，目前的 5 准则对工业落地远远不够。方向三，commit mining 的时间扩展。把数据截止时间推到 2024-2025，纳入 LLM 生成代码 (Copilot 提交)、最新 CVE 模式、LLM 自身后训练留下的偏好痕迹。方向四，对抗鲁棒性主动训练。论文只验证了 Aletheia-Adv 的"评测式鲁棒性"，未来可以构造 judge-hacking 训练数据 (保留逻辑的语义等价变体、prompt-injection 风格的偏好污染) 进一步提升。方向五，dense reward 替代 pairwise。把 BT 改成 pointwise regression on synthetic continuous score (e.g., 用 profiling 输出 + LM judge 的聚合作为 silver label)，缓解 BT 的 underspecification。方向六，与 verifier-as-a-service 集成。把 Themis-RM 当成"软 verifier"，在生成阶段就给出 reward signal 引导 decoding (e.g., best-of-N 重排 + process reward)，和现有 execution-based verifier 形成互补。方向七，下游 RLHF 端到端验证。真正的硬证据是把 Themis-RM 接入 Qwen2.5-Coder / Llama-3-Coder 系列跑 PPO 或 GRPO，看 HumanEval+、MBPP+、SWE-bench 的提升幅度。

整体复现难度中等偏上，但门槛在算力而非思路。作者承诺开源所有 artifacts（Themis-CodeRewardBench、Themis-GeneralPreference、Themis-CodePreference、Themis-RM 6 个尺寸的 checkpoint），训练框架是基于 huggingface/trl 的修改 fork，技术栈透明。数据层面，commit mining 流水线用公开的 github/github-repos archive、GHTorrent 镜像、Kimi/DeepSeek/MiniMax 三个 frontier LM 合成 query 与 inverse instruction，全部可重跑；但 frontier LM 在不同时间点调用可能产出不完全一致的标注，需要固定 temperature=0 或记录 prompt-template 细节。模型层面，6 个尺寸的 Qwen3 base 在不同规模上都需要重新训练，0.6B/1.7B/4B 用单卡 8xA100-80G 在几天内可以完成 PT+PM 两阶段，8B/14B 需要 16-32 张 H100，32B 至少需要 64-128 张 H100 跑 1-2 周。训练超参：AdamW + cosine + 5% warmup、PT 2 epoch + PM 1 epoch、$\lambda$ 和 $\mu$ 是关键但作者没给具体值，需要 sweep。评测层面，Themis-CodeRewardBench 8.9k 偏好对可直接下载使用；listwise re-ranking 需要 CodeContests+ 数据集和 bytedance/sandboxfusion sandbox，adversarial 评测需要 Aletheia-Adv。整体而言，0.6B-4B 的小模型在 8xA100 上 1 周内可完整复现主要结论，32B 模型对大多数学术团队算力门槛过高，但作者直接给 checkpoint 是合理的开源姿态。代码细节、prompt template、数据过滤的 exact configuration 在 Appendix (Section B/C) 有详述。最大的隐性难点是 commit mining 阶段对 frontier LM 调用的依赖——这是经验性环节，换模型可能让最终 RM 的精度有 1-3 分的波动。