个性化 RewardBench：基于人类对齐个性化的奖励模型评估基准 Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization

方法分五步。步骤一，从 LaMP-QA 选 Arts、Lifestyle、Society 三域样本，用 Contriever 从用户历史检索 $k=10$ 条 narrative 拼成 profile $u$。步骤二，复用 LaMP-QA 标注的 personal rubric $R_u$（人类一致性 4.9/5）。步骤三，用 Gemini-3-Flash 在互斥 prompt 下分别生成 $y_c = \mathrm{LLM}(q, u, R_u)$ 与 $y_r = \mathrm{LLM}(q, u, \lnot R_u)$。步骤四，人类 5 分制在 Factuality、Relevance、Helpfulness、Personal Rubrics 四维度打分，确认 chosen/rejected 仅在 Personal Rubrics 显著分化（4.84–4.93 vs 1.44–1.49）。步骤五，14 个 RM 分三类（标量/生成式/微调）评测；再以 Qwen2.5-0.5B 为 policy，BoN（$N=16$）与 PPO 下与两个基线计算 NDCG 等指标。

技术新颖性体现在三方面。其一，'反 rubric prompt'的对照式生成机制——通过显式给出矛盾约束，让 LLM 写一个'流畅但跑题'的版本，巧妙地只切变量 $R_u$；这比单纯让小模型写坏样本要严格得多。其二，Planner 桥接模块显式把稀疏历史 $u$ 转换为稠密 rubric $\tilde{R}_u$，缓解了通用 RM 在训练分布外的脆弱性，使 w/plan 设置在所有模型系列上稳定优于 w/profile 注入。其三，下游验证首次把 RM 静态排名与 BoN/PPO 动态策略排名做多指标交叉相关，证明基准对'实际能改善多少策略'的预测力。

可独立指出四点弱点。第一，rubric 反转生成虽精妙，但 '反 $R_u$' prompt 只有一种，无法穷尽'不贴合'的所有可能——若 $\lnot R_u$ 提示稍有不慎，被试 RM 仍可能依赖通用质量启发式蒙对。第二，Planner 训练数据完全来自 LaMP-QA 训练集，跨域迁移时未见消融；若换成 HelpSteer、PRISM 等其他用户数据集，$P(q, u)$ 的泛化误差未量化。第三，下游评估只用 Qwen2.5-0.5B 一种 policy，排名可能在 Llama-3.1-8B、Mistral-7B 等其他 base 上发生洗牌；论文虽在 BoN 与 PPO 双设置下做了相关，仍缺一个 policy×RM 的二维稳定性报告。第四，本文聚焦偏好判别，没分析 RM 校准度（calibration），而 PPO 等算法对奖励幅度绝对值很敏感。改进方向：可在 $\lnot R_u$ 上做 prompt 集合做集成、在多个 base policy 上跑 $N \geq 16$ BoN、引入 Brier Score 或 ECE 报告校准。

作者已暗示三处延伸——更先进的个性化 RM 训练目标（解耦通用质量与个人偏好）、跨域迁移与自动 rubric 抽取、以及多 query-per-user 的多任务设定。读者可进一步探索：(1) 把 Planner 与 RM 做端到端联合微调，让 rubric 抽取与评分彼此促进；(2) 引入 PRISM 那样的多元价值观，把单点 rubric 升级为权重向量 $\mathbf{w}_u \in \mathbb{R}^d$ 以同时兼顾'健康/无毒'等共享底线与个人偏好；(3) 结合 DPO、IPO、KTO 等免 RM 训练方法，看是否能在静态榜单上逼近本文最佳 RM；(4) 把基准扩展到多模态（图像、视频），验证'个性化'概念在跨模态生成中是否同样适用。

复现门槛中等偏低。代码与数据已开源：GitHub Martin-qyma/Personalized-RewardBench、HuggingFace datasets/QiyaoMa/Personalized-RewardBench，含 chosen/rejected 对与 planner 训练脚本。Skywork、Internlm2、RM-R1、R3/mR3、Qwen2.5-0.5B/32B 全部有公开权重，可直接 HuggingFace Transformers 加载；Claude-Sonnet-4-6、GPT-5.1、Gemini-3-Flash 需付费 API。算力消耗：Gemini-3-Flash 生成约 2830 条 chosen/rejected 对、PPO 阶段 14 个 RM×Qwen2.5-0.5B 的 RL 微调——单卡 A100 80G 即可跑通，全量复现预计 200–500 美元 API + 100–200 GPU 小时。易卡点：LaMP-QA 的 license 与用户去标识化处理，建议先小批量（100 条）跑通 pipeline 再放量。