P-GenRM：基于测试时用户缩放的个性化生成式奖励模型 P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling

P-GenRM 的完整技术流程包含以下步骤。第一步，构建结构化评估链（SEC）数据集。给定用户的当前查询 $q_t$ 和偏好信号 $\{H_t^{(u)}, E^{(u)}\}$（其中 $H_t^{(u)}$ 是历史交互，$E^{(u)}$ 是显式偏好标准），使用指令型 LLM（原文使用 OpenAI o3）推断用户画像 $P_t^{(u)}$，然后基于画像为当前场景生成评分标准和权重，最后对每个候选响应 $y_i^t$ 进行评估得到分数 $s_i^t$。第二步，SFT 阶段使用经过拒绝采样过滤的高质量 SEC 数据对 P-GenRM 进行监督微调，使其获得基本的个性化评分能力。第三步，RL 阶段使用 GRPO 算法进行训练，奖励函数包含过程奖励 $PR_t$（由 LLM-as-a-Judge 评估评估链对用户偏好的覆盖程度，得分 0-1）和结果奖励 $OR_t = \mathbf{1}\{s_c^t > s_r^t\}$（判断排序正确性），总奖励 $R_t = \alpha \cdot PR_t + \beta \cdot OR_t$，原文中 $\alpha=0.5$、$\beta=1.0$。第四步，课程学习阶段逐步增加硬负样本比例，同时关闭过程奖励以扩大探索空间。第五步，离线原型初始化：使用 Qwen3-Embedding-0.6B 计算用户画像嵌入，通过 K-means 聚类得到 $k=50$ 个用户原型，再通过历史感知的注意力原型精炼机制优化原型表示。精炼过程使用原型增强注意力机制 $\alpha_\tau = \text{softmax}_\tau(\frac{o_\tau^T q_t}{\sqrt{d}} + \rho \frac{o_\tau^T a_j}{\sqrt{d}})$ 来加权历史记录，并通过成对损失和正则化更新原型。第六步，测试时双粒度缩放：个体级缩放对同一查询生成 $m$ 个评分方案取平均；原型级缩放将用户分配到最近原型，选择 $n$ 个最相似用户的偏好信号进行融合。最终分数为 $s_i^t = \frac{1}{m}\sum_{x=1}^{m} \text{Extract}(S_{i,x}^t) + \frac{1}{n}\sum_{w=1}^{n} \text{Extract}(S_i^t(u_w))$。

P-GenRM 的技术新颖性体现在多个层面。首先，它是首个将生成式奖励模型应用于个性化对齐场景的工作，将个性化评分从传统的标量回归问题转化为结构化文本生成问题，天然获得了可解释性和测试时可扩展性。其次，三阶段训练框架的设计具有独到之处：SFT 阶段通过拒绝采样保证基础能力，RL 阶段创新性地将过程奖励（评估链质量）与结果奖励（排序正确性）结合，并通过权重系数 $\alpha$ 和 $\beta$ 控制模型对显式偏好标准的敏感度，防止过拟合到特定偏好维度；课程学习阶段关闭过程奖励以扩大探索空间，这一设计细节体现了对不同训练阶段目标的深入理解。再次，用户原型聚类机制将推荐系统的协同过滤思想引入生成式奖励模型，通过 PCA 分析确定原型数量（保留方差比），并通过历史感知的注意力机制和正则化更新策略（包括簇中心正则 $\lambda_{\text{cent}} \|a_j - \mu_j\|_2^2$ 和时序平滑正则 $\lambda_{\text{tr}} \|a_j - p_j\|_2^2$）确保原型的有效性和稳定性。最后，双粒度缩放的统一框架在个体级探索用户偏样的多种假设、在原型级利用相似用户的集体智慧，两个层次的协同效应带来了超越单独使用任一缩放策略的性能提升。

P-GenRM 存在几个值得深入分析的弱点。第一，训练数据构建对强模型的依赖：SEC 数据集的构建依赖 OpenAI o3 等强大的指令模型来生成高质量的评估链，这引入了外部依赖和潜在的级联误差——如果教师模型的偏好推断存在偏差，这些偏差会被传递到 P-GenRM 中。改进方向可以是探索自举（bootstrapping）策略或使用多个教师模型的集成来构建更稳健的训练数据。第二，原型更新的离线性质：当前原型的初始化和精炼是离线完成的，无法实时适应用户偏好的变化。未来可以探索在线原型更新机制，使原型能够随着用户交互的积累而持续演化。第三，原型级缩放的用户相似度计算基于嵌入空间的最近邻搜索，但嵌入质量受限于 Qwen3-Embedding-0.6B 模型的能力。对于偏好高度细粒度的用户，简单的最近邻搜索可能无法找到真正相似的用户。改进方向包括引入更精细的相似度度量或层次化的原型结构。第四，过程奖励和结果奖励的权重 $\alpha=0.5$、$\beta=1.0$ 是通过附录中的网格搜索确定的，但这些超参数可能对不同数据集不够稳定，缺乏自适应调整机制。

基于 P-GenRM 的研究成果，未来研究可以从多个方向延伸。第一，作者提出的方向包括将 P-GenRM 应用于策略模型的训练（附录 A.12 已初步验证了 DPO 和 GRPO 设置下的有效性，P-GenRM 将 8B 策略模型提升到超越 70B 模型的水平），进一步探索端到端的个性化 RLHF 流程。第二，可以将用户原型聚类机制扩展为层次化结构，支持从粗粒度（如文化背景、年龄段）到细粒度（如具体偏好维度）的多层级偏好建模。第三，探索动态原型更新策略，使模型能够在部署过程中持续学习用户偏好的变化，实现真正的在线个性化。第四，将 P-GenRM 的评估链生成能力应用于其他主观评估任务，如创意写作评估、个性化内容推荐、教育辅导等场景。第五，探索更高效的测试时缩放策略，如自适应缩放（根据查询的难度动态决定采样数量）或基于检索的缩放（预先缓存相似查询的评分方案）。第六，将方法扩展到多模态场景，结合用户的视觉、听觉等多模态偏好信号进行个性化评估。

在复现方面，P-GenRM 的代码已在 GitHub 上开源（https://github.com/Tongyi-ConvAI/Qwen-Character/tree/main/Character-GenRM），这为复现提供了良好的基础。训练数据方面，PersonalRewardBench 基于公开的 Chatbot Arena 和 PRISM 数据集构建，LaMP-QA 也是公开可用的。然而，完整的复现面临几个挑战。首先，三阶段训练流程需要大量计算资源：8B 模型使用 8 张 GPU，70B 模型使用 32 张 GPU 进行 LoRA 训练，这对大多数研究团队来说成本较高。其次，SEC 数据集的构建依赖 OpenAI o3 API，需要相应的 API 访问权限和费用，且 o3 是闭源模型。第三，原型初始化使用 Qwen3-Embedding-0.6B，需要额外的嵌入计算。第四，论文报告了 5 次独立运行的标准误差，说明结果具有一定的随机性，完整复现需要多次实验。总体而言，虽然代码开源降低了复现门槛，但计算资源和外部 API 依赖仍是主要障碍。