WildReward：从野外人类交互中学习奖励模型

无需人工标注偏好对，直接从真实用户对话中训练奖励模型

前置知识

奖励模型（Reward Model）

奖励模型是强化学习从人类反馈（RLHF）中的核心组件，它学习将语言模型的输出映射为一个标量分数，表示该输出的质量或人类偏好程度。传统奖励模型通过在人类标注的偏好对上训练 Bradley-Terry 模型来实现，即给定两个回答，模型预测哪个更好。训练后的奖励模型可以用于指导语言模型的微调，也可以在推理时用于从多个候选中选择最佳回答（Best-of-N 采样）。

本文的核心贡献就是提出了一种全新的奖励模型训练范式，不依赖传统的偏好对标注，而是直接从野外交互数据中学习奖励信号，因此理解传统奖励模型的工作方式是理解本文创新点的基础。

序数回归（Ordinal Regression）

序数回归是一种专门用于预测有序类别变量的机器学习方法。与标准分类不同，序数回归考虑了类别之间的内在顺序关系。在本文中，作者将用户反馈分为四个有序类别：明确拒绝（1分）、错误纠正（2分）、积极互动（3分）、明确满意（4分）。序数回归通过建模 $P(y > k|x; \theta)$ 来学习这些有序类别的相对排名，最终的奖励分数通过 $R(x) = 1 + \sum_{k=1}^{K-1} P(y > k|x; \theta)$ 计算，本质上是预测质量的期望值。

序数回归是本文训练方法的核心技术，它使得模型能够学习不同反馈级别之间的相对关系，而不是简单地进行二元分类。这种方法天然提供了概率输出，可用于置信度过滤和校准。

Bradley-Terry 模型

Bradley-Terry 模型是配对比较的经典统计方法，广泛用于奖励模型训练。给定两个选项 $a$ 和 $b$，该模型假设选项 $a$ 优于 $b$ 的概率为 $P(a > b) = \sigma(r(a) - r(b))$，其中 $r(\cdot)$ 是奖励函数，$\sigma$ 是 sigmoid 函数。传统奖励模型通过最大化偏好对的似然来训练，但这种方法需要大量人工标注的偏好对，且模型的全局分数校准往往较差。

本文指出 Bradley-Terry 模型的局限性（需要偏好对、全局校准差），并提出序数回归作为替代方案，这是理解本文创新动机的关键对比点。

WildChat 数据集

WildChat 是一个大规模人类-LLM 对话数据集，包含超过 100 万条真实用户与 ChatGPT 的交互记录。与精心设计的评估数据集不同，WildChat 记录了用户在自然场景下与 LLM 的对话，包含各种语言（主要是英语和中文）、多种任务类型、以及真实的用户反馈信号。这些反馈通常是隐式的，需要通过精心设计的管道来提取。

WildChat 是本文的数据来源，论文的核心创新之一就是如何从这种嘈杂的野外数据中提取高质量的奖励信号，因此理解数据的特点对理解整个方法很重要。

直接偏好优化（DPO）

DPO 是一种替代 RLHF 的对齐方法，它将奖励模型训练和策略优化合并为一个单一的监督学习过程。给定偏好对 $(y_w, y_l)$，DPO 通过优化策略模型使其直接最大化 $y_w$ 相对于 $y_l$ 的概率比来实现对齐。虽然 DPO 简化了训练流程，但它仍然需要偏好对数据。本文使用 WILDREWARD 作为外部奖励信号来指导在线 DPO 训练。

DPO 是本文验证 WILDREWARD 实用价值的主要应用场景，实验表明使用 WILDREWARD 指导的在线 DPO 能够显著提升模型性能。

研究动机

当前奖励模型的训练严重依赖大规模人工标注的偏好对数据，这一过程存在两个核心问题。首先，收集偏好对的成本极高：需要人类标注员阅读两个回答，仔细比较后选择更好的一个，这个过程耗时且昂贵。其次，偏好对的质量受标注员主观性影响，不同标注员可能对同一对回答有不同判断。随着 LLM 在现实世界中的广泛部署，产生了海量的野外人类-LLM 交互数据，这些数据中蕴含着丰富的隐式奖励信号。例如，用户会对错误回答进行纠正，对满意回答表示感谢，或者提出相关后续问题表示积极互动。然而，这些数据的利用率极低：本文对 WildChat 的分析发现，约 82% 的后续查询不包含明确的反馈信号，只有 1% 包含正面反馈，17% 包含负面反馈。更严重的是，反馈中存在显著噪声，特别是在安全场景中，当 LLM 正确拒绝敏感问题时，用户可能仍然提供负面反馈，这种噪声如果被直接使用会严重损害奖励模型的质量。

本文的目标是本文的核心目标是探索能否直接从野外人类交互数据中训练高质量的奖励模型，而无需任何人工标注的偏好对。具体而言，作者希望：（1）设计一个自动化的数据处理管道，从嘈杂的野外对话中提取可靠的人类反馈信号；（2）利用这些反馈训练一个奖励模型 WILDREWARD，使其性能达到甚至超越传统基于偏好对训练的奖励模型；（3）验证 WILDREWARD 在下游任务中的实用价值，特别是在指导 DPO 训练方面。这个目标如果实现，将大幅降低奖励模型训练的成本，并开辟一条利用日益增长的野外交互数据的新路径。

与已有工作不同的是，本文的独特切入角度在于：传统方法将野外交互数据视为嘈杂的、难以利用的资源，而本文将其视为蕴含丰富奖励信号的宝库，只需要一个精心设计的管道来挖掘。与以往使用野外数据的工作相比，本文有三个关键差异：（1）之前的工作（如 Shi et al., 2024; Jin et al., 2025）主要利用负面反馈来构造偏好对进行 DPO 或 SFT 训练，但不训练奖励模型，这限制了其扩展性和应用场景；（2）相关工作（Han et al., 2025; Pang et al., 2024）训练的是二元分类器来预测用户满意度，但这种二元分类无法捕获响应质量的排名信息，无法作为奖励模型使用；（3）本文首次训练了一个能够进行多级别质量排序的奖励模型，并通过序数回归实现了良好的全局分数校准，这使得 WILDREWARD 能够支持在线学习方法如 Online DPO。

核心方法

本文的方法可以用一个简单的类比来理解：想象一个餐厅经理在观察顾客的行为来评估服务员的服务质量。顾客很少会明确说服务很好（正面反馈稀缺），但会通过各种隐式行为传达信息——继续点菜可能表示满意，指出上错菜表示发现错误，提问相关问题表示积极参与。这个经理需要设计一套系统的方法来从这些嘈杂的行为信号中提取可靠的服务质量评估。本文的方法遵循类似的逻辑：首先从 WildChat 的野外对话中提取用户反馈信号，然后通过两阶段优化策略过滤噪声，最后使用序数回归训练能够产生连续奖励分数的模型。技术路线包括三个主要步骤：（1）数据收集与初步分类：使用 gpt-oss-120b 对用户反馈进行五级分类；（2）两阶段优化：隐式反馈挖掘和拒绝验证；（3）模型训练：使用序数回归在 186k 高质量实例上训练 WILDREWARD。

本文最核心的创新是提出了一个从野外交互中提取可靠奖励信号的完整管道，特别是两个关键技术：隐式反馈挖掘和拒绝验证。隐式反馈挖掘基于一个重要的观察：如果用户在连续对话中对某个回答给予了正面反馈（如 Interesting, then what happens?），那么在这个正面反馈之前的中间回答也很可能是高质量的，即使当时没有明确的反馈信号。基于这个假设，作者在 Neutral Ambiguity 类别中挖掘与正面反馈查询语义相似度大于 0.6 的实例（在两轮窗口内），将这些实例重新分类为正面反馈，从而增加了约 12,310 个正面样本，使正面反馈子集扩大了 29%。拒绝验证策略则解决了一个特定的噪声问题：当 LLM 正确拒绝敏感问题时，用户可能仍然表达不满，这种负面反馈实际上是不合理的。通过使用 gpt-oss-120b 分析安全场景中的拒绝行为，作者识别并修正了约 572 个这样的噪声实例。虽然数量不多，但这个修正对奖励模型在安全相关基准上的性能有显著影响。

方法步骤详情

本文方法的完整流程包括以下步骤：（1）数据预处理：从 WildChat-4.8M 中筛选英语和中文对话，排除多模态查询、需要外部工具的查询、琐碎的身份查询、上下文依赖查询，以及对话历史超过 20 轮或查询少于 5 词的实例。（2）初步反馈分类：采样 10,000 个实例，使用 gpt-oss-120b 将用户后续查询分为三类：Negative（17%）、Neutral（82%）、Positive（1%）。人工检查 200 个样本确认分类准确率。（3）五级细粒度分类：将反馈细分为五个级别——明确拒绝（3%）、错误纠正（14%）、中性模糊（76%）、积极互动（6%）、明确满意（1%）。采用保守策略，缺乏强证据时默认归为中性模糊。（4）隐式反馈挖掘：在中性模糊子集中，计算用户查询与两轮窗口内正面反馈查询的语义相似度（使用 all-MiniLM-L6-v2），将相似度大于 0.6 的实例重新分类为正面反馈。（5）拒绝验证：使用 gpt-oss-120b 分析明确拒绝和错误纠正类别中的实例，判断负面反馈是否因合理拒绝而不公正。（6）数据集构建：排除剩余的中性模糊实例，得到 WILDFB 数据集，包含 186k 高质量实例。（7）模型训练：使用 Qwen3-4B 和 8B 作为骨干模型，采用序数回归目标函数训练一个 epoch，批量大小 512，学习率 $1 \times 10^{-5}$。

技术新颖性

本文的技术新颖性体现在三个层面：（1）训练范式的转变：传统奖励模型训练需要人工构建偏好对并使用 Bradley-Terry 损失，本文首次展示了可以直接从点式（pointwise）用户反馈中训练奖励模型，无需任何偏好对。这不仅降低了数据成本，还利用了野外交互中蕴含的丰富信号。（2）序数回归的应用：与标准的二元分类或回归不同，序数回归显式建模了反馈类别的有序关系，这使得模型能够学习明确满意优于积极互动优于错误纠正优于明确拒绝这样的相对排名。更重要的是，序数回归产生的概率输出天然具有良好的校准性质，这是 Bradley-Terry 模型所不具备的优势。（3）数据提取管道的设计：隐式反馈挖掘和拒绝验证两个策略都是针对野外交互数据特点设计的创新解决方案。特别是隐式反馈挖掘利用了对话的时间连续性——相邻轮次中的反馈信号可以传播到中间轮次，这一洞察具有普遍适用性。

实验结果

本文在多个标准奖励模型基准上进行了全面评估，结果令人印象深刻。在 RewardBench 上，WILDREWARD-8B 取得了 86.0% 的准确率，与 ArmoRM-Llama3-8B（90.4%）和 Skywork-Reward-Llama-3.1-8B（93.1%）等在大规模偏好对上训练的模型相当。更值得注意的是，在 RM-Bench Hard 子集上，WILDREWARD-8B 取得了 69.7% 的成绩，显著超过了大多数基线模型（如 Llama-3.1-Nemotron-70B 的 47.8% 和 INF-ORM-Llama3.1-70B 的 54.0%），这表明 WILDREWARD 对表面偏见（如长度偏见、风格偏见）具有更强的鲁棒性。在 PPE Correctness 上，WILDREWARD-8B 取得了 65.6% 的成绩，同样表现出色，说明它能够准确评估客观的事实准确性。在跨样本一致性评估中，WILDREWARD 的 ROC-AUC 达到 0.79，显著优于 ArmoRM-Llama3-8B（0.47）、Athene-RM-8B（0.56）和 Skywork-Reward-Llama-3.1-8B（0.53）。校准分析显示 WILDREWARD 的期望校准误差（ECE）仅为 2.76%，远低于 ArmoRM-Llama3-8B 的 8.81%。消融实验证明了两个数据策略的有效性：移除隐式反馈挖掘会导致 Chat 准确率从 79.3% 降至 77.3%，Math 从 75.6% 降至 73.6%；移除拒绝验证会导致 SRF（安全拒绝）子集准确率从 90.4% 暴跌至 28.5%。用户多样性分析表明，对于相同数据量，使用 10 倍用户数训练的模型在 RM-Bench Normal 上平均提升 2-3 个百分点。在 DPO 应用中，使用 WILDREWARD 指导的 Online DPO 在 Llama3.1-8B-Instruct 基础上取得了显著提升：GSM8K 从 83.6% 提升到 87.9%，MATH-500 从 49.6% 提升到 51.6%，Alpaca Eval 2.0 从 33.1% 提升到 41.3%，Arena Hard 从 55.7% 提升到 63.5%。

**Figure 3**: 不同数据规模和用户数量下的 RM-Bench Normal 性能

**Figure 5**: 不同奖励模型在点式评估中的 ROC 曲线和 ROC-AUC 分数

查看结构化数据

任务	指标	本文	基线	提升
RewardBench	准确率	86.0%	INF-ORM-Llama3.1-70B: 95.1%	与 8B 级模型相当，接近 70B 级
RM-Bench Hard	准确率	69.7%	INF-ORM-Llama3.1-70B: 54.0%	+15.7% 绝对提升
PPE Correctness	准确率	65.6%	Skywork-Reward-Gemma-2-27B: 61.9%	+3.7% 绝对提升
跨样本一致性	ROC-AUC	0.79	ArmoRM-Llama3-8B: 0.47	+0.32 绝对提升
校准误差	ECE	2.76%	ArmoRM-Llama3-8B: 8.81%	降低 6.05%
Online DPO (Alpaca Eval 2.0)	胜率	41.3%	ArmoRM: 37.9%	+3.4% 绝对提升
Online DPO (Arena Hard)	胜率	63.5%	ArmoRM: 57.7%	+5.8% 绝对提升

局限与改进

作者在论文中坦诚地讨论了三个主要局限性：（1）语言覆盖范围有限：WILDFB 目前仅包含英语和中文对话，这限制了 WILDREWARD 在其他语言上的应用。考虑到 WildChat 本身包含多种语言，这是一个可以通过扩展数据范围来解决的问题。（2）配置搜索不充分：由于计算资源限制，作者没有对超参数和骨干模型进行充分的搜索，其他配置可能产生更好的性能。（3）未使用 RL 训练：作者仅使用 Online DPO 验证了 WILDREWARD 的效果，而没有进行资源密集型的 RL 训练，这限制了对其在更复杂训练范式中表现的了解。从独立观察的角度，我注意到以下问题：（1）数据来源单一：仅使用 WildChat 作为数据来源，可能存在数据分布偏差，特别是 WildChat 的用户群体可能不代表所有 LLM 用户。（2）反馈分类依赖 LLM：使用 gpt-oss-120b 进行反馈分类引入了对闭源模型的依赖，且分类质量受限于该模型的能力。（3）正面反馈稀缺：即使经过隐式反馈挖掘，正面样本仍然相对稀缺（约 12,310 个），这可能导致模型对正面质量信号的学习不够充分。

独立分析的弱点

基于对论文的深入分析，我认为 WILDREWARD 存在以下几个可以改进的弱点：（1）隐式反馈挖掘的假设过于简单：当前方法仅基于语义相似度（>0.6）来判断相邻轮次之间的反馈传递，但这忽略了对话的具体语境。例如，用户可能因为好奇而非满意而提出后续问题。改进方向可以是引入更细粒度的对话状态建模，例如使用对话行为分类器来区分好奇追问和满意延伸。（2）安全边界的脆弱性：消融实验表明，仅 572 个拒绝验证实例就对安全子集性能产生巨大影响（SRF 从 90.4% 降至 28.5%），这说明奖励模型的安全边界对少量噪声非常敏感。改进方向可以是引入对抗训练或数据增强来增强模型对安全相关噪声的鲁棒性。（3）缺乏与人类评估的直接对比：论文主要在自动基准上评估，但缺少与真实人类偏好的直接对比。考虑到野外交互本身反映了真实偏好，可以设计一个评估流程，让 WildChat 用户对 WILDREWARD 的评分进行二次验证。（4）Online DPO 的规模限制：仅使用 20k 提示进行训练，这可能限制了模型能力的充分释放。改进方向可以是扩展训练数据规模，并探索课程学习策略。

未来方向

作者和本文成果共同指向了几个有前景的未来研究方向：（1）动态奖励模型：作者明确提出，开发能够与新的人类交互共同进化的动态奖励模型是一个重要方向。这可以通过持续学习或在线更新机制实现，使奖励模型能够适应用户偏好的演变。（2）多语言扩展：将管道扩展到更多语言，利用全球范围内的野外交互数据。这需要解决跨语言反馈模式的差异问题，例如不同文化中用户表达满意/不满的方式可能不同。（3）与更强 LLM 的集成：作者提到 WILDREWARD 可以与更强的 LLM 集成以提供更精确的奖励信号，这可以通过级联架构实现——先用 WILDREWARD 快速筛选，再用更强模型精排。（4）RL 训练的探索：虽然计算资源密集，但将 WILDREWARD 用于 PPO 等 RL 训练方法值得探索，特别是在需要探索-利用权衡的任务中。（5）多模态扩展：随着多模态 LLM 的发展，将类似的管道扩展到包含图像、视频的交互数据中是一个自然的延伸方向。（6）个人化奖励模型：利用用户多样性信息，为不同用户群体训练个人化的奖励模型。

复现评估

从复现评估的角度来看，本文具有较好的可复现性。代码和数据已在 GitHub 开源（https://github.com/THU-KEG/WildReward），WILDFB 数据集将在 Apache License 2.0 下发布。数据方面，WildChat 是公开数据集（ODC-By 许可），DPO 训练使用的 Infinity-Instruct 也是公开的（CC BY-NC 4.0）。算力需求方面，作者使用 NVIDIA H100 GPU 进行训练，Qwen3-4B 和 8B 作为骨干模型，这在当前的研究环境中是可获得的资源。然而，存在一些复现挑战：（1）反馈分类依赖 gpt-oss-120b，这是一个闭源模型，虽然作者提供了详细的 prompt（见附录 Figure 6-8），但使用其他模型可能得到不同的分类结果；（2）消融实验表明模型性能对数据策略敏感，因此需要严格按照论文描述的管道执行；（3）评估基准（RewardBench、RM-Bench 等）都有官方代码，便于公平比较。总体而言，有中等 ML 基础和适当计算资源的研究者应该能够在 1-2 周内复现本文的核心结果。

WildReward：从野外人类交互中学习奖励模型 WildReward: Learning Reward Models from In-the-Wild Human Interactions