Skill-RM：通过Agent技能统一异构评估标准

通过Reward-Evaluation Skill统一异构奖励评估资源

前置知识

Reward Model (奖励模型)

奖励模型是LLM后训练中的关键组件，用于为模型生成的响应提供反馈信号。传统上，奖励模型接收用户输入x和响应y，输出一个标量分数r_phi(x,y)。在RLHF等强化学习框架中，策略模型通过最大化期望奖励来优化。奖励模型的质量直接影响最终模型的对齐效果。

论文的核心贡献就是重新定义奖励模型的实现方式，理解传统奖励模型的工作原理和局限性是理解Skill-RM创新的基础。

Agent Skill (智能体技能)

Agent技能是将特定任务的可重用程序化知识和支持资源打包为可加载artifact的一种机制。一个技能S=(M,U)包含技能规范M（通常是SKILL.md文件）和资源库U={u1,u2,...,uK}。技能规范定义了路由元数据和主要程序指令，资源库包含参考材料、工具、清单、验证器等辅助资源。这种设计支持渐进式披露——不相关的资源不会进入上下文，相关资源可以在技能使用过程中按需检查或执行。

Skill-RM正是基于Agent技能概念来构建的，理解技能的本质和设计哲学是理解本文方法的核心。

Pointwise vs Pairwise Reward Modeling

点对点奖励模型为单个响应分配标量分数r_phi(x,y)，而成对奖励模型直接比较两个响应并输出二元偏好hat_r_phi(x,y,bar_y)，其中hat_r_phi(x,y,bar_y)=1表示y优于bar_y。成对偏好可以解释为伯努利分布的样本。生成式奖励模型（GRM）将偏好估计框架化为条件文本生成任务，在预测最终偏好标签之前产生结构化理由或批评。

论文展示了Skill-RM如何统一这两种范式，通过相同的底层证据驱动过程的不同投影实现。

Rubric-conditioned Reward Modeling

基于标准的奖励模型使评估标准显式化而非完全隐含在模型参数中。给定一组标准c=(c1,c2,...,cM)，模型首先产生标准级别的判断sm=r_phi(x,y;cm)，然后通过聚合规则获得最终奖励：r_phi(x,y;c)=A(s1,...,sM)。聚合函数A可以组合标准级别的判断。

Skill-RM继承并扩展了这一思想，通过技能介导的资源选择和执行使标准级别的评估更加系统化和可审计。

研究动机

现有奖励模型设计难以将多样化的资源依赖判断整合到一个统一的框架中。标量奖励模型将复杂的、基于资源的证据压缩为不透明的分数，使得评估过程根本上不可解释且不灵活。LLM-as-a-Judge系统通常依赖非结构化的、扁平的提示，将标准、示例和工具连接到单个提示中，导致资源选择、证据跟踪和信号聚合等关键方面隐含且未被管理。尽管最近的努力引入了基于标准的、以标准为中心的或工具增强的评估系统，但它们主要关注孤立的机制，一次只暴露一种资源模态。例如，在数学和编码任务中，需要针对ground truth的可验证执行；在智能体训练中，需要通过额外的工具调用来验证多步骤工具轨迹；在安全强制执行中，通常依赖于严格的约束分解或基于策略的否决。这些高保真奖励分配任务不再是单一的，而是涉及异构资源的多面过程。

本文的目标是本文的目标是提出Skill-RM，一个统一的框架，将奖励建模重新定义为可重用的Reward-Evaluation Skill的执行。该技能封装了评估逻辑、明确的调用协议、异构资源的接口以及用于证据收集的结构化模式。给定一个评估实例，Skill-RM通过系统化的工作流执行技能：识别适用的标准，选择性地调用相关资源，并将标准级别的证据聚合为最终奖励。这种方法使奖励计算更加适应性和可解释，并将奖励建模从被动吸收评估知识（无论是在模型参数内还是在非结构化提示上下文中）转变为主动编排资源的选择和执行。

与已有工作不同的是，本文的独特切入角度是将智能体技能抽象专门应用于奖励建模领域。与现有方法不同，Skill-RM不将评估知识隐含地埋藏在模型权重中或压缩为单体提示，而是将其外化为跨多样实例和领域的可重用技能。该技能作为奖励能力的原子单元，编码了全面的评估逻辑：它不仅规定了应该评估哪些标准，还规定了如何检索证据以及如何将证据综合以支持最终的奖励决策。另一个关键区别是，技能将最终判断限制为基于证据而非纯粹基于决策，确保最终的奖励输出不是不透明的标量，而是显式地可追溯到每个标准的底层证据。这种设计从根本上转变了奖励评估的范式：从启发式的一次性决策转变为严格的、协议驱动的计算。

核心方法

Skill-RM的整体思路是将奖励评估从传统的单体评分任务重构为技能介导的执行过程。该方法将奖励评估实例化为可重用的Reward-Evaluation Skill S_RM=(M_RM,U_RM)，其中M_RM是程序化技能规范，U_RM是资源库。技能规范明确governs：评估标准的定义和范围、资源选择和执行的调用协议、系统化证据收集的模式，以及结果结构化判断z的输出契约。资源库U_RM={u1,u2,...,uK}包含任务特定验证所需的具体材料和可执行接口，每个资源ui=(type_i,content_i,scope_i,act_i)由其类型、语义内容、适用范围和访问动作指定。给定输入提示x和候选响应集合Y={y1,...,yK}，Skill-RM通过智能体判断模型pi_phi调用技能artifact S_RM执行奖励评估。评估过程是一个动作-观察轨迹：tau=(a1,o1,...,aT,oT,z)~pi_phi(|x,Y;S_RM)。

Skill-RM的核心创新点是将奖励建模从基于参数的标量评分或非结构化扁平提示转变为技能介导的执行程序。与现有方法的本质区别在于，Skill-RM不将评估知识视为隐式和固定的，而是将其显式化和程序化。该技能作为奖励评估的原子单元，编码了全面的评估逻辑，包括：应该评估哪些标准、如何检索证据、如何将证据综合以支持最终决策。另一个关键创新是证据驱动的判断设计：对于每个标准cm，判断模型生成一个局部证据项em=(cm,qm,sm)，其中qm是从调用资源中收集的支持观察，sm是局部评估（如二元状态、不确定性或标准特定分数）。最终的结构化判断定义为z=(E,d)，其中E={em}_{m=1}^M是证据集合，d是结论性决策字段。这确保了最终的奖励输出不是不透明的标量，而是显式地可追溯到每个标准的底层证据。

方法步骤详情

Skill-RM的方法步骤包括以下完整流程。首先，技能初始化：给定一个评估实例（用户提示x和候选响应集合Y），判断模型加载Reward-Evaluation Skill的程序化规范M_RM，这作为当前评估任务的执行蓝图。其次，评估目标识别：判断识别评估目标和所需的输出格式，激活M_RM指定的相关标准C={c1,...,cM}。第三，资源动态检索：判断根据评估需求动态检索或执行资源库U_RM中的资源，严格遵守M_RM定义的调用协议。资源类型包括：Rubric and Criterion（定义判断维度和相对优先级）、Reference（基于事实、数学或任务特定的正确性检查）、Checklist and Constraint（将指令遵循分解为可检查条件）、Verifier and Tool（从可见输入或可用参考产生可执行观察）、Calibration and Aggregation rule（解决证据冲突并将观察映射到判断）。第四，证据收集：对于每个激活的标准cm，判断生成局部证据项em=(cm,qm,sm)，其中qm是从调用资源中收集的支持观察，sm是局部评估。第五，奖励读取：通过确定性的读取函数A()推导任务所需的奖励输出：r^Skill_phi(x,Y;S_RM)=A(tau)，其中tau是执行轨迹。读取函数解析执行轨迹中的结构化判断z并将其投影到任务特定的奖励输出空间：当K=1（点对点）时为实数集，当K大于等于2（选择）时为{1,...,K}。

技术新颖性

Skill-RM的技术新颖性体现在多个方面。首先，技能介导的奖励计算：将奖励评估从启发式的一次性决策转变为严格的、协议驱动的计算过程。这不仅是提供额外的评估资源，而是将它们的选择、执行和综合形式化为明确的、可重现的计算过程。其次，渐进式披露的资源管理：与传统的单体和扁平上下文不同，框架维护了潜在的资源库，资源保持不活动状态，直到由技能规范M_RM触发，确保只有任务相关的资源子集在判断过程中被披露和调用，从而最大限度地减少上下文噪声并最大化智能体判断的精度。第三，证据驱动的判断架构：技能将最终判断限制为基于证据而非纯粹基于决策，确保最终的奖励输出不是不透明的标量，而是显式地可追溯到每个标准的底层证据，支持标准级别的可审计性。第四，统一的多范式支持：通过相同的底层证据驱动过程的不同投影，点对点评分和多候选选择被统一为两个不同的投影，成对比较被视为特殊情况（K=2）。

**Figure 1**: Overview of Skill Reward Model (Skill-RM). The Reward-Evaluation Skill comprises a procedural document and a structured resource bank (including rubrics, checklists, verifiers, and aggregation rules). During evaluation, Skill-RM dynamically retrieves relevant resources and executes an agentic evaluation trace. This input-adaptive reasoning process effectively unifies diverse reward evaluation paradigms into a consistent and adaptable framework.

实验结果

Skill-RM在广泛的奖励模型基准、受控的相同主干消融研究、Best-of-N选择和指令遵循奖励使用等实验中表现优异。在主要的奖励建模比较中（Table 2），Skill-RM (Qwen3.5-27B)在RewardBench2上达到85.0，在RM-Bench上达到91.5，在JudgeBench上达到82.1，平均分为86.2，显著优于Qwen3.5-27B LLM-as-a-Judge基线（平均83.9）和所有其他基线方法。当挂载特定样本资源时（Table 3），Skill-RM的平均分从86.2提升到89.1，在相同的Qwen3.5-27B主干下获得最佳平均性能。资源使用消融研究（Table 4）证明，收益来自技能介导的资源组织而非资源可用性或工具访问：直接附加资源将平均分从83.9降低到81.0，附加样本特定资源仍低于基线为82.0，Python工具访问接近基线为83.6；相比之下，Skill-RM将平均分提高到86.2，Skill-RM加上sample-spec.达到89.1。在Best-of-10响应选择中（Figure 2），Skill-RM在GSM8K上达到97.8（接近Oracle@10上限97.9），在IFEval和HumanEval+上表现出明显增益，在BigCodeBench上给出较小但正向的增益。在指令遵循奖励使用中（Table 5），Skill-RM在IF-RewardBench上获得最高平均肯德尔相关系数0.524，在Single-Turn上达到0.619，在Multi-Turn上达到0.540。下游指令遵循RL结果（Table 6）显示，Skill-RM在IFEval上达到84.8，在IFBench上达到27.6，在AdvancedIF上达到25.4，平均分为45.9，优于VerIF（44.7）和Tulu 3（45.1）。多主干结果（Table 8）表明，Skill-RM的效果不依赖于单个判断主干：在Qwen3.5-9B、27B、35B-A3B、122B-A10B四个主干上，Skill-RM都提高了相应LLM-as-a-Judge基线的平均分。

**Table 1**: Resource types in the Reward-Evaluation Skill. Each type contributes either evaluation criteria, evidence-producing procedures, or judgment calibration for skill-mediated reward evaluation.

**Table 2**: Reward-modeling comparison on RewardBench2, RM-Bench, and JudgeBench. Unmarked external values are source-reported; '*' marks our reproduction or re-evaluation, and 'dagger' marks a protocol-limited value.

**Table 3**: Reward-modeling comparison with sample-specific resources under the Qwen3.5-27B backbone. 'Sample-spec.' denotes sample-specific OpenRS evaluation resources mounted.

**Table 4**: Resource-use ablation with Qwen3.5-27B. 'Sample-spec.' denotes sample-specific resources, and 'Delta' is the average-point change from Baseline.

**Table 5**: IF-RewardBench Kendall correlation on overall assessment. Single-Turn, Multi-Turn, and System-Prompt are benchmark subsets; higher is better.

**Table 6**: Downstream instruction-following RL results. VerIF and Skill-RM use VerInstruct and GRPO-style training; all baseline rows are evaluated from official open-source checkpoints.

**Table 7**: Supporting resource index for the Reward-Evaluation Skill. The first six rows are generic resources; the final row describes the sample-specific-resource extension.

**Table 8**: Additional multi-backbone results on RewardBench2, RM-Bench, and JudgeBench. Sample-spec. denotes sample-specific resources. Values are percentages, and bold marks the best value within each backbone block.

**Figure 2**: Best-of-10 response selection accuracy on four JETTS task families. 'Baseline@10' is Qwen3.5-27B direct judging; 'Oracle@10' is the pool upper bound.

查看结构化数据

任务	指标	本文	基线	提升
RewardBench2	Accuracy (%)	85.0 (Qwen3.5-27B)	81.1 (Qwen3.5-27B LLM-as-a-Judge)	+3.9
RM-Bench	Accuracy (%)	91.5 (Qwen3.5-27B)	89.8 (Qwen3.5-27B LLM-as-a-Judge)	+1.7
JudgeBench	Accuracy (%)	82.1 (Qwen3.5-27B)	80.8 (Qwen3.5-27B LLM-as-a-Judge)	+1.3
Best-of-10 Selection (GSM8K)	Accuracy (%)	97.8	97.7 (Baseline@10)	+0.1
Best-of-10 Selection (IFEval)	Accuracy (%)	显著优于Baseline和Skywork	Baseline@10	明显增益
IF-RewardBench	Kendall Correlation	0.524 (Avg.)	0.411 (Qwen3.5-27B LLM-as-a-Judge)	+0.113
Instruction-Following RL	Avg. Score (%)	45.9	44.7 (VerIF)	+1.2

局限与改进

作者承认的局限性包括：首先，目前的评估范围仅限于基于文本的指令遵循和标准奖励基准。将技能介导的公式扩展到多模态上下文、长视界智能体任务或高度开放的、主观偏好对齐是一个具有挑战性但充满希望的前沿领域。其次，当前设计依赖于手动策划的Reward-Evaluation Skills。虽然这种模块化确保了高精度和可解释性，但artifact构建的自动化以及持续、自我改进更新的机制仍然是开放问题，可以显著降低采用门槛。第三，技能介导的调用过程引入了额外的推理开销，与传统的一次性标量模型相比。未来关于自适应早期停止、证据缓存和高效artifact修剪的研究对于平衡评估保真度和计算效率之间的权衡至关重要。此外，样本特定资源的边界效应表明额外资源并非普遍有益：在Qwen3.5-9B主干上，样本特定资源没有提高平均分，这表明较小的主干在选择和应用资源时可能不太可靠。代码导向的选择仍存在substantial headroom，BigCodeBench上的Oracle@10远高于任何方法。System-Prompt指令处理仍是主要差距，Gemini-3-Flash在此子集上保持更强。

独立分析的弱点

Skill-RM存在几个值得改进的弱点。首先，推理开销问题：技能介导的调用过程引入了额外的推理开销，与传统的一次性标量模型相比，这对于需要高频奖励评估的场景（如大规模RL训练）可能成为瓶颈。改进方向包括开发自适应早期停止机制、证据缓存策略和高效artifact修剪方法，以平衡评估保真度和计算效率。其次，小型主干的资源利用效率：实验表明，在Qwen3.5-9B小型主干上，样本特定资源没有提高平均分，这表明较小的主干在选择和应用资源时可能不太可靠。改进方向可以是为主干规模定制资源选择策略，或者开发资源复杂度的自适应调节机制。第三，代码任务的性能差距：BigCodeBench上的结果表明，代码导向的选择仍存在substantial headroom，Oracle@10远高于任何方法。改进方向可以是专门为代码任务设计更加精细化的验证器和评估标准，或者引入代码执行和测试结果的直接反馈。第四，主观偏好对齐的局限：目前的设计更适用于有明确约束和可验证标准的任务，对于高度开放的、主观偏好对齐（如创意写作、对话风格等）仍存在局限。改进方向可以是开发更加灵活的评估框架，结合人类反馈和主观偏好的建模方法。

未来方向

作者提出的未来研究方向包括：首先，多模态和长视界扩展：将技能介导的公式扩展到多模态上下文、长视界智能体任务或高度开放的、主观偏好对齐。这需要设计新的资源类型和评估协议，以适应多模态输入和复杂的长期依赖。其次，自动化技能构建：当前设计依赖于手动策划的Reward-Evaluation Skills，未来可以研究artifact构建的自动化机制，以及持续、自我改进更新的方法。这可能涉及元学习、自动评估标准提取和知识蒸馏等技术。第三，高效推理优化：针对技能介导的调用过程引入的额外推理开销，未来研究可以专注于自适应早期停止、证据缓存和高效artifact修剪，以平衡评估保真度和计算效率。基于成果可延伸的方向包括：首先，跨领域技能迁移：研究如何将一个领域学到的Reward-Evaluation Skills迁移和适应到其他领域，减少手动策划的工作量。其次，动态技能演进：开发能够在使用过程中根据反馈自动演进和优化的技能，使系统能够持续改进。第三，人类-in-the-loop技能优化：结合人类专家的反馈来指导和优化技能的设计和实现，形成人机协作的技能开发流程。第四，评估协议标准化：推动建立更加标准化和透明的评估协议，使不同方法的比较更加公平和有意义。

复现评估

Skill-RM的可复现性评估如下。开源情况：论文声明代码将在https://github.com/Qwen-Applications/Skill-RM发布，这表明作者计划开源完整的实现。数据：Reward-Evaluation Skills的构建基于公开或基准允许的评估材料，包括奖励建模文献、LLM-as-a-Judge协议、基准文档、标准、参考、约束、清单和验证实践。对于标记为加sample-spec.的行，额外资源来自公开的OpenRS评估数据和提示文件，而非本文中的新注释。作者排除了隐藏的基准标签、直接目标偏好标签、模型身份、答案顺序记账、案例特定的解决方案跟踪和报告评估的反馈。算力：评估使用8块NVIDIA A800 GPU服务Qwen3.5判断主干，通过vLLM的OpenAI兼容API查询。下游RL训练使用8块A800训练GPU进行1个epoch，奖励服务使用16块A800 GPU进行Skill-RM推理。推理设置使用确定性解码：temperature 0，top-p=1.0，最大生成长度4096。难度：复现难度中等。虽然完整的实现尚未开源，但论文提供了详细的附录，包括评估协议、技能和提示模板、附加主干结果和指令遵循RL细节。Reward-Evaluation Skills的构建虽然基于LLM辅助的策划流程，但作者明确说明这是中间创作材料，而非推理时评估协议的一部分，可重现的对象是冻结的技能文件、资源索引、调用协议、基准适配器和评估脚本。

Skill-RM：通过Agent技能统一异构评估标准 Skill-RM: Unifying Heterogeneous Evaluation Criteria via Agent Skill