自我评估能力早已存在：用最少数据激发基础大语言模型中潜在的校准能力 Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data
基础LLM已具备预测外部judge评分的能力，仅需少量数据激发
前置知识
大语言模型自我评估
指大语言模型对自己生成内容的质量、正确性、有用性等属性进行预测和评分的能力。通常模型会在生成答案后输出一个自评分块，包含多个维度的评分（如帮助性、正确性、连贯性等）。这种能力可以让模型无需外部judge即可判断自己的输出质量，从而实现自主决策、质量控制和资源分配。本文研究的是模型能否预测一个外部judge会如何评分自己，而不仅仅是内部信心。
本文的核心就是研究基础模型是否已经具备这种能力，以及如何用少量数据激发它。理解自我评估对于构建更智能的AI系统至关重要。
校准
校准衡量的是模型预测的置信度与实际准确度之间的匹配程度。一个完美校准的模型，当它预测自己有90%的把握时，实际正确率也应该是90%。在本文中，校准指模型自评分与外部judge评分的一致性，使用非线性形式计算，其中MAE是模型自评分和judge评分在五个属性上的平均绝对误差，gamma等于2是惩罚指数。校准分数越高说明模型越准确地了解自己的输出质量。
校准是本文的核心评价指标之一。只有当模型能够准确预测外部judge的评分时，它的自我评估才是可信的，才能用于实际应用场景。
GRPO（Group Relative Policy Optimization）
一种强化学习算法，用于优化语言模型的策略。与传统的PPO（Proximal Policy Optimization）不同，GRPO通过比较同一批次内多个生成的样本来计算相对优势，不需要单独的价值函数。算法首先为每个prompt生成多个rollout，然后根据judge评分计算reward，最后基于这些rollout的相对表现更新模型参数。这种方法在强化学习对齐任务中表现高效，被本文用于Calibration-Coupled RL阶段。
本文使用GRPO作为强化学习优化器来改进答案质量和自评估能力。理解GRPO的工作原理有助于理解SEE方法的第一阶段如何工作。
多属性评分
传统的模型评估通常使用单个标量分数（如二元正确/错误），而多属性评分从多个维度评估模型输出。本文采用HelpSteer2的五维评分系统：helpfulness（帮助性）、correctness（正确性）、coherence（连贯性）、complexity（复杂度）、verbosity（详细程度），每个属性在0-9的整数尺度上评分。前三者是评估性属性，应该最大化；后两者是描述性属性，应该准确预测。这种方法提供了比单标量更丰富的质量信号。
本文与已有工作的关键区别之一就是使用多属性评分而非单标量。理解这一点有助于理解为什么本文的方法更适用于开放域任务，以及为什么奖励函数需要特殊设计。
策略蒸馏
一种机器学习技术，通过让一个模型（学生）学习另一个模型或系统（教师）的输出来传递知识。在语言模型中，策略蒸馏通常指用一个更大的教师模型生成的样本来训练一个更小的学生模型。本文中的Masked Judge Distillation是一种特殊的策略蒸馏：教师不是另一个模型，而是外部judge的真实评分；学生模型自己的答案作为输入，学习预测judge的评分。关键在于蒸馏只在自评估token上进行，不改变答案本身。
Masked Judge Distillation是SEE方法的第二阶段，理解这个概念对于理解SEE如何高效提升校准质量至关重要。
研究动机
当前大语言模型越来越多地被其他模型评估，LLM judge已成为替代人工标注的标准方法，用于基准测试和作为训练的奖励信号。一个自然的问题是：如果一个judge会给模型的输出评分，模型能否预先预测到这个分数？现有的自评估方法主要针对可验证任务（如数学、推理、编程），其中目标是相对于已知答案的标量正确性分数。但在开放域场景中，没有可验证的答案，评估的是多属性的质量评分，现有方法难以应用。此外，这些方法通常需要大量训练数据，而且不清楚模型在训练前已经具备多少这种能力。现有方法的另一个问题是它们往往专注于改进最终答案，而将自评估仅作为辅助信号，缺乏对自评估能力的系统激发和优化。
本文的目标是本文的核心目标是证明基础大语言模型在未经针对性训练的情况下已经具备了预测外部judge多属性评分的能力，并提出一种高效的方法来激发这种潜在的校准能力。具体来说，作者希望用极少量的训练数据（160个样本）显著提升模型的自评估准确性，同时保持或改善答案质量。另一个目标是展示激发出的自评估能力具有可迁移性，即在训练时未见过的judge上也能保持良好性能，证明学习到的是通用的质量概念而非特定judge的偏好。
与已有工作不同的是，本文的独特切入角度是将自我评估重新定义为一个激发问题而非获取问题。现有工作认为自评估能力需要通过大量训练获得，而本文发现这种能力在预训练阶段已经大致形成，只需要通过精心设计的方法激发出来。这种视角的转变使得问题从昂贵的训练任务变成了廉价的激发任务。另一个创新是提出了双阶段的循环训练方法，将答案改进和自评估校准解耦：RL阶段改进答案和自评估，蒸馏阶段仅校准自评估而不扰动答案。这种设计使得两个目标相互促进而非竞争。
核心方法
SEE（Self-Evaluation Elicitation）是一个两阶段循环方法，旨在激发模型预测外部judge评分的潜在能力。整体思路是：基础模型已经具备预测judge评分的能力，但这个能力是隐式的，需要通过少量训练将其显式化。第一阶段Calibration-Coupled RL使用强化学习同时改进答案质量和自评估准确性；第二阶段Masked Judge Distillation则专门校准自评估，通过在自评估token上进行监督学习，用judge的真实评分替换模型的预测。两个阶段交替进行，随着答案分布的漂移不断重新校准自评估。这种方法的关键创新是将答案改进和自评估校准解耦到不同的token集合上，使得两者能够协同提升而非相互干扰。
核心创新点在于发现了基础模型已经具备预测外部judge评分的能力，并设计了高效激发这一能力的双阶段循环方法。与已有方法相比，SEE有三个本质区别：第一，将自我评估视为激发问题而非获取问题，使用的数据量少31倍；第二，将答案改进和自评估校准解耦，RL阶段优化整个响应，蒸馏阶段仅调整自评估token，通过掩码确保不扰动答案；第三，通过分层轮询采样和多项式惩罚确保模型在所有评分范围内都能准确校准，而非只学会预测平均分。另一个关键发现是激发出的自评估能力在模型自身的token分布中是局部化的，即judge的评分有高概率（77.07%-90.78%）落在模型对每个评分位置预测的前5个token中，这使得自评估可以直接用于下游决策而无需外部judge。
方法步骤详情
SEE方法的完整训练过程包含以下步骤：首先，从HelpSteer2数据集中选择160个独特的训练prompts。对于每个cycle，第一阶段执行Calibration-Coupled RL：模型为每个prompt生成8个rollouts，每个rollout包含答案后跟一个自评估块，包含五个属性的0-9整数评分。外部judge对每个答案评分，根据特定公式计算reward，其中q是三个评估性属性的平均质量分，MAE是自评分和judge评分在五个属性上的平均绝对误差，wq等于0.7和wc等于0.3是权重，gamma等于2是惩罚指数。格式无效的rollout获得-1的惩罚。使用GRPO算法优化整个响应以最大化reward，有效rollouts存入buffer。第二阶段执行Masked Judge Distillation：通过分层轮询从buffer中选择训练样本，分层维度是5个属性乘以5个评分区间共25个格子，确保各个分数范围的样本都有足够权重。对每个选中的rollout，保持prompt和模型答案不变，只将自评估块中的分数替换为judge的真实分数，然后仅在这五个评分token上进行监督学习微调。两个阶段交替进行15个cycles，总样本数约2400个。推理时，模型生成答案和自评估块，但judge只评分答案部分用于评估，或在应用中直接使用模型的自评分。
技术新颖性
SEE的技术新颖性体现在多个方面。首先，这是首个系统性研究基础模型预测外部judge多属性评分能力的工作，发现未经训练的Qwen3-4B-Base在三个基准上达到0.50-0.70的校准分数，远高于随机猜测。其次，提出的双阶段循环设计是一种新颖的训练范式，将答案优化和自评估校准解耦到不同的token集合上，通过交替运行实现协同提升。第三，分层轮询采样和多项式惩罚确保模型学习整个评分范围而非只学习预测平均分，这是提升校准质量的关键设计。第四，Top-5局部化分析揭示了自评估能力在模型分布中的精确位置，为理解LLM的内部表示提供了新视角。最后，交叉judge泛化实验证明激发出的能力具有可迁移性，学习到的是通用的质量概念而非特定judge的偏好，这对实际应用非常重要。
实验结果
实验结果有力地支持了本文的核心假设。首先，基础模型Qwen3-4B-Base在未经任何针对性训练的情况下，就已经能够以显著高于随机水平的准确率预测外部judge的评分。在HelpSteer2验证集上，基础模型的校准分数为0.632，Top-5准确率高达77.07%；在LC AlpacaEval 2.0、Arena-Hard-Auto v2.0和WildBench v2三个开放域基准上，校准分数分别为0.702、0.517和0.504，远高于随机猜测。这证明了自评估能力在预训练阶段已经形成，只需要激发而非学习。其次，SEE方法在数据效率上表现出色：使用160个样本（约31倍少于Adapted RLCR的5000个样本）就达到了更高的校准质量。在HelpSteer2验证集上，SEE的校准分数为0.731，比Adapted RLCR的0.675提升8.3%，比基础模型的0.632提升15.7%。在WildBench v2上，SEE将校准从0.504提升到0.609，而Adapted RLCR只能达到0.541。样本效率分析显示，SEE只需要约800个样本轮次就能达到Adapted RLCR在10000个样本轮次后的性能，相差约12倍。第三，SEE保持了答案质量，甚至在某些基准上略有提升。在LC AlpacaEval 2.0上，SEE的质量分数为0.792，略高于基础模型的0.788和Adapted RLCR的0.789；在响应胜率上，SEE达到0.592，显著高于Adapted RLCR的0.534。第四，激发出的自评估能力具有良好的泛化性：当用Claude Sonnet 4.6和Gemini 3.1 Flash-Lite作为未见过的judge重新评分时，SEE优于Adapted RLCR优于基础模型的排序在所有基准和指标上都保持，虽然绝对分数随judge变化，但提升幅度不依赖于训练judge。第五，自评估在模型分布中是高度局部化的：在HelpSteer2验证集上，SEE的Top-5准确率达到87.76%，在LC AlpacaEval 2.0上达到90.78%，这意味着judge的评分有高概率落在模型预测的前5个token中，可以直接用于下游决策。第六，按属性分析显示，SEE在所有五个属性上都有提升，且在基础模型最弱的属性上提升最大。校准与judge评分的关系显示，基础模型在极端分数上校准质量下降，而SEE通过分层采样在整个评分范围内保持良好校准。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HelpSteer2 Validation | Calibration | 0.731 | 0.675 (Adapted RLCR) | +8.3% |
| HelpSteer2 Validation | Quality | 0.704 | 0.662 (Adapted RLCR) | +6.3% |
| LC AlpacaEval 2.0 | Response Win-rate | 0.592 | 0.534 (Adapted RLCR) | +10.9% |
| LC AlpacaEval 2.0 | Calibration | 0.746 | 0.716 (Adapted RLCR) | +4.2% |
| Arena-Hard-Auto v2.0 | Calibration | 0.609 | 0.547 (Adapted RLCR) | +11.3% |
| WildBench v2 | Calibration | 0.609 | 0.541 (Adapted RLCR) | +12.6% |
| HelpSteer2 Validation | Top-5 Accuracy | 0.878 | 0.800 (Adapted RLCR) | +9.8% |
局限与改进
作者承认的局限性包括：证据来自单一基础模型（Qwen3-4B-Base）和单一judge家族（GPT-5.4、Claude Sonnet 4.6、Gemini 3.1 Flash-Lite），虽然交叉judge结果显示提升不依赖于训练judge，但这仅表明在LLM judge之间的独立性，而非与人类偏好的一致性。由于资源限制，论文没有进行人类评估，质量和校准目标都由LLM judge定义，因此方法继承了judge的偏见。作者只报告了单一数据规模的实验（160个样本，15个cycles），激发出的能力如何随更多数据、更多cycles、更大或不同的基础模型变化仍不清楚。此外，结果只报告了单次训练运行的平均值，没有多随机种子的误差条或置信区间，这是由重复RL训练和重复LLM judge评估的高成本驱动的限制。从观察角度，虽然Top-5准确率很高，但这仍然意味着有约10%-22%的情况下judge的评分不在模型预测的前5个token中，在关键决策场景下这可能不够可靠。另一个潜在问题是方法依赖于特定的自评估块格式和评分尺度（0-9整数），这限制了在不同评估框架中的应用。此外，虽然方法在开放域任务上表现良好，但在需要精确推理或事实准确性的任务上的表现尚未验证。
独立分析的弱点
首先，当前方法的自评估仍然存在约10%-22%的Top-5错误率，在高风险场景下这可能不够可靠。改进方向可以是增加cycles数、扩大训练数据、或者引入更精细的校准损失函数。其次，方法依赖于特定的评分尺度（0-9整数）和格式要求，限制了在不同评估框架中的适应性。可以通过研究更灵活的自评估格式或适应不同评分尺度的映射方法来改进。第三，当前方法假设judge的评分是可靠的，但LLM judge可能存在偏见或错误，特别是在复杂或敏感任务上。可以引入多个judge的集成或人类校准来提高评估质量。第四，方法主要在开放域指令遵循任务上验证，在需要精确推理、事实准确性或领域专业知识的任务上的表现未知。可以扩展到更多样化的任务类型验证方法的普适性。第五，当前实验只使用了一个中等规模的模型（4B参数），在更大或更小的模型上的表现需要验证，特别是计算资源有限时方法的实用性。最后，虽然方法在数据效率上表现出色，但仍需要约300 GPU小时的计算资源，对于没有强大GPU资源的团队来说可能仍然难以复现。
未来方向
作者提出的未来研究方向包括：建立激发出的自评估能力如何驱动下游决策（如重排序、延迟、升级到更强模型），Top-5局部化结果使这个方向变得可行。基于成果可以延伸的方向包括：验证方法在不同规模和架构的基础模型上的表现，探索从数十到数千样本的扩展规律；研究将双阶段循环范式应用于其他需要同时优化多个目标的语言模型任务，如安全性、推理能力等；探索自评估在更复杂场景中的应用，如多轮对话、代码生成、数学证明等；研究如何将自评估与其他评估方法（如基于规则、基于外部工具）结合，构建更全面的质量评估系统；分析自评估能力在模型内部表示中的神经机制，为理解LLM的认知能力提供新的见解；探索自评估在模型部署中的应用，如动态选择推理路径、自适应生成控制等；研究如何减少或消除对LLM judge的依赖，探索纯数据驱动或人类标注的替代方案。
复现评估
论文在复现性方面做得较好。作者提供了完整的训练配置和超参数（表5），包括两阶段的详细设置：Calibration-Coupled RL使用GRPO，每个prompt生成8个rollouts，运行15个cycles，每个cycle 10个RL步骤，batch size为16，学习率1e-6，权重衰减0.01，KL损失系数0.01，熵系数0.001，奖励权重为0.7和0.3，校准指数等于2。Masked Judge Distillation在每个cycle处理400个样本，1个epoch，学习率2e-6，batch size为32。所有运行使用4个RTX PRO 6000 GPU（96GB显存），bf16精度，基于VeRL框架进行GRPO训练，使用vLLM进行rollout生成。作者提供了完整的prompt模板（附录B），包括自评估生成模板、judge系统提示和用户提示。代码在GitHub开源，包含核心SEE实现、数据准备、Calibration-Coupled RL、rollout收集、评分token SFT构造和Masked Judge Distillation脚本。总计算预算约为300 GPU小时。但也有一些限制：结果只报告了单次训练运行的平均值，没有多随机种子的误差条或置信区间；没有发布模型权重、原始基准数据、私有judge模型或API响应日志；需要外部获取Qwen3-4B-Base模型、HelpSteer2数据集和judge的API访问。对于有足够GPU资源和API预算的团队来说，复现难度中等，但对于资源受限的团队可能仍有挑战。
论文图表
算法1展示了SEE的完整训练过程伪代码。输入包括基础策略pi0、训练集D、cycles数C、每个cycle的RL步骤数K、RL batch大小BRL、SFT最大样本数M、SFT batch大小BSFT和judge J。算法从基础模型初始化策略pi，然后对C个cycles执行：Phase 1执行Calibration-Coupled RL，生成rollouts，用judge评分，计算reward（包含质量项和校准项），更新策略；Phase 2执行Masked Judge Distillation，构建目标（用judge分数替换自评分），通过分层轮询选择样本，仅对自评估评分token进行微调。最终返回策略piC。
这个算法对理解论文的重要性在于它提供了SEE方法的精确、可执行的描述。算法清楚地展示了两个阶段的交替、reward计算、样本选择策略和masking机制，使得读者可以理解方法的技术细节并可能实现自己的版本。