V0.5：泛化价值模型作为稀疏强化学习采样的先验 V_{0.5}: Generalist Value Model as a Prior for Sparse RL Rollouts
用预训练的泛化价值模型V0作为先验，自适应融合稀疏采样经验均值，实现低方差基线估计
前置知识
Policy Gradient（策略梯度）
强化学习中一类直接优化策略参数的方法。给定策略 πθ，通过采样得到的奖励信号计算梯度来更新参数。核心公式是 ∇θ J(θ) = E[∇θ log πθ(a|s) · A]，其中 A 是优势函数（advantage），表示某个动作相对于平均水平的好坏程度。为了降低梯度方差，通常会引入基线 b，使得 A = r - b。基线的选择直接影响训练的稳定性和收敛速度。
本文的核心贡献就是设计一种更好的基线估计方法，理解策略梯度中基线的作用是理解全文的前提
GRPO（Group Relative Policy Optimization）
DeepSeek 提出的一种轻量级强化学习方法，用于大语言模型后训练。它不需要额外的价值网络，而是对每个提示（prompt）生成一组 G 个候选回复，用这组回复的平均奖励作为基线。具体来说，对于第 i 个回复，优势计算为 A_i = (r_i - mean(r)) / std(r)。这种方法实现简单、内存开销小，但在采样数量 G 较少时方差很大。
GRPO 是本文的主要对比基线，V0.5 的设计目标就是在稀疏采样场景下超越 GRPO 的性能
Generalist Value Model（泛化价值模型，V0）
一种预训练的价值估计模型，能够通过上下文学习（In-Context Learning）估计任意策略在未见提示上的期望回报。它不依赖参数更新，而是将策略能力编码为历史查询-性能对的上下文集合 Cπ = {(xi, ri)}，然后通过贝叶斯推理预测目标查询的成功概率。架构包括语义感知骨干网络（LLM embedding）、残差查询适配器和概率推理头（TabPFN）。
V0 是本文方法的核心组件，它提供了一个零梯度的先验估计，使得 V0.5 能够在不训练价值网络的情况下获得稳定的基线
Shrinkage Estimator（收缩估计器）
一种统计学方法，将两个估计量通过凸组合融合，以获得比任一单独估计量更小的均方误差（MSE）。在本文中，收缩估计器将经验均值 v̄k 和先验预测 V 融合为 μ* = w·v̄k + (1-w)·V。关键洞察是：MSE 可以正交分解为观测方差 w²σ² 和先验偏差 (1-w)²Δ²，因此存在一个最优权重 w* 使总 MSE 最小化。
这是 V0.5 的核心数学工具，理解收缩估计器的偏差-方差分解才能理解为什么 V0.5 能在稀疏采样下获得稳定性能
OSLA（One-Step-Look-Ahead）序贯分析
一种序贯决策框架，用于动态决定何时停止采样。核心思想是：在每一步采样后，评估「再多采样一步」的边际收益是否超过边际成本。如果收益大于成本则继续，否则停止。这种方法源自 Wald 的序贯概率比检验（SPRT），本文将其适配到基线估计的预算分配问题中。
OSLA 是 V0.5 实现自适应计算预算的关键机制，使得系统能够根据每个提示的难度动态调整采样数量
研究动机
在大语言模型的强化学习后训练（RLVR）阶段，构建稳健的优势基线是稳定训练的关键。现有方法面临一个根本性的两难困境：蒙特卡洛采样方法（如 GRPO）虽然无偏，但在稀疏采样场景下方差极大。具体来说，当每个提示只生成少量候选回复（group size G 较小）时，经验均值 v̄G 的方差与 1/G 成正比。在长序列推理任务中，由于生成成本高昂，被迫使用稀疏采样（G=4 甚至更少），导致基线估计剧烈波动，梯度信号被噪声淹没，训练不稳定甚至崩溃。另一方面，参数化价值模型（如 PPO 中的 Critic）虽然能降低方差，但需要与策略模型同步训练，带来巨大的计算和内存开销。更糟糕的是，当策略快速演化时，价值模型容易出现分布外（OOD）泛化问题，引入系统性偏差。这两种方法都无法在计算效率和估计质量之间取得理想的平衡。
本文的目标是本文的目标是设计一个自适应基线估计框架 V0.5，能够在极端稀疏采样（group size 低至 4）的条件下，同时实现低方差和低偏差的基线估计。具体而言，V0.5 需要满足三个要求：第一，利用预训练的泛化价值模型 V0 作为先验，抑制稀疏采样带来的高方差；第二，通过实时统计检测机制，识别并隔离先验中的「幻觉」（hallucination），防止系统性偏差污染梯度；第三，通过动态预算分配机制，仅在统计上必要时才增加额外采样，实现计算资源的按需调度。最终目标是在六个数学推理基准测试上实现比 GRPO 和 DAPO 更快的收敛速度和超过 10% 的性能提升。
与已有工作不同的是，本文的独特切入点在于：它没有将泛化价值模型（V0）的预测视为「真值」或「替代品」，而是将其明确定位为「统计先验」。这一视角转换是关键——既然先验可能包含幻觉，那就设计一个统计检验机制来实时评估先验的可靠性。已有工作（如 MC-GRPO、QAE、BNPO 等）虽然也尝试改进基线估计，但都是在纯经验数据的框架内做文章，比如用中位数替代均值、用分位数过滤噪声等。这些方法在极端稀疏场景下仍然受制于经验采样本身的高方差。V0.5 看到的是：引入一个零成本的先验预测，可以在「先验可靠时大幅降低方差」和「先验不可靠时回退到经验估计」之间动态切换，从而在理论上实现最优的偏差-方差权衡。
核心方法
V0.5 的核心思想可以用一个类比来理解：想象你是一个裁判，需要判断一支球队的实力。你有两种信息来源：一是这支球队过去比赛的平均得分（经验均值），二是来自专业分析师的赛前预测（先验）。如果两者接近，说明分析师的预测很靠谱，你可以主要参考分析师的意见来给出一个稳定的评估；如果两者差距很大，说明分析师可能看走眼了，你需要看更多比赛来自己判断。V0.5 就是这样一个「智能裁判」：它先用 V0 泛化价值模型给出一个预测（先验），然后生成少量采样（稀疏 rollouts），通过统计检验判断先验是否可靠，再用收缩估计器将两者自适应融合。如果发现先验不可靠，系统会自动增加采样数量来获取更准确的经验估计。整个过程通过序贯 OSLA 框架实现动态预算分配，确保在每个提示上都能以最小的计算成本获得最准确的基线估计。
V0.5 与已有方法最本质的区别在于：它将基线估计从一个「固定配方」问题转化为一个「自适应融合+动态调度」问题。具体来说，已有方法要么只用经验均值（如 GRPO），要么只用价值网络（如 PPO），都是静态选择。而 V0.5 的核心创新是两个紧密耦合的机制：第一，经验收缩融合（Empirical Shrinkage Fusion）——通过凸组合 w·v̄k + (1-w)·V 将先验和经验融合，并证明 MSE 可以正交分解为 w²σ²（观测方差）和 (1-w)²Δ²（先验偏差），从而推导出最优权重 w* = Δ²/(Δ²+σ²)。第二，实时假设检验——用截断函数 max(0, (v̄k-V)² - 1/k) 作为简化的假设检验，只有当观测偏差显著超过理论噪声边界时才认为先验有幻觉。这两个机制配合，使得 V0.5 能够在先验可靠时大幅降低方差（容忍 O(1/√k) 的小偏差换取 MSE 的大幅下降），在先验不可靠时快速隔离先验并增加采样。
方法步骤详情
V0.5 的完整执行流程包含五个步骤：第一步，构建上下文并获取先验。系统维护一个容量为 512 的全局支持缓冲区，存储最近的样本性能对 Cπ，随机采样 256 对查询 V0 模型 API，获得目标查询的预测成功概率 V ∈ [0,1]。第二步，冷启动分配。对所有批量提示执行初始基线采样，设置初始组大小 k_init = 4，确保假设检验的容差半径能完全吸收离散采样引起的观测间隙。第三步，初始偏差评估与假设检验。用经验均值 v̄4 计算观测偏差 (v̄4-V)²，与理论噪声上界 1/4 比较。如果偏差小于等于 1/4，认为先验高度可靠（Δ̂²=0），不需要额外计算；如果偏差大于 1/4，说明可能存在价值模型幻觉，触发额外预算分配。第四步，序贯 OSLA 分配。对存在偏差的样本，根据边际成本 c=0.0039 计算计算边界 k_target = 1/√c - 1/√Δ̂²，最大预算约 16。如果当前观测数 k < k_target，分配 2 个额外采样。系统设置全局停止条件：当少于 25% 的批量样本需要额外计算时停止。第五步，最终融合与优势计算。收集最终的 k 个观测（4≤k≤16），更新经验均值和偏差估计，计算自适应权重 μ̂*，推导内在标准差 σ̂* = √(1-μ̂*²)，输出标准化优势 A_i = (r_i - μ̂*)/σ̂*。
技术新颖性
V0.5 的技术新颖性体现在三个层面。首先，在范式层面，它是第一个将泛化价值模型明确定位为「统计先验」而非「替代估计器」的工作。这一视角转换使得整个框架能够运用假设检验和贝叶斯决策理论来处理先验的不确定性，而不仅仅是简单地「信任或丢弃」。其次，在理论层面，V0.5 证明了三个关键定理：定理 3.1 建立了基线 MSE 与策略梯度方差的放大关系（Tr(Var(ĝ)) ≤ Var_oracle + Φ_score·MSE(b) + L·|Bias(b)|），揭示了在 LLM 中 Φ_score 极大导致 MSE 被灾难性放大的机制；定理 3.2 和 3.3 证明了收缩估计器的 MSE 正交分解和最优权重的闭式解；定理 3.4 证明了经验权重引入的偏差被严格限制在 O(1/√k) 内，且随 k 增大以 O(1/k) 衰减。最后，在工程层面，V0.5 实现了自适应计算调度，通过 OSLA 框架将离散的采样决策转化为连续的优化问题，理论上的额外成本仅为 O(c)，相当于一两个额外采样的成本。
实验结果
V0.5 在六个数学推理基准测试上进行了全面评估，结果展示了其显著优势。在主实验中（Figure 1），V0.5 启用完整的 OSLA 动态预算分配（k_init=4），与 GRPO 和 DAPO 进行对比。结果显示 V0.5 不仅收敛更快，最终准确率也提升了超过 10%。具体来看，在 AIME 2024、AIME 2025、Olympiad Bench、MATH500、Minerva Math 和 AMC 2023 六个基准上，V0.5 都展现出一致的优越性。梯度分析实验（Figure 3）揭示了背后的机制：V0.5 在训练过程中保持更低且更稳定的梯度范数，而 GRPO 的梯度范数出现明显振荡。这是因为 V0.5 通过收缩融合将基线 MSE 大幅降低，从而抑制了 Φ_score 对梯度方差的灾难性放大。策略熵分析（Figure 4）进一步表明，GRPO 的高方差梯度导致策略熵快速衰减，模型过早陷入局部最优；而 V0.5 的低噪声梯度估计使策略在训练全程保持更高的熵水平，确保在复杂推理空间中的稳健探索。在极端稀疏实验中（Figure 5），V0.5 在不启用 OSLA 的情况下，仅使用固定组大小 4 和 8 的采样就能超越标准 GRPO（G=16），有力验证了收缩估计器的核心方差降低效果。但在组大小为 1 和 2 时训练无法收敛，这与理论分析一致——在二元奖励空间中，k<4 时离散量化间隙超过假设检验的容差半径，导致先验被频繁误判。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 | Accuracy (mean@16) | V0.5 | GRPO | 超过 10% |
| AIME 2025 | Accuracy (mean@16) | V0.5 | GRPO | 超过 10% |
| Olympiad Bench | Accuracy (mean@16) | V0.5 | GRPO | 超过 10% |
| MATH500 | Accuracy (mean@16) | V0.5 | GRPO | 超过 10% |
| Minerva Math | Accuracy (mean@16) | V0.5 | GRPO | 超过 10% |
| AMC 2023 | Accuracy (mean@16) | V0.5 | GRPO | 超过 10% |
局限与改进
论文存在几个值得关注的局限性。首先，V0.5 的性能高度依赖于泛化价值模型 V0 的质量。虽然论文展示了 V0 在多种模型规模上的预训练，但 V0 本身在面对分布外（OOD）的复杂提示时仍可能产生幻觉。V0.5 通过假设检验来检测这些幻觉，但假设检验的效力（power）在极端稀疏采样下有限——论文承认在 k=1 和 k=2 时系统无法有效工作。其次，V0.5 引入了额外的系统复杂性，需要维护 V0 模型的推理服务、全局支持缓冲区、以及动态预算分配逻辑，这在工程部署上增加了难度。第三，论文只在数学推理任务上进行了验证，这类任务的特点是奖励信号是二元的（正确/错误），且有可验证的真值。对于开放式生成任务（如创意写作、对话），奖励信号更模糊，V0 的先验质量可能更差，V0.5 的有效性尚不确定。最后，论文中 V0 模型需要在 128 个 GPU 上预训练 40 小时，这对大多数研究团队来说是不小的计算门槛。
独立分析的弱点
从独立分析的角度看，V0.5 存在几个值得关注的弱点。第一，先验模型的单一性问题。V0.5 完全依赖单一的 V0 模型提供先验，如果 V0 在某类提示上存在系统性偏差（比如对某些数学子领域的覆盖不足），假设检验可能无法有效检测，因为偏差是「系统性的」而非「随机幻觉」。改进方向可以是集成多个价值模型（ensemble），用多个先验的共识来提高鲁棒性。第二，假设检验的阈值设计相对粗糙。当前使用 max(0, (v̄k-V)² - 1/k) 作为截断函数，本质上是一个固定的噪声边界。对于不同难度的提示，最优的容差半径应该是不同的。可以考虑引入自适应阈值，根据提示的特征（如长度、领域）动态调整。第三，OSLA 的停止条件依赖于批量样本的百分比（25% 规则），这是一个启发式设计而非理论最优。在异构批量中，简单提示可能很早就停止采样，但因为复杂提示还在继续，导致简单提示白白等待。改进方向是实现提示级别的异步调度。第四，论文没有讨论 V0 模型推理的延迟开销。在实际部署中，查询 V0 API 可能成为瓶颈，特别是在高并发场景下。
未来方向
论文作者在结论中提出了明确的未来方向：构建和预训练「过程级泛化价值模型」（Process-level Generalist Value Model）。与当前的「结果级」先验（只评估最终答案的正确概率）不同，过程级先验将为推理轨迹的每一步提供细粒度的指导信号。这对于长序列推理任务（如复杂的数学证明、多步骤编程）尤其重要，因为这些任务中中间步骤的错误会级联放大。此外，基于 V0.5 的成功，可以延伸出几个研究方向：一是将 V0.5 的思想扩展到多智能体强化学习场景，其中多个策略的价值估计可以互相作为先验；二是探索 V0 在其他模态（如代码生成、视觉推理）中的泛化能力；三是研究如何用更轻量的模型（如小型 Transformer）替代当前的 TabPFN 推理头，降低 V0 的推理成本。另一个有前景的方向是将 V0.5 与过程奖励模型（PRM）结合，实现「先验引导的树搜索」，在保持计算效率的同时实现更精细的探索。
复现评估
从复现评估的角度看，V0.5 的复现存在一定的门槛。好消息是论文详细描述了所有超参数和实现细节：训练在 4 个节点（32 个 GPU）上使用 sglang 引擎，基础策略是 Qwen3-4B-Instruct-2507，在 DAPO-Math-17k 数据集上微调，学习率 1×10⁻⁶，最大响应长度 4096。V0 模型的架构也明确给出：骨干网络是 Qwen3-Embedding-0.6B，适配器有 168 个静态查询、投影维度 6、3 层 MHA，推理头使用 TabPFN-v2.5。但复现的主要难点在于 V0 模型本身——论文提到需要在 128 个 GPU 上预训练约 40 小时，且需要构建包含 424k 高质量训练对的数据集（来自多个模型规模的 GRPO 训练轨迹）。对于大多数研究团队来说，这个预训练成本是显著的。好消息是，如果 V0 模型被开源（论文提供了项目页面链接），那么 V0.5 框架本身的复现难度就大幅降低，只需要调用 V0 API 并实现收缩融合和 OSLA 分配逻辑。评估使用的是标准数学推理基准，数据集公开可用。
论文图表