长度价值模型：面向 token 级长度建模的可扩展价值预训练 Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
把剩余生成长度建模成折扣回报预测问题，用一个轻量价值头解码时控制生成长度。
前置知识
自回归解码与 KV-cache
LLM/VLM 在生成时每产生一个 token 都要把它的 key/value 写入缓存并消耗一次前向计算；输出 token 数直接决定推理时延、显存占用、电费与吞吐量 (Kwon et al., 2023; Pope et al., 2022)。因此生成长度是推理成本与性能之间最直接的杠杆。
LenVM 的全部动机就是"长度既是性能也是成本"——理解这一点才能看懂为什么作者要把长度建模放在 token 级别而不是 sequence 级别。
强化学习中的折扣回报与 Bellman 方程
在 RL 中，给定每个时刻的奖励 $r_t$ 与折扣因子 $\gamma \in (0,1)$，时刻 $t$ 的折扣回报是 $G_t = \sum_{i=0}^{T-t} \gamma^i r_{t+i}$，且满足 Bellman 递推 $G_t = r_t + \gamma G_{t+1}$。状态价值 $V^\pi(s) = \mathbb{E}_\pi[G_t \mid s_t=s]$ 衡量从这个状态出发、按策略 $\pi$ 走完的期望累积回报。
LenVM 的核心思想就是"为每个 token 设定一个常数负奖励，把剩余长度写成折扣回报"，所以必须先理解这个 RL 框架才能看懂公式 (2)–(4) 的含义。
广义优势估计 GAE (Generalized Advantage Estimation)
GAE 用参数 $\lambda$ 把多步 TD 残差 $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$ 指数加权求和得到优势估计 $A_t = \sum_i (\gamma\lambda)^i \delta_{t+i}$，在 PPO 中用于降低方差。$\lambda=1$ 对应蒙特卡洛回报，$\lambda=0$ 对应单步 TD。
论文 3.3 节指出 LenVM 与 GAE 自然兼容，且 $\lambda=1$ 在实验中效果最好——这一点只有在了解 GAE 后才能理解为什么"满回报回归"是这个任务的正确选择。
KL 约束下的指数倾斜 (exponential tilting)
在最小化 $\mathbb{E}_{p'}[\hat v(x)] - \frac{1}{\beta} D_{KL}(p' \| p)$ 时，闭式解为 Gibbs 形式 $p'(x) \propto p(x) e^{\beta \hat v(x)}$，通过标量 $\beta$ 连续调节新分布与原分布的距离。
LenVM 用它做"性能-效率折中"——同一个 $\beta$ 从 0 到 -∞ 滑动就能画出一条 Pareto 前沿，不需要重新训练模型。
研究动机
在现代自回归 LLM/VLM 中，生成的 token 数同时决定了推理成本和潜在性能上限：更长的 CoT 推理 (Snell et al., 2024) 可以提升复杂任务表现，但每个 token 又要付出 KV-cache 内存、延迟与算力代价 (Kwon et al., 2023)。然而现有的长度建模与控制手段都停留在非常粗的粒度上：训练时的 sequence 级长度惩罚 (Team et al., 2025)、推理时的 prompt 指令 (Xiao et al., 2026a)、以及预先在解码前跑一遍"长度预测器" (Zhang et al., 2025a)，都只作用在整个序列或某个预先决策点上，无法在解码过程中逐 token 感知"还要生成多久"。这种粗粒度导致两个具体问题：一是难以精确满足硬长度约束（如"恰好 512 token"），二是无法在性能与效率之间做连续的细粒度权衡。
本文的目标是本文提出一个 token 级、值函数风格的长度模型 LenVM：在每个解码步 $t$，用一个 scalar 价值头预测从当前 prefix 出发的"剩余生成长度"，并在解码时用这个信号同时支持硬长度约束、性能-效率折中曲线，以及 prompt 边界处的长度预测。更宏观的目标是把"长度建模"放进标准的 RL 价值学习框架，为未来把长度信号接入 PPO 等 RL 算法提供一个天然的 value baseline。
与已有工作不同的是，本文的独特切入角度是把长度显式地建模成一个有界、单调、Bellman 一致的折扣回报。具体来说，作者给每个非终止 token 分配常数负奖励 $r_t = -(1-\gamma)$、终端奖励 $r_L = 0$，得到的折扣回报 $G_t = -(1-\gamma^{L-t}) \in (-1, 0)$ 既是剩余长度的严格单调函数，又自动落在固定区间，避免了原始 token 数从 1 到 32k 的长尾分布问题。这样得到的监督信号天然具备四个属性：annotation-free（直接从采样完成长度算出来）、dense（每个 token 位置都有目标）、unbiased（在固定 rollout 策略下是 $V^\pi$ 的无偏 MC 样本）、scalable（数据自动随 prompt 数和每 prompt 采样数扩展），这四个属性是过去的长度预测工作 (Xie et al., 2026; Piotrowski et al., 2025; Ding et al., 2025; Xiao et al., 2026b) 所不具备的。
核心方法
LenVM 的直觉非常简洁：把生成过程想成一段 episode，从 prompt 末尾出发每写一个 token 就要"扣费"，剩余生成长度就是"还能扣多少次"。技术路线分三步：(1) 定义一个常数负奖励 $r_t = -(1-\gamma)$ 配终端 $r_L=0$，由此得到折扣回报 $G_t = -(1-\gamma^{L-t})$，它把任意长度压缩进 $(-1,0)$ 区间且保持单调；(2) 在冻结/初始化的 LLM 或 VLM 最后一层隐状态上接一个两层 MLP+SiLU+sigmoid 的 scalar 价值头，输出 $V_\theta(s_t) = -\sigma(z_t)$；(3) 用 token 平均的 MSE 在大量采样轨迹上回归这个目标。整套流程不需要任何人工标注，每条轨迹的监督直接由其自身长度生成。
LenVM 和已有长度建模工作的本质区别在于"目标空间"。之前的方法要么直接回归原始 token 数（面对 1 到 32k 的长尾分布极不稳定）、要么归一化到最大长度（短长度被压扁到 0 附近难以分辨）、要么取对数（只是静态尺度变换，没有 Bellman 结构）。LenVM 把"剩余长度"重新解释为"折扣回报"，其核心优势是 Bellman 一致性：$G_t = r_t + \gamma G_{t+1}$ 天然对齐自回归解码的逐步结构，让每个 token 位置的监督不仅自身有意义，还能与相邻位置互相校准——这是 5.1 节消融中 Discount Return 显著优于 Log Length 的根本原因。
方法步骤详情
具体训练与推理步骤如下。第一步是数据准备：从 OpenCodeReasoning-2 (1.42M)、WildChat (529k)、DeepMath-103K (103k) 三个领域的 prompt 上用固定 rollout 策略（温度 1.0、top-p 1.0）每条最多采样 16 个 completion，组成训练语料 (Table 1)。第二步是构造监督：对一条长度 $L$ 的完成，从 prompt 末尾 $s_0$ 到 $s_{L-1}$ 的每个非终止步，按公式 $G_t^{(n)} = -(1-\gamma^{L^{(n)}-t})$ 直接算出目标，终止步 $s_L$ 不参与回归。第三步是模型搭建：取 Qwen2.5-Instruct/Qwen3-Base 的最后一层隐状态 $h_t$，通过 $z_t = W_2 \text{SiLU}(W_1 h_t + b_1) + b_2$ 再过 $V_\theta(s_t) = -\sigma(z_t)$，保证输出严格落在 $(-1,0)$。第四步是优化目标：对 $N$ 条 prompt-completion，最小化 token 平均 MSE $\mathcal{L}_{\text{len}} = \frac{\sum_n \sum_{t=0}^{L^{(n)}-1} (V_\theta(s_t^{(n)}) - G_t^{(n)})^2}{\sum_n L^{(n)}}$，全程只训练价值头，base 模型参数冻结。第五步是推理时的三种用法：(a) 硬长度约束解码——把目标长度映射到 $v_t^\star$，在候选集 $\mathcal{V}_t$ 上选 $\arg\min_x |\hat v(x) - v_t^\star|$（Equal To）或 $\arg\min_x \hat v(x)$（At Least，期望更长→更负）或 $\arg\max_x \hat v(x)$（At Most）；(b) 性能-效率折中——按公式 $p'(x) \propto p(x) e^{\beta \hat v(x)}$（$\beta < 0$）对下一 token 分布做指数倾斜；(c) prompt 边界长度预测——直接读 $V_\theta(s_0)$ 并按 $L_{GT}$ 一致的反演公式给出长度估计。三种用法的额外开销都只在每步对一个小候选集做一次价值头前向。
技术新颖性
技术新颖性体现在三个层面。第一层是建模层面：把长度变成 RL 中的折扣价值问题，从而继承了一整套 Bellman 方程、TD 残差、GAE、潜在奖励塑形等成熟工具，作者在 Appendix C 中也系统讨论了 LenVM 如何在 PPO 中同时扮演"长度价值基线"和"进度势函数"两种角色。第二层是目标设计层面：$r_t = -(1-\gamma)$ 的常数奖励 + sigmoid 边界的设计使目标始终在 $(-1,0)$，避免了 5.1 节所示的 raw length 训练不稳定、normalized length 短端分辨率塌缩、log length 缺乏 Bellman 结构的三大问题；附录 D 还给出了在 bf16/fp16/fp32 下的相对长度分辨率闭式分析，说明数值误差主要集中在短长度区域。第三层是数据可扩展性层面：作者明确论证了监督信号的四个性质（annotation-free / dense / unbiased / scalable）共同保证 LenVM 可以随模型规模、prompt 数、每 prompt 采样数三个轴同步扩展，而 Figure 3 中的实验结果也证实了这一点。
实验结果
论文围绕三个核心问题展开实验并给出量化结论。问题一是 LenVM 能否在不解冻 base 模型的情况下支持推理时长度控制——在 LIFEBench (Zhang et al., 2025b) 的 Equal To 设置下，把 Qwen2.5-7B-Instruct 的 Length Score 从 30.9 提升到 64.8，Length Deviation 从 71% 压到 44%（绝对降幅 27 个百分点）；Qwen2.5-3B 同样从 25.6 提到 62.6（绝对 +37.0）；Qwen3-30B-A3B 从 36.8 提到 67.2（绝对 +30.4）。这一分数超过了 GPT-5.4-thinking (47.8)、Claude-Opus-4-6-thinking (53.2)、Gemini-3.1-Pro (49.3) 等所有报告的闭源前沿模型 (Table 2)，证明 token 级价值信号比 prompt 级控制在精确长度匹配上有量级优势。问题二是能否提供连续的性能-效率折中——在 GSM8K 上用 Qwen2.5-3B 做 base、Qwen2.5-1.5B 做 LenVM，Figure 2(a) 显示在平均生成长度约 200 token 时，硬截断基线只有 6% Pass@1，而 LenVM 引导解码保持约 63%；MATH500 与 MathVista 上的趋势一致，且 $\beta$ 从 0 到 -1000 滑动给出平滑的 Pareto 前沿。问题三是能否从 prompt 边界预测总长度——Table 3 显示从 1.5B 到 32B，prompt 边界 MRE 在 math 上从 17.0% 降到 9.8%，code 上从 29.0% 降到 14.9%，IF 上从 33.0% 降到 17.1%，单调改善。Figure 3 还额外展示了三个可扩展性轴（模型大小、prompt 数、每 prompt 采样数）上验证损失都一致下降，Figure 4 通过 TD 残差词云给出有趣的定性发现：ah/but/now/wait/let/think 等"推理转折"词是 positive length tokens，therefore/clearly/perfect/\n\n/勾和派对 emoji 是 negative length tokens，说明 LenVM 的价值信号确实捕捉到了"模型在哪里决定继续想下去/准备收尾"的生成动力学。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIFEBench Equal To（精确长度匹配） | Length Score ↑ / Length Deviation ↓ | Qwen2.5-7B + LenVM: 64.8 / 44%；Qwen3-30B-A3B + LenVM: 67.2 / 57% | Qwen2.5-7B w/o LenVM: 30.9 / 71%；闭源最强 Gemini-3.1-Pro: 49.3 / 91%；GPT-5.4-thinking: 47.8 / 131% | +33.9 分（7B）/ +30.4 分（30B-A3B），超过所有闭源对照模型 |
| LIFEBench At Most（不超过） | Length Score ↑ | Qwen2.5-7B + LenVM: 96.1；Qwen3-30B-A3B + LenVM: 99.4 | Qwen2.5-7B w/o LenVM: 98.5；Qwen3-30B w/o LenVM: 87.0 | 7B 略降 2.4 分但分数已近饱和；30B 从 87.0 提到 99.4 (+12.4) |
| LIFEBench At Least（不少于） | Length Score ↑ | Qwen2.5-7B + LenVM: 99.5；Qwen3-30B-A3B + LenVM: 99.8 | Qwen2.5-7B w/o LenVM: 89.1；Qwen3-30B w/o LenVM: 99.3 | 7B 从 89.1 提到 99.5 (+10.4)，30B 已接近天花板 |
| GSM8K 性能-效率折中（Qwen2.5-3B） | Pass@1 @ 平均生成长度约 200 token | 约 63% Pass@1 | 硬截断 token 预算基线约 6% Pass@1 | +57 个百分点，约为 10× |
| MathVista 性能-效率折中（Qwen2.5-VL-7B + 3B LenVM） | Pass@1 vs 平均长度 | LenVM 引导的红色曲线在所有长度上都位于硬截断蓝色曲线上方 | 硬 token 预算截断 | 在 ~140–240 token 区间 LenVM 全程占优 |
| prompt 边界长度预测（数学） | Mean Relative Error ↓ | 1.5B: 17.0%；3B: 13.6%；7B: 11.0%；14B: 10.4%；32B: 9.8% | ——（同模型大小下无 LenVM 时需另跑前向，论文未给同口径对比） | 随模型规模从 17.0% 单调降到 9.8%，绝对改善 7.2 pp |
| prompt 边界长度预测（代码） | Mean Relative Error ↓ | 1.5B: 29.0%；3B: 24.0%；7B: 19.5%；14B: 17.0%；32B: 14.9% | —— | 随模型规模从 29.0% 单调降到 14.9% |
| prompt 边界长度预测（指令遵循） | Mean Relative Error ↓ | 1.5B: 33.0%；3B: 27.2%；7B: 23.0%；14B: 19.8%；32B: 17.1% | —— | 随模型规模从 33.0% 单调降到 17.1% |
局限与改进
作者明确承认了三件事：(i) LenVM 在解码时需要对候选集做额外前向，因此会带来推理时延，本文并未优化端到端 wall-clock latency，实验目的是验证信号质量而非工程效率；(ii) 全程没有把 LenVM 接入真正的 RL 训练，Appendix C 只是给出了 PPO 框架下的形式化讨论和潜在用法，实际收益留待 future work；(iii) 长度控制实验中 $\beta$、候选集大小、min-p 等超参数对 Pareto 前沿形状有影响，本文并未给出系统化调参指南。从审稿视角补充几点观察：第一，长度预测只在"value space 一致反演"下评估 (Appendix F)，如果直接用 $u^{-1}(\hat u)$ 反推原始长度会因 Jensen 不等式系统性低估 $E[L]$，所以 Table 3 的 MRE 数字是经过特意构造的目标得到的，对实际业务中"想知道绝对长度"的场景需要再校验；第二，硬长度约束实验中 base 模型表现本身不算强（7B w/o LenVM 在 Equal To 上只有 30.9），部分原因是 prompt-level 控制本身很弱，与闭源对照时并不完全公平——闭源模型如果也接入价值头可能有不同结果；第三，Figure 4 的"长度词"分析是描述性而非因果性，作者也没有给出 ablate 这些词后生成长度是否会改变，所以该分析只能作为定性洞察。
独立分析的弱点
独立分析可以指出几个值得改进的弱点。第一，价值头只在最后一层隐状态上接一个两层 MLP，没有跨层融合，而 Piotrowski et al. (2025) 的工作表明 layerwise hidden states 拼接对剩余长度回归有效——若加上中段层的信号，prompt 边界 MRE 应该还有 2-3 pp 的下降空间。第二，指数倾斜只在 $\beta<0$ 一侧系统实验，$\beta>0$（强制更长）只在 LIFEBench At Least 中隐式用了一下，未来若想做"必须详细解释"等反向任务，需要补齐 $\beta>0$ 侧的 Pareto 曲线与对齐税量化。第三，候选集 $\mathcal{V}_t$ 在 LIFEBench 实验中只用了 top-15 截断，在 GSM8K 实验中用 min-p=0.01，这意味着价值头实际上没看过长尾词，对一些需要罕见词切换长度模式的场景（如极简 vs 极详尽的回答）可能给出次优估计；改进方向是给价值头也喂完整词表的预测或加一层 retrieval。第四，LenVM 训在固定 rollout 策略上，但推理时常常换 base 模型或换采样参数（temperature、top-p），Appendix C.3 明确指出这是 policy-dependent 价值，policy shift 后建议重训或 fine-tune，但作者没给出漂移的量化曲线。第五，Figure 6 的 $\gamma$ 消融显示大 $\gamma$ 对早期、小 $\gamma$ 对晚期更好，目前选用的是 $1-\gamma^{L_{0.99}}=0.99$ 的折中值；如果能根据 prompt 类别自适应选 $\gamma$（例如代码任务选小 $\gamma$、开放问答选大 $\gamma$），控制精度可能进一步提升。
未来方向
作者明确把"LenVM 接 PPO / VAPO 做 RL fine-tune"留作未来工作，Appendix C 已经画好了两种用法：(i) 把 LenVM 当成长度特定的 value baseline 做 advantage decomposition $A^{tot} = A^{task} + s A^{len}$，适用于显式优化 token 预算、延迟、显存受限的 RL 场景；(ii) 把 LenVM 当成固定势函数 $\Phi(s) = sg(\hat v_\phi(s))$ 接入 potential-based reward shaping，能在不改变任务目标的前提下提供更密的中间信号。基于结果可延伸的方向还有：在多模态生成（视频/音频 token）上验证 LenVM 是否同样能给出单调剩余长度信号；把 LenVM 与 speculative decoding 结合，用它预测的剩余长度做 draft budget；做 prompt-level 的 cost-aware routing，prompt 边界 $V_\theta(s_0)$ 已经能做调度，可以进一步做成端到端资源分配系统；把 Figure 4 的"长度词"做成可干预探针，主动控制特定转折词出现频率以引导长短推理；最后，从 1.5B 到 32B 的可扩展曲线只到 32B，更大尺寸（70B+）是否会继续单调改善、是否存在饱和点，也值得继续追踪。
复现评估
可复现性整体较好。代码与模型已开源在 https://github.com/eric-ai-lab/Length-Value-Model。训练数据全部公开（OpenCodeReasoning-2、WildChat、DeepMath-103K），base 模型是 Qwen2.5-Instruct / Qwen3-Base 公开权重，评测用 LIFEBench、GSM8K、MATH500、MathVista 都是开源 benchmark。实现细节上：作者使用 LlamaFactory 训练框架，$\gamma$ 在 Qwen2.5 上取 0.997、在 Qwen3 上取 0.9998，GAE 中 $\lambda=1$，学习率 $2\times10^{-5}$，batch size 1024，BF16 精度，训 2 个 epoch，每个 prompt 最多采样 16 个 completion。复现难度主要为中等：核心挑战是 LIFEBench 的精确长度匹配需要构造完整的指令模板并对齐各模型 tokenizer，论文 Appendix B 给出了细节；性能-效率折中曲线则需要把 LenVM 接进 vLLM 或自定义采样循环，因为作者设了 min-p 截断和额外价值头前向。算力门槛：1.5B/3B 模型用 8 卡 A100 级别应在一天内可训完，30B-A3B 的 LenVM（1.7B）训 + 评测可能需要 16-32 卡 H100 一周。值得一提的是 Figure 5(c) 显示 fp16/bf16/fp32 下损失曲线几乎重合，bf16 已足够，对硬件敏感的实验室也不会被数值精度问题卡住。
论文图表