语言模型即其自身的评论家：基于 Actor 内部状态做价值估计的强化学习方法 Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States

POISE 的完整训练流程按以下步骤执行。第一步，对 batch 中每个 prompt $x \sim \mathcal{D}$ 用当前策略采样 2 条独立 rollout $y^{(1)}, y^{(2)} \overset{i.i.d.}{\sim} \pi_{\theta_{old}}(\cdot|x)$，并收集它们的前向信号：每个 token 在固定中间层 $\ell$ 的 residual-stream 隐藏状态 $H^{(i)}_{\theta,t}$，以及每个 token 的输出分布熵 $u^{(i)}_{\theta}$。第二步，从这些信号构造每条 rollout 的特征向量 $\phi^{(i)}_\theta = [h^{(i)}_{\theta,p}; h^{(i)}_{\theta,r}; u^{(i)}_\theta]$，其中 $h^{(i)}_{\theta,p}$ 是 prompt 末尾最后 $n$ 个 token 隐藏状态的均值，$h^{(i)}_{\theta,r}$ 是推理结束位置 token 隐藏状态的均值。第三步，构造 cross-rollout 基线：用其他 rollout 的特征预测当前 rollout 的基线 $\hat{b}^{(i)}(x) = g_f(\phi^{(j)}_{\theta})$（$j \neq i$），从而得到优势 $A^{(i)}(x) = R(x, y^{(i)}) - \hat{b}^{(i)}(x)$。第四步，用 PPO 风格的截断代理目标 $L(\theta) = \mathbb{E}_{x, y^{(1)}, y^{(2)}} \left[ \frac{1}{2} \sum_{i=1}^{2} \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} \min\left( r^{(i)}_t(\theta) A^{(i)}(x), \mathrm{clip}(r^{(i)}_t(\theta), 1-\epsilon, 1+\epsilon) A^{(i)}(x) \right) \right]$ 对策略做多 epoch 更新，其中 $r^{(i)}_t(\theta) = \pi_\theta(y^{(i)}_t|x, y^{(i)}_{<t}) / \pi_{\theta_{old}}(y^{(i)}_t|x, y^{(i)}_{<t})$ 是重要性比率。第五步，并行地用 leave-one-out 蒙特卡洛目标 $\hat{V}_{-i}(x) = \frac{1}{K-1}\sum_{j \neq i} R(x, y^{(j)})$ 训练探针 $g_f$；当 $K=2$ 时该目标退化为另一条 rollout 的实际奖励；探针的损失为 $\mathcal{L}_{value}(f) = \mathbb{E}_{x,i}[(g_f(\phi^{(i)}_\theta) - \hat{V}_{-i}(x))^2]$，训练数据来自当前 batch 与最近 $n$ 步的滑动 buffer，从而让 $g_f$ 持续跟踪 $\pi_\theta$ 的演化。由于 $g_f$ 只是几层线性或浅层 MLP，参数规模远小于策略，这一步的算力开销可以忽略。

POISE 的技术新颖性体现在多个维度。第一个维度是'基线来源的范式转移'：把价值估计从'一个独立训练的 LLM'或'多条 rollout 的均值'换成'策略自己的隐藏状态'，这是首次将隐藏状态信息用作 RLVR 训练阶段的优化信号而非推理时的诊断。第二个维度是'cross-rollout 构造'：利用同一 prompt 上另一条独立 rollout 的内部信号来估计当前 rollout 的基线，这是对无偏性条件的一个优雅工程实现——不需要引入 prompt embedding 等外部条件信息，只需要利用 batch 内的天然配对就能让基线条件独立于正在更新的动作。第三个维度是'特征工程的精细化'：把 prompt 末尾隐藏状态、推理结束隐藏状态、token 熵统计这三类互补信号作为探针输入，分别捕捉模型对题目的预判、解题后的内在评估、生成过程的不确定性；消融实验表明推理隐藏状态（MAE=0.132）和 token 熵（MAE=0.152）单独使用都已接近完整探针（MAE=0.126），prompt 隐藏状态贡献较小（MAE=0.234），说明轨迹级信号是该方法有效性的主要来源。第四个维度是'在线训练+滑动 buffer'：让探针跟踪正在漂移的策略，比固定探针或滞后的离线探针更稳定；同时采用线性探针而非 MLP 的设计选择也契合近期关于'价值信息以线性方向编码'的发现。第五个维度是'严格理论支撑'：Proposition 1 与 Corollary 1 用 $\Sigma_w, \Sigma_b$ 的协方差分解严格证明了 batch 内 prompt 多样性对梯度方差的影响，为'POISE 因为 $m=2$ 而优于 GRPO 因为 $m$ 大'提供了数学根据。

独立分析可识别的弱点有以下几点。第一，POISE 的 cross-rollout 构造隐含 $m=2$，虽然远小于 GRPO 的 $G$（通常 8–16），但根据 Corollary 1 的方差分解 $\mathrm{Cov}(\hat{g}) = \frac{1}{B}\Sigma_w + \frac{m}{B}\Sigma_b$，$m=2$ 仍然让 between-prompt 方差分量贡献了 $m=1$ 时的两倍。一个可能的改进是用更大的 batch size 来摊薄这部分方差，或者借鉴 importancesampling 的思路只在'两条 rollout 的预测置信度都高'时才纳入更新。第二，POISE 用线性探针 $g_f$ 而非线性更复杂的模型，这在数学推理这种 prompt 信号较强的任务上够用，但跨域泛化表中部分领域（如 AceCoder 的代码生成）的 MAE 仍在 0.2 以上，提示探针容量可能是天花板；可以在推理信号之上引入任务特定的归纳偏置（如代码任务上的语法 AST 特征），或对不同任务分桶训练独立探针。第三，cross-rollout 假设同一 prompt 的两条 rollout 在统计上等价，但实际上对于探索性强的模型，二者可能走完全不同的解题路径，导致 $\phi^{(i)}$ 与 $\phi^{(j)}$ 的分布存在显著差异，从而让 baseline 估计产生偏差；可以在训练中监测两条 rollout 的 KL 散度或隐藏状态余弦相似度，对高分歧对降权或剔除。第四，论文没有给出与 GRPO 在完全相同 $n, m$ 下的'纯净'消融（即都让 $m$ 相同而只换 baseline 来源），所以 POISE 的部分收益可能来自'更小 $m$'本身而非'内部信号探针'本身；补充此类对照能更干净地归因。

作者在 §8 给出了三个明确的研究方向。其一是把 POISE 的序列级价值估计扩展到 token 级 credit assignment，从而对长推理轨迹中每个 token 提供更精细的优势——这对那些'推理中途走错一步'的 rollout 尤其有用，可能显著加速训练。其二是把内部状态价值估计迁移到 DPO 等偏好学习算法上：通过预测两条 response 的价值差，识别'显著差异'的配对，提升偏好对比的信息量。其三是把 POISE 从数学推理推广到 agentic reasoning 与 instruction following 任务。从成果可延伸的角度，还有几个值得探索的方向：把 $g_f$ 与 Transformer 的中间层 KV-cache 蒸馏结合，使探针也能在推理阶段用作信心估计与早停；把隐藏状态探针与 RLHF 中的 reward model 联合训练，让价值估计和最终奖励信号在表示空间中更对齐；在更长 horizon 上跟踪 $g_f$ 的退化曲线，研究是否需要周期性 reset 或正则化以避免漂移；以及将 POISE 与 prompt-level 难度估计结合，用于自适应调度每条 prompt 的 rollout 数。

作者明确表示'代码将在论文发表时发布'，目前（v2 预印本）尚未给出官方代码仓库，因此完整复现需要自行实现。论文提供了较详细的实现信息：训练数据为 DAPO-Math-17K 的英文子集，策略模型为 Qwen3-4B 与 DeepSeek-R1-Distill-Qwen-1.5B，rollout 采样温度 1.0、top-p 1.0；评估温度 0.6、top-p 0.95、Avg@32 协议；硬件为 B200 GPU，batch size 1024（4B）和 512（1.5B）；DAPO 基线采用 Zheng et al. 的改进实现。算法主体（cross-rollout baseline、PPO 风格目标、leave-one-out 探针目标、滑动 buffer 更新）描述完整，附录 B 给出完整超参，附录 E 给出层索引与均值池化 token 长度的消融。复现难度中等偏上——主要工作量在 PPO/GRPO 训练框架的搭建与 B200 上的显存优化，POISE 算法本身并不复杂；最大的不确定因素是不同 LLM 框架（如 verl、OpenRLHF、TRL）对中间层隐藏状态与 token 熵的提取接口差异。