面向语言智能体的策略与世界模型联合训练（PaW） Policy and World Modeling Co-Training for Language Agents
在 on-policy RL 中复用 rollout 的下一观测做辅助世界模型监督，零额外推理开销
前置知识
On-policy 强化学习（GRPO / GIGPO）
on-policy 指用当前策略实时采样轨迹再更新该策略本身。GRPO（Group Relative Policy Optimization）和 GIGPO（Group-in-Group Policy Optimization）是当下训练 LLM 智能体的主流算法，核心都是最小化一个优势加权的动作对数似然损失 L_RL = -E[Σ A_t log π_θ(a_t|h_t)]，区别仅在于如何估计优势 A_t 以及如何构造 surrogate 目标。
PaW 不是另起炉灶的算法，而是在这条通用 RL 损失基础上叠加一个辅助项，所以必须先理解 base RL loss 才能看懂辅助损失为何能『搭便车』共享同一个前向传播。
世界模型（World Modeling, WM）
世界模型让智能体内化环境的转移规律：给定决策上下文 h_t 和动作 a_t，预测下一个观测 o_{t+1}，目标 L_WM = -E[log π_φ(o_{t+1}|h_t,a_t)]。掌握了『动作会带来什么后果』，智能体就能在长程任务里避免无效操作、不可逆状态改变和延迟失败。
整篇论文的目标就是『把世界模型塞进 RL』，必须先清楚 WM 在概念上要预测什么、传统上为何要独立训练，才能理解 PaW 的切入点为何新颖。
交叉熵 vs 平均绝对误差（CE vs MAE）的梯度行为
对第 i 个目标 token，CE 损失 ℓ_CE = -log p_{t,i} 的梯度是 -∇p_{t,i}，等价于按 1/p_{t,i} 放大低概率 token 的梯度；而 MAE 损失 ℓ_MAE = 1-p_{t,i} 的梯度也是 -∇p_{t,i}，但乘以 p_{t,i} 后梯度幅值变成 p_{t,i}(1-p_{t,i})，是有界钟形函数。因此 MAE 对不可预测 token（如随机商品 ID）不敏感。
PaW 放弃 CE 改用 clipped MAE 是核心创新之一，不懂二者的梯度差异就无法理解为什么『一句文本里的噪声 token』会把 CE 训练带偏，也无法理解为何 ablation 里换回 CE 会把 ALFWorld 成功率从 77.9% 拖到 68.5%。
Causal attention 与单次前向共享
自回归语言模型用 causal（因果）注意力，即每个 token 只能 attend 到它之前的 token。在 PaW 里把 (h_t, a_t, o_{t+1}) 拼成一条序列：观测 token 出现在动作 token 之后，所以观测永远无法影响动作 logits，但观测自身的预测却能看到 (h_t, a_t) 前缀。
这是 PaW『一个前向同时算 RL loss 和 WM loss、却互不污染』的理论基石，也是它能近乎零开销的关键。
研究动机
以 DeepSeek-V4、GLM-5、GRPO、GIGPO 为代表的 RL 后训练已成为提升 LLM 智能体的主流范式，但标准 RL 只优化『哪些动作拿到高奖励』，从不学习『这些动作对环境做了什么』。结果是智能体在面对 ALFWorld 中 6 类家务任务（Pick、Look、Clean、Heat、Cool、Pick2，共 3827 个实例）或 WebShop 中 11 万商品、1.2 万指令的购物任务时，对无效操作、不可逆状态改变、长程延迟失败极为脆弱。例如 Qwen2.5-1.5B-Instruct 在 ALFWorld 的 Pick2 子任务上直接 GRPO 只有 47.8% 成功率。现有世界模型方案虽然能补这块短板，却必须引入额外代价：WebEvolver、Imagine-then-plan、WebWorld 需要训练一个独立模拟器；Gu et al. 的方案要做推理时 model-based planning；Zhang et al. 则先 SFT 灌入 WM 能力再 RL 微调——这些都意味着独立模型、额外训练阶段或推理时算力。
本文的目标是作者要回答一个具体问题：能不能不引入独立模拟器、不加训练阶段、不动推理范式，直接把世界模型能力『捎带』地学进 on-policy RL 训练里？具体目标是设计一个辅助 WM 目标，使其（1）与原策略共享同一组参数 θ 和同一次前向传播，（2）在训练时复用 RL rollout 已采到的 (h_t, a_t, o_{t+1}) 转移而不增加环境交互，（3）在推理时模型行为与普通策略完全一致，不 rollout 想象轨迹、不调用额外模型、不做规划。
与已有工作不同的是，本文的独特切入点是『信号早已存在、只是没人用』：每一步 on-policy rollout 都同时产生两份监督——动作加其优势提供策略监督，而动作导致的下一个观测 o_{t+1} 提供了天然的、动作条件下的环境动力学监督。标准 RL 只用前者、把后者白白丢弃。PaW 的本质创新就是回收这份被忽视的密集信号，而不是像以往工作那样去额外构建世界模型。这把『世界模型』从一个需要单独训练的组件，降维成一个零成本的训练副产物。
核心方法
直觉上：既然每次 rollout 都白送一份『做这个动作会发生什么』的答案，那就把它当一份额外的下一观测预测题喂给同一个模型。技术路线是在 base RL 损失上挂一个辅助 WM 损失，总目标 L_PaW(θ) = L_RL(θ) + λ_WM L_WM(θ)，两项共同更新同一组参数 θ。具体做法是把每个转移序列列化为 (h_t, a_t, o_{t+1})：对动作 token 用动作掩码算 base RL loss（式 1），对拼接在后的下一观测 token 用观测掩码算辅助 WM loss。由于 causal 注意力，观测 token 看不到更后的内容、也就无法污染动作 logits，同时观测预测又能看到 (h_t, a_t) 前缀。因此一个 forward pass 同时产出两份 loss，无需额外环境交互、无需独立模型、无需独立训练阶段，推理时模型表现得和普通策略完全一样。
核心创新是把『世界模型监督』重新定义成 RL rollout 的免费副产物，并用三件事让这份噪声很大的免费监督变得既 informative 又 stable，这是和所有先前工作的本质区别。先前方案要么先离线训练一个独立 simulator（WebWorld、Imagine-then-plan），要么先 SFT 注入 WM 再 RL（Zhang et al.），要么推理时做 model-based planning（Gu et al.）。PaW 的区别是：零额外结构、零推理改动，纯粹靠对『同一个 on-policy batch』重新加掩码 + 重设损失函数来榨取 WM 信号。这种『训练时学世界模型、推理时只当策略用』的解耦，是把世界模型成本压缩到近乎 2% 的根本原因。
方法步骤详情
完整训练一个 step 的流程（Algorithm 1）如下：①用当前策略 π_θ 采样任务、收集 rollout 组 G，每个组 g 含同一任务的若干轨迹，组内动作熵、奖励、下一观测都被记录；②把每组形成一个转移池 P_g = {(h_t,a_t,r_t,o_{t+1})}，并汇总 P = ∪ P_g；③计算每个转移的动作 token 平均熵 H(a_t|h_t)，按保留比例 α 取熵最高的 α 比例作为选中集 S_α（论文 α=0.75），高熵=决策点多=下一观测信息量大；④对每组 g：用所有动作算 base RL loss L_RL（式 1），仅用 S_α,g 中的转移算 clipped MAE 世界模型损失；⑤对每组按 λ_{WM,g} = 1 - R̄_g/R_max 给 WM loss 加权（低回报组多学动力学，高回报组专注策略）；⑥按式 11 L_PaW = E_g[L_RL(θ;g) + λ_{WM,g} L^CMAE_WM(θ;S_{α,g})] 更新 θ。其中 clipped MAE 损失 ℓ_CMAE = (1/|o_{t+1}|)Σ m_{t,i}(1-p_{t,i})，掩码 m_{t,i} = 1[p_{t,i}≤ρ] 把已经预测得很好的 token（p_{t,i}>ρ）剔除，避免在随机表面噪声上过拟合。推理阶段零改动：输入 h_t，像普通策略一样采样 a_t。
技术新颖性
技术新颖性有三层。第一，概念新颖：首次指出『on-policy rollout 的下一观测是被忽视的动作条件世界模型监督源』，把世界模型从需独立训练的资产变成训练副产物。第二，损失新颖：针对智能体观测里的随机 ID、商品名、噪声串，把标准 CE 换成 clipped MAE，并配 token 级置信度掩码 m_{t,i} = 1[p_{t,i}≤ρ]（ρ=0.2），使每个 token 的梯度幅值被夹在 [0, ρ(1-ρ)]，对不可预测 token 鲁棒（Figure 2c 证明 CE 把约 32% 的梯度预算错配给噪声 token）。第三，平衡新颖：用奖励自适应系数 λ_{WM,g} = 1 - R̄_g/R_max 让弱组多学动力学、强组多磨策略，避免固定大权重让密集 WM 梯度压垮稀疏 RL 信号。三者叠加才让『免费』信号既有效又稳定，ablation 显示缺一不可。
实验结果
核心结论是 PaW 在三类任务、多种模型、多种 RL 算法上一致提升 base RL，且开销极小。①交互决策（Table 1，ALFWorld+WebShop）：在 Qwen2.5-1.5B 上，GRPO w/ PaW 把 ALFWorld 平均成功率从 70.0% 提到 77.9%（+7.9），其中最难的 Pick2 子任务从 47.8% 跃升到 69.6%（+21.8）；GIGPO w/ PaW 从 87.6% 到 90.4%（+2.8）。在 7B 上 GRPO +3.0、GIGPO +1.0。WebShop 成功率增益更大：1.5B 上 GRPO +8.0（60.6→68.6）、GIGPO +9.1（66.2→75.3），7B 上分别 +4.0、+2.9。②搜索增强 QA（Table 2，7 个数据集）：GRPO 平均分 3B 从 43.9 到 44.8、7B 从 47.9 到 48.8；GIGPO 3B 从 41.2 到 44.2（+3.0）、7B 从 45.8 到 47.5。值得注意 GIGPO 在 3B 上提升最大，说明 PaW 对更弱基线收益更高。③泛化性（Table 3，WebShop 成功率）：换 RL 算法，PPO +6.1、RLOO +4.5；换骨干，Qwen3-1.7B +8.8、Qwen2.5-14B +2.4；最惊人的是 Llama3.2-3B-Instruct 从 4.0% 暴涨到 62.2%（+58.2）。④稀疏奖励救赎（Figure 4）：vanilla GRPO 在 Llama3.2-3B+WebShop 上几乎拿不到正奖励、训练信号塌缩，而 PaW 靠密集 WM 监督率先突破零奖励困境、再反哺策略，这正是 +58.2 的根因。⑤开销（Figure 5）：每步仅多花 10.7 秒（约 505 秒的 2.1%），峰值显存 +2.4GB（2.4%）、平均显存 +2.2GB（2.2%）。⑥ablation（Table 4）：去掉自适应系数 ALFWorld 77.9→75.5、WebShop 68.6→67.0；换回 CE 则 ALFWorld 77.9→68.5、WebShop 68.6→57.2，可见 clipped MAE 比 adaptive 系数更关键。⑦超参（Figure 6）：clipping 阈值 ρ 在 0~0.4、熵选择比 α 在 0.5~1.0 区间都稳定有效，ρ=0.2、α=0.75 最佳，不需精细调参。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（家务文本环境，成功率%） | Overall average success rate | GRPO w/ PaW = 77.9%（1.5B）/ 80.6%（7B）；GIGPO w/ PaW = 90.4%（1.5B）/ 91.8%（7B） | GRPO = 70.0%（1.5B）/ 77.6%（7B）；GIGPO = 87.6%（1.5B）/ 90.8%（7B） | 1.5B GRPO +7.9、7B GRPO +3.0；1.5B GIGPO +2.8、7B GIGPO +1.0 |
| WebShop（网页购物，成功率%） | Average success rate | GRPO w/ PaW = 68.6%（1.5B）/ 70.5%（7B）；GIGPO w/ PaW = 75.3%（1.5B）/ 76.7%（7B） | GRPO = 60.6%（1.5B）/ 66.5%（7B）；GIGPO = 66.2%（1.5B）/ 73.8%（7B） | 1.5B GRPO +8.0、7B GRPO +4.0；1.5B GIGPO +9.1、7B GIGPO +2.9 |
| Search-augmented QA（7 个数据集平均分） | Average score across NQ/TriviaQA/PopQA/HotpotQA/2Wiki/MuSiQue/Bamboogle | GRPO w/ PaW = 44.8%（3B）/ 48.8%（7B）；GIGPO w/ PaW = 44.2%（3B）/ 47.5%（7B） | GRPO = 43.9%（3B）/ 47.9%（7B）；GIGPO = 41.2%（3B）/ 45.8%（7B） | 3B GRPO +0.9、7B GRPO +0.9；3B GIGPO +3.0、7B GIGPO +1.7 |
| WebShop 跨算法/跨骨干泛化（成功率%） | WebShop success rate | PPO w/ PaW = 65.2；RLOO w/ PaW = 61.2；Qwen3-1.7B GRPO w/ PaW = 54.2；Llama3.2-3B GRPO w/ PaW = 62.2；Qwen2.5-14B GRPO w/ PaW = 77.1 | PPO = 59.1；RLOO = 56.7；Qwen3-1.7B = 45.4；Llama3.2-3B = 4.0；Qwen2.5-14B = 74.7 | PPO +6.1、RLOO +4.5、Qwen3-1.7B +8.8、Llama3.2-3B +58.2、Qwen2.5-14B +2.4 |
局限与改进
作者承认两点局限。第一，PaW 只做单步下一观测监督，捕捉的是局部动力学，无法显式建模长程依赖与多步预测误差累积（compounding error），这是 model-based RL 的经典难题，作者把多步世界模型列为未来工作。第二，WM 监督直接来自原始 on-policy rollout，没有做轨迹级去重，重复轨迹会降低监督多样性、并把辅助目标偏向高频模式，作者建议引入去重或多样性感知采样。我自己的补充观察：①提升幅度随基线变强而收窄（强基线 GIGPO/7B 上仅 +1.0~+2.9），说明信号天花板可能在 base RL 本身；②Search-QA 上 7 个数据集只报告平均，未见逐数据集方差与失败案例定性分析，缺乏对『哪种 query 受益最大』的解释；③所有实验都是文本环境，没有验证在视觉/多模态或真实 API 调用（高延迟、副作用不可逆）下是否仍稳健；④reward-adaptive 系数依赖 R_max 已知，在开放式任务（R_max 未知或无界）下如何定义尚不清楚；⑤clipped MAE 与 RL 的优势估计之间没有理论保证，当前只是经验性协同。
独立分析的弱点
弱点一：仅单步预测。在 ALFWorld 的 Heat/Cool 这类需要先拿物品、再操作器具、最后放回的多步依赖任务上，单步监督无法教会『中间状态』的因果链。改进方向：把目标扩展为 k-step 或递归式 WM，或在 rollout 中对回溯路径做 credit assignment，让模型学到长程动作后果。弱点二：噪声处理靠启发式阈值。ρ=0.2 是经验值，跨环境未必最优；同时熵选择 α 假设『高熵=信息量大』，但在某些环境高熵动作反而是无效探索。改进方向：用一个轻量判别器自适应估计每个 token 的可预测性，或按任务类型学 ρ。弱点三：缺乏去重。WebShop 里大量轨迹结构高度雷同，重复监督会偏向高频模式。改进方向：在 transition 池上做 embedding 级 MinHash 去重或多样性采样。弱点四：评估维度单一。仅看成功率/平均分，未报告 token 效率、步数、无效动作率等行为指标。改进方向：补一个细粒度行为分析。弱点五：泛化边界窄。只在文本交互环境验证，未触及真实工具调用、多模态、有副作用的 API。改进方向：在真实 web 浏览（如 Mind2Web）或工具调用环境验证。
未来方向
作者明确提议两条：一是把单步 WM 扩展为多步世界建模以建模长程依赖、抑制 compounding error；二是引入轨迹级去重或多样性感知采样来提升 WM 监督的效率与有效性。基于成果的可延伸方向包括：①把 reward-adaptive 系数推广到 R_max 未知的开放式任务，改用相对分位数或学习到的进度估计；②将 PaW 思路迁移到推理类任务（数学、代码），把『下一推理步』当 o_{t+1} 来联合训练；③结合 inference-time planning——训练时用 PaW 内化世界模型，推理时再选择性激活 lookahead，兼顾训练效率与推理时收益；④理论层面分析 clipped MAE + 自适应系数与 RL 梯度的交互，给出收敛性或稳定性保证；⑤在多模态智能体上验证，把图像 patch token 也纳入下一观测预测。
复现评估
复现度较高。论文给出三任务完整超参：ALFWorld 最大 prompt 2048、response 512、最多 50 步、actor lr 1e-6、组大小 8×16=128 环境、rule-based 奖励（成功 10/失败 0，无效动作 -0.1，R_max=10）；WebShop 最大 prompt 4096、最多 15 步、组大小 8×16；Search-QA 最大 4 轮、E5 检索、组大小 5。PaW 自身只新增两个超参 α=0.75、ρ=0.2，且 Figure 6 证明不敏感。骨干模型（Qwen2.5-1.5B/3B/7B/14B-Instruct、Qwen3-1.7B、Llama3.2-3B）、基线（GRPO、GIGPO、PPO、RLOO、Search-R1、ZeroSearch、ReAct、Reflexion）和 prompt 模板（Figure 7-9）都公开列明。所有结果取 3 个随机种子平均，Table 5 给出标准差。未明确说明是否开源代码与 checkpoint，这是唯一的复现风险点；算力方面，1.5B 训练显存峰值约 100GB（单卡可跑），14B 规模未给具体卡数，预计需要多卡。整体属于中等偏易复现的论文。
论文图表
对比三种 WM 范式：左『典型 WM for LLM Agents』——单独训练一个 World Modeling LLM 从环境采样、用于 RL 初始化；中『训练/推理用的模拟器』——独立的 Simulator+Environment 给 Agent 生成想象轨迹或做 planning；右『PaW』——同一个 LLM 在 rollout 中既做 Policy Learning 又做 World Modeling，靠 mask 区分动作与观测。
一张图讲清了 PaW 与所有先前工作的结构性差异，是理解动机的最快入口：先前方案都引入了独立模块，PaW 把三者合一。