面向 LLM 智能体的强化世界模型学习 Reinforcement World Model Learning for LLM-based Agents
用自监督 RL 训练 LLM 成为动作条件的世界模型，提升智能体决策能力
前置知识
世界模型（World Model）
世界模型是一种内部模拟器，能够让智能体在不与真实环境交互的情况下，预测执行某个动作后环境会如何变化。在生物智能中，人类和动物利用内部世界模型进行推理、规划和高效学习（如 Craik 1944、Tolman 1948 的认知地图理论）。对于 LLM 智能体而言，世界模型意味着模型不仅会生成动作，还能预见动作的后果——例如在 ALFWorld 中预测'去厨房台面 1'后会看到哪些物品。世界模型的核心价值在于：它将智能体的决策过程从'试错'转变为'模拟-评估-选择'，大幅提高了规划效率。
本文的核心创新就是训练 LLM 成为一个更好的世界模型，因此理解世界模型的概念是理解全文的基础。
GRPO（Group Relative Policy Optimization）
GRPO 是一种策略优化算法，最早由 DeepSeek-Math（Shao et al., 2024）提出，后被 DeepSeek-R1 广泛使用。与 PPO 不同，GRPO 不需要训练一个单独的价值函数（critic），而是通过在同一个 prompt 上采样一组（group）回答，计算组内相对优势（group-relative advantage）来指导策略更新。具体地，对于每个样本，优势 $A = [r_{WM} - \text{mean}(r_{WM})] / \text{std}(r_{WM})$，即用组内奖励的均值和标准差做归一化。这使得算法更简洁、更稳定，特别适合 LLM 的 RL 训练场景。
RWML 使用 GRPO 作为核心优化算法来训练世界模型，理解 GRPO 的工作原理有助于理解 RWML 的训练流程和优势。
Sim-to-Real Gap Reward（模拟-现实差距奖励）
这是本文提出的核心奖励机制。传统 RL 通常使用任务成功/失败的终端奖励，而 RWML 使用一种更密集的奖励信号：比较模型模拟生成的下一状态 $\hat{s}_{t+1}$ 与真实环境观察到的下一状态 $s_{t+1}$ 之间的语义相似度。具体地，使用预训练嵌入模型 $E(\cdot)$ 计算余弦相似度：$d(\hat{s}_{t+1}, s_{t+1}) = 1 - \cos(E(\hat{s}_{t+1}), E(s_{t+1}))$，然后将其二值化为 $r_{WM} = 1.0$（如果距离小于阈值 $\tau_d$）或 $0.0$。这种奖励不依赖任务成功信号或专家数据，是完全自监督的。
这是 RWML 区别于传统 RL 方法的关键设计——它将世界模型学习转化为一个可以用轻量级奖励函数优化的 RL 问题。
灾难性遗忘（Catastrophic Forgetting）
灾难性遗忘是指神经网络在学习新任务时，会覆盖掉之前学到的知识，导致在旧任务上的性能大幅下降。这在 LLM 微调中尤为突出：例如一个通用 LLM 在特定任务上做 SFT 后，可能在数学、编码等通用能力上出现明显退化。本文通过测量 MMLU-Redux、MATH-500、LiveCodeBench 等基准的性能变化来量化遗忘程度，发现 RWML 相比 WM SFT 显著减少了灾难性遗忘（如 MMLU-Redux 上 RWML 仅下降 2.38 分，而 WM SFT 下降 10.10 分）。
遗忘问题是 LLM 微调的核心挑战之一，本文发现 RL 方法（RWML）比 SFT 方法（WM SFT）更不易遗忘，这是重要的实证发现。
Token-level Fidelity vs Semantic Equivalence
这是两种不同的训练目标。Token-level Fidelity（token 级保真度）是指模型被训练为精确复现目标文本的每一个 token，这是标准 SFT（next-token prediction）的优化目标。Semantic Equivalence（语义等价性）则只要求模型输出在语义上与目标一致，不要求逐字匹配。例如，'桌子上有一个杯子'和'杯子在桌面上'在语义上是等价的，但 token 序列完全不同。本文指出，token-level fidelity 会导致模型崩溃（model collapse），因为它强迫模型记忆精确的措辞而非理解环境动态。
理解这一区别是理解 RWML 为什么用嵌入空间的语义相似度而非 token 级 SFT 来训练世界模型的关键。
研究动机
当前 LLM 智能体在需要预见动作后果和适应环境动态的场景中表现不佳。尽管 LLM 在语言理解、代码生成和多步推理等语言中心任务上取得了巨大成功，但标准预训练目标（next-token prediction）与智能体使用场景之间存在根本性的错位。预训练目标强调在静态文本语料上的语言理解和生成，而智能体需要在复杂的长期环境中运作，成功完成任务需要推理当前状态以及环境如何随动作演变。例如在 ALFWorld 中，智能体需要预测'去厨房台面 1'后会看到哪些物品；在 $\tau^2$ Bench 中，智能体需要预测工具调用的返回结果。现有的世界模型训练方法（如 IWM、SR）依赖专家轨迹或强 LLM 生成的合成数据，面临严重的扩展性挑战：(1) 高质量专家数据昂贵且稀缺；(2) 基于 SFT 的训练优先保证 token 级保真度而非语义等价性，可能导致模型崩溃。此外，基于任务成功奖励的 RL 方法（如 Policy RL）依赖稀疏的终端奖励，需要领域专家精心设计奖励函数，限制了在复杂环境中的扩展性。
本文的目标是本文的目标是开发一种可扩展的、自监督的训练方法，使 LLM 智能体能够在不依赖专家数据、强 LLM 或任务成功奖励信号的情况下，从环境交互数据中学习准确的世界模型知识。具体而言，RWML 旨在：(1) 训练 LLM 成为动作条件的世界模型，能够根据当前状态和动作预测下一状态；(2) 通过嵌入空间的语义对齐而非 token 级 SFT 来提供更鲁棒的训练信号；(3) 作为'中期训练'（mid-training）算法，与下游的 Policy RL 互补，进一步提升 LLM 智能体的性能。
与已有工作不同的是，本文的独特切入角度在于将世界模型学习重新定义为一个 RL 问题，而非传统的 SFT 问题。具体地，RWML 有三个关键的设计创新：第一，使用嵌入空间的 sim-to-real gap reward 替代 token 级 SFT——通过预训练嵌入模型计算模拟状态与真实状态之间的余弦相似度，二值化后作为 RL 的奖励信号，这比 token 级匹配更能捕捉语义一致性，也比 LLM-as-a-judge 更稳定不易被 hack。第二，使用 RL（GRPO）而非 SFT 来优化世界模型——RL 的 on-policy 特性使其比 SFT 更不易导致灾难性遗忘，参数更新也更紧凑。第三，引入数据子采样策略——过滤掉'太容易'的训练样本，让模型专注于学习非平凡的世界模型知识。这种设计使得整个训练过程完全自监督，不需要任何专家数据、强 LLM 或任务成功奖励。
核心方法
RWML 的整体思路可以分为三个阶段。直觉上，我们希望 LLM 智能体能够像人类一样，在头脑中模拟'如果我做了这个动作，环境会怎么变化'。为此，RWML 首先让目标模型 $\pi_\theta$ 与环境交互收集轨迹数据，然后将轨迹转化为 $\langle s_{\leq t}, a_t, s_{t+1} \rangle$ 三元组，接着过滤掉太容易的样本，最后用 GRPO 训练模型生成推理（reasoning）并预测下一状态，奖励信号来自嵌入空间中预测状态与真实状态的相似度。技术路线上，这与传统的'SFT 学世界模型 → RL 学策略'的两阶段范式不同：RWML 用 RL 来学世界模型，用嵌入空间的语义匹配替代 token 级 SFT，从而获得更鲁棒的训练信号。
RWML 的核心创新在于用 RL + 嵌入空间奖励替代 SFT 来训练世界模型，这与已有方法有本质区别。已有方法如 IWM 和 SR 使用 SFT 训练世界模型，优化目标是 token 级保真度——即模型被训练为精确复现下一状态的每一个 token。但这种优化目标存在两个根本问题：(1) 它强迫模型记忆精确的措辞而非理解环境动态，例如'桌子上有一个红色杯子'和'一个红色杯子在桌面上'在语义上等价但 token 序列完全不同；(2) SFT 的 off-policy 特性更容易导致灾难性遗忘。RWML 则使用预训练嵌入模型 $E(\cdot)$ 计算预测状态 $\hat{s}_{t+1}$ 与真实状态 $s_{t+1}$ 的余弦距离 $d = 1 - \cos(E(\hat{s}_{t+1}), E(s_{t+1}))$，当距离小于阈值 $\tau_d$ 时给予奖励 1.0，否则为 0.0。这种二值化奖励被证明比连续奖励更鲁棒、更不易被 hack。同时，RL 的 on-policy 训练方式使得参数更新更紧凑（RWML 的参数变化比例显著低于 WM SFT），更不易遗忘。
方法步骤详情
RWML 的完整训练流程包含以下步骤。第一步：数据收集。使用目标模型 $\pi_\theta$ 对每个训练任务进行 $N$ 次 rollout（ALFWorld 中 $N=3$，$\tau^2$ Bench 中 $N=6$），收集交互轨迹 $(s_0, a_0, s_1, a_1, \ldots, s_T)$，温度 $\tau=1.0$。第二步：数据转换。将轨迹转化为 $\langle s_{\leq t}, a_t, s_{t+1} \rangle$ 三元组，其中 $s_{\leq t} = \langle s_{t-H}, a_{t-H}, \ldots, s_t \rangle$ 是最多 $H$ 轮的交互历史。第三步：数据子采样。用 SFT 在 10% 数据上训练一个过滤模型 $\pi'_\theta$，然后用它在剩余 90% 数据上生成预测，对每个样本进行 $K=10$ 次尝试，过滤掉平均奖励 $\geq \tau_{easy}$ 的'太容易'样本，保留概率 $p=0.1$。第四步：GRPO 训练。对每个样本，模型生成推理和预测的下一状态，奖励函数 $r_{WM}(\hat{s}_{t+1}, s_{t+1})$ 比较预测与真实状态的相似度。使用 GRPO 优化，优势计算为 $A = [r_{WM} - \text{mean}(r_{WM})] / \text{std}(r_{WM})$，带有 KL 正则化 $\beta D_{KL}(\pi_\theta \| \pi_{\theta_{ref}})$。第五步：Policy RL。使用任务成功奖励进一步微调 RWML 训练后的模型。
技术新颖性
RWML 的技术新颖性体现在多个层面。首先，将世界模型学习从 SFT 重新定义为 RL 问题是一个根本性的范式转变——传统方法认为预测下一状态是一个监督学习问题，而 RWML 认为它本质上是一个优化问题，应该用 RL 来优化。其次，嵌入空间的二值化奖励函数设计精巧——它既比 token 级 SFT 更能捕捉语义一致性（通过预训练嵌入模型），又比 LLM-as-a-judge 更稳定（消融实验显示 LLM-as-a-judge 在 ALFWorld 上仅得 3.6 分，而嵌入空间奖励得 32.6 分）。第三，数据子采样策略借鉴了 Snell et al. (2024) 和 Sun et al. (2025) 的思想，让模型专注于学习非平凡的世界模型知识，这对性能提升有显著贡献（消融实验显示去掉子采样后 ALFWorld 从 32.6 降至 2.9）。最后，参数变化分析揭示了 RWML 的一个重要特性：它以更紧凑、更目标化的方式编码任务相关信息，参数变化比例显著低于 WM SFT，这不仅解释了其更好的抗遗忘能力，也解释了其与下游 Policy RL 的良好兼容性。
实验结果
本文在 ALFWorld 和 $\tau^2$ Bench 两个长期智能体基准上进行了全面评估，结果令人瞩目。在自监督设置下（不使用任何专家数据、强 LLM 或任务成功奖励），RWML 在 ALFWorld 上将 Qwen2.5-7B-Instruct 的平均成功率从基线的 13.0% 提升至 32.6%（+19.6 分），在 $\tau^2$ Bench 上将 Qwen3-8B 从基线的 31.9% 提升至 38.8%（+7.9 分）。当与 Policy RL 结合时，RWML + Policy RL 在 ALFWorld 上达到 87.9%，比直接 Policy RL 的 81.0% 高出 6.9 分；在 $\tau^2$ Bench 上达到 43.7%，比直接 Policy RL 的 38.0% 高出 5.7 分。值得注意的是，RWML + Policy RL 在 ALFWorld 上甚至超越了使用专家数据的方法（Imitation Learning 82.5%、IWM 83.1%、SR 83.3%），在 $\tau^2$ Bench 上也达到了与专家方法相当的水平（43.7% vs 43.7%-45.0%）。遗忘分析显示 RWML 显著优于 WM SFT：在 MMLU-Redux 上 RWML 仅下降 2.38 分而 WM SFT 下降 10.10 分；在 GPQA-Diamond 上 RWML 下降 4.05 分而 WM SFT 下降 7.58 分。消融实验证实了所有组件的重要性：使用 LLM-as-a-judge 替代嵌入空间奖励后 ALFWorld 从 32.6% 降至 3.6%；去掉子采样后降至 2.9%。参数变化分析显示 RWML 的参数变化比例显著低于 WM SFT，表明其以更紧凑的方式编码知识。此外，RWML 有效减少了无效动作：ALFWorld 中无效/低效动作比例从 59.30% 降至 39.45%，$\tau^2$ Bench 中无效工具调用从 24.90% 降至 8.84%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld 文本交互式家务任务 | 平均成功率 (AVG, %) | RWML: 32.6; RWML+Policy RL: 87.9 | Base model (REACT): 13.0; Policy RL: 81.0; WM SFT: 2.8; Imitation Learning: 82.5 | RWML vs base: +19.6; RWML+Policy RL vs Policy RL: +6.9; RWML+Policy RL vs Imitation Learning: +5.4 |
| τ² Bench 客服对话任务 | 平均成功率 (AVG, %) | RWML: 38.8; RWML+Policy RL: 43.7 | Base model (REACT): 31.9; Policy RL: 38.0; WM SFT: 27.9; Imitation Learning: 43.7 | RWML vs base: +6.9; RWML+Policy RL vs Policy RL: +5.7 |
| MMLU-Redux 通用知识（ALFWorld 训练后） | 准确率 (%) | 74.88 (Δ-2.38) | WM SFT: 67.16 (Δ-10.10); Base: 77.26 | RWML 比 WM SFT 少遗忘 7.72 分 |
| GPQA-Diamond 研究生级 QA（ALFWorld 训练后） | 准确率 (%) | 28.79 (Δ-4.05) | WM SFT: 25.25 (Δ-7.58); Base: 32.83 | RWML 比 WM SFT 少遗忘 3.53 分 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，实验仅在两个文本环境（ALFWorld 和 $\tau^2$ Bench）上验证，尚未扩展到多模态、视觉或真实世界环境，其泛化能力有待进一步验证。其次，RWML 的世界模型知识转移能力依赖于基础模型的能力——消融实验（Figure 4）显示，较弱的模型（如 Qwen2.5-7B）在挑战性的 $\tau^2$ Bench 上难以将世界模型知识转移到决策中（仅提升 0.0%），而较强的模型（如 Qwen3-8B）才能有效利用世界模型知识（提升 5.0%）。第三，嵌入空间的奖励函数虽然比 LLM-as-a-judge 更稳定，但其质量仍然依赖于嵌入模型的能力，且二值化阈值 $\tau_d$ 是需要调整的超参数。第四，RWML 的数据收集需要 $N=3\sim 6$ 次 rollout，增加了训练前期的计算成本。第五，作者自己也承认，本文的参数变化分析是经验性的，旨在提供描述性证据而非完整的机制解释，RL 训练的优化动力学和机制可解释性仍是重要的未来研究方向。此外，$\tau^2$ Bench 的评估使用了 Qwen3-235B-A22B-Instruct 作为用户模拟器而非官方的 GPT-4.1，虽然附录中提供了官方设置的结果，但主实验设置与官方有差异。
独立分析的弱点
本文存在几个值得改进的弱点。第一，嵌入空间的余弦相似度奖励虽然语义上合理，但可能过于粗糙——它将整个状态文本编码为单一向量后比较，可能丢失细粒度的结构信息。例如，在 $\tau^2$ Bench 的工具调用场景中，返回的 JSON 结构中的某个字段缺失可能被嵌入模型忽略。作者也意识到了这一点，在 $\tau^2$ Bench 中对工具响应使用了 ROUGE 分数。改进方向可以是设计更细粒度的奖励函数，如对状态文本的不同部分（物体描述、位置信息、工具返回值等）分别计算相似度后加权组合。第二，数据子采样策略中的阈值 $\tau_{easy}$ 和保留概率 $p=0.1$ 是启发式选择的，缺乏理论分析或自适应机制。改进方向可以是基于课程学习（curriculum learning）的思想，动态调整训练数据的难度分布。第三，RWML 目前只在单步预测上训练世界模型（给定 $s_t, a_t$ 预测 $s_{t+1}$），而实际决策往往需要多步前瞻。改进方向可以是训练模型进行多步世界模型预测（如给定 $s_t, a_t, a_{t+1}$ 预测 $s_{t+2}$），或与搜索算法（如 MCTS）结合。第四，二值化奖励虽然比连续奖励更稳定，但丢失了预测质量的梯度信息——一个'接近'阈值的预测和一个完全错误的预测获得相同的 0.0 奖励，这可能影响学习效率。
未来方向
本文开启了多个有前景的未来研究方向。作者明确指出，从优化动力学和机制可解释性角度理解 RL 训练——特别是不同训练阶段的 RL 如何影响内部表示和学习轨迹——是重要的未来工作。此外，基于本文的成果可以延伸出以下方向：(1) 将 RWML 扩展到多模态环境（如视觉-语言智能体），利用视觉嵌入模型对齐模拟和真实的视觉观察；(2) 将 RWML 与推理时间搜索算法（如 MCTS、Tree-of-Thought）结合，利用更准确的世界模型进行更深度的前瞻规划；(3) 探索 RWML 在更大规模模型上的效果，作者的消融实验（Figure 4）暗示世界模型知识转移能力随模型规模增长，但在更大的模型（如 70B+）上是否仍有显著提升值得研究；(4) 设计自适应的奖励函数，能够根据任务难度和环境特性自动调整阈值和权重；(5) 将 RWML 的'中期训练'理念扩展到其他类型的自监督任务，如因果推理、反事实推理等。
复现评估
本文在复现性方面做了较好的工作。代码和数据方面，虽然论文未明确提到开源代码，但详细的超参数设置（Table A2）、训练提示模板（Table A4-A7）、以及完整的训练流程描述使得复现成为可能。模型方面，所有基座模型（Qwen2.5-7B-Instruct、Qwen3-8B）都是公开可获取的，嵌入模型 Qwen3-Embedding-8B 也是开源的。数据方面，ALFWorld 和 $\tau^2$ Bench 都是公开基准，使用官方训练/测试划分。算力方面，所有训练在 B200 GPU 上完成，ALFWorld 训练约 28 小时（2xB200），$\tau^2$ Bench 训练约 5 天（8xB200），对学术实验室而言算力需求适中。主要的复现挑战在于：(1) RWML 的数据收集需要多次 rollout 与环境交互，环境安装和配置可能有一定复杂度；(2) 部分超参数（如 $\tau_d$、$\tau_{easy}$、$p$）是启发式选择的，可能需要针对新环境重新调整；(3) $\tau^2$ Bench 的评估涉及 LLM 作为用户模拟器，不同 LLM 的行为可能影响评估结果。总体而言，复现难度中等，适合有一定 RL 训练经验的研究者。
论文图表
