先想象后规划：基于自适应前瞻世界模型的智能体学习 Imagine-then-Plan: Agent Learning from Adaptive Lookahead with World Models
提出自适应前瞻机制，让LLM智能体在行动前动态决定想象多远的未来
前置知识
部分可观察马尔可夫决策过程（POMDP）
POMDP是强化学习中描述不完全信息下序贯决策问题的标准框架，由状态空间S、动作空间A、观测空间O、状态转移函数T和奖励函数R五元组定义。在每个时间步t，智能体只能观察到部分状态ot，需要基于交互历史ht来选择动作。LLM智能体在交互环境中的决策过程通常被建模为POMDP，因为智能体无法直接访问环境的完整状态。
本文在此基础上提出了POIMDP的扩展，理解POMDP是理解本文创新的前提
世界模型（World Model）
世界模型是对环境动态的预测模型，能够根据当前状态和动作估计未来状态。在基于文本的环境中，LLM可以作为世界模型，通过自回归方式预测下一状态的文本描述，即建模条件分布p(st+1|st, at)。世界模型为智能体提供了一个心理沙盒，使其能够在不与真实环境交互的情况下预演行动的后果。
本文的核心贡献之一就是如何有效地利用世界模型进行自适应前瞻，理解世界模型的工作原理是关键
自适应前瞻（Adaptive Lookahead）
传统的世界模型使用方法要么是单步验证，要么是固定步数的rollout。自适应前瞻的核心思想是根据当前任务的复杂度和进度动态调整想象的步数：对于关键决策点进行深度想象，对于简单动作则浅层想象或不想象。这需要一个机制来判断何时以及想象多远。
这是本文最核心的创新点，解决了现有方法在前瞻步数选择上的刚性问题
Actor-Critic强化学习
Actor-Critic是一种结合策略梯度和价值函数的强化学习算法。Actor负责学习策略，输出动作概率分布；Critic负责学习价值函数，评估状态的好坏。本文采用的A2C算法使用优势函数来减少梯度估计的方差，通过同时优化策略和价值函数来提高学习效率。
ITPR变体使用A2C算法联合优化动作策略和前瞻步数预测器，理解A2C有助于理解训练过程
文本世界模型的状态转移建模
在文本交互环境中，环境状态以自然语言描述形式呈现。世界模型需要学习从当前文本状态和执行动作到下一文本状态的映射。训练时将专家轨迹转化为transition级别的监督数据，每条记录包含当前状态、执行动作和下一状态，格式化为对话风格的因果语言模型输入输出对。
理解世界模型的训练数据构建方式有助于评估方法的可复现性
研究动机
当前基于LLM的智能体主要依赖即时观察和历史交互记录进行决策，存在严重的浅层接地（shallow grounding）问题。智能体虽然能够感知环境，但缺乏对当前行为如何最终重塑环境的因果理解。在复杂的长程任务中（如家庭具身任务ALFWorld需要5-8步连续操作），智能体往往在错误动作不可逆转地执行后才发现状态冲突或规划错误。现有使用世界模型的方法要么进行单步验证（如RAP使用蒙特卡洛树搜索），要么采用固定步数的rollout（如WKM、IWM），这种刚性策略无法适应不同任务和不同决策点的差异化需求。例如，在ScienceWorld的科学实验任务中（平均15步），简单的温度测量可能只需要2步前瞻，而复杂的化学反应实验可能需要5-8步前瞻，固定步数策略要么在简单任务上浪费计算资源，要么在复杂任务上遗漏关键的长期依赖关系。
本文的目标是本文的目标是设计一个能够自适应地分配前瞻深度的智能体学习框架，使智能体在关键决策点进行深度想象以解决潜在的状态冲突和长期依赖，同时在简单动作上避免不必要的计算开销。具体而言，框架需要实现三个目标：第一，将世界模型的前瞻能力从被动的单步验证扩展为主动的多步预演；第二，根据估计的任务进度与最终目标的距离动态选择想象步数；第三，通过想象的轨迹提供关于目标进展和潜在瓶颈的丰富信号，使智能体能够进行自我修正。
与已有工作不同的是，本文的独特切入角度在于认识到何时想象和想象多远本身就是需要学习的决策问题。现有工作将世界模型视为一个固定的预测工具，忽略了前瞻深度本身应该是一个可学习的策略。本文提出了两个关键洞见：第一，从POMDP扩展到POIMDP（部分可观察可想象MDP），将想象的未来与观察到的现在置于同等地位，智能体的策略同时基于两者进行优化；第二，通过构建前瞻步数的伪标签并将其作为监督信号，使智能体能够从专家轨迹中学习最优的前瞻策略，而不是依赖人工设定的固定规则。这种视角的转变使得世界模型从被动的验证工具变为主动的规划伙伴。
核心方法
ITP框架的核心直觉可以类比为人类的决策过程：当面临一个复杂任务时，我们不会对每一步都进行同样深度的思考。在关键的十字路口（如选择实验方案），我们会仔细想象每个选项的长期后果；而在简单的操作步骤（如拿起工具），我们只需要浅层的直觉反应。ITP将这种选择性深思机制赋予了LLM智能体。技术路线分为两个变体：ITPI（推理时学习）是一个无需额外训练的插件式增强，智能体在每个时间步先与冻结的世界模型交互获取想象轨迹，然后通过反思机制将想象的未来作为隐式反馈来修正当前决策；ITPR（强化训练）则通过三阶段训练流程显式地学习何时以及想象多远，包括伪标签生成、监督预热和在线A2C优化。
ITP与已有方法最本质的区别在于：将前瞻深度从一个固定的超参数转变为一个可学习的、状态条件的策略。具体来说，现有方法如WKM和IWM使用固定步数的世界模型rollout，RAP使用树搜索但搜索深度也是固定的。ITP引入了一个轻量级的K-head预测器，它是一个建立在LLM骨干网络之上的线性层，能够根据当前状态st输出前瞻步数的分布。这个预测器与动作策略联合优化，通过强化学习信号学会在任务关键点分配更多前瞻资源。训练过程中，ITP通过一个创新的伪标签构建方法解决最优前瞻步数的标注问题：使用教师强制的专家动作在冻结的世界模型上进行不同步数的rollout，然后选择使专家动作似然最高且惩罚项最小的步数作为伪标签。这种设计使得前瞻决策既考虑了任务成功（通过专家动作似然），又考虑了计算效率（通过步数惩罚项）。
方法步骤详情
ITP的完整流程分为以下几个阶段。首先是世界模型训练：收集专家轨迹Dexp和智能体rollout轨迹Droll，构建联合数据集，通过最小化负对数似然训练LLM作为世界模型M。然后是两个变体的分支流程。ITPI的推理时流程：在每个时间步t，智能体分析当前指令和状态st，选择前瞻步数Kt；与冻结的世界模型M交互Kt步获取想象轨迹；通过反思机制评估想象轨迹中的目标进展、冲突和瓶颈；基于反思结果生成最终动作。ITPR的三阶段训练流程：阶段1（伪标签生成），对专家轨迹中的每一步，使用教师强制动作在世界模型上进行Kmax种步数的rollout，计算每种步数下的专家动作似然，选择使似然最高且惩罚最小的步数作为前瞻步数的伪标签；阶段2（监督预热），从初始策略出发，使用伪标签进行联合训练，损失函数同时优化动作模仿和前瞻步数预测；阶段3（在线A2C优化），智能体在环境中交互，从K-head采样前瞻步数，生成想象轨迹，执行动作，使用包含前瞻惩罚和步数惩罚的奖励函数进行策略优化。
技术新颖性
ITP的技术新颖性体现在三个层面。第一是概念层面：提出POIMDP（Partially Observable and Imaginable MDP），将传统的POMDP扩展为双流表示，具体的现在（可观察的）和前瞻的未来（可想象的），智能体的策略在两者上联合优化。这为世界模型与决策制定的融合提供了新的理论框架。第二是机制层面：自适应前瞻机制首次将想象多远作为一个可学习的策略，而不是固定的超参数。通过K-head预测器和伪标签构建方法，实现了前瞻深度与任务复杂度的自动匹配。第三是训练层面：三阶段训练流程（伪标签生成、监督预热、在线优化）是一种有效的课程学习策略，先建立基本能力，再逐步学习复杂的前瞻决策。与现有方法相比，ITP不同于RAP的树搜索（ITP的前瞻是序列式的而非树状的），不同于WKM和IWM的固定步数（ITP的步数是动态的），不同于D2PO和VaGen的隐式世界建模（ITP显式地进行状态想象）。
实验结果
ITP在四个代表性智能体基准测试上展示了显著且一致的性能提升。在ALFWorld家庭具身任务上，ITPR使用Qwen3-8B作为骨干模型达到了88.57%的总体成功率，比最强基线IWM（82.14%）高出6.43个百分点，比基础SFT（70.71%）高出17.86个百分点。在六个子任务类型中，ITPR在PICK（97.14%）、CLEAN（88.88%）、HEAT（93.75%）和COOL（88.00%）上均取得最佳成绩，仅在LOOK任务上略低于IWM。值得注意的是，无需训练的ITPI变体也达到了41.43%的成功率，比RAP（28.57%）高出12.86个百分点，证明了世界模型前瞻本身的价值。在ScienceWorld科学实验任务上，ITPR在seen测试集上达到61.85%，在unseen测试集上达到56.95%，均优于所有基线。在WebShop网页购物任务上，ITPR达到68.10%的成功率，比最强基线IWM（57.30%）高出10.80个百分点。在StableToolBench工具使用任务上，ITPR的可解通过率（SoPR）达到68%，比IWM（44%）高出24个百分点，可解胜率（SoWR）达到54%，比IWM（36%）高出18个百分点。消融实验表明，移除在线强化训练会导致ALFWorld从88.57%下降到71.42%（下降17.15%），ScienceWorld从59.70%下降到46.00%（下降13.70%），证明在线优化是核心组件而非训练细节。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld (Qwen3-8B) | 成功率(%) | 88.57 | 82.14 (IWM) | +6.43 |
| ScienceWorld-seen (Qwen3-8B) | 成功率(%) | 61.85 | 59.27 (IWM) | +2.58 |
| WebShop (Qwen3-8B) | 成功率(%) | 68.10 | 57.30 (IWM) | +10.80 |
| StableToolBench (Qwen3-8B) | SoPR(%) | 68 | 44 (IWM) | +24 |
| ALFWorld-ITPI (Qwen3-8B) | 成功率(%) | 41.43 | 28.57 (RAP) | +12.86 |
局限与改进
作者在论文中明确承认了两个主要局限性。第一，当前评估主要集中在基于文本的交互基准测试上，虽然这些环境对长程推理提供了严格的测试，但未能充分捕捉多模态环境或真实机器人控制的挑战。从语言状态描述到视觉或传感器观测的转换可能引入额外噪声，影响自适应前瞻机制的稳定性。第二，虽然自适应前瞻机制旨在通过动态调整想象步数来优化效率，但世界模型的使用本质上引入了比纯反应式智能体更高的推理时开销。作者指出进一步优化（如推测解码或蒸馏世界模型）对于实时应用是必要的。从独立观察来看，论文未充分讨论世界模型预测误差的累积效应，Fact-F1指标显示随着前瞻步数增加，世界模型的可靠性会下降，但论文未深入分析这种误差累积如何影响最终的任务成功率。此外，伪标签构建过程中使用初始策略来评估专家动作似然，这可能引入先有鸡还是先有蛋的问题，如果初始策略本身质量不高，生成的伪标签可能不是最优的前瞻步数。
独立分析的弱点
本文存在几个值得深入探讨的弱点。首先，世界模型的训练数据依赖于专家轨迹和智能体rollout的组合，但在实际应用中获取高质量专家轨迹可能成本高昂。改进方向可以是结合主动学习策略，让智能体在探索过程中自动识别信息量大的轨迹用于世界模型训练。其次，K-head预测器的设计相对简单（仅一个线性层），可能无法充分捕捉复杂的前瞻决策模式。可以考虑引入注意力机制或图神经网络来建模状态之间的依赖关系，使前瞻决策更加精细。第三，自适应前瞻机制假设前瞻步数是一个离散变量（从0到Kmax），但在某些场景下可能需要连续的前瞻深度控制。一个可能的改进是使用连续动作空间的强化学习算法（如SAC）来优化前瞻步数。第四，论文在评估时使用了相对简单的文本环境，世界模型的状态转移相对规律。在更复杂的开放世界环境中，世界模型的预测可能更加不确定，需要引入不确定性估计来指导前瞻决策。
未来方向
基于本文的成果，未来研究可以从以下几个方向展开。第一是将ITP框架扩展到多模态环境，特别是视觉语言模型（VLM）智能体的场景。这需要解决从视觉观测中提取有效状态表示的挑战，以及处理图像生成世界模型的计算开销问题。第二是探索分布式前瞻策略，即在不同的抽象层次上进行前瞻，高层规划可能需要粗粒度的长期想象，而底层执行需要细粒度的短期想象。第三是研究世界模型的不确定性感知前瞻，通过引入概率世界模型或集成方法来估计预测的不确定性，并将不确定性信号纳入前瞻决策过程。第四是探索ITP在真实机器人控制任务中的应用，这需要解决从模拟到真实的迁移问题以及传感器噪声的影响。第五是研究多智能体协作场景下的前瞻规划，其中每个智能体都需要想象其他智能体的行为后果。
复现评估
论文的复现条件相对良好。作者承诺代码和数据将公开在GitHub仓库，但截至论文发表时尚未开源。数据集方面，ALFWorld、ScienceWorld、WebShop和StableToolBench都是公开可获取的标准基准测试，论文提供了详细的数据统计和预处理说明。算力需求方面，世界模型训练需要约8.69小时（使用2张NVIDIA A100 GPU），ITPR完整训练流程需要约17.80小时和35.60 GPU小时，rollout数据收集需要约9.5 GPU小时。这个算力需求对于学术研究是可接受的，但对于资源有限的研究者可能有一定门槛。论文提供了详细的超参数设置、训练诊断和部署profiling，有助于复现。需要注意的是，论文使用了三个不同的backbone模型（Qwen2.5-7B、Qwen3-8B、Llama-3.1-8B-Instruct），复现时需要确保使用相同的模型版本和配置。总体而言，复现难度中等，主要挑战在于世界模型的训练质量和rollout数据的构建。
论文图表
