从轨迹到智能体世界：面向交互环境模拟的智能体式语言世界模型 From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation
把历史交互轨迹重建成可复用世界书，让一个世界模型智能体充当任务智能体的环境。
前置知识
语言世界模型（LWM）
语言世界模型用大语言模型近似环境的动作-观测接口：给定环境描述 $d_E$、交互历史 $h_t$ 和任务智能体采取的动作 $a_t$，预测真实环境会返回的下一个观测 $\hat{o}_{t+1} \sim p_\theta(\cdot \mid d_E, h_t, a_t)$。它不执行真实程序，而是用文本生成来模拟环境对动作的响应，从而在没有真实系统的情况下训练、评估或测试智能体。传统做法是把环境描述和历史一次性塞进 prompt，让模型单次调用直接输出预测。
本文的研究对象就是 LWM：它要改进的基线（Direct Prompting）是官方 AgentWorldBench 的单次 prompt 协议，所有单步实验指标也围绕下一观测预测展开。不理解这一定义就无法理解论文的问题设定和评估方式。
智能体交互轨迹（traces）
智能体在环境中工作时留下的动作-观测交替序列，形如 $h_t = (o_0, a_0, o_1, \ldots, a_{t-1}, o_t)$，记录了成功、失败以及早期动作的长程后果。轨迹在任务完成后通常被丢弃，但它实际上是环境可观测行为的一份黑盒录音：即使原系统代码丢失，轨迹仍保留着环境如何响应各类动作的证据。
本文的核心设定是：原始环境不可执行、只有历史轨迹可用。理解轨迹携带什么（行为证据、输出格式）、不携带什么（隐藏状态、失败归因、实现细节），是理解世界书构建的边界与取舍的前提。
检索增强提示（RAG）
把知识库中与当前输入相关的片段检索出来拼进 prompt 上下文再让模型作答的技术。在 LWM 场景下，即按词法相似度从历史轨迹中取出若干条动作-观测对（如本文 Trace RAG Prompting 取 top-5），作为预测下一观测的上下文样例。它假设相关的历史交互能提供输出格式与行为线索。
本文的主要对比方法 Trace RAG Prompting 和 Worldbook Prompting 都建立在 RAG 之上；Trace2Env 与它们的本质区别在于不把知识当静态上下文塞给模型，而是让世界模型智能体用工具按需主动查阅，且额外做适用性过滤。
长程状态一致性
真实环境是有状态的：一个动作的后果可能许多轮之后才显现。例如删除 report.txt 当场没有输出，但之后 cat report.txt 必须返回文件缺失错误——仅回看过去的观测并不包含这种潜在状态变化，模拟器必须在变化发生时推断它并跨轮保持。衡量它的典型指标是把模拟中生成的动作序列拿回真实环境重放的成功率（W2R）及其与真实成功率的比值 $CR = W2R/Real$。
这是论文区分表面逼真与真实保真的关键：Direct Prompting 在 ALFWorld 模拟内成功率高达 97% 但重放只有 3%，而 Trace2Env 的优势正体现在 CR 从 0.032 提升到 0.914。理解这一指标才能读懂论文最有说服力的实验。
LLM-as-judge 多维评分
用一个强模型按固定维度给生成结果打分。AgentWorldBench 官方协议使用 gpt-5.2 作为裁判，从 Format（格式）、Factuality（事实性）、Consistency（状态一致性）、Realism（逼真度）、Quality（完整度）五个维度各打 1-5 分，再归一化到 0-100 并取平均；由于多条记录可能来自同一条轨迹，统计检验以轨迹为单位做配对 bootstrap。
本文单步实验的全部数字（表1、5、6）都来自这个协议，读表前必须知道每列是什么；同时也要意识到裁判模型本身会引入评估噪声与偏好，这关系到对提升幅度的解读。
研究动机
训练、评估和测试 LLM 智能体越来越依赖能响应动作、并跨轮保留动作后果的真实环境副本，但复现原始系统往往不可行：一个终端、软件工作区或企业内部系统可能缺少源代码、数据或基础设施。与此同时，历史交互轨迹通常仍然可得——它们记录了动作、观测、失败和早期动作的后果。现有语言世界模型用单次 prompt 做下一观测预测 $\hat{o}_{t+1} \sim p_\theta(\cdot \mid d_E, h_t, a_t)$，把异构的环境知识与漫长的交互历史一起压平进一个上下文，这在多轮模拟中尤其脆弱：删除 report.txt 不产生任何有信息量的输出，但许多轮之后的 cat report.txt 应当返回文件缺失错误，仅重读历史观测并不能揭示这种潜在状态变化。论文的案例（图4）显示，Direct Prompting 在 ALFWorld 中把环境不支持的 put 命令幻觉成成功放置，随后在虚假状态上继续自洽地完成任务，其动作序列在真实环境重放时彻底失败——模拟内成功不等于对真实环境保真。
本文的目标是本文的目标是：在原始系统不可执行、只有历史交互轨迹 $\mathcal{D}_{build}=\{h^{(i)}\}_{i=1}^N$ 可用、且语言模型参数 $\theta$ 全程固定不训练的设定下，构建一个可复用、可扩展、可控的模拟器 $\hat{o}_{t+1} \sim Q_\theta(\cdot \mid \hat{h}_t, a_t, \mathcal{D}_{build})$，使其在全新的动作序列下逼近环境的可观测行为。具体拆成两个问题：第一，一个智能体能否充当另一个智能体的环境？第二，仅凭已有轨迹能否提供该智能体所需的全部环境知识？衡量标准有二：单步下一观测保真度（格式、事实性、一致性、逼真度、质量五个裁判维度），以及多轮交互一致性——任务智能体在世界模型中产生的动作序列，拿回真实环境重放后是否仍然成立（W2R 与 $CR = W2R/Real$）。
与已有工作不同的是，已有工作的切入点分三类：一是把轨迹蒸馏成技能或工作流供任务智能体决策使用（Agent Workflow Memory、Trace2Skill、SkillGen 等），产物回答怎么行动而非环境如何响应；二是从轨迹反向工程重建可执行环境（Terminal-Universe 重建终端工作区），但忠实重建复杂系统可能需要轨迹中根本不存在的实现细节与依赖；三是用外部经验增强世界模型预测（RAWM 检索历史转移、WorldEvolver 维护情节记忆与语义规则），但它们假设模拟期间仍能访问原环境来更新记忆。本文的独特之处在于提出智能体式语言世界建模这一新范式：不重建可执行系统，而是从轨迹恢复一份环境的行为规格——包含 schema、接地证据与归纳知识的非可执行世界书，并让一个专门的世界模型智能体像使用工具一样按需查阅它、结合持久状态推理每个转移。这把环境模拟从一次 prompt 的预测问题，重新定义为有工具、有记忆、有状态管理的智能体任务。
核心方法
直觉上，模拟一个环境需要三类生命周期不同的信息：跨 episode 可复用的环境行为知识（如 cat 命令如何渲染输出）、当前 episode 特有的事实（如 report.txt 的当前内容）、以及本 episode 已发生交互的记录。传统做法把三者混进一个扁平 prompt，导致范围歧义。Trace2Env 分两个阶段把它们显式分开。离线阶段用构建模型 $\phi$ 把轨迹重建成不可变的环境世界书 $K_E = \mathrm{Construct}_\phi(\mathcal{D}_{build})$，包含四类组件：schema（动作接口与可维护的状态变量）、接地证据（逐字保留的观测转移与示范）、归纳抽象（条件效应、状态约束、观测契约、惯例）和出处（每个产物指向支持它的轨迹与轮次）。在线阶段维护持久 episode 工作区 $W_t = (K_E, \hat{s}_t, M_t)$，其中 $\hat{s}_t$ 是当前 episode 的表示状态、$M_t$ 是情节交互记忆。每来一个动作 $a_t$，世界模型智能体主动检查工作区并提出转移提议 $q_t = (\Delta_t, \tilde{o}_{t+1})$，$\Delta_t$ 是对声明状态变量的有序候选效果列表；共享 harness 在状态副本上验证（$g^{val}_t(q_t)=G_{val}(q_t \mid a_t, W_t) \in \{accept, reject\}$），只提交通过 schema、规则支持与状态约束检查的提议，再渲染观测并持久化。全程 learning-free，同一世界书可跨 episode、跨 backbone 复用。
核心创新有两点。第一，把 LWM 从单次 prompt 预测改造成 agentic 循环：世界模型智能体拥有 12 个工具（list_actions、inspect_action、search_knowledge、read_evidence、read_state、recall、apply_rule、dry_run、submit_transition 等），可在每步 8 次只读请求、最多 20 次模型调用的预算内按需检查世界书、当前状态与记忆，而非被动接收拼接好的上下文——Worldbook Prompting 把世界书当静态 prompt 块，本文让智能体对它做主动推理。第二，显式分离检索与适用性：从其他 episode 检索来的转移可能捕获了正确的行为格式，却携带该 episode 特有的事实（文件名、主机名、版本号），相关性不等于适用性。确定性适用性门 $g^{app}_t(e)=G_{app}(e \mid a_t, W_t) \in \{supporting, uncertain, format-only\}$ 把每条证据标注为：supporting（与当前 episode 共享具体操作数，完整展示）、uncertain 或 format-only（对陌生值打码，只供输出格式参考），防止跨 episode 事实泄漏；同时状态缺省被视为 unknown 而非不存在，杜绝从没见过推出没有。
方法步骤详情
离线构建分四步。第一步对齐与抽取：用调用标识符（否则用相邻关系）把每个动作与其结果配对，模型抽取归一化动作、结果、最小状态突变、前提、观测事实与不确定性，原始观测逐字保留；归因含糊或并发动作的效应被搁置，这些记录构成接地证据。第二步 schema 归纳：建立动作接口与四组状态变量（world 持久事实、session 会话上下文、surface 当前可见、epistemic 不确定信念），例如 Terminal 世界书在 world 下声明文件映射与已安装程序，所有产物都用这套词汇表达。第三步规则归纳与证伪评审：从多条证据对比归纳转移规则（条件、有序效果、结果、观测模板、置信度），一个怀疑的评审者用所有转移（含近失、失败、时序）测试每条规则，成功-失败对比可揭示缺失前提，反例可收窄规则；只有 supported 规则可执行，每条产物带指向源轨迹的出处。在线每步为：规范化动作→检索并做适用性标注→构建简报→智能体在预算内检查资源并推理→提交类型化转移提议（效果+观测+引用+不确定性）→验证门在状态副本上检查类型、可变性与约束→拒绝则退化为仅观测回退→按渲染契约解析观测→提交状态并写入记忆，供下一轮使用。
技术新颖性
技术新颖性体现在五处。其一，learning-free：$\theta$ 全程固定，无任何微调，全部增益来自知识组织与推理结构。其二，证据与抽象的双层世界书：证据记录保留逐字观测使抽象漏掉的细节仍可读取，消融（表3）证明两者互补——证据单独带来 +2.45±0.89，抽象单独反而 −1.12±0.90，但在证据之上再加抽象又赚 +0.69±0.63。其三，类型化状态效果接口：规则效果与模型提议效果走同一声明式接口、都必须落到声明的可变状态变量上，使模拟器在无规则覆盖时仍能经状态 schema 运转，harness 作为共享代码强制执行约束，把生成与提交解耦。其四，可移植性：世界书用 gpt-5.6-sol 构建一次后冻结，deepseek-v4.1-flash 操作它仍取得 75.75 平均分，说明重构知识与操作它的 backbone 解耦。其五，与近邻工作的定位差异：与 Terminal-Universe 相比不追求可执行重建、因此不受轨迹中缺失实现细节的限制；与 RAG 式 LWM 相比，结构化世界书在 8 组对比中 7 组优于原始轨迹检索，证明组织成可复用知识的价值超出检索相似交互。
实验结果
单步下一观测预测（表1）：Trace2Env 在两个 backbone 上均取得最高平均分——gpt-5.6-sol 上 75.94、deepseek-v4.1-flash 上 75.75，分别比 Direct Prompting（69.51/68.71）高 6.43 与 7.04 分；在 14 个环境-backbone 组合中 11 个最佳且从不低于 Direct Prompting；轨迹聚类的 95% 置信区间在全部环境中排除零，Factuality 与 Consistency 在 14 组中全部提升（表5/6）。多轮一致性（表2）差距更戏剧化：ALFWorld 中 Direct Prompting 模拟内成功率 97% 但动作序列回放真实环境仅 3% 成功（CR=0.032），Trace2Env 模拟内 88%、回放 85%（CR=0.914）；SciWorld 上 W2R 从 45% 提到 60%，CR 从 0.529 提到 0.706。消融（表3、9）：世界书中证据组件贡献最大（+2.45±0.89），抽象单独无益（−1.12±0.90）但与证据组合后再 +0.69±0.63；去掉自适应循环 −1.79±0.91，去掉状态跟踪 −0.97±0.78，说明重构知识与 agentic 运行时贡献互补。规模实验（图3）：Terminal 分数从 20 条轨迹的 64.89 升至 36 条的 66.42 且曲线仍在上升。未见任务迁移（表8）：Terminal 无重叠的 312 条记录 +3.69、Web 无关联的 151 条 +4.21/+5.00，但 SWE 与构建集共享仓库的 10 条记录出现 −9.00 的负迁移。成本（表10、11）：Terminal 上每条记录 5.0 次模型调用、0.187 美元、38.1 秒，约为 Direct Prompting 的 4.7 倍；去掉自适应循环可保留约 80% 增益只用 29% 成本。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单步下一观测预测（7 环境平均：Terminal/SWE/Android/Web/Food/Shopping/Benefits） | 五维裁判均分（0-100） | 75.94（gpt-5.6-sol） | Direct Prompting 69.51 | +6.43（14 组中 11 组最佳，CI 均排除零） |
| 单步下一观测预测（同上 7 环境平均） | 五维裁判均分（0-100） | 75.75（deepseek-v4.1-flash） | Direct Prompting 68.71 | +7.04 |
| ALFWorld 多轮交互一致性 | W2R：模拟中生成的动作序列回放真实环境的成功率 | 85%（CR=0.914） | Direct Prompting 3%（CR=0.032） | +82 个百分点 |
| SciWorld 多轮交互一致性 | W2R：真实环境重放成功率 | 60%（CR=0.706） | Direct Prompting 45%（CR=0.529） | +15 个百分点 |
| Terminal 单步预测 | 五维裁判均分（0-100） | 65.42（gpt-5.6-sol） | Direct Prompting 55.76 | +9.66±1.17 [95% CI 7.18, 12.15] |
| 未见任务迁移（Terminal 无重叠子集，312 条） | 相对 Direct Prompting 的配对分差 | +3.69±0.95 | 同任务出现在构建集时 +17.86（对照） | 无重叠任务仍有显著正增益，说明非 memorization |
局限与改进
作者明确承认两点：保真度受限于轨迹所揭示的内容——轨迹中未出现的行为、命令或边缘情况，世界书无法提供支持，只能靠 backbone 参数知识兜底；部分 backbone 对重构证据的依赖不如其他一致（DeepSeek 在 Terminal 无重叠子集上增益仅 +0.61 且 CI 含零）。我的补充观察：其一，多轮评估规模很小，ALFWorld 仅用 40 条模拟器确认成功的轨迹（836 轮）构建世界书、SciWorld 仅 30 条 gold-path，CR 数字方差可能不小；其二，模拟内成功率在 ALFWorld 上反而低于 Direct Prompting（88% vs 97%），拒绝不支持动作会压低表面成功率，使用者需要理解这一权衡而非只看模拟内分数；其三，单步评估依赖 gpt-5.2 裁判，裁判偏好可能影响维度得分（Android/Web 上 Format 曾小幅下降）；其四，推理成本高（每条最多 5 次调用、0.68 美元、49 秒），对大规模 rollout 如 RL 数据生成不友好；其五，世界书构建质量强依赖构建模型 gpt-5.6-sol，弱构建模型能否产出可用世界书未测试；其六，确定性适用性门依赖表面特征启发式（Terminal 用共享操作数、Web/Android 用页面标识），并非语义级判断。
独立分析的弱点
第一，负迁移风险：表8中 SWE 与构建集共享仓库的 10 条记录在 GPT 上反而 −9.00±4.17，说明适用性门基于表面特征（共享操作数/仓库）的判断可能错误 grounding，一次错误适用就能大幅退化；改进方向是引入模型辅助的适用性再标注或证据冲突检测。第二，覆盖率瓶颈：世界书只含被观察过的行为，36 条轨迹后学习曲线仍在上升暗示覆盖不足是常态；改进方向是主动探索式轨迹收集，让任务智能体有意识地触发边缘情况与失败分支再重建。第三，成本结构：自适应循环贡献 +1.79±0.91 却把单条成本从 0.054 美元推高到 0.187 美元（约 3.5 倍），在大规模数据生成场景应把 Trace2Env 的模拟输出蒸馏成单次调用的小型 LWM。第四，验证门拒绝后的仅观测回退仍保留被提议的观测文本，若观测本身幻觉了状态事实（如声称文件内容已变），回退无法修正，更安全的是强制渲染契约重写。第五，多轮场景下任务智能体可能学会利用模拟器的可预测性（如反复 help 查询），而真实环境用户行为分布未必如此，存在策略过拟合模拟器的风险。第六，世界书是不可变包，环境本身随时间演化（软件升级）时缺乏增量更新机制。
未来方向
作者在结论中提出三个方向：强化对世界书的主动检查与推理（当前每步 8 次只读请求、20 次调用的预算较保守，更强的检索与多跳推理可能进一步榨取世界书价值）；把重构扩展到超出被观察行为之外——从稀疏轨迹外推环境的未观测动态；研究智能体式模拟环境如何支持任务智能体的训练与评估。基于本文成果还可延伸：一是把 Trace2Env 用作 RL 环境生成器，其高 CR（ALFWorld 0.914）意味着模拟内的成功经验可回传真实环境，适合做策略训练的课程与奖励塑造；二是与可执行重建混合——世界书提供行为规格与验证约束，Terminal-Universe 式可执行层提供精确反馈，两者互相校验；三是利用转移提议中的 uncertainty 字段与规则置信度做不确定性量化，让模拟器主动标注不可靠预测并触发向真实环境的定向查询（active learning 式的轨迹补充）；四是研究多智能体共享同一世界书并行模拟时的状态隔离与并发一致性；五是把世界书范式迁移到 GUI、机器人指令等观测更富模态的环境。
复现评估
复现条件较为友好。代码已开源（github.com/ruyue0001/trace2env）；learning-free 意味着无需 GPU 训练，主要成本是 API 调用：构建阶段每个环境只需 3-50 条成功轨迹（Food 16、Shopping 3、Benefits 15、Terminal 20、Web 50、ALFWorld 40 条含 836 轮、SciWorld 30 条），Terminal 的一次性构建成本在图3中约为几十美元量级（纵轴至约 50 美元），且一次构建后跨实验复用；推理阶段每条记录约 0.03-0.68 美元、18-49 秒（表11）。注意点：世界书构建与多数实验依赖 gpt-5.6-sol，裁判为 gpt-5.2，均为闭源 API 模型，费用与可用性是前置条件；harness 工程复杂（12 个工具、适用性门、验证门、渲染契约、状态跟踪器），虽开源但忠实复现细节需要投入；部分评估依赖 AgentWorldBench、EnvScaler、WebArena 等基准的特定 split，WebArena 四站点等环境搭建本身有门槛；Android/SWE 使用任务分组五折交叉拟合，复现时需注意 fold 划分。总体难度中等：跑通单个环境（如 Terminal，354 条评测记录）估计一两天，完整九环境复现约需数百美元 API 费用。
论文图表
展示论文范式全貌：左侧历史交互轨迹被离线重建成可复用的环境世界书（包含 schema、接地证据与归纳的行为知识）；右侧模拟时任务智能体提供动作，世界模型智能体主动查阅世界书、当前 episode 状态与情节记忆，推断动作后果并预测产生的观测。
一图概括了智能体式语言世界建模的核心思想——一个智能体充当另一个智能体的环境，以及三类信息（世界书/状态/记忆）的分工，是理解全文的入口。
在线模拟单个动作的伪代码：规范化动作并检索世界书条目、用 G_app 评估适用性；由动作/状态/记忆/证据构建简报；智能体检查资源并提出转移提议 q_t；在状态副本上验证效果；拒绝则使用无状态效果的仅观测回退；按渲染约束解析观测；提交状态、把 (a_t, ô_{t+1}) 追加进记忆并返回。
把第 4.3 节的两阶段（提议-验证）在线流程压缩成可执行的步骤序列，是理解 harness 如何保证状态一致性与安全提交的最精确描述。