智能体编辑世界模型：重新思考面向LLM智能体的世界建模 Agent-Editing World Model: Rethinking World Modeling for LLM Agents
世界模型不再模拟工具响应，而是预判决策效果并直接编辑智能体状态
前置知识
世界模型（World Model）
学习环境动态规律的模型，给定当前状态和动作，预测环境的下一状态或观测，广泛用于具身智能、视频生成与强化学习规划（如 Dreamer、MuZero）。语言世界模型则把这一思想搬到文本环境，模拟工具响应、检索结果或网页状态的变化。
本文的核心论点就是重新定义语言世界模型'该预测什么'：从预测环境观测转向预测决策效果并编辑智能体状态，不理解传统世界模型范式就无法理解这一转向的意义。
ReAct 智能体范式
LLM 智能体最常见的推理框架：每一步先输出思考（reasoning）再输出动作（action），动作在环境中执行后把观测拼回上下文历史，循环往复直到完成任务。搜索、终端、代码修复类智能体大多基于它构建。
AEWM 的形式化定义建立在 ReAct 式轨迹上：历史 $h_t=(x,(r_i,a_i,o_i))$ 由推理、动作、观测三元组构成，EditAct 就是在 ReAct 循环中插入判断与改写环节，本文基线也是 ReAct。
任务状态污染（Task-State Contamination）
作者提出的失败机制：智能体在长程探索中把未经验证的假设当作事实、在矛盾反馈下保留过时计划、把局部进展误认为任务完成，这些错误认知写进上下文历史后，被后续局部合理的决策不断放大，即使环境给出真实反馈也无法自动纠正。
这是全文要解决的核心问题，Action Judge 和 State Revision 的设计都针对'在污染写进历史之前拦截并改写'这一目标。
Macro-F1（宏平均F1）
多分类评估指标：先分别计算每个类别的 F1 分数（精确率与召回率的调和平均），再对所有类别取算术平均，各类别权重相同。相比 accuracy，它对类别不均衡和少数类表现更敏感。
Action Judge 是三分类任务（critical/exploratory/noisy），且三类分布不均衡（如 SWE 域 noisy 只占 28%），论文以 macro-F1 作为判断能力的主指标来避免多数类掩盖。
拒绝采样微调（RFT）
一种后训练方法：让模型对任务多次采样生成轨迹，用验证器（如真实测试、标准答案）筛出成功的高质量轨迹，再用这些轨迹对模型做监督微调，从而把'运气好的一次成功'固化成稳定能力。Self-RFT 即用智能体自己的轨迹做此事。
AEWM-RFT 是论文的第三块贡献：用 AEWM 编辑过的验证轨迹代替智能体自身轨迹做 RFT，证明世界模型的修正模式可以离线迁移给智能体。
中期训练（Mid-Training）
介于预训练与指令微调之间的继续训练阶段：在大量领域相关语料（这里是 52B token 的智能体轨迹与合成数据）上做自回归训练，为模型注入交互知识与任务模式，再用小规模高质量 SFT 激活特定能力。
AEWM 采用'52B token 中期训练 + 120K 样本 SFT'的两阶段配方，消融显示两阶段缺一不可（Terminal-Bench 2.0 上全配方比仅 SFT 高 6.4 点）。
研究动机
现有语言世界模型大多沿用具身智能的范式，通过预测动作条件下的下一状态或观测来学习环境动态，具体到 LLM 智能体就是模拟工具响应。作者指出这条路线在任务导向场景中价值有限：观测往往是高熵且依赖执行的——搜索结果取决于不断变化的网页内容和黑盒排序机制，终端输出与测试结果取决于文件系统和运行时状态，在真实工具可以即时反馈的情况下重建它们既困难又收益低，甚至可能引入编造的证据误导后续决策。更关键的是，作者通过轨迹分析发现一种反复出现的失败机制——任务状态污染：智能体把未经验证的假设当作事实、在矛盾反馈下仍保留过时计划、把局部进展误认为任务完成，这些错误进入历史后被后续局部合理的决策不断放大。典型场景包括：搜索中过早接受某个候选答案并收窄检索方向、软件工程中在未验证的代码改动上继续构建、终端里把中间输出误读为执行成功。这些行为即使有真实观测兜底，也会持续扭曲后续决策，导致长程任务失败。
本文的目标是本文的目标是把语言世界模型的预测对象从'环境观测'换成'决策效果'，即建模智能体的推理与动作如何塑造后续任务进展。具体包括四个层面：其一，训练一个统一的世界模型 AEWM，具备 Action Judge 能力，在动作执行前把提议的推理-动作对预判为 CRITICAL（沿紧凑解路径补关键缺口）、EXPLORATORY（有效降低不确定性）或 NOISY（无进展或引入错误方向）三类；其二，对被判为噪声的决策，用 State Revision 从同一历史出发改写出更有效的推理-动作对；其三，通过 EditAct 把编辑与真实执行结合成完整的智能体推理循环，直接修改进入后续历史的认知状态而不是仅仅给出批评；其四，在 Search、Terminal、软件工程（SWE）三个域上跨域训练——52B token 中期训练加 120K 样本 SFT——并用 AEWM-RFT 拒绝采样微调把 AEWM 引导的决策模式内化回智能体，使其在没有在线 AEWM 引导时也能保持增益。
与已有工作不同的是，独特切入在于重新定义了'世界模型该预测什么'。传统观测预测模型建模 $M_{obs}(o_t \mid s_t)$，AEWM 则建模决策到未来进展的关系，并对状态本身做干预：$s_t \xrightarrow{M_{SR}} \tilde{e}_t = h_t \oplus (\tilde{r}_t, \tilde{a}_t)$，后续观测完全交给真实环境产生。这类似于 MuZero 不重建图像而直接预测价值的思路在语言智能体上的对应。与过程奖励模型的区别是 AEWM 不仅打分还直接改写状态；与 Self-Refine、Reflexion 等自我修正方法的区别是编辑由独立训练的跨域世界模型完成，且同时替换推理与动作两个成分；与 SRR-Judge 等基于 rubric 静态质量评分的方法不同，AEWM 的标签由动作对下游解题的实际贡献决定。此外，作者命名并系统分析了'任务状态污染'这一失败机制，为理解长程智能体为何在拥有真实环境反馈的情况下仍然失败提供了新视角，而编辑式干预正是针对'污染写进历史之前'这一时间窗口。
核心方法
直觉上，长程智能体的失败往往不是单步能力不足，而是错误认知在历史中持续累积，因此需要一个'编辑者'在每步执行前审查并修正提议。AEWM 以 Qwen3.5-35B-A3B 为骨干，单一模型同时支持判断与改写：给定任务 $x$、历史 $h_t = (x, (r_i, a_i, o_i)_{i=0}^{t-1})$ 和提议 $(\hat{r}_t, \hat{a}_t)$，构成执行前状态 $s_t = h_t \oplus (\hat{r}_t, \hat{a}_t)$。训练分两阶段：先在约 52B token 的跨域语料（原始轨迹加合成数据）上做中期训练，再用 120K 样本（60K Action Judge 加 60K State Revision，三域各 40K）做 SFT。推理时 EditAct 循环为：智能体提议 $(\hat{r}_t, \hat{a}_t)$，AEWM 输出标签 $\hat{y}_t \in \{\text{critical}, \text{exploratory}, \text{noisy}\}$，仅当 noisy 时用改写后的 $(\tilde{r}_t, \tilde{a}_t)$ 替换，再在真实环境执行选中动作 $o_t \sim \mathcal{E}(\cdot \mid h_t, a_t)$ 并更新历史。最后用验证过的 EditAct 轨迹做拒绝采样微调（AEWM-RFT），把编辑模式内化进智能体本身。
核心创新是把世界模型的预测目标从'世界会返回什么'换成'这个决策会带来什么'。论文公式 (1) 对比了两种范式：传统世界模型 $M_{obs}: s_t \to \hat{o}_t$ 做观测预测，AEWM 则是 $M_{SR}: s_t \to \tilde{e}_t = h_t \oplus (\tilde{r}_t, \tilde{a}_t)$ 做智能体状态编辑，后续观测一律来自真实执行而非模拟。这带来两个本质差异：其一，Action Judge 用三分类显式保留'有价值的探索'，避免把所有偏离最短路径的动作都判为错误，标签以动作对最终解题的实际贡献为依据；其二，State Revision 同时改写推理与动作——只改推理不改动作、或只改动作不改推理的单侧版本在消融中都不如联合编辑，因为推理被改写意味着智能体下一步从修正后的认知出发而不是保留错误假设，这直接切断了任务状态污染的传播路径。另一个关键设计是用回顾性标注监督前瞻性预测：标注智能体在看到完整成功轨迹后给每步定标签，但训练输入严格限制为该步执行前可见的历史，迫使模型学会在信息不完全时预判决策的下游效果。
方法步骤详情
方法分四步。第一步，Action Judge 数据合成：把验证成功的轨迹分解成单轮，由标注智能体逐轮把动作标为 CRITICAL、EXPLORATORY 或 NOISY，并生成仅基于当步可见历史的前瞻推理 $r^{AJ}_t$ 和标签 $y_t$ 作为目标，按标签一致性、动作-观测对齐、动作合法性过滤；同时构建了三域各 1000 条、共 3000 个决策的 Action Judge 评测基准。第二步，State Revision 数据合成：proposal agent 尝试任务，当 AJ 检查点把其提议 $(\hat{r}_t, \hat{a}_t)$ 判为 NOISY 时，revision agent 从同一历史 $h_t$ 生成新对 $(\tilde{r}_t, \tilde{a}_t)$，新动作真实执行，只有后续轨迹证明带来实质进展的样本才保留。第三步，两阶段训练：约 52B token 中期训练掌握三域交互知识，再用 120K 精选样本 SFT 激活并校准两种能力。第四步，EditAct 推理与 AEWM-RFT：推理时按 critical/exploratory 保留、noisy 改写循环执行（在 ReAct、CalibForge-Eval、SearchSWE 脚手架中基于 AweAgent 实现）；同时收集 EditAct 轨迹，筛出经真实反馈验证的高质量轨迹后对 Qwen3.5-35B-A3B 做拒绝采样微调，使其无需在线 AEWM 也能继承修正模式。
技术新颖性
新颖性可以从四组对比中看清。与语言世界模型（模拟检索结果、代码执行、工具反馈）相比，AEWM 拒绝重建高熵观测，只在执行前干预智能体自身的状态，规避了模拟失真与编造证据的问题。与过程监督（如 Lightman 等的 step-level PRM）相比，Action Judge 的标签不是人工规则定义的步骤质量，而是由环境观测和后续轨迹验证的下游贡献，且输出附带前瞻推理链。与 Self-Refine、Reflexion 等修正学习相比，编辑由独立训练的跨域模型完成，直接替换当前推理-动作续写而非给建议让智能体自己重试——消融显示直接编辑（Doc2Repo 48.9）显著优于 agent 重采样（42.8）和推理提示（43.2）。与 SRR-Judge 这类 rubric 评分加精炼相比，AEWM 建模的是决策效果并用执行验证过的编辑数据训练。工程上的新意在于把三个工具形态迥异的域（网页搜索、终端、代码仓库构建）统一进单一世界模型，且在线引导时的判断分布（如 Search 域 noisy 占 64.8%）与标注语料模式一致，说明学到的是可迁移的域相关决策行为而非对特定环境的过拟合。
实验结果
核心结果有四组。第一，Action Judge 评测：在 3000 个决策的自建基准上 AEWM 达到 70.5% macro-F1，超过最强前沿基线 DeepSeek-V4-Pro（59.9%）10.6 个百分点；分域为 Search 60.9%、Terminal 72.1%、SWE 77.8%，分别超各自最强基线 10.3、10.5、13.4 点。第二，六基准主实验：EditAct 在全部六个基准、三个骨干上同时优于 ReAct 和两种 Best@3，对最强基线的平均分提升为 4B +6.7（41.8 vs 35.1）、9B +5.2（44.1 vs 38.9）、35B-A3B +3.2（48.8 vs 45.6），对 ReAct 提升 13.3/9.6/6.6 点；以 35B-A3B 为例，BrowseComp 48.1 对 40.9，Terminal-Bench 2.0 48.3 对 37.1，Doc2Repo 48.9 对 42.8。9B+EditAct（44.1）超过 35B-A3B+ReAct（42.2），说明世界模型能缩小规模差距；OOD 的 DeepSearchQA 和 SWE-Bench Pro 上增益同样成立。第三，AEWM-RFT：撤掉在线 AEWM 后，BrowseComp 45.4 对 Self-RFT 43.2、TB2 43.4 对 40.8、Doc2Repo 48.6 对 46.1，前两个基准平均轮次下降约 30%（56.2 到 39.3）和 17%（83.1 到 69.2）。第四，消融：EditAct 优于随机门控、agent 重采样、AEWM 提示、单侧改写、Self-WM 和 DeepSeek-V4-Pro 世界模型；中期训练加 SFT 全配方在 TB2 上比仅 SFT 高 6.4 点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Action Judge 基准（3000 决策，Search/Terminal/SWE 各 1/3） | Macro-F1 (%) | AEWM 70.5（Search 60.9 / Terminal 72.1 / SWE 77.8） | 最强前沿基线 DeepSeek-V4-Pro 59.9（GPT-5.5 / Gemini-3-Pro / Qwen3.7-Max / GLM-5.2 为 54.5-57.4） | +10.6 点（总体）；分域 +10.3 / +10.5 / +13.4 |
| BrowseComp（深度搜索，Qwen3.5-35B-A3B） | Accuracy (%) | EditAct 48.1 | ReAct 40.9；最强基线 Step-level Best@3 44.2 | +7.2（对 ReAct）/ +3.9（对最强基线） |
| Terminal-Bench 2.0（终端任务，Qwen3.5-35B-A3B） | 任务准确率 (%) | EditAct 48.3 | ReAct 37.1；最强基线 Step-level Best@3 44.9 | +11.2（对 ReAct）/ +3.4（对最强基线） |
| 六基准平均（Qwen3.5-4B / 9B / 35B-A3B） | 平均分 (%) | EditAct 41.8 / 44.1 / 48.8 | 最强基线 35.1 / 38.9 / 45.6；ReAct 28.5 / 34.5 / 42.2 | +6.7 / +5.2 / +3.2（对最强基线）；+13.3 / +9.6 / +6.6（对 ReAct） |
| AEWM-RFT：BrowseComp / Terminal-Bench 2.0 / Doc2Repo（无在线 AEWM） | 分数 (%) 与平均轮次 | 45.4（39.3 轮）/ 43.4（69.2 轮）/ 48.6（89.8 轮） | Self-RFT 43.2（44.0 轮）/ 40.8（73.6 轮）/ 46.1（76.3 轮） | +2.2 / +2.6 / +2.5 点；前两个任务轮次下降 30.0% / 16.7% |
| 消融：EditAct vs 干预替代方案（BrowseComp） | Score (%) | EditAct 48.1 | Random Gate 44.1、Agent Resampling 36.2、AEWM Hint 41.8、Reasoning-only 45.8、Action-only 39.3、Self-WM 39.3、DeepSeek-V4-Pro WM 47.4 | 优于所有七种替代方案，验证直接替换式编辑的必要性 |
局限与改进
作者承认的局限：在更强的 Qwen3.5-Plus 上 EditAct 仅把 BrowseComp 从 44.1% 提到 52.7%，Terminal 和 SWE 提升有限，归因于 AEWM 与更强智能体的容量差距，即世界模型自身能力构成增益上限；Search 域 macro-F1 只有 60.9%，最难且增益最小；Doc2Repo 上 AEWM-RFT 平均轮次反从 76.3 增到 89.8，以更多交互换精度。我的观察：其一，推理成本显著增加——每个非最终步骤都要调用 AEWM，判 noisy 再触发改写，而 Search 域在线引导时约 64.8% 的动作被判 noisy；其二，标签质量依赖 DeepSeek-V4-Pro、GLM-5 等前沿模型，回顾性标注以最终成败定标签，存在后见之明偏差，同一动作可能因运气而标签翻转；其三，三分类粒度较粗，critical 与 exploratory 边界依赖标注者主观判断；其四，骨干泛化只在 Qwen3.5 系列验证，Action Judge 基准与部分训练数据为自建，可能对自家训练分布偏利。
独立分析的弱点
独立分析几个弱点。第一，系统开销与延迟：EditAct 在每个非最终步骤都调用一次 AEWM（判 noisy 再调一次改写），Search 域在线引导时约 64.8% 的动作被判 noisy，意味着大量步骤要经历提议-判断-改写三段推理，对小模型智能体而言 AEWM（35B 级）本身的推理成本可能超过智能体自身。改进方向是把 Action Judge 蒸馏进智能体或训练置信度门控，只在低置信步骤调用世界模型。第二，标签的后见之明与因果混淆：回顾性标注以'是否有利于最终成功'定标签，可能把碰巧成功的动作标为 critical；论文虽有前向一致性和动作-观测对齐过滤，但未报告标签与真实因果贡献的偏差估计。改进方向是引入反事实重放实验（同一历史替换不同动作）校验标签可靠性。第三，改写失败无回退机制：State Revision 改写后直接执行，原始提议被永久丢弃，若改写本身有误则损失了原本可能正确的机会。可以设计双分支对照执行或按改写置信度软融合原提议。第四，域覆盖局限：三个域都是纯文本交互，多模态观测（GUI、具身）下'编辑认知状态'如何定义、真实反馈从何而来尚不清楚，方法泛化性存疑。
未来方向
作者明确的方向：进一步内化是清晰的后续路线——AEWM-RFT 已证明编辑模式可离线迁移（三个域稳定超 Self-RFT 2.2-2.6 点），未来可探索多轮 RFT 或与在线强化学习结合，让智能体完全摆脱在线 AEWM；以及把方法扩展到更多域。基于成果可延伸的方向：其一，用真实执行结果在线更新判断器，形成'预测-执行-校准'的闭环世界模型，逐步消除后见之明偏差；其二，把状态编辑推广到多智能体协作场景，编辑共享的团队记忆与计划状态；其三，为任务状态污染建立定量度量——论文目前用案例分析和行为统计（如最长纯搜索序列从 16.9 降到 13.2、不同网页数从 7.7 升到 10.1）描述修复效果，可定义污染指数并追踪其与成功率的因果关系；其四，与 test-time scaling 公平比较：同等推理算力下'多次采样加世界模型筛选'（Best@3）已被 EditAct 超越，但'编辑+多次采样'的组合尚未探索；其五，把 Action Judge 标签用作 RL 奖励或优势估计信号，替代昂贵的结果验证；其六，探索连续的贡献度预测或更细的动作效果分类，替代粗三分类以支持更精细的干预策略。
复现评估
复现评估：论文标注了 Dataset 与 GitHub 入口（图 1 给出链接占位），附录 A/B 详述数据构建、过滤规则与基准构建流程，附录 E 提供全部 prompt 模板（含标注、revision、Best@3 选择器），自建 Action Judge 基准（3000 决策）构建过程透明，评测协议明确（每基准三次独立运行取均值）。但完整复现门槛不低：中期训练约 52B token、SFT 120K 样本，骨干为 Qwen3.5-35B-A3B，中期训练需要大规模集群算力；数据合成依赖 DeepSeek-V4-Pro、GLM-5 等闭源前沿模型承担轨迹生成与标注，Search 域训练还使用内部深度搜索数据，无法公开复现；评测依赖 BrowseComp、Terminal-Bench 2.0 等外部基准和真实网络/执行环境。相对可行的路径是：跳过中期训练，直接用开源 35B 级模型在少量自建判断/改写数据上 SFT，再基于 AweAgent 类框架搭建 EditAct 推理循环，验证相对增益；训练配比（每域 40K）等细节附录 A 有交代，可据此估算算力。
论文图表
