MAP：长视野交互式智能体推理的"先建图后行动"范式 MAP: A Map-then-Act Paradigm for Long-Horizon Interactive Agent Reasoning

三阶段流水线具体如下。**阶段 ❶ 跨任务全局探索**：输入为环境描述 $D_{\text{env}}$ 和少量人工轨迹 $\mathcal{F}_{\text{manual}}$，由 Focus Analyzer 提炼出若干"探索焦点"（例如"探测环境是否强制某种动作语法"），然后 Explorer 在训练任务集上跑多轮 think-act，反射器（Reflector）对失败做内省反思，得到的轨迹集 $\tau_{\text{exp}}$ 经知识蒸馏器 $f_{\text{distill}}$ 提取为全局知识 $K_g = f_{\text{distill}}(\tau_{\text{exp}}^{(1)},\dots,\tau_{\text{exp}}^{(N)})$，包含动作语法、交互规则、错误模式三类。**阶段 ❷ 任务特定认知映射**：在拿到任务 $u$ 后，智能体以 $K_g$ 为先验做自适应探索。停止判据为 $\Delta|M_t|=|M_t|-|M_t-1|$ 连续 $k$ 步为 0（知识增量收敛）**且** $r(o_t)=1/N(o_t)$ 连续 $k$ 步低于阈值 $\epsilon$（状态新颖度收敛），形式化为 $T_{\text{stop}}=\min\{t\mid (\text{Cond}_A^t\land\text{Cond}_B^t\text{ 都收敛})\lor(t\geq T_{\max})\}$。停止后由 Key Information Extractor 按 RPP（Role-Purpose-Priority）协议把 $\tau_{\text{exp}}$ 蒸馏成 $M_t = f_{\text{map}}(\tau_{\text{exp}},u)$，含空间布局、物体可供性、（对 ARC-AGI-3）游戏规则三类。**阶段 ❸ 知识增强执行**：动作采样变为 $a_t \sim \pi_\theta(a_t\mid u, M_t, K_g, h_t)$，把认知地图作为系统级上下文持续注入。**微调阶段**：GPT-4.1 / Claude 4.5 作为教师，按上述流水线生成 2K 条完整 map-then-act 轨迹 $\tau_{\text{MAP}}=f_{\text{teacher}}(u)$，并用环境引擎的真实状态做幻觉校验；学生模型 $\pi_\theta$ 最小化 $\mathcal{L}_{\text{MAP}} = -\sum_{t=1}^N \log\pi_\theta(a_t\mid o_{<t},a_{<t})$，loss 覆盖整条轨迹的三个阶段。

MAP 的技术新颖性体现在四个层面。**理论上**，首次用 Pearl 的 do-calculus 严格证明 ReAct 类范式在观察分布上必然撞上认知瓶颈，把"先探索后执行"从经验直觉提升为因果推断必然。**表征上**，把认知地图 $M_t$ 显式建模为三段式结构化对象（空间布局、物体可供性、游戏规则），而不是黑盒 latent state，文中给出 RPP 协议让任何 LLM 都能按模板填表。**收敛判据上**，创新性地把"知识增量"和"状态新颖度"做"与"逻辑双收敛，避免单条件过早终止。**训练范式上**，MAP-2K 是第一个显式把"环境探索轨迹"和"任务执行轨迹"串联成完整训练信号的数据集，监督对象覆盖探索阶段而不只是执行阶段，loss 设计为 $\mathcal{L}_{\text{MAP}}$ 而非传统的行为克隆损失。

**弱点 1：阶段 ❷ 对小模型是瓶颈**。Table 4 中 w/o Stage 2 让 Qwen3-4B-Thinking 在 ALFWorld 掉到 55.0，比去掉阶段 ❶（64.8）还低 9.8 分。说明小模型生成的 $M_t$ 经常漏掉关键物品或误报空间关系。改进方向：可以引入 verifier 单元做 map 自检、或在 $M_t$ 之外加一个隐式 latent memory 作为兜底，让小模型即便显式 $M_t$ 写错也能通过隐式表征补回来。**弱点 2：探索阶段开销未被充分利用**。Figure 4 显示 MAP 在交互步数和 token 上和 ReAct 持平或更低，但 Figure 5 表明 4B 模型在 5 步探索时表现仍波动，说明对弱模型而言探索是被"压着"结束的，并未充分利用内在奖励信号。改进方向：让双收敛判据参数化（$k$、$\epsilon$、$T_{\max}$）随模型能力自适应，而非全局写死。**弱点 3：MAP-2K 仅有 2K 轨迹且只来自两种教师**。Table 1 中 MAP-4B 表现亮眼，但 2K 规模极小，论文也未做数据 scaling 实验。改进方向：扩展到 10K-100K 规模并加入多种教师（GPT-5、Claude Opus 4、Gemini），并加入 self-play 生成的负例轨迹。**弱点 4：环境类型假设过强**。MAP 显式假设环境能拆成"空间布局 + 物体可供性 + 游戏规则"三件套，但真实开放世界（如带 NPC 的多智能体环境）可能不满足这个结构。改进方向：把 $M_t$ 改造成可学习的图结构，让 LLM 在自监督下选择节点类型。**弱点 5：缺少失败模式分析**。Table 2 显示 3/25 游戏 MAP 仍无能为力，但论文没深入分析是 $M_t$ 错、阶段 ❸ 错、还是两者都错。改进方向：增加 per-game 错误归因分析（map 错误率 / 执行错误率），为后续改进提供明确靶点。

**作者提出的方向**：把 MAP 拓展到多智能体协作环境（每个智能体维护自己的 $M_t$ 并通过消息共享），把 $M_t$ 与世界模型（world model）结合做长视野规划，以及在视觉-语言-动作（VLA）智能体上做端到端的"建图"。**基于成果可延伸的方向**：第一，把 $K_g$ 和 $M_t$ 编码成可微的 graph embedding，让 loss 能在 $M_t$ 空间直接监督，避免纯文本监督的稀疏性。第二，引入 hierarchical MAP：高层 $K_g$ 跨任务共享，底层 $M_t$ 任务特定，中间再加一层 episode-level $M_e$ 做 in-context adaptation。第三，把内在奖励和 MAP 流水线结合做 RL 后训练（不只是 SFT），让模型在失败时自动重新调用阶段 ❷ 重建 $M_t$。第四，研究 MAP-2K 与 chain-of-thought 数据的协同——既然"先看后做"优于"边想边做"，那能否让模型学会判断何时该"建图"、何时直接执行，做条件性范式切换。第五，把 MAP 应用到 web 智能体和 GUI 智能体：在浏览器里建图比纯文本环境更自然，可能带来更大收益。

**开源情况**：论文未明确说明完整代码、MAP-2K 数据集和 MAP-4B 权重是否开源，仅在附录中提到"严格去污染以防 repository-level overlap"，说明作者至少意识到并执行了去污染流程。**训练数据**：MAP-2K 仅 2K 轨迹，规模小但使用 GPT-4.1 / Claude 4.5 商业 API 生成，外部研究者复现时需要相应 API 访问权限。**算力需求**：MAP-4B 用 ms-swift 框架在 8 张 NVIDIA H800 上微调 Qwen3-4B-Thinking，3 个 epoch，学习率 $1\times10^{-5}$——单个节点单日级别即可复现。**教师推理成本**：MAP-2K 的生成需要调用 GPT-4.1 / Claude 4.5 跑完整套三阶段流水线，每条轨迹涉及阶段 ❶ 全局探索和阶段 ❷ 任务探索，成本不低（约几十到上百次 API 调用每条）。**复现难度**：总体中等。基线（ReAct、CoMAP、ACT-4B）实现成本低，但 MAP-2K 重新生成需要付费 API 和大量 token 预算。建议作者开源权重 + 合成数据 + 完整 prompt 模板。**评估**：所有环境（ALFWorld、TextCraft、ScienceWorld、ARC-AGI-3）都是公开基准，作者提供了详细的 metric 定义（pass@1、score、level），结果可复现性较高。