三思而后行:面向 LLM 智能体的自主探索方法 Look Before You Leap: Autonomous Exploration for LLM Agents
提出可量化指标 ECC 与交错训练策略,系统性解决 LLM 智能体在新环境中的过早利用失败。
前置知识
RLVR(可验证奖励强化学习)
Reinforcement Learning with Verifiable Rewards 的缩写,指用可以机器自动判定的二元/连续奖励(比如代码是否通过测试、数学答案是否正确)替代昂贵的人类反馈,对大语言模型进行策略梯度优化,GRPO 是其中较流行的实现。
本文核心方法是在 RLVR/GRPO 框架中插入新的探索奖励,所以必须先理解 RLVR 是什么、它原本只奖励任务成功。
GRPO(组内相对策略优化)
Group Relative Policy Optimization,DeepSeek 提出的一种去 critic 的 PPO 变体。对同一 prompt 采样 G 个 rollout,用组内奖励均值/标准差归一化为相对优势,再做策略梯度更新。论文把它改造成双轨训练,所以需要理解它原本的结构。
论文把 GRPO 改造成双轨(任务奖励+探索奖励)交错训练,理解原始公式有助于看懂探索奖励如何被归一化并融入策略更新。
可验证奖励(Verifiable Reward)
可以通过代码或规则自动判定对错、不需要 LLM 打分器的奖励信号,例如单元测试通过率、答案字符串精确匹配等。它是 RLVR 区别于 RLHF 的关键,使大规模训练成为可能。
本文新提出的 ECC 奖励就是一种可验证奖励——只要环境检查点是否被访问即可判定,从而避免了用语言模型充当裁判带来的不稳定。
过早利用(Premature Exploitation)
强化学习/启发式搜索术语,指智能体在尚未充分了解环境时就基于训练先验急切地采取行动,陷入重复动作或错误策略,无法完成真正意义上的探索-利用权衡。
论文把 LLM 智能体在新环境中的失败模式命名为这一现象,并把整篇工作定位为解决它的系统性方案。
研究动机
当前基于大语言模型的智能体在面对不熟悉环境时普遍存在一种被作者称为“过早利用”的失败模式:它们倾向于在尚未充分观察环境的情况下,就依据训练阶段的先验知识急切地采取行动,结果要么陷入无目的的试错,要么自信地执行一个脱离实际语义的方案。具体表现为两类反复出现的错误:其一,缺乏明确起点,在陌生地图上盲目行动或错误规划;其二,误解环境特异语义,例如把“拿着钥匙时不能再拿东西”这类前置条件用错,导致动作与环境长期不匹配。在 Table 1 给出的无任务自由探索实验中,Qwen2.5-7B、Qwen3-4B、LLaMA3.1-8B 等开源模型在 100 步预算内平均只能覆盖 22.2%–30.9% 的关键状态(ECC),且许多回合步数只有 10–20 步就提前终止。更令人意外的是,任务导向的 GRPO 微调反而让探索能力进一步退化:Qwen3-4B+GRPO 的平均 ECC 从 28.5% 降至 18.8%,Qwen2.5-7B+GRPO 从 22.2% 降至 12.6%,证明传统 RLVR 只奖励任务完成、不奖励信息收集的范式在根本上不利于培养适应性。
本文的目标是本文的核心目标是把“自主环境探索”从一个被动的副产品,提升为 LLM 智能体的一项可独立度量、可显式训练的元能力,并据此设计一种新范式来提升智能体在陌生环境中的鲁棒性与泛化性。具体地,作者希望实现三件事:第一,给探索行为一个可验证、可量化的评测指标,让“探索好不好”不再依赖主观打分;第二,设计一种在 GRPO 框架内同时优化任务执行和环境探索的训练策略,使得模型既能完成任务、又会主动收集信息;第三,提出一种推理时范式 Explore-then-Act(E-t-A),让智能体在接任务前先花一段预算去探索环境,把获得的知识注入到后续决策中,从而让“预算”真正转化为下游任务增益。
与已有工作不同的是，现有工作主要走两条路:其一,用启发式管线(BFS/DFS 或大量人工脚本)把环境知识离线编译进外部知识库,代表作有 Wall-E、WESE、AutoManual;其二,通过扩展任务多样性(CUES、Learn-by-Interact、Explorer)在训练阶段把环境约束“灌注”进模型权重。前者把 LLM 当作观察解析器,后者本质上仍是离线工程,二者都依赖提前获得环境描述,无法让智能体在运行时自主获取知识。本文的关键切入角度是:把探索本身当作可独立优化的能力,用环境自带的事实性检查点(可被自动验证)定义奖励信号,直接在策略梯度中鼓励广覆盖行为,并把“探索阶段”和“任务执行阶段”在推理时显式解耦——这一思路与 ReAct 等“边想边做”的统一策略范式形成本质区别。
核心方法
论文方法可以拆成三个互锁的环节:度量、训练、推理。度量层面,作者定义了 Exploration Checkpoint Coverage(ECC)——把每个环境实例都标注一组关键事实(可达位置、关键物体、可交互目标、动作前置条件等)作为 checkpoints $C = \{c_1, c_2, \dots, c_M\}$,一个探索回合 $\tau_{\text{EXP}}$ 的 ECC 就是其中被覆盖的 checkpoint 比例,即 $\text{ECC}(\tau_{\text{EXP}}) = \frac{1}{M}\sum_{i=1}^{M} \mathbb{1}[c_i \in \tau_{\text{EXP}}]$。训练层面,把 GRPO 改造成双轨:任务回合继续用任务完成二元奖励,探索回合则把 $\text{ECC}(\tau_{\text{EXP}})$ 直接当奖励 $R^{\text{EXP}}$,通过组内归一化得到相对优势,再用同一套策略梯度更新参数,二者在训练过程中按比例交替(默认 5:1)进行。推理层面,提出 Explore-then-Act 范式:智能体先在固定预算 $N$ 步内用探索策略 $\pi^{\text{EXP}}(\cdot|H_t)$ 自由探索,把轨迹总结成自然语言知识 $K = \text{SUMMARIZE}(\tau_{\text{EXP}})$,再在任务阶段以 $\pi^{\text{ACT}}(\cdot|H_t, g, K)$ 进行目标条件动作,实现“信息收集”和“目标完成”在时间维度的解耦。
核心创新是把“探索”从“任务的副产物”重写为“一等公民训练目标”,其与已有方法在两点上有本质区别:第一,奖励信号是 ECC 这种完全可验证的环境事实覆盖度,而不是靠 LLM 当裁判给探索打分,绕过了开放式评估的不稳定性;第二,把训练信号(交错 GRPO)和推理范式(E-t-A)做了端到端的耦合,确保模型在训练时学到的探索能力确实能在测试时被一段独立的预算激活,而不是仅仅反映在最终任务奖励里。这与传统任务导向 RLVR 的关键差别在于:后者把策略锁定在“直接动作-任务奖励”的闭环里,前者额外打开了一条“自由探索-覆盖度奖励”的并行通路,从而打破了“训练越深、探索越窄”的退化趋势。
方法步骤详情
完整方法流程分四步。第一步,环境标注:为 ALFWorld、SciWorld、TextCraft 中每个实例预先生成 $M$ 个探索 checkpoints(可被自动校验的环境事实),用于计算 ECC,细节见附录 E。第二步,定义两类 rollout:任务执行 rollout 与标准 RLVR 相同,奖励 $R^{\text{TASK}}(\tau, g) \in \{0,1\}$ 由任务是否完成决定;探索 rollout 不给具体目标 $g$,让智能体根据通用探索指令自由行动,奖励 $R^{\text{EXP}}(\tau_{\text{EXP}}) = \text{ECC}(\tau_{\text{EXP}})$。第三步,交错 GRPO 更新:对每个上下文 $x$ 采样 $G$ 条 rollout,计算组内优势 $A^{(i)} = \frac{R^{(i)} - \text{mean}_j R^{(j)}}{\text{std}_j R^{(j)} + \epsilon}$,然后用统一公式 $\max_\theta \mathbb{E}_x[\frac{1}{G}\sum_i A^{(i)}\log\pi_\theta(y^{(i)}|x) - \beta\text{KL}(\pi_\theta \| \pi_{\text{REF}})]$ 更新策略,任务步骤和探索步骤按 5:1 比例交替执行,共训 300 步。第四步,部署 E-t-A 范式:测试时先让智能体在 $N$ 步内执行 $\tau_{\text{EXP}}$,然后用 LLM 把轨迹总结为知识 $K$(包含布局、对象、动作前置条件、已发现的失败模式等),再把 $K$ 注入后续动作 prompt,与任务目标 $g$ 和当前历史 $H_t$ 共同作为策略输入,完成目标条件动作 $a_t \sim \pi^{\text{ACT}}(\cdot|H_t, g, K)$。
技术新颖性
技术新颖性体现在三处:其一,提出 ECC 这一“可验证探索度量”,把“探索好不好”从不可量化的语言评判变成了可计算、可比较、可作为 RL 奖励的标量,这一点在 2026 年之前的 agent 工作中少有人系统做过;其二,在 GRPO 框架内显式引入第二种奖励 $R^{\text{EXP}}$ 并通过交错 schedule 联合优化,给出了一种把“任务能力”和“探索能力”协同训练的具体配方,论文附录 D 还对 task:exploration 比例做了敏感性分析;其三,Explore-then-Act 把探索和执行在时间维度解耦,而不是 ReAct 那种“边推理边动作”的耦合范式,这对测试时算力分配、对环境发生扰动时的在线适应,都提供了新的设计自由度。
实验结果
实验在 ALFWorld、SciWorld、TextCraft 三个环境上展开,系统评估了 Qwen2.5-7B、Qwen3-4B、LLaMA3.1-8B 三个开源 backbone 与 GPT-4.1、Claude-Opus-4.5 两个闭源模型。Table 1 揭示了“探索赤字”:闭源 Claude-Opus-4.5 在三个环境上的平均 ECC 高达 89.5%,且 $\Delta\text{Task}$ 普遍为正(+6.3、+11.7、+7.8,平均 +8.6),说明强模型已经把“自主探索”内化为隐含能力;而开源模型平均 ECC 仅 22.2%–30.9%,且 $\Delta\text{Task}$ 多数为负,Qwen3-4B 平均 −2.2,说明它们的自由探索对下游任务常常带来噪声而不是增益。Table 2 进一步证明交错 GRPO 的有效性:以 Qwen2.5-7B 为 backbone,GRPO(Interleaved)在 ALFWorld 上 Direct 执行达 96.9%、E-t-A 达 98.5%,平均 70.9% / 73.1%,相比 GRPO(Task-Only) 的 68.4% / 67.4% 在 E-t-A 设置下提升 5.7 个百分点,且对所有环境都是正增益;Qwen3-4B 也呈现一致趋势(平均 77.2% / 79.5%,E-t-A 增益 +2.3)。Table 3 的行为诊断直接解释了原因:GRPO(Task-Only) 的重复动作率高达 63.4%、循环率 16.0%、信息寻求率仅 1.0%、错误恢复率 0.0%,而 Interleaved 模型把重复动作率压到 24.9%、循环率 7.7%,把信息寻求率提升到 7.5%、错误恢复率提升到 20.1%,说明探索训练让模型学会了“验证状态、从负反馈中恢复”。Figure 3 显示在 ALFWorld 扰动变体上,Task-Only 模型性能大幅下降,而 Interleaved+E-t-A 跌幅最小,说明探索对环境扰动具备鲁棒性。Figure 4 进一步把探索与执行解耦,固定 Qwen3-4B 作为执行器、只让不同模型做探索器,发现 Interleaved-RL 训练的探索器在所有预算(10/20/50/70/100 步)上都比 Task-RL 的 ECC 更高(例如 100 步时 87.2% vs 72.6%),并把执行器任务成功率从 30.9% 提升到 90.9% (50 步预算)、从 85.3% 提升到 89.7% (20 步),证实 ECC 提升可独立于任务能力转化为下游收益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld 自由探索(无任务,100 步预算) | Exploration Checkpoint Coverage (ECC, %) | Claude-Opus-4.5 达 96.8%,Qwen3-4B+Interleaved-GRPO 达 32.8%(未单独报告,但与 Task-Only 对比 ECC 显著提升) | Qwen3-4B 原始 35.5%,Qwen2.5-7B 原始 19.3% | Interleaved 训练相对 Task-Only 把 ECC 在三个环境上系统性提升,且闭源最强模型相对开源模型拉开 50+ 百分点的绝对差距。 |
| ALFWorld 直接执行 + Explore-then-Act | Task Success Rate (%) | Qwen2.5-7B+Interleaved E-t-A 达 98.5%,Qwen3-4B+Interleaved E-t-A 达 92.7% | Qwen2.5-7B Task-Only E-t-A 为 93.2%,Zero-Shot ReAct 为 54.1% | 在 E-t-A 设置下,Interleaved 相比 Task-Only 在 Qwen2.5-7B 上 +5.3、Qwen3-4B 上 +8.4,相对 Zero-Shot ReAct 提升超过 40 个百分点。 |
| SciWorld 任务完成 | Task Success Rate (%) | Qwen2.5-7B+Interleaved Dir. 45.8% / E-t-A 47.2%,Qwen3-4B+Interleaved Dir. 55.2% / E-t-A 56.9% | Zero-Shot ReAct 仅 4.9% / 4.3%,Task-Only 在 Qwen3-4B 上 54.9% / 53.1% | Interleaved 训练在更难的 SciWorld 上把 E-t-A 提升约 1.4–1.7 个百分点,且 E-t-A 总是正增益,Task-Only 反而是负增益。 |
| TextCraft 任务完成 | Task Success Rate (%) | Qwen2.5-7B+Interleaved Dir. 70.1% / E-t-A 73.7%,Qwen3-4B+Interleaved Dir. 85.9% / E-t-A 89.0% | Zero-Shot ReAct 15.4% / 14.3%,Qwen3-4B Task-Only 82.2% / 83.1% | 在 TextCraft 上 Interleaved 同样稳压 Task-Only 约 3–6 个百分点,E-t-A 比 Direct 高 2.8–3.6 个百分点。 |
| ALFWorld 扰动变体鲁棒性(Figure 3) | Task Success Rate (%) on 4 个扰动设置 | Qwen3-4B+Interleaved E-t-A 78.4% / 77.1% / 72.6% / 71.3%(四种扰动) | Qwen3-4B+Task Dir. 90.5%(无扰动),扰动下 Task-RL 明显下降 | Interleaved+E-t-A 在扰动下保持高成功率,展示出对位置、对象、前置条件变化的最强鲁棒性。 |
局限与改进
作者明确指出三类局限:第一,ECC 依赖环境侧预定义的 checkpoint 集合,标注成本随环境数量线性增长,附录 E 的生成方式目前仍需结合任务结构手工设计,限制了对完全开放世界(如网页、自由游戏)的即插即用;第二,5:1 的 task:exploration 比例在附录 D 的敏感性分析中可见,当比例过于偏向任务时探索收益下降,但论文未给出自动调节机制;第三,自由探索阶段每回合 100 步的预算相对真实部署仍然偏小,Claude-Opus-4.5 在这种有限预算下能达到 89.5% 平均 ECC,说明“足够大的预算”是探索方法有效的隐性前提,小预算反而会引入噪声(Figure 4b 在 10 步时收益为负)。此外,本文未直接验证在超大模型(>70B)上是否会出现“闭源模型已经把探索能力内化”的更强证据,Figure 1 也未给出 ECC 训练在多模态/具身机器人环境下的结果,实际部署到视觉环境或多智能体场景的迁移性仍有空白。
独立分析的弱点
独立分析可观察到四个值得改进的弱点。其一,checkpoint 集合的设计具有较强人为性,不同环境需要专门标注规则,作者未来可考虑用逆向任务求解(在环境里跑一遍任务再记录访问过的关键状态)自动构造 ECC,降低对人工的依赖。其二,训练时探索和任务 rollout 的 5:1 比例是拍出来的,缺乏对不同环境最优比例的系统搜索,附录 D 的敏感性虽然有,却只比较了几个离散点,缺少自适应调度器。其三,知识 $K$ 的生成目前只是简单地把轨迹总结为自然语言段落,没有结构化(例如知识图谱、可执行规则集),这限制了把 $K$ 注入到下游模型的可解释性和复用性,建议未来引入 schema 化的环境知识表示。其四,论文把“探索”和“执行”两阶段在时间上严格串行,实际上在长任务里“边探索边执行”可能更高效,缺少对混合范式的探索,例如把 E-t-A 扩展为 Explore-while-Act,让探索和任务奖励信号在线融合。
未来方向
作者在结论中明确提出未来要把 ECC 应用到更多样化的环境(具身机器人、网页导航、代码仓),并把 ECC 推广为通用的“环境覆盖率”指标。我认为还可沿三个方向延伸:第一,把 ECC 与 curriculum learning 结合,让 checkpoint 集合按难度由易到难动态扩展,模拟人类“从粗到细”的探索过程;第二,把交错 GRPO 扩展到多智能体设置,允许多个智能体共享 $K$ 进行协同探索,从而把单回合探索成本分摊到群体;第三,把 ECC 奖励与 safety/对齐目标耦合,例如同时奖励对危险状态的覆盖与对危险动作的回避,构建既“敢探索”又“会避险”的智能体;第四,借鉴闭源模型 Claude-Opus-4.5 的隐式探索能力,通过更大规模的高质量探索-任务数据让开源模型也“涌现”出 ECC,而不再依赖显式 ECC 奖励信号,从而验证两种路径的等价性。
复现评估
论文在主实验、附录 C 中给出了相对完整的复现条件:训练在 AgentGym 公开数据集上完成,300 步 GRPO 训练、5:1 任务-探索比例、KL 系数 $\beta$ 等关键超参均有报告;后端 backbone 全部为开源模型(Qwen2.5-7B、Qwen3-4B、LLaMA3.1-8B),可通过 HuggingFace 直接下载;环境 ALFWorld、SciWorld、TextCraft 均为学术界广泛使用的开源 benchmark,部署门槛较低。但仍有几处增加复现难度的因素:其一,checkpoint 集合的构造细节在附录 E,需要针对每个环境单独实现判定逻辑,代码量不小;其二,论文未公布完整的训练脚本与 RL 后端(可能使用 verl/Trl 之类,但未明示);其三,闭源模型 GPT-4.1、Claude-Opus-4.5 的实验无法本地完全复现,需要付费 API;其四,Figure 4 中 50 步预算、100 步预算的全网格评估对算力要求较高,小实验室需要多卡 A100/H100 资源;总体而言,核心算法可复现,但要稳定复现 Table 2 中 +2–5 个百分点的提升需要扎实的 RL 工程经验。
论文图表
柱状图比较 Dir. 与 E-t-A 两种执行模式、Task-RL 与 Interleaved-RL 两种训练方式在 4 个 ALFWorld 扰动变体上的成功率:Task-RL 模型扰动后下降明显,Interleaved-RL 在 E-t-A 设置下分别取得 78.4%、77.1%、72.6%、71.3%,在所有扰动下都是最高且下降幅度最小。
说明探索能力在“环境发生动态变化”时提供鲁棒性,是论文强调真实部署价值的关键图示,直接呼应引言中“现实环境是动态且难以预编译”的论点。