学会探索：通过探索感知的策略优化扩展智能体推理 Learning to Explore: Scaling Agentic Reasoning via Exploration-Aware Policy Optimization
EAPO 教会 LLM 智能体在不确定时才探索，4B 模型在 GUI 任务上击败 GPT-4 级对手。
前置知识
智能体测试时计算扩展 (Agentic Test-Time Scaling)
指在部署阶段让 LLM 智能体在环境里多次执行动作、观察反馈再决定下一步的范式，类似 OpenAI o1 / DeepSeek-R1 的思路，但用在 GUI 操控、网页导航等交互式任务上。智能体可以展开多个候选轨迹，自我评估并汇总，从而在不变大模型的前提下提升决策质量。
EAPO 解决的就是这一范式下的核心痛点：现有方法对所有状态都用同质策略进行探索，无法分辨'何时探索、何时直冲目标'。
GRPO (Group Relative Policy Optimization)
DeepSeek 提出的无 critic 强化学习算法。对同一提示采样 G 条轨迹，用组内归一化的奖励估计优势 $\tilde{A}_{i,t}$，再以 PPO 风格的裁剪目标更新策略，省去了单独训练价值网络的开销。EAPO 的两阶段训练第二阶段就建立在 GRPO 之上。
要理解 EAPO 的改进点必须先掌握 GRPO 的分组优势估计机制，因为 EAPO 的核心改动之一就是给这个分组加上了'访问深度'维度。
变分推断 (Variational Inference)
用可学习的分布 $q_\phi(e,m|s)$ 去近似复杂的后验 $p(e,m|s,\text{success})$，通过最小化 $\text{KL}(q\|p)$ 推导出 ELBO 形式的优化目标。Kingma & Welling 2013 的 VAE 是经典代表。本文把探索策略 $e$ 和记忆 $m$ 视为潜变量，用 VI 把'难以直接评估的探索效用'转化为可训练的密度估计问题。
EAPO 的探索奖励 $R_{\text{explore}}$ 公式 (6)-(9) 正是基于 VI 推导出来的 reward 变分下界，没有这个数学工具就无法离线评估一条探索动作的长期价值。
马尔可夫决策过程 (MDP) 中的探索-利用权衡
在 $\langle S,A,P,T,R,\mu,\gamma\rangle$ 框架下，智能体需要在'立刻执行最可能成功的动作（利用）'和'先去摸清环境（探索）'之间分配交互预算。经典做法是 $\epsilon$-greedy 或 UCB；本文则把'何时探索'本身学成一个可微策略。
EAPO 设计的折扣因子 $\gamma_2$ 就是显式建模探索的延迟收益：探索不能在当前步拿回报，必须等下一步观察新状态、下下一步再综合，因此引入 $\gamma_2$ 折扣以避免过度保守。
研究动机
现有 agentic test-time scaling 方法（如 ToT、LAMER、GiGPO）在每个状态下都无差别地触发探索机制，导致两个具体问题：其一，在已熟悉的状态里也进行冗余探测，浪费交互预算并引入噪声；其二，在真正陌生的 GUI 状态（比如更新过的 Android UI、未见过的 OSWorld 应用）下又缺乏针对性探索。论文 Table 1 给出的实证非常直观：在 AndroidWorld 上，naive exploration 反而让 GRPO 在 2B 模型上从 52.3 涨到 55.1，但在 8B 模型上却从 55.4 跌到 52.9；DAPO 在 4B 上从 60.6 跌到 58.5，LAMER 在 2B 上从 61.2 跌到 56.3。说明不加区分的探索经常伤害性能，因为 agent 误把低价值步骤当作'探索'累积了低质量信息，反而掩盖了关键信号。
本文的目标是作者希望让 LLM 智能体学会'在不确定时才探索'，并能在信息充分时迅速切回执行模式，从而把测试时计算花在刀刃上。具体来说，论文提出 EAPO（Exploration-Aware Policy Optimization），目标是在不增加模型规模的前提下让 2B 级别的 agent 取得接近甚至超过 70B 闭源模型（如 Claude-4-Sonnet、Seed1.5-VL-250717）的 GUI 任务成功率，并且在 OSWorld、ALFWorld、WebShop、AndroidWorld 四个环境上同时取得领先。
与已有工作不同的是，论文的独特切入角度是显式区分'探索行为'与'任务执行行为'，并对二者分别赋奖、分组优化。技术上三条切入线同时发力：(1) 提出 exploration-and-memory reasoning mode，让 agent 在结构化输出里区分 和 字段；(2) 用变分推断离线学习一个 Bayesian 探索奖励 $R_{\text{explore}}$，把'该探索动作是否提升了未来决策信息量'转化为密度估计问题，避免昂贵的在线 rollout；(3) 用访问深度 $\kappa(s_t)$ 作为聚类维度把'正在探索'和'准备执行'的 transition 分到不同 GRPO 组，确保优势估计不被折扣带来的低估所污染。这三点结合起来，论文首次在 agentic RL 里系统地解决了'探索/利用混在同一 policy 里'的根本症结。
核心方法
EAPO 的整体思路是模仿人类'先评估环境不确定性，再决定是否继续探索'的认知模式，把这一过程建模到 LLM agent 的推理链和奖励函数中。直觉上，agent 每次行动前先想一想'我现在缺什么信息'（explore 字段），然后把历史观察浓缩成一段摘要（memory 字段），最后再下达可执行动作。训练侧则分两阶段：第一阶段用 SFT 让 agent 学会'点错了能回退'（Learning to Rollback），把探索从一次性赌博变成可逆过程；第二阶段在 GRPO 基础上引入 Bayesian 探索奖励 $R_{\text{explore}}$ 和访问深度分组 $\kappa(s_t)$，让 RL 信号能区分'我在探索'与'我在执行'。这套机制使得 agent 训练和推理时都能保持统一的探索-记忆-执行三段式推理结构。
与 LAMER、ToT 等方法不同，EAPO 的核心创新是'显式地为探索动作学一个离线变分奖励'。具体地，定义 $R_{\text{explore}}(\tilde{s}_t,\tilde{a}_t,\tilde{s}_{t+1}) = \max\{q_\phi(e_{t-1},m_{t-1}|s_t),\;\gamma_2\,q_\phi(e_{t-1},[m_{t-1},s_{t+1}]|s_t)\}$，第一项衡量'用现有记忆直接成功'的后验概率，第二项衡量'把新状态并入记忆后'的成功概率差。这个差值刻画了探索动作对未来决策的真实信息增益。第二个本质区别是 GRPO 分组加入访问深度 $\kappa(s_t)$：同一个屏幕状态被访问过 $\nu$ 次的所有 transition 才进同一个组，从而把'第 1 次看到'和'第 5 次回访'的动作放在公平的奖励基线上比较，避免折扣天然压低探索动作的相对优势。这两点合起来才让 agent 真正学会'按需探索'，而不是要么不探索要么滥探索。
方法步骤详情
EAPO 训练流程分两步。阶段一：Learning to Rollback。收集一个专家数据集 $\mathcal{D}=\{(s',s,a)\}$，由 teacher LLM 根据当前状态 $s'$ 和上一状态 $s$ 生成能回到 $s$ 的回退动作 $a$（如点'返回'按钮），能成功就纳入。用 SFT 目标 $\mathcal{L}_{SFT}(\theta)=-\frac{1}{|\mathcal{D}|}\sum\log p_\theta(a|s',s,x)$ 训练 agent，让它把探索视为可逆过程。阶段二：Exploration-Aware GRPO。完整状态被扩展为 $\tilde{s}_t=[g;s_t;e_{t-1};m_{t-1}]$，输出 $\tilde{a}_t=[e_t;m_t;a_t]$。总奖励 $R = R_{\text{task}} + \alpha_1 R_{\text{format}} + \alpha_2 R_{\text{explore}}$，其中 $R_{\text{format}}$ 检查 //\boxed{} 标签是否齐全，$R_{\text{task}}$ 是稀疏 0/1 成功信号，$R_{\text{explore}}$ 由上述变分密度比给出。然后对同一初始状态跑 G 条轨迹，按 (state, $\kappa$) 二元聚类成 $\mathcal{G}(s,\nu)$，在组内用公式 (14) 计算归一化优势 $\tilde{A}_{i,j}$，再用裁剪 PPO 目标更新。推理时 agent 自动判断是否需要在 段输出多个候选动作并执行观察。
技术新颖性
技术新颖性体现在三处：第一，把后验概率 $p(e,m|s,\text{success})$ 通过 VI 化为 ELBO 下界（公式 18-19），证明最大化 $R_{\text{explore}}$ 等价于最大化任务成功率下界，给出可微的离线奖励信号，避免传统方法对 online rollout 的依赖。第二，把 GRPO 的分组维度从单一 state 扩展为 (state, visitation depth) 二元组，这看似简单但目前文献中未见先例，它直接缓解了'探索动作因折扣被低估'的病态。第三，把'回退能力'作为独立 SFT 阶段显式注入 agent，这借鉴了人类'试错-修正'的认知闭环，让 RL 阶段的 credit assignment 不再被不可逆探索污染。从工程角度看，作者用 vLLM 部署 Qwen3/Qwen3-VL (1.7B/2B/4B/8B)，8 块 H800 GPU 训练，端到端只增加约 15% 训练开销和最多 10 步推理步数，落地门槛低。
实验结果
EAPO 在 4 个环境、3 个模型尺寸上全面领先（Table 2、Table 5、Fig. 1）。具体数字方面，以 Qwen-VL-4B 为基线：ALFWorld 69.00（比最佳 baseline LAMER 的 54.60 高 14.4）、WebShop 60.84（比 LAMER 43.8 高 17.0）、AndroidWorld 79.57（比 LAMER 61.54 高 18.0）、OSWorld 57.89（比 LAMER 49.24 高 8.6）。EAPO-8B 在 ALFWorld 拿到 76.02，已经超过 Claude-4-Sonnet-0929 的 56.09 和 Qwen3-VL-235B-A22B 的 50.81；OSWorld 上的 64.29 也优于 Claude-4-Sonnet-0929 的 62.88，逼近 UI-TARS-2-2509 的 53.11 但模型规模小一个数量级。Fig. 1 展示在 1.7B/4B/8B 三个尺寸上 EAPO 都高于 Min-p/OverRIDE/GRPO/DAPO/GiGPO/LAMER，且标准差小、收敛快（Fig. 2 显示 EAPO 在 200-400 步就达到其他方法 800-1000 步的水平）。Table 1 反向验证了 naive exploration 的危险性：在 AndroidWorld 上无差别探索会让 DAPO 2B 从 56.8 跌到 54.6，LAMER 8B 从 61.0 跌到 57.3，验证了'必须按需探索'的必要性。消融实验（Table 8）进一步表明：去掉 $R_{\text{explore}}$ 后所有环境性能显著下降，去掉 exploration-aware grouping 后探索度呈现'先升后崩'的失稳模式，去掉 format reward 后 agent 无法稳定生成 / 结构。Fig. 17 显示探索度在训练初期上升、后期收敛到稳态，说明 EAPO 真的学会了自适应探索。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld 文本智能体任务 | 任务成功率 (%) | EAPO-8B 76.02 | LAMER-8B 61.26（最强基线） | +14.76 (相对提升 24.1%) |
| WebShop 在线购物任务 | 任务成功率 (%) | EAPO-8B 65.58 | LAMER-8B 47.74 | +17.84 (相对提升 37.4%) |
| AndroidWorld 移动端 GUI 控制 | 任务成功率 (%) | EAPO-8B 82.05 | LAMER-8B 60.98 | +21.07 (相对提升 34.6%) |
| OSWorld 桌面级 GUI 控制 | 任务成功率 (%) | EAPO-8B 64.29 | LAMER-8B 55.60 | +8.69 (相对提升 15.6%) |
| 跨域泛化：AndroidWorld 训练→OSWorld 测试 | OSWorld 总体成功率 (%) | EAPO-8B (AndroidWorld) 60.64 | 直接在 OSWorld 训练的 EAPO-8B 64.29 | 仅 -3.65，说明学到的是域无关探索策略而非 UI 套路 |
局限与改进
作者在第 7 节明确承认一个核心限制：EAPO 强依赖结构化的 / 标签和预定义模板，这意味着探索行为和记忆形式被人为固定，可能限制 agent 在需要更自由信息获取方式（如自由对话、外部 API 查询）任务上的表达力。Table 2 中 EAPO-1.7B/2B 在 OSWorld 上仅 50.34，比最强基线低 12.54，说明在最小模型尺寸 + 最复杂桌面级 GUI 这种组合下容量仍是瓶颈，agent 没法在结构化模板中塞下足够推理。Table 6 进一步显示在 vs code（72.58）和 calc（64.09）这类高结构化应用上泛化不错，但在 chrome（56.85）和 writer（53.00）等需要长程记忆的应用上掉点明显。从我的观察看，论文未充分讨论三件事：(1) / 字段长度对推理 token 预算的压力——长 GUI 任务上下文已经接近 4K token 上限；(2) 训练时假设 $\gamma_2$ 单一标量，但不同子任务（如点击 vs 文本输入）最优折扣可能不同；(3) 跨平台泛化实验只做了一对（AndroidWorld→OSWorld），未验证更远域（如 ALFWorld→WebShop）。
独立分析的弱点
独立分析三个可改进弱点。第一，结构化标签的双刃剑：/ 字段让 credit assignment 清晰了，但也占用 4K context window 很大份额；Fig. 21 提到 EAPO 最多增加 10 步平均步数，在长程 OSWorld 任务（chrome/writer）上仍可能 token 不够。改进方向是把记忆压缩成向量侧信道（类似 MemGPT），让 LLM 文本推理通道只保留近 N 步关键片段。第二，$R_{\text{explore}}$ 中 $\gamma_2$ 是全局超参，作者在 Fig. 10 中扫描 0.5-1.0 发现单点最优但每个环境不同；改进方向是把 $\gamma_2$ 改成基于 $q_\phi$ 估计的不确定度自适应调节——信心高时 $\gamma_2$ 小，信心低时大。第三，Bayesian 奖励依赖变分分布 $q_\phi$ 的质量，$q_\phi$ 是另一个 LLM，需要在训练中同步优化；论文未充分讨论 $q_\phi$ 与主策略不同步时会发生什么（如 $q_\phi$ 过估计探索收益），改进方向是给 $q_\phi$ 加类似信任域的更新约束。
未来方向
作者直接指出的方向是结构化模板的表达力问题，希望未来探索更灵活的信息获取形式。基于成果可延伸的有四个方向：(1) 把 / 范式推广到多智能体场景，让多个 agent 共享 memory pool 做协同探索；(2) 把 Bayesian 探索奖励和 Process Reward Model (PRM) 结合，PRM 评步内推理质量，$R_{\text{explore}}$ 评跨步信息增益；(3) 在更长程任务（如 100+ 步的 web agent）上验证，需配合 MemGPT 式外部记忆；(4) 探索 $q_\phi$ 的物理含义——它实际是个'专家后验估计器'，能否蒸馏到小模型里，让 EAPO 在端侧部署成为可能。论文中 Fig. 26-28 给出的 OSWorld 案例显示 agent 会在第 5 步输出多个候选 动作并逐一尝试，第 6 步发现错误后用 标记，第 7 步综合信息做正确决策——这一可解释的行为模式是后续 'agent self-explanation' 研究的良好起点。
复现评估
复现友好度较高。代码已在 https://github.com/HansenHua/EAPO-ICML26 公开，模型权重在 https://huggingface.co/hansenhua/EAPO-ICML26 开源，训练用的 4 个环境（ALFWorld、WebShop、AndroidWorld、OSWorld）都是公开 benchmark，数据生成过程在 Section C.1/C.3 详细说明。算力方面作者用 8 块 NVIDIA H800 GPU，8B 模型完整训练是论文最大开销；4B 和 2B 规模则单节点即可。算法实现层面 GRPO 部分可直接用 verl 或 OpenRLHF 框架接入，$q_\phi$ 变分网络是新增模块需自写。难度中等偏上：(1) Bayesian 奖励公式 (6)-(9) 的数值稳定性需要小心（涉及概率密度比和 softmax），(2) 访问深度 $\kappa(s_t)$ 的状态匹配需要可靠的 state fingerprint，(3) 回退数据集 $\mathcal{D}$ 的 teacher prompt 在 Appendix C.5 给出但需根据具体应用调优。整体而言，对熟悉 agentic RL 的团队 2-3 周可复现 2B/4B 主结果。
论文图表
