基于子目标驱动的框架：提升大语言模型智能体的长期规划能力

通过动态里程碑规划和基于势能的强化学习，显著提升Web智能体的长期任务成功率

前置知识

部分可观测马尔可夫决策过程(POMDP)

POMDP是强化学习中处理部分可观测环境的标准框架，由状态空间S、动作空间A、观测空间Ω、转移函数T、观测函数O、奖励函数R和时间范围H组成。在Web导航任务中，智能体无法直接观测网页的服务器端状态，只能通过渲染的HTML、截图和任务指令等部分观测来推断环境状态。POMDP要求智能体维护历史信息来估计当前状态，这正是长期任务面临的核心挑战。

Web导航任务被形式化为POMDP，理解这个框架是理解论文方法论的基础，特别是状态表示和奖励设计都建立在POMDP理论之上。

基于势能的奖励塑形(PBRS)

PBRS是一种在稀疏奖励环境中提供密集反馈的技术。核心思想是通过势能函数Φ(s)将稀疏奖励r_t增强为r̃_t = r_t + γΦ(s_{t+1}) - Φ(s_t)，其中γ是折扣因子。势能函数编码了智能体向目标进展的程度。当势能只依赖于状态时，PBRS保持最优策略不变，相当于用势能初始化Q函数。在实际应用中，精确的势能函数往往未知，因此现代方法使用学习到的价值估计或内在奖励作为塑形信号。

论文的核心创新之一就是使用基于子目标的势能函数来提供密集奖励信号，解决Web导航中的稀疏奖励问题。

子目标分解

子目标分解是将复杂的长期任务分解为一系列可管理的中间目标的过程。在Web导航中，例如'在地图上找到距离CMU最近的咖啡馆'可以分解为：1)打开浏览器并从地图开始，2)在地图上搜索'CMU'，3)选择附近的餐厅并添加'<50英里'筛选条件，4)选择最近的咖啡馆并报告信息。每个子目标都是一个语义上可验证的检查点，智能体可以通过检查当前状态是否满足子目标条件来评估进展。

论文的核心创新是使用子目标作为训练和推理时的结构化进展信号，这是解决长期规划问题的关键机制。

离线强化学习

离线强化学习(Off-policy RL)是指智能体从预先收集的经验数据中学习，而不需要与环境进行在线交互。这种方法允许智能体利用历史轨迹、专家演示或混合质量的数据集进行训练。在Web导航中，收集在线交互数据成本高昂，离线RL可以充分利用已有的成功和失败轨迹。常见的离线RL方法包括Advantage-Weighted Regression (AWR)和基于回归的策略优化。

论文提出的MiRA框架完全在离线设置下工作，能够从多样化的经验池中高效学习，这是其实用性的关键。

研究动机

当前基于大语言模型的Web智能体在长期任务中存在严重的规划瓶颈。根据论文的实证分析，在WebArena-Lite基准测试中，使用最先进的专有模型Gemini-2.5-Pro的智能体在近50%的评估轨迹中表现出'中途卡住'行为。即使经过监督微调(SFT)的小型开源模型如Gemma-12B-SFT仍然在超过30%的情况下无法取得进展。具体来说，智能体经常进入非生产性的动作循环或承诺次优的目标路径，无法识别通向进展的下一个逻辑里程碑。这种问题在模型规模和训练范式中持续存在：高阶目标不稳定（往往源于向目标的发散）导致错误分布中占据主导地位。这些观察表明，当前模型——无论规模大小或微调方式——都缺乏在扩展交互中维持推理所需的稳健内部规划和里程碑感知能力。

本文的目标是本文的具体目标是解决Web智能体在长期任务中的规划瓶颈，通过引入显式的里程碑或子目标作为中间检查点来引导智能体向最终目标进展。论文旨在开发一个统一框架，将在线推理时的规划与离线强化学习微调相结合，通过里程碑塑形提供更密集的反馈信号。具体来说，目标包括：1)开发自动故障分析器来系统地揭示主导失败模式；2)在推理时集成轻量级的子目标引导规划；3)开发互补的离线RL程序，使用里程碑驱动的奖励塑形来缓解Web导航中固有的稀疏奖励挑战。

与已有工作不同的是，本文的独特切入角度在于将显式的、粗粒度的里程碑统一到推理和训练两个阶段。与之前的层次化方法（如VSC-RL）依赖潜在表示和脆弱的RL公式不同，我们的方法避免了潜在抽象和噪声模拟，将推理建立在显式的、语义可验证的里程碑基础上。与过程奖励模型(PRM)依赖噪声的、不可验证的标量来估计进展不同，我们使用硬目标（显式里程碑）作为刚性语义检查点。这种方法实现了'两全其美'：既保留了连续进展跟踪，又确保了真实目标的可验证可靠性。核心原则是：'如果最终目标难以直接到达，增加到达有意义中间里程碑的概率会有所帮助。'

核心方法

本文提出的框架遵循一个简单原则：如果最终目标难以直接到达，增加到达有意义中间里程碑的概率会有所帮助。整个系统包含三个核心组件：1)自动故障分析器，用于系统地诊断现有智能体的失败模式；2)推理时的动态里程碑框架(Dynamic Milestoning)，通过实时规划增强专有模型；3)MiRA (Milestoning your Reinforcement Learning Enhanced Agent)，一个使用密集里程碑奖励信号的RL训练框架。技术路线从故障分析开始，发现'中途卡住'是最主要的失败模式（占比42%-49%），然后通过子目标生成将高级意图分解为可验证的中间检查点。在推理时，智能体通过回顾性反思机制动态跟踪子目标完成状态；在训练时，使用双评论家架构（价值评论家和潜在评论家）提供密集的塑形信号。

本文的核心创新点在于统一了显式里程碑在推理和训练两个阶段的应用，这是与已有方法的本质区别。传统层次化方法如VSC-RL依赖潜在表示和脆弱的RL公式，而过程奖励模型(PRM)依赖噪声的、不可验证的标量。我们的方法通过'硬目标'替代'软奖励'：使用显式里程碑作为刚性语义检查点，而不是学习到的噪声信号。具体来说：1)在推理时，动态里程碑框架使智能体在行动前'思考'，通过自反思机制验证子目标完成状态；2)在训练时，潜在评论家P_ψ(s,g)学习预测基于子目标完成的进展分数，提供密集的塑形奖励r'_t = r_t + α[P_ψ(s_{t+1},g) - P_ψ(s_t,g)]。这种设计既保留了连续进展跟踪，又确保了真实目标的可验证可靠性。

方法步骤详情

方法分为四个主要步骤：1)子目标生成：使用教师模型Gemini-2.5-pro，基于高级任务描述和当前Web状态生成子目标，通过迭代上下文学习策略优化生成质量。2)推理时动态里程碑：智能体在每个时间步t进行回顾性反思，查询历史交互轨迹来回答三个问题：'我已经完成了哪些里程碑？''我是否完成了当前子目标？''我应该实现哪些未来里程碑？'通过自动评分器(LLM-as-Judge)验证子目标状态，维护二进制子目标向量z_{i,t}。3)MiRA训练：使用双评论家架构，价值评论家V_φ(s,g)建模最终任务成功概率，潜在评论家P_ψ(s,g)作为密集进展模型。通过线性插值将离散子目标完成事件转换为连续进展标签p*_t，训练潜在评论家回归这些标签。4)迭代策略精化：通过失败驱动的课程学习，智能体从失败中生成更难的任务分布，逐步扩展能力边界。

技术新颖性

本文的技术新颖性体现在多个方面：首先，将显式里程碑统一到推理和训练两个阶段，这在之前的工作中没有先例。其次，提出双评论家架构，其中潜在评论家专门学习基于子目标的进展函数，与价值评论家互补。第三，使用MSE回归目标(公式8)替代KL散度进行策略优化，支持完全离线的学习设置，能够从多样化的经验池中高效学习。第四，开发了自动故障分析器，能够系统地诊断智能体失败模式并定位关键决策步骤。第五，通过'间隙锚定'技术，将最后一个子目标的完成锚定到轨迹结束，确保潜在评论家学习单调递增的价值函数。这些创新共同构成了一个完整的框架，解决了Web智能体长期规划中的多个关键挑战。

实验结果

实验结果表明，本文方法在WebArena-Lite基准测试上取得了显著改进。在开源模型中，Gemma3 + MiRA (12B)实现了43.0%的平均成功率，大幅超越WebRL基线(35.1%)和DigiRL (33.3%)。在专有模型中，Gemini-SGO方法将基础Gemini-2.5-pro模型的成功率从23.0%提升到32.1%，绝对提升约10个百分点。特别值得注意的是，在复杂领域如Gitlab (56.7%)和Shopping Admin (54.3%)中，模型必须遵循严格的程序依赖关系，纯粹稀疏奖励方法往往无法捕获这些依赖，而MiRA通过密集的子目标信号显著提升了性能。消融研究证实了每个组件的必要性：移除潜在评论家性能下降到约35%，移除双鲁棒优势估计早期阶段性能崩溃到约25%，使用KL散度替代MSE目标最终只能达到约33%。故障分析显示，MiRA将'中途卡住'错误率从基线的约33%降低到约21%，证明了基于势能的奖励塑形有效平滑了优化景观。

查看结构化数据

任务	指标	本文	基线	提升
WebArena-Lite整体	平均成功率(SR)	Gemma3 + MiRA: 43.0%, Gemini-SGO: 32.1%	WebRL: 35.1%, GPT-4-Turbo: 17.6%, GPT-4o: 13.9%	相比WebRL提升7.9个百分点，相比GPT-4-Turbo提升25.4个百分点
Gitlab领域	成功率(SR)	Gemma3 + MiRA: 56.7%, Gemini-SGO: 50.0%	WebRL: 43.3%, GPT-4-Turbo: 16.7%	相比WebRL提升13.4个百分点
Shopping Admin领域	成功率(SR)	Gemma3 + MiRA: 54.3%, Gemini-SGO: 37.1%	WebRL: 40.0%, GPT-4-Turbo: 14.3%	相比WebRL提升14.3个百分点

局限与改进

论文承认的局限性包括：1)子目标生成依赖教师模型Gemini-2.5-pro的质量，如果教师模型在某些领域表现不佳，子目标质量会下降；2)潜在评论家的训练需要大量的探索轨迹，收集这些数据成本较高；3)框架在'冷启动'场景中可能表现不佳，即当第一个里程碑就难以达到时，塑形信号保持沉默，优化回退到稀疏奖励机制。此外，论文观察到MiRA减少了'中途卡住'错误，但'错误终止'错误相对增加（上升到约31%），这表明智能体发展出了尝试终止动作的偏差，即使没有完全信心。从我的观察来看，框架的复杂性较高，涉及多个组件的协调训练，这可能限制其在资源受限环境中的应用。此外，论文主要在WebArena-Lite上评估，该基准只有165个任务，可能无法完全代表真实世界的多样性。

独立分析的弱点

基于独立分析，本文存在几个弱点：1)子目标生成的可解释性不足：虽然论文验证了子目标与最终成功的相关性，但没有深入分析子目标失败的原因和模式，这限制了进一步优化。2)计算开销：推理时的动态里程碑机制需要额外的LLM调用进行子目标验证，增加了推理延迟。论文提到动态分配计算资源，但没有详细分析不同任务复杂度下的计算成本。3)泛化能力验证不足：论文主要在WebArena-Lite上评估，该基准只包含5个网站类别，缺乏对新领域的泛化能力验证。4)子目标粒度固定：框架使用固定的子目标粒度，没有根据任务难度动态调整，可能导致简单任务过度分解或复杂任务分解不足。改进方向包括：开发自适应子目标粒度调整机制，引入轻量级的子目标验证模型减少计算开销，以及在更多样化的基准上评估泛化能力。

未来方向

论文提出的未来研究方向包括：1)里程碑合成：从启发式提示过渡到可学习或层次化的子目标生成器，能够动态调整里程碑粒度以适应知识稀缺领域。2)塑形机制精化：探索非线性进展估计，考虑不同子目标的难度差异，而不是统一处理。3)信号退火策略：子目标作为临时'预热'脚手架，随着训练进展逐渐撤回，确保最终策略依赖真实任务目标而不是过度优化辅助奖励。基于本文成果，可延伸的研究方向包括：将框架扩展到多模态Web任务（结合视觉和文本信息），开发跨领域的迁移学习机制，以及探索自演化智能体的递归改进能力。论文还暗示了完全自包含、自改进循环的可行性，未来的系统可以自主地持续扩展能力而无需人工干预。

复现评估

论文提供了较好的复现条件：1)代码和数据：虽然论文没有明确提到开源，但详细描述了实验设置、超参数和训练协议，包括SFT检查点、学习率、折扣因子等关键参数。2)数据可用性：使用WebArena-Lite基准，该基准是公开可用的，包含165个任务和5个网站类别。3)计算资源：论文提到使用Google DeepMind的计算资源，对于普通研究机构可能构成障碍，但核心算法可以在较小规模上复现。4)复现难度：中等偏高。框架涉及多个组件（故障分析器、子目标生成器、双评论家、迭代训练），需要协调训练。论文提供了详细的算法描述（算法1和2），但一些实现细节（如提示工程、超参数选择）可能需要额外调整。建议复现者首先实现简化版本（仅使用潜在评论家），再逐步添加其他组件。

基于子目标驱动的框架：提升大语言模型智能体的长期规划能力 A Subgoal-driven Framework for Improving Long-Horizon LLM Agents