多模态AI智能体的前瞻性规划 Anticipatory Planning for Multimodal AI Agents
两阶段RL框架训练多模态Agent前瞻性规划能力，在7个基准上显著提升长视界任务性能
前置知识
多模态智能体
多模态智能体是指能够同时处理和理解多种类型输入（如文本、图像、音频等）的人工智能系统。在本文的上下文中，特指能够感知视觉界面（如GUI截图）、理解自然语言指令，并执行操作（如点击、调用工具）的智能体。这类智能体通常结合视觉-语言模型作为核心，通过观察当前状态（如屏幕截图）来决定下一步行动。它们的工作模式通常是一个感知-推理-行动的循环：先观察环境，理解任务要求，规划行动序列，然后执行操作并更新状态。
这是理解本文的基础。TraceR1框架正是针对传统多模态智能体的局限性进行改进，传统智能体大多是反应式的，只关注当前状态，而本文引入前瞻性规划能力。如果不理解多模态智能体的基本工作机制（如何观察环境、如何决策、如何执行），就无法理解作者提出的两阶段强化学习框架的创新之处。
前瞻性轨迹规划
前瞻性轨迹规划是指智能体在执行当前动作之前，先预测未来多个步骤的完整动作序列，但不实际执行这些后续步骤，只是作为前瞻来指导当前决策。这类似于人类在下棋时会考虑如果我这样走，对手可能那样走，然后我再这样走的思考过程。具体到本文的TraceR1框架，在时间步t，智能体接收当前观察st和交互历史τ1:t-1，然后预测一个未来的轨迹序列hat_τt:T，其中hat_at是动作类型，hat_gt是步骤指令。有趣的是，只有第一个预测动作被执行，后续步骤只是用来评估整体规划的一致性。
这是本文的核心创新点。与传统的单步决策或反应式方法相比，前瞻性规划让智能体能够考虑动作的延迟效应和累积后果，从而做出更符合长期目标的全局最优决策。这是理解TraceR1与现有方法本质区别的关键，也是论文标题Anticipatory Planning所指的核心概念。
群体相对策略优化（GRPO）
GRPO是一种强化学习算法，用于优化策略网络的参数。它通过比较一组（群体）采样轨迹的回报，计算相对优势，然后使用优势函数来指导策略更新。数学上，策略πθ的更新目标为∇θJ(θ) = E_hat_τ[hat_A(hat_τ, τ*) ∇θ log πθ(hat_τ|u, st, τ1:t-1)]，其中hat_A(hat_τ, τ*)是从奖励R(hat_τ, τ*)计算出的归一化群体相对优势。GRPO的一个重要特性是它不需要显式的价值函数来估计优势，而是直接从同一组采样轨迹的相对性能中推断优势，这使得训练更简单且稳定。
这是本文使用的核心训练算法。TraceR1的两个阶段都使用GRPO进行优化，理解GRPO有助于理解作者如何设计奖励函数和更新策略。特别是论文中提到的group-relative优势计算方式和KL散度正则化参数（KL coef = 0.01）等超参数设置，都是GRPO框架的一部分。
轨迹级奖励
轨迹级奖励是针对整个预测动作序列计算的奖励，而不是针对单个步骤。在TraceR1的第一阶段，作者使用轨迹级奖励来鼓励智能体生成全局一致的规划。具体来说，奖励定义为R(hat_τ, τ*) = Σt=1^T γ^(t-1) rt，其中γ∈(0,1)是时间衰减因子（论文中设置为0.8），rt是每步对齐奖励：rt = λ_align sim(hat_at, a*t) - λ_rep rep(hat_a1:t)。这里sim(·,·)测量预测动作与参考动作的对齐程度，rep(·)惩罚轨迹前缀中的重复或循环动作，λ_align和λ_rep控制这两项的强度（论文中分别设置为0.8和0.1）。这种设计确保了智能体不仅关注当前步骤的正确性，还要考虑整个序列的一致性和合理性。
这是第一阶段训练的核心机制。轨迹级奖励是TraceR1能够学习前瞻性规划的关键，它打破了传统监督学习只在单步或标记级别优化的限制。理解这个奖励函数的设计（包括时间衰减、重复惩罚、对齐度量）对于理解为什么TraceR1能够产生更稳定的规划至关重要。
基于执行的强化微调
基于执行的强化微调是TraceR1的第二阶段训练方法。在这个阶段，模型使用来自冻结工具代理的执行反馈来计算步骤级别的奖励。具体来说，给定用户指令u、当前观察st和历史τ1:t-1，模型输出(hat_at, hat_gt)，然后由工具代理执行这些动作。工具代理的输出（如点击坐标或文本响应）与真实响应进行比较，计算基于执行的奖励：r^G_t = 1[coord match]（用于锚定步骤）或r^G_t = 1[answer match]（用于工具调用步骤）。然后使用与第一阶段相同的GRPO更新规则，但将轨迹级奖励替换为基于执行的步骤奖励。这个阶段的目标是提高执行精度和鲁棒性，同时保持第一阶段学习到的前瞻性结构。
这是第二阶段训练的核心，也是论文中Grounded概念的具体体现。这个阶段的目的是将第一阶段学习到的高层次规划与低层次执行精度连接起来。理解这个阶段有助于理解为什么TraceR1不仅能够规划，还能实际执行准确的操作。这也是消融实验中移除Stage 2导致平均性能下降约6%的原因。
研究动机
现有的多模态智能体大多采用反应式的决策方式，即仅根据当前观察来决定下一步行动，缺乏对未来状态和长期目标的推理能力。这种局限性在多步骤环境中表现尤为明显，因为动作通常具有延迟和累积效应，导致智能体逐渐偏离预期任务。论文举了一个具体的例子：在AndroidWorld这样的移动任务完成基准测试中，包含116个跨20个应用的任务，反应式智能体往往需要在执行失败后反复试错，无法预先规划合理的动作序列。同样，在OSWorld-Verified（测试长视界桌面操作）和GTA（包含229个任务的多模态工具使用推理）等基准上，反应式方法的表现明显受限。从数据上看，现有的开源模型如UI-TARS-1.5-7B在OSWorld-Verified上的成功率仅为27.4%，Qwen3-VL-32B-Thinking仅为35.6%，远低于使用专有规划器的系统（如OpenAI CUA-o3达到52.5%，Claude 4.5 Sonnet达到62.9%）。这表明缺乏前瞻性推理是开源模型与专有系统之间性能差距的一个重要因素。
本文的目标是本文的目标是开发一个统一的训练框架，使多模态智能体能够习得前瞻性规划能力，从而在复杂的长视界任务中实现更稳定的规划、更可靠的执行和更强的泛化能力。具体来说，作者希望解决三个核心问题：如何让智能体在执行之前能够向前看多个步骤，预测未来的动作序列；如何确保预测的轨迹在全局上是一致的，避免反应式决策常见的短视和不连贯；如何将高层次的轨迹规划与低层次的执行精度结合起来，使智能体既能做正确的规划，又能准确地执行每个步骤。作者的最终目标是训练出一个能够像人类一样规划的智能体，先前瞻性地考虑几个步骤，然后根据反馈完善当前动作，从而在与真实世界的动态交互中保持长期的连贯性和有效性。从实验结果来看，作者的目标基本实现：TraceR1在多个基准上达到了与专有系统相当的性能，显著超越了开源基线。
与已有工作不同的是，本文的独特切入角度在于将前瞻性轨迹推理作为构建多模态智能体的核心原则，这与现有工作形成了鲜明对比。现有研究主要分为两个方向：无模型强化学习通过步骤级动作正确性和设计好的奖励来训练智能体，而基于模型的规划则为智能体配备世界模型来模拟未来动作序列和环境状态演化。然而，这两种方法都面临根本性障碍：在视觉丰富且交互复杂的环境中构建世界模型极其困难，而定义能够泛化到多样且开放任务的推理导向奖励仍然是一个开放挑战。TraceR1的突破在于它不需要构建显式的世界模型，而是通过两阶段强化学习直接训练轨迹级推理：第一阶段使用轨迹级奖励强制全局一致性，第二阶段使用执行反馈优化步骤级准确性。这种设计巧妙地避开了构建世界模型的困难，同时通过实际执行反馈解决了奖励泛化的问题。与强调执行而非规划的工作（如GUI-R1、InfiGUI-R1）不同，TraceR1纯粹关注规划能力，将执行反馈仅用于验证而非作为主要学习信号。这使得TraceR1能够更有效地学习前瞻性工具使用推理，而不是仅仅模仿局部行为。
核心方法
TraceR1采用两阶段强化学习框架来训练多模态智能体的前瞻性规划能力。整体思路是模仿人类规划的方式：先前瞻性地考虑几个步骤，形成一个完整的轨迹，然后根据实际反馈完善当前动作。技术路线上，第一阶段进行前瞻性轨迹优化，通过轨迹级强化学习训练智能体预测短视界未来的动作序列，奖励函数鼓励预测轨迹与参考轨迹之间的全局一致性。第二阶段进行基于执行的强化微调，使用来自冻结工具代理的执行反馈来优化步骤级准确性和可执行性。两个阶段都使用群体相对策略优化（GRPO）算法，但奖励定义不同：第一阶段使用轨迹级对齐奖励，第二阶段使用基于执行的步骤奖励。训练数据来自大规模多模态智能体轨迹数据集，包括GUI任务（来自AgentNet、AndroidControl、GUI-Odyssey等）和多模态工具使用任务。推理时，TraceR1在一个计划-执行循环中运作：给定当前观察，预测多步未来轨迹，只执行第一个动作，通过工具代理接收更新的环境反馈，然后为下一步重新规划。这种迭代前瞻机制允许模型在预测长期结果的同时，保持跨多样工具使用场景的执行稳定性。
核心创新点在于两阶段强化学习框架的设计，它将长期轨迹推理与基于执行的精度细化结合在一个统一的训练框架中。第一阶段和第二阶段的本质区别在于学习目标的不同：第一阶段专注于全局一致性，通过轨迹级奖励强制预测的动作序列在整体上与参考轨迹对齐，这鼓励智能体在执行之前考虑多个未来步骤，学习前瞻性推理。第二阶段专注于执行精度，通过来自工具代理的实际执行反馈来细化每个步骤的可行性，这确保了预测的每个动作都能在环境中正确执行。这种设计与现有方法的本质区别在于：现有方法通常要么只关注轨迹级推理（但缺乏执行反馈），要么只关注执行精度（但缺乏前瞻性）。TraceR1通过两阶段结构实现了两者的结合：第一阶段学习向前看的能力，第二阶段学习做对的能力。此外，TraceR1的另一个关键创新是奖励函数的设计，特别是轨迹级奖励中的重复惩罚和时间衰减因子，这些机制有效防止了智能体陷入循环或产生不稳定的长视界规划。
方法步骤详情
TraceR1方法的完整流程可以分为三个主要部分：问题formulation、第一阶段训练和第二阶段训练。首先，问题formulation定义了智能体的输入输出：在时间步t，智能体接收当前观察st和截断的交互历史τ1:t-1 = {(φ(si), ai)}_(i=max(1,t-K))^(t-1)（其中φ(si)是过去观察的抽象摘要而非原始截图），预测动作at和步骤指令gt。第一阶段训练（前瞻性轨迹优化）的目标是让智能体学习在执行之前预测未来轨迹。给定训练样本，智能体预测未来轨迹hat_τt:T。训练通过轨迹级对齐奖励优化，奖励公式为R(hat_τ, τ*) = Σ_(t=1)^T γ^(t-1) rt，其中γ = 0.8是时间衰减因子，rt = λ_align sim(hat_at, a*t) - λ_rep rep(hat_a1:t)是每步对齐奖励。这里λ_align = 0.8和λ_rep = 0.1控制动作对齐和循环预防的强度。策略πθ使用GRPO目标优化。第二阶段训练（基于执行的强化微调）的目标是细化执行精度。在这个阶段，给定，模型输出(hat_at, hat_gt)，由冻结的工具代理（如GUI执行器或可调用工具模块）执行。工具代理的输出与真实响应比较，计算基于执行的步骤奖励：r^G_t = 1[coord match]（用于锚定步骤）或r^G_t = 1[answer match]（用于工具调用步骤）。基于执行的微调遵循与第一阶段相同的GRPO更新规则，但使用基于执行的步骤奖励。推理时，TraceR1在计划-执行循环中运作：给定当前观察，预测多步未来轨迹hat_τt:T，只通过工具代理执行第一个动作，接收更新的环境反馈，然后为下一步重新规划。这种迭代前瞻机制允许模型在预测长期结果的同时保持执行稳定性。
技术新颖性
TraceR1的技术新颖性体现在多个方面。首先，这是第一个将前瞻性轨迹推理作为多模态智能体核心能力的统一训练框架。与现有工作相比，TraceR1不依赖于显式的世界模型构建，也不需要复杂的奖励工程设计，而是通过简单的两阶段强化学习实现了前瞻性规划和执行精度的结合。其次，轨迹级奖励的设计具有创新性，特别是重复惩罚和时间衰减因子的引入。论文中的消融实验（Figure 5b和5c）表明，移除重复惩罚（λ_rep = 0）或禁用时间衰减（γ = 1）都会导致性能下降，这证实了这两个组件对于稳定轨迹感知强化学习的重要性。第三，TraceR1的训练策略具有创新性：第一阶段使用完全预测（整个预测的未来序列与真实延续匹配，不执行任何动作），第二阶段使用离线执行设置（相同的每步多步预测设置，但只执行第一个预测动作）。这种完全预测加离线执行的策略使模型能够在学习前瞻性规划的同时，使用离线轨迹作为轨迹级和执行级监督的来源。最后，TraceR1在多个基准上实现了与专有系统相当的性能，这是开源模型首次在如此广泛的GUI和工具使用任务上达到这一水平，这表明前瞻性轨迹推理是一个可扩展的训练开放模型的通用原则。
实验结果
论文在7个基准测试上对TraceR1进行了全面评估，核心发现可以总结为三个方面。首先，在在线GUI基准测试上，TraceR1在AndroidWorld和OSWorld-Verified上分别达到了64.8%和41.2%的成功率，相比其基础模型UI-TARS-1.5-7B（27.4%）和Qwen3-VL-32B-Thinking（35.6%）分别提升了12.8%和15.7%，相对提升显著。这一性能与专有GPT-4.1规划器相当，表明轨迹级前瞻性推理对于长视界GUI控制具有显著优势。其次，在离线GUI基准测试上，TraceR1在AndroidControl-High、GUI-Odyssey和Multimodal-Mind2Web上分别达到75.3%、88.2%和65.3%的步骤成功率，显著超越了R1风格模型（如GUI-R1-7B在AndroidControl-High上为51.7%，InfiGUI-R1-3B为71.1%），在AndroidControl-High上超过40%，在开源GUI智能体中设立了新的最先进水平。这些增益突显了轨迹感知推理的优势，它使模型能够准确地将复杂、高层级的任务指令转换为细粒度的动作指令，实现比反应式智能体在组合GUI环境中更可靠的执行。最后，在通用工具使用场景上，TraceR1在GAIA和GTA基准上表现强劲，在GAIA上超越GPT-4o，在所有开源模型中表现最佳。与Qwen3-VL-8B相比，它在答案准确性上实现了+8.7的显著提升，反映了在三个GAIA难度级别上更强的推理一致性。在GTA上，TraceR1表现出特别高的工具执行行为（ToolAcc = 65.7%），证实了使用工具使用轨迹训练的有效性。此外，第二阶段的工具执行RFT增强了生成代码的可靠性，导致更高的CodeExec成功率（87.4%）和更稳定的答案生成。总体而言，这些结果表明TraceR1的轨迹级前瞻性推理产生了更可靠的工具使用和更连贯的决策制定，揭示了基于执行的多模态推理的统一机制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AndroidWorld（移动任务完成） | Success Rate（成功率） | 64.8% | Qwen3-VL-32B-Thinking: 61.4% | 相比Qwen3-VL-32B-Thinking提升3.4个百分点，达到开源模型中最佳性能，接近专有系统水平 |
| OSWorld-Verified（长视界桌面操作） | Success Rate（成功率） | 41.2% | UI-TARS-1.5-7B: 27.4%, Qwen3-VL-32B-Thinking: 35.6% | 相比UI-TARS-1.5-7B提升50.4%（12.8个百分点），相比Qwen3-VL-32B-Thinking提升15.7%（5.6个百分点） |
| AndroidControl-High（高层移动执行） | Step Success Rate（步骤成功率） | 75.3% | GUI-R1-7B: 51.7%, InfiGUI-R1-3B: 71.1% | 相比GUI-R1-7B提升45.6%（23.6个百分点），相比InfiGUI-R1-3B提升5.9%（4.2个百分点） |
| GUI-Odyssey（跨应用导航） | Step Success Rate（步骤成功率） | 88.2% | UI-TARS-7B: 87.0%, UI-TARS-32B: 88.6% | 与UI-TARS-7B相当，接近UI-TARS-32B（更大模型）的性能 |
| Multimodal-Mind2Web（跨任务泛化） | Step Success Rate（步骤成功率） | 65.3% | UI-TARS-7B: 63.1%, UI-TARS-32B: 64.7% | 相比UI-TARS-7B提升3.5%（2.2个百分点），接近UI-TARS-32B性能 |
| GAIA（通用AI助手） | Answer Accuracy（答案准确性） | 40.2% | Qwen3-VL-8B: 31.5% | 相比Qwen3-VL-8B提升27.6%（8.7个百分点），在开源模型中最佳 |
| GTA（通用工具智能体） | Answer Accuracy（答案准确性） | 56.7% | Qwen3-VL-8B: 49.2%, T3-Agent: 53.8% | 相比Qwen3-VL-8B提升15.2%（7.5个百分点），相比T3-Agent提升5.4%（2.9个百分点） |
局限与改进
作者承认的一个主要局限性是短视界更新只能提供局部修正，无法重塑智能体对长期可行性或任务结构的理解。具体来说，当前方法在每个步骤只预测有限的未来轨迹（T在5-10之间最佳），这意味着智能体无法真正理解长期依赖或重新规划整个任务策略。此外，从我们自己的观察来看，TraceR1仍然依赖于大规模的轨迹数据集进行训练，这些数据集的质量和多样性直接影响了模型的泛化能力。论文中使用的训练数据来自多个来源（AgentNet、AndroidControl、GUI-Odyssey等），但这些数据可能无法完全覆盖真实世界的所有场景和边缘情况。另一个潜在的局限性是TraceR1的工具代理是冻结的，这意味着执行反馈的质量完全依赖于预训练的工具代理，如果工具代理在某些任务上表现不佳，第二阶段的训练效果也会受到影响。此外，TraceR1的计算开销可能较大，因为它需要在每个步骤预测多步轨迹，这在推理时可能增加延迟和计算成本。最后，虽然TraceR1在多个基准上表现良好，但它的性能仍然低于最先进的专有系统（如OpenAI CUA-o3在OSWorld-Verified上达到52.5%，而TraceR1为41.2%），这表明在长视界规划方面仍有改进空间。
独立分析的弱点
从独立分析的角度来看，TraceR1存在几个值得改进的弱点。首先，轨迹视界长度T的选择是一个权衡：论文中的消融实验（Figure 5a）显示，增加T最初会提高任务成功率（因为模型受益于学习预测延迟结果和组织扩展的时间规划），但超过适中范围（T > 10）后，性能会明显下降。这是因为当训练时预测过长的视界时，规划器必须预测远期未来的转换，其不确定性快速积累，导致嘈杂的轨迹奖励和不稳定的信用分配。改进方向可以包括自适应视界长度机制，根据任务复杂度和当前不确定性动态调整预测视界。其次，TraceR1的奖励函数相对简单，主要基于动作类型对齐和重复惩罚，这可能无法捕捉更复杂的规划质量指标（如子目标完成度、资源效率等）。改进方向可以引入更丰富的奖励信号，如子目标奖励、效率奖励或基于语义理解的奖励。第三，TraceR1使用冻结的工具代理提供执行反馈，这意味着如果工具代理在某些任务上表现不佳，整个系统的性能也会受到影响。改进方向可以是联合训练规划器和工具代理，或者使用多个工具代理的集成来提供更鲁棒的反馈。第四，TraceR1在推理时的计算开销可能较大，因为它需要预测多步轨迹但只执行第一个动作。改进方向可以是更高效的轨迹预测方法（如压缩轨迹表示）或更智能的重规划策略（如只在状态显著变化时重新规划）。最后，TraceR1主要关注视觉GUI环境和工具使用任务，其在其他模态（如音频、视频）或环境（如物理世界、社交交互）中的适用性尚未验证。改进方向可以是扩展TraceR1到更多模态和环境，测试其泛化能力。
未来方向
作者提出的未来工作方向包括探索多轮或分层规划机制，将轨迹预测与记忆、内部状态或世界模型的更新结合起来，使智能体能够修改和巩固计划。这是当前短视界更新局限性的自然延伸。另一个有前景的方向是将该范式扩展到具身或混合工具使用环境，其中成功的行为需要跨更长的时间尺度协调感知、推理和行动。这包括物理机器人、虚拟现实或混合现实场景中的智能体。基于TraceR1的成果，我们可以延伸出更多研究方向：(1) 自适应视界机制：根据任务复杂度、当前不确定性和历史性能动态调整预测视界长度，而不是使用固定的T值。(2) 层次化规划：将长视界任务分解为多个层次（如高层目标、中层子任务、低层动作），在不同层次上应用不同粒度的前瞻性规划。(3) 记忆增强规划：引入外部记忆机制存储过去的规划经验和执行反馈，使智能体能够从长期经验中学习并改进规划策略。(4) 多智能体协作：扩展TraceR1到多智能体场景，使多个智能体能够协调它们的前瞻性规划，实现更复杂的任务。(5) 在线学习和适应：使智能体能够在执行过程中根据实际反馈动态调整其规划策略，而不仅仅依赖于离线训练。(6) 可解释性研究：研究智能体如何生成和评估前瞻性轨迹，提高规划过程的可解释性和可调试性。这些方向都有助于进一步推进前瞻性规划在多模态智能体中的应用。
复现评估
从复现评估的角度来看，TraceR1的复现难度中等。论文提供了详细的实现细节，包括训练超参数（Table 4）、奖励函数公式和训练流程。具体来说，模型从Qwen3-VL-8B-Thinking初始化，使用EasyR1框架训练。训练超参数包括学习率1×10^-6、AdamW优化器（bf16）、权重衰减0.01、全局批大小128、GRPO优势估计器、时间衰减γ=0.8、KL系数0.01等。奖励参数设置为λ_align=0.8、λ_rep=0.1、λ_format=0.1。推理使用vLLM引擎，rollout批大小512，温度1.0，top-p 0.99。然而，论文没有明确说明代码是否开源，数据集的获取方式也不清楚。训练数据来自多个来源（AgentNet、AndroidControl、GUI-Odyssey、Multimodal-Mind2Web、AgentTrek等），但这些数据集可能需要单独申请或下载。算力需求方面，论文提到使用张量并行大小2，最大批处理令牌8192，响应长度2048，这意味着需要至少2个GPU的硬件配置。训练步数为143，每个阶段的训练时间未明确说明。总体而言，如果代码和数据集可用，复现TraceR1的难度中等，主要挑战在于获取训练数据和配置足够的计算资源。论文报告的结果是3次独立运行的平均值，这表明结果具有一定稳定性。对于想复现的研究者，建议先从较小的模型和数据集开始，验证训练流程的有效性，然后再扩展到完整的设置。
论文图表
这个图包含三个子图，展示了不同的消融实验结果。图5a展示了轨迹视界长度T对AndroidWorld性能的影响。横轴是轨迹视界长度T（1、3、5、10、15），纵轴是成功率。数据显示：当T从1增加到10时，性能从较低水平逐渐上升到约75.3%；当T超过10（如15）时，性能下降到约70.3%。图5b展示了重复惩罚λ_rep对AndroidControl-High和GTA性能的影响。横轴是λ_rep值（with rep、without rep），纵轴是成功率。数据显示：移除重复惩罚后，AndroidControl-High的性能从75.3%下降到67.9%，GTA从56.7%下降到53.8%。图5c展示了时间衰减γ对AndroidControl-High和GTA性能的影响。横轴是γ值（with gamma、without gamma），纵轴是成功率。数据显示：禁用时间衰减后，AndroidControl-High的性能从75.3%下降到52.3%，GTA从56.7%下降到52.3%。
这个图表对理解论文至关重要，因为它提供了TraceR1关键设计选择的实证证据。图5a表明，训练模型向前看几步是有益的，但强迫它规划太远的未来会淹没学习信号并削弱执行期间的适应性。这支持了论文中关于T值选择的解释（T在5-10之间最佳）。图5b表明，移除重复惩罚会导致规划器表现出奖励黑客行为，通过反复发布冗余动作（如重复点击同一界面元素或重新调用相同工具）来膨胀短期奖励而不做出真正的任务进展。这损害了长视界规划中的效率和因果一致性。图5c表明，时间衰减因子进一步通过优先考虑近期正确性同时保持轨迹级一致性来减轻不稳定性，防止规划器过度拟合不确定的远期结果并产生更一致的、目标导向的规划。这些消融实验共同证实了轨迹级奖励设计的关键组件对于稳定轨迹感知强化学习的重要性。