为长视界工具使用代理的强化学习解密：一份全面指南

系统研究长视界工具使用代理的强化学习设计空间，提出STAR框架和规模感知的训练方法

前置知识

ReAct范式

ReAct（Reasoning + Acting）是一种将推理和行动交替进行的多轮智能体工作范式。在每个时间步，模型首先生成推理轨迹来规划下一步行动，然后发出可解析的工具调用，接收环境观察后继续下一轮推理-行动循环，直到产生最终答案。这种方法将隐式的推理过程显式化，使智能体能够逐步分解复杂任务。

本文的TravelPlanner测试平台完全基于ReAct范式进行多轮工具调用和推理，理解这一范式是理解智能体如何在长视界任务中迭代规划的基础。

GRPO算法

GRPO（Group Relative Policy Optimization）是针对语言模型强化学习的优化算法，它在一个组内采样多条轨迹并计算优势值，通过对重要性采样比率进行非对称裁剪来稳定训练。具体目标函数是$J_{GRPO}(\theta) = \mathbb{E}_{q\sim\mathcal{D},\{H^{(i)}\}_{i=1}^G\sim\pi_\theta^{old}}\left[\sum_{g=1}^G\sum_{j=1}^{|H^{(g)}|} \min(\rho_j^{(g)}\hat{A}^{(g)}, \text{clip}(\rho_j^{(g)}, 1-\epsilon_{low}, 1+\epsilon_{high})\hat{A}^{(g)})\right]$，其中$\rho_j^{(g)}$是重要性采样比率，$\hat{A}^{(g)}$是组内标准化后的优势值。

本文使用GRPO作为核心强化学习算法，并对比了DAPO和ARPO等变体，理解GRPO的优化机制对于分析不同算法选择的实验结果至关重要。

课程学习

课程学习是一种模仿人类学习过程的训练策略，通过从简单到复杂的渐进式难度安排来帮助模型更有效地学习。在强化学习上下文中，课程学习通常表现为奖励函数的阶段性变化，例如从密集的细粒度奖励（如SUM）逐渐过渡到稀疏的二值奖励（如SUCCESS），在早期训练阶段提供更多指导信号，在后期阶段专注于最终目标优化。

本文的CURRICULUM奖励设计就是课程学习的应用，实验发现小模型特别受益于这种阶段性奖励设计，这是本文的核心发现之一。

研究动机

现有关于智能体强化学习的研究主要局限于短视界任务，这些任务通常只涉及单步推理或少数几轮交互。然而现实世界的智能体工作流程需要进行长视界规划，其特征是数十次工具调用和扩展的轨迹。例如在TravelPlanner测试平台上，即使是最先进的商业大模型如Kimi-K2.5，成功率也低于15%，这表明当前方法在处理复杂多约束的长视界任务时存在严重不足。现有工作通常只探索RL设计空间的有限子集，缺乏对奖励设计、数据组成、模型规模、算法选择和环境稳定性等因素如何共同塑造性能的整体视角。

本文的目标是本文的具体目标是全面解构长视界智能体RL的设计空间，通过系统性的实证研究，为不同规模的模型提供实用的、规模感知的训练方法。作者希望通过控制变量的实验，确定每个设计因素（奖励设计、模型规模、数据组成、算法选择、环境稳定性）的最佳实践，并最终得到一套可操作的训练方法，使得较小的开源模型能够在长视界工具使用任务上超越强大的专有LLM。

与已有工作不同的是，本文的独特切入角度在于采用TravelPlanner这样一个计算上可行但极具挑战性的测试平台，进行大规模的系统分解研究。与以往只关注单一算法改进或单一任务优化的工作不同，本文从五个关键维度全面解剖RL设计空间，并通过严格的单变量控制实验，揭示了不同因素之间的交互规律。更重要的是，本文发现了模型规模与设计选择的依赖关系，提出了规模感知的训练方法，这是以往研究所未涉及的视角。

核心方法

STAR（Synthesis, Training, And Reinforcement）管道是一个统一的后训练框架，专门针对长视界智能体设计。其整体思路是：首先通过数据合成生成可控难度的查询，解决训练数据稀缺问题；然后使用监督微调（SFT）让模型获得基本的任务理解和协议遵守能力，作为RL的冷启动；最后通过强化学习阶段利用环境反馈进一步优化长视界规划行为。这种方法从直觉上符合从简单到复杂的学习路径，先学会基本规则，再通过探索提升复杂决策能力。技术上，作者将rLLM框架扩展为模块化设置，能够灵活变化数据、奖励、算法和环境动态，支持系统性的实证研究。

核心创新点在于提出了规模感知的训练方法，即不同规模的模型需要不同的RL设计策略。小模型（1.5B）由于内在能力有限，需要阶段性的课程奖励（CURRICULUM）和探索密集型算法（如ARPO、DAPO）来帮助其逐步学习；而大模型（7B）具有足够的推理能力，可以直接利用密集奖励（SUM）和标准GRPO算法高效学习。另一个关键创新是发现了数据的甜蜜点——约1000个训练样本，超过这个数量会导致域外泛化能力下降，这与SFT通常需要大规模数据的直觉相反。这些发现揭示了长视界RL与传统短视界RL的根本差异。

方法步骤详情

STAR管道包含三个顺序阶段。第一阶段数据合成：首先采样原子旅行元素（出发地、目的地、日期），在沙盒中验证其可行性以确保存在真实解；然后使用GPT-OSS-120B和DeepSeek-V3.2-Exp等强模型通过反向翻译生成自然语言查询；按照约束数量和类型将查询分类为easy、medium、hard三个难度级别。第二阶段SFT：使用DeepSeek-V3.2-Exp-Thinking在5000个合成查询上执行ReAct推理，通过严格的Success过滤和格式检查保留1198条高质量轨迹（平均10300个token、9.2次工具调用），用这些轨迹对Qwen2.5-Instruct系列进行监督微调，建立协议遵守但不诱导策略崩溃的初始检查点。第三阶段RL：使用GRPO算法进行优化，实施三个关键修改：去除KL惩罚并增加裁剪边界$\epsilon_{high}$以鼓励更广泛探索；严格强制协议执行，格式错误的轨迹获得0奖励；超长处理排除在损失计算之外但保留在优势标准化中以维持统计稳健性。通过模块化设置系统变化数据、奖励、算法和环境动态。

技术新颖性

技术新颖性体现在多个方面：首先，这是首个针对长视界工具使用智能体的系统性设计空间分解研究，涵盖了五个正交维度并提供了大规模实证证据；其次，发现的规模感知现象揭示了模型内在能力与RL设计选择之间的依赖关系，挑战了'一套参数适用所有模型'的通用假设；第三，识别出RL数据规模的甜蜜点现象，与SFT的规模定律形成鲜明对比，深化了对RL与SFT不同学习机制的理解；第四，环境稳定性研究引入了真实世界的API失败模拟，为实际部署提供了重要见解；最后，STAR管道本身作为一个开源框架，为研究社区提供了可复用和可扩展的工具包。

**Figure 2**: Overview of the TravelPlanner testbed.

**Figure 3**: Overview of the STAR pipeline and the experimental design space.

实验结果

本文通过严格控制的实验得出了七个关键发现。第一，奖励设计是规模依赖的：小模型受益于阶段性课程奖励，1.5B模型使用CURRICULUM奖励达到34.9%的成功率，高于其他奖励类型；而7B模型可以直接利用密集的SUM奖励，达到62.8%的最高成功率，纯稀疏的SUCCESS奖励在任何规模下都不是最优选择。第二，过度密集的奖励会对域外泛化产生对齐税：7B模型使用SUM奖励时域内性能最优，但平均OOD准确率显著落后于SFT检查点，而半稀疏的MACRO奖励在保持域内竞争力的同时保持了泛化能力。第三，扩大模型规模一致地改善长视界性能，从1.5B到7B，在SUM奖励下成功率从33.1%提升到62.8%，提升幅度近一倍。第四，RL数据扩展存在甜蜜点：训练数据从100增加到1000个提示时，域内成功率从37.5%快速提升到49.9%，同时平均OOD分数达到35.0%的峰值；但进一步扩展到2000个提示时，域内成功率仅微增至50.8%，而OOD泛化显著下降到32.2%。第五，平衡的数据难度防止奖励稀疏并实现复杂约束的掌握：仅在简单数据上训练达到79.7%的Commonsense Macro分数但无法处理复杂约束；仅在困难数据上训练导致性能崩溃；混合配置（4:3:3的easy:medium:hard比例）同时提供简单任务维持密集奖励信号和复杂任务教授高级约束满足，达到49.9%的最高整体成功率。第六，复杂探索的必要性与模型能力负相关：1.5B规模下，ARPO和DAPO分别达到37.5%和36.9%的成功率，显著超过GRPO的30.1%；但在7B规模下，GRPO达到最高的62.8%成功率，超过DAPO的58.4%和ARPO的58.3%。第七，智能体对温和环境噪声具有韧性，但在高不稳定性下性能明显下降：3B模型在训练失败率≤5%时保持相对稳定的测试性能；但当失败率达到10%时，环境不稳定性引入明显挑战，最终测试成功率显著下降，所有指标都出现下降。

**Table 1**: In-domain performance (%) across reward designs on the TravelPlanner test set.

**Table 2**: Out-of-domain performance (in %) on the knowledge-intensive QA benchmarks.

**Table 3**: In-domain performance (%) across data difficulty compositions on the TravelPlanner test set.

**Table 4**: Performance (%) and training efficiency across different RL algorithms on the TravelPlanner test set.

**Figure 1**: Performance on the TravelPlanner test set. Our RL-trained models significantly outperform both their SFT counterparts and leading LLMs.

**Figure 4**: Performance across model scales on the TravelPlanner test set.

**Figure 5**: Performance across different training data quantities on the TravelPlanner test set.

**Figure 6**: Training dynamics and test performance of the 3B model under varying environmental failure rates.

查看结构化数据

任务	指标	本文	基线	提升
TravelPlanner（域内）	Success Rate（成功率）	STAR-7B (SUM) = 62.8%	Kimi-K2.5 < 15%	超过4倍提升
TravelPlanner（1.5B模型）	Success Rate	STAR-1.5B (CURRICULUM) = 34.9%	SFT = 6.9%	提升5.1倍
Natural Questions（OOD）	Accuracy	STAR-3B (CURRICULUM) = 41.0%	Search-R1 = 34.1%	提升6.9个百分点
HotpotQA（OOD）	Accuracy	STAR-7B (CURRICULUM) = 48.4%	Search-R1 = 37.0%	提升11.4个百分点
2WikiMultiHopQA（OOD）	Accuracy	STAR-7B (MACRO) = 38.3%	Search-R1 = 41.4%	略低于基线
Bamboogle（OOD）	Accuracy	STAR-7B (MACRO) = 52.8%	Search-R1 = 36.8%	提升16个百分点

局限与改进

作者承认的局限性包括：（1）模拟环境限制：虽然TravelPlanner是一个具有挑战性的测试平台，但仍然是模拟的。在现实世界场景中评估智能体会使其暴露于多样化、不可预测的动态中，更真实地反映其实际处理开放任务的能力。（2）有限的域外评估：目前的域外评估仅限于知识密集型QA任务，这限制了结论对单域泛化的适用性，智能体的跨域鲁棒性很大程度上未被探索。（3）未知的大型LLM行为：由于计算约束，研究专注于高达7B参数的模型，规模感知的方法如何转换为大型LLM的行为仍然是一个开放问题。（4）任务特定的分解和单因素分析：为了确保受控比较，主要隔离单个轴，留下了所有维度之间复杂的、同时的交互未探索。此外，奖励设计依赖于任务特定的、轨迹级别的公式化，整合任务无关的设计或细粒度的步骤级奖励可能更好地缓解长视界任务中的稀疏奖励挑战。独立观察到的局限性包括：方法针对特定任务（旅行规划）进行了优化，在其他类型的长视界任务（如代码编写、网页导航）上的适用性需要进一步验证；训练过程依赖于高质量的教师模型生成轨迹，这可能成为瓶颈；环境稳定性研究只模拟了工具失败，没有考虑API延迟变化、部分响应损坏等更复杂的现实世界问题。

独立分析的弱点

独立分析的弱点包括：第一，任务特定性过强，虽然STAR框架模块化设计使其可以扩展到其他任务，但实验完全基于TravelPlanner，其工具集、约束类型和评估协议都是为旅行规划定制的。对于其他长视界任务如代码调试、网页导航或GUI操作，最优的奖励设计、数据组成和算法选择可能完全不同，需要重新进行设计空间探索。改进方向是在更多样化的任务上进行验证，建立跨任务的通用原则。第二，奖励设计仍然相对粗糙，SUM、MACRO、SUCCESS和CURRICULUM都是轨迹级别的奖励，没有考虑步骤级别的细粒度指导。对于长视界任务，步骤级别的奖励（如部分完成的子目标）可以更好地缓解信用分配问题，特别是在极端稀疏的情况下。改进方向是设计更细粒度的奖励函数，例如检测关键里程碑并提供中间奖励。第三，计算效率仍然有限，特别是ARPO算法需要计算每步的熵差来确定是否分支新轨迹，增加了显著的计算开销。改进方向是开发更高效的探索机制，或使用自适应策略在不同训练阶段动态调整算法复杂度。第四，泛化能力有限，虽然模型在7个知识密集型QA基准上进行了评估，但这些任务与TravelPlanner的结构差异仍然较大，真正的跨域泛化需要更多样化的测试场景。改进方向是扩展评估到更多样的任务类型，包括代码生成、多模态推理等。

未来方向

作者提出的未来研究方向包括：（1）在真实世界场景中评估智能体，使其暴露于多样化、不可预测的动态中，更真实地反映其实际处理开放任务的能力。（2）扩展域外评估到更多样化的任务类型，探索智能体的跨域鲁棒性。（3）研究规模感知的方法如何转换为大型LLM的行为，例如70B或更大参数的模型是否仍然遵循相同的规律。（4）探索多个因素的交互作用，而不是单因素分析，理解所有维度如何同时指导策略学习。基于本文成果可以延伸的方向包括：（5）设计任务无关的奖励函数，使其可以适用于不同类型的长视界任务，减少任务特定的调参成本。（6）研究细粒度的步骤级奖励，提供更好的信用分配和探索指导。（7）开发自适应的训练策略，根据模型规模、数据量和任务难度自动调整奖励设计、算法选择和超参数配置。（8）研究环境稳定性对策略鲁棒性的长期影响，开发训练时噪声注入以提高部署时的鲁棒性。（9）探索多智能体协作的长视界规划，STAR框架如何扩展到多个智能体协调的场景。（10）研究在线学习场景，模型如何在部署过程中持续适应新环境和任务。

复现评估

复现性评估：代码已开源（https://github.com/WxxShirley/Agent-STAR），STAR管道作为一个可扩展框架可供研究社区使用。数据方面，作者合成了超过10K个查询，提供了平衡的难度比例，并评估了200个采样的合成查询，确认其成功率与官方TravelPlanner验证集紧密对齐。训练使用了开源的Qwen2.5-Instruct系列（1.5B、3B、7B）作为基础模型，教师模型包括GPT-OSS-120B和DeepSeek-V3.2-Exp，这些模型都是公开可用的。TravelPlanner测试平台在本地沙盒中运行，提供了零成本、高吞吐量的模拟，确保了可扩展的RL探索。计算资源方面，1.5B和3B模型在8×A100-80G上训练，7B模型在16×A100上训练，GPU小时数从164（1.5B GRPO）到547（7B ARPO）不等。虽然需要大量计算资源，但对于有标准GPU集群的研究实验室是可行的。实现细节在附录中提供了完整的描述，包括超参数设置、数据处理管道和评估协议。总体而言，复现难度中等，主要挑战在于计算资源需求，但作者提供了充分的实现细节和开源代码，使得研究社区可以验证和扩展结果。

为长视界工具使用代理的强化学习解密：一份全面指南 Demystifying Reinforcement Learning for Long-Horizon Tool-Using Agents: A Comprehensive Recipe