基于上下文强化学习的大语言模型工具使用方法 In-Context Reinforcement Learning for Tool Use in Large Language Models
ICRL：纯RL框架实现LLM工具调用，无需SFT，渐进消除少样本提示
前置知识
GRPO (Group Relative Policy Optimization)
GRPO是DeepSeek提出的一种强化学习算法，核心思想是对同一个问题采样一组（Group）响应，然后利用组内响应的奖励相对差异来计算优势函数（Advantage），而不是像PPO那样依赖价值函数估计。具体公式为 $A_i = \frac{R(\tau_i) - \text{mean}(\{R(\tau_j)\})}{\text{std}(\{R(\tau_j)\})}$，这样可以避免训练额外的critic网络，降低训练成本。
本文采用GRPO作为核心RL算法，理解其组内相对优势计算机制是理解ICRL训练流程的基础
上下文学习 (In-Context Learning)
上下文学习是指大语言模型通过在输入提示（prompt）中包含少量示例（few-shot examples），无需更新模型参数即可学习新任务的能力。模型通过注意力机制观察这些示例中的模式，然后在新输入上复现类似行为。这是一种隐式的迁移学习，利用了模型在预训练阶段获得的元学习能力。
ICRL的核心创新就是将上下文学习与强化学习结合，在RL rollout阶段嵌入少样本示例来引导模型学习工具调用
损失掩码 (Loss Masking)
在工具增强的推理场景中，模型生成的内容会穿插外部工具返回的信息（如搜索引擎返回的文档）。这些工具返回的token不是模型自己生成的，不应该参与策略梯度更新。损失掩码技术在计算损失时将这些非模型生成的token设为0，只对模型实际生成的token计算梯度，确保优化方向不受外部固定内容干扰。
本文采用损失掩码来处理工具输出，这是将标准RL适配到工具使用场景的关键技术细节
课程学习 (Curriculum Learning)
课程学习是一种训练策略，按照从易到难的顺序逐步增加训练任务的复杂度。在ICRL中体现为渐进减少rollout提示中的示例数量：从3个示例逐步减少到2个、1个，最终到0个（零样本）。这种渐进过程让模型先通过模仿学习掌握基本的工具调用格式和策略，然后逐步学会独立执行工具调用。
ICRL的课程设计是其成功的关键因素之一，消融实验显示不同的课程设计会显著影响最终性能
KL散度正则化
KL散度 $D_{KL}[\pi_\theta \| \pi_{ref}]$ 衡量当前策略与参考策略之间的分布差异。在RL训练中加入KL惩罚项可以防止策略偏离初始模型太远，避免灾难性遗忘和训练不稳定。本文使用0.001的系数进行正则化，在保持模型原始能力的同时学习新技能。
KL正则化是RLHF类方法的标准组件，确保模型在学习工具使用的同时不丧失原有的语言生成能力
研究动机
大语言模型虽然展现出强大的推理能力，但其性能受到内部知识固有局限的制约——预训练阶段获取的知识是固定的，无法适应新的或时间敏感的信息。为了克服这一限制，研究者尝试让LLM与外部工具交互，例如生成并执行Python代码进行数学推理、调用搜索引擎获取最新内容、或调用专用辅助模型处理子任务。然而，现有的工具使用训练范式存在显著问题：主流方法采用冷启动策略，先进行监督微调（SFT）再进行强化学习（RL）。SFT阶段需要大量高质量的标注数据来训练模型掌握工具调用格式和推理流程，这些数据要么需要昂贵的人工标注，要么需要复杂的合成流程。例如O2-Searcher等方法需要先用SFT学习复杂的工具使用行为，这大大增加了训练成本和数据需求。
本文的目标是本文提出In-Context Reinforcement Learning（ICRL）框架，目标是实现一个纯强化学习的工具使用训练范式，完全摒弃SFT阶段，直接通过RL训练让LLM学会使用外部工具。具体而言，ICRL希望：第一，利用少样本上下文学习在RL rollout阶段提供软监督，引导模型学习有效的工具调用行为；第二，通过渐进减少示例数量的课程设计，让模型从模仿学习过渡到自主工具调用；第三，在不依赖任何监督数据或工具轨迹标注的情况下，达到甚至超越SFT+RL管线的性能。
与已有工作不同的是，现有方法要么依赖冷启动SFT（需要大量标注数据），要么直接从零开始RL（面临稀疏奖励和低效探索问题）。ICRL的独特切入角度在于将上下文学习与强化学习深度融合：在RL的rollout阶段嵌入少样本示例，这些示例既不消耗额外的训练数据标注成本，又能通过注意力机制为模型提供工具调用的归纳偏置。更关键的是，ICRL设计了一个渐进式课程：随着训练推进逐步减少示例数量，迫使模型将上下文示例中的行为模式内化为自身的策略。这种先借助上下文示例探索、再逐步独立自主的范式，巧妙地平衡了探索效率和自主性，填补了纯RL探索困难与SFT数据成本高之间的空白。
核心方法
ICRL的整体思路可以用一个直觉类比来理解：就像教一个学生使用新工具——先给他看几个演示案例（few-shot示例），让他观察如何一步步调用工具解决问题；然后逐渐减少演示，让他尝试自己操作；最终完全撤掉演示，让学生独立完成任务。技术路线上，ICRL将大语言模型的工具增强推理形式化为马尔可夫决策过程（MDP），其中状态是当前的上下文（包括原始问题、模型的历史推理和工具返回的信息），动作是模型生成的token（包括推理步骤、工具调用查询和最终答案），奖励则由答案准确性和格式正确性共同决定。在每个训练阶段，ICRL使用当前策略对问题采样一组响应，通过GRPO算法计算组内相对优势来更新策略参数。
ICRL的核心创新在于将上下文学习的归纳偏置与强化学习的探索能力相结合，这与已有方法有本质区别。与直接应用RL从零训练相比，ICRL通过在rollout提示中嵌入少量示例为模型提供工具调用的脚手架，避免了RL初期因缺乏工具使用能力而导致的无效探索。与SFT+RL管线相比，ICRL完全不需要标注的工具轨迹或监督数据，示例仅为简单的格式演示。最关键的区别在于课程设计：ICRL不是静态使用固定的few-shot提示，而是动态地逐步减少示例数量（从3个到2个到0个），这种渐进消除迫使模型将上下文示例中观察到的行为模式内化为自身的策略，最终实现零样本自主工具调用。
方法步骤详情
ICRL的训练过程分为多个阶段，每阶段对应不同的示例数量。以3~2~0课程为例：第一阶段，构建包含3个示例的rollout提示，格式遵循Table 1中的模板——先是系统指令说明推理和搜索的XML标签格式，然后是3个完整的示例问题-解决方案对，最后是实际待解决的问题。使用当前策略对训练集中的每个问题采样N=8个轨迹（temperature=1.0），每个轨迹中模型交替进行内部推理（标签）、工具调用（标签）和接收工具返回（标签），直到生成最终答案（标签）。对每个轨迹计算组合奖励 $r_\phi(q,y) = \alpha \cdot reward_{acc} + (1-\alpha) \cdot reward_{format}$，其中 $\alpha=0.8$，准确性奖励为精确匹配（1或0），格式奖励为1减去各项违规惩罚之和。然后利用GRPO公式计算优势值并更新策略。第二阶段，观察到模型在3-shot设置下已获得足够的工具使用能力后，暂停训练，将示例数量减少到2个，继续训练。第三阶段进一步减少到0个示例，模型在零样本设置下训练直到收敛。整个过程中使用损失掩码忽略工具返回的token，仅对模型生成的token计算策略梯度。
技术新颖性
ICRL的技术新颖性体现在多个层面。首先，这是首个将上下文学习与GRPO强化学习深度融合的工具使用训练框架，不同于传统的SFT+RL两阶段管线。其次，渐进式课程设计（progressive curriculum）通过动态调整rollout提示中的示例数量，实现了从模仿到自主的平滑过渡——消融实验表明，3~2~0的课程显著优于3~2~1~0的课程，说明过于激进的示例减少会导致模型过早停止搜索、削弱多轮推理能力。第三，复合奖励设计将答案准确性和格式正确性解耦，格式奖励的精细设计（包括缺少answer标签、标签不平衡、缺少think标签、空答案等六种违规的分级惩罚）确保模型输出结构化且可用。第四，损失掩码机制排除了工具返回内容对策略梯度的干扰，使得标准RL算法可以直接适配工具增强场景。
实验结果
ICRL在多个QA基准测试上取得了显著优于现有方法的结果。在Qwen2.5-3B模型上，ICRL的平均精确匹配（EM）准确率达到40.16%，超越最强基线Search-R1的31.10%，提升达+8.94个百分点。在多跳推理数据集上的提升尤为显著：2Wiki从31.9%提升到39.2%（+7.3），Musique从10.3%提升到20.0%（+9.7），Bamboogle从26.4%提升到33.6%（+7.2）。在Qwen2.5-7B模型上，ICRL达到49.12%的平均EM，超越ParallelSearch的41.78%（+7.34），在五个数据集中的四个上取得最佳表现（TriviaQA 75.4%、2Wiki 53.6%、Musique 26.0%、Bamboogle 48.0%）。特别值得注意的是，ICRL无需SFT即可超越需要冷启动SFT的O2-Searcher（40.16% vs 37.26%）。在14B规模上，ICRL进一步提升到51.84%的平均EM，超越CoT方法20.7个百分点。此外，ICRL在数学推理任务（AIME2024/AIME2025）上也展示了泛化能力，在AIME2025上超越SFT+RL基线ReTool 2.4个百分点（51.7% vs 49.3%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TriviaQA (Qwen2.5-3B) | Exact Match (%) | 72.6 | 57.4 (ZeroSearch) | +15.2 |
| HotpotQA (Qwen2.5-3B) | Exact Match (%) | 35.4 | 32.4 (Search-R1) | +3.0 |
| 2Wiki (Qwen2.5-3B) | Exact Match (%) | 39.2 | 31.9 (Search-R1) | +7.3 |
| Musique (Qwen2.5-3B) | Exact Match (%) | 20.0 | 10.3 (Search-R1) | +9.7 |
| Bamboogle (Qwen2.5-3B) | Exact Match (%) | 33.6 | 26.4 (Search-R1) | +7.2 |
| TriviaQA (Qwen2.5-7B) | Exact Match (%) | 75.4 | 65.2 (ZeroSearch) | +10.2 |
| 2Wiki (Qwen2.5-7B) | Exact Match (%) | 53.6 | 41.4 (Search-R1) | +12.2 |
| AIME2025 (Qwen3-8B) | Accuracy (%) | 51.7 | 49.3 (ReTool) | +2.4 |
局限与改进
本文的局限性体现在多个方面。首先，实验主要基于Qwen2.5和Qwen3系列模型，尚未在其他主流架构（如Llama、Gemma等）上验证ICRL的有效性，方法的普适性有待进一步验证。其次，ICRL使用Serper API进行实时网络搜索，这意味着训练依赖外部API的可用性和稳定性，且每次查询仅检索top-3文档，可能遗漏重要信息。第三，评估时从每个数据集随机采样最多500个问题，样本量相对有限，统计显著性有待确认。第四，ICRL虽然在平均性能上表现优异，但在某些特定数据集上并非全面领先——例如在HotpotQA上7B模型的结果（42.6%）低于ParallelSearch（42.9%），在AIME2024上低于ReTool（64.1% vs 67.0%）。第五，训练需要4块80GB A100 GPU，计算成本不低。第六，组合奖励中格式奖励的设计（六种违规的权重）可能需要针对不同任务调优，泛化性存疑。最后，论文未深入分析ICRL学到的工具调用策略的具体特征，例如模型在零样本阶段是否真的理解了何时应该搜索、何时应该直接回答。
独立分析的弱点
ICRL存在几个值得关注的弱点。第一，课程设计的敏感性较高：消融实验显示3~2~0和3~2~1~0两种课程差异巨大（例如TriviaQA上75.4% vs 20.8%），说明课程设计是一个需要仔细调优的超参数，但论文未提供系统的课程选择指南。改进方向可以是自动课程学习，让模型根据训练过程中的奖励变化自动决定何时减少示例。第二，格式奖励的权重设置（各违规项的惩罚值）是手动设定的，缺乏理论依据或自动调优机制。可以考虑引入自适应奖励权重，根据训练阶段动态调整。第三，ICRL仅使用BM25进行文档检索，没有探索更强大的检索器（如Dense Retriever）对训练效果的影响。第四，示例选择策略较简单——论文提到随机采样三个问题并用GPT-5.2生成示例，但未讨论示例质量和多样性对最终性能的影响。第五，ICRL在0-shot阶段的响应长度先下降后上升的现象虽被观察到，但缺乏深入解释和理论分析。
未来方向
基于ICRL的成果，未来研究可以在多个方向展开。作者在结论中指出ICRL可以泛化到代码执行等其他工具领域，这暗示了一个自然的扩展方向：构建统一的多工具训练框架，让模型同时学习搜索、代码执行、计算器等多种工具的使用，并学习根据任务自动选择合适的工具。另一个重要方向是将ICRL应用于更大规模的模型（如70B、100B+），探索在更强基座模型上纯RL训练的极限。此外，可以探索更先进的课程策略，例如基于模型当前能力动态调整示例数量的自适应课程。在奖励设计方面，可以引入过程奖励（process reward）来评估中间推理步骤的质量，而非仅依赖最终答案的准确性。还可以探索将ICRL与合成数据生成结合，利用强模型自动生成高质量的训练示例，进一步降低人工成本。最后，将ICRL扩展到多模态场景（如图像检索、视频理解中的工具使用）也是一个有前景的方向。
复现评估
ICRL在复现方面具有较好的条件。代码已在GitHub公开（https://github.com/applese233/ICRL），这是复现的重要基础。训练使用Natural Questions（NQ）数据集，该数据集公开可用且通过FlashRAG工具包加载，数据获取门槛低。实验使用4块NVIDIA A100 GPU（80GB显存），采用FSDP和梯度检查点优化内存，这是大多数研究机构可以获取的硬件配置。训练超参数（学习率1e-6、batch size 64、KL系数0.001、采样数8、温度1.0）均有明确说明。不过，复现仍面临几个挑战：Serper API需要付费订阅且可能有访问限制；使用GPT-5.2生成的3个示例的具体内容未公开；BM25检索器的具体实现细节（索引构建、分词等）需要进一步确认。总体而言，在有充足计算资源和API访问权限的情况下，复现难度为中等。
论文图表