TRACE：能力目标化智能体训练 TRACE: Capability-Targeted Agentic Training

TRACE的完整流程包括四个步骤。步骤1（对比能力识别）：给定从基础智能体在目标环境 $E$ 中收集的数据集 $D = \{(x_i, \tau_i, r_i, y_i)\}_{i=1}^N$，首先按成功标签 $y_i$ 将 $D$ 分割为成功和失败子集 $D^+$ 和 $D^-$。分析智能体检查轨迹中的工具调用、工具结果和最终响应，归纳候选能力字典 $C$，每个能力 $c \in C$ 分配固定名称和自然语言描述。然后分析智能体使用这个固定字典系统评估数据集，对每个轨迹 $\tau_i$ 和能力 $c \in C$ 预测标签 $\ell_c(x_i, \tau_i) \in \{NA, PRESENT, LACKING\}$，其中NA表示能力不必要，PRESENT表示能力被行使，LACKING表示能力必要但未被行使。计算每个能力在成功和失败轨迹上的错误率 $ER^+(c)$ 和 $ER^-(c)$，定义对比差距 $\hat{\Delta}(c) = ER^-(c) - ER^+(c)$ 和失败轨迹覆盖度 $Cov(c)$，保留满足 $\hat{\Delta}(c) \geq \delta$ 且 $Cov(c) \geq \rho$ 的能力集合 $C^*$，实验中设置 $\rho = 0.10$、$\delta = 0.20$。步骤2（环境合成）：对每个保留的能力 $c \in C^*$，生成智能体使用能力描述和失败模式合成完整训练环境 $E^s_c$，包括种子任务生成器 $G_c$、转换逻辑和评估准则，同时保留目标环境的工具模式、状态表示和策略约束。步骤3（通过强化学习获取能力）：对合成环境族 $\{E^s_c\}_{c \in C^*}$，冻结基础策略 $\pi_\theta$，为每个能力训练独立的低秩适配器 $\Delta_c$，使用GRPO优化，在每次迭代中 $\pi_\theta + \Delta_c$ 在 $E^s_c$ 中生成 $G$ 组rollouts，每组内的 $K$ 个轨迹共享相同种子，通过组内归一化计算轨迹级优势 $\hat{A}_{g,k} = \frac{r_{g,k} - \bar{r}_g}{\sigma_g + \epsilon}$，然后使用截断代理目标更新适配器。步骤4（组合获取的能力）：给定任务实例 $x$，提供基础策略 $\pi_\theta$ 路由提示 $M_x$，包含任务提示 $o_1$ 和候选能力列表，每个能力分配离散标签token（如A、B、C），附加自然语言描述和从对应合成训练环境中采样的一个成功轨迹来说明如何行使能力。通过选择 $\pi_\theta$ 分配给 $M_x$ 中标签token的下一个token logits中最大值的候选 $c^*$ 来确定激活的适配器，如果 $t_{base}$ 获得最高分则使用未修改的基础策略 $\pi_\theta$，否则检索对应适配器 $\Delta_{c^*}$，对每个适配层形成新权重 $W' = W + B_{c^*} A_{c^*}$。

TRACE的技术新颖性体现在三个方面。第一，提出了基于对比轨迹分析的自动化能力识别框架，通过计算对比差距和失败覆盖度来筛选高影响力的能力缺失，这比现有的通用合成数据方法更精准地定位模型特定的失败模式。第二，设计了能力目标化合成环境的概念和构造方法，确保每个合成环境隔离单个能力，使奖励信号比原始环境更密集且更可归因。第三，采用了训练free的路由策略，使用冻结的基础策略从任务描述中选择最相关的适配器，避免了将多个能力合并到单一检查点的性能下降问题。实验表明，仅用2-4个LoRA适配器就能在τ2-Bench上将性能提升9.2%，每个适配器只更新5.3%的模型参数。

从独立分析角度看，TRACE有几个可以改进的弱点。第一，能力识别过程依赖于对比差距 $\hat{\Delta}(c) = ER^-(c) - ER^+(c)$ 和覆盖度 $Cov(c)$ 的阈值选择（$\delta = 0.20$、$\rho = 0.10$），这些阈值在不同环境中可能需要调整，缺乏自适应机制。改进方向可以是学习阈值或使用基于统计显著性的选择标准。第二，环境合成过程依赖LLM生成，但缺乏对生成环境的自动验证机制，可能导致合成环境与目标能力不完全匹配。改进方向可以是添加环境验证步骤，通过测试智能体在合成环境中的行为来确保环境确实隔离目标能力。第三，路由策略只选择单一适配器，对于需要多个能力的任务可能不够灵活。改进方向可以是探索多适配器组合或软加权策略，虽然传统合并方法表现不佳，但可能存在更好的组合策略。第四，方法假设不同能力可以独立学习，忽略了能力之间的潜在交互。改进方向可以是建模能力依赖关系，在学习某些前置能力后再学习依赖能力。第五，实验只在两个基准上验证，缺乏在不同类型环境中的广泛测试。改进方向是在更多样化的环境中评估，如代码生成、网页导航、机器人控制等。

作者提出的未来工作方向包括探索更复杂的路由策略，如LoRA专家混合，其中路由动态选择或软组合专家。作者指出这些路由方法与TRACE的简单训练free策略正交，可以被整合以潜在进一步提升性能。基于TRACE的成果，可以延伸出多个研究方向。第一，扩展能力识别方法，不仅从轨迹中识别缺失能力，还可以从人类反馈或专家示范中学习能力定义，使能力识别更准确。第二，改进环境合成，使用更先进的技术生成更真实的合成环境，如通过学习目标环境的分布模型来生成任务实例。第三，探索能力层次结构，将复杂能力分解为子能力，构建能力图谱，使训练更加结构化和可解释。第四，研究能力迁移，将在一个环境中学到的能力迁移到相关环境，减少新环境的训练开销。第五，将TRACE与在线学习结合，使智能体能够在与真实环境交互时持续识别和获取新能力。第六，探索能力组合策略，虽然传统合并方法表现不佳，但可能存在基于学习或优化的组合策略，能够更好地融合多个能力。

论文提供了代码链接（https://github.com/ScalingIntelligence/TRACE.git），声称代码可用，但未明确说明开源协议和代码完整性。实验使用Qwen3-30B-A3B-Instruct-2507作为基础智能体和模拟器，使用4-8个A100-80GB GPU进行分布式训练，使用梯度检查点和分布式数据并行。训练超参数包括AdamW优化器（学习率 $10^{-5}$）、每个能力最多40次迭代、rollout收集时采样温度1.0。评估设置包括贪心解码（温度0.0）、最大上下文长度32,000 tokens、每集最多50个交互步骤。论文在附录中提供了方法的完整技术细节，包括GRPO算法的完整公式、评估指标的正式定义、合成环境示例、生成提示等。然而，论文未提供合成环境的具体实现细节、能力识别的具体提示模板、以及不同超参数选择的影响分析。此外，论文未报告训练时间、GPU小时数或计算成本，使得评估计算需求变得困难。总体而言，论文提供了较好的复现基础，但仍有改进空间，特别是在计算资源报告和实现细节方面。