Trace2Skill：将轨迹级经验蒸馏为可迁移的智能体技能 Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills
通过并行分析多条执行轨迹，将智能体经验归纳蒸馏为可跨模型、跨任务迁移的技能文件
前置知识
LLM Agent Skills
LLM智能体技能是一类人类可读的文档目录，通常包含一个主文件（如 SKILL.md）和若干辅助参考文件，用于编码特定领域的任务流程、操作指南和领域知识。智能体在推理时加载这些技能文件，从而获得执行特定任务的能力。例如 Anthropic 的 xlsx 技能文档指导智能体如何操作 Excel 文件。技能的关键特点是可移植性——它们不依赖于模型参数更新，而是通过 prompt 注入影响模型行为。
本文的核心目标就是自动创建和改进这类技能文件，因此理解技能的形式化定义是理解整个框架的前提。
ReAct-style Agent Loop
ReAct（Reasoning + Acting）是一种让 LLM 交替进行推理和工具调用的执行范式。智能体在每一步先进行思考（Thought），然后决定执行动作（Action），观察环境反馈（Observation），如此循环直到完成任务。本文中的智能体均采用这种范式执行任务，产生的完整推理-动作序列即为执行轨迹（trajectory）。
Trace2Skill 的输入就是智能体在 ReAct 循环中产生的执行轨迹，理解这一范式才能理解轨迹数据的结构和内容。
Skill Evolution / Deepening vs. Creation
技能进化是指利用执行轨迹来改进现有技能的过程。本文区分了两种场景：Deepening（深化）以人类编写的高质量技能为起点，通过轨迹分析进一步增强其可迁移性；Creation（创建）则从 LLM 纯参数知识生成的初始技能出发，利用轨迹经验将其改进为实用的技能文件。实验表明，人类编写的技能虽然质量高但不一定跨模型可迁移，而纯参数知识生成的技能往往缺乏实操细节。
这两种模式是 Trace2Skill 框架支持的两种核心使用场景，贯穿所有实验设置。
Trajectory-Local Lessons vs. Consolidated Skills
轨迹级经验（Trajectory-Local Lessons）是指从单条执行轨迹中提取的局部经验或教训，通常针对特定任务的特定失败/成功模式。而归纳蒸馏后的技能（Consolidated Skills）则是将大量轨迹级经验通过归纳推理合并后的产物，保留了跨轨迹反复出现的模式，丢弃了仅与特定轨迹相关的偶发细节。这种从局部到全局的归纳正是人类专家学习新领域的自然方式。
理解这两种知识形式的区别是理解 Trace2Skill 核心创新的关键——它用并行归纳替代了顺序编辑，用一次性合并替代了逐条检索。
Bayesian Optimization for Patch Selection
贝叶斯优化（BO）是一种高效的黑盒优化方法，通过构建代理模型（如高斯过程）来估计目标函数，在探索和利用之间取得平衡。在本文中，BO 被用于从候选补丁集合中选择最优子集：每个候选子集被编码为二进制向量（选/不选），BO 重用之前评估过的子集的验证分数来指导后续采样，从而在组合爆炸的补丁空间中高效搜索。
BO 是本文分析部分用于验证补丁选择策略的工具，虽然不是默认方案，但揭示了补丁价值的组合性质这一重要发现。
研究动机
LLM智能体在专业化工作流（如电子表格操作、文档处理）中越来越依赖领域特定的技能文件。然而，手动编写技能无法规模化——Anthropic 官方的 xlsx 技能虽然能提升 122B 模型在 SpreadsheetBench 上的表现（Vrf 从 27.67 提升到 48.33），却反而会损害 35B 模型的表现（Vrf 从 19.00 下降到 9.67）。另一方面，纯靠 LLM 参数知识生成的技能往往缺乏实际操作中暴露的关键失败模式、变通方案和操作细节，其表现与无技能基线相当（Parametric 的 Avg 仅为 19.23，接近 No Skill 的 18.19）。现有利用执行经验进化技能的方法存在两个根本性缺陷：一是将轨迹级经验存储起来供测试时检索（如 ReasoningBank），这会将可复用知识碎片化地分散在大量记忆条目中；二是按顺序逐条编辑技能，后来的编辑依赖于之前的更新结果，不仅速度慢（Seq-B=1 需要约60分钟），还可能引入顺序依赖导致的退化。
本文的目标是本文的目标是构建一个自动化的技能进化框架，能够从大量执行轨迹中归纳提炼出跨模型、跨任务可迁移的技能文件。具体而言，框架需要支持两种场景：（1）深化现有手写技能使其更具可迁移性；（2）从弱 LLM 生成的草稿中创建实用技能。最终产出的技能应该是静态的、无需测试时检索的，可以直接加载使用。
与已有工作不同的是，本文的独特切入角度在于借鉴人类专家的工作方式——人类专家通常会审查大量执行轨迹，抽象出反复出现的模式，然后编写简洁的、跨案例可复用的操作规程。Trace2Skill 将这一过程形式化为「并行归纳推理」：不是逐条处理轨迹（顺序编辑），也不是存储每条轨迹的局部经验供检索（经验记忆），而是将所有轨迹并行分析后一次性合并为一个统一的技能目录。这种多对一的合并本质上是一种归纳推理步骤，能够保留系统性模式、丢弃偶发噪声，产出的技能既保持了普通技能文件的可移植性，又吸收了广泛的执行经验。
核心方法
Trace2Skill 的整体思路可以用一个类比来理解：想象一个新手工程师需要编写一份操作手册，他不是只看一次操作就写一条规则（顺序编辑），也不是把每次操作笔记都存起来用的时候再翻找（经验检索），而是先把所有的操作记录都看完，从中识别出反复出现的模式和规律，然后一次性写出一份精炼的手册。技术上，框架采用三阶段流水线：（1）用冻结的智能体在演化集上执行任务，收集成功和失败的执行轨迹；（2）并行地让分析器子智能体从每条轨迹中提出技能补丁；（3）将所有补丁层次化地合并为一个统一的技能目录。整个过程不需要外部进化模型或教师模型，同一个 LLM 既充当轨迹生成器、分析器，也充当合并操作符。
Trace2Skill 的核心创新是并行的多对一补丁合并机制，这与已有方法有本质区别。已有方法要么采用顺序编辑（如 XSkill、EvoSkill），每来一条新轨迹就修改一次技能，导致后面的编辑依赖前面的结果，技能质量受轨迹顺序影响，且耗时长；要么采用经验检索（如 ReasoningBank），将每条轨迹的经验单独存储，在测试时通过检索返回最相关的记忆，这需要额外的检索模块且质量受限于检索精度。Trace2Skill 的做法是：让每个分析器独立地从单条轨迹中提取补丁（并行），然后通过层次化合并将所有补一次性整合为一个更新。这种设计的关键洞察是：当多个独立轨迹中的补丁反复指向相同的改进方向时，这些重复模式就是系统性任务属性的证据，而非一次性修复；合并操作符 M 被指示优先保留反复出现的模式、丢弃特异性编辑，从而产出紧凑的技能。
方法步骤详情
第一阶段：轨迹生成。使用 ReAct 风格的执行框架，固定智能体（参数 $\theta$ 不变）加载初始技能 $S_0$，在演化集 $D_{\text{evolve}}$ 的每个任务上执行，产生轨迹 $\tau_i$，包含查询、推理/工具调用历史、最终输出和正确性标签。轨迹集合 $T$ 被分为失败集 $T^-$ 和成功集 $T^+$。第二阶段：并行补丁提案。错误分析器 $A^-$ 和成功分析器 $A^+$ 独立地从各条轨迹中提出技能补丁，产生补丁池 $P = P^- \cup P^+$。两个分析器的角色是不对称的：$A^+$ 使用单次工作流从成功轨迹中识别可复用的行为模式；$A^-$ 使用 ReAct 风格循环，可以检查轨迹和工件、与真值对比、验证修复方案后再提出补丁。因果无法解释的失败会被排除。第三阶段：补丁合并。合并操作符 $M$ 对补丁池进行层次化合并：经过 $L = \lceil \log_{B_{\text{merge}}} |P| \rceil$ 层，在每一层 $\ell$ 将最多 $B_{\text{merge}}$ 个补丁合成为一个补丁：$p^{(\ell+1)} = M_{\pi_\theta, S_0, \{p^{(\ell)}_1, \ldots, p^{(\ell)}_{B_{\text{merge}}}}$。最终的 $p^*$ 被转化为 diff 风格的编辑并应用到 $S_0$ 上，带有确定性的保护机制（拒绝编辑不存在的文件、暂挂行范围冲突、验证更新后的技能格式）。
技术新颖性
Trace2Skill 的技术新颖性体现在三个层面。首先，在框架设计层面，它是第一个将技能进化从「顺序流式处理」转变为「并行批处理」的框架，这不仅大幅提升了效率（从约60分钟缩短到约3分钟），还避免了顺序依赖导致的退化。其次，在分析器设计层面，错误分析器 $A^-$ 采用交互式的 ReAct 循环而非单次 LLM 调用，可以访问工件、查询真值、验证修复方案，从而产生更精确的根因分析补丁——实验表明这种 Agentic 分析在大多数设置下优于单次调用（Figure 4）。第三，在合并策略层面，层次化合并不仅执行去重和冲突解决，还进行归纳泛化——从独立轨迹中反复出现的编辑是系统性模式的证据，合并操作符被指示优先保留这些模式，这本质上是一种在技能层面的归纳推理。此外，同一模型既充当轨迹生成器、分析器和合并操作符（100% 自进化），不需要外部教师模型。
实验结果
实验结果全面展示了 Trace2Skill 在多个维度上的有效性。在电子表格任务上（Table 1），以 Qwen3.5-122B-A10B 为技能作者进行 Deepening +Combined，122B 用户的 SpreadsheetBench Vrf 从 48.33 提升到 69.83（+21.50），Soft 从 36.30 提升到 47.17（+10.87），WikiTQ 从 74.68 提升到 79.24（+4.56）。值得注意的是，35B 模型作者的技能也能泛化——35B Deepening +Combined 在 35B 用户上实现了最佳绝对 Avg 14.04。在 Creation 模式下，122B +Combined 在 122B 用户的 WikiTQ 上实现了 +32.32 的大幅提升。跨模型族泛化实验（Figure 3）显示，Gemma-4-31B-it 和 GPT-5.5-high 不仅能从自身轨迹中自进化，还能受益于 Qwen3.5 编写的技能——例如 GPT-5.5-high 使用 Qwen3.5-122B 的 +Combined 技能将 SpreadsheetBench-Vrf 从 52.0 提升到 78.5。数学推理实验（Table 2）显示，122B +Combined 在 122B 用户上将 AIME 从 90.4 提升到 95.9（+5.5）。DocVQA 实验（Table 3）显示，122B +Combined 在 122B 用户上将 ANLS 从 0.6300 提升到 0.8834（+0.2534），准确率从 70.27% 提升到 92.52%（+22.25）。在 PDF、PPTX、DOCX 三个更广泛的任务上，技能进化也分别带来了显著提升（PDF 从 76.9% 到 85.3%，PPTX 从 72.5% 到 88.8%，DOCX 从 79.7% 到 87.5%）。核心设计比较实验表明：并行合并在速度和质量上均优于顺序编辑（Table 4）；单一合并技能优于 ReasoningBank 式检索（Table 5）；Agentic 错误分析优于单次 LLM 调用（Figure 4）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SpreadsheetBench-Verified（电子表格编辑，200个测试问题） | Vrf（Verified pass rate） | 69.83（122B Deepening +Combined，122B 用户） | 48.33（Human-Written 技能） | +21.50 个百分点 |
| WikiTableQuestions（OOD 表格问答） | Accuracy | 79.24（122B Deepening +Combined，122B 用户） | 74.68（Human-Written 技能） | +4.56 个百分点（122B 用户）；+57.65 个百分点（35B Creation +Error，从 23.73 到 81.38） |
| AIME 2026（竞赛数学，avg@8） | avg@8 pass rate | 95.9（122B +Combined，122B 用户） | 90.4（No Skill） | +5.5 个百分点 |
| DocVQA（视觉文档问答，5299个测试样本） | ANLS（Average Normalized Levenshtein Similarity） | 0.8834（122B +Combined，122B 用户） | 0.6300（No Skill） | +0.2534（+40.2% 相对提升） |
| VRDU → VAREX（PDF 提取，OOD 迁移） | Pass rate | 85.3% | 76.9%（原始技能） | +8.4 个百分点 |
| TSBench（PPTX 编辑，OOD 迁移） | Pass rate | 88.8% | 72.5%（原始技能） | +16.3 个百分点 |
| OfficeBench DOCX 子集 | Pass rate | 87.5% | 79.7%（原始技能） | +7.8 个百分点 |
| ReasoningBank 对比（SpreadsheetBench，122B Deepening） | Vrf / Soft / Hard | 69.83 / 47.17 / 29.53（+Combined） | 56.00 / 40.10 / 21.30（ReasoningBank） | +13.83 / +7.07 / +8.23 个百分点 |
局限与改进
作者在文末坦诚地讨论了局限性。默认情况下 Trace2Skill 应用所有合并后的补丁，不做子集选择。虽然贝叶斯优化（BO）可以选择更高质量的子集（Table 6 显示 BO 在 SpreadsheetBench 指标上有提升），但其计算代价很高——每个候选子集都需要物化为一个完整的技能并在验证集上评估。验证集越大、补丁池越大，开销增长越快。作者只使用了32个问题的采样验证集，理想的验证应使用整个演化集（200个问题），但计算成本会大幅增加。此外，从我的观察来看：（1）框架依赖于一个可靠的正确性判定器来标注轨迹的成功/失败，这在某些开放域任务中可能难以获得；（2）100% 自进化意味着技能质量上限受限于演化模型本身的能力，小模型生成的补丁质量可能不如大模型；（3）实验中使用的是相对结构化的任务（电子表格、数学、文档问答），在更开放的对话或创意任务中的效果尚待验证；（4）层次化合并的超参数 $B_{\text{merge}}$ 对最终技能质量的影响未被充分探索。
独立分析的弱点
独立分析后，我认为本文存在以下几个值得关注的弱点。首先，补丁合并过程中的归纳泛化完全依赖于 LLM 的指令遵循能力，缺乏形式化的保证——合并操作符 M 被「指示」优先保留反复出现的模式，但实际合并质量难以量化评估。改进方向可以引入显式的模式频率统计或一致性投票机制。其次，错误分析器 $A^-$ 的 ReAct 循环虽然比单次调用更精确，但也引入了更多的随机性和不可控性——不同的工件检查路径可能导致不同的根因分析。可以考虑引入结构化的诊断协议来约束分析过程。第三，实验中的「正确性」是二元的（正确/错误），但实际场景中可能存在「部分正确」或「风格偏好」等更细粒度的信号，当前框架未能利用这些信号。第四，技能的可移植性主要在同族或相近族的模型间验证（Qwen、Gemma、GPT），在差异更大的模型架构（如专用小模型或非 Transformer 架构）上的迁移效果未知。
未来方向
作者提出的主要未来方向是更深入地探索组合式补丁选择策略——BO 虽然有效但计算开销大，需要开发更高效的组合优化方法。基于已有成果，还可以延伸出多个方向：（1）将 Trace2Skill 与在线学习结合，使技能能够随着新轨迹的积累持续进化，而非一次性的离线蒸馏；（2）探索技能的模块化组合——不同领域的技能能否像乐高积木一样拼接使用；（3）将框架扩展到多智能体协作场景，从多个智能体的联合轨迹中提炼协作技能；（4）研究技能的可解释性和可审计性，确保提炼出的操作规程不会引入偏见或不安全行为；（5）开发更精细的轨迹分析技术，不仅区分成功/失败，还能识别出任务难度、策略效率等更丰富的信号。
复现评估
作者承诺将开源代码以实现完全可复现性（原文：「We will also open-source the code for full reproducibility」），GitHub 仓库为 https://github.com/Qwen-Applications/Trace2Skill。在数据方面，使用的是公开数据集（SpreadsheetBench、WikiTableQuestions、HiTab、DAPO、AIME、DocVQA），不存在数据隐私问题。在算力方面，框架使用同一个 LLM 同时充当轨迹生成器、分析器和合并操作符，不需要外部教师模型，但仍然需要在演化集上执行大量轨迹（每个设置约200个任务 × 多个种子），加上 Agentic 错误分析的多轮交互，计算开销不小。并行合并的设计将技能生成时间从约60分钟（顺序编辑）缩短到约3分钟，这是工程上的显著优势。复现的主要挑战可能在于：（1）需要配置正确的工具环境（如 Python 解释器、文件操作工具）来执行 ReAct 循环；（2）Agentic 错误分析器的 ReAct 循环需要精心设计的提示模板；（3）不同 LLM 服务的 API 差异可能影响轨迹生成和补丁合并的一致性。总体而言，复现难度中等偏高。
论文图表
