从原始经验到技能消费：模型生成智能体技能的系统性研究 From Raw Experience to Skill Consumption: A Systematic Study of Model-Generated Agent Skills
跨五个域系统研究模型生成技能全生命周期，揭示评估器能力与执行能力无关，并提出元技能显著提升技能质量。
前置知识
语言智能体技能（Agent Skill）
从历史执行轨迹中蒸馏出来的、结构化的、可在推理时加载而不重训的过程性知识片段，通常以带有 name/description/body 的 Markdown 工件形式存在（采用 Agent Skills 开放标准）。技能封装了某领域内反复出现的工作流，使新任务能直接复用而非从头探索。
本文研究对象正是这类技能；若不理解技能是'可加载到系统提示里的过程性资产'这一抽象，就读不懂提取阶段把轨迹变成 Skill.md、消费阶段把 Skill.md 喂回智能体的两阶段设计。
技能生命周期（Experience→Extraction→Consumption）
模型生成技能的完整链路包含三阶段：经验生成（目标模型跑训练任务得到轨迹池）、技能提取（提取器模型从轨迹池蒸馏出技能）、技能消费（同目标模型在测试任务上加载技能评估增益）。本文即围绕这一生命周期分别分析每阶段的影响因素。
论文的核心组织框架就是生命周期。理解三阶段串行结构，才能定位 Section 5.1–5.3 的经验/提取/消费分析各自解决哪个子问题，以及 Section 6 的元技能究竟插入在哪一阶段（提取器系统提示）。
轨迹到技能的提取（Trace2Skill 范式）
将执行轨迹 $\tau_i$ 蒸馏为可重用模式集合 $u_i$，再通过树形层级合并把多个模式集合归并为一份结构化技能的标准流程。本文框架刻意'瘦身'为两阶段：单轨迹分析 + 层级合并，去掉所有子智能体、冲突解决、加深机制等工程 trick。
作者多次强调'极简提取框架'是实验的关键设计：去掉脚手架才能把所有差异归因到提取器模型本身的能力，而非流水线工程。读者必须意识到本文的提取器被有意压低抽象杠杆。
负迁移（Negative Transfer）与技能效用（Utility）
负迁移指加载技能后下游表现反而下降。本文定义效用 $\Delta = \text{Perf}(M|S) - \text{Perf}(M)$，并聚合为 EE（固定提取器跨目标）与 TE（固定目标跨提取器）两个互补视角。
论文最核心的实证发现就是'75% 正增益、25% 负迁移'，所有后续分析、域差异讨论、消融都建立在 $\Delta$ 这一标量基础上。理解 EE/TE 是怎么从 $\Delta$ 矩阵聚合出来的，才能解读 Table 1 中的每一行。
经验池的成败比例（Success–Failure Composition）
指训练轨迹池中成功完成任务与失败任务的占比。成功轨迹提供正向过程信号，失败轨迹揭示无效动作与死路。本文 Section 5.1 在 0%–100% 五档成功比例下采样轨迹池，是控制变量的核心操作。
这是经验生成阶段的关键变量，直接决定下游技能的可用信息。读者看到 Figure 2 中不同域的最优比例（SpreadsheetBench 偏成功、SWE-bench 偏成功、ALFWorld 偏失败）时，必须意识到这不是随机波动，而是'成功失败各自携带何种信号'的域依赖差异。
元技能（Meta-Skill）与效用校验评分标准（Validated Rubric）
元技能是把'如何生成高质量技能'这一高层准则插入提取器系统提示的提示级先验。本文从 151 对高 $\Delta$ 差距样本中自动挖掘出三条与下游效用一致的维度：失败机制编码、可操作具体性、高危动作黑名单（better-rate 64–66%）。
这是 RQ3 的核心交付物。理解它为什么胜过'通用可读性评分标准'（plausibility rubric, 7 维），是读懂 Figure 5 中 +1.55 pp vs -0.59 pp 的关键——作者论证'看起来好≠做得好'，而元技能是直接对齐下游效用的干预。
研究动机
现代语言智能体越来越依赖从历史轨迹中蒸馏出来的'技能'——结构化过程性资产——来复用经验并快速适应新任务。手工撰写技能已被多个商用平台采纳，但代价高昂、难以跟上智能体能力边界的扩展。学术界由此涌现一批模型自动生成技能的方法：Trace2Skill（分层合并 + 平行子智能体）、AutoRefine（双形式经验模式）、PRAXIS（按状态索引的过程性记忆）、ProcMem（非参数 PPO 优化）、CoEvoSkills（协同演化验证）等。然而现有评测体系严重滞后：SkillsBench 用任务种子化的人工技能，Skills-in-the-Wild 直接拉公共技能库，SWE-Skills-Bench 同样不涉及提取阶段；最接近的 SkillCraft 又把技能限制为可执行函数组合，难以推广到不以函数复用为核心的任务。后果是学界对'模型生成技能究竟是否有效、何时有效、什么决定有效'缺乏贯穿经验生成、提取、消费三个阶段的系统回答，实践者只能凭直觉挑选提取器与目标模型。
本文的目标是本文目标明确：建立一套以效用为地基（utility-grounded）的评测框架，对模型生成、领域级技能做端到端系统研究，覆盖完整的轨迹→技能生命周期，并通过跨提取器、跨目标、跨域的对照实验回答三个研究问题——RQ1 这样的技能是否稳定带来增益；RQ2 生命周期每阶段什么因素决定下游效用；RQ3 经验发现能否转化为提取阶段的可落地改进。最终交付三条洞察和一个直接插入提取器系统提示的'元技能'干预件，能在不修改管线的前提下让生成的技能质量全面提升。
与已有工作不同的是，本文的独特切入角度是把提取器与目标彻底解耦并系统扫描二者笛卡尔积：在 5 个领域（ALFWorld、SpreadsheetBench、SWE-bench-Verified、SEAL-0、BFCL-v4）×6 个目标模型（GPT-5.4/5.4-mini、Gemini-3.1-Pro/Flash-Lite、Qwen3.5-35B/9B）×5 个提取模型的网格上跑全部组合，并设计 EE/TE 两个互补聚合指标，再叠加生命周期三阶段的深度解构。这种'先全面矩阵扫描、阶段级再聚焦、最终反哺提取器'的递进式设计，既不同于 SkillBench 类只测消费阶段的微评测，也不同于 Trace2Skill 类只提出新提取方法的工程工作，填补了系统性理解的空白。
核心方法
方法采用三段式管线。直觉上：让智能体跑题得经验池，让另一模型从中提炼 Markdown 技能，再让原智能体带着技能答新题看分数。技术上：阶段 1 目标 $M$ 在域 $D$ 训练切分 $Q^\text{train}_D$ 上执行任务得到轨迹池 $T_{M,D}=\{(task_i,\tau_i,\text{outcome}_i)\}$；阶段 2 提取器 $E$ 在极简框架下做'单轨迹分析 + 层级合并'——每条 $\tau_i$ 映射到最多 $K$ 个模式 $u_i$，再以组大小 $G$ 树形合并 $U^{(\ell+1)}=\text{Merge}_E(\dots)$ 直到一个综合模式集合，最后通过结构化工具调用输出符合 Agent Skills 标准的 $S_{E,M,D}$；阶段 3 同一 $M$ 加载 $S_{E,M,D}$ 在 $Q^\text{test}_D$ 上测试，定义 $\Delta(E,M,D)=\text{Perf}(M|S)-\text{Perf}(M)$，每 cell 3 次均值并按域聚合 $\text{EE}$ 与 $\text{TE}$。
本文的核心创新有三层。第一层是评测视角创新：把技能提取/消费当作'兼容性矩阵'来扫描，而非单一基准的对比，从 EE/TE 切片出 25% 负迁移率、执行能力≠提取能力等原先被平均数掩盖的异质性。第二层是发现创新：证明技能效用不可被表面形式（4 种排版无显著差异，Friedman $p>0.34$）或文本可读性（GPT-5.4 在 151 对高 $\Delta$ 对上选对率仅 46.4%，$\delta\geq 5\text{pp}$ 的子集上跌到 15.8%）预测，文本流畅性甚至与下游效用负相关，迫使大家放弃'看上去好就是好'的捷径。第三层是干预创新：基于 151 对高差距样本自动挖掘出三条与下游效用对齐的评分维度（失败机制编码、可操作具体性、高危动作黑名单，better-rate 64–66%），整合成元技能注入提取器系统提示，使九宫格测试 9/9 全部提升，平均 $+1.55\text{pp}$，最大提升出现在 SpreadsheetBench（+2.3 到 +3.7 pp），且这一'drop-in'改动不触碰提取管线本身。
方法步骤详情
流水线六步。Step 1 切分：每域 $D$ 按 1:1 切出 $Q^\text{train}_D$（经验）与 $Q^\text{test}_D$（评估）；Step 2 经验生成：$M$ 跑 $Q^\text{train}_D$ 收集轨迹池 $T_{M,D}$，显式保留成功与失败（Section 5.1 用 0%–100% 五档比例消融）；Step 3 单轨迹分析：$E$ 对每条 $\tau_i$ 独立产出 $u_i=\{p_1,\dots,p_k\}$（成功+失败模式）；Step 4 层级合并：以组大小 $G$ 在树形结构上去重、泛化、解决冲突至 $|U^{(L)}|=1$；Step 5 结构化输出：通过工具调用转写为符合 Agent Skills 标准的 $S_{E,M,D}$（name、description、Markdown body）；Step 6 评估聚合：$S_{E,M,D}$ 注入系统提示，3 次跑测取 $\Delta$ 平均并聚合 EE/TE。元技能附加步骤在 Step 3 的 $E$ 系统提示中插入 3 维 validated rubric 描述。
技术新颖性
技术新颖性体现在四个层面。其一是评测范式上的'网格扫描'：把 6×5 提取器-目标矩阵铺满 5 个域并辅以 EE/TE 双视角聚合，把之前隐没在均值里的负迁移、跨目标异质性等问题一次性曝光；其二是机制解构上的三阶段对齐分析——回答'经验怎么配比'（Section 5.1 域依赖最优成功比例，ALFWorld 偏失败、SpreadsheetBench 偏成功、纯失败池恒为最差）、'什么样的技能算好'（Section 5.2 排除格式与可读性后锁定效用真正来源）、'谁更能消化技能'（Section 5.3 证明消费能力是目标属性而非通用能力）；其三是判别准则上的反直觉发现——文本流畅度负相关于下游效用（$\delta\geq 5\text{pp}$ 上选对率 15.8%），迫使后续工作必须以真实效用而非可读性为目标；其四是'评分标准自动挖掘 + 元技能注入'闭环：以 151 对高差距样本自动合并 7 维 raw rubric，better-rate 筛出 3 维 validated rubric，最终单一系统提示改动让 9/9 cell 提升 $+1.55\text{pp}$。
实验结果
实验覆盖 5 域 ×6 目标 ×5 提取器共 150 cell。RQ1：75% cell 正向 $\Delta$，25% 负迁移；负迁移率域依赖——SpreadsheetBench/SWE-bench-Verified 仅 13%，ALFWorld 47%。提取器–目标能力脱钩：SpreadsheetBench 上轻量 Gemini-3.1-Flash-Lite EE 最高，基线最强的 GPT-5.4 EE 排末位。最优成败比例（Figure 2）：SpreadsheetBench 偏成功、SWE-bench-Verified 偏 75%、ALFWorld 反而 25%–50% 达峰。消费侧（Figure 4）：同一强池技能 $\Delta$ 跨度大，弱池技能对部分目标造成负迁移。RQ3：unguided judge 选对率 46.4%，$\delta\geq 5\text{pp}$ 跌到 15.8%；validated rubric 让其升到 73.8%；plausibility rubric 拖慢 −0.59 pp，元技能 9/9 cell 提升 $+1.55\text{pp}$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld（具身家务规划） | 技能注入后任务成功率绝对提升 (pp) | 6 目标 × 5 提取器 TE：GPT-5.4 +4.93、GPT-5.4-mini +2.84、Gemini-3.1-Pro -0.15、Gemini-3.1-FL -1.59、Qwen3.5-35B -1.34、Qwen3.5-9B -1.69 | no-skill baseline：5.4 68.66 / 5.4-mini 52.24 / 3.1-Pro 87.56 / 3.1-FL 51.99 / 3.5-35B 57.21 / 3.5-9B 36.07 | 最优提取器对最优目标 +7.46 pp，最差组合 -3.48 pp；EE 跨目标：-0.66 / +0.62 / +1.62 / +0.42 / +0.50，是 5 个域中负迁移率最高（47%）的脆弱域 |
| SpreadsheetBench（电子表格生产力） | 任务完成率绝对提升 (pp) | TE：5.4 +9.66 / 5.4-mini +2.40 / 3.1-Pro +2.90 / 3.1-FL +3.90 / 3.5-35B +1.50 / 3.5-9B +1.46 | no-skill baseline：5.4 37.17 / 5.4-mini 29.33 / 3.1-Pro 35.83 / 3.1-FL 25.00 / 3.5-35B 23.83 / 3.5-9B 13.67 | EE 跨目标：+1.67 / +3.22 / +4.11 / +5.86 / +3.33，Flash-Lite 提取器对最强目标 5.4 注入后达 51.83，相对基线 +14.66 pp 提升，是本文亮点 cell |
| SWE-bench-Verified（真实软件工程修复） | 任务通过率绝对提升 (pp) | TE：5.4 +2.85 / 5.4-mini +2.91 / 3.1-Pro +1.76 / 3.1-FL +2.29 / 3.5-35B +2.53 / 3.5-9B +0.37 | no-skill baseline：5.4 68.40 / 5.4-mini 59.73 / 3.1-Pro 66.53 / 3.1-FL 55.47 / 3.5-35B 52.93 / 3.5-9B 33.33 | EE 跨目标：+2.45 / +2.51 / +1.62 / +3.11 / +0.91，6 目标 30 cell 中仅 4 个负迁移（约 13%），是负迁移率最低的稳定域 |
| SEAL-0（网页搜索问答） | 任务准确率绝对提升 (pp) | TE：5.4 +4.38 / 5.4-mini -0.50 / 3.1-Pro -1.04 / 3.1-FL +5.32 / 3.5-35B +2.29 / 3.5-9B +3.38 | no-skill baseline：5.4 51.24 / 5.4-mini 45.27 / 3.1-Pro 55.97 / 3.1-FL 14.93 / 3.5-35B 40.55 / 3.5-9B 33.83 | EE：+3.77 / +4.85 / -0.12 / +2.95 / +0.08；3.1-Pro 作提取器对 5.4-mini 与 3.5-9B 都带来负迁移（-3.98 / -5.72），体现域内目标异质性 |
| BFCL-v4（多轮工具调用） | 工具调用任务通过率绝对提升 (pp) | TE：5.4 +2.27 / 5.4-mini +5.15 / 3.1-Pro +2.60 / 3.1-FL +4.93 / 3.5-35B +1.26 / 3.5-9B +1.12 | no-skill baseline：5.4 51.68 / 5.4-mini 53.50 / 3.1-Pro 51.82 / 3.1-FL 41.18 / 3.5-35B 57.56 / 3.5-9B 46.78 | EE：+3.10 / +4.25 / +1.87 / +3.38 / +1.84，30 cell 中仅 4 个负迁移（约 13%）；最优提取器 5.4-mini 对 3.1-Pro 注入后达 59.38，+5.56 pp |
| Meta-skill 干预（跨 3 域 ×3 目标） | 相对原提取器 prompt 的 $\Delta$ 变化 (pp) | validated rubric 元技能 9/9 cell 全部提升，平均 +1.55 pp；最大 +3.7 pp | plausibility rubric（通用 7 维可读性准则）平均 -0.59 pp，9 cell 中 6 个变差 | SpreadsheetBench 上 3 个目标提升 +2.3 / +3.7 / +1.2 pp；SWE-bench 上 +0.4 / +1.2 / +0.9 pp；ALFWorld 上 +1.0 / +0.4 / +0.5 pp；元技能相对 plausibility rubric 平均 +2.14 pp |
| Pairwise 效用判别（151 高差距对） | LLM 裁判选对率（越高越好） | 加 validated rubric 后整体 73.8%，$\delta\geq 5\text{pp}$ 子集从 15.8% 跃升到多数被选对 | unguided GPT-5.4 裁判 46.4%（接近随机 50%），$\delta\geq 5\text{pp}$ 子集跌到 15.8%（反向） | 整体提升 +27.4 pp；揭示'文本流畅度负相关于下游效用'——可读性越好反而 $\Delta$ 越差 |
局限与改进
作者明示与可观察的局限包括：1) 提取器覆盖偏窄，Qwen3.5-9B 因无法稳定遵循结构化提取协议被排除，剩余 5 个提取器集中于 GPT/Gemini/Qwen 三家族，未纳入 Claude、Llama 等其他常用模型；2) 域数量 5 个虽然跨具身/生产力/编程/搜索/工具调用，但都是英语基准，缺乏多语言与跨模态（视觉/音频）任务；3) 元技能的有效性仅在本文 3 域 ×3 目标的子矩阵上验证，未在 Table 1 的全部 30 cell ×5 域上重做，因此 $+1.55\text{pp}$ 这一数值能否外推到 150 cell 全矩阵、能否抵抗提示注入式攻击（adversarial user 改写 skill）未给出实验；4) 评测指标全是任务性能，缺乏对技能'过程忠实度'——技能是否真在推理时被智能体读取并影响决策——的追踪，仅在 Section 5.3 用行为分析做了小样本定性考察；5) 单条技能文件而非技能库的评估，本文把 $S_{E,M,D}$ 视为单文件注入，没有触及 SkillFlow 等大规模检索场景下的多技能冲突与覆盖问题。
独立分析的弱点
独立审视可识别的弱点与改进方向：1) 评测规模与计算成本不对称——150 cell + 多次消融（Friedman 4×30、judge 151 对、success ratio 5 档 ×9）实际成本极高，且无公开账单与运行时间，复现门槛高；改进方向是发布轻量子集与回归测试集。2) 元技能仅靠'系统提示三条准则'实现，未做提示工程自动优化（如 DSPy 风格 bootstrap），其 $+1.55\text{pp}$ 可能措辞敏感；改进方向是用自动提示调优搜索表述。3) Section 5.2 只用 GPT-5.4 单裁判，未排除自评偏好（self-bias），Claude/Gemini 当裁判结论是否一致未知；改进方向是纳入多裁判取均值并报告一致性。4) 负迁移归因偏经验主义——Section 5.3 仅在两个对比目标上做行为分析，未在 25% 负迁移 cell 上做系统性溯源；改进方向是构造负迁移回归集。5) 极简提取框架可能低估真实生产管线（如 Trace2Skill 子智能体舰队）收益；改进方向是补充极简版与完整版的 head-to-head 对照。
未来方向
作者提出与基于成果可延伸的方向包括：1) 把单技能扩展到技能库场景，引入检索器并研究多技能冲突、覆盖、版本管理——这是 AgentSkillOS、SkillFlow 的研究主题，本文框架可直接套用；2) 把'元技能'做成迭代自我改进的循环，让提取器从消费侧 $\Delta$ 反馈中自动重写评分标准，而非一次离线挖掘 3 条；3) 跨语言、跨模态扩展，把 5 个英语域推广到多语言与多模态任务，验证元技能在非英语目标上是否同样有效；4) 引入技能'过程忠实度'追踪指标——技能在注意力/被引用频次上的可观测性——把评测从纯输出结果扩展到中间过程；5) 基于 RQ1 的 25% 负迁移率构建专门的负迁移回归集，把每个目标 ×提取器组合下的负迁移 cell 标注失败模式，研发能显式拒绝负迁移的提取器；6) 把 validated rubric 三个维度（Failure Mechanism Encoding、Actionable Specificity、High-Risk Action Blacklist）扩展到评分体系驱动的强化学习目标，而非仅作为提示级先验。
复现评估
复现评估：作者承诺代码开源（https://aka.ms/SkillLens），详细给出提取框架配置（单轨迹 K、合并组大小 G、字段 schema）、评测三段流程（切分、注入、3 次均值）、Friedman 检验与 151 对 pairwise 判别的统计协议。复现风险：a) 跨厂商 API 速率与价格成本合计预计超过数千美元（150 cell ×3 次 + 多次消融）；b) 部分消融（如文本格式 4×30）需批量调用 LLM 改写技能文本并复评，配额与时间都不低；c) Qwen3.5-9B 因无法稳定遵循提取协议被排除，复现者必须自建稳定性门槛；d) Friedman 检验与 pairwise judge 都依赖 GPT-5.4 作为裁判，自评偏好可能让结论偏向 OpenAI 系列模型；e) Appendix B 的具体 prompt 模板和 Figure 1 的精确提示词只在正文给出概要，完整细节需查代码仓库。综合看，复现难度为高（多厂商 API + 大规模并行调用 + 自实现评分标准挖掘），但不涉及任何模型重训，比 SkillCraft 等必须训练管线的方案更友好。
论文图表
