EVISKILL：将智能体技能演化锚定于可回放证据 EVISKILL: Grounding Skill Evolution in Replayable Evidence
用可回放证据卡绑定技能编辑，经重放验证与跨轮传播实现LLM智能体技能可靠演化。
前置知识
LLM 智能体与交互轨迹
LLM 智能体以大语言模型为决策核心，在多步交互环境中通过交替产生动作、接收观察来完成任务，例如调用应用 API、操作居家物品或做科学实验。一条轨迹 $\tau$ 记录智能体在单个任务上的动作序列、环境观察与最终成败，是智能体行为最原始的记录。技能演化就是从大量这样的训练轨迹中提炼可复用的程序性知识。
本文的证据提取、编辑合成与重放验证全部以轨迹为原料，理解轨迹的结构（动作、观察、任务结果）是读懂'证据卡''触发区间'等核心概念的前提。
外部技能
外部技能是一份独立于模型参数、可在推理时加载进上下文的程序性指导文档，通常以 Markdown 写成，包含工具使用流程、动作顺序、领域约束与失败恢复步骤。实证研究表明高质量的技能文档能在无需微调的情况下显著提升智能体在多领域任务上的完成率，且可通过持续修订进一步获益。
EVISKILL 的全部工作对象就是这份技能文档：'编辑'指对文档的增删改操作，'技能演化'指随经验积累不断修订文档的过程，不了解技能的形态就无法理解编辑与验证的意义。
经验驱动的技能演化
指用智能体自身的交互经验（成功或失败的轨迹）自动生成并修订技能的范式：先从轨迹提取教训或补丁，再合入技能文档，最后依据任务表现决定保留与否。代表方法包括 Trace2Skill（轨迹蒸馏）、SkillGrad（文本梯度式更新）、SkillOpt（验证集引导的修订选择）、EvoSkill（失败分析驱动的迭代发现）等。
本文正是针对这一范式的两大缺陷（证据丢失、整体接受/拒绝粒度过粗）提出改进，只有理解被改进对象的工作方式，才能体会证据驱动设计的针对性。
验证集与全局验证
在技能演化中，训练集用于产生轨迹和候选编辑，独立留出的验证集用于评估候选修订是否真正更好。全局验证通常比较修订前后技能在验证集上的任务成功率 $\hat{J}_{val}(\cdot)$，只有严格提升（如 $\hat{J}_{val}(\tilde{S}_e)>\hat{J}_{val}(S^V_e)$）才接受整个修订，否则整体丢弃。
本文的关键设计是把'单个编辑的局部验证'与'整个修订的全局验证'分离。读者必须意识到全局验证只给出修订整体的粗粒度判断——这正是论文动机与被拒修订抢救机制的出发点。
轨迹回放与触发区间
回放指在环境中重新执行历史轨迹的一段行为以观察效果。许多交互环境是确定性的，可以先把源轨迹在步骤 $s$ 之前的前缀'复制'回环境以重建当时的执行状态，再让智能体在候选技能下重新执行目标片段。触发区间 $g=(x,e_g,s,t)$ 精确指定任务 $x$、第 $e_g$ 轮收集的轨迹中从第 $s$ 步到第 $t$ 步的闭区间片段。
这是 EVISKILL 验证编辑有效性的核心机制，论文标题与'可回放证据卡'中的'可回放'三字即来源于此，理解前缀重建与区间重执行是读懂方法部分的关键。
研究动机
现有经验驱动的技能演化方法把执行反馈直接转成技能编辑，存在三个具体问题。其一，从轨迹推出的编辑并不保证改善它所针对的行为：作者把 Trace2Skill 生成的编辑逐条应用后重新执行其来源任务，发现 AppWorld 上仅 55% 的编辑被接受、20% 反而降低表现，ScienceWorld 上 60% 接受、25% 被拒，ALFWorld 上 75% 接受、15% 被拒（Figure 2）。其二，整体接受/拒绝的判定粒度过粗：一个在验证集上被拒的修订可能含有有效编辑，只是收益被同修订中的其他编辑抵消；实验显示从被拒修订中挑选少量编辑保留，可在相关任务上带来 +4.16、+3.34、最高 +12.50 个百分点的提升（Figure 3）。其三，编辑所依据的执行证据与任务上下文没有被保存：原始轨迹充满任务特定细节与冗余动作，整条保存难以定位支持；激进抽象成文字教训又丢掉了可供回放检验的执行上下文。一旦错误编辑被合入技能，还会持续影响后续执行并污染之后各轮演化。
本文的目标是本文的目标是把技能演化从'经验累积'改造为'证据驱动'，同时回答三个问题：改什么、为什么这么改有依据、何时该固化为持久指导。具体而言：为每条候选编辑显式保存其支持证据（任务上下文与轨迹区间），使编辑保持可回放性；在合入技能之前通过重放直接检验编辑是否真的产生了预期行为改变，并为可修复的编辑提供反馈修正；在多轮演化中，被全局拒绝但局部有支持的编辑暂时保留、跨轮精炼，未解决的证据继续参与后续合成；最终只把通过全局验证的内容纳入最终技能，保证技能演化的每一步都有可追溯、可检验的依据。
与已有工作不同的是，本文的独特切入是让每次编辑与其支持证据显式绑定并保持'可回放性'。已有方法（Trace2Skill、SkillGrad、SkillRevise、EvoSkill）从轨迹提取修改后即与来源脱钩；SkillOpt 虽用验证集做修订级选择、把被拒编辑留作反馈，但既不保存可执行的证据上下文，也不在编辑粒度上做行为验证。EVISKILL 提出可回放证据卡 $C_i=\langle i, G_i, d_i\rangle$，用触发区间 $g=(x,e_g,s,t)$ 精确定位支持编辑的轨迹片段，从而能重建执行状态做局部重放；再以'局部重放接受 ≠ 全局验证接受'的双层判定，配合跨轮证据传播，把被拒修订中的有效部分抢救回来。'证据可追溯、行为可验证、判断可跨轮修正'这一视角是与既有工作的本质区别。
核心方法
直觉上，EVISKILL 把'改技能'当成一个需要举证、验证、复审的过程：每条修改建议必须附上证据卡，写明它来自哪些任务轨迹的哪些片段；修改是否有效不能只看文字上是否合理，而要在原环境中重放验证；一轮整体修订被拒绝不代表其中所有编辑都无效，好的编辑暂时挂账、跨轮复核。技术上分三个阶段。第一阶段证据引导的编辑合成：LLM 提取器 $f^{ext}$ 从当前轨迹与跨轮对比中提取证据卡，按语义聚类成证据窗口后由编辑器 $f^{edit}$ 合成带证据链接的候选编辑。第二阶段重放引导的编辑验证：对每个候选编辑在触发区间上重放，评估器 $f^{eval}$ 给出 accept/reflect/reject 判定与反馈，reflect 的编辑改写后再重放。第三阶段跨轮证据传播：用验证集做全局验证决定修订是否更新 Validated Skill $S^V_e$，被拒修订经'拒绝后重放'把局部有效编辑存入临时账本 $P_e$，证据卡按生命周期跨轮流转。工作技能定义为 $S^W_e = S^V_e \oplus P_e$，即最近验证技能叠加临时编辑账本。
核心创新是'可回放证据卡 + 触发区间重放 + 局部/全局双层判定 + 跨轮证据账本'的组合。与已有方法的本质区别有三。一是每条编辑保留指向源轨迹区间的持久链接 $G(u)=\bigcup_{C_i\in C(u)} G_i$，使验证从'基于轨迹外观的合理性判断'升级为'重放出来的行为效果判断'。二是判定粒度分离：全局验证只决定候选修订 $\tilde{S}_e$ 是否更新 $S^V_e$，编辑层面则靠重放逐一裁决；被拒修订中的每条编辑在 $S^V_e \oplus v$ 下单独做拒绝后重放（排除临时编辑干扰），有支持者进入 $P_{e+1}$ 继续演化，解决了'拒整体连累好编辑、收整体混入坏编辑'的问题。三是证据与编辑都有生命周期（active/protected/archived/stale），未解决的证据跨轮复用，跨轮轨迹对比还会生成对比证据卡来修正已有编辑的持续性缺陷，使技能演化成为跨 epoch 的持续过程而非单轮决策。
方法步骤详情
每轮演化 $e=1,\dots,E$（实验中 $E=4$）的流程如下。第一步采集轨迹：行动智能体 $\pi$ 用工作技能 $S^W_e=S^V_e\oplus P_e$ 在训练集 $D_{tr}$ 上每任务采一条轨迹得 $R_e$。第二步证据提取：$C^e_{traj}=f^{ext}(S^W_e,R_e)$ 从当前轨迹提取轨迹证据卡；若 $e>1$，用被跟踪编辑 $Q_e$ 的支持卡定位训练任务，取相邻两轮轨迹对 $(\tau^{e-1}_x,\tau^e_x)$ 对比提取对比证据卡 $C^e_{con}$；证据池 $C^e=C^e_{carry}\cup C^e_{traj}\cup C^e_{con}$，每张卡入池前经接地校验器核对区间有效性。第三步编辑合成：活跃卡经 Qwen3-Embedding-0.6B 编码后用 HDBSCAN 聚成 4–20 张卡的证据窗口 $B_k$，编辑器在每个窗口内合成候选编辑集 $U_e$，每条编辑 $u$ 保留支持卡 $C(u)$ 并汇总触发区间 $G(u)$。第四步重放验证：对每个 $g\in G(u)$ 复制前缀重建源状态，在 $S^W_e\oplus u$ 下重执行该片段得源-回放段对 $T_u$，评估器输出 $(r_u,h_u)=f^{eval}(S^W_e,u,C(u),T_u)$；$r_u=reflect$ 时编辑器依反馈改写为 $u'$ 并再次重放评估；被接受者与修订合并为 $U_e$，应用得候选修订 $\tilde{S}_e=S^W_e\oplus U_e$。第五步全局验证与传播：若 $\hat{J}_{val}(\tilde{S}_e)>\hat{J}_{val}(S^V_e)$ 则 $S^V_{e+1}=\tilde{S}_e$、$P_{e+1}=\varnothing$、$Q_{e+1}=P_e\cup U_e$；否则 $S^V_{e+1}=S^V_e$，对每条合并编辑 $v$ 在 $S^V_e\oplus v$ 下做拒绝后重放，接受者更新进 $P_{e+1}$；最后按结果更新卡片生命周期得 $C^e_{carry}$，$E$ 轮后冻结 $S^\star=S^V_{E+1}$ 用于测试。
技术新颖性
技术新颖性体现在四点。第一，证据表示：可回放证据卡是介于'整条轨迹'与'纯文字教训'之间的新中间表示，$d_i$ 记录修正建议、$G_i$ 保留可执行上下文，兼得紧凑性与可回放性，且一张卡可挂多个任务的区间以支持跨任务共享证据。第二，验证机制：触发区间重放只复制前缀、只重执行区间，实测把重放执行步数从 53,242 降到 18,007（证据窗口重放，降 66.18%）、从 3,863 降到 1,205（拒绝后重放，降 68.81%），避免整轨回放浪费；重放判定带反馈回路（reflect→改写→再重放）而非一票否决。第三，跨轮机制：临时编辑账本 $P_e$、被跟踪编辑 $Q_e$ 与对比证据卡构成跨轮信息通路，使未决证据持续可用、已有编辑可被持续修正，把持续学习的思想引入技能维护。第四，工程完备性：卡片生命周期管理、接地校验、编辑与账本预算等设计使系统可长时间运行而不退化。相比之下，SkillOpt 只做修订级验证选择，Trace2Skill/SkillGrad 只做提取与累积，均无行为级验证与证据生命周期管理。
实验结果
主实验在 AppWorld（测试 168 题）、ScienceWorld（211 题）、ALFWorld（134 题）上进行，覆盖六个行动模型（GPT-5.5、GPT-5.4、GPT-5.4-mini、Qwen3.6-35B-A3B、Qwen3.5-9B、Qwen3.5-4B）。EVISKILL 在 18 个模型×数据集设置中 14 个最佳、16 个进入前二；相对 NoSkill 平均提升 17.93 个百分点（GPT 家族平均 +13.00，Qwen 家族平均 +22.85），并在 17 个设置上超过固定初始技能 LLM Skill、其余 1 个持平。代表性数字：GPT-5.5 上 ALFWorld 96.27%、AppWorld 94.64%、ScienceWorld 83.41%，全面超过最强基线 SkillOpt 的 94.78%/92.86%/80.09%；GPT-5.4 上 ScienceWorld 76.78%，比最强基线 LLM Skill 的 66.35% 高 10.43 分；Qwen3.5-9B 上 ScienceWorld 37.91%，比 SkillOpt 的 22.27% 高 15.64 分。同时演化并不保证优于初始技能：GPT-5.5 ScienceWorld 上 Trace2Skill 65.40%、EvoSkill 54.50%、SkillGrad 67.30% 均低于 LLM Skill 的 76.78%，而 EVISKILL 升至 83.41%。消融（GPT 三模型平均）显示去掉重放使三数据集分别降 2.49/4.56/2.85 分，去掉跨轮传播分别降 1.49/4.16/1.11 分。机制分析（18 次运行、72 轮）：候选编辑首次重放通过率仅 ALFWorld 79.3%、AppWorld 58.2%、ScienceWorld 57.5%，说明轨迹推出的编辑近半需要拦截；reflect 编辑经反馈修正后挽回率为 100%/81%/91%；96 条被拒修订中的保留编辑有 72.9% 最终进入 Validated Skill；23.0% 的证据卡在至少两轮被复用；48 张对比证据卡指向的 29 条编辑谱系中 69.0% 产生重放接受的修正。效率上每 100 次训练 rollout 的验证增益为 3.77，高于 EvoSkill 的 1.55 与 SkillGrad 的 0.84。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScienceWorld（GPT-5.5） | 任务成功率 % | 83.41 | 最强演化基线 SkillOpt 80.09；LLM Skill 76.78 | +3.32 / +7.11 pp |
| ScienceWorld（GPT-5.4） | 任务成功率 % | 76.78 | 最强基线 LLM Skill 66.35（SkillOpt 仅 63.03） | +10.43 pp |
| ScienceWorld（Qwen3.5-9B） | 任务成功率 % | 37.91 | SkillOpt 22.27 | +15.64 pp（相对 NoSkill +29.38 pp） |
| ALFWorld（GPT-5.5） | 任务成功率 % | 96.27 | SkillGrad 95.52；LLM Skill 94.03 | +0.75 / +2.24 pp |
| AppWorld（GPT-5.5） | 任务成功率 % | 94.64 | SkillOpt 92.86；LLM Skill 94.05 | +1.78 / +0.59 pp |
| 全部 18 个模型×数据集设置 | 相对 NoSkill 平均提升 | +17.93 pp（14/18 最佳、16/18 前二） | 各演化基线（部分低于 LLM Skill） | GPT 家族 +13.00 pp、Qwen 家族 +22.85 pp |
| 技能演化效率（18 格公共子集） | 每 100 次训练 rollout 的验证集增益 | 3.77 | EvoSkill 1.55；SkillGrad 0.84 | 约 2.4× / 4.5× |
| 重放开销（触发区间 vs 整轨） | 重放执行步数 | 18,007（窗口重放）+ 1,205（拒绝后重放） | 整轨回放 53,242 + 3,863 | -66.18% / -68.81% |
局限与改进
作者承认的局限隐含在结果分析中：AppWorld 上优势不够一致（六个模型中三个第一或并列第一、一个第二、两个仅超 NoSkill），说明 API 编排类任务上各方法差距缩小；四轮预算结束时仍有 27.1% 的保留编辑未观察到晋升，长期价值未知；对比证据卡指出的 9 条编辑谱系中 7 条在 ScienceWorld 上未得到可接受的修正，说明'发现缺陷'不等于'能修好'；重放接受只保证局部行为支持，最终仍依赖全局验证把关。我自己的观察有四点：其一，整套演化机制（提取器、编辑器、评估器）固定使用 GPT-5.5 中等推理档，即使行动智能体是 4B 小模型，系统成本与能力上限仍被大模型绑定，弱模型能否自举演化未被测试；其二，触发区间重放依赖'前缀复制可精确重建环境状态'，这只在 ALFWorld、ScienceWorld、AppWorld 这类确定性模拟环境成立，对有真实副作用、随机性或无法快照的网页/API 环境不适用；其三，每轮要在整个验证集上完整评估候选修订，加上平均 376 次训练 rollout，验证开销大，且反复在同一验证集上做选择存在过拟合风险；其四，多项关键预算（账本 16 条、每编辑最多 3 个重放区间、拒绝后重放最多 15 个实例、卡两次拒绝即标记 stale）为经验设定，敏感性未报告。
独立分析的弱点
独立分析的弱点与改进方向：第一，环境可回放性假设过强——真实网页操作、发邮件、下单等不可逆场景无法复制前缀重放，可改为影子环境/沙箱重放，或对不可回放环节改用反事实模拟与模型自评；第二，LLM 评估器担任重放裁判存在判定噪声与自我偏好，且三个核心角色都用同一个强模型，可引入多裁判投票、跨模型交叉评审或蒸馏小模型裁判以降本；第三，全局验证以验证集准确率严格提升为门槛，编辑数量多时信号稀疏且噪声大，可引入分组验证、编辑级信用分配或统计显著性检验替代单点比较；第四，证据池按轮流转但规模可观（四轮输入分别为 1,074/1,277/1,073/1,163 张卡，ScienceWorld 单卡平均挂 12.48 步证据），长程演化下存储与检索成本会上升，可加入证据压缩与分层索引；第五，HDBSCAN 合并阈值 0.58、窗口 4–20 卡、账本容量 16 等超参未做消融，跨域迁移时可能需要自动调节；第六，技能是单一 Markdown 文档，编辑之间可能语义冲突——Figure 16 显示新旧启发式冲突导致重放反复失败，可引入编辑依赖图与冲突检测，在合成阶段主动排查矛盾条款。
未来方向
作者在结论中强调维护'建立—检验—修订'的循环；在此基础上可延伸：把演化轮数从 4 轮扩大，研究保留编辑晋升动态的收敛性与长期收益；将证据卡与编辑谱系导出为可移植资产，研究强模型演化出的技能向弱模型迁移、跨智能体共享技能库；把重放验证与强化学习结合，用重放接受率作为编辑级奖励信号做更细粒度优化；在非确定性环境中研究证据的统计化（多轨迹支持度与置信度）；自动调度重放预算与验证频率以最大化每 rollout 增益；把框架推进到软件工程、网页导航等有外部副作用的真实场景，探索'近似回放'（状态重查、模拟器重建）。Figure 17 的跨轮修正案例还提示可以做'编辑的持续回归测试'：每次修订后自动重放历史触发区间，防止新编辑破坏既有能力，这类似软件工程中的回归测试思想在技能维护上的落地。
复现评估
复现条件较好。代码已开源（github.com/Zhouyaner/eviskill）；三个基准均为公开环境，数据划分直接采用官方切分并核查无重叠（AppWorld 90/57/168，ScienceWorld 96/48/211，ALFWorld 96/48/134）；行动模型含 GPT-5.5/5.4/5.4-mini 三个 API 模型与 Qwen3.5-4B/9B、Qwen3.6-35B-A3B 三个开源权重模型（温度 0.7，GPT 用 medium reasoning，Qwen 用非推理配置），演化机制固定用 GPT-5.5 medium 档。附录 C 给出完整算法伪代码、证据卡/编辑的结构化表示（append/insert after/replace/delete 等操作类型）、HDBSCAN 超参（min_cluster_size=4、min_samples=2、窗口 4–20、合并阈值 0.58）、各类预算与生命周期规则，附录 H 提供五个核心提示模板，附录 D 说明两个预实验的流程。算力上主要是 API 调用与环境交互：每次运行平均 376 次训练 rollout、4 轮演化、4 个并行环境 worker、每任务限 50 步（ScienceWorld 用任务特定上限，回退 100 步），重放执行约 1.9 万步/运行，无 GPU 训练需求。难度中等：环境搭建与提示工程有工作量，LLM 裁判与 API 波动会带来结果方差，但全程不更新参数，整体门槛低于典型 RL/微调工作。
论文图表
上下对照两种范式。上图（经验驱动）：任务轨迹经编辑器直接产生编辑，仅靠全局验证决定整体接受或整体丢弃。下图（证据驱动）：轨迹先经提取器变成证据卡，编辑与证据显式链接，经局部验证与全局验证双层把关，被拒修订中的证据与编辑可跨轮保留复用。
一图看懂论文的核心立场转变：从'经验直接转编辑'到'证据先于编辑、验证先于合入'，是理解全文动机的钥匙。
把 Trace2Skill 生成的编辑逐条应用后重新执行其来源任务的结果分布：AppWorld 55% 接受 / 25% 反思 / 20% 拒绝，ScienceWorld 60% / 15% / 25%，ALFWorld 75% / 10% / 15%。大量经验-derived 编辑未能改善甚至损害目标行为。
这是动机研究之一，用数据证明'从轨迹推出编辑 ≠ 行为改进'，直接支撑重放验证的必要性。
从被全局拒绝的修订中挑选部分编辑保留后，相关任务上的准确率提升：ALFWorld 86.46%→90.62%（+4.16pp）、AppWorld 63.54%→66.88%（+3.34pp）、ScienceWorld 83.33%→95.83%（+12.50pp）。
动机研究之二，证明被拒修订中仍藏有有效编辑，支撑跨轮保留机制（临时编辑账本）的设计。
四个代表性骨干（GPT-5.5、GPT-5.4、Qwen3.5-9B、Qwen3.5-4B）在三个基准上的主结果，含相对 NoSkill 的变化 ΔNS。EVISKILL 在所列 12 格中全部最佳或并列最佳，如 GPT-5.5 ScienceWorld 83.41%（SkillOpt 80.09）、GPT-5.4 ScienceWorld 76.78%（最强基线 66.35）、Qwen3.5-9B ScienceWorld 37.91%（SkillOpt 22.27）。
核心结果表，支撑'证据驱动带来广泛收益'与'演化不保证优于初始技能'两个主要观察。