SkillGate：训练长程智能体的策略内技能选择 SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents

第一步，rollout 时跨度归因：仅从 assistant 生成文本识别打开技能文件的 read 动作（观测回显不算），在训练分词器下记录调用 span $C(a)$ 与嵌套的技能名身份 span $I(a)$，对不齐则判失败而非错误记账。第二步，任务通道：计算组归一化结果优势并广播，掩码删除所有 read 调用（含函数名与路径包装），剩余即执行 token。第三步，选择通道：按“$u(a)=1$ 当且仅当 $|A(\tau_a)|=1$ 且 $a$ 读 $s^\star$”计算 $A_{\text{sel}}(a)=u(a)-\frac{1}{|A(G)|}\sum_{a'}u(a')$，不做标准差归一化以免放大小样本噪声。第四步，权重重标定：$w^{\text{task}}_t=\frac{N}{N_{\text{task}}}m^{\text{task}}_t$、$w^{\text{sel}}_t=\frac{N}{M|I(a)|}$，使两通道每批次各占总损失质量 $N$，每个被记账动作权重恒为 $N/M$、与轨迹长度无关。第五步，联合优化 $\mathcal{L}=\sum_t w^{\text{task}}_t\ell_{\text{clip}}+\lambda\sum_t w^{\text{sel}}_t\ell_{\text{clip}}+\beta\mathcal{L}_{KL}$，取 $\lambda=0.20$、$\beta=3\times10^{-5}$、学习率 $10^{-6}$，从同一 Qwen3.5-9B SFT 检查点起训 100 步。

技术新颖性体现在四点。其一，诊断新：首次在一次真实运行的训练产物上度量选择者信用饥饿，给出份额（中位 0.14%、随长度稀释 7 倍）、符号（约五分之二错号、最长档超抛硬币线）、价值（+11.2pp）三个随轨迹长度单调恶化的量化证据。其二，公式化新：现有细粒度信用方法（步级过程监督、回合级信用、工具专属奖励、反事实 token 信用）针对别的事件，没有一个把策略中途多路技能读取的身份 token 隔离成长度无关的独立损失通道。其三，机制新：删除式掩码加等质量重标定保证“删掉 read 调用”不会悄悄降低任务通道的有效学习率，选择决策的损失权重与包含它的轨迹长度无关，且每批次数值校验两个总和。其四，定位新：与 AutoTool 的 KL 正则 Plackett–Luce 排序、daVinci 的独立选择 agent 不同，SkillGate 不改技能描述也不改架构；且因效用不来自任务结果，它绕开了绑定结果奖励加权方案的不可能性结果。

第一，单读约束与多技能需求冲突：真实任务常需按序读取多个技能，而效用要求“恰好一次读”，策略可能被训练成回避合法的多读，留出集上 Action credit（65.3%）反超 SkillGate（61.2%）即是一例。改进方向是把效用从单读 oracle 推广为集合级目标，如按 oracle 集合覆盖或最小充分集记账，同时保留反杂读的动作组基线。第二，无法信用弃读：16 个候选皆不适用时正确行为是不读，但 $u(a)$ 只定义在读动作上；可引入显式“不读”动作或用（读错技能 vs 不读）负例对扩展效用表。第三，oracle 依赖昂贵的人工验证：附录 C 描述了逐一核对并修复技能正文的过程（错误端点、错误夹具假设等），可用执行轨迹通过率自动筛选 oracle 或对比合成 hard negative 以降低成本。第四，超参与规模未充分探索：$\lambda=0.20$ 等选择缺乏敏感性分析，且只测了 9B 一个规模，建议扫描 $\lambda$ 网格并复现到 3B/27B 验证规模效应。第五，单次运行使细粒度结论（如 SWE 上 +20pp）置信度有限，应多种子重复或扩大任务规模。

作者在结论中把方法定位为一般原则：当一条轨迹交织着真正不同类型的决策时，划分 token 支撑是对单个广播优势做重分配的廉价且可验证替代——这直接暗示可推广到检索决策、工具选择、计划节点等其他中途决策事件。基于本文成果可延伸的方向包括：把效用推广到读集合以支持多技能组合选择并信用弃读；让执行通道也获得过程监督类的步级信号，与选择通道互补；构建自动 oracle 验证与 hard negative 合成的自监督流水线，降低对人工标注的依赖；探索 SkillGate 与外部路由的混合，因为表 3 显示对 SkillGate 注入 oracle 仍能从 50.0% 提到 52.9%，说明选择上限尚未触及；把技能库从 2,045 条扩展到数万条，检验选择难度加大后饥饿效应与方法的鲁棒性；以及在 >16k token 的超长轨迹档位上验证长度不变加权的收益是否进一步放大。

可复现性较好。代码开源于 GitHub（DeepExperience/SkillGate），9B 模型权重发布在 HuggingFace（simonlqy/SkillGate-9B）；附录 F 完整给出 read 调用表面、选择指令与候选席条目格式，附录 A/B/C/E 详述 385 试协议、前沿模型接口控制、留出集构造与不确定性方法（任务聚类 bootstrap 50,000 次重采样）。算力需求温和：RL 仅 100 步、每 prompt 8 条 rollout、全局 batch 128、学习率 $10^{-6}$，单配置 16 张 H800 完成，学术实验室可负担。主要难点在数据构造：491 个训练任务、每任务 1 个验证过的 oracle 加 5 个误导硬负例的混合席、来自 2,045 条公共技能的旁观者采样，以及 span 归因与 fail-closed 逻辑的工程细节。低成本入口是第 4.6 节的离线审计（无需训练，只重读训练轨迹重算 GRPO 优势）或表 2 的五变体消融（各 100 步小规模），可先验证核心机制再复现完整系统。