基于验证合成数据的技能使用训练（SKT） SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation

流程分三个阶段共七个操作。阶段一技能筛选：从公开 skills.sh 库选 2000 个技能；k=1 直接采样，k>1 用组合裁判确认技能形成连贯工作流且角色互异（实验用 k∈{1,2,3}），被拒则重采样。阶段二任务合成：TaskGen 读技能填固定模板生成任务包 T（instruction、隔离 runtime、task.toml、test 评估器、solution 参考解），须可客观评分且为每个技能分配角色；随后依次过三道门——规则验证器检查组件/路径齐全、在干净工作区执行参考解须获评估器满分、检测参考值或技能规则被逐字泄漏；智能体验证器审查任务语义良好（指令清晰、信息在本地可得、可见材料不泄漏答案）并用成对 rollout（一组提供 S、一组扣留 S 比较分差）检查技能依赖；难度控制用固定求解器在 S 可用下做 $N=5$ 次 rollout，估算 $p_{pass}=\frac{1}{N}\sum_{j=1}^{N}\mathbb{1}[r_j=1]$，若 $p_{pass}\geq\theta_{easy}=0.6$ 则送回修复。失败经反馈引导修复（把规则错误/语义反馈/难度建议传给 TaskRepair，修订后从规则门重验，耗尽预算则丢弃）。阶段三轨迹合成与训练：教师模型（MiniMax-M2.5、GLM-5、Qwen3.5-397B-A17B、DeepSeek V4 Pro）在 DeepAgents/OpenCode 求解任务，规则验证器要求满分+完整终止+良构工具轨迹+显式技能访问，LLM 验证器检查每个技能在应指导动作前被查阅且影响决策并正确应用，首个通过的轨迹进入训练集；最终转为框架原生格式做掩码自回归 SFT，损失 $\mathcal{L}_{SFT}=-\sum_{t\in A(\tau)}\log p_\theta(x_t|x_{<t})$，$A(\tau)$ 含助手生成的推理/工具调用/回复 token，系统任务消息与工具观测作条件但被掩码。

技术新颖性体现在几个层面。在数据合成上，SKT 首次系统地把'多层验证+反馈引导修复+复杂度可控+技能依赖探测'组合成一条端到端流水线，使合成的任务同时满足可解性、可验证性和组合可控性，并能复用于构造留出基准 SkillEval。在训练目标上，采用掩码自回归 SFT 完整建模技能使用全过程（从定位相关指令到执行并检查技能引导的动作），而非只学最终答案。在验证设计上，用成对 rollout 量化技能依赖、用难度阈值 $\theta_{easy}=0.6$ 过滤过易任务、用反馈引导修复循环，这三者协同把数据质量推到关键门槛以上——消融显示未验证数据反而使性能下降。在评测贡献上，SkillEval 作为跨领域可执行基准（软件开发调试、数据分析与机器学习、安全、金融商业分析，100 任务，30 单技能/46 双技能/24 三技能）填补了技能使用评测空白。在实验广度上，覆盖两个骨干、两个框架、四个基准、跨框架迁移与混合训练以及技能规模缩放，提供了较完整的证据链，并首次系统回答了'SKT 学到的是可迁移的技能使用行为还是框架特定的交互协议'这一关键问题。

弱点一：增益高度依赖推理时技能可见。技能扣留时 SkillsBench/SkillEval 增益骤降到 0.53–5.69 分，模型没把技能固化进权重，部署须配技能检索且对检索失败敏感。改进方向是结合内化方法（SkillC 对比式信用分配或 SKILL0 渐进撤除）联合训练。弱点二：数据质量受教师模型与框架约束。27164 条轨迹来自 4 教师×2 框架且依赖闭源商用 API，教师受限或框架有偏都会限制分布且难精确复现；改进方向是纳入更多开源教师与框架，或用拒绝采样+DPO 提纯。弱点三：难度控制与依赖检查较粗——难度只用单一求解器 5 次 rollout、依赖检查是 bundle 级成对；改进方向是多求解器集成、细粒度单技能边际贡献分析。弱点四：评测样本小且同源——SkillsBench 77 任务、SkillEval 100 任务且由同一流水线构造，存在自评偏差风险；改进方向是引入第三方独立基准、增加运行次数降方差。弱点五：只做 SFT 未做 RL，可用 SKT 轨迹 warm-start 再接 GRPO/RLHF 突破上限。

作者隐含与显式提出的方向：扩展到更多骨干与框架、把训练数据规模从 2000 技能继续扩大（Figure 6 已显示 SkillEval 从 55.24 单调上升到 2000 技能的 72.48，收益未饱和）、把跨框架混合训练推广到更多框架的统一检查点。基于本文成果可延伸：第一，把 SKT 与技能内化方法结合，研究'先用 SKT 学会用技能、再选择性内化高价值技能'的两阶段范式，兼顾推理时依赖与权重固化。第二，将验证合成范式从技能使用推广到其他可执行可验证任务（如工具调用、代码生成、终端操作、SWE 任务）。第三，引入强化学习后训练以 SKT 轨迹为 warm-start，进一步突破 SFT 上限。第四，研究技能组合的可组合性与灾难性干扰，设计课程学习按 k 值从小到大训练。第五，把 SkillEval 扩展为动态生长的评测集，用流水线持续生成新任务以检测过拟合与分布漂移。第六，探索如何用 SKT 数据提升小模型蒸馏，使技能使用能力下沉到端侧部署模型，降低对闭源教师的依赖。

复现性中等偏上。数据侧作者开源了 SkillEval（HuggingFace: Artemis0430/skilleval-v1），训练技能来自公开 skills.sh 库，但训练用的 27164 条轨迹与 4000 个任务包是否完全开源未在正文明确（只给 SkillEval 的 HF 链接和联系邮箱）。方法侧描述清晰：三阶段流水线、三道验证门、难度公式 $p_{pass}=\frac{1}{N}\sum\mathbb{1}[r_j=1]$、阈值 $\theta_{easy}=0.6$、SFT 配方（LLaMA-Factory、1 epoch、lr $5\times10^{-6}$、cosine、3% warmup、bfloat16、batch 8、≤64k token）原则上可复现。算力与外部依赖是主要门槛：全参数 SFT 9B 模型、合成阶段调用 DeepSeek V4 Pro 等闭源 API、32k 次 rollout 筛选，且 skills.sh 生态需对齐版本，成本不低。核心实验（SFT 复现+评测）可中等难度复现，完整端到端合成复现成本较高。