技能自博弈：用协同进化的技能库推动大模型能力前沿 Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills

每轮迭代（共5轮）严格按Algorithm 1执行。第一步，Skill Router按$\sigma$平衡exploitation（高产技能）与exploration（探索奖励），采样技能$s\sim S^{(t)}$，Proposer用技能流$\pi_{propose}^{(t)}(\cdot|s)$和开放探索流$\pi_{propose}^{(t)}(\cdot|\emptyset)$各生成一批候选$(x,c)$；工具调用场景$K=10$条probe。第二步，对每条候选做有效性验证：技能流需通过schema合规、技能验证器$\nu$、probe一致三重检查，探索流省略技能验证。第三步，对通过校验的候选用$K$条rollout估计$v_{solve}$，结合有效性mask算gated reward $R_{propose}$。第四步，构造训练池$\mathcal{D}^{(t)}=Top_{\alpha M}\{T_{skill}^{(t)},R_{propose}\}\cup Top_{(1-\alpha)M}\{T_{explore}^{(t)},R_{propose}\}$，其中工具调用$M=8000$、推理$M=1920$、$\alpha=0.5$；Solver按$R_{propose}$排序选top-M难度任务用GRPO更新5/15步（工具调用）/3/10步（推理）。第五步，更新技能统计$\sigma$并执行进化：剪枝$S_{prune}^{(t)}=\{s:\mathbb{E}[R_{propose}]<\gamma_{prune}\}$、归纳$T_{induce}^{(t)}=\{(x,c)\in T_{explore}:R_{propose}\geq\gamma_{induce}\}$再用控制器$\pi_{control}$抽象出新技能并通过Integrity(完整性)与Novelty(新颖度)过滤，最终$S^{(t+1)}=(S^{(t)}\setminus S_{prune}^{(t)})\cup S_{new}^{(t)}$。

技术新颖性体现在四个方面。第一，把技能从'推理时执行接口'升级为'训练时任务合成接口'，让结构化引导与可执行验证随自博弈课程共同进化，这是与Lu et al. 2026等仅在推理时用技能的工作的关键差异。第二，gated curriculum reward $\mathbb{1}\{\cdot\}\cdot(1-2|v_{solve}-0.5|)$从数学上把'质量门'与'难度目标'解耦，从源头阻断reward hacking，避免了纯medium-difficulty奖励下生成病态不可解合约的退化。第三，双流混合策略（技能流提供高质量但可能过专、探索流提供多样性但噪声大）配合混合比$\alpha$，既保真又保广，消融实验显示纯技能流会在API-Bank上掉点（Figure 4b）。第四，技能库的连续生命周期管理——平均每轮归纳约20个新包、不断更新并退役旧包（Figure 5c），active skills增长到86、effective skills增长到46（Figure 6），这是把开放式探索持续蒸馏为可复用先验的工程闭环，使得在5轮迭代内整个系统不坍塌。

其一，对可执行验证器的强依赖：技能元组中的$\nu$和ZebraLogic的确定性检查器是整套质量门的核心，但在缺乏客观ground truth的开放域（如创意写作、对齐性评估、长程软件工程）很难构造等价的确定验证，改进方向是引入LLM-as-judge或辩论式弱验证并设计与之配套的置信度门控。其二，弱模型在大尺度任务上失效：Large/X-Large谜题零增益暴露了冷启动问题，改进方向是引入课程热身（warm-up）或外部强教师仅用于诱导第一轮高质量技能，再切换到纯自博弈。其三，技能归纳的语义新颖度仅用词法相似度Novelty过滤，可能漏掉语义重复或误杀表面不同实质相同的技能，改进方向是改用嵌入相似度+功能性等价测试。其四，5轮迭代、$\alpha=0.5$、$\gamma_{prune}/\gamma_{induce}$等超参敏感性未被系统分析，改进方向是引入自适应混合比与基于技能使用熵的动态阈值。

作者明确提及的方向包括：把Skill-SP作为通用evolution engine扩展到更多可验证智能体任务族，并探索其在视觉问答、深度搜索、软件工程等已被自博弈验证过的领域的迁移潜力（参见他们引用的Wang 2025、Lu 2025、Wei 2025、Zhao 2026）。基于本文成果可延伸的方向：第一，把技能库与外部检索系统结合，使跨任务、跨模态的技能可共享复用；第二，研究技能库在数十乃至上百轮迭代后的长期动力学——是趋于饱和还是持续扩展，以及如何在饱和时主动'遗忘'低价值技能；第三，把技能控制器$\pi_{control}$从基模型升级为专门的元学习模型，提升归纳质量；第四，探索多模型联邦自博弈，让不同骨干贡献不同技能子库，进一步扩大多样性。

复现友好度较高：作者已开源代码于https://github.com/Qwen-Applications/skill-self-play，并承诺在附录C/D/E中给出完整超参数、初始技能库$S^{(0)}$与正式算法。关键设置明确：GRPO、5轮迭代、$M=8000$（工具调用）/$M=1920$（推理）、$\alpha=0.5$、$K=10$、Proposer/Solver分别5/15步（工具调用）或3/10步（推理）、avg@8评测。骨干模型（Qwen3-4B/8B、Ministral-3-8B/14B、Granite-4.1-3B）均为公开权重。主要挑战在于算力：每轮需要生成大规模候选并跑$K=10$条probe、训练两条策略，5轮迭代的GPU总开销显著；此外消融变体（Unguided SP、Uniform、Frozen系列）需要分别重训，复现全表成本不低。技能库的初始内容$S^{(0)}$与各类阈值$\gamma$的具体取值若未在附录中给出，可能成为复现细节盲点。