从上下文到技能：语言模型能学会「巧妙地」从上下文中学习吗？ From Context to Skills: Can Language Models Learn from Context Skillfully?
提出 Ctx2Skill 框架，用多智能体自博弈从长技术上下文中自动挖掘自然语言技能，在 CL-bench 上显著提升 GPT-4.1/5.1/5.2 的上下文学习能力。
前置知识
上下文学习 (Context Learning)
指语言模型直接从给定的长文档、技术报告、实验数据等上下文中抽取新知识并据此推理的能力，与长上下文检索 (long-context retrieval) 和上下文内学习 (in-context learning) 不同——后者只需识别模式或简单查找，前者需要深度理解上下文中的规则、流程并应用到新问题上。CL-bench [12] 将其形式化为：给定上下文 C、任务集 T 和二元 rubric 集 R，仅当答案满足所有 rubric 时任务才算解决。
本文核心解决的问题就是上下文学习的失败——即便是 GPT-5.1 在 CL-bench 上也只取得 21.1% 的解决率，凸显出 '会读文档 ≠ 会用文档' 的能力鸿沟。
技能增强 (Skill Augmentation)
在推理时向 LM 的 system prompt 注入一段自然语言描述的「技能模块」，编码从历史经验中提炼的可复用过程性知识 (procedural knowledge)。技能通常以 SKILL.md 形式存在，可视为软提示 (soft prompt) 的可解释替代品。代表工作有 AutoSkill、SkillX、EvoSkill 等。
Ctx2Skill 的输出形态就是一套自然语言技能集 $S_R$，最终在推理时被 prepend 到 LM 的 prompt 中——$a_j \sim \pi(\cdot | S, C, t_j)$。理解「技能」概念是把握 Ctx2Skill 工作机制的前提。
多智能体自博弈 (Multi-Agent Self-Play)
让两个或多个 LM 智能体互为对手/协作者，通过不断生成挑战和反挑战来提升整体能力。本文用五个角色化智能体 (Challenger/Reasoner/Judge/Proposer/Generator) 构成闭环，Challenger 主动出难题，Reasoner 尝试解答，Judge 给出二元反馈，Proposer 诊断失败模式，Generator 把诊断物化为技能更新。
这是 Ctx2Skill 区别于 '单次提示生成技能' 基线 (Prompting) 的核心机制——它用对抗性自博弈代替了无反馈的单次生成，从而在没有外部 reward 的情况下也能持续改进技能。
对抗性坍缩 (Adversarial Collapse)
自博弈训练中常见的一种退化现象：随着迭代进行，Challenger 越来越擅长针对 Reasoner 当前弱点生成极端任务，Reasoner 则针对性「死记硬背」这些病态案例，导致技能过度特化、泛化能力下降。本文用 Cross-Time Replay 机制来对抗此现象。
这是本文一个独立的发现——在 GPT-5.2 上可以清晰观测到：任务级解决率从 Iter-1 的 36.1% 降到 Iter-4 的 23.0%。这一现象在传统 RL 自博弈中也有对应，但本文首次在 '无外部反馈 + 技能' 场景中系统分析并提出缓解方案。
研究动机
现役前沿大模型在「利用训练分布内的参数化知识」上能力惊人，例如 GPT-5.1 在 MATH、HumanEval 等任务上表现优异；但一旦要求模型「阅读一份从未见过的、长达 10K-65K token 的技术文档后立刻用它解题」，其能力就急剧下降。CL-bench 上的实验数据显示，即便是最强模型 GPT-5.1 的整体解决率也只有 21.1%，GPT-4.1 仅为 11.1%，GPT-5.2 反而比 GPT-5.1 还低 (18.2%)。这一现象在 Domain Knowledge Reasoning、Rule System Application、Procedural Task Execution、Empirical Discovery & Simulation 四类任务上一致存在，每一类都要求模型在阅读后做归纳、规则演绎、流程执行或实验分析，远超简单检索或表层阅读所能达到的水平。直观上，「从上下文中提炼可复用技能再用于推理」的范式 (skill augmentation) 本应非常适配这类任务，但在 context learning 场景下遇到了两个根本障碍：(1) 人工标注技能代价过高——CL-bench 的 500 份 context 平均 10.4K token、最长 65K token，技术密度高、领域跨度大，从 Data Science 到 Healthcare 到 Legal Advisory 到 Mathematical Formalism 都有，让领域专家完整阅读并写出高质量技能既不现实也不经济；(2) 缺乏外部反馈信号——与代码生成或数学题不同，context learning 没有执行反馈或 ground truth 来评判一条技能是否忠实覆盖了上下文要点，这就让 AutoSkill、EvoSkill、SkillX 等依赖反馈信号的方法完全失效。
本文的目标是本文的具体目标是构建一个名为 Ctx2Skill 的自演化框架，仅给定一份从未见过的复杂上下文 C，无需任何人工标注、无需任何外部 reward 或执行反馈，就能自动发现、精炼并选择出上下文专属的自然语言技能集 $S_R$。这套技能集在推理时可直接 prepend 到任意 LM 的 system prompt 中，从而在该上下文相关的所有未见任务上提升解决率。论文把目标形式化为 $a_j \sim \pi(\cdot | S, C, t_j)$，其中 $S$ 来自 Ctx2Skill 自动化产出、$\pi$ 是任何冻结参数的 LM。最终目标不仅是 CL-bench 上的整体数字提升，还要确保：(a) 技能可被人类阅读和审查 (b) 技能可跨模型迁移 (c) 技能生成流程本身不需要任何监督信号。
与已有工作不同的是，与已有工作的对比凸显出本文的独特切入角度。AutoSkill [44] 和 AutoRefine [30] 依赖执行反馈来评估技能好坏；EvoSkill [1]、SkillX [40]、CoEvoSkills [45] 需要任务完成 reward；SKILL0 [23]、SkillRL [43] 需要把技能内化进模型参数，因此无法应用于闭源模型且牺牲可解释性；现有「skill 库」如 Agent Skills、SKILL.md 等都靠人工撰写。Prompting baseline 表明「一次性让 LM 读上下文并生成技能」的简单做法在 CL-bench 上只带来 1.0%-1.2% 的微弱提升 (例如 GPT-4.1 从 11.1% 涨到 12.3%)，且在 Rule System Application 类别上甚至会降低性能 2.5%。Ctx2Skill 的独特之处在于：它把「技能生成」重新建模为一个无监督的多智能体对抗性自博弈——Challenger 与 Reasoner 互为镜像对手，通过失败驱动的文本编辑 (failure-driven textual edits) 而非参数更新或外部 reward 来共同进化技能，这使得它既不依赖人工，也不依赖反馈，还保持技能的自然语言可解释性。第二个独特切入是「Cross-Time Replay」机制——它把「自博弈晚期的技能退化」显式识别为 adversarial collapse 现象，并通过在历史快照中回放简单/困难探针任务、选取乘积得分最高的版本，从根本上解决了自博弈中常见的过拟合晚迭代陷阱。
核心方法
Ctx2Skill 的整体思路可以用一句话概括：让两个 LM 智能体围绕同一份上下文 C 进行 N 轮对抗性自博弈，每轮 Challenger 用其当前技能 $S_C$ 出 M 道考题 + 二元 rubric，Reasoner 用其当前技能 $S_R$ 答题，中立 Judge 给出通过/不通过的二元判定；失败案例被路由到 Reasoner 侧的 Proposer + Generator 以诊断缺失知识并物化为新技能，成功案例被路由到 Challenger 侧以收紧出题策略；N 轮结束后，再用一套「难/易探针任务集」对每个历史技能版本做回放，选出在两类任务上乘积得分最均衡的版本作为最终技能。其核心技术路线是：(1) 把 Skill $S$ 形式化为一段可注入 system prompt 的 Markdown 文档 (SKILL.md)，从而把「模型能力提升」降维为「自然语言文本编辑」问题；(2) 通过 Proposer-Generator 解耦让诊断 (高阶抽象) 与物化 (具体文本) 分工，避免单个 agent 同时做两件事时的混淆；(3) 引入 Cross-Time Replay 机制对抗自博弈后期的过特化，让最终选出的技能集对未见任务具有最好的泛化性；(4) 整个过程冻结所有 LM 参数，只更新两边的 $S_R, S_C$，因此可以无成本地迁移到任意闭源模型上。
核心创新点在于把「无外部反馈下的自动技能发现」转化为「多智能体对抗性自博弈 + 失败驱动的文本编辑」这一全新范式，它与已有方法的本质区别有三层。第一层：与 AutoSkill/CoEvoSkills/EvoSkill 等依赖 execution feedback 或 ground-truth reward 的方法不同，Ctx2Skill 完全靠「双方互为对手」来提供内生反馈信号——Challenger 不知道 ground truth，但它能「感受到」自己出的题被 Reasoner 轻松解决，于是主动调高出题难度；Reasoner 也不知道标准答案，但它能「感受到」自己答错，于是主动补齐技能——这种「互为 oracle」的设计巧妙地绕开了 context learning 缺乏外部反馈的死结。第二层：与简单 Prompting baseline (单次生成) 不同，Ctx2Skill 把技能生成变成 N=5 轮的迭代过程，每轮都有针对性的失败诊断和技能补全，这就把「一次性的整体技能抽取」分解为「多次定向的小修补」，经验上更稳定。第三层：与所有现有自博弈方法 (包括 RL 领域) 不同，Ctx2Skill 提出 adversarial collapse 概念——Challenger 与 Reasoner 越进化越走向病态相互适应，导致技能过度特化——并用 Cross-Time Replay 机制给出系统化解决方案。实验数据显示，GPT-5.2 上的自博弈 task-level 解决率从 Iter-1 的 36.1% 单调下降到 Iter-4 的 23.0%，而 Cross-Time Replay 把最终选出的技能集带来 3.2% 的整体提升 (18.2% → 21.4%)，证明这一机制不可或缺。
方法步骤详情
Ctx2Skill 的完整算法 (Algorithm 1) 包含以下步骤，每一步都有明确的输入输出：(1) 初始化：$S_R^0, S_C^0 \leftarrow \emptyset$，探针集 $Q_h, Q_e \leftarrow \emptyset$；(2) 对 $i = 1, \dots, N$ (论文中 $N=5$)：先由 Challenger $\pi_{Challenger}$ 根据 $C$ 和 $S_C^{i-1}$ 生成 $M$ (论文中 $M=5$) 个任务-配对 rubric：$\{(t_m, R_m)\}_{m=1}^M \sim \pi_{Challenger}(\cdot | C, S_C^{i-1})$；再由 Reasoner 依次作答：$a_m \sim \pi_{Reasoner}(\cdot | C, S_R^{i-1}, t_m)$；然后由 Judge 对每个 rubric 给出二元判定 $z_{m,k} = \mathbb{I}[r_{m,k}(a_m) = \text{pass}]$，并据此得到任务级解决指标 $y_m = \prod_k z_{m,k}$，把任务集分为失败集 $F_i = \{t_m : y_m = 0\}$ 和成功集 $P_i = \{t_m : y_m = 1\}$；(3) 失败路由：Reasoner 侧 Proposer 联合分析 $F_i$ 与 $S_R^{i-1}$，输出高阶诊断 (action 类型 add/merge、目标 skill 名、描述、依据)，Generator 把它物化为新的 $S_R^i$；成功路由：Challenger 侧 Proposer-Generator 对 $P_i$ 做对偶操作，输出新的 $S_C^i$，以维持下一轮的对抗压力；(4) 探针集累积：每轮把 $F_i$ 中 rubric 通过率最低的失败案例加入 $Q_h$，把 $P_i$ 中 rubric 数量最少的成功案例加入 $Q_e$，$Q_h, Q_e$ 都不需要外部监督；(5) Cross-Time Replay：自博弈结束后，对每个候选 $S_R^i$ 在 $Q_h \cup Q_e$ 上做回放，得到 Laplace 平滑后的解决率 $\rho_h(i) = \frac{\sum_{q \in Q_h} y_q + 1}{|Q_h| + 1}$、$\rho_e(i) = \frac{\sum_{q \in Q_e} y_q + 1}{|Q_e| + 1}$，选 $i^* = \arg\max_i \rho_h(i) \cdot \rho_e(i)$，对应的 $S_R^{i^*}$ 即为最终技能集；(6) 推理部署：$S_R^{i^*}$ 被 prepend 到任意 LM 的 system prompt，对同一上下文 $C$ 下的任意未见任务 $t_u$ 做推理 $a_u \sim \pi(\cdot | S_R^{i^*}, C, t_u)$。整个流程冻结所有 LM 参数 (Challenger/Reasoner/Proposer/Generator/Judge 都用同一 backbone 的 API)，不更新任何权重，也不需要任何 ground truth 或执行反馈。
技术新颖性
从技术新颖性看，Ctx2Skill 的贡献可拆为四个层次。第一，框架新颖性：首次把「无外部反馈的技能自动发现」建模为多智能体自博弈，并显式分离 Challenger/Reasoner 两侧的技能进化路径——这种两侧独立演化的设计在 RLAIF、Self-Rewarding LM 等工作中都未出现，更接近 AlphaGo Zero 式的对抗但用纯文本代替策略网络。第二，组件新颖性：Proposer-Generator 解耦 (诊断 vs. 物化) 是一个有意义的工程创新；Case Study 中也反复显示，当 Reasoner 出错时，Proposer 不是简单给出答案，而是产出「在 $S_R$ 中加入或合并哪个 skill」的元级决策，这让技能编辑变得可控且可审计。第三，反作弊机制新颖性：Cross-Time Replay 是对自博弈方法最普遍的「晚迭代退化」现象的首次系统化解决方案，它不依赖额外的验证集，而是从自博弈过程本身累积出难/易两类代表案例，再用乘积得分 $\rho_h(i) \cdot \rho_e(i)$ 选出最均衡的版本——乘积形式而非加和形式是关键，前者能同时惩罚「为追求难题分数而牺牲简单题」和「为追求简单题分数而忽略难题」两种退化模式。第四，可迁移性新颖性：Table 3 的 Skill Transferability 实验显示，GPT-5.1 生成的技能可以无缝迁移到 GPT-4.1 (16.1%，几乎等于 GPT-4.1 自生成技能的 16.5%)，这证明技能本身是模型无关的「知识载体」，可作为开源资产沉淀——这与 SKILL0/SkillRL 等需要把技能内化进参数的工作形成鲜明对比。
实验结果
实验在 CL-bench 的 500 份上下文、1,899 个任务、31,607 个 rubric 上展开，覆盖 Domain Knowledge Reasoning、Rule System Application、Procedural Task Execution、Empirical Discovery & Simulation 四大类。结果呈现三个层次的核心发现。第一个层次是「绝对性能跃升」：Ctx2Skill 在三个 backbone 上一致带来大幅提升——GPT-4.1 从 11.1% 提升到 16.5% (+5.4%)，GPT-5.1 从 21.1% 提升到 25.8% (+4.7%)，GPT-5.2 从 18.2% 提升到 21.4% (+3.2%)，且在四类任务上几乎全部正向增益。GPT-4.1 加上 Ctx2Skill 技能 (16.5%) 超越了未加技能的 Gemini 3 Pro (15.8%)，证明 context-specific 技能可以「跨模型鸿沟」补齐能力差。第二个层次是「类别敏感性」：增益在 Procedural Task Execution 和 Empirical Discovery & Simulation 上尤其显著——这两个类别在原始模型上表现最差，GPT-4.1 仅 10.4% 和 4.6%，加上技能后分别达到 17.6% (+7.2%) 和 9.7% (+5.1%)——这与「技能在需要多步程序执行或归纳推理的任务上最能发挥作用」的直觉一致；相对地 Domain Knowledge Reasoning 的增益较小 (例如 GPT-4.1 上 +6.2%)，暗示当任务更接近「检索 + 浅层理解」时，技能能补充的空间有限。第三个层次是「对比基线」：Ctx2Skill 在所有 backbone 和所有类别上同时显著优于 Prompting 和 AutoSkill4Doc 两个基线，且基线经常出现负增益——例如 Prompting 在 GPT-4.1 的 Rule System Application 上反而降低 2.5%，AutoSkill4Doc 在 GPT-4.1 的 Rule System Application 上也降低 1.7%——证明「单次生成」和「无自博弈的窗口分割」在复杂 context learning 场景下都不够。Figure 3 进一步显示，GPT-4.1 + Ctx2Skill 在几乎所有 22 个 sub-category 上都有正向增益，最大增益出现在 Workflow Orchestration (+11.8%)、Advisory (+10.5%) 等流程性任务上。Table 2 的技能质量评估也显示 Ctx2Skill 在 Conciseness、Faithfulness、Clarity、Effectiveness、Reusability 五个维度上分别比 AutoSkill4Doc 平均提升 3.6/2.1/2.3 分，验证了「自博弈产生的技能不仅在任务上有用，在人类可读性上同样占优」。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CL-bench Overall | Task-solving rate (%) | 16.5% (GPT-4.1), 25.8% (GPT-5.1), 21.4% (GPT-5.2) | 11.1% (GPT-4.1), 21.1% (GPT-5.1), 18.2% (GPT-5.2) | +5.4 / +4.7 / +3.2 百分点 |
| Domain Knowledge Reasoning | Task-solving rate (%) | 16.8% / 27.9% / 22.2% | 10.6% / 22.4% / 19.5% | +6.2 / +5.5 / +2.7 |
| Rule System Application | Task-solving rate (%) | 17.6% / 24.9% / 20.4% | 14.8% / 21.0% / 18.0% | +2.8 / +3.9 / +2.4 |
| Procedural Task Execution | Task-solving rate (%) | 17.6% / 26.9% / 25.4% | 10.4% / 22.8% / 19.1% | +7.2 / +4.1 / +6.3 |
| Empirical Discovery & Simulation | Task-solving rate (%) | 9.7% / 19.1% / 12.6% | 4.6% / 13.6% / 12.1% | +5.1 / +5.5 / +0.5 |
| Skill Quality (GPT-4.1 as Judge, Avg of 5 dims) | Average score (1-100) | 89.8 (GPT-4.1), 93.6 (GPT-5.1), 92.0 (GPT-5.2) | AutoSkill4Doc: 86.2 / 91.5 / 89.7 | +3.6 / +2.1 / +2.3 |
| Cross-Backbone Skill Transferability | Task-solving rate on GPT-4.1 with GPT-5.1's skills | 16.1% | GPT-4.1 base 11.1% / GPT-4.1 self-skill 16.5% | 接近 GPT-4.1 自生成技能的水平 |
局限与改进
作者在 Limitations and Future Work 章节以及表 3 的消融研究中坦率承认了若干限制。第一，预算受限的实验规模：受 API 预算限制 (全文实验约 $30K USD)，$N$ 仅设 5 轮、$M$ 仅设 5 任务/轮，未探索更大规模；Figure 4 显示 GPT-5.1/GPT-5.2 在某些 context 上需要更多迭代 (Iter-3/4/5 仍被选中相当比例)，暗示更长的自博弈可能继续提升。第二，缺乏多次独立运行的统计检验：作者没有报告 error bar 或置信区间，仅在 500 个 context 上做单次评估——不过 500 个 context 的样本量已经较大，整体数字相对稳定。第三，自博弈需要多轮 LLM 调用：5 轮 × 5 任务 = 25 个 task-rollout + 5 次 Proposer/Generator 调用，每份 context 的技能生成阶段需要相当可观的 API 成本；不过作者强调，技能一旦生成就能在 $|T|$ 个下游任务上复用，因此单次摊销成本可接受。第四，adversarial collapse 仍未完全解决：Table 3 的 ablation 显示，去掉 Cross-Time Replay 后 GPT-4.1 性能从 16.5% 掉到 14.7%、GPT-5.1 从 25.8% 掉到 23.0%，即 Replay 虽能显著缓解但 GPT-5.2 上的 late-iteration 退化仍然客观存在 (36.1% → 23.0%)。第五，对闭源模型强依赖：虽然 Ctx2Skill 不更新模型参数，但 Challenger/Reasoner/Proposer/Generator 都使用 closed-source GPT 系列作为推理底座，这意味着其能力上限受限于 GPT 模型本身；如果未来上下文超出 GPT 知识范围，技能生成质量也会下降。我自己的额外观察是：Case Study 显示 Reasoner 学到的技能高度依赖「checklist 化」和「结构化输出验证」——这暗示 Ctx2Skill 的成功部分源于 LM 擅长按显式步骤执行，而对那些「需要开放式创造或审美判断」的上下文 (例如文学评论、艺术分析) 可能增益较小；另外，Figure 3 的 sub-category 柱状图显示 Ctx2Skill 在 Mathematics 和 Healthcare 上增益相对较低 (例如 GPT-4.1 在 Healthcare 上几乎没提升)，暗示在高度专业化、需要深度领域知识 (而非程序性知识) 的场景下，纯自然语言技能的边际效用有限。
独立分析的弱点
基于论文的实验数据和 case study，我可以独立指出几个具体弱点并给出改进方向。弱点一：自博弈早期信号弱。Table 5 显示 GPT-4.1 在 Iter-1 时 task-level 解决率仅 18.2%，意味着 80% 以上的任务失败，这导致 Reasoner 侧 Proposer 一次性接收大量失败案例 (平均 4.09 个/iter)，诊断时可能存在「信息淹没」——改进方向是对失败案例先做聚类/去重再联合分析，或对每类失败模式单独生成 skill 模块。弱点二：Proposer 与 Generator 的解耦对结果敏感。Table 3 的 ablation 显示「合并 Proposer 和 Generator」会让 GPT-4.1 从 16.5% 掉到 15.9%，虽然损失不大，但说明两个 agent 之间的「理解对齐」存在信息损失——可以考虑让 Generator 在物化时回读 Proposer 的诊断并做 self-consistency check。弱点三：Cross-Time Replay 的探针集只来自每轮的极端案例 (失败中通过率最低、成功中 rubric 最少)，这可能漏掉「中等难度但非常 representative」的关键任务——改进方向是定期插入「精心挑选的中等难度验证集」或在每轮随机采样多个任务加入探针集。弱点四：技能长度膨胀。Table 10 显示 GPT-5.1 生成的技能到 Iter-5 时平均 6289.9 词 (中位数 6447)，几乎是 GPT-4.1 的 3.8 倍；这会让推理时的 token 成本和注意力分散都成为问题——可考虑在 Generator 输出后加一个「技能压缩 agent」或基于 LLM 重要性评分做剪枝。弱点五：单 backbone 同质化。论文中 Challenger/Reasoner/Proposer/Generator 都用同一 backbone (例如 GPT-4.1-based Methods 全部用 GPT-4.1)，这意味着模型既当运动员又当裁判员，可能存在 self-bias——改进方向是引入异构 backbone 组合 (例如用更强的模型做 Proposer、用更便宜的模型做 Reasoner)。
未来方向
作者在 Limitations 章节明确提出两个未来方向：(1) 把 Ctx2Skill 扩展到可验证领域 (mathematics, coding)，让 execution feedback 或形式化验证作为额外 reward 信号，可能取代或补充 Judge、形成更紧的 co-evolution 闭环；(2) 受预算限制没做大规模实验，未来可探索更大的 $N$、$M$ 或多个独立运行做统计检验。基于本文成果我认为还有以下可延伸方向。第一，多模态扩展：CL-bench 当前只覆盖文本 context，未来可加入 figure、表格、代码仓库等多模态上下文，让技能能够同时编码视觉规则和文本流程。第二，跨上下文技能迁移：当前每份 context 都独立生成技能，未来可探索「技能库」的构建——把多个相似 context 上的技能抽象出更高阶的元技能，从而实现 few-shot 技能泛化。第三，技能可验证性：当前技能是纯自然语言，未来可探索把关键规则形式化为可执行的约束 (例如 temporal logic、TypeScript type)，让下游 LM 既能读懂也能机器验证，从而把 context learning 推进到「可形式化验证」的水平。第四，人机协作：尽管 Ctx2Skill 强调无需人工标注，但技能最终可被人审查和编辑——未来可探索「人机协作式技能编辑」工作流，让 domain expert 在 Ctx2Skill 输出的基础上做最后一公里精修，可能比纯自动更稳健。第五，把 self-play 的对抗压力用于红队/安全场景：Ctx2Skill 的 Challenger-Reasoner 闭环天然就是红队-蓝队结构，可以扩展到「对抗性上下文生成」来发现 LM 鲁棒性弱点。
复现评估
可复现性方面，本文做得相当充分。代码和提示词全部开源在 https://github.com/S1s-Z/Ctx2Skill。论文在 Appendix B 详细列出了所有 API 版本和模型快照：GPT-4.1 backbone 使用 gpt-4.1-2025-04-14、GPT-5.1 backbone 使用 gpt-5.1-2025-11-13、GPT-5.2 backbone 使用 gpt-5.2-2025-12-11、Judge 统一使用 gpt-5.1-2025-11-13、Skill Quality Evaluator 使用 gpt-4.1-2025-04-14，同时给出 Claude Opus 4.5 (claude-opus-4-5-20251101)、Kimi K2.5、Gemini 3 Pro (gemini-3-pro-preview)、DeepSeek V3.2 (deepseek-reasoner) 的具体 API 名。所有 5 个 agent 角色 (Challenger/Reasoner/Proposer/Generator/Judge) 的完整 prompt 模板都列在 Appendix 的 Figures 9-16 中 (共 8 个完整 prompt)，读者可直接复用。算法伪代码 (Algorithm 1) 共 20 行，逻辑清晰。然而复现难度仍然存在：(1) 算力成本高——整体实验约 $30K USD，按 500 context × 5 iter × 5 task × 多 agent 调用计，单份 context 跑完 Ctx2Skill 大约需要 $60 API 成本——这远超普通研究组的预算；(2) 闭源模型快照锁定——所有 backbone 都是闭源 API，版本号会随时间变化；(3) Judge 的二元判定本身存在约 10% 错误率（CL-bench 论文报告 cross-verifier agreement 90%+）——这给最终数字带来一定噪声。整体而言，「方法论层面」高度可复现（prompt、算法、统计、prompt engineering 思路都公开），但「端到端数字」复现需要相当规模的 API 预算。
论文图表
顶部展示多样化的现实世界上下文来源 (books/journalism/papers/data/repositories/manual/web/reports)，以及 LM 在面对未见任务时 'I've never learned this before' 的无助；中间流程图展示 Ctx2Skill 的核心：从 Context 经自博弈机制产出 Skill Set；底部再次强调'No Human Annotation / No External Feedback'两个关键约束。
这是全文概念图，把'多源上下文 → 自博弈 → 技能集 → 可插拔部署'的全流程在一张图中呈现出来，对理解整个论文的 motivation 和 high-level 思路至关重要。
详细展示 CL-bench 中 Domain Knowledge Reasoning 类别的完整 case：任务背景是德国作者就小说翻译事宜 (主题、标题、章节开头、出版压力) 给 Translator / Editor 写信；10 条 rubric 覆盖 '3-5 个核心主题'、'用 4 维度框架评估'、'区分核心 vs 外围'、'可妥协'、'拒绝市场驱动修改'、'对 Translator 双重忠诚度保持怀疑'、'承认时间压力影响判断'、'提供可执行反馈'、'拒绝亲自翻译'、'展现专家水平'。对比 GPT-4.1 with skills (Solved) 和 without skills (Failed) 的完整回答 + 学到的 'constraint-focused-structuring-and-verification' 技能内容；with-skills 版本多答对 3 条 rubric (2, 6, 7)。
这是 4 个 case study 中最长的一个，用 5 页篇幅展示 '技能具体长什么样、为什么能改进回答'——让读者直观感受 Ctx2Skill 发现的 'checklist 化 + 显式约束追踪' 这类技能如何把 '答得不错但漏掉要求' 的回答升级为 'rubric-完全满足' 的回答。
任务背景是 D&D 5 智能体游戏夜中的 Healer 角色，DM 给出 Catacomb Sanctum 战斗场景、4 名其他玩家的冲突建议 (Tank 要直接治疗 / Striker 建议 Bless + 治疗 / Controller 反对 buff 提议)；10 条 rubric 覆盖五段输出顺序、保持 healer 角色、回应 DM 多种输入、动作/附赠动作/turn 结构意识、有限法术位意识、deference 行为、犹豫语气、避免冲突、误解 romantic signals、识别真实意图 (社交 vs 战斗优化)。With-skills 版本通过 Rubric 4 (法术位意识) 而 without-skills 失败；学到的技能是 'rigorous-constraint-and-format-compliance'，含 pre-answer checklist、response procedure、self-verification steps、common pitfalls。
展示 Ctx2Skill 如何在 '多智能体 + 多约束 + 多角色' 的复杂场景中帮助 Reasoner 不漏掉关键约束 (例如法术位有限)，进一步印证 'checklist 类技能' 在 rule system 类任务上的价值。
任务背景是 9 智能体学术写作系统中的 Communicator 角色，要把已验证的电影分析 (Hidden Figures 2016) 排版成 APA 7th 格式 Markdown 报告，21 条 rubric 覆盖不修改内容、不引用未批准条目、不修改 Citation Agent 的引用、不引入不合格电影、正确应用 APA 7th、把个性化语气重塑为学术语气、执行 accessible 调整 (简化词汇)、发现未填 section 时 flag 给 Orchestrator、不擅自补全、heading hierarchy、citation placement、保留 metadata、单一完整文档、冲突时正确优先级、清晰可用、聚焦核心意图。With-skills 通过 Rubrics 0, 1, 2, 5, 13 (内容保真 + APA 格式统一) 而 without-skills 失败。学到的技能 'constraint-extraction-and-strict-verification' 强制 pre-answer checklist，包含 3 个版本的迭代 (Round 2/3 Update) 展现技能如何随失败经验逐步精细化。
这是 4 个 case 中最复杂的一个 (21 条 rubric)，展示 Ctx2Skill 在 '多层约束 + 多源 metadata + 多步格式标准化' 场景下的能力，并展示技能本身的迭代 (Round 1 → 2 → 3 的逐步细粒度化)。
任务背景是 9 智能体赛艇遥测分析系统中的 Synchronization Agent，分析 8 人 crew 的 stroke 同步性；12 条 rubric 覆盖 '不擅自修改 clean timing data'、'把异常模式 escalate 给 Insights Agent'、'把所有 sync 问题 escalate 给 Insights Agent'、'以 Seat 1 为时序参考'、'正确计算 timing offsets'、'使用指定 sync score 公式'、'sync score 限定 0-100'、'rhythm consistency 公式正确'、'efficiency loss 公式正确'、'2k 比赛时间影响正确'、'输出四段齐全'、'同时分析 port/starboard 和 sequential 配对'。With-skills 通过 Rubrics 2, 5, 7, 8 (Insights Agent 完整 escalate、正确 sync score 公式、rhythm consistency、efficiency loss) 而 without-skills 失败。学到的技能 'structured-output-self-verification' 强制 rubric-by-rubric 检查。
展示 Ctx2Skill 在 '精确数学计算 + 多公式 + 多步流程' 场景下的能力——与 case 5-7 的 'checklist 类' 不同，这里技能更强调 '严格按指定公式'——印证 '任务类型不同、学到的技能类型也不同' 的自适应性。
完整展示 Challenger agent 的 system + user prompt：包括 'Context-grounded / Complexity / Phrasing / Non-trivial / Diversity' 5 条 task 设计规则和 'Type balance / Binary and verifiable / Specificity / Illustrative examples / Independence / System prompt awareness' 6 条 rubric 设计规则，要求输出严格 JSON 格式。
让读者了解 Challenger 如何被提示生成有挑战性的任务 + 严格 rubric，是复现 Ctx2Skill 的关键文档。
完整展示 Challenger 侧 Proposer 的 prompt：包含 'Step 1: Failure Diagnosis'、'Step 2: Existing Skill Check'、'Step 3: Pattern Identification' 三步分析流程，以及 'Skill Design Rules' 和 'Anti-Patterns to Avoid'；要求基于'Reasoner 答对的任务'反向分析 Challenger 的弱点并提出 skill 修改建议 (action: create or edit, target_skill, proposed_skill, justification)。
揭示 Challenger 侧 Proposer 如何从'被答对的题'反向诊断出题策略的弱点，是理解 'Proposer-Generator 解耦' 机制的关键文档。
完整展示 Challenger 侧 Generator 的 prompt：要求把 Proposer 的高阶诊断物化为 '具体的 SKILL.md'，包含 'Actionable, not abstract / Concise / Structured / YAML frontmatter (only skill_name and skill_description) / Complementary / Build on the proposal' 6 条实现规则；输出完整 SKILL.md markdown 字符串。
展示 'Proposer 的抽象诊断' 如何被 Generator 物化为 '具体的可执行 SKILL.md'——这是 Ctx2Skill 输出形态的'模板契约'。
完整展示 Reasoner 侧 Proposer 的 prompt：分析'Reasoner 答错的任务'并提出 skill 改进建议；与 Challenger Proposer 对偶，强调 'Content gap / Format/structure error / Constraint violation / Reasoning error / Task misunderstanding / System prompt non-compliance' 6 类失败分类和 'Skill issue vs Attention issue' 根因分析。
揭示 Reasoner 侧 Proposer 如何从失败案例诊断出可改进的 skill——与 Challenger Proposer 镜像设计，是框架对称性的关键文档。
完整展示 Reasoner 侧 Generator 的 prompt，与 Challenger Generator 镜像但有差异：要求技能含 'Pre-answer checklist / Response procedure / Self-verification steps / Common pitfalls to avoid' 四个标准小节。
展示 Reasoner 侧技能的标准化模板——case study 中学到的技能 (constraint-focused-structuring-and-verification 等) 全部遵循这个四段式结构。
完整展示 Prompting baseline 的 prompt：直接让 LM 读 context 后生成一个 'concise and actionable' 的 SKILL.md，要求遵循 YAML frontmatter 格式；单次生成，不迭代也不自博弈。
让读者理解 '最简单 baseline' 实际只做了一次性技能生成——这与 Ctx2Skill 的 5 轮自博弈 + 5 任务/轮 + Proposer-Generator 解耦形成鲜明对比，凸显 Ctx2Skill 复杂度的必要性。
20 行伪代码完整定义 Ctx2Skill：初始化 SR0, SC0, Qh, Qe；for i in 1..N: Challenger 生成 M tasks + rubrics、Reasoner 逐个解答、Judge 评分、Reasoner Proposer-Generator 更新 SR、Challenger Proposer-Generator 更新 SC、向 Qh 加最难失败 / 向 Qe 加最容易成功；Cross-Time Replay：对每个 SRi 在 Qh, Qe 上算 Laplace 平滑后的 ρh(i), ρe(i)，选 i* = argmax ρh(i)·ρe(i)，返回 SRi* 作为最终技能。
这是 Ctx2Skill 的'代码级'完整定义，对复现和理解所有变量、循环、路由逻辑至关重要。