COBRA-Skills：上下文赌臂引导的智能体技能进化优化 COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization
用上下文赌臂分配昂贵评估并周期性进化技能库，成本降55–58%且性能最优
前置知识
上下文赌臂（Contextual Bandit）
多臂赌机的扩展：每个候选动作（臂）带有一个特征向量（上下文），算法根据历史记录 $(z_i, r_i)$ 学习从特征到奖励的映射，从而为从未评估过的新臂预测回报，并在「利用预测最优」与「探索不确定」之间权衡。它天然适合候选集随时间动态变化的序贯决策场景。
本文把每个候选技能视为一个以其语义嵌入为特征的臂，且技能种群会不断进化更替，正好构成一个臂集动态变化的上下文赌臂问题，这是全文方法论的数学骨架。
LinearUCB 与置信上界
UCB 类算法用「预测均值 + 不确定性红利」给每个候选打分。LinearUCB 假设奖励关于特征近似线性，维护正则化设计矩阵 $A_t = \lambda I + \sum_i z_{s_i} z_{s_i}^\top$，红利 $b_t(z)=\nu\sqrt{z^\top A_t^{-1} z}$ 在语义空间中少被探索的区域更大，从而自动鼓励探索新区域。
本文的优先级分数就是「神经预测均值 + LinearUCB 红利」，该红利同时决定了评估预算花在谁身上、以及哪些低优先级技能被剪枝，是方法核心公式（Eq. 3/4）。
智能体技能（Agent Skill）
以文本形式（如 SKILL.md）编码的可复用程序性知识，包括任务指南、推理策略、工具使用流程等。使用时注入智能体的上下文，使其在新任务实例上表现更好；技能可从执行轨迹中自动蒸馏，无需人工编写或修改模型权重。
本文的优化对象就是技能文本本身：目标模型冻结，只改技能。理解「技能注入 → 执行 → 反馈」的闭环是理解问题设定和实验协议的前提。
神经上下文赌臂（Neural Contextual Bandit）
用小型神经网络（而非纯线性模型）拟合奖励函数，再叠加线性或核化的不确定性红利，兼顾非线性拟合能力与探索的理论性。代表工作如 NeuralUCB：均值由网络给出，置信宽度由最后一层特征的 Gram 矩阵近似。
本文的奖励预测器正是这一流派的轻量实现：两层 MLP（2560→64→1）只负责预测均值，不确定性仍用 LinearUCB 闭式解，每轮重训一次网络，理解这一点才能看懂 3.2 节的算法细节。
进化算子（再生 / 变异 / 杂交）
借鉴进化搜索的思想对候选解做三类操作：再生（regeneration）从零生成全新候选以维持多样性；变异（mutation）在父代基础上做保守的局部修改；杂交（crossover）把多个父代的优点重组为子代。在 LLM 场景中，这些操作由教师模型以 prompt 实现文本层面的生成与改写。
COBRA-Skills 的技能库更新完全由再生、rollout 变异、crossover 三个算子驱动（3.3 节），三者如何消费执行证据、如何与赌臂剪枝配合，是理解方法创新点和成本优势的关键。
研究动机
现有技能优化方法普遍采用「生成-评估-精炼」的执行反馈循环：候选技能必须真正在任务或验证样本上运行之后，其实际效用才能被观测到。以最强基线 SkillOpt 为例，它需要跑 4 个 epoch，每步把成功/失败轨迹按 8 条一组做反思、再以 8 为批聚合编辑提议，且每个候选都要在完整选择集上过一遍评估门控。这带来两个效率瓶颈：其一，大量预算被浪费在评估低质量或不 promising 的技能上——例如 Trace2Skill 在 Gemma4-26B 上花费 $673.49 才换来 +7.2 分；其二，技能精炼本身也很贵，需要反复调用 LLM 分析轨迹、诊断失败、生成并聚合修改，SkillOpt 在 Qwen3.6-35B 上消耗 15.16M 教师 token（成本 $121.02）。此外这些方法的数据需求大，基线配置在六个基准上分别需要 53–170 个优化样本。在计算与任务经验受限的场景下，如何选择性分配评估、并高效复用执行证据，成为技能优化的核心痛点。
本文的目标是本文的目标是在有限评估预算与极少量任务样本（每基准仅 50 个优化样本、固定 30 轮优化）下自动优化出可靠的智能体技能。形式化地，设 $\mathcal{D}_{opt}$ 为从任务分布 $\mathcal{D}$ 采样的小优化集，$\mathcal{A}(x;s)$ 为装备技能 $s$ 的目标智能体在输入 $x$ 上的输出，优化目标是找出 $s^\star = \arg\max_{s\in S_T} \mathbb{E}_{(x,y)\sim\mathcal{D}}\, \mathrm{Metric}(\mathcal{A}(x;s), y)$，即在留出测试集上最大化任务指标（精确匹配准确率、任务成功率或基准定义的分数，SocialMaze 用 0/0.5/1 软分）。同时要求优化过程自身的 token 成本与教师模型调用显著低于现有方法（对 SkillOpt 总成本降 55–58%），并保证学到的技能在不同智能体外壳（Claude Code、Codex）和不同目标模型之间可泛化、可迁移。
与已有工作不同的是，作者独特的切入点是把技能优化建模为「动态演化候选空间上的预算化序贯优化」问题，并用上下文赌臂求解：每个候选技能按语义嵌入视为一个臂，目标智能体的执行表现作为奖励。与已有工作的本质差异有三点。第一，评估分配由「轻量神经奖励预测器 + LinearUCB 不确定性红利」决定，只把昂贵的目标模型评估花在最有前景或最欠探索的技能上，而非逐一执行；第二，同一个优先级分数还用于种群保留决策——预测效用与探索价值都低的技能被剪枝，使赌臂同时服务评估与搜索空间管理；第三，技能精炼从「每轮重写」改为「按对数计划周期性触发」，且只用三类证据驱动算子（再生、rollout 变异、crossover）复用已有轨迹，不重复分析全部历史，从而把教师模型 token 压缩 67–80%。这与将赌臂用于 prompt 优化的先前工作（候选空间固定）也不同——这里候选空间随进化而变化，恰好是上下文赌臂擅长处理的设定。
核心方法
直觉上，COBRA-Skills 像一位精打细算的实验负责人：候选技能太多、每次真实试跑都烧钱，所以先从历史评估中学一个便宜的奖励预测器给所有未评估技能打分，只把预算花在「看起来有前景」或「语义上还没探明」的候选上；同时每隔几轮淘汰垫底技能、用从执行轨迹中新提炼的技能补位。技术路线上，框架维护大小 $K=10$ 的技能种群 $\mathcal{P}_t$；每轮用两层 MLP $f_\theta$ 预测奖励，叠加 LinearUCB 红利得到优先级分数，选最高分技能在 50 样本优化集 $\mathcal{D}_{opt}$ 上执行目标智能体，记录奖励 $r_t$ 与轨迹 $\mathcal{T}_t$ 并更新历史 $\mathcal{H}_t$；随后重训预测器、更新设计矩阵；当满足间隔条件（$d=3$、$\log(t/t_{last})\ge\eta=0.35$ 的对数计划）时触发进化：剪掉 $m=3$ 个最低优先级技能，用再生、rollout 变异、crossover 生成的新技能替补。30 轮后返回历史中平均观测奖励最高的技能。
核心创新是把「评估分配」与「种群保留」统一到同一个上下文赌臂优先级分数上，并把进化算子严格绑定到执行证据。已有方法高频且不加分拣地评估和重写技能，而 COBRA-Skills 中每个候选技能 $s$ 先被嵌入为 $z_s=\phi(s)$（Qwen3-Embedding-4B，2560 维，L2 归一化），优先级 $U_t(s)=f_{\theta_{t-1}}(z_s)+\nu\sqrt{z_s^\top A_{t-1}^{-1}z_s}$ 同时回答两个问题——谁值得花一次真实评估（探索-利用平衡，$\nu=0.1$），谁该被移出种群（利用与探索价值双低者）。三个进化算子各司其职：再生从无技能轨迹池 $\mathcal{T}_0$ 独立采样 8 条生成全新策略，防止过早收敛；rollout 变异用当前被评估技能的成功/失败轨迹做保守局部修改，把赌臂评估与局部精炼直接挂钩；crossover 以强技能为骨干、另一强技能为正证据、弱技能为负证据做重组，且完全不需要额外 rollout。新技能不继承任何奖励，必须重新进入评估循环。
方法步骤详情
流程分四步。第一步初始化：固定 50 个优化样本，收集无技能 rollout 池 $\mathcal{T}_0$，教师模型用再生算子对每次采样的 8 条轨迹独立生成 $K=10$ 个初始技能。第二步选择与评估：对种群中每个技能计算 $z_s$ 与 $U_t(s)$，选出最高分者 $s_t$，在优化集全部 50 例上执行目标智能体，得到二值奖励 $r_t$（SocialMaze 用 0/0.5/1 软分）与轨迹 $\mathcal{T}_t$，写入历史 $\mathcal{H}_t$。第三步模型更新：更新 $A_t=A_{t-1}+z_{s_t}z_{s_t}^\top$，把 MLP（2560→64→1）重新初始化后在全部历史上全批训练 50 个 epoch（Adam，学习率 $10^{-3}$），最小化带 $\ell_2$ 正则的均方误差。第四步计划性进化：当距上次进化 $\ge d=3$ 轮且 $\log(t/t_{last})\ge 0.35$ 时，剪掉 3 个最低优先级技能，替补比例激活 crossover 前为 2:1:0（再生:变异:杂交），之后 1:1:1。
技术新颖性
新颖性体现在四个层面。问题建模上，本文首次把技能优化明确形式化为「动态演化候选空间上的预算化序贯优化」，比候选空间固定的神经赌臂提示优化（如 INSTRUCTNeuraL 一类工作）更贴合技能库会进化的现实。算法设计上，把 NeuralUCB 风格的「神经均值 + 线性红利」做了轻量改造：MLP 只负责均值预测，不确定性沿用 LinearUCB 的闭式解 $b_t(z_s)=\nu\sqrt{z_s^\top A_{t-1}^{-1}z_s}$，每轮只需重训一个 2560→64→1 的小网络，计算开销可忽略，却能让历史评估信息泛化到语义相近的未评估技能。效率机制上，进化按对数计划稀疏触发（而非每轮重写），crossover 完全复用已有轨迹、零额外 rollout，教师 token 比 SkillOpt 减少 67–80%，这是总成本降低 55–58% 的直接来源。工程稳健性上，所有超参数统一固定、不逐任务调参，输出规则（历史最高平均在线奖励的技能）简单可靠；消融证明两个组件贡献互补且收益无法用「多生成几个候选再挑最好」解释。
实验结果
主实验（Table 1）：COBRA-Skills 在三个目标模型的六基准平均分全部第一——Qwen 达 73.5%（基线 60.4%，SkillOpt 69.6%），GPT-Nano 达 56.9%（基线 30.0%，+26.9 个百分点），Gemma 达 68.9%（基线 46.4%，+22.5）。单项上 Qwen 的 LiveMath 升至 55.3%、Gemma 的 SocialMaze 升至 88.5%。效率上（Table 2），相对 SkillOpt 总成本降 55–58%（Qwen：$54.10 vs $121.02）、每分成本降 60–69%，仅用 50 个优化样本而基线用 53–170 个，教师 token 减少 67–80%。消融（Table 4）：去 Bandit 降 2.2 分、去 Evolution 降 2.4 分、Best-of-30 降 2.5 分，两组件互补。泛化上，外部外壳下 Claude Code 68.2、Codex 72.4 均居首；自学习仅降至 72.5 且成本减半（Fig 5）；迁移 34/36 组为正；$\nu=0.1$ 最优。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六基准平均（Qwen3.6-35B-A3B） | 平均准确率 (%) | 73.5 | SkillOpt 69.6；无技能 60.4 | +3.9 pp（对 SkillOpt）/ +13.1 pp（对基线） |
| 六基准平均（GPT-5.4-Nano） | 平均准确率 (%) | 56.9 | SkillOpt 53.7；无技能 30.0 | +3.2 pp / +26.9 pp |
| 六基准平均（Gemma4-26B-A4B-it） | 平均准确率 (%) | 68.9 | SkillOpt 67.6；无技能 46.4 | +1.3 pp / +22.5 pp |
| 优化总成本（Qwen，六基准合计） | USD | 54.10 | SkillOpt 121.02；Trace2Skill 230.78 | 较 SkillOpt -55.3% |
| 每分提升成本（Gemma4-26B） | USD / ΔScore | 1.73 | SkillOpt 4.35；Trace2Skill 93.54 | 较 SkillOpt -60.2% |
| LiveMath（Qwen） | 准确率 (%) | 55.3 | 无技能 32.3；SkillOpt 42.3 | +23.0 pp（对基线） |
| SocialMaze-HRD（Gemma） | 软分 0/0.5/1 (%) | 88.5 | 无技能 9.5；LLM Skill 32.7 | +79.0 pp（对基线） |
| 教师模型 token 用量（三模型） | M tokens（Teacher） | 3.00–4.13 | SkillOpt 12.51–15.16 | 减少 67–80% |
| 外部外壳平均（Qwen） | 平均准确率 (%) | Claude Code 68.2；Codex 72.4 | SkillOpt 64.0 / 71.1 | +4.2 pp / +1.3 pp |
| 自学习设定（Qwen，六基准平均） | 平均准确率 (%) | 72.5（成本约减半） | SkillOpt 自学习 68.4 | +4.1 pp |
| 跨模型技能迁移 | 优于无技能基线的迁移组数 | 34 / 36 组为正 | 各评估模型无技能基线 | 94.4% 正迁移率 |
局限与改进
作者直接承认的局限不多，但可从数据推断若干边界。其一，成本大头仍在目标模型执行侧：Qwen 上目标 token 达 115.92M 而教师仅 3.00M，每轮在全部 50 个优化样本上评估被选技能的开销无法回避，bandit 省的是教师分析与无效评估成本。其二，奖励信号粗粒度且样本小：多为二值准确率、SocialMaze 用 0/0.5/1 软分，50 例的二值奖励噪声不小，测试集 100 例下部分指标标准误偏大（如 Gemma 上 LLM Skill 在 SocialMaze 达 ±16.3，GPT-Nano 上与 SkillOpt 在 SocialMaze 差 0.8 分已不显著）。其三，进化调度（$d=3$、$\eta=0.35$）与算子比例均为启发式设定，神经均值+线性红利在臂集动态变化下无遗憾界保证。其四，作者因无法可靠复现而剔除 OfficeQA，提示基线结论对配置敏感。其五，嵌入模型固定为 Qwen3-Embedding-4B，技能表示上限受制于它；优化固定 30 轮，更长周期是否有益未验证；实验仅三个目标模型、温度 0 解码。
独立分析的弱点
独立分析有六个可改进点。第一，LinearUCB 红利假设奖励结构在嵌入空间近似线性可探，而技能语义空间高度非线性，$\nu$ 敏感性实验显示偏离 0.1 即下降 2–3 分，探索项较脆弱——可引入核化后验或 Thompson 采样式估计。第二，每轮全量评估 50 样本是主要成本来源（Qwen 目标 token 115.92M），可引入自适应子集选择或早停（对明显失败的技能只测 10 例）压缩执行成本。第三，二值奖励丢弃轨迹质量信息（部分正确与完全溃败同分），改用过程奖励或软分数可让预测器学得更快。第四，进化算子的证据窗口固定（再生 8 条无技能轨迹、变异用当前轮 8 条 rollout），未检索利用全部历史轨迹库，可做证据检索增强。第五，技能与单一基准绑定，虽然跨模型迁移良好（34/36 为正），跨任务迁移完全未测，可探索任务簇间共享种群。第六，最终输出「历史最高平均奖励」的技能在优化集上估计、存在选择偏差，可用独立验证子集或置信区间修正。
未来方向
作者层面：论文验证了自学习设定的可行性（73.5→72.5，成本约减半），未来可彻底去除外部教师，研究纯目标模型自我进化的上限；跨模型迁移（36 组中 34 组为正）提示可构建「一次优化、多模型复用」的公共技能库，并研究技能在模型间的适配机制。基于成果可延伸的方向：其一，把固定对数进化计划换成自适应触发，例如当预测器不确定度上升或种群多样性跌破阈值时才进化；其二，引入分层赌臂或组合赌臂，把技能分解为可组合的子技能并联合优化，支持技能复用与去重；其三，与技能检索/路由研究（如 SkillRouter、skill retrieval 一类工作）结合，在推理时按任务动态选择技能，形成「优化-检索-执行」闭环；其四，从理论上分析「臂集随进化变化」的神经上下文赌臂遗憾界，为调度参数提供依据；其五，用更便宜的代理模型对候选做预筛、再交目标模型终评，进一步压低执行成本；其六，探索持续学习设定下技能库的遗忘、冲突与生命周期管理，以及多轮反馈动态对技能效用的影响。
复现评估
复现条件总体友好。代码已开源；六个基准全部公开，协议清晰：每任务 50 个优化样本、100 个留出测试样本、3 次独立运行报告均值±标准误，训练/选择/测试 ID 互斥。附录给出全部超参数（$T=30$、$K=10$、$m=3$、$\nu=0.1$、$\lambda=0.03$、MLP 2560→64→1、Adam 学习率 $10^{-3}$、50 epoch 全批重训等）、三类进化算子的完整 prompt 模板与 token 单价表。主要门槛有三：需调用 GPT-5.5（输入 $5/M、输出 $30/M）作教师及 GPT-5.4-Nano 等目标 API，完整跑一次六基准优化约 $39–58；SpreadsheetBench 与 ALFWorld 需多轮交互环境（最多 30 轮），工程搭建略重；复现基线需按附录 A.2 适配配置（作者明确无法用官方配置复现 SkillOpt 在 OfficeQA 上的结果）。算法本身轻量（MLP 在 CPU 即可训练），总体难度中等，瓶颈在 API 预算与多轮环境搭建。
论文图表
追踪 30 轮迭代中 COBRA-Skills 每轮选中的技能在 50 例优化集上的奖励 r_t，三个目标模型各一条均值曲线（阴影为三次独立运行的标准误）。三个模型都较初始性能大幅提升：早期轮次快速上升，随后持续微调精化。
从在线视角验证 bandit 引导的选择确实在逐轮挑到更好的技能，说明早期收益主要来自利用高分技能、后期来自进化注入的新候选，帮助读者理解算法收敛行为。
在 Qwen3.6-35B-A3B 上，把每个优化器的 GPT-5.5 教师版与自学习版（目标模型自己充当教师）配对连线，横轴为训练成本（USD，log 刻度，$20–$200），纵轴为六基准平均性能（$55–$75 区间，含 Baseline、LLM Skill、Trace2Skill、SkillOpt、COBRA-Skills 五种方法）。COBRA-Skills 自学习版性能仅从 73.5 降至 72.5，成本约减半，且两个版本都明显优于对应版本的 SkillOpt（68.4）。
证明方法不依赖更强外部教师模型，自学习是极具吸引力的低成本替代方案，直接回应「收益是否来自 GPT-5.5 更聪明」的质疑。
外壳泛化表：用 Claude Code 与 Codex 两个外部智能体外壳运行 Qwen3.6-35B-A3B，对比五种方法在六基准上的表现。COBRA-Skills 在两种外壳下平均分均最高（68.2 与 72.4），SkillOpt 分别为 64.0 与 71.1；例如 SocialMaze 上 COBRA-Skills 在 Claude Code 下达 73.2，比基线 38.2 大幅提升。
说明性能增益不依赖特定执行接口，技能可跨 harness 使用，这对实际部署（不同团队用不同 agent 框架）非常重要。
组件消融表：对比完整 COBRA-Skills（平均 73.5）与三个变体——w/o Bandit（随机选择候选，71.3，Δ-2.2）、w/o Evolution（bandit 应用于 30 个技能的固定池，71.1，Δ-2.4）、Best-of-30（评估同等规模固定池并返回最优，71.0，Δ-2.5）——在六基准上的逐项分数。
证明 bandit 优先级与种群进化两个组件贡献互补，且收益不能简单归因于「生成了更多候选」，是方法设计合理性的最直接检验。
成本核算单价表（USD 每百万 token）：Qwen3.6-35B-A3B 输入 $0.10/输出 $0.95；GPT-5.4-Nano $0.20/$1.00；Gemma4-26B-A4B-it $0.06/$0.33；教师 GPT-5.5 $5.00/$30.00。
Table 2 所有美元数字的计算基础；理解「教师贵 30 倍所以省教师 token 收益最大」这一成本结构离不开它。