协同进化的LLM决策与技能库智能体用于长视野任务 Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks
COS-PLAY：决策智能体与技能库智能体协同进化，从无标注轨迹中自动发现可复用技能。
前置知识
长视野决策（Long-Horizon Decision-Making）
指智能体需要在数百至数千步的环境交互中做出连贯决策的任务，要求多步推理、延迟奖励处理和部分可观测性下的鲁棒决策。游戏是典型测试场景，因其回合多、子目标可复用且rollout成本低。
本文的COS-PLAY正是为解决长视野游戏中技能发现与决策困难而设计，理解该背景才能明白为何需要技能库抽象层。
技能库（Skill Bank）
一种外部可复用行为协议库，存储包含Summary、Pre-condition、Plan、Success/Abort Criteria、Contract等结构化字段的技能条目，决策智能体可在每步检索并执行相应技能。技能本身从历史轨迹中自动提取并随策略迭代持续精化。
这是本文区别于一次性工具调用或prompt的核心抽象，技能库的存在让决策与学习解耦，是理解COS-PLAY双智能体协同的前提。
GRPO（Group Relative Policy Optimization）
一种基于组内相对优势的策略优化方法，无需单独的价值网络，通过组内多次采样的相对奖励进行策略更新。本文用LoRA适配器方式在决策与技能库两侧分别应用GRPO训练。
理解GRPO有助于明白COS-PLAY如何为两个智能体的不同子任务（动作执行、技能检索、分割、契约学习、策展）分别更新LoRA。
潜意图状态（Latent Intention State）
智能体在每步维护的内部战略状态 $z_t$，可对应短期动作意图或跨多步的高层技能，当意图突变时触发技能切换。本文通过自然语言标签形式实现该抽象。
意图状态是连接决策智能体观察、检索与执行的中介，是skill switching的信号源，也是策略可解释性的关键。
研究动机
现有LLM游戏智能体在长视野交互环境中面临两个核心难题：一是缺乏从无标注轨迹中自动发现、保留和复用结构化技能的机制，导致每次决策都需从头推理；二是技能库与决策策略如果分开训练，二者会因状态分布不一致而失配，检索出的技能反而对当前策略有害。论文指出，许多现有游戏智能体（如Minecraft的Optimus-1、StarCraft II的AVA等）仍依赖人工策划数据或外部反馈的长时间训练，且Table 1显示基线Qwen3-8B在2048上仅得 $131.0\pm102.6$ 分、Tetris仅 $32.0\pm8.5$ 分，远落后于GPT-5.4的 $1126.6$ 和 $458.2$ 分。同时，BALROG、VS-Bench、VideoGameBench等基准暴露了前沿模型与人类水平之间的巨大差距，尤其在Avalon、Diplomacy等多智能体社交推理任务上，小模型胜率与供给中心数都明显落后。
本文的目标是本文的具体目标是提出一个协同进化框架COS-PLAY，让LLM决策智能体与技能库智能体在闭环中相互改进：决策智能体使用当前技能库进行技能引导的多步决策并收集新轨迹；技能库智能体则把这些无标注轨迹分割为可复用技能、学习紧凑效果契约、并通过refine/materialize/merge/split/retire五类操作持续维护技能库。最终目标是让一个仅8B参数的基础模型在单人和多人游戏上都达到或超过GPT-5.4、Gemini-3.1-Pro、Claude-4.6-Sonnet、GPT-OSS-120B等前沿大模型的水平。
与已有工作不同的是，本文的独特切入角度是回答两个尚未被联合研究的问题：(Q1) 技能库与决策智能体是否应该联合学习而非分开优化？(Q2) 什么样的技能库特性才能真正提升决策？已有工作如SAGE、SkillRL、SCALAR、XSkill主要关注固定pipeline内的记忆增强或单次技能提取，Memweaver、ProcMEM、CASCADE强调程序化记忆但缺少与决策策略的协同进化机制；PolySkill解耦抽象目标与具体实现但仍依赖人工或强LLM蒸馏。COS-PLAY的关键区别在于通过GRPO+LoRA多适配器让两个智能体在同一闭环中互为监督，并强调效果契约（Contract）的统计验证而非LLM自由发挥，使技能库随策略状态分布同步进化。
核心方法
COS-PLAY的整体直觉是：长视野游戏的成功需要把"如何做"与"做什么"分开管理。决策智能体专注当前意图和动作执行，技能库智能体专注从历史轨迹中发现可复用的行为协议；二者通过GRPO在共享8B Qwen3底座上以独立LoRA适配器分别训练，形成闭环自强化。技术路线为：以GPT-5.4生成60条种子轨迹做SFT冷启动 → 决策智能体rollout → 技能库智能体四阶段pipeline更新技能库 → 用GRPO分别更新五个适配器 → 重复迭代（最多25轮）。整条pipeline完全无标注、无人工技能定义。
核心创新点是协同进化闭环加上契约驱动的技能发现。形式化上，决策智能体包含三个组件 $\pi_{\theta}^{\text{skill}}$（技能检索）、$\pi_{\theta}^{\text{int}}$（意图更新）、$\pi_{\theta}^{\text{act}}$（动作执行），技能库更新规则为 $B^{(u+1)}=\Phi_S(B^{(u)}, D^{(u+1)})$。与已有方法的本质区别在于：(1) 技能库不是预先蒸馏或手工编写，而是从未标注rollout中通过边界候选→分割推断→契约学习→策展维护的统计流程涌现；(2) 契约经过跨episode共识验证（如Diplomacy中28个episode里26个通过验证），高噪声效果被丢弃；(3) 决策侧两个LoRA适配器分离训练，让"检索什么技能"与"如何执行"独立优化；(4) 技能库维护包含merge/split/retire，使库规模保持紧凑（如Diplomacy从121发现中保留55-70活跃技能）。
方法步骤详情
方法分两大组件。决策智能体每步：(1) 根据 $o_t$ 和意图 $z_t$ 决定继续当前技能或检索新技能 $\tilde{s}_t=\pi_{\theta}^{\text{skill}}(o_t,B)$；(2) 更新意图 $z_t=\pi_{\theta}^{\text{int}}(o_t,\tilde{s}_t)$，意图突变触发技能切换；(3) 采样 $a_t\sim\pi_{\theta}^{\text{act}}$，奖励由环境反馈、技能shaping、切换成本组成。技能库智能体四阶段：(a) 边界候选——计算谓词翻转、意图变化、奖励峰值等信号得分并合并邻近候选；(b) 分割推断——以契约重叠度打分，高置信匹配现有技能否则标记new skill；(c) 契约学习——跨episode聚合add/delete谓词，仅保留共识效果；(d) 库维护——对new skill先入buffer聚类再materialize，对现有技能refine/merge/split/retire。训练用GRPO+5个LoRA适配器，最多25次协同进化迭代收敛。
技术新颖性
技术新颖性体现在三方面。其一是无监督技能发现的统计闭环：传统方法依赖人工策划或强LLM蒸馏，COS-PLAY通过boundary proposal→segmentation→contract verification的纯数据驱动流程让技能从rollout中"长出来"，且契约经过跨episode共识验证（如EXPLORE技能在Diplomacy 28个episode中26个验证通过、$+fleet\_adriatic$ 这种5/28的低频效果被丢弃）。其二是策略-技能库的协同进化机制：Table 1消融显示SFT+1ST SKILL（$465.7$ 平均分）与GRPO+1ST SKILL（$305.2$）均弱于完整COS-PLAY（$924.4$），证明固定技能库会因策略-技能状态分布失配而损害性能，只有闭环共进化才能保持对齐。其三是多LoRA解耦训练：将skill retrieval与action taking拆分为两个GRPO适配器，让"何时切换、用什么技能"与"技能内如何动作"独立优化，这在传统RLHF式单目标训练中难以实现。
实验结果
Table 1显示COS-PLAY在单人游戏上相对GPT-5.4平均提升25.1%：2048 $1589.0\pm192.4$（GPT-5.4为 $1126.6$），Tetris $510.9\pm199.5$（GPT-5.4为 $458.2$），Candy Crush $648.8\pm38.8$（GPT-5.4为 $532.6$），Super Mario Bros $948.9\pm153.2$（GPT-5.4为 $752.0$、Claude-4.6-Sonnet仅 $399.5$），单人类平均 $924.4$ 远超GPT-OSS-120B的 $672.6$。多人社交游戏（GPT-5.4为对手）上Avalon胜率 $39.0\pm9.4\%$ 与Gemini-3.1-Pro等约 $40\%$ 持平；Diplomacy均供给中心 $2.96\pm0.20$ 较Gemini-3.1-Pro（$2.72$）提升 $+8.8\%$。Table 2显示Diplomacy发现64个技能平均复用 $12.7$ 次，Figure 3显示技能库从121发现稳定在 $55$-$70$ 个活跃技能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 2048（单人） | 原生游戏奖励 | $1589.0\pm192.4$ | GPT-5.4: $1126.6\pm150.2$；Gemini-3.1-Pro: $813.3\pm143.6$ | 相对GPT-5.4提升约 $+41.1\%$，相对Gemini-3.1-Pro提升约 $+95.4\%$ |
| Tetris（单人） | 原生游戏奖励 | $510.9\pm199.5$ | GPT-5.4: $458.2\pm203.5$；Claude-4.6-Sonnet: $444.2\pm182.6$ | 相对GPT-5.4提升约 $+11.5\%$，超越Claude-4.6-Sonnet约 $+15.0\%$ |
| Candy Crush（单人） | 原生游戏奖励 | $648.8\pm38.8$ | GPT-5.4: $532.6\pm24.8$；QWEN3-8B基线: $519.9\pm37.8$ | 相对GPT-5.4提升约 $+21.8\%$，远超Claude-4.6-Sonnet的 $328.6$ |
| Super Mario Bros（单人） | 原生游戏奖励 | $948.9\pm153.2$ | GPT-OSS-120B: $968.5\pm175.0$；GPT-5.4: $752.0\pm35.7$；Claude-4.6-Sonnet: $399.5\pm53.4$ | 相对GPT-5.4提升约 $+26.2\%$，相对Claude-4.6-Sonnet提升约 $+137.5\%$，与GPT-OSS-120B基本持平 |
| Avalon（多人，GPT-5.4为对手） | 团队胜率 | $39.0\pm9.4\%$ | GPT-5.4: $65.0\pm14.2\%$；Gemini-3.1-Pro: $42.0\pm13.2\%$ | 落后GPT-5.4约26个百分点，但与Gemini-3.1-Pro/Claude-4.6-Sonnet/GPT-OSS-120B（均约 $40\%$）持平，差距仅约 $1\%$ |
| Diplomacy（多人，GPT-5.4为对手） | 平均占据供给中心数 | $2.96\pm0.20$ | GPT-5.4: $4.70\pm0.35$；Gemini-3.1-PRO: $2.72\pm0.26$；GPT-OSS-120B: $2.46\pm0.25$ | 落后GPT-5.4约 $37\%$，但相对Gemini-3.1-Pro提升约 $+8.8\%$，相对GPT-OSS-120B提升约 $+20.3\%$ |
局限与改进
作者明确承认的主要局限是依赖紧凑文本状态摘要，这限制了多模态理解能力、可能在原始视觉观测或长时依赖中遗漏关键证据；长轨迹下摘要错误会累积从而降低技能相关性。作者自己的实验也显示COS-PLAY在多智能体社交游戏上明显落后GPT-5.4（Avalon胜率差26个百分点、Diplomacy供给中心少 $1.74$ 个），说明协同进化带来的优势在需要复杂谈判与隐性意图博弈的场景中尚不足以弥补基础模型规模差距。从我的观察看，还有三个隐含限制：(1) 冷启动依赖GPT-5.4生成60条种子轨迹，这在没有强LLM API的场景下难以复现；(2) 边界候选阶段的轻量信号对噪声敏感，奖励/事件峰值在稀疏奖励环境中可能产生大量假阳性候选；(3) 技能库规模受max instances与Gini系数影响，但论文未给出库膨胀失控的理论保证，且$25$ 次迭代后是否饱和缺乏压力测试。
独立分析的弱点
独立分析有三个突出弱点。其一是规模差距不可忽视：8B参数模型在Diplomacy这种需要协商、联盟跟踪和多阶段规划的任务上仍远落后于GPT-5.4（$2.96$ vs $4.70$ 供给中心），协同进化无法弥补基础模型在隐性意图建模与博弈论推理上的能力鸿沟，改进方向是引入更大基座或Mixture-of-Experts结构。其二是技能契约的LLM摘要模块可能被幻觉污染：虽然契约经过统计共识验证，但LLM摘要作为补充添加到contract时缺少对应的验证机制，存在把不存在的状态变化写入契约的风险，改进方向是让LLM摘要也走跨episode验证流程。其三是评估对手同质化：Avalon和Diplomacy都用GPT-5.4作为对手，这意味着社交推理结果仅在与最强模型对弈时测得，面对较弱或异质对手时的泛化性未知，改进方向是增加随机对手池和多难度梯度评估。此外Table 1的$95\%$置信区间在Tetris等高方差环境上仍较宽（如COS-PLAY $510.9\pm199.5$），说明单人游戏的奖励噪声较大，可能需要更多evaluation rollout以稳定结论。
未来方向
作者提出的未来方向是扩展到多模态交互环境，让学到的技能同时捕捉交互动力学与视觉推理，并提升跨领域迁移能力，使技能可泛化到多模态游戏、智能体环境和更广泛的视觉推理任务。基于本文成果还可以延伸出三个方向：(1) 把协同进化范式迁移到真实机器人或具身智能体上，因为技能库的refine/merge/split/retire机制天然适合处理物理任务中的长视野操作序列；(2) 探索技能库在多智能体协作中的共享与对齐机制，让不同角色智能体的技能库能进行去重与互补，从而缩小与GPT-5.4在社交推理上的差距；(3) 把效果契约形式化为可验证的时序逻辑，使契约能被外部验证器独立检查，从而提高技能的可信度与安全性，这对于真实部署至关重要；(4) 研究技能库的"遗忘机制"以避免retire操作误删长期稀有但关键的策略行为。
复现评估
复现整体中等难度。代码已公开在 https://github.com/wuxiyang1996/COS-PLAY。但完整复现需要：(1) 调用GPT-5.4 API生成6个游戏×60条共360条种子轨迹做冷启动SFT；(2) 在社交游戏中调用GPT-5-mini作为对手，没有OpenAI API访问权限难以完整复现社交推理结果；(3) 训练使用Qwen3-8B基座+5个LoRA适配器，最多25次协同进化迭代收敛，但具体GPU数量、batch size、训练时长仅在Appendix C给出，估计需要多卡A100/H100运行数天；(4) 6个游戏环境基于统一Gym风格文本API实现，需重新配置observation/action接口；(5) 评估依赖稳定的多人对战脚本与随机种子管理。综合来看，单人游戏pipeline复现门槛较低，社交游戏完整复现门槛较高。
论文图表
