Learn2Play Bench：LLM智能体在陌生环境中从经验中学习能力的基准 Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
用20个规则反直觉的全新文字游戏，测出LLM智能体从交互经验中学习的真实水平
前置知识
LLM Agent（大模型智能体）
以大语言模型为核心控制器的系统，通过循环执行观察环境、选择动作、接收反馈来完成多步任务，区别于单轮问答。智能体在交互中维持状态、做出序列决策，并可借助工具或记忆扩展能力。本文中智能体只通过文本命令与游戏环境交互：每局开始收到目标与可选动作列表，每个动作返回确定的文字反馈，局末自动打分。
整个基准测的就是这类智能体在多局重复尝试中的改进能力，理解智能体的基本交互循环是读懂评测协议和四个指标的前提。
自进化智能体（Self-evolving Agent）
一类不更新模型权重、在测试时通过组织经验来改进行为的智能体范式，代表机制包括语言反思（Reflexion）、可检索经验与洞察（ExpeL）、可执行技能（Voyager）、工作流归纳（AWM）、推理经验库（ReasoningBank）、prompt进化（EvoTest、GEPA）等。它们的核心差异在于如何压缩和复用历史交互。
论文的核心质疑正是这些花哨的学习机制是否真的在学习：如果它们不如简单堆原始历史，说明当前的记忆压缩方式存在系统性缺陷。
Agent Harness（智能体骨架）
包裹模型的工程化运行时框架，决定工具调用方式、上下文管理、会话与记忆策略等。常见例子有 OpenCode、Claude Code、Codex。同一个模型配上不同 harness，行为和成绩可能差别很大，因为 harness 决定了模型能以什么姿势使用自己的能力。
论文 RQ2 和 RQ5 的反直觉发现是：固定骨干换 harness 带来的提升（Opus 5 从 74.5 涨到 81.8）比换大多数自进化方法更大还能省钱，这一变量通常被学习类评测忽略。
测试时学习与经验记忆
在推理阶段利用历史交互改进后续行为、同时冻结模型权重的技术路线。实现形式包括：累积完整原始历史（MEMORY）、每局结束写反思教训（Reflexion）、把轨迹蒸馏成推理经验条目（ReasoningBank）、从成功轨迹归纳多步工作流（AWM）、进化引导性 prompt 和程序（EvoTest）等。
本文所有学习都发生在上下文层面而非参数层面，理解这条路线才能理解为什么保留原始证据的 MEMORY 能胜过更精巧的压缩式方法。
学习增益与学习斜率（LG / LS）
衡量跨局改进的两个指标：LG 比较评测窗口末段与初段的平均分差，LS 是对逐局均分 $y_{g,t}=\beta_{0,g}+\beta_{1,g}t$ 回归的斜率 $\hat{\beta}_{1,g}$，反映学习曲线的方向与速率。本文先按参考分归一化，再按挑战游戏权重 3、普通游戏权重 1 聚合。
论文的关键设计是把峰值性能（Max/Mean）与学习速率（LG/LS）分开测量，许多结论（比如分数最高的模型不一定学得最快）完全依赖这一区分。
探索-利用权衡（Exploration–Exploitation Trade-off）
序贯决策的经典问题：决策者要在尝试新动作以获取环境信息，与重复已知有效动作以获取收益之间平衡。过度利用会锁死在局部最优，过度探索则浪费预算。衡量方式包括相邻尝试的动作序列相似度、受挫后改变策略的比例等行为统计。
论文把人类玩家的优势明确归因于更强的探索倾向（序列相似度 0.54 对智能体的 0.66，受挫后创新高率 33% 对 22%），这是理解人机差距分析的关键框架。
研究动机
现有对自进化、持续学习智能体的评估很难回答一个根本问题：智能体到底是在从交互中学习，还是只是在唤回预训练里已有的知识？一方面，常用基准的任务都建立在熟悉的真实世界场景上：StreamBench 用输入-反馈流，MemoryBench 和 Evo-Memory 用用户反馈与任务流，LifelongAgentBench 测跨任务技能积累，SWE-Bench-CL 测连续编码问题，这些任务的底层规则本身就包含在预训练语料中；与本文最接近的 J-TTL 在 Jericho 文字游戏上测重复改进，但那些是公开发布多年的老游戏，内容很可能已被模型见过。当智能体在熟悉任务上进步时，我们无法区分它学到了新规则还是恢复了旧知识。另一方面，各方法在不同模型、任务和评估协议下报告结果，学习行为无法直接横向比较；而且任务成绩更好并不等于学习更有效。结果就是 Reflexion、EvoTest、ReasoningBank、AWM 等方法层出不穷，但它们与最朴素的累积原始历史相比谁更会学习，一直缺乏受控条件下的答案。
本文的目标是本文要构建一个从任务设计层面切断预训练捷径的受控基准，在统一协议下系统回答三个问题：当前智能体在陌生环境中学习经验的能力到底如何；骨干模型、经验保留方法、部署 harness 分别如何影响学习；以及人类和智能体的学习方式有何不同。具体目标包括：手工设计 20 个规则全新甚至反直觉的文字游戏（例如偷同事午餐才能晋升、努力工作反而没用），不向智能体提供规则说明，强制其通过行动、观察文本反馈、跨局积累经验来发现规则，全程不更新模型权重；其中一半游戏每局更换表面实例但保持底层规则不变，专门测迁移能力；每个游戏提供确定性反馈和自动评分并配套参考分，保证可复现、可大规模评测；提出 Max、Mean、LG、LS 四个指标把峰值表现与学习速率分开；同时招募人类被试（每游戏 21 到 30 人）在同一界面上对照，并对所有配置做逐 token 的成本核算。
与已有工作不同的是，本文的独特切入角度有三层。第一，用规则新颖性加反直觉性作为设计原则，在任务层面直接把从交互学习与检索预训练知识解耦：相比之下 AutoEnv 虽然也自动生成新环境但没有强调规则反直觉，ARC-AGI-3 的陌生环境依赖视觉能力，J-TTL 的 Jericho 游戏内容可能已在预训练中。反直觉规则还有个巧妙作用：预训练常识不仅帮不上忙，还会主动误导（比如按职场常识努力工作），从而更严格地检验智能体是否真的以反馈为准。第二，固定与重排的双维度游戏设计，用同实例对照与换实例重排的匹配比较，把学到的规则和记住的表面细节定量分开。第三，评估面同时覆盖骨干模型、经验保留方法、部署 harness 三层并在每层内固定其余变量，再加上人类对照实验和成本核算；harness 这个通常被忽略的变量在这里被证明影响巨大。此外本文定位不是提出新方法，而是以可核查的证据档案形式（每个游戏的规则判据与原始交互存档）为学习过程留档。
核心方法
整体思路是把从经验学习操作化为在陌生规则环境中跨局改进，直觉上像让玩家玩一批没有说明书的全新桌游，看谁能更快摸清规则并打出高分。技术上，20 个手工设计的游戏模板用固定随机种子生成实例；智能体通过黑盒接口看到目标、状态与可选动作列表，输出动作后环境返回确定性文本观察，局末自动打分并归一化为 $z_{g,r,t}=100x_{g,r,t}/C_g$，$C_g$ 为参考分，分 exact、partial、estimated 三级证据。普通游戏评 5 局，5 个挑战游戏（CATNIP、DREAMGARDEN、MOLA TEA、REDEYE、ROADSIDE OBSERVATORY）评 10 局，每配置每游戏 3 次独立试验，试验间不共享经验。指标有四个：Max（各试验峰值平均）、Mean（全程均分）、LG（末尾 $k_g=\min(3,\lfloor T_g/2\rfloor)$ 局与前 $k_g$ 局均分之差）、LS（对 $y_{g,t}=\beta_{0,g}+\beta_{1,g}t+\epsilon_{g,t}$ 回归的斜率 $\hat{\beta}_{1,g}$）；聚合时挑战游戏权重 3、普通游戏权重 1，两组各占一半。
核心创新是用任务设计从源头保证测的是学习能力，而非预训练知识的检索。已有基准主要在熟悉任务上测重复尝试后的提升，本文反其道而行：20 个游戏的隐藏规则要么是全新的，要么故意与常识相悖——POISONER 里玩家要给口味隐藏的国王连续三场宴席投毒喂菜，SYNERGYCORP 里有效动作由角色怪癖决定，SYNERGYCORP 的宣传语场景里偷午餐才能晋升。由于规则隐藏在环境反馈中，智能体必须主动做对照实验（理想情况下一次只变一个因素）才能定位因果。第二个关键设计是重排维度：10 个重排游戏每局更换菜单、客人或布局但保持底层规则，与同实例对照条件匹配比较 LS，就能直接量化智能体学到的是规则还是表面细节（例如是学会了国王的口味约束，还是只记住了菜单位置）。第三个关键点是把比较轴拆成骨干模型、经验保留方法、部署 harness 三层，每层内固定其余变量：11 个骨干统一用 OpenCode，6 种方法分别在三个骨干上固定骨干比较，harness 对比则在同骨干下换框架，从实验设计上剥离混杂因素。
方法步骤详情
评估分七步。第一步，游戏设计与参考分：每个游戏定义学习任务（如 GEMFORGE 的多级合成配方、HAUNTED INN 的房间禁忌）和参考分 $C_g$，20 个游戏分 10 固定加 10 重排，5 个经试点定为挑战游戏。第二步，交互协议：黑盒接口，禁止访问源码和 oracle；智能体每步从动作列表中选择，环境返回文本反馈，局末自动计分。第三步，试验隔离：每游戏 3 次独立试验，试验间无记忆迁移，由 harness 设置保证（如 Claude Code 关闭持久自动记忆）。第四步，指标计算：逐游戏归一化后算四指标，按挑战权重聚合。第五步，四组比较：11 个骨干统一用 OpenCode；六种经验方法分别在 Kimi K3、Opus 5、GPT-5 Mini 上固定骨干比较；harness 对比为 OpenCode 对 Claude Code 与 Codex；人类研究每游戏 21 到 30 名大学生，禁用 AI 和代码。第六步，迁移协议：每个重排游戏配同实例对照，比较 10 局的 LS 差值。第七步，成本核算：区分新输入、缓存、输出 token 并按公开定价折算，GPT-6 Astra 用实际账单（150 美元除以 600 局）。
技术新颖性
新颖性不在算法而在评测方法论。其一，反直觉规则游戏是干净的实验操纵：相比 J-TTL 的 Jericho 游戏（公开内容可能被预训练覆盖）和 ARC-AGI-3（视觉能力混杂），本文以纯文本、全新规则隔离出学习这一个变量。其二，指标设计把性能与学习解耦：Max 高不代表 LS 高，Opus 5.5（Max 80.1）与 Qwen 3.8 Max（LS +6.30）代表两类不同的最优，这种显式区分在以往基准中少见。其三，规则发现证据档案提供了超越分数的过程性证据：每个游戏定义判据 T1 到 Tk，按 S（至少一个试验有完整证据）、P（部分证据）、减号三级标注，原始交互全程存档，因此论文能指认 EvoTest 在 GEMFORGE 中把一次失败泛化成禁止所有未测试高阶融合的具体 prompt，这种可核查的机制分析在基准论文中少见。其四，把 harness 当作一等研究变量并绘制性能-成本前沿，把学习好坏落到美元成本上；人类对照不仅比分数还比行为统计（动作序列相似度、受挫后恢复率），使人机学习差异有定量支撑。
实验结果
RQ1 骨干（统一 OpenCode）：Opus 5.5 性能最强（Max 80.1、Mean 61.0），但学习指标由 Qwen 3.8 Max 领先（LG +25.2、LS +6.30），分数最高不等于学得最快；强模型会随反馈修正假设，弱模型重复曾有效的动作。方法对比：Kimi K3 上保留完整原始历史的 MEMORY 四指标全第一（Max 63.3、LG +16.9、LS +4.69），胜过 EvoTest（62.4）、Reflexion（61.6）、ReasoningBank（59.9）、AWM（56.1）；Opus 5 上 EvoTest 最高（66.1），NAIVE 负学习（LG −5.1）。机制是精巧压缩会把不完整理解固化成错误规则：GEMFORGE 中 EvoTest-Opus5 一次失败后 prompt 禁止所有未测试的 tier-2/3 融合，得分卡在 83，而原始历史保留证据、允许修正。RQ2 harness：Opus 5 换到 Claude Code 后 Max 74.5 升至 81.8，GPT-5.6-SOL 换到 Codex 后 57.0 升至 74.3，因模型与自家 harness 协同训练。RQ3 人类：Human Top-1 的 Max 84.3 超过全部 31 个配置；人类相邻局动作相似度 0.54 低于智能体 0.66，受挫后创新高率 33.3% 对 21.8%；人类赢在需要新策略的游戏（GEMFORGE 达 99.9），智能体赢在需要精确执行与计算的游戏（MODEL AUDITOR 中 OpenCode-Opus5 满分 100，Human Top-1 仅 70）。RQ4 迁移：重排时 Sonnet 5 的 LS 从 4.90 掉到 2.23（drop 2.67）最严重，Opus 5 仅 0.59、Kimi K3 0.88；SYNERGYCORP 中 Opus 5 复用学到的映射得 137 满分，Sonnet 5 重新试探只得 67。RQ5 成本：Kimi K3 单价高于 Sonnet 5 却更便宜更强（每局 0.313 对 1.33 美元、Max 68.5 对 55.9）；OpenCode 输入 token 比 MEMORY 少 56%、生成 token 比 EvoTest 与 ReasoningBank 少 71% 和 41%；Codex+GPT-5.6-SOL 每局 0.144 美元拿 74.3，MEMORY+Opus5 每局 3.09 美元仅 60.9。另一发现：智能体学到规则仍不会规划，HAUNTED INN 中 Opus 5 明知禁忌仍贪心分房。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 20游戏综合能力（11骨干统一用OpenCode） | Max | Claude Opus 5.5：80.1±2.7 | 最弱骨干 GPT-5 Mini：34.0±3.2 | 最强与最弱骨干相差 46.1 分 |
| 跨局学习速率（OpenCode骨干） | Learning Slope | Qwen 3.8 Max：+6.30±1.18 | GPT-5 Mini：+1.83±0.91 | 约 3.4 倍，说明性能排名与学习排名不一致 |
| 经验保留方法对比（Kimi K3骨干） | Max / LG | MEMORY：63.3 / +16.9 | AWM：56.1 / +4.8 | Max +7.2，LG 提升约 2.5 倍，原始历史胜过工作流归纳 |
| 同骨干harness对比（Claude Opus 5） | Max | Claude Code：81.8 | OpenCode：74.5 | +7.3 分（LG 从 +21.3 提至 +27.1） |
| 同骨干harness对比（GPT-5.6-SOL） | Max | Codex：74.3 | OpenCode：57.0 | +17.3 分，harness 效应超过多数换方法/换模型的收益 |
| 人类与智能体峰值对比 | Max | Human Top-1：84.3 | 最佳智能体 Claude Code+Opus5：81.8 | 人类高 2.5 分，且人类序列相似度 0.54 对 0.66、受挫恢复率 33.3% 对 21.8% |
| 重排游戏迁移（规则不变、实例更换） | LS drop（对照减重排） | Claude Code：0.52；Opus 5：0.59 | Sonnet 5：2.67；Gemini 3.7 Flash：2.15 | 强组合的迁移损失约为弱骨干的 1/4 到 1/5 |
| 性价比前沿 | 每局成本（USD） | Codex+GPT-5.6-SOL：$0.144（Max 74.3） | OpenCode+Sonnet5：$1.33（Max 55.9）；最贵 MEMORY+Opus5：$3.09（Max 60.9） | 成本降低约 89%，Max 还高出 18.4 分 |
局限与改进
作者承认的局限：每配置每游戏仅 3 次独立试验，标准差较大（如 GEMFORGE 中 OpenCode+Gemini 3.5 的 Max 为 72.6±45.4），许多排名差异在 1 个标准差内；规则发现标注混合了完整规则发现与成功执行两类判据，只能逐游戏报告而不做整体聚合；归一化依赖参考分，CATNIP、DREAMGARDEN、MOLA TEA、PATCH REALITY 只有 estimated 级证据；人类 Top-k 按成绩选人，是描述性对比而非因果检验，被试仅大学生且每游戏 21 到 30 人；GPT-6 Astra 成本基于确认账单而非逐 token 台账。我的补充观察：任务限于文字游戏，学习表现为发现参数化规则，与网页、代码库等开放世界的学习结构不同，外推需谨慎；游戏机制（支配环、状态机、配方图）仍是模型熟悉的原语，陌生性可能只在内容层面；模型与定价是 2026 年快照，结论会快速过时；MEMORY 的胜出依赖完整历史装得进上下文，最长仅 10 局，长时程下被迫丢弃旧记录后优势可能消失；缺少简单检索基线，无法定位 MEMORY 优势来自完整证据还是大量上下文本身。
独立分析的弱点
第一，MEMORY 型方法的可扩展性瓶颈：保留完整历史迟早超出上下文预算，本文最长仅 10 局，长时程下被迫丢弃旧记录后会退化；改进方向是分层证据记忆——每条规则附指向原始交互的引用与置信度，可被新证据撤销，检索时证据连同规则一起回放，兼得压缩效率与可修正性。第二，自进化方法的过早固化：Reflexion、EvoTest、AWM 都出现过把单次失败泛化成禁止性规则的案例，本质是缺少对规则证据量的建模；改进方向是让规则携带样本量与适用条件，达到证据阈值才升级为硬约束，或做贝叶斯式更新。第三，探索不足：智能体相邻局动作相似度高达 0.66，找到部分有效策略后常停止测试（Opus 5 得出高价值宝石无法合成后反复重复旧配方）；改进方向是引入信息增益目标或强制探索预算。第四，规划能力短板：HAUNTED INN 中明知禁忌仍贪心分房，说明知道规则不等于会做全局规划；而 MODEL AUDITOR 中模型能自发写程序做系数搜索，说明工具化前向模拟或约束求解可行。第五，统计功效不足：3 次试验下部分结论脆弱，应增加种子与试验数、报告置信区间，或用游戏内配对比较。
未来方向
作者在讨论中提出三个开放方向：一是探索与利用的平衡机制，让智能体即使当前策略已能拿高分仍保留测试新策略的动力，因为 Human Top-1 的优势正来自更多样的策略尝试；二是经验的存储方式，把每条学到的规则链接回产生它的原始交互，使智能体能在新反馈到来时回看证据、修订规则，避免把不完整证据固化成定论；三是跨情境学习，帮助智能体比较不同情境下的经验、区分共享规则与实例细节、检查规则的适用条件，这直接对应重排游戏中弱骨干 LS 大幅下降的发现。基于本文的成果还可以延伸出几个方向：把规则发现证据档案（T1 到 Tk 判据加 S/P/减号 标注）自动化为诊断工具，精确定位某个配置卡在哪条规则上，形成比总分更可操作的改进信号；把人类行为统计数据（更低的序列相似度、更高的受挫恢复率）用作训练探索策略的目标或示范来源；将 LG/LS 指标与固定-重排双条件协议移植到编码、网页操作等真实任务流，检验结论的普适性；结合 TT-SI 式的测试时训练，对比上下文学习与参数更新的学习效率与成本；以及研究多智能体共享记忆的集体学习，因为原始历史的可修正性在多智能体场景下价值更大。
复现评估
复现条件总体较好，但完整复现成本不低。有利因素：游戏是确定性环境，反馈可复现、评分全自动、种子与实例全部固定；参考分与归一化公式在 Table 6 完整给出并标注证据等级；评测协议（黑盒接口、3 次独立试验、试验隔离的 harness 设置）足够细；附录 C 公开 31 个配置的逐指标试验标准差，附录 D 为每个游戏存档曲线、排行榜和规则发现证据，结果可逐格核对，并提供项目网站。所需资源：完整评测约 31 个配置乘 20 游戏乘 3 试验乘 5 到 10 局，按 Table 12 每局成本 0.0063 到 3.09 美元不等，总预算数千美元量级，Opus 5.5（1.06 美元/局）与 GPT-6 Astra（实际账单 150 美元）是主要开销；人类研究需招募每游戏 21 到 30 名被试并设计激励。难度评估：只复现核心结论的话，选 2 到 3 个骨干、6 到 8 个游戏、3 次试验，成本可控制在几十到几百美元；完整复现需多家商业 API 权限与较大预算，人类研究难以完全复制。论文未明确说明代码是否全部开源，需查阅项目网站，但公开存档显著降低了核对门槛。
论文图表
