MEMO：面向鲁棒多轮多智能体LLM博弈的记忆增强模型上下文优化 MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games
通过持久记忆库和锦标赛式提示进化，无需微调即可大幅提升LLM多智能体博弈的胜率与稳定性。
前置知识
多轮多智能体博弈
指两个或多个LLM智能体在多轮交互中进行策略性博弈的场景。每个智能体的输出会成为后续输入的一部分，形成路径依赖的决策链。与单轮QA不同，博弈中的早期微小偏差会通过回合累积放大，并且多智能体之间的耦合效应会进一步加剧这种发散。典型的博弈形式包括谈判游戏、不完全信息博弈（如扑克）和完全信息博弈（如棋类）。本文在五个文本博弈上进行实验：SimpleNegotiation（谈判）、TwoDollar（不完全信息竞价）、KuhnPoker（不完全信息扑克）、Briscola（完全信息卡牌）和SimpleTak（完全信息棋类），覆盖了博弈论中的三大核心问题类别。
本文的核心研究对象就是多轮多智能体博弈场景，理解这一概念是理解论文问题动机和方法设计的基础。
TrueSkill评分系统
TrueSkill是微软提出的贝叶斯技能评分系统，为每个参与者维护一个高斯分布，包含技能均值 $\mu_c$ 和不确定性 $\sigma_c$。当参与者胜出时 $\mu$ 上升，不确定性随比赛次数增加而下降。本文使用保守的下置信界选择策略：$S(c) = \mu_c - \kappa\sigma_c$，其中 $\kappa=1$ 是惩罚系数。相比简单的胜率计数，TrueSkill能更好地处理小样本下的不确定性——一个上下文3局3胜可能只是运气好而非真正强大。
MEMO使用TrueSkill来评估候选上下文的优劣，取代了传统的胜率计数，这是其实现稳定选择的关键技术。
提示优化（Prompt Optimization）
自动搜索和优化LLM推理时上下文（包括系统提示、指令和辅助信息）的技术。已有方法包括TextGrad（基于文本梯度的自然语言反馈优化）、MIPRO（DSPy框架的多指令提示优化，平均消耗354K输出token）和GEPA（进化式提示搜索，平均消耗113K输出token）。但这些方法大多为静态任务设计，缺乏跨轮次的记忆持久化机制，每轮优化后丢弃历史经验，本质上是无记忆的搜索过程。
MEMO本质上是一种面向博弈场景的提示优化方法，理解已有方法的局限性有助于理解MEMO的创新点。
自博弈（Self-Play）
智能体通过与自身或其他策略进行反复对弈来提升能力的训练范式。经典案例如AlphaGo/AlphaZero通过自博弈实现超越人类的围棋水平。在LLM场景中，自博弈不需要大规模标注数据，通过博弈结果作为反馈信号来改进策略。MEMO将自博弈与提示优化结合，在不更新模型权重的情况下，通过2000局自博弈（N=8个候选，G=5代，每代每个候选50局）实现累积改进。
自博弈是MEMO框架的核心训练范式，理解其机制对于理解MEMO如何在不微调模型的情况下提升性能至关重要。
优先级经验回放（Prioritized Replay）
一种从强化学习借鉴的技术，用于存储和重放历史轨迹。MEMO维护一个回放缓冲区 $B_{rep}$（容量 $B=100,000$），存储轨迹前缀及其环境种子。关键设计是使用逆频率分数进行优先级排序：$\text{priority}(\tau) = \frac{1}{\text{count}(\tau)}$，采样概率为 $p_i = \frac{\text{priority}(\tau_i)^\alpha}{\sum_{j=1}^{|B_{rep}|} \text{priority}(\tau_j)^\alpha}$，其中 $\alpha=0.6$ 控制优先级强度。回放门控 $\beta=0.4$ 决定了以多大概率从缓冲区初始化游戏而非从头开始。
优先级回放是MEMO三大核心组件之一，帮助智能体探索更多样化的博弈状态，从而产生更丰富的记忆洞见。
研究动机
多轮多智能体LLM博弈评估存在严重的不稳定性问题。由于每个模型输出都会成为后续输入的一部分，早期的微小偏差会在回合间累积放大（compounding deviations），导致轨迹发散。在多智能体博弈中，交互耦合效应进一步加剧这一问题：一个智能体的不一致响应会扰动另一个智能体的最优应对策略，重塑联合轨迹。此外，一些LLM即使在名义上确定性的解码设置下也表现出非确定性输出。从评估角度看，这些因素会偏差胜率估计并使跨重复锦标赛的比较排名不稳定。实验数据表明，基线方法的相对标准误差（RSE）高达44.9%（GPT-4o-mini）和30.1%（Qwen-2.5-7B-Instruct），意味着同一方法在不同运行间的结果差异极大。同时，提示选择也会严重影响结果——论文附录A展示了微小的上下文变化就能诱导出不同的有效策略，甚至导致模型排名反转，严重损害评估的公平性和可复现性。
本文的目标是本文的目标是同时解决两个紧密关联的问题：第一，通过优化推理时上下文来大幅提升多轮多智能体LLM博弈的胜率；第二，大幅降低运行间方差，使评估结果更加稳定可靠。具体而言，作者希望在仅使用2000局自博弈游戏的预算下（每个任务），实现与需要38,000局的RL方法相媲美甚至更优的性能，同时将相对标准误差从44.9%降低到个位数百分比水平。论文同时关注计算效率，希望在输出token消耗上优于现有提示优化方法。
与已有工作不同的是，现有方法的切入角度存在根本性缺陷。静态提示方法（如CoT、ToT）在整个评估过程中保持固定，无法适应交互中涌现的失败模式和策略模式。自动提示优化方法（如TextGrad、MIPRO、GEPA）虽然允许提示自适应，但大多为静态任务设计，从局部批次轨迹更新提示后丢弃历史经验，缺乏持久记忆机制。在多轮多智能体博弈中，不同锦标赛会暴露不同的关键状态和罕见失败模式；如果没有跨轮次保留和重用洞见的机制，提示优化就变成运行依赖的（run-dependent），导致学到的上下文和性能都有很高的方差。MEMO的独特切入角度是将上下文不视为固定的包装器，而是应被当作一个在交互下优化的智能体对象（agentic object），通过耦合探索（锦标赛式上下文进化加优先级回放）和保留（持久记忆库的CRUD操作）来实现累积学习，这是将上下文优化从无记忆搜索转化为累积学习过程的关键转变。
核心方法
MEMO的整体思路可以概括为「探索加保留」的双重机制。直觉上，如果一个智能体能从过去的博弈中提取出可复用的策略洞见，并在未来的博弈中注入这些洞见作为先验，那么它就能随时间累积改进，而不需要每次都从零开始。技术路线上，MEMO运行 $G=5$ 个优化代次（generation），每个代次包含三个核心步骤：第一步是锦标赛式上下文优化，维护 $N=8$ 个候选上下文的种群，每个候选通过50局自博弈评估其优劣，使用TrueSkill贝叶斯评分系统进行选择；第二步是轨迹反思与记忆库维护，从已完成的博弈轨迹中提取结构化洞见并存入持久记忆库 $B_{mem}$，通过添加（Add）、删除（Remove）、编辑（Edit）三种操作与现有记忆合并；第三步是优先级经验回放，维护回放缓冲区 $B_{rep}$ 存储轨迹前缀和环境种子，以概率 $\beta=0.4$ 从缓冲区初始化游戏以重访罕见关键状态。这三个组件分别对应探索、保留和深度探索，共同构成一个不更新模型权重的自博弈优化框架。整个过程使用 $N \times G \times S = 8 \times 5 \times 50 = 2000$ 局游戏。
MEMO的核心创新在于将持久记忆（persistent memory）引入提示优化框架。与已有方法的本质区别体现在三个方面。第一，已有提示优化方法（如TextGrad、MIPRO、GEPA）在每轮更新后会丢弃之前的学习经验，本质上是无记忆的搜索过程；MEMO通过持久记忆库跨代次保留和累积洞见。第二，记忆库采用数据库式的CRUD操作，能够自我纠正和精炼：如果新洞见与现有洞见不相似则直接添加，如果两者冲突（建议矛盾的策略）则两者都删除以避免误导，如果相似则通过增强、泛化或改进来合并编辑。第三，MEMO耦合了锦标赛式探索和记忆增强，论文的核心发现是：单独的探索只带来适度收益（基线到锦标赛加3.3%），单独的记忆带来更大收益（基线到记忆加10.4%），而两者结合则产生最大的提升（加24.3%），说明探索本身只能产生有限改进，持久记忆才是将上下文优化从无记忆搜索转化为累积学习过程的关键。
方法步骤详情
MEMO的方法步骤如下。步骤一，初始化：维护一个包含 $N=8$ 个候选上下文的种群 $C_g$，每个上下文定义了不同的提示和先验集合。在第一个代次（$g=0$），记忆库为空，所有初始上下文通过随机提案生成，即从固定的博弈风格目录中采样一个风格，对基础上下文施加长度有界的编辑以实例化该风格。步骤二，锦标赛评估：每个候选上下文 $c \in C_g$ 通过与基线智能体（使用默认提示的同一基础模型）进行多智能体自博弈来评估，每个候选收集 $S=50$ 局游戏，非对称博弈中交换先手顺序以消除偏差。步骤三，TrueSkill选择：使用贝叶斯技能评分系统为每个上下文维护高斯分布 $(\mu_c, \sigma_c)$，通过下置信界 $S(c) = \mu_c - \kappa\sigma_c$（$\kappa=1$）对上下文进行排名，低分上下文被丢弃。步骤四，记忆库更新：从当前代次的已完成轨迹中采样固定数量的样本，提示模型提取结构化洞见（如规则澄清、合法性约束、策略先验），然后与现有记忆库合并——添加未见过的新洞见、删除相互冲突的洞见、编辑相似洞见以增强其可操作性。步骤五，上下文生成：维护持久候选池 $P$，存储有史以来最优的上下文。生成下一代次种群时，一部分通过随机提案生成新变异以鼓励探索，另一部分（比例 $\pi=0.75$）通过记忆增强更新生成——从记忆库采样洞见注入到上下文中。步骤六，优先级回放：回放缓冲区（容量 $B=100,000$）存储轨迹前缀和环境种子，使用逆频率优先级采样确保罕见状态被优先重访，以概率 $\beta=0.4$ 从缓冲区初始化游戏。步骤七，最终输出：经过 $G=5$ 代优化后，输出候选池 $P$ 中得分最高的上下文 $C^* = \arg\max_{C \in P} S(C)$。
技术新颖性
MEMO的技术新颖性体现在多个层面。首先，它首次将持久记忆机制引入多智能体博弈的提示优化中——TextGrad（平均约1K输出token但缺乏学习复杂多轮行为的能力）、MIPRO（平均354K输出token）和GEPA（平均113K输出token）都是无记忆的，每轮优化后丢弃历史经验，而MEMO仅需91K输出token就实现了更优或相当的性能。其次，记忆库的CRUD操作设计借鉴了数据库的合并策略，通过添加、删除、编辑三种操作实现记忆的自我纠正和精炼，这是对简单累加或替换策略的重要改进——冲突的洞见被双向删除以避免误导。第三，将TrueSkill引入上下文选择是创新的，解决了小样本下胜率估计不可靠的问题。第四，优先级回放使用逆频率分数 $\text{priority}(\tau) = \frac{1}{\text{count}(\tau)}$ 和幂次 $\alpha=0.6$ 的采样策略，确保罕见但关键的状态能被重访。第五，MEMO实现了19倍的样本效率提升（2,000 vs 38,000局），同时在不完全信息博弈（谈判和扑克类）上优于RL方法，在完全信息博弈上虽不如RL但保持竞争力。
实验结果
论文的核心发现可以归纳为四点。第一，持久自博弈记忆能实现样本高效且稳定的收益。在GPT-4o-mini上，MEMO将平均胜率从基线的25.1%提升到49.5%，在Qwen-2.5-7B-Instruct上从20.9%提升到44.3%。RSE从44.9%降低到6.4%（GPT-4o-mini）和从30.1%降低到6.1%（Qwen-2.5-7B-Instruct），分别降低约7倍和5倍。第二，保留和结构化探索都是必要的。消融实验表明，仅使用锦标赛优化将胜率从23.8%提升到27.1%（加3.3%），仅使用记忆库提升到34.2%（加10.4%），锦标赛加回放提升到41.6%（加17.8%），锦标赛加记忆提升到48.1%（加24.3%），完整MEMO达到50.2%（加26.4%）。第三，学到的上下文能跨游戏泛化——将SIMPLETAK的上下文转移到KUHNPOKER带来加25.9%的提升，TWODOLLAR到SIMPLETAK带来加26.4%的提升，但转移效果具有方向不对称性（BRISCOLA到SIMPLETAK出现负7.1%的负迁移）。第四，学到的上下文不一定能跨模型转移：较弱的Gemini-2.5-Flash-Lite从转移的上下文中均匀获益（平均约32%基线提升到更高），而较强的Grok-4-Fast-Non-Reasoning在已表现良好的游戏上出现负迁移（Briscola减8.0%，Kuhn Poker减6.0%），表明转移的启发式可能与原生策略冲突。此外，MEMO的计算效率也很突出：平均仅使用91K输出token，约为MIPRO（354K）的四分之一和GEPA（113K）的80%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SimpleNegotiation（谈判博弈，GPT-4o-mini） | 平均胜率 | 54.9% | 31.3%（基线）/ 42.0%（TextGrad）/ 38.4%（MIPRO）/ 36.8%（GEPA） | 相对基线加23.6%，相对最优提示优化方法TextGrad加12.9% |
| TwoDollar（不完全信息博弈，GPT-4o-mini） | 平均胜率 | 52.4% | 32.2%（基线）/ 44.6%（TextGrad）/ 50.9%（MIPRO）/ 40.4%（GEPA） | 相对基线加20.2%，相对最优提示优化方法MIPRO加1.5% |
| KuhnPoker（不完全信息博弈，GPT-4o-mini） | 平均胜率 | 55.6% | 39.1%（基线）/ 55.6%（TextGrad）/ 55.1%（MIPRO）/ 52.2%（GEPA） | 相对基线加16.5%，与其他提示优化方法持平 |
| Briscola（完全信息博弈，GPT-4o-mini） | 平均胜率 | 42.7% | 0.3%（基线）/ 7.1%（TextGrad）/ 19.7%（MIPRO）/ 3.3%（GEPA） | 相对基线加42.4%，相对最优提示优化方法MIPRO加23.0% |
| SimpleTak（完全信息博弈，GPT-4o-mini） | 平均胜率 | 41.8% | 21.4%（基线）/ 23.6%（TextGrad）/ 19.1%（MIPRO）/ 26.9%（GEPA） | 相对基线加20.4%，相对最优提示优化方法GEPA加14.9% |
| 所有游戏平均（GPT-4o-mini） | 平均胜率 / RSE | 49.5% / 6.4% | 25.1% / 44.9%（基线）/ 34.6% / 18.4%（TextGrad）/ 36.7% / 12.4%（MIPRO）/ 32.0% / 11.3%（GEPA） | 平均胜率加24.4%（相对基线），RSE降低约7倍 |
| 所有游戏平均（Qwen-2.5-7B-Instruct） | 平均胜率 / RSE | 44.3% / 6.1% | 20.9% / 30.1%（基线）/ 29.9% / 21.7%（TextGrad）/ 33.4% / 7.3%（MIPRO）/ 45.0% / 43.3%（UnstableBaseline RL） | 平均胜率加23.4%（相对基线），与RL方法（45.0%）接近但使用19倍更少的游戏且RSE大幅降低 |
局限与改进
论文存在几个值得关注的局限性。首先，所有实验仅限于两人零和博弈场景，未涉及更一般的多人非零和博弈，这限制了结论的普适性。其次，MEMO在完全信息博弈（如Briscola上42.7%和SimpleTak上41.8%）上的表现虽然显著优于提示优化方法，但仍明显不如RL方法——UnstableBaseline在Briscola上达到53.3%，表明在完美信息设置下RL仍然更有效，论文也在结论中坦承了这一点。第三，跨模型转移实验显示MEMO学到的上下文不能无条件地转移到其他模型——较强的Grok模型在某些游戏上出现负迁移，这意味着每次更换基础模型可能需要重新优化上下文。第四，论文使用固定超参数配置（$N=8$, $G=5$, $S=50$, $\kappa=1$, $\pi=0.75$, $B=100,000$, $\alpha=0.6$, $\beta=0.4$），虽然避免了逐任务调优，但未探索更少或更多代次的收敛行为，也不清楚这些超参数在更复杂场景下是否仍然最优。第五，记忆库的大小和管理策略可能在更复杂的博弈中遇到扩展性问题——当前仅在5个相对简单的文本博弈上验证，最大博弈仅需数个决策回合。第六，评估对手池仅包含3个模型（Grok-4-Fast-Non-Reasoning、Gemini-2.5-Flash-Lite和Qwen3-235B-A22B-Instruct-2507），可能不足以全面评估鲁棒性。最后，论文没有讨论MEMO的推理时间开销——注入记忆洞见和进行优先级回放会增加每次推理的上下文长度和计算成本，这在实际部署中可能是瓶颈。
独立分析的弱点
MEMO有几个值得改进的弱点。第一，记忆库的CRUD操作完全依赖LLM进行洞见提取和冲突检测，这引入了额外的LLM推理成本和潜在的错误传播——如果反思过程产生低质量或错误的洞见，可能会污染记忆库并误导后续博弈。改进方向可以是引入更鲁棒的洞见验证机制，例如多模型交叉验证或基于博弈结果的事后一致性检验。第二，优先级回放的逆频率策略过于简单，可能无法有效区分「罕见且重要」和「罕见但无信息量」的状态。可以考虑结合信息论指标（如互信息或信息增益）来更精确地识别关键状态。第三，锦标赛评估需要每个候选运行50局游戏，当候选数量 $N$ 增加时计算成本线性增长。可以引入更高效的早期淘汰策略，如基于少量样本的预筛选或多臂老虎机算法。第四，记忆库中的洞见缺乏时间衰减机制，早期代次产生的洞见可能不再适用于后续代次的博弈动态。可以引入基于相关性的时间衰减或定期清理机制。第五，当前方法仅优化系统提示和记忆先验，未探索更丰富的上下文结构（如博弈历史摘要、对手建模、层次化策略表示等），这些可能带来进一步的收益。
未来方向
基于MEMO的成果，未来研究可以从多个方向展开。作者明确指出的一个方向是探索MEMO与RL的结合——论文实验显示RL在完全信息博弈中更有效（UnstableBaseline在Briscola上53.3%），而MEMO在不完全信息博弈中更优（在SimpleNegotiation上54.9%），两者的互补结合可能在所有博弈类型上都取得优异表现。另一个重要方向是将MEMO扩展到更复杂的博弈类型，包括多人博弈、合作博弈和混合动机博弈，以及更长回合的博弈场景。此外，可以研究记忆洞见的层次化组织——从底层的动作模式到高层的战略原则，形成不同抽象级别的知识结构，从而提升跨游戏和跨模型的转移能力。跨模型转移的改进也是一个有前景的方向：如果能学习到模型无关的通用策略表示，就能减少每次更换基础模型时的重新优化成本。最后，MEMO的核心思想——通过持久记忆实现累积学习——可以扩展到更广泛的交互式AI任务中，如多轮对话系统、任务规划、人机协作和代码调试等领域。
复现评估
MEMO的复现条件相对友好。代码已在GitHub开源（https://github.com/openverse-ai/MEMO），论文提供了详细的超参数配置（$N=8$, $G=5$, $S=50$, $\kappa=1$, $\pi=0.75$, $B=100,000$, $\alpha=0.6$, $\beta=0.4$），并在附录中给出了各基线方法的具体配置（附录H）。数据方面，所有博弈环境来自TextArena和SPIN-Bench，均为公开可用。算力需求方面，每个任务需要2000局自博弈游戏，主要成本来自LLM推理——论文报告MEMO平均使用91K输出token，使用GPT-4o-mini的API成本可控。但需要注意几个方面：论文未提供详细的运行时间和GPU/TPU需求，TrueSkill的实现可能需要额外依赖（如trueskill库），完整运行所有实验（5个游戏乘以2个模型乘以3次独立运行乘以50局评估）需要大量API调用。此外，论文提到每个优化代次有50局自博弈游戏用于评估，加上反思和记忆库操作的LLM调用，总API调用量相当可观。整体而言，复现难度中等——环境和超参数都已公开，但完整的实验复现需要显著的API预算。
论文图表
