← 返回 2026-04-21

STRATAGEM：通过轨迹调制博弈自博弈学习可迁移推理 Stratagem: Learning Transferable Reasoning via Trajectory-Modulated Game Self-Play

Xiachong Feng, Deyi Yin, Xiaocheng Feng, Yi Jiang, Libo Qin, Yangfan Ye, Lei Huang, Weitao Ma, Qiming Li, Yuxuan Gu, Bing Qin, Lingpeng Kong 📅 2026-04-20 👍 6 2026-07-13 08:36
LLM训练 博弈论 强化学习 推理迁移 自博弈
arXiv HuggingFace PDF

在游戏自博弈中引入轨迹优势调制，用抽象度系数与演化奖励解决推理迁移难题

前置知识

自博弈（Self-Play）

自博弈是强化学习中的一类训练范式，让智能体（或同一策略的两个副本）相互对抗，无需外部标注即可产生训练信号。博弈论意义上的零和博弈天然提供胜/负/平的稀疏终局奖励。代表工作有 AlphaGo、OpenAI Five、SPIRAL。

STRATAGEM 完全建立在自博弈之上，其核心是在 SPIRAL 的终端胜负奖励基础上再叠加推理质量信号；不理解自博弈就无法理解 φ 和 ψ 解决的是什么问题。

策略梯度与优势函数（Policy Gradient & Advantage）

策略梯度方法直接对策略参数 $\theta$ 求期望回报的梯度，经典形式 $\nabla_\theta J = \mathbb{E}[\nabla_\theta \log \pi_\theta(a|s) \cdot A(s,a)]$，其中优势 $A(s,a)$ 衡量某动作相对基线的优劣。SPIRAL 引入 Role-conditioned Advantage Estimation（RAE）为每个 (游戏, 角色) 维护独立基线 $b_{G,p}$。

STRATAGEM 改动的是优势项本身：$A_{mod}(\tau) = A_{game}(\tau) \cdot \varphi(\tau) + \beta \cdot \psi(\tau)$。要读懂方法部分必须先理解优势在策略梯度中如何驱动参数更新。

零和马尔可夫博弈（Zero-Sum Markov Game）

两人零和马尔可博弈 $G=(S, A^0, A^1, T, r, \gamma)$ 满足 $r^0 + r^1 = 0$，扩展自 MDP。本文中两个玩家共享同一策略 $\pi_\theta$ 并通过角色条件（role conditioning）区分，时序上 $t \mod 2 = p$ 决定由哪位玩家行动。

STRATAGEM 的训练环境（Tic-Tac-Toe、Kuhn Poker、Simple Negotiation）都是零和博弈，轨迹 $\tau = \{(s_t, a^{(p)}_t)\}_{t=0}^T$ 上的优势调制正是基于这一形式化框架。

LLM 推理迁移（Reasoning Transfer）

指在大模型训练中获得的能力从一个领域迁移到另一个领域的过程。本文中特指游戏训练中学到的推理能否迁移到数学、代码与通用推理。已有研究（SPIRAL）表明游戏训练的零和奖励可以迁移，但迁移机制尚不清晰。

STRATAGEM 的两个核心组件（RTC φ 和 RER ψ）正是在尝试回答「什么样的推理可以迁移、怎样激励它」这一根本问题。

研究动机

近年来 SPIRAL 等工作表明，让大语言模型通过零和博弈自博弈可以改善下游推理，但作者观察到这条路径存在两个根本瓶颈。第一是「领域特异性」（domain specificity）：博弈中的训练信号天然偏向游戏专属的启发式，例如在扑克中学到「K 牌大于 Q 牌所以应该下注」，这种启发式在博弈外毫无用处；而真正可迁移的抽象推理（如「枚举所有情形并计算期望收益」）却被淹没在胜负信号中，得不到偏好强化。第二是「语境静止」（contextual stasis）：博弈环境规则固定、设定不变，模型学会的是在静态语境中取胜的浅层模式匹配；而真实数学解题要求推理随着中间结果不断演化，每一步都重塑求解空间。实验中可以清楚看到这两个问题的具体表征：基线 Qwen3-4B-Base 在 Tic-Tac-Toe 案例中每回合都重复「On my first move...take a central position」这种 reset 现象，对手出招后完全没有状态感知，这正是语境静止的体现；而 SPIRAL 在 Minerva Math 上达到 42.3%，AIME24 上仅 10%，表明游戏启发式并不能迁移到高难度数学推理。

本文的目标是本文的具体目标是设计一个能在博弈自博弈中显式区分「可迁移推理」与「游戏专属启发式」的训练框架，使模型在博弈中获胜的同时学到的推理模式可以高效迁移到数学、通用推理和代码生成任务。STRATAGEM 试图回答的核心问题是：能否仅在博弈轨迹信号的基础上，识别并强化那些具有跨领域通用价值的推理结构？论文最终将这一目标落地为三件事：在 Qwen3-4B-Base 上训练三个文本博弈、在 AIME/MATH500/HumanEval 等 9 个基准上测试迁移效果，并以人工评估和交叉打分验证推理质量确实提升。

与已有工作不同的是，现有自博弈路线（SPIRAL）只用终端胜负 $R_p(\tau) \in \{-1,0,1\}$ 作为学习信号，本质上把游戏过程当成黑盒；现有过程奖励模型（PRM）虽然能提供逐步打分但需要大量领域标注，并不适用于游戏自博弈场景。STRATAGEM 的独特切入角度在于「轨迹级优势调制」：它不直接替代游戏奖励，而是在优势函数层面乘上一个抽象度系数 $\varphi \in [0,1]$、加上一项演化奖励 $\psi \in [-1,1]$，使得只有同时具备「抽象可迁移」和「跨回合演化」两种属性的轨迹才能获得最大强化。这种设计的关键新颖之处在于（1）打分的对象是整条博弈轨迹而非单个 token 或单步状态，保留了博弈作为训练场的优势；（2）评分维度（抽象层级、结构清晰度、原则导向、推理深化、策略适应、逻辑连贯）由 GPT-4 按精心设计的 prompt 评判，无需针对每个游戏手写奖励规则；（3）通过将评分嵌入优势函数而非奖励函数，保留了策略梯度的方差控制能力，并通过零中心化设计（$\psi$ 范围 $[-1,1]$）避免估计偏移。换言之，作者既不想丢弃零和博弈的天然监督，又不想被其游戏专属语义绑架，于是选择了「在信号端而非数据端动手」的第三路径。

核心方法

STRATAGEM 的整体思路可以分两层理解：直觉上，它把博弈自博弈中的每条轨迹当成「学生的解题过程」，其中既有可迁移的数学式推理（应该给高分），也有游戏专属的口诀（应该忽略），还有逐步深化的分析（应该额外奖励）。技术上，它沿用 SPIRAL 的零和博弈自博弈框架和 Role-conditioned Advantage Estimation（RAE），但在计算完游戏优势 $A_{game}(\tau)=R_p(\tau)-b_{G,p}$ 之后，再让一个外部 LLM 评判器（GPT-4）从三个抽象度维度和三个演化维度给整条轨迹打分，加权求和得到 $\varphi$ 和 $\psi$，最后用 $A_{mod}(\tau) = A_{game}(\tau) \cdot \varphi(\tau) + \beta \cdot \psi(\tau)$ 替换原优势送入策略梯度。这种「乘性调制 + 加性奖励」的组合既保留博弈胜负信号的方差缩减特性，又显式注入了关于推理可迁移性的先验。

STRATAGEM 的核心创新在于把「什么样的推理值得强化」这一判别问题显式地参数化为两个可解释的标量函数：Reasoning Transferability Coefficient（$\varphi$，推理可迁移系数）测量推理的抽象程度，取值 ${0,0.5,1\}$；Reasoning Evolution Reward（$\psi$，推理演化奖励）测量跨回合的演化质量，取值 $\{-1,0,1\}$。与 SPIRAL 直接用胜负作为优势不同，STRATAGEM 通过乘 $\varphi$ 来「按推理抽象度打折」游戏优势——只会喊「K 牌大」的轨迹的 $\varphi \approx 0$，其游戏胜负带来的梯度被显著缩小；然后再通过加 $\beta\psi$ 显式奖励那些跨回合越来越深、越来越连贯的轨迹。本质区别在于：SPIRAL 把整条博弈轨迹当成不可分的胜负事件，STRATAGEM 则把轨迹当成可被结构化评估的「推理样本」，并通过优势调制把评估结果反向注入到策略梯度。

方法步骤详情

完整训练流程如算法 1 所示，共四步：第一步 Self-Play Trajectory Generation——从游戏集 $\mathcal{G}=\{$Tic-Tac-Toe, Kuhn Poker, Simple Negotiation$\}$ 中采样一个游戏 $G$，随机分配角色 $p \in \{0,1\}$，让当前策略 $\pi_\theta$ 与自己博弈生成完整轨迹 $\tau=\{(s_t, y^{(p)}_t)\}$，游戏引擎给出稀疏终局奖励 $R_p(\tau) \in \{-1,0,1\}$。第二步 Game-Based Advantage——按 SPIRAL 的 RAE 计算 $A_{game}(\tau)=R_p(\tau)-b_{G,p}$，其中基线 $b_{G,p}$ 以 EMA 系数 $\eta$（默认 0.95）更新，从而解决不同角色结构性收益不对称的问题。第三步 STRATAGEM Modulation（本文贡献）——用 GPT-4 评估器分别计算 $\varphi(\tau)$ 和 $\psi(\tau)$，按 $A_{mod}(\tau)=A_{game}(\tau) \cdot \varphi(\tau) + \beta \cdot \psi(\tau)$ 得到调制后的优势，其中 $\beta=0.20$。为节省成本，对未采样的轨迹直接赋批次均值。第四步 Policy Gradient Update——按标准 REINFORCE 形式 $\nabla_\theta J = \mathbb{E}_{\tau} [\sum_{t \in T_p} A_{mod}(\tau) \nabla_\theta \log \pi_\theta(y^{(p)}_t | s_t)]$ 更新参数 $\theta$，使用 Adam 优化器（lr=$10^{-6}$，batch size=128），整个训练过程共 400 步，约 51,200 个转移，在 2 块 A100 上耗时约 30 小时。

技术新颖性

STRATAGEM 的技术新颖性可以从三个维度分析。第一是「判别式评分嵌入 RL 框架」的范式：用通用 LLM（GPT-4）按 prompt 评判整条轨迹的可迁移性，并把结果通过优势调制注入策略梯度，绕开了为每个游戏手写奖励函数的需要，也不需要在游戏领域的过程监督数据。第二是评分维度的细粒度设计：$\varphi$ 由抽象层级 $\alpha$（权重 0.35）、结构清晰度 $\sigma$（0.35）和原则导向 $\rho$（0.30）三维度加权得到；$\psi$ 由推理深化 $d$（0.35）、策略适应 $a$（0.25）和逻辑连贯 $c$（0.40）三维度加权得到，并且 $\psi \in [-1,1]$ 的零中心设计天然抑制方差、能惩罚推理退化。第三是端到端的可解释性与可复现性：所有评分 prompt 在附录 D 中完全公开，作者还做了 GPT-4 vs Claude 3.5 Sonnet vs Gemini 2.0 Flash 的交叉打分一致性验证（Cohen's $\kappa > 0.60$，Spearman $\rho > 0.70$），加上 5 位专家的人工评估（Krippendorff's $\alpha \approx 0.75$），确保评分信号不是 GPT-4 的特殊偏好。这是此前游戏自博弈工作（如 SPIRAL）所缺乏的系统性分析。

Two-player zero-sum Markov game structure.
Figure 2: Two-player zero-sum Markov game structure.
Overview of STRATAGEM. Given a trajectory τ from self-play, the game-based advantage Agame is computed. STRATAGEM modulates this advantage using two signals: the Reasoning Transferability Coefficient φ that multiplicatively scales the advantage based on cross-domain transfer potential, and the Reasoning Evolution Reward ψ that additively rewards reasoning development within trajectories.
Figure 3: Overview of STRATAGEM. Given a trajectory τ from self-play, the game-based advantage Agame is computed. STRATAGEM modulates this advantage using two signals: the Reasoning Transferability Coefficient φ that multiplicatively scales the advantage based on cross-domain transfer potential, and the Reasoning Evolution Reward ψ that additively rewards reasoning development within trajectories.
Reasoning Transferability Coefficient φ(τ). Each dimension is scored discretely as {0, 0.5, 1} (low/medium/high). The weighted sum quantifies cross-domain transfer potential.
Figure 4: Reasoning Transferability Coefficient φ(τ). Each dimension is scored discretely as {0, 0.5, 1} (low/medium/high). The weighted sum quantifies cross-domain transfer potential.
Reasoning Evolution Reward ψ(τ). Each dimension is scored as {−1, 0, +1} (degradation/neutral/improvement). The zero-centered design reduces variance while penalizing degradation.
Figure 5: Reasoning Evolution Reward ψ(τ). Each dimension is scored as {−1, 0, +1} (degradation/neutral/improvement). The zero-centered design reduces variance while penalizing degradation.
STRATAGEM training procedure. Step 3 (blue box) highlights our contribution: trajectory advantage modulation incorporates transferability (φ) and evolution (ψ) signals.
Figure 6: STRATAGEM training procedure. Step 3 (blue box) highlights our contribution: trajectory advantage modulation incorporates transferability (φ) and evolution (ψ) signals.

实验结果

实验基于 Qwen3-4B-Base 在三个文本博弈上训练 400 步后，在 9 个下游基准上评估，核心发现可总结为四点。第一，STRATAGEM 在 9 个基准中有 8 个超过 SPIRAL 和基线 Qwen3-4B-Base。数学推理上，AIME24 从基线 10.0% 翻倍到 20.0%（相对 SPIRAL +10pp），AIME25 从 3.3% 涨到 13.3%（相对 SPIRAL +6.6pp，几乎 4 倍），AMC-23 从 50.0% 涨到 60.0%（相对 SPIRAL +15pp），MATH500 从 65.8% 涨到 76.0%（相对 SPIRAL +5.0pp），OlympiadBench 从 33.3% 涨到 39.9%（相对 SPIRAL +5.2pp）。第二，迁移效果扩展到通用推理和代码：GPQA 从 30.6% 提升到 38.23%（+7.63pp，相对 SPIRAL +1.82pp），MMLU-Pro 从 47.2% 提升到 57.83%（+10.63pp，相对 SPIRAL +3.9pp），HumanEval pass@1 从 67.93% 提升到 77.93%（+10pp）。第三，消融实验验证了 $\psi$ 的独立贡献：去掉 $\psi$ 后 AIME24 掉 6.7pp、AMC-23 掉 7.5pp、AIME25 掉 3.3pp、MATH500 掉 1.4pp，8/9 基准普遍下降，仅 Minerva Math 略升 1.1pp。第四，迁移可以跨模型初始化：将 STRATAGEM 套到 Qwen3-4B-Instruct 上仍然稳定优于 SPIRAL，AIME24 +6.6pp、AMC-23 +7.5pp、GPQA +1.56pp、HumanEval +0.3pp，证明轨迹优势调制对模型初始化不敏感。

Cross-evaluator agreement on ∼200 trajectories re-scored with GPT-4, Claude 3.5 Sonnet, and Gemini 2.0 Flash. All κ values exceed 0.60 (substantial agreement) and all Spearman correlations exceed 0.70, indicating that φ/ψ scoring tracks objective trajectory properties rather than evaluator-specific biases.
Table 1: Cross-evaluator agreement on ∼200 trajectories re-scored with GPT-4, Claude 3.5 Sonnet, and Gemini 2.0 Flash. All κ values exceed 0.60 (substantial agreement) and all Spearman correlations exceed 0.70, indicating that φ/ψ scoring tracks objective trajectory properties rather than evaluator-specific biases.
Win rates against Gemini-2.0-Flash on out-of-distribution games (10 matches per game, randomized starting player). Game descriptions in Appendix J.
Table 2: Win rates against Gemini-2.0-Flash on out-of-distribution games (10 matches per game, randomized starting player). Game descriptions in Appendix J.
Single-game vs multi-game training comparison. Bold with blue background indicates best performance; underline indicates second best. Multi-game training achieves best results on 6/9 benchmarks, with particularly strong gains on competition-level mathematics (AIME24, AMC-23).
Table 3: Single-game vs multi-game training comparison. Bold with blue background indicates best performance; underline indicates second best. Multi-game training achieves best results on 6/9 benchmarks, with particularly strong gains on competition-level mathematics (AIME24, AMC-23).
STRATAGEM vs SPIRAL on Qwen3-4B-Instruct. STRATAGEM provides consistent gains across mathematical, general, and code benchmarks, confirming that trajectory-advantage modulation is not tied to base-model initialization.
Table 4: STRATAGEM vs SPIRAL on Qwen3-4B-Instruct. STRATAGEM provides consistent gains across mathematical, general, and code benchmarks, confirming that trajectory-advantage modulation is not tied to base-model initialization.
Performance comparison across mathematical reasoning, general reasoning, and code generation benchmarks. STRATAGEM consistently outperforms both Qwen3-4B-Base and SPIRAL, with particularly strong gains on competition-level mathematical tasks.
Figure 7: Performance comparison across mathematical reasoning, general reasoning, and code generation benchmarks. STRATAGEM consistently outperforms both Qwen3-4B-Base and SPIRAL, with particularly strong gains on competition-level mathematical tasks.
Parameter sensitivity analysis for β. The green shaded region indicates the optimal value β = 0.20.
Figure 9: Parameter sensitivity analysis for β. The green shaded region indicates the optimal value β = 0.20.
Human evaluation results across two dimensions. Error bars indicate standard error. STRATAGEM achieves the highest scores on both dimensions, while the ablated variant (w/o ψ) shows strong abstraction but weaker progression.
Figure 10: Human evaluation results across two dimensions. Error bars indicate standard error. STRATAGEM achieves the highest scores on both dimensions, while the ablated variant (w/o ψ) shows strong abstraction but weaker progression.
Evolution of STRATAGEM's modulation components during training. Both φ (transferability) and ψ (evolution) increase as training progresses, indicating the model learns abstract reasoning patterns and progressive reasoning chains.
Figure 11: Evolution of STRATAGEM's modulation components during training. Both φ (transferability) and ψ (evolution) increase as training progresses, indicating the model learns abstract reasoning patterns and progressive reasoning chains.
Case study comparing reasoning traces on Tic-Tac-Toe. The baseline exhibits a "reset issue", repeating "first move" regardless of game state. STRATAGEM demonstrates both abstraction (strategic concepts) and progression (state awareness), corresponding to behaviors incentivized by φ and ψ.
Figure 12: Case study comparing reasoning traces on Tic-Tac-Toe. The baseline exhibits a "reset issue", repeating "first move" regardless of game state. STRATAGEM demonstrates both abstraction (strategic concepts) and progression (state awareness), corresponding to behaviors incentivized by φ and ψ.
查看结构化数据
任务指标本文基线提升
AIME24 竞赛数学 Accuracy 20.00% SPIRAL 10.00% / Base 10.00% +10.0pp vs SPIRAL/Base（2× 提升）
AIME25 竞赛数学 Accuracy 13.30% SPIRAL 6.70% / Base 3.30% +6.6pp vs SPIRAL（约 2× 提升）/ +10.0pp vs Base（约 4× 提升）
AMC-23 竞赛数学 Accuracy 60.00% SPIRAL 45.00% / Base 50.00% +15.0pp vs SPIRAL / +10.0pp vs Base
MATH500 Accuracy 76.00% SPIRAL 71.00% / Base 65.80% +5.0pp vs SPIRAL / +10.2pp vs Base
OlympiadBench Accuracy 39.90% SPIRAL 34.70% / Base 33.30% +5.2pp vs SPIRAL / +6.6pp vs Base
Minerva Math Accuracy 41.50% SPIRAL 42.30% / Base 24.30% -0.8pp vs SPIRAL / +17.2pp vs Base（唯一相对 SPIRAL 微降的基准）
GPQA（研究生级问答） Accuracy 38.23% SPIRAL 36.41% / Base 30.60% +1.82pp vs SPIRAL / +7.63pp vs Base
MMLU-Pro 多任务理解 Accuracy 57.83% SPIRAL 53.93% / Base 47.20% +3.90pp vs SPIRAL / +10.63pp vs Base
HumanEval 代码生成 pass@1 77.93% SPIRAL 77.44% / Base 67.93% +0.49pp vs SPIRAL / +10.00pp vs Base

局限与改进

作者自己在 Limitations 一节中坦承三点局限：第一，训练只用了 TextArena 中的三个文本博弈（Tic-Tac-Toe、Kuhn Poker、Simple Negotiation），游戏多样性有限，没有覆盖复杂的多智能体场景或更大状态空间的博弈；第二，实验集中在 Qwen3-4B（base 和 instruct 两个变体），没有在更大规模或不同家族的模型上验证；第三，$\varphi$ 和 $\psi$ 当前依赖 GPT-4 作为评估器，存在外部 API 依赖与约 100 美元/次的额外成本，没做到完全自包含。我自己的观察还包括：（1）Minerva Math 是唯一相对 SPIRAL 退步的基准（41.50% vs 42.30%），可能因为 Minerva 偏重物理/化学符号推理，而博弈训练强化的是「枚举 + 期望值」类数学风格，对符号操作型数学收益有限；（2）超参 $\beta=0.20$ 虽然在大多数基准上最优，但在 AIME24 这种高难度题目上 $\beta=0.30$ 仍能继续提升（23.30%），说明固定 $\beta$ 可能不是全局最优，未来可能需要按难度或按课程动态调整；（3）HumanEval 相对基线 +10pp 但相对 SPIRAL 仅 +0.49pp，说明 STRATAGEM 在代码生成上的主要增益来自游戏自博弈本身（SPIRAL 已经获得），$\varphi$/$\psi$ 调制对代码生成的边际贡献较小。

独立分析的弱点

从独立分析的角度，本文存在以下可改进的弱点。第一，评估器对 GPT-4 的依赖使整个训练流程有外部 API 依赖（约 100 美元/次）和潜在的评分偏好偏差。虽然作者做了跨模型一致性验证（Cohen's $\kappa>0.60$），但仍无法排除 GPT-4 评分偏好与自己生成风格的循环依赖问题；改进方向是用同一策略 $\pi_\theta$ 在训练过程中蒸馏出一个轻量级本地奖励模型，做到完全自包含。第二，$\beta$ 是单一标量，难以同时优化数学推理和知识型任务。作者的消融显示 Minerva Math 在 $\beta=0.10$ 时达到 46.0%，而 $\beta=0.20$ 时只有 41.5%；不同任务对「演化奖励权重」的需求不一致，改进方向可以是按任务难度或训练阶段自适应 $\beta$（如课程学习）。第三，三个训练博弈都属于信息量较小的零和博弈，状态空间有限，可能无法充分激发复杂多步推理；改进方向是引入更大的博弈（如 Diplomacy、Stratego）或合作博弈（Hanabi），并考虑多智能体场景。第四，案例分析显示 STRATAGEM 在 Kuhn Poker 上仍可能出现「the baseline hallucinates J as K」之类的感知错误（Tic-Tac-Toe 案例同样存在），说明博弈训练对感知层面的错误并无帮助，改进方向是把博弈训练与基础事实校验结合。第五，作者没有提供对更长推理链（如 5 步以上 AIME 题）失败案例的细致分析，无法判断失败是源于推理结构还是搜索深度。

未来方向

作者在结论中明确提出了三个未来方向：（1）探索更多样的博弈环境，包括更复杂的多智能体场景和更大状态空间的博弈，以丰富学到的推理模式；（2）开发组合技能的课程学习策略，使模型能够跨博弈组合不同的推理技能；（3）将 GPT-4 评估器蒸馏为轻量级本地奖励模型，使训练完全自包含。基于成果的可延伸方向还包括：（1）把 STRATAGEM 的优势调制思想推广到非博弈的训练信号，例如把多轮对话、工具使用或代码执行 trace 也当作「轨迹」用同样的 φ/ψ 维度评估；（2）把 $\varphi$ 和 $\psi$ 作为推理时的测试时信号使用，即在 inference 阶段实时评估生成内容是否抽象、是否演化，从而实现自我修正；（3）将轨迹优势调制与过程奖励模型（PRM）结合，在数学推理中既保留博弈带来的探索多样性，又获得逐步质量监督；（4）扩展到更大模型（如 7B、13B）并验证规模效应；（5）在多语言或视觉-语言博弈环境中验证迁移是否仍然成立。

复现评估

复现性方面整体较好：作者公开了代码（首页注明 §Stratagem 仓库），训练超参与 prompt 完全列在附录 D（轨迹调制 prompt）和附录 H（训练设置）中。训练数据来自 TextArena 的三个公开博弈（Tic-Tac-Toe、Kuhn Poker、Simple Negotiation），评估使用 9 个公开基准（MATH500、AIME24/25、OlympiadBench、AMC-23、Minerva Math、GPQA、MMLU-Pro、HumanEval），全部为零样本提示。训练算力需求适中：2 块 NVIDIA A100 80GB GPU，vLLM 推理加速，约 30 小时一个完整 run；加上 GPT-4 打分约 100 美元/次。复现的主要门槛在于：（1）依赖 GPT-4 API，若更换评估器需要重新做评分一致性验证；（2）训练涉及 vLLM 分布式 actor-learner 架构，工程实现有一定复杂度；（3）GPT-4 打分需要稳定控制 prompt 与采样策略，温度参数 $\tau=1.0$ 和 EMA 系数 $\eta=0.95$ 等细节都会影响复现结果。综合来看，对有 RL 训练经验且能调用 GPT-4 API 的研究组来说，复现难度中等。

论文图表

Traditional self-play learns game-specific heuristics from terminal rewards. STRATAGEM selectively reinforces transferable reasoning via abstraction (φ) and evolution (ψ).
Figure 1: Traditional self-play learns game-specific heuristics from terminal rewards. STRATAGEM selectively reinforces transferable reasoning via abstraction (φ) and evolution (ψ).

对比图：左侧「Traditional Self-Play」显示游戏轨迹上的 Terminal Reward 通过游戏专属启发式产生 Poor Transfer；右侧「STRATAGEM」显示游戏轨迹经过 φ（Abstraction 抽象化）和 ψ（Evolution 演化）调制后获得 Strong Transfer，并导向 2026 年 Abstract Reasoning 的战略规划能力。

这是论文的核心 motivation 图，直接呈现了作者对问题（终端奖励只能学到游戏专属启发式）和方案（通过 φ 和 ψ 调制实现可迁移推理）的抽象总结，是理解全文动机的第一张必读图。

Figure 8: Ablation study on the Reasoning Evolution Reward (ψ). (a) Performance comparison between full STRATAGEM and the variant without ψ. (b) Impact analysis showing ψ's contribution across benchmarks.

消融图：(a) 对比 STRATAGEM 完整版与 w/o ψ 变体在 9 个基准上的柱状表现；(b) 单独展示 ψ 的贡献 Δ，AIME24 +6.7pp、AMC-23 +7.5pp、MATH500 +1.4pp 是最大正向贡献，仅 Minerva Math -1.1pp 微降。

这张图验证了论文第二个核心组件 ψ 不可替代，是消融研究必看的图，证明两个信号各贡献不同的迁移能力。