CAST：以游戏求解器作为 LLM 智能体的逐回合老师 CAST: Game Solvers as Turn-Level Teachers for LLM Agents
把游戏求解器的状态价值变化转成逐回合信用信号，注入 RLVR 实现无需 logits 的策略蒸馏
前置知识
RLVR（Reinforcement Learning with Verifiable Rewards）
强化学习的一种范式，奖励来自可验证的正确性信号（如数学题对错、游戏输赢），无需人工标注偏好。本文中游戏成功给 1、失败给 0，稀疏且只在轨迹终末才出现，因此每个中间动作都拿到相同的梯度信号。
这是论文的出发点：RLVR 在单轮任务中有效，但游戏是长程任务，稀疏终末奖励导致严重的信用分配难题，理解这点才能看懂为什么需要逐回合信号。
GRPO（Group Relative Policy Optimization）
DeepSeek 提出的策略优化算法：对每个 prompt 采样一组 G 条轨迹，用组内均值 μ_R、标准差 σ_R 对终末回报做归一化得到轨迹级优势 Â^outcome = (R_i - μ_R)/(σ_R + δ)，再用 PPO 式裁剪目标更新。它免去了学习 critic，但同一条轨迹内所有 token 共享同一个优势值。
CAST 直接建立在 GRPO 之上，把求解器信号叠加到 Â^outcome 上。理解 GRPO 的「同一轨迹所有回合拿到相同信用」的瓶颈，才能理解论文要修什么。
MDP 与状态值/动作值函数
马尔可夫决策过程 M=(S,A,P,r,H) 描述序贯决策。状态值 V^π(s) 是从状态 s 出发按策略 π 行动的期望累积回报，动作值 Q^π(s,a) 是先做动作 a 再按 π 的期望回报，优势 A^π(s,a)=Q^π(s,a)-V^π(s) 衡量动作 a 相对平均水平的好坏。
论文用求解器构造 V^π_Solver、Q^π_Solver、A^π_Solver，这些符号贯穿整篇论文的核心公式。
On-Policy Distillation（在线策略蒸馏）
学生模型在自己采样的状态上学习，教师提供指导信号，通常用教师输出分布与学生分布的交叉熵或 KL 散度作为损失。传统蒸馏需要教师在完整 token 空间上的 logits 或 log 概率。
论文证明 CAST 等价于一种「无需 logits」的在线策略蒸馏——只需教师给的标量优势即可，这是本文理论最漂亮的点。
Soft-Optimal Policy（最大熵软最优策略）
在最大熵强化学习框架下，软最优策略动作概率与动作值成指数关系：π(a|s) ∝ exp(Q(s,a)/τ)，τ 为温度。对其取对数可得到 log π(a|s) = (1/τ)(Q(s,a) - V(s)) = A(s,a)/τ。
Theorem 2.1 的证明完全依赖这个假设：求解器被视为软最优教师，因此 A^π_Solver = τ log π_Solver，把标量优势与教师对数偏好画上等号。
Cost-to-go（剩余代价）
从状态 s 走到目标所需的最小工作量 N(s)。Sokoban 与 Rush Hour 中是最少步数，Minesweeper 中是清空所有安全格所需的最少揭示次数。求解器能从任意状态完成游戏，因此能给每个状态赋一个 N(s)。
论文的核心信号就是 N(s_t) - N(s_{t+1})，即一个动作让状态「离胜利更近多少」，这是把稀疏终末奖励细化成逐回合信号的物质基础。
研究动机
训练 LLM 在长程游戏中行动是迈向通用决策智能体的关键一步，但主流的 RLVR 方法依赖稀疏的终末奖励：游戏赢给 1、输给 0，整条轨迹上几十甚至上百个回合共享同一个标量信号。论文 Figure 1 形象展示了这个信用分配难题——一条长轨迹只产出一个 0/1 结果，无法揭示究竟是哪一步走子导致了最终的胜负。具体数据上，Qwen3-4B-Instruct-2507 基座仅靠 ReAct 提示在游戏平均（Sokoban/Minesweeper/Rush Hour）上 ID 只有 16.6、Unseen 只有 5.9 的成功率；即便升级到 Claude-Opus-4.6，Unseen 也只到 64.0。现有的密集化手段各有痛点：基于搜索（如 RAP）的计算成本高、过程奖励模型需要额外训练数据和模型、跨轨迹对比方法（如 GiGPO）依赖可比较的中间状态，在计算开销、监督来源、信号可靠性之间始终存在权衡。
本文的目标是本文要做一个「既便宜又准确」的逐回合过程信号源，让 LLM 在自己的在线探索中获得即时反馈，从而把 GRPO 那条粗粒度的轨迹级信用细化到每一回合。具体目标包括：在 Sokoban、Minesweeper、Rush Hour 三种互补游戏上同时击败所有训练基线（覆盖长程规划、部分可观测推理、受限组合搜索三类挑战）；在不牺牲训练效率的前提下提升样本效率；并验证学到的能力可零样本迁移到 ALFWorld 和 WebShop 等未训练的智能体领域。作者还希望方法对求解器形式鲁棒——既支持精确求解器，也支持学到的价值网络。
与已有工作不同的是，论文的独特切入点是：经典游戏早已有高效的专用求解器（加权 A* 搜索、约束满足求解、反向 BFS、DQN 价值网络等），这些求解器能从任意中间状态完成游戏，因而天然能为每个状态算出「离胜利还有多远」的标量。现有方法要么用求解器生成专家轨迹做 SFT（但只能覆盖专家走过的状态，模型一偏离就失效），要么完全无视求解器。CAST 的洞察是：直接对比动作前后求解器状态值的变化，就能得到一个标量优势信号，进而通过软最优假设证明它等价于无需 logits 的策略蒸馏——这是别人没系统利用过的桥梁。
核心方法
直觉上很朴素：既然游戏求解器知道从任何局面到胜利还要走几步，那就让 LLM 每走一步都问问求解器——「我这一步让你离胜利更近了还是更远了？」技术路线是：把每个游戏建模为有限时域 MDP，回报只在终末取 0/1；定义求解器的剩余代价 N(s)（最少步数/最少揭示次数）；构造状态值 V^π_Solver(s)=-N(s) 与动作值 Q^π_Solver(s,a)=-1+E[N(s_t)-N(s_{t+1})]；得到优势 A^π_Solver=-1+N(s_t)-E[N(s_{t+1})]，再平移 +1 得到「进展即正信用」的信号 Ã^π_Solver=N(s_t)-E[N(s_{t+1})]（推进 +1、原地踏步 0、倒退为负，进入死局罚 -N(s_t)）。然后经过 asinh 压缩和批量 RMS 归一化两步整形，与 GRPO 的轨迹级优势相加：Â_{i,t}=Â^outcome_i + α·h(Ã^π_Solver_{i,t})（默认 α=0.1），广播到该回合所有 token 上做裁剪更新。终末奖励仍锚定全局胜负，求解器信号只是细化逐回合信用。
核心创新是「标量即教师」：在软最优假设 π_Solver(a|s) ∝ exp(Q^π_Solver(s,a)/τ) 下取对数，立即得 A^π_Solver(s,a)=τ log π_Solver(a|s)——求解器标量优势恰等于教师对该动作的对数偏好。这与传统蒸馏需要教师完整 token 分布 logits 形成本质区别，一个标量就编码了教师动作偏好。Theorem 2.1 证明，在小信号 |A^π_Solver|≲1、GRPO 无偏、冻结访问分布等假设下，更新方向等于隐式目标 J(θ)=E[V^task(s_0)]-β·E[H(π_θ,π_Solver)] 的梯度，即任务回报最大化+与求解器的交叉熵蒸馏。交叉熵分解为 KL(π_θ‖π_Solver)+H(π_θ)，后者带来 mode-seeking 特性让学生集中到求解器偏好动作。闭式解 π*(a|s) ∝ π_Solver(a|s)·exp(A^task/β) 还解释学生为何能超越教师：任务优势指数级撬动求解器先验。
方法步骤详情
完整流程分六步。第一步环境交互：策略 π_θ 看文本棋盘 s_t，ReAct 推理后输出动作（如 ```Up```、```reveal 3 2```、```A+2```），环境转移直到胜负或回合耗尽，产出轨迹与终末 0/1 奖励。第二步求解器查询：对每个访问状态查专用求解器得 V^π_Solver 与 Q^π_Solver——Sokoban 用加权 A*，Minesweeper 用约束满足+精确地雷概率推理，Rush Hour 用多源反向 BFS 预计算距离表。第三步算移位优势 Ã^π_Solver=N(s_t)-N(s_{t+1})，死局封顶 -N(s_t)。第四步整形：asinh 压缩 g(x)=ln(x+√(x²+1)) 削平重尾，再除批量 RMS（不减均值以保留「0=无进展」语义）得 h(·)。第五步组合：Â_{i,t}=Â^outcome_i+α·h(Ã^π_Solver_{i,t})（默认 α=0.1）替换 GRPO 裁剪目标优势。第六步用 DAPO 骨架更新（学习率 1e-6、batch 16、每 prompt 8 rollout、最大响应 16384 token，三游戏训练 200/400/300 步）。
技术新颖性
技术新颖性体现在三处。其一是信号构造：把求解器的「剩余代价差」直接搬进 RLVR 作为逐回合过程信号，比搜索式估值便宜、比过程奖励模型无需额外训练。其二是无 logits 蒸馏：通过软最优假设把标量优势与教师对数偏好画等号，证明单个标量足以承载蒸馏，绕开了「经典求解器只返回最优动作或标量 cost-to-go、不返回分布」这一与 LLM 蒸馏的本质障碍。其三是信号整形：asinh 在小信号区近线性（保留 ±1/0 区分度）、大信号区对数增长（压制死局重尾），理论分析（Corollary C.10）显示这相当于一个步骤自适应的有效蒸馏系数 β_eff，自动下调离群步骤的权重；批量 RMS 归一化刻意不减均值以保留符号语义，解决了跨游戏尺度不一致问题。整体方法学是「一个漂亮的等价性 + 两道轻量工程整形」的组合，干净且实用。
实验结果
RQ1（Table 1，Avg@4）：三游戏 ID/Unseen CAST 全部最优，平均 62.1/28.4，对比同基座同终末奖励的 DAPO 44.7/18.7、GRPO 44.9/19.2、GiGPO 45.4/20.8，ID 净增 +17.4；逐游戏 Sokoban 77.0/34.8、Minesweeper 44.7/11.0（ID 较最强基线 +14.9，增益最大）、Rush Hour 64.7/39.5；4B 模型 ID 还超闭源 Gemini-2.5-Flash 58.7 与 Sonnet-4.5 50.4，作者坦承 Minesweeper Unseen 仅 11.0 仍有空间。RQ2（Table 2）：零样本 ALFWorld 平均 37.9(+5.8)、WebShop 22.7(+4.8)、Overall 30.3 比次优高 5.6。RQ3（Figure 3/4）：CAST 仅用 120/200/140 步追上 DAPO 的 200/400/240 步峰值，1.7–2.0× 加速；消融显示 α=0.1 最优、asinh 不可或缺、RMS 归一化后期才稳定。RQ4：求解器占训练步仅 73 ppm 可忽略；DQN 替换精确求解器在 Rush Hour 仍紧贴精确版。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 三游戏平均成功率（ID） | Avg@4 成功率 (%) | 62.1 | DAPO 44.7 / GRPO 44.9 / GiGPO 45.4 / ReAct 16.6 | 对比 DAPO 骨架净增 +17.4，相对最强训练基线 +16.7 |
| 三游戏平均成功率（Unseen 难度） | Avg@4 成功率 (%) | 28.4 | DAPO 18.7 / GRPO 19.2 / GiGPO 20.8 / ReAct 5.9 | 对比 DAPO +9.7，相对最强训练基线 GiGPO +7.6 |
| Minesweeper（ID） | Avg@4 成功率 (%) | 44.7 | 最强训练基线 DAPO 29.8 | +14.9，三游戏中增益最大 |
| ALFWorld 零样本迁移（三源游戏平均） | Avg@4 成功率 (%) | 37.9 | DAPO 30.4 / GiGPO 30.9 | 对比次优 GiGPO +7.0 |
| WebShop 零样本迁移（三源游戏平均） | Avg@4 成功率 (%) | 22.7 | DAPO 16.6 / GiGPO 17.9 | 对比次优 GiGPO +4.8 |
| 训练样本效率 | 达到 DAPO 峰值所需步数倍率 | Sokoban 120 步 / Minesweeper 200 步 / Rush Hour 140 步 | DAPO 分别需 200 / 400 / 240 步 | 1.7–2.0× 加速 |
| 求解器开销 | 端到端训练步时间占比 | 73 ppm | 求解器查询占环境步 8.4% | 因环境交互仅占轨迹 0.1%，整体开销可忽略 |
局限与改进
作者明确承认：Minesweeper 在 Unseen 仅 11.0，「更难实例上仍有改进空间」。理论依赖四条假设——(A1) 求解器软最优、(A2) 小信号 |A^π_Solver|≲1、(A3) GRPO 无偏、(A4) 冻结访问分布代理；其中 A1 偏离最优时蒸馏解释按比例退化，A4 沿用 PPO 近似省略了长程项 ∇_θ d^π_θ。我观察到：与最强闭源差距仍大——Opus-4.6 在 Unseen 平均 64.0、ID 79.9，CAST 仅 4B 规模，规模效应未触及；三游戏均有现成求解器，未覆盖无解析器的开放世界（如 Minecraft 类）场景；仅在一个基座（Qwen3-4B-Instruct-2507）验证，方法对更大模型或不同家族的迁移性未做；Minesweeper 用「peek-free 确定性」代价并非真正的概率最优期望步数，可能系统性低估部分局面；小信号假设与死局重尾存在张力，asinh 是工程补丁而非根除。
独立分析的弱点
第一，强依赖求解器可用性。三游戏恰有高效求解器，但开放世界（网页自动化、具身操作）多无 cost-to-go 可算，只能退用学习价值网络，而其质量直接决定信号可靠性。改进：用更强的世界模型或 VLM 价值评估器替代专用求解器，研究价值网络误差与蒸馏损失的定量关系。第二，规模与基座单一，仅在 Qwen3-4B 验证，未回答更大模型是否仍需如此密集过程信号。改进：在 7B/14B/32B 做 scaling 扫描，看 α 是否应随规模递减。第三，与前沿闭源差距大，Opus-4.6 Unseen 平均 64.0 远超 CAST 28.4，说明 4B 加监督也触及容量上限。改进：与更大基座或长思维链结合。第四，理论假设与工程实践有张力，小信号在死局重尾处失效，asinh 是工程补丁。改进：设计自适应 β 调度或对死局专门优先级处理。第五，仅验证回合数类 cost-to-go，未触及连续动作空间或多智能体博弈。
未来方向
作者明确提出的方向包括：将求解器指导推广到「可靠状态评估」更广泛的形式，无论评估器是精确求解器还是学习价值函数；并暗示这条路线可桥接传统 RL/深度 RL 与 LLM 智能体训练。基于成果可延伸的方向我认为有四条：其一，把求解器替换为通用世界模型或 VLM 价值评估器，覆盖无解析解的开放世界（如 ALFWorld/WebShop 训练时本身），验证「学习价值网络作为教师」在更复杂域的表现；其二，研究蒸馏系数 β 的自适应调度——Theorem 2.1 把 β 与 RMS(g) 绑定，β_eff 又步骤自适应，可设计课程式 β 退火以平衡早期模仿与晚期自我超越；其三，将 mode-seeking 交叉熵蒸馏与对抗式自博弈（如 SPIRAL）结合，让教师本身随学生进化；其四，把 logit-free 蒸馏思想迁移回纯推理任务——任何能给出标量过程信号（如单元测试通过率增量）的「求解器」都可套用 CAST 框架，这对代码生成、定理证明有直接价值。
复现评估
复现性总体较好。代码已开源在 github.com/Wloner0809/CAST。关键细节披露充分：基座 Qwen3-4B-Instruct-2507、学习率 1e-6、batch 16、每 prompt 8 rollout、最大响应 16384 token、α=0.1、三游戏训练 200/400/300 步、评估 200 实例×4 rollout、温度 0.6、top-p 0.95、回合预算 30/40/20；GRPO/DAPO/GSPO 超参列于 Table 6；GiGPO 专属超参列于 Table 7；DQN 价值网络架构（d_model=128、8 头、3 层 Transformer）、三阶段训练、几何先验 -0.05b(s) 都给了。三种游戏求解器思路明确（加权 A*、约束满足+概率推理、反向 BFS），但 Minesweeper 精确地雷概率推理与 Rush Hour 全状态距离表仍需较多工程量。算力未标 GPU 数，4B 多游戏 RL 单机多卡是必要门槛。主要难点：自建环境与求解器工程量、价值网络三阶段训练稳定性、闭源模型对比 API 成本。整体属「有代码有超参、可复现但需较多工程投入」水平。
论文图表
左图柱状图展示六款闭源模型在 Sokoban 与 Minesweeper 上的成功率，Sonnet-4.5 仅 29.3/22.8，即便是 Opus-4.6 也只到 51.5/55.3，证明 LLM 在结构化游戏中普遍吃力。右图对比 GRPO 与 CAST：GRPO 把同一轨迹级优势广播给 right/down/right 三个回合（均为 A=-0.54），而 CAST 给出 A=-0.44/-0.54/-0.79 的逐回合差异化信用，体现求解器信号的细粒度。
这张图同时回答了「为什么要做」（左：LLM 不擅长游戏）和「CAST 解决什么」（右：把粗信用细化）两个核心问题，是理解整篇论文动机与价值主张的最佳入口。