Odysseus：通过强化学习将视觉语言模型扩展到游戏中100+回合的长视域决策 Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning
用PPO+轻量CNN critic训练VLM完成《超级马里奥大陆》100+回合决策
前置知识
部分可观测马尔可夫决策过程 (POMDP)
POMDP是MDP在agent看不到完整状态时的推广，由元组 $\langle S, A, \Omega, P, O, R \rangle$ 描述。Agent接收 $o_t$、做 $a_t$、得 $r_t$，目标为最大化 $\mathbb{E}\sum_t \gamma^t r_t$。
本文把游戏环境形式化为POMDP，从而把VLM agent视作策略 $\pi_\theta(a_t | h_t)$，所有RL训练目标都建立在该形式化之上。
近端策略优化 (PPO)
PPO是actor-critic算法，裁剪目标 $\mathcal{L}^{\text{CLIP}} = \mathbb{E}[\min(r_t A_t, \text{clip}(r_t, 1\pm\epsilon)A_t)]$ 限制更新，用critic $V_\phi$ 估计优势 $A_t$。
本文在长视域游戏中重新审视PPO，把它从短文本RLHF扩展到视觉长episode，并改造了critic结构，是核心算法基础。
GRPO / Reinforce++ (无critic RL方法)
GRPO和Reinforce++是一类critic-free策略梯度方法，通过同prompt下多个采样的相对奖励估计优势 $A_t$，省去value network。GRPO常用group-normalized advantage，Reinforce++是其带token级KL约束的简化变体。
本文把这些critic-free方法作为PPO的主要对比基线，并通过实验展示它们在100+回合长视域下学习动力学不稳定，从而论证PPO+critic的必要性。
视觉语言模型 (VLM) 与监督微调 (SFT)
VLM是同时接受图像和文本输入并输出文本的基础模型，典型代表如Qwen3-VL系列。SFT指在预训练VLM上用人工标注或teacher模型生成的问答对 $\{(x_i, y_i)\}$ 做交叉熵微调，使其对齐特定输出格式或领域知识。
本文基座模型就是8B参数的Qwen3-VL-Instruct，整个Odysseus流程建立在对该模型的SFT+RL两阶段微调之上。
ReAct式结构化思维链 (Structured CoT)
ReAct把agent推理拆成Thought→Action→Observation循环。本文把每回合输出组织为 ``、``、`` 三段XML风格标签，使VLM在长episode中具备可解释、可监督的中间推理过程。
理解Odysseus的交互协议和SFT监督信号格式必须先理解ReAct式CoT；这也是VLM agent在长视域下能做出可解释决策的关键。
研究动机
现有方法训练VLM在长程交互任务（如视频游戏）中面临两大难题：第一种路线是大规模监督微调（SFT），依赖专家轨迹数据，收集成本高、难以扩展，且过度依赖动作标签，代表工作如Tan等人2025和Bolton等人2025；第二种路线是强化学习（RL），但目前应用主要局限于20-30回合的短视域任务，例如Wang等人2025a的AlfWorld、Sokoban、FrozenLake，根本无法处理像《超级马里奥大陆》这种需要100+回合连续感知-推理-动作协调的复杂场景。在该环境下，前沿模型表现糟糕：GPT-5.4平均关卡进度仅310.47、GLM-4.6V为512.91、Claude-Sonnet-4.6为348.19、Gemini-3-Flash为341.14，说明VLM虽知识丰富却无法直接转化为长视域决策能力。此外，无critic方法（GRPO/Reinforce++）在长程奖励信号下学习动力学极不稳定、进展缓慢。这些问题共同构成了RL+VLM+长视域决策这一开放难题。
本文的目标是本文核心目标是回答一个关键问题：在100+回合的长视域视觉游戏环境中，RL能否被有效用于训练VLM？为回答这一问题，作者选定《超级马里奥大陆》作为测试平台，因为它同时满足'长视域（100+回合）、视觉感知要求高、动作需精确协调'三大特性。具体目标包括三点：(1) 系统性研究RL算法组件——比较PPO（带critic）和GRPO/Reinforce++（无critic）在长视域下的稳定性差异，找出决定性的设计选择；(2) 量化VLM预训练带来的'动作先验'红利，对比VLM-based RL与传统深度RL在样本效率上的差距，目标是不依赖人工动作空间设计也能提升效率；(3) 集成上述发现为一个开源训练框架Odysseus，将SFT初始化、多任务RL、自动课程学习结合，最终在五关训练关卡上相对最佳前沿模型GLM-4.6V实现至少3×的平均进度提升。
与已有工作不同的是，本文的独特切入角度有四。第一，**算法视角差异**——已有工作要么完全依赖SFT（Tan等人2025、Bolton等人2025），要么把RL局限在20-30回合（Wang等人2025a、Zhai等人2024），本文首次将RL+长视域决策在100+回合规模下系统化研究，填补了'短视域RL'与'SFT heavy'两大范式之间的空白。第二，**critic设计独特**——传统PPO for foundation model使用token-level的VLM critic，显存和算力几乎翻倍；本文提出**turn-level轻量CNN critic**，将值估计与token生成解耦。第三，**多任务自动课程**——观察到不同关卡难度不均，提出基于'轨迹长度倒数'的关卡采样权重 $w_k \propto 1/N_k$，平衡训练样本分布。第四，**SFT设计理念不同**——传统SFT依赖带动作标注的专家轨迹，本文直接从通关录像采样约5,000帧，用GPT-o3生成teacher CoT，省去动作标签这一难获得信号，更具可扩展性。本文的定位是第一份系统研究'VLM+RL+长视域'三要素协同的论文。
核心方法
Odysseus的总体思路是'先把VLM的游戏感知教到位，再用RL在多关卡上稳定优化动作策略'。直觉上，作者假设基础VLM（Qwen3-VL-8B-Instruct）的视觉语义知识强大，但缺少《超级马里奥大陆》这类游戏的领域先验（因为此类游戏在预训练数据中代表性不足，模型有时甚至分不清Mario与敌人）；同时，长视域RL的核心难点是'信用分配'——一个episode可能有100+回合的奖励，需要判断哪一步决策真正贡献了胜利。为此方法上分两层：底层是改进的PPO算法，关键创新是引入一个轻量级CNN作为turn-level critic（而非主流的VLM critic），并叠加positive-advantage filtering（只训练 $\hat{A}_t > 0$ 的样本）以稳定优化；上层是训练流程，由'轻量SFT初始化 → 多任务RL'两阶段组成，RL阶段按'轨迹长度倒数'自动调节每关采样权重。整体上，这是一个'算法稳定性 → 任务效率 → 泛化能力'三步走的工程化方案。
Odysseus的核心创新可凝练为三点，与已有方法有本质区别。第一是**turn-level CNN critic替代token-level VLM critic**。Wang等人2025a和Zhai等人2024沿用RLHF设计让critic成为'另一个VLM'，长episode下显存与计算量几乎翻倍；而本文利用游戏环境'视觉状态信息丰富'的特性，证明一个小型CNN足以承担值函数估计，将turn级回报 $R_t = \sum_{t' \geq t} \gamma^{t'-t} r_{t'}$ 直接映射到值上，从根本上解耦'时序信用分配'与'token生成'两个任务。第二是**positive-advantage filtering**——作者发现在长视域、密集奖励场景下，$\hat{A}_t < 0$ 的样本会显著拖慢甚至破坏训练，因此在PPO目标中只保留 $\hat{A}_t > 0$ 的样本。第三是**多任务自动课程**——引入采样权重 $w_k \propto 1/N_k$，让训练样本在关卡间近似均匀分布，避免在简单关卡上过拟合。
方法步骤详情
方法步骤按时间顺序分为四步。第一步是**轻量SFT初始化**。从两段通关录像中跨10个关卡采样约5,000帧游戏画面，用GPT-o3生成包含 ``、``、`` 三段的结构化CoT响应作为监督信号，使用交叉熵损失对Qwen3-VL-8B-Instruct做标准SFT；该步骤只用于注入游戏领域知识（角色识别、空间位置理解），不直接优化动作控制。第二步是**改进PPO的RL训练**。每轮迭代先在多关卡上并行采样 $M$ 条轨迹，以密集奖励 $r_t = x_{t+1} - x_t$ 计算折扣return；用一个轻量CNN将 $o_t$ 映射为 $V_\phi(o_t)$ 训练critic，同时用 $A_t = R_t - V_\phi(o_t)$ 配合PPO-clip训练actor，但只保留 $\hat{A}_t > 0$ 的样本做梯度。第三步是**多任务自动课程**：维护每个关卡平均轨迹长度 $N_k$，下一批次采样权重按 $w_k \propto 1/N_k$ 重新分配，使各关卡贡献样本数近似均匀。第四步是**评估**。
技术新颖性
本文的技术新颖性集中在'如何让PPO在长视域VLM训练中既稳定又高效'上。在critic结构上，传统做法要么用token-level VLM critic（双倍显存）、要么完全去掉critic（GRPO/Reinforce++，本文实验证明其在长视域下学习动力学不稳定、进展缓慢），本文首次把'小型CNN+turn级回报'这一经典深度RL设计重新引入foundation model微调，论证了在'视觉状态信息丰富'的环境下critic不必复用actor架构，从而大幅降低了RL对foundation model的接入门槛。在训练目标上，positive-advantage filtering是对PPO的一种简单但效果显著的改动，作者把它与'长视域密集奖励下negative advantage样本不稳定'这一经验观察联系起来。在课程设计上，$w_k \propto 1/N_k$ 的逆轨迹长度加权思路借鉴于Li等人2024，但首次被用于多关卡RL训练，且与PPO兼容良好。整体上，这些改动组合起来构成了一个'低门槛、可扩展、跨游戏泛化'的实用框架。
实验结果
核心发现归纳为三点。第一，**算法层面**：W1-L1难场景、0.38M训练样本下，PPO+turn-level CNN critic+positive-advantage filtering明显超越GRPO（outcome和process reward变体）和Reinforce++；PPO以约2×速度稳定提升，critic-free方法进展停滞。第二，**与经典深度RL对比**：PPO+CNN from scratch即使经'动作工程'将22动作缩减到8个语义化组合，所需样本仍是VLM-based RL的约2×，证实VLM先验对样本效率的红利。第三，**Odysseus性能**：以Qwen3-VL-8B-Instruct为基座，五关平均进度 1511.90 ± 8.95（基座 270.23 ± 5.22，提升 5.59×），相对GLM-4.6V（512.91）提升 2.95×。泛化上off-policy states、未训练unseen states、跨游戏32关分别取得 32.2%、41.5%、23.1% 的相对基座提升，通用基准基本持平。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Super Mario Land 五关平均游戏进度 | 关卡进度 (x轴距离, 满分2315.6) | 1511.90 ± 8.95 | 270.23 ± 5.22 (Qwen3-VL-8B-Instruct base) | 5.59× (相对base), 2.95× (相对最佳前沿模型GLM-4.6V 512.91) |
| W1-L1 单关训练曲线 (0.38M样本) | 平均游戏进度 | PPO+turn-level CNN critic+pos. adv. filtering 稳定领先 | GRPO outcome / GRPO process / Reinforce++ 进展停滞 | PPO ≈ 2× 快于其他方法且更稳定 |
| 样本效率对比 (W1-L1) | 达到相同最大进度所需样本数 | VLM-based RL无需动作工程即占优 | Classical PPO+CNN from scratch (22 actions 或 8 engineered actions) | Classical RL需约 2× 样本才能追上VLM-based RL |
| In-game off-policy states (5训练关 × 10 states) | 相对base改进百分比 | 32.2% 平均提升 | Qwen3-VL-8B-Instruct (base) | 32.2% |
| In-game unseen states (5未训练关 × 10 states) | 相对base改进百分比 | 41.5% 平均提升 | Qwen3-VL-8B-Instruct (base) | 41.5% |
| Cross-game: Super Mario Bros. (32 关) | 相对base改进百分比 | 23.1% 平均提升 | Qwen3-VL-8B-Instruct (base) | 23.1% |
| 通用域基准 MMMU val | 准确率 (%) | 70.77 | 69.00 (base) | +1.77 (持平略升) |
| 通用域基准 MathVision | 准确率 (%) | 53.52 | 54.64 (base) | -1.12 (基本持平) |
| 通用域基准 RealWorldQA | 准确率 (%) | 71.11 | 71.11 (base) | 0.00 (持平) |
局限与改进
作者承认及可观察的局限有以下几点。第一，**环境单一性**：所有训练和评估都集中在《超级马里奥大陆》10个关卡上（5训练+5测试），W2-L3和W4-L3因特殊操控机制被排除，Odysseus对'特殊游戏机制'的覆盖仍不完整。第二，**奖励设计依赖领域知识**：使用 $r_t = x_{t+1} - x_t$ 作为密集奖励虽有效，但要求能读取游戏RAM的x坐标，该信息在网页、GUI等真实任务中并不可用；迁移到无内部状态的真实环境时奖励如何构造仍是开放问题。第三，**模型规模限制**：所有实验均基于8B级别Qwen3-VL-8B-Instruct，未展示方法在32B/70B或1B-3B下的扩展行为。第四，**base模型依赖性强**：相对基座5.59×的提升并不等同于'独立智能体能力'，换一个游戏领域知识缺乏的基座，SFT阶段可能无法奏效。第五，**评测细节敏感**：与GPT-5.4等'虚构'前沿模型对比时（arXiv版本号2605，发布于2026年5月），结果可能因prompt、frame-skip等超参与复现细节差异而变化。
独立分析的弱点
独立分析，论文存在以下弱点及改进方向。第一，**critic只用CNN做turn-level值估计，丢失文本语义信息**。当agent需基于'历史推理'做长期决策时，纯CNN无法编码history中的文字上下文；改进方向是探索'CNN+小型文本encoder'或层次化critic。第二，**positive-advantage filtering是'硬过滤'，可能过度裁剪梯度**。一旦优势估计有偏，clip到0会丢掉有用负反馈信号；可考虑soft版本或自适应阈值。第三，**自动课程 $w_k \propto 1/N_k$ 的更新频率未深入讨论**。$N_k$ 的EMA窗口、batch size等超参数对稳定性影响未做ablation；改进方向是引入checkpoint通过率等更细粒度难度指标。第四，**SFT阶段只用5,000帧**——相对Wang等人2025a百万级专家轨迹量级过小；改进方向是探索半监督自标注或主动学习扩展。第五，**对frame-skip与prompt细节依赖强**——论文承认评测细节对分数影响大，但没提供统一评测脚本。
未来方向
作者提出和基于成果可延伸的未来研究方向有以下几条。第一，**真实具身场景迁移**：作者在第8节指出Odysseus提供'通向更通用具身智能体的路径'，未来可扩展到机器人操控（参考Black等人2024）、网页agent、GUI agent等真实环境，关键是解决'无RAM访问'时的奖励构造问题。第二，**更大模型规模验证**：当actor从8B扩展到70B时，turn-level critic是否仍足够轻量是开放问题；可结合LoRA等参数高效RL框架。第三，**跨领域泛化的理论分析**：本文在32关《超级马里奥兄弟》上验证了23.1%平均提升，但对'为什么VLM-based RL学到的策略能跨游戏迁移'仅做了现象观察，缺乏理论解释；未来可结合表征学习理论分析shared representation结构。第四，**与LLM-based agent框架融合**：可借鉴ReAct、Reflexion等文本agent的反思/记忆机制，让VLM agent在长episode中维持更长的有效上下文。第五，**多智能体协作**。
复现评估
复现评估方面，论文提供了较有利条件，但也存在明显挑战。**开源情况**：作者声称Odysseus是'open training framework'，但正文未明确给出代码与权重仓库链接；Project Page（odysseus-project.github.io）仅在摘要中提及，arXiv v1没有公开训练细节附录。**数据规模**：SFT数据集约5,000帧加GPT-o3生成的CoT，量级小、便于复现，但需自行录制通关录像并调用GPT-o3 API。**算力需求**：训练'超过数千万条交互样本'是论文最大开销，PPO需并行rollout、CNN critic训练、8B VLM SFT与RL微调，估计至少需要数十张A100/H100级别GPU。**评测细节敏感**：评测受frame-skip、prompt模板、随机种子影响较大，作者未提供统一评测脚本承诺，增加了独立验证难度。**整体评估**：算法层面核心发现（PPO>GRPO、CNN critic、positive filtering）容易在小规模上重现，但完整Odysseus训练的高资源门槛限制了普通研究者的复现。
论文图表
