基于潜在动作的自改进世界建模 Self-Improving World Modelling with Latent Actions
将动作视为潜在变量，通过前向-逆向模型交替优化实现无标注世界建模
前置知识
世界模型 (World Model)
世界模型是智能体对环境动态的内部表征，能够预测在给定当前状态和动作条件下未来的状态转移。形式化地，前向世界模型 (FWM) 建模条件概率 $P_\theta(y|x, z)$，即在当前状态 $x$ 和动作 $z$ 下预测下一个状态 $y$；逆向动力学模型 (IDM) 则建模 $Q_\phi(z|x, y)$，即根据状态转移推断中间动作。世界模型使得智能体能在不实际执行动作的情况下模拟未来，从而支持规划和推理。
本文的核心目标是提升基础模型的世界建模能力，理解 FWM 和 IDM 的互补关系是理解 SWIRL 框架的前提
潜在变量 (Latent Variable)
潜在变量是指无法直接观测、但对数据生成过程有重要影响的隐含变量。在本文中，连接两个状态之间的动作 $z$ 被视为潜在变量——我们只有状态序列 $(x, y)$，而没有显式的动作标注。通过变分推断，用 IDM 作为近似后验来推断潜在动作的分布，类似于 VAE 中用编码器推断隐空间。
将动作视为潜在变量是本文最核心的建模假设，这使得框架可以从无标注状态序列中学习，突破了传统世界模型对动作标注的依赖
条件互信息 (Conditional Mutual Information, CMI)
条件互信息 $I(Z; \hat{Y} | X)$ 衡量在给定 $X$ 的条件下，潜在动作 $Z$ 与生成的未来状态 $\hat{Y}$ 之间的信息关联程度。高 CMI 意味着不同的潜在动作会产生可区分的未来状态，即前向模型的生成结果能被逆向模型「识别」回对应的动作。Barber & Agakov (2003) 的变分信息最大化框架通过优化变分下界来最大化 CMI。
SWIRL 的 Phase I 理论基础就是最大化 CMI 的变分下界，理解 CMI 才能理解为什么用 IDM 的对数似然作为 FWM 的奖励信号是有理论保证的
证据下界 (Evidence Lower Bound, ELBO)
ELBO 是变分推断的核心目标函数，为不可计算的边际对数似然 $\log P_\theta(y|x)$ 提供可优化的下界：$\log P_\theta(y|x) \geq \mathbb{E}_{z \sim Q_\phi}[\log P_\theta(y|x, z)] - D_{\text{KL}}(Q_\phi(z|x, y) \| P(z|x))$。第一项鼓励变分后验能解释观测数据，第二项防止后验偏离先验太远。通过最大化 ELBO，可以在不直接计算边际似然的情况下优化模型。
SWIRL 的 Phase II 理论基础是 IDM 的优化等价于对 ELBO 的坐标上升，理解 ELBO 才能理解为什么用 FWM 的对数似然作为 IDM 的奖励是有理论依据的
GRPO (Group Relative Policy Optimization)
GRPO 是一种策略梯度方法，核心思想是对每个输入生成一组 (Group) $G$ 个候选输出，然后用组内的相对排名计算优势函数 (Advantage)，而非依赖独立训练的价值网络。奖励 $R_k$ 的组内均值作为基线，每个候选的优势 $A_k = (R_k - \bar{R}) / \text{std}(R)$。这使得训练更稳定，特别适合语言模型的 RL 微调场景。DeepSeek-R1 中首次提出并广泛使用。
SWIRL 使用 GRPO 作为核心优化算法，FWM 和 IDM 分别在各自阶段充当策略模型，另一方充当奖励模型，理解 GRPO 才能理解 SWIRL 的训练机制
研究动机
当前基础模型（LLM 和 VLM）的世界建模能力严重依赖人工标注的动作轨迹数据。在受限环境中（如工具调用日志、代码执行记录），动作标注天然存在，因此可以轻松训练世界模型；但在开放世界场景（如视频中的物体运动、物理交互），为每一帧状态转移收集人工标注的动作描述是极其昂贵且不可行的。例如，要标注一段视频中「瓶子被翻转」这个动作，需要人工逐帧描述，成本随视频数量线性增长。此外，逆向动力学存在固有歧义——两个状态之间的转移可能由多种合理动作解释（比如物体移动可以是「推」也可以是「拉」），当数据稀疏时，纯监督学习对这种一对多映射的处理非常脆弱，容易过拟合到某一种特定的描述方式而忽略其他合理解释。实验表明，即使使用 IDM 生成的伪标签进行 SFT，性能在数据规模增大时会停滞甚至退化（SFT-Continue 在 MagicBrush 上从 5.50 降到 4.56），说明简单地用监督学习模仿单一标注路径是不够的。
本文的目标是本文的具体目标是提出一种无需动作标注的世界建模框架，使 VLM 和 LLM 能够从纯状态序列中自我改进其内部世界模型。具体来说，框架应当：(1) 仅以状态对 $(x, y)$ 作为训练数据，完全不需要动作标注；(2) 通过前向世界模型和逆向动力学模型的交替优化实现递归自改进；(3) 在视觉动态预测（单步和多步）、物理模拟、网页交互、工具调用等多种环境中验证有效性；(4) 在各基准测试上显著超越同等规模的 SFT 基线，甚至追平或超越更大的现有模型。
与已有工作不同的是，本文的独特切入点在于建立了一种「互惠优化」机制——不是简单地用 IDM 标注数据再用 SFT 训练 FWM（这是 bootstrapping 的做法），而是让 FWM 和 IDM 在 RL 框架下交替充当策略模型和奖励模型。已有工作（如 Qiu et al. 2025 的 Bootstrapping）虽然也用了 IDM，但仅限于一次性标注，没有迭代改进的机制；Test-time Verification 则仅在推理时使用 IDM 做选择，训练时没有利用 IDM 的信号。SWIRL 的关键洞察是：FWM 生成的未来越能被 IDM 识别（高互信息），说明前向预测质量越高；IDM 推断的动作越能被 FWM 复现（高似然），说明逆向推断越准确。这种互惠关系在理论上对应于交替最大化变分互信息下界和证据下界，提供了严格的可学习性保证。
核心方法
SWIRL 的核心直觉可以用一个比喻来理解：想象两个人在玩一个「你画我猜」的游戏——一个人画图（FWM 生成未来状态），另一个人猜描述（IDM 推断动作）。如果画图者画得越好，猜的人就越容易猜对；而猜的人越准确，就越能给画图者提供有价值的反馈。SWIRL 让这两个角色通过强化学习交替训练，每一轮都互相提升。技术路线上，SWIRL 将世界建模分为两个组件：前向世界模型 $P_\theta(y|x, z)$ 和逆向动力学模型 $Q_\phi(z|x, y)$。在每次迭代中，SWIRL 交替执行两个阶段：Phase I 冻结 IDM，优化 FWM 使其生成的未来状态能够被 IDM 准确识别；Phase II 冻结 FWM，优化 IDM 使其推断的动作能够被 FWM 高概率复现。两个阶段都使用 GRPO 进行优化，分别以对方的对数似然作为奖励信号。整个过程只需要无标注的状态序列数据。
SWIRL 与已有方法最本质的区别在于建立了 FWM 和 IDM 之间的「互惠强化学习」循环，而非单向的知识蒸馏。具体来说，已有方法通常采用以下范式之一：(1) SFT 直接模仿数据中的状态转移模式；(2) Bootstrapping 用 IDM 一次性生成伪标签再 SFT；(3) Test-time Verification 在推理时用 IDM 选择最佳生成。这些方法都是单向的——信息只从 IDM 流向 FWM，或者只在推理时利用 IDM。SWIRL 的核心创新是让信息双向流动：FWM 的改进为 IDM 提供更好的奖励信号（因为更好的 FWM 能更准确地评估动作质量），IDM 的改进又为 FWM 提供更好的奖励信号（因为更好的 IDM 能更准确地识别生成质量）。这种互惠关系在理论上对应两个严格的数学保证：Phase I 最大化变分条件互信息 $I(Z; \hat{Y} | X)$ 的下界，确保生成的未来对不同的潜在动作是「可区分的」；Phase II 对证据下界 ELBO 进行坐标上升，确保推断的动作能解释观测到的状态转移。两者结合驱动系统向全局一致的世界模型收敛。
方法步骤详情
SWIRL 的完整流程包含三个层次的迭代。首先是 SFT 预热阶段：由于基础 VLM（如 Liquid-7B）缺乏特定的接口能力（如同时根据图像和文本动作预测图像），需要先用 PICO-BANANA-400K 和 AURORA 的训练集进行监督微调，使其具备基本的图像编辑能力。对于 LLM，则用环境特定数据的一半进行微调。然后进入 SWIRL 的核心迭代循环，每次迭代包含两个阶段：Phase I（优化 FWM）——冻结 IDM 参数 $\phi$，对于每个训练批次，从数据中采样状态对 $(x, y)$，用 IDM 推断潜在动作 $z \sim Q_\phi(z|x, y)$，然后从 FWM 策略中采样 $G$ 个候选未来状态 $\{\hat{y}_1, ..., \hat{y}_G\} \sim P_\theta(\cdot|x, z)$，用冻结的 IDM 计算每个候选的奖励 $R_k = \log Q_\phi(z|x, \hat{y}_k)$，最后用 GRPO 更新 $\theta$；Phase II（优化 IDM）——冻结 FWM 参数 $\theta$，对于每个训练批次，从 IDM 策略中采样 $G$ 个动作候选 $\{z_1, ..., z_G\} \sim Q_\phi(\cdot|x, y)$，用冻结的 FWM 计算每个候选的奖励 $R_k = \log P_\theta(y|x, z_k)$，最后用 GRPO 更新 $\phi$。两个阶段交替执行直至收敛。在实践中，使用学习率 $\eta_\theta$ 和 $\eta_\phi$ 分别控制两个模型的更新步长，KL 正则化系数 $\beta$ 控制策略偏离参考策略的程度。
技术新颖性
SWIRL 的技术新颖性体现在三个层面。第一，与传统的 bootstrapping 方法（如 Qiu et al. 2025）相比，SWIRL 不是用 IDM 一次性生成伪标签然后 SFT，而是通过 RL 的探索-利用机制让 FWM 在 IDM 的奖励引导下搜索更优的生成空间。实验表明，SFT 基线在数据规模增大时会停滞或退化，而 SWIRL 持续改善（从 4.27 提升到 4.73），因为 RL 不要求精确复制特定标注，而是鼓励一致性。第二，与 Test-time Verification 相比，SWIRL 将 IDM 的利用从推理时扩展到训练时，且通过迭代训练使 IDM 自身也得到改进，形成正反馈循环。第三，理论上首次严格证明了这种互惠优化对应于交替最大化变分互信息和证据下界——Phase I 的 CMI 保证了前向预测的「可区分性」（identifiability），Phase II 的 ELBO 保证了逆向推断的「数据保真度」（data fidelity），两者共同驱动系统收敛到一致的世界动态表征。
实验结果
SWIRL 在六个基准测试、四种环境类型中展示了全面的有效性。在 AURORA-BENCH 的单步视觉动态预测上，SWIRL (Iterative) 将 Liquid-SFT 的平均 GPT-4o 评估分从 4.36 提升至 5.06（+16%），超越了需要 8 次采样的 Test-time Verification（4.77）和使用 IDM 伪标签的 Bootstrapping（4.11）。值得注意的是，尽管 Liquid 是一个 7B 参数的通用 VLM，SWIRL 训练后的模型在性能上与参数量 2 倍的 BAGEL-14B（6.44）和大量预训练的 OmniGen2（6.05）保持竞争力。在 ByteMorph 上，SWIRL (Iterative) 将平均分从 43.38 大幅提升至 53.77（+28%），尤其在物体运动（43.13→58.69）和人类运动（38.07→48.08）子任务上提升显著，但在相机控制（Camera Zoom 57.23→54.08）上略有下降，这与训练数据 VIDGEN-1M 中静态视频为主、相机运动样本不足有关。在 WORLDPREDICTIONBENCH 的长程预测上，SWIRL 展示了显著的时间一致性改进——Liquid-SFT 在 T=6 时得分仅 0.97，而 SWIRL (Iterative) 维持在 1.11（+14.4%），说明互惠循环学习的不只是单步转移，而是更鲁棒的物理动态。在文本环境上，Qwen-2.5-3B + SWIRL 在 STABLETOOLBENCH 上达到 14.61 平均 BLEU，显著超越参数量大 10 倍的 Qwen-2.5-32B-Instruct（7.31）和 DeepSeek-7B-Chat（7.54），验证了 SWIRL 在工具调用动态建模上的有效性。消融实验进一步表明：(1) 迭代训练确实带来累积收益，IDM 分数从 6.37 单调提升至 6.57；(2) 分离权重优于共享权重（5.06 vs 5.00），因为 FWM（视觉生成）和 IDM（语言推理）的梯度目标存在冲突；(3) RL 显著优于 SFT——在 12.8K 样本时，RL 达到 4.73 而 SFT 仅 3.88。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AURORA-BENCH (平均) | GPT-4o 评估分 (0-10) | 5.06 (SWIRL Iterative) | 4.36 (Liquid-SFT) | +16% |
| ByteMorph (平均) | GPT-4o 评估分 | 53.77 (SWIRL Iterative) | 43.38 (Liquid-SFT) | +24% |
| WorldPredictionBench T=6 | GPT-4o 评估分 | 1.11 (SWIRL Iterative) | 0.97 (Liquid-SFT) | +14.4% |
| STABLETOOLBENCH (平均) | BLEU | 14.61 (Qwen-2.5-3B-SWIRL) | 12.85 (Qwen-2.5-3B-SFT) | +14% |
| STABLETOOLBENCH ID-Low | BLEU | 16.90 | 12.87 (SFT) | +31% |
| STABLETOOLBENCH ID-Med | BLEU | 21.20 | 17.51 (SFT) | +21% |
| AURORA MagicBrush | GPT-4o | 6.62 | 5.46 (Liquid-SFT) | +21% |
| AURORA Kubric | GPT-4o | 6.96 | 7.00 (Liquid-SFT) | -0.6% |
局限与改进
SWIRL 的局限性主要体现在以下几个方面。首先，相机控制类任务的改进有限甚至退步——ByteMorph 上 Camera Zoom 从 57.23 降至 54.08、Camera Motion 从 56.51 升至 58.22 但提升微弱。作者坦承这是因为训练用的 VIDGEN-1M 视频大多是静态的，无法提供足够的相机运动信号，说明 SWIRL 的效果高度依赖无标注数据的分布覆盖。其次，共享权重方案虽然节省内存，但性能不稳定——在 AURORA-BENCH 上比分离权重低 0.06 分，在 WorldPredictionBench 上差距更大（1.68 vs 1.74），且 IDM 分数在第三次迭代下降（从 6.57 降至 6.52），表明视觉生成和语言推理的梯度目标存在冲突，当前的共享机制不够成熟。第三，SWIRL 的基础模型 Liquid-7B 本身能力有限——在 GEDIT-BENCH 上的通用图像编辑分数仅 3.06，远低于 BAGEL-14B 的 6.52，这意味着 SWIRL 的改进是建立在一个相对较弱的起点上的，其绝对性能仍与大模型有差距。第四，作者在 Impact Statement 中承认，使用「野外」无标注数据的自改进循环可能内化或放大数据分布中的偏见和有害模式，目前缺乏安全过滤机制。最后，GRPO 的计算开销较大——每步需要 $G$ 次 rollout（实验中 $G=8$ 到 64），加上两阶段交替训练，总计算量约为普通 SFT 的 $2G$ 倍以上。
独立分析的弱点
从独立分析的角度，SWIRL 存在几个值得注意的弱点。第一，潜在动作空间的可辨识性问题——论文的理论证明假设了 IDM 能够可靠地近似真实后验 $P(z|\hat{y}, x)$，但当状态空间维度远高于动作空间时（如高分辨率图像到自然语言描述），这个近似可能不够紧，特别是在训练初期 IDM 质量较差时。改进方向可以是引入课程学习策略，在早期使用更简单的状态表示逐步增加复杂度，或对 IDM 施加额外的结构约束（如动作空间的聚类先验）。第二，SFT 预热阶段的作用被低估——SWIRL 的 SFT 预热用了约 400K 样本，且使用的 PICO-BANANA-400K 数据质量对最终性能影响显著（移除后 GEDIT-BENCH 从 3.06 降至 2.43），这意味着框架对预热数据的质量和规模有隐含依赖，并非完全「从无标注数据学习」。改进方向是探索更少数据依赖的预热策略，或直接在 SWIRL 迭代中从零开始学习（虽然目前实验表明零样本性能太差无法启动 RL 探索）。第三，多步预测的误差累积问题——在 WorldPredictionBench 上，即使使用 SWIRL，T=6 时的分数仍从 T=1 的 3.23 降至 1.11，退化率约 65.6%，虽然优于 SFT 的 68.6%，但累积误差依然是显著瓶颈。改进方向可以引入显式的误差修正机制（如在每步预测后用 IDM 检查一致性并回溯修正），或者设计多步联合优化的 RL 目标而非当前的单步交替优化。
未来方向
论文作者和基于成果可以延伸的未来方向包括：(1) 安全性增强——作者明确建议在奖励机制中融入安全过滤器或 Constitutional AI 原则，以防止自改进循环内化有害模式，这是一个紧迫且实际的方向；(2) 跨模态表示统一——共享权重实验的不稳定表明 FWM 和 IDM 的异构目标（视觉生成 vs 语言推理）需要更好的统一机制，可以探索更先进的多模态架构（如 TokenFlow、Unitok 等统一 tokenizer 方案）来缓解梯度冲突；(3) 扩展到视频预测——当前实验主要在单步或少量步骤的图像预测上，将 SWIRL 扩展到更长时间跨度的视频生成预测是一个自然延伸；(4) 结合课程学习——论文发现 RL 在小数据规模就开始优于 SFT（6.4K 样本时），可以设计更精细的课程策略，在数据难度、动作复杂度、预测步数上逐步增加；(5) 应用到具身智能——SWIRL 为机器人学习提供了一条不依赖昂贵动作标注的路径，可以探索在真实机器人环境中的应用。
复现评估
论文承诺代码和模型将在 GitHub（https://github.com/yfqiu-nlp/swirl）上开源。从复现角度看，存在几个关键因素需要考虑：(1) 算力需求较高——VLM 实验使用 32 张 NVIDIA H200 140GB GPU 训练 FWM、8 张训练 IDM；LLM 实验使用 8 张 NVIDIA GH100 GPU；这对大多数实验室是一个显著门槛，但相比训练同等规模的通用 VLM（如 BAGEL-14B 需要的预训练算力），SWIRL 的后训练阶段算力需求是可接受的。(2) 数据方面，训练数据 PICO-BANANA-400K 和 AURORA 都是公开数据集，VIDGEN-1M 也是公开的大规模视频语料；SFT 预热数据约 400K 样本，规模中等。(3) 基础模型 Liquid-7B 和 Qwen-2.5-3B-Instruct 均为公开可下载模型。(4) 关键超参数已详细报告：GRPO 的 group size $G=8$（VLM）或 64（LLM）、学习率 $2 \times 10^{-7}$（迭代训练）、温度 0.75、Top-P 0.96、KL 系数 $\beta=0.1$。(5) 复现难度中等——框架逻辑清晰（两个交替的 GRPO 训练循环），但需要正确实现 FWM 和 IDM 的奖励计算、logit 处理器约束（FWM 只生成图像 token、IDM 只生成文本 token），以及迭代训练的状态管理。总体来说，对于拥有足够 GPU 资源的团队，复现是可行的。
论文图表
