SolarWM：面向长时程视频世界模型的开源数据与可扩展训练 SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models
开源143万片段数据引擎与四模型训练栈，5秒序列训练即达小时级世界生成
前置知识
交互式视频世界模型
一类根据相机运动、玩家动作或语义指令预测未来视觉观测的生成模型，把被动视频生成器变成可交互探索的虚拟环境。典型做法是以首帧图像为初始观测，自回归地滚动生成后续帧，生成结果又作为下一步的条件，从而实现秒级到小时级的连续世界模拟，代表系统有 Genie、Matrix-Game、MineWorld 等。
本文的核心目标就是构建这类模型，理解其输入输出形式（图像+控制信号→未来观测）才能明白数据契约、相机条件与自回归训练各环节的设计动机。
扩散/流匹配视频生成
主流视频生成范式：把干净视频 latent $z_0$ 加噪得到 $z_t$，训练网络 $f_\theta$ 预测速度场或流目标 $u_t$，采样时从噪声迭代去噪。Wan2.2、LTX-2.5、MiniMax-H3 均属此类，但各自的 latent 表示、注意力结构与条件机制不同。
SolarWM 的四个模型全部从这类预训练视频生成器出发做适配，必须理解其去噪目标与双向注意力才能看懂三阶段训练中每一步在改变什么。
自回归生成与因果注意力
推理时模型逐块生成新内容并以自己此前的生成结果为条件；因果注意力限制每个 token 只能看到当前块与历史块、看不到未来。训练用双向注意力、推理用因果注意力会造成曝光偏差：模型在训练中从未见过自己生成的带误差历史。
论文三阶段训练的核心正是解决双向→因果的转换与曝光偏差问题，理解这一点才能领会 TF-AnyFlow 与 DMD 各自承担的角色。
分布匹配蒸馏（DMD）
一种少步数采样蒸馏方法：用冻结的真实分布教师分数 $s_{real}$ 与跟踪学生生成分布的 fake 模型分数 $s_{fake}$ 之差作为梯度方向，把多步扩散模型压缩到 4 步甚至更少采样，同时保持生成质量接近原模型。
DMD 是 SolarWM 的第三阶段，负责把因果模型蒸馏为实时（16fps、4 步采样）生成器，其师生结构是读懂训练流程的关键。
PRoPE（投影旋转位置编码）
在标准视频 RoPE 之外，根据相机内外参计算投影旋转，直接作用在自注意力的 query/key/value 张量上，使注意力计算本身感知相机几何，从而实现相机位姿控制，无需额外的控制分支或条件 token。
fused-PRoPE 是四个异构 backbone 共用的相机条件注入方式，是理解'同一相机接口适配四种模型'这一卖点的技术核心。
研究动机
交互式视频世界模型要从短片段生成走向可交互的长时程 rollout，必须同时满足两个紧密耦合的条件：跨异构数据源的一致监督，以及不损伤预训练能力的多 backbone 适配。数据侧，现有数据集在时间尺度、视觉质量、运动分布、字幕风格和相机约定上差异巨大：DL3DV、RealCam、SpatialVID 等提供相机位姿但风格各异，WebVid、InternVid 等大规模视频-文本语料又缺乏帧对齐的几何控制，简单拼接会导致模型在单源上表现良好、混合训练后反而退化。模型侧，各视频生成器在 latent 表示、注意力结构和条件机制上互不相同，模型定制化实现让结果难以复现和横向比较。开源现状更严峻：作者在 Table 1 系统核查了截至 2026 年 8 月 18 日的发布矩阵，大多数系统只放权重和推理代码，训练代码与数据普遍缺失——已发布数据规模最大的 ABot-World-0 也只有 2.74 TB/3 万 clips，minWM 为 527 GB/1.9 万，BiWM 仅 16.9 GB/2.5 万，AlayaWorld 仅 1.5 GB/1.8 万，且现有多 backbone 开源系统通常只覆盖 2–3 个家族。
本文的目标是本文要构建一个完全开源、统一且可复现的交互式视频世界模型基础 SolarWM，覆盖从数据准备到长时程推理的全链路。具体目标分三层。数据层：建立可重构的多源数据引擎，把 10 个来源数据集的 143 万个规范 clips（约 25.85 TB 物理数据）统一转换为帧对齐的训练契约，涵盖视觉观测、米制相机几何、字幕、质量元数据、筛选决策与溯源信息。模型层：提供共享的相机条件、训练与推理接口，同时保留各视频生成器的原生表示，据此在 Wan2.2、LTX-2.5、MiniMax-H3 上实例化四个 5B–33B 模型。训练层：确立统一的三阶段配方——双向适配、teacher-forced 自回归初始化、分布匹配蒸馏——使因果模型仅用 5 秒序列训练即可支持分钟到小时级的实时交互。最终全部数据、流水线、配方、权重与框架都会开源，形成可复现、可扩展的世界模型研究基础。
与已有工作不同的是，论文的独特切入点在于正视数据与模型两侧问题的耦合性，并给出三个反常规的设计决策。其一是把数据当作'引擎'而非固定的训练片段清单：将计算昂贵的源级预处理（相机估计、字幕、质量评估）与训练混合构建解耦，通过物理语料/逻辑配方/模型视图三个命名空间，让研究者修改过滤阈值、源权重或时间视图时无需重跑标注流水线——甚至 54.9 万条被拒样本也带完整标注与机器可读的拒绝理由对外发布。其二是 backbone 原生适配而非强行统一：不把异构模型压进同一套实现，而是只注入相机条件与 rollout 所需接口，保留各自的 temporal 网格、文本表示与优化目标，使统一配方成为可跨 backbone 复用的框架而非模型专属流程。第三个差异化论断是效率：作者实验表明不需要专门的 ODE 或一致性蒸馏初始化、不需要长视频训练、也不需要 attention sink，用简单配方即可得到强长时程世界模型。
核心方法
直觉上，一个能连续探索数小时的世界模型需要两块基石：一是所有训练样本对'世界如何随相机运动演化'给出一致的监督信号；二是在不破坏预训练视觉先验的前提下，把双向去噪模型改造成少步、因果、相机可控的生成器。技术路线对应两大组件。组件一是 Solar 开源数据引擎：10 个源数据集被转换为 14 个可独立寻址的 dataset owner，经米制相机标注、LTX Clean Plate 清场、Kimi-K2.6 密集字幕与多维质量标注后，按每个 owner 冻结的版本化策略划分为 xhigh/high/rejected 三个物理分区，最终以 WebDataset 形式发布 1,425,694 条样本、29k 分片、25.85 TB。组件二是 backbone 原生适配框架：以 fused-PRoPE 注入相机条件，按统一三阶段配方训练出 SolarWM-wan2.2-5B/14B、ltx-2.5-22B、minimax-h3-33B 四个模型——第一阶段双向训练建立相机控制与世界先验，第二阶段 TF-AnyFlow 快速切换到因果少步预测，第三阶段 DMD 在模型自身轨迹上蒸馏对齐推理分布，最终实现 16fps、4 步采样的实时交互式生成。
核心创新有三处。第一，统一数据契约 $S_i = \{V_i, P_i, K_i, C_i, m_i, q_i, \pi_i\}$：$V_i$ 是视频，$P_i \in \mathbb{R}^{N\times4\times4}$ 是米制相机到世界变换，$K_i \in \mathbb{R}^{N\times4}$ 是逐帧内参 $(f_x, f_y, c_x, c_y)$，$C_i$ 是密集字幕，$q_i$ 是完整指标记录，$\pi_i$ 是溯源；物理语料、逻辑配方、模型视图三层分离，改配方不复制视频。第二，fused-PRoPE 相机注入：相机位姿与内参决定投影旋转，直接作用于 Q/K/V 张量后做单次自注意力，相机运动由此进入注意力计算本身而非附加条件 token，作者将其统一推广到四个异构 backbone，避免额外控制分支。第三，TF-AnyFlow 阶段：相比 Causal Forcing 系列需先后做 Causal ODE 和 Causal CD 两步初始化，本文在因果注意力下用干净真值历史做 teacher forcing，同时用 AnyFlow 损失直接监督任意噪声水平 $(t, r)$ 之间的流映射，一个阶段直接产出少步自回归初始化点。
方法步骤详情
流程分数据与训练两段。数据段：①源接入——10 个数据集规范化为 14 个 owner（DL3DV 分 10s/60s 两个视图，另派生三个 Clean Plate owner）；②米制相机标注——纯视频源用 Pi3X 估计场景结构、MoGe-2 提供逐帧米制深度锚点，融合后送入改造的 VIPE SLAM，由 GeoCalib 初始化并逐帧优化 $(f_x,f_y,c_x,c_y)$ 以应对变焦漂移；自带 GT 位姿的源用 Umeyama Sim(3) 拟合对齐米制 gauge；③Clean Plate——LTX-2.3 管线 8 步去噪移除行人与车辆，产出 54.3 万条清理后 clips 并全部重算标注；④字幕——Kimi-K2.6 以 1fps 抽帧输出严格 JSON 六字段结构；⑤筛选——每个 owner 冻结策略（Table 3），输出 xhigh/high/rejected。训练段：Stage 1 双向训练最小化 $\mathcal{L}_{bid}=\mathbb{E}\,\|f_\theta(z_t,t,c)-u_t\|_2^2$，5 秒 TI2V 窗口加 fused-PRoPE 相机条件；Stage 2 TF-AnyFlow 切换因果注意力，分块 teacher forcing 加 AnyFlow 损失；Stage 3 DMD 用 rollout-and-replay 让因果学生沿 $\nabla_\psi\mathcal{L}_{DMD}=\mathbb{E}\,[\,J_{G_\psi}^{\top} w(t)(s_{fake}-s_{real})\,]$ 更新，冻结双向教师提供质量锚。
技术新颖性
技术新颖性体现在四个层面。规模与完整度：这是首个覆盖 4 个 backbone 家族（Wan2.2-5B/14B、LTX-2.5、MiniMax-H3，参数量 5B–33B）、带精确数据与优化配方、含完整标注与溯源的开源世界模型栈——Table 1 的发布矩阵中 SolarWM 是唯一全项打勾的系统，数据规模（25.85 TB/142.6 万 clips）比此前最大的 ABot-World-0（2.74 TB/3 万）大近一个数量级。训练效率：TF-AnyFlow 把 Causal ODE 与 Causal CD 两个初始化阶段合并为一个短程因果适配，作者论证其快速收敛的原因是该阶段主要'激活'双向模型中已有的因果预测能力，而非重新学习外观与运动。'短训长推'：仅用 5 秒序列训练、无 attention sink、无长视频微调即实现小时级 rollout，颠覆了该领域普遍需要长序列训练或注意力技巧的直觉。数据工程：rejected 分区（549,101 条）连同机器可读拒绝理由一起发布，Clean Plate 派生作为独立 recipe owner 而非静默替换源数据，默认 81f 配方通过对 ABOT/MiraData/Sekai-Game 施加 6 倍重复因子实现源平衡——这种彻底的审计性与可重构性在同类系统中前所未有。
实验结果
核心发现分四块。语料统计：最终语料 1,425,694 条 clips，876k 保留（471,798 high + 404,795 xhigh），549,101 rejected，29k 分片共 25.85 TB；153–956 帧区间占 858k（553k 保留），81 帧以下 78k 全拒，957 帧以上 82k 保留；81f 配方含 600,320 条物理行，对 ABOT/MiraData/Sekai-Game 施加 6 倍重复后每 epoch 达 870,210 次虚拟出现。双向预训练：四个 backbone 在 GPT Image 2/Krea 生成的 OOD 首帧上按平移、旋转和混合 6-DoF 轨迹均能生成连贯 10 秒视频（Figure 6）。蒸馏因果生成（SolarWM-wan2.2-5B-fast，16fps、4 步、无 attention sink）：10 秒域内第三人称 rollout 保持主体一致性（Figure 7）；域内分钟级跨真实/合成/游戏域不间断生成（Figure 8）；OOD 合成首帧下相机揭示的未见区域由模型推断且保留原图风格（Figure 9）；分钟级 OOD 在五个迥异场景中响应前进/转向/横移/停顿复合轨迹（Figure 10）；小时级从真实首帧连续自回归 60 分钟，端点仍可辨识（Figure 11）。训练经验：无需 ODE/CD 初始化即可达 SOTA；大部分优化应在双向阶段完成，AR 适配快速收敛，DMD 步数最少。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开源发布完整度（世界模型系统横向对比，Table 1） | 发布矩阵八项：权重/推理/训练代码/数据/完整记录/流水线/精确配方/多backbone | 全项 ✓：25.85 TB、1,426k clips、4 个 backbone 家族（5B–33B） | minWM（527 GB、19k clips、2 个 backbone）、ForgeWM（95 GB、40k clips、单 backbone）、ABot-World-0（2.74 TB、30k clips、单 backbone） | 数据规模约为 minWM 的 49 倍、ABot-World-0 的 9.4 倍，首个 4-backbone 全项开源训练栈 |
| 长时程自回归世界生成 | 可连续 rollout 时长（定性评估） | 60 分钟不间断生成，16 fps、4 步采样、无 attention sink，60 分钟端点仍可辨识 | 多数已发布系统演示为秒级至分钟级，且常需重启、参考帧注入或短片段拼接 | 仅用 5 秒序列训练即达成，无需长视频微调或注意力技巧 |
| 跨 backbone 训练协议迁移 | 同一配方直接适用的视频生成 backbone 家族数 | 4 个家族（Wan2.2-5B、Wan2.2-14B、LTX-2.5、MiniMax-H3） | 现有多 backbone 开源系统通常仅覆盖 2–3 个家族（如 HY-WorldPlay、minWM、BiWM） | 统一三阶段配方覆盖全部 4 条路由，同时保留各 backbone 原生表示与目标 |
局限与改进
作者承认并可从文中观察到的局限如下。其一，评估完全定性：全文没有 FVD、相机轨迹误差、主体一致性分数或人类评测等任何量化指标，所有结论建立在挑选的示例帧上，长时程生成的质量崩塌点、帧间漂移速率无法客观衡量。其二，发布承诺尚未落地：Table 1 明确注明 'SolarWM entries indicate commitments for this release'，即数据、权重、代码在论文写作时点均为承诺状态，实际可得性与质量有待验证。其三，小时级演示集中在 SolarWM-wan2.2-5B-fast 一个模型上，其余三个更大模型（14B/22B/33B）的 rollout 能力未见同等展示。我自己的观察：字幕依赖专有闭源模型 Kimi-K2.6，即便放出 prompt 契约，第三方也难以复现同质量标注；控制信号仅限相机轨迹加固定文本 prompt，没有键盘/手柄类动作输入的实验，与 Genie、Matrix-Game 系列的动作驱动范式并不直接可比；Clean Plate 把行人和车辆从 54.3 万条训练数据中移除，可能系统性削弱模型对动态实体的建模，而真实世界和游戏中动态实体恰是核心内容；评估首帧用 GPT Image 2/Krea 生成，为 OOD 结论引入了额外的不受控变量。
独立分析的弱点
独立分析的弱点及改进方向。①纯定性评估是最致命短板：建议构建量化基准（FVD/PSNR、估计相机与给定轨迹的角度/平移误差、首帧一致性相似度）并报告长时程漂移曲线，让'小时级稳定'可被第三方检验。②标注流水线绑定闭源 Kimi-K2.6：应用开源 VLM 蒸馏复现六字段契约，或发布部分标注中间品供对齐。③无动作条件控制：应在相机 PRoPE 之上叠加离散动作嵌入，并在 Atari/Minecraft 环境与 Genie、MineWorld 定量对比。④Clean Plate 副作用未量化：动态实体被移除后模型在人车密集场景可能退化，应做含/不含 Clean 数据的消融。⑤算力不透明：未披露各阶段 GPU 数量与训练成本，DMD 需同时前向学生、fake 模型与冻结教师，复现门槛极高。⑥小时级结果仅展示稀疏关键帧，闪烁与纹理漂移无法从静态图判断，应公布完整视频与失败案例。⑦MIND（533 条）、Sekai-Game（2,550 条）等 owner 规模极小、依赖重复因子平衡，长尾源的实际贡献存疑。
未来方向
可延伸方向。作者在 related work 中已点名两个方向：结合 Astrolabe 的前向过程强化学习与 KVPO 的 ODE-native GRPO，对蒸馏后的自回归模型做奖励后训练；以及依托引擎的可重构性扩展更多 backbone 与新数据源——新增数据集只需跑一次源级标注即可入池。基于本文成果的自然延伸包括：其一，动作条件化——在相机 PRoPE 之上叠加离散动作嵌入，让同一框架支持游戏代理控制，复用语料中现成的 Sekai-Game、ABOT 等游戏/合成源；其二，音频-视觉世界——LTX 路由移除了 3.7B 音频流与 2.6B 音视频交叉注意力，MiniMax-H3 路由的音频行被置零损失，恢复音频生成是现成的扩展点；其三，利用发布的 549,101 条 rejected 样本研究数据筛选的因果效应，例如放松运动过滤是否提升动态场景质量；其四，长时程记忆与重访一致性——60 分钟 rollout 中回访早先区域的场景一致性未验证，可引入显式记忆机制并设计重访基准；其五，把世界模型接入具身规划与仿真，评估其在下游策略学习中的实际价值；其六，构建社区定量评测榜（FVD、控制精度、一致性），填补本文纯定性评估留下的空白。
复现评估
复现评估。开源承诺（论文写作时点均为 commitment）：完整 25.85 TB 语料（29k 个 WebDataset 分片，含标注、元数据、质量评估、选择决策与溯源）、端到端处理流水线、每个 owner 各 100 条共 1,400 行的测试视图、81f 等配方的精确数据与优化配置、checkpoint 匹配设置、四个模型权重，以及双向训练/AR rollout/DMD 训练与推理的全部实现；项目页为 junchao-cs.github.io/SolarWM-Web。算力门槛很高：四个 5B–33B 模型的三阶段训练，尤其 DMD 阶段需同时前向学生、fake 模型与冻结教师并反传 KV cache 梯度，属多节点级 GPU 任务；数据标注还需运行 Pi3X、MoGe-2、VIPE、GeoCalib 与 Kimi-K2.6。缓解因素是引擎设计本身：由于源级预处理与配方构建解耦，使用者可直接下载已标注语料，通过改索引级配方（过滤条件、源权重、时间视图）开展实验而无需重跑昂贵标注，大幅降低数据侧复现成本。风险在于所有产出截至论文发表仍是承诺，应以实际放出的 artifacts 为准评估可复现性；且近 26 TB 的存储与下载本身就是不小的工程开销。
论文图表
标题页概览图，标注 'OPEN • INTERACTIVE • LONG-HORIZON / ONE FRAMEWORK. DIVERSE WORLDS.'，展示 SolarWM 作为面向交互式、长时程视频世界模型的全开源基础的定位。
一图总览论文定位与口号，帮助读者在深入技术细节前建立整体认知框架。
从 held-out 验证池的真实首帧出发的单次不间断自回归会话，稀疏采样从初始观测到 60 分钟端点的关键帧；场景 prompt 固定，模型跟随预定相机轨迹，端点画面仍可辨识。
全文最具冲击力的结果：训练序列仅 5 秒却实现 720 倍时长的不间断生成，直接支撑'短训长推'的核心论断。