立体世界模型：相机引导的立体视频生成 Stereo World Model: Camera-Guided Stereo Video Generation
首个相机条件约束的立体世界模型，联合学习外观与双目几何，实现端到端立体视频生成
前置知识
旋转位置编码（RoPE）
Rotary Position Embedding 是一种将相对位置信息注入 Transformer 注意力机制的方法。它通过对 Query 和 Key 向量施加旋转变换来编码位置关系，使得注意力权重天然反映相对位置差异。在视频扩散模型中，RoPE 被扩展为 3D 形式（M-RoPE），沿时间 $t$ 和空间 $x, y$ 三个轴分别应用旋转，通过 Kronecker 积组合为完整的旋转矩阵 $R_{\Delta t, \Delta x, \Delta y} = R_{\Delta t} R_{\Delta x} R_{\Delta y}$。这种设计让模型能捕捉时空相对位置关系，且具有良好的外推性。
本文的核心创新之一就是扩展 RoPE 来编码相机参数，理解 RoPE 的基本原理是理解本文方法的关键前提
立体视觉与极线几何
立体视觉利用两个（或多个）相机从不同视角观察同一场景，通过视差（disparity）恢复三维几何。在理想校正的立体对中，极线（epipolar lines）对齐为水平扫描线，这意味着对应点只在同一行内搜索，大大降低匹配复杂度。基线（baseline）是两个相机之间的距离，基线越大，视差越大，深度估计精度越高但遮挡也越严重。视差 $d$ 与深度 $Z$ 的关系为 $d = fB/Z$，其中 $f$ 为焦距，$B$ 为基线长度。
本文利用极线约束设计高效注意力机制，将立体对应关系限制在水平方向，这是理解立体感知注意力设计的基础
视频扩散模型
视频扩散模型是一类基于去噪的生成模型，在潜空间（latent space）中逐步去除噪声以生成视频。典型架构包括 3D VAE 将视频压缩到潜空间 $z = E(V) \in R^{f \times h \times w \times c}$，以及基于 Transformer 的扩散模型（DiT）在潜空间中执行去噪。模型使用 rectified flow 公式进行训练，从纯噪声通过迭代去噪生成视频潜变量，最后由 VAE 解码器重建为像素域视频。预训练的视频扩散模型（如 Wan）具有强大的时空先验和视觉保真度。
本文基于预训练视频扩散模型进行适配，理解其工作原理有助于理解为什么需要'最小化对预训练先验的干扰'
注意力机制分解
标准自注意力的计算复杂度为 $O(L^2 d)$，其中 $L$ 为序列长度。当序列包含多个视角和时间步的 token 时，$L = 2f \times h \times w$（立体视频），全注意力的计算量会变得极其庞大。注意力分解通过利用数据的内在结构（如立体对的水平对应关系），将全注意力拆分为多个更高效的子注意力，在保持性能的同时大幅降低计算成本。
本文的立体感知注意力通过分解 4D 注意力为 3D 视内注意力 + 水平行注意力，将计算量降低约 2 倍，这是核心效率优化
世界模型
世界模型是一种能够根据动作和相机运动预测未来观测的生成模型。在具身智能和交互式感知中，世界模型学习环境的动力学规律，使智能体能够在'想象'中规划行动。单目世界模型从单个摄像头视角预测未来，但存在深度模糊、尺度不明确等几何限制；而立体世界模型通过双目观测直接获取几何信息，能提供更准确的尺度感知深度。
本文提出的立体世界模型弥补了单目世界模型在几何理解上的不足，理解世界模型的定位有助于把握本文的贡献
研究动机
当前世界模型主要基于单目视频表示，存在根本性的几何限制：深度是隐式的、尺度是模糊的，几何一致性必须推断而非直接观测。这在长时域相机轨迹下会累积 3D 误差，限制了在具身智能、导航等需要精确几何的应用场景。RGB-D 世界模型虽然引入了辅助深度通道，但预测深度依赖于场景且尺度模糊，需要临时的归一化处理，在不同领域间不稳定。现有的立体视频生成方法依赖深度估计和修补（inpainting）的多阶段流水线，无法端到端生成，计算效率低，且在细节区域容易出现错误累积（如图 2 中的铁丝网示例）。具体数据表明，基于 warp 的方法 FPS 仅为 0.03-0.35，而本文方法达到 0.49 FPS，速度提升约 3 倍。
本文的目标是本文的目标是构建第一个相机条件约束的立体世界模型（StereoWorld），能够联合学习外观和双目几何，在给定立体图像对和相机轨迹条件下生成视图一致的立体视频。具体而言，模型需要：（1）在显式相机轨迹或动作控制下生成时间平滑的视频；（2）在每个时间步保持左右视图一致性；（3）支持不同基线和内参的场景；（4）提供准确的视差几何，可直接应用于 VR/AR 渲染和具身智能。
与已有工作不同的是，本文的独特切入角度在于：不同于单目 RGB 或 RGB-D 方法，StereoWorld 专在 RGB 模态内操作，同时直接从视差中建立几何基础。这是受生物立体视觉启发——立体视觉是许多生物系统中的主导感知机制，提供直接、鲁棒的 3D 场景结构线索。与 RGB-D 系统相比，它避免了产生和稳定显式度量深度图的需要，同时保留了强几何信号。关键技术创新在于：（1）通过扩展 token 维度（而非重新参数化 RoPE）注入相机位置编码，保持预训练位置子空间不变；（2）利用立体对的极线约束分解注意力，将 4D 时空跨视图注意力分解为 3D 视内注意力 + 水平行注意力，实现高效计算。
核心方法
StereoWorld 的整体思路是基于预训练视频扩散模型进行适配，通过两个核心设计将单目视频生成能力扩展到立体视频生成。直觉上，如果我们能让模型'知道'左右相机的精确位置关系，并且在注意力计算中利用立体对的水平对应先验，就能高效地生成几何一致的立体视频。技术路线为：首先使用 3D VAE 将立体视频编码到潜空间，得到左右视图的潜表示 $z_{left}, z_{right}$；然后通过统一的相机-帧 RoPE 将相机参数注入 token；最后使用立体感知注意力块进行去噪，通过 3D 视内注意力捕捉时空动态，通过水平行注意力实现跨视图融合，最终解码生成立体视频。整个流程如图 3 所示，从条件帧和噪声目标帧出发，经过 token 扩展、统一相机-帧 RoPE 注入、立体注意力块的多次迭代，输出最终的立体视频。
本文的核心创新包含两个方面，与已有方法有本质区别。第一是统一相机-帧 RoPE（Unified Camera-Frame RoPE），不同于 PRoPE 等方法重新参数化原有 RoPE，本文通过扩展 token 维度来注入相机编码：$\tilde{q}_{(t,x,y)} = [q_{(t,x,y)}; q_{cam(t,x,y)}] \in R^{d+d_c}$，其中前 $d$ 维保持与预训练模型一致的 RoPE，新增的 $d_c$ 维专门编码相机信息。这种设计的优势在于保持预训练位置子空间不变，添加正交的相机条件通道，实验证明比 PRoPE 收敛更快、训练更稳定（图 7）。第二是立体感知注意力（Stereo-Aware Attention），利用校正立体对中极线水平对齐的先验，将全 4D 注意力 $O((2f \cdot h \cdot w)^2)$ 分解为 3D 视内注意力 $O(2 \cdot (f \cdot h \cdot w)^2)$ 和水平行注意力 $O(f \cdot h \cdot (2w)^2)$，计算量降低约 2 倍，同时保持甚至提升视图一致性。
方法步骤详情
方法步骤如下：（1）输入准备：给定校正立体对 $(I_{left}, I_{right}) \in R^{3 \times H \times W}$，基线 $b$，场景描述 $c$，以及条件相机轨迹 $\{cam_t\} = \{(K_t, T_t)\}$。（2）潜空间编码：使用 3D VAE 编码器分别编码左右视图视频，得到潜表示 $z_{left}, z_{right} \in R^{f \times h \times w \times c}$。（3）Token 扩展与相机 RoPE 注入：将原始 token 扩展 $d_c$ 维用于相机编码，对新增子空间使用 Copy Init（用时间注意力权重初始化）以稳定训练。统一相机-帧 RoPE 公式为 $\tilde{R}^{cam}_{\Delta t, \Delta x, \Delta y}(d') = \tilde{R}^{cam}_{t_1,x_1,y_1}(d') (\tilde{R}^{cam}_{t_2,x_2,y_2}(d'))^\top$。（4）立体感知注意力：将 4D 注意力分解为 Attn3D（视内注意力）和 Attnrow（水平行注意力），输出 $f_{out} = Attn3D(f_{in}) + Attnrow(f_{in})$。（5）去噪与解码：通过 DiT 的多层立体注意力块迭代去噪，最终由 VAE 解码器重建为像素域立体视频。
技术新颖性
技术新颖性体现在以下几个方面：（1）这是第一个相机条件约束的立体世界模型，不同于现有的单目世界模型或 RGB-D 世界模型，StereoWorld 在纯 RGB 模态内同时学习外观和几何。（2）相机编码的注入方式新颖：通过扩展 token 维度而非修改原有 RoPE，保持了与预训练模型的兼容性。Copy Init 策略（用时间注意力权重初始化相机子空间）利用了相机和时间嵌入都在帧级别操作的相似性，提供稳定的训练起点。（3）立体注意力分解利用了立体视觉的几何先验（极线水平约束），将计算复杂度从 $O((2fhw)^2)$ 降低到 $O(2(fhw)^2) + fhw(2w)^2$，实测 FLOPs 从 $3.11 \times 10^{10}$ 降至 $1.56 \times 10^{10}$，FPS 从 0.34 提升至 0.49。（4）模型无需深度监督，仅从双目图像信号中学习几何，却能产生准确的视差估计，优于依赖深度监督的方法。
实验结果
实验结果表明 StereoWorld 在多个指标上显著优于现有方法。在视觉质量方面，FID 达到 111.36（对比最佳基线 SEVA 的 195.70，提升 43%），FVD 达到 83.04（对比最佳基线 Aether 的 152.97，提升 46%），CLIP-T 达到 25.74（对比最佳基线 ViewCrafter 的 25.02）。在相机精度方面，旋转误差 RotErr 为 1.01（最佳，对比基线最佳 SEVA 的 1.09），平移误差 TransErr 为 0.11（最佳，对比基线最佳 Aether 的 0.13）。在视图同步方面，匹配像素数 Mat. Pix. 达到 4.56K（对比基线的 4.26-4.49K），FVD-V 达到 22.00（对比基线最佳 SEVA 的 31.10，提升 29%），CLIP-V 达到 97.50（对比基线最佳 SEVA 的 94.73，提升 2.9%）。在效率方面，FPS 达到 0.49，是最快基线 DeepVerse（0.35 FPS）的 1.4 倍，是最慢基线 Voyager（0.03 FPS）的 16.3 倍。VBench 指标方面，美学质量 44.27（最高）、成像质量 66.51（最高）均显著领先。单目版本（Ours Monocular）FID 126.83 也优于所有基线，说明预训练模型适配本身就有效；立体版本进一步提升至 111.36，验证了立体生成的优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 立体视频生成 | FID↓ | 111.36 | 185.72 (Aether) | 40.0% |
| 立体视频生成 | FVD↓ | 83.04 | 152.97 (Aether) | 45.7% |
| 立体视频生成 | CLIP-V↑ | 97.50 | 94.73 (SEVA) | 2.9% |
| 立体视频生成 | Mat. Pix.(K)↑ | 4.56 | 4.49 (SEVA/ViewCrafter) | 1.6% |
| 立体视频生成 | RotErr↓ | 1.01 | 1.09 (SEVA) | 7.3% |
| 立体视频生成 | FPS↑ | 0.49 | 0.35 (DeepVerse) | 40% |
局限与改进
尽管 StereoWorld 取得了显著进展，仍存在以下局限性：（1）计算开销：立体视频生成仍然比单目对应物更耗计算，因为需要同时生成两个视图。虽然立体注意力分解已将 FLOPs 降低约 2 倍，但对于实时应用仍有差距。（2）数据稀缺：大规模立体数据集的缺乏限制了模型的可扩展性。当前训练数据集总量约 26K 个样本（Stereo4D 11718 + TartanAir 6433 + TartanAirGround 5816 + Dynamic Replica 1686 + VKitti 230），远小于单目视频数据集规模。（3）场景一致性问题：模型未包含显式的场景级一致性约束，某些示例在视频帧间可能表现出空间不一致性（如图 15 中蓝色路标从无到有逐渐出现）。（4）动态场景能力有限：训练数据主要由静态渲染场景组成，限制了模型合成动态环境的能力。（5）长视频退化：虽然通过蒸馏可生成 10 秒立体视频（速度从 0.49 FPS 提升至 5.6 FPS），但随着视频长度增加，生成结果仍出现明显退化，这与 Self-Forcing 中报告的问题类似。
独立分析的弱点
独立分析的弱点及改进方向：（1）相机编码初始化策略：Copy Init 虽然比 Zero Init 表现更好，但本质上是启发式的。可以探索更 principled 的初始化方法，如基于相机参数统计特性的初始化，或使用小规模立体数据预训练相机编码子空间。（2）注意力分解的粒度：当前将注意力分解为 3D 视内 + 水平行注意力，但未考虑时间维度的稀疏性。对于长视频，可以引入时间窗口注意力或因果注意力来进一步降低计算量。（3）缺乏显式几何约束：模型完全从双目图像信号中隐式学习几何，没有显式的视差一致性损失或 3D 重建损失。引入弱监督的几何损失可能提升视差精度和跨帧一致性。（4）基线泛化：虽然图 14 展示了一定的基线泛化能力（0.25m 到 0.42m），但超出训练分布更远的基线（如 0.75m）性能下降明显。可以通过数据增强（随机基线扰动）或多基线训练来改善。（5）动态物体处理：当前模型主要处理静态场景，对动态物体的遮挡和视差变化处理不足。需要引入光流或物体跟踪机制来增强动态场景的立体一致性。
未来方向
作者提出的未来方向包括：（1）探索收集更多动态立体视频数据的策略，或利用更丰富的单目动态视频数据集来增强模型的动态场景能力。（2）在更大规模数据上训练以缓解一致性问题。（3）开发更鲁棒的方法将立体视频模型蒸馏为长时域视频生成器。基于当前成果可延伸的方向：（4）将立体世界模型与空间记忆机制（如 VMem 或 SPMem）结合，利用立体视频天然提供的几何信息替换额外的重建模块，维持长程一致性。（5）将立体世界模型应用于更复杂的具身任务，如导航、操作规划等，利用其度量尺度深度能力提升智能体的空间感知。（6）探索立体世界模型与强化学习的结合，通过世界模型的'想象'能力加速策略学习。（7）研究多视角（>2 视角）世界模型，进一步提升几何覆盖和鲁棒性。（8）将立体世界模型与 3D Gaussian Splatting 或 NeRF 结合，实现更高质量的新视角合成。
复现评估
复现评估方面：（1）代码与数据：论文提供了项目主页（https://sunyangtian.github.io/StereoWorld-web/），但未明确说明是否开源代码。训练数据集列表已公开（表 1），包括 Stereo4D、TartanAir、TartanAirGround、Dynamic Replica、VKitti 等公开数据集，数据可获取性较好。（2）算力需求：训练使用 24 块 NVIDIA H20 GPU，batch size 24，训练 20K 步。H20 是高端 GPU，总显存需求约 1.8TB（假设每块 80GB），这对大多数研究机构来说算力门槛较高。（3）实现细节：基于 Wan2.2-TI2V-5B 预训练模型，使用 AdamW 优化器，学习率 1e-4，视频分辨率 480×640，49 帧。这些细节较为完整，有助于复现。（4）评估协议：使用 435 个立体图像对，涵盖合成和真实场景，评估指标包括 FID、FVD、CLIP 分数、相机误差等标准指标，评估可复现性好。（5）总体难度：中等偏难，主要挑战在于预训练模型的获取（Wan2.2-TI2V-5B）、大规模 GPU 资源需求、以及立体数据集的预处理流程。
论文图表
展示 StereoWorld 的应用场景和核心能力。左上角展示基于给定双目图像进行探索生成的视图一致立体视频，包括视图一致性、视差、动作规划等能力。右下角展示 VR/AR 可视化应用，包括红蓝立体图示例。底部展示具身智能中的动作规划应用，如'将绳子放入黑色长盒中'的指令及对应的立体操作视频。
这张图是论文的开篇概览，直观展示了 StereoWorld 的核心能力和应用场景，帮助读者快速理解论文的定位和贡献。
对比不同世界模型范式：单目 RGB、单目 RGBD、立体 RGB 三种模态。展示它们在几何能力、度量尺度、与预训练模型兼容性、VR 显示等方面的差异。StereoWorld 采用立体 RGB 模态，具有相对几何和度量尺度，与预训练模型同域，可端到端应用于 VR 显示。对比方法需要依赖外部深度估计和修补模型，而本文方法无需这些额外步骤。
这张图清晰地展示了本文方法的定位——与现有世界模型范式的区别，突出了立体 RGB 模态的优势，是理解论文动机的关键。
对比单目和立体生成的差异。单目管线依赖单个条件帧，容易因遮挡产生不真实的结构幻觉；立体设置通过额外视图和立体感知注意力更好地保持与真实场景的对齐。
直观展示了立体生成相比单目生成的几何优势，解释了为什么立体版本在 FID 等指标上更优。
展示模型在不同基线下的表现，右相机基线从 0.25m 扩展到 0.75m（超出训练分布）。StereoWorld 在 0.42m 以内保持几何合理性和准确的度量尺度恢复，优于 Depth Anything V2。验证了统一相机-帧 RoPE 进行的是真正的几何推理而非简单图像拉伸。
验证了方法的基线泛化能力，展示了相机编码的有效性。
展示一个失败案例，蓝色路标在序列开始时不存在，但随着视角推进逐渐出现并增大。这说明模型缺乏显式的场景级一致性约束，可能产生空间不一致的生成结果。
诚实展示方法的局限性，帮助读者了解方法的适用边界。