Puffin-World：以原生三维世界状态扩展的统一多模态模型 Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States
以物理-几何-外观三种原生世界状态统一相机感知、自由视角仿真与3D世界生成重建
前置知识
Plücker 射线表示（相对相机表示）
把每个像素的视线编码为 6 维向量的相机表示：由射线原点 $o=-R^\top t$（相机中心在世界系的位置）和方向 $d_x=R^\top K^{-1}\tilde{x}/\|R^\top K^{-1}\tilde{x}\|_2$ 拼接为 $p_x=(o,d_x)$。两视图间的相对运动完全由射线原点的变化（平移）和射线方向的变化（旋转）刻画，广泛用于多视角重建与相机可控视频生成。
Puffin-World 提出的 Omni-Camera 表示的相对分量正是 Plücker 射线图，理解其条件构建、多视角控制与物理传播都以此为基础。
Perspective Field（视角场，绝对相机表示）
源自 ParamNet/GeoCalib 一脉的逐像素绝对相机物理表示：每个像素编码 up-vector $u_x$（重力反方向在图像平面上的投影方向）和纬度角 $\varphi_x=\arcsin((-d_x)^\top g/\|d_x\|_2)$（入射光线相对水平面的仰角），其中 $g$ 为单位重力方向。它把图像内容锚定到地平线、竖直性等真实世界物理量上。
本文把视角场作为 Omni-Camera 的绝对分量，物理状态感知和物理传播机制都建立在它之上，是理解全文物理锚定思想的关键。
流匹配（Flow Matching）
一类扩散生成训练目标：学习速度场把高斯噪声连续传输到数据分布。本文 MMDiT 采用流匹配去噪，损失 $\mathcal{L}_{fm}=\mathbb{E}_{t,\epsilon}\sum_v\|v_\theta(z_t^v,t,c_v)-(\epsilon^v-z_0^v)\|^2$，其中加噪样本为 $z_t^v=(1-\sigma_t)z_0^v+\sigma_t\epsilon^v$。
论文的外观生成、多视角联合去噪以及外观-几何联合损失（Eq. 8/9）全部由流匹配目标驱动，不懂它就看不懂训练公式。
统一多模态模型与 MMDiT
统一多模态模型指在单一网络内同时完成视觉理解与生成，可通过离散/连续视觉 token 自回归实现，也可将多模态大模型与扩散解码器相连。MMDiT（SD3.5 的骨干）是多模态扩散 Transformer，在联合注意力中同时处理文本与图像 token 流。
Puffin-World 的骨架就是 LLM（Qwen2.5）+ MMDiT（SD3.5），其'表示/模态/任务'三层统一设计完全围绕这一架构展开。
共享 VAE 潜空间与 Hilbert 曲线深度编码
VAE 将图像压缩为 16 通道 latent 供扩散模型使用。本文借助 3D Hilbert 曲线把无界深度图可逆地映射为三通道颜色图，并把更多色域分配给近处表面（几何精度最重要的区域），使深度能套用与外观相同的冻结 VAE 编解码接口，无需专用深度 tokenizer。
外观与几何能共用同一个生成过程（同一 latent 空间、同一次去噪），正是建立在这一编码技巧之上。
研究动机
尽管生成式世界模型（Cosmos、Genie 3、各类视频/多视角扩散）视觉逼真度惊人，它们几乎只在外观层面预测世界：把每帧当作 RGB 内容，没有相机绝对物理朝向的概念，也不显式建模场景几何，导致同一条相对轨迹在不同绝对世界朝向下对应不同的世界，在长时序、极端旋转和单视角设定下出现朝向漂移。统一多模态模型（Chameleon、Janus-Pro、Emu3、Transfusion 等）虽把理解与生成装进一个网络，但只针对 2D 语义，不建模相机物理与场景几何。同时，现有相机表示各有短板：Plücker 射线等相对表示缺乏全局物理锚；主流 3D 轨迹数据集旋转多样性严重不足——roll 通常限于 $[-5^\circ,5^\circ]$、pitch 限于 $[-10^\circ,10^\circ]$，且几乎不提供绝对相机朝向；前作 Puffin 虽率先把相机理解引入统一模型，但模型与数据规模有限，在部分基准上仍落后专用方法 GeoCalib，且只支持孤立单视角、缺少跨视角的持久世界坐标系。领域里仍没有一个能统一感知、生成、重建 3D 世界的单一模型。
本文的目标是本文的目标是构建不依赖任何外部离线模块的统一多模态模型 Puffin-World，在单一框架内联合完成：物理世界感知（从单图恢复 roll、pitch、垂直 FoV 等绝对相机物理量与场景语义）、自由视角空间仿真（相机可控的文本生成图像）、以及 3D 世界生成与重建（高自由度动作条件下的多视角生成加逐视角深度重建），并支持需要多任务协同的闭环应用（模仿式与自校准式世界探索）。为此必须同时解决三个紧耦合的挑战：(i) 建立既支持连续单视角与跨视角控制、又锚定在重力、竖直性与朝向等绝对物理概念上的统一动作表示；(ii) 维护一个物理持久的世界坐标系，使从已观测视角推断的知识能一致地引导未见视角的 3D 建模；(iii) 用兼具绝对相机锚定与多样化挑战性运动的大规模数据扩展这些能力。
与已有工作不同的是，本文的独特切入是把 3D 世界显式分解为三个'原生世界状态'——物理（重力场与纬度图）、几何（深度）、外观（图像）——并在端到端框架内联合感知、传播与生成它们，而不是像既有世界模型那样只优化外观。针对相对与绝对相机表示互补却割裂的现状，作者提出 Omni-Camera：沿通道维度把重力锚定的绝对视角场（3 通道）与 Plücker 相对射线图（6 通道）拼成统一的 9 通道稠密相机条件 $c_x=\mathrm{Concat}(a_x,p_x)$，使同一表示同时服务单视角校准、相机可控生成与跨视角世界建模。再以'物理传播'机制把感知分支测得的参考视角绝对状态沿已知相对旋转传播到未来各帧，让生成全程共享一个重力对齐的绝对坐标系。这填补了'相对可控但物理漂移'与'绝对锚定但难以连续建模'之间的空白，也与 Puffin 只在单视角内用 3 通道视角场做交叉注意力注入形成鲜明区别。
核心方法
直觉上，作者认为物理世界天然由物理、几何、外观三个层次的状态组织，统一模型应把它们当作一等公民联合建模，而非把几何当作事后估计。技术路线上，Puffin-World 通过三层统一实现多功能：(i) 表示统一——RGB 与深度经 Hilbert 曲线映射后共享同一 VAE 潜空间，所有相机配置与运动统一为 Omni-Camera 表示 $C\in\mathbb{R}^{H\times W\times 9}$，并配一个 4 通道角色掩码 $m$ 标注每个视角是生成目标、条件参考、图像条件输入还是几何视图；(ii) 模态统一——几何对齐视觉编码器（C-RADIOv3-H）与 LLM（Qwen2.5-7B）做自回归理解，同一 LLM 的隐状态经 64 个可学习查询和 6 层 Transformer 连接器变为扩散模型（SD3.5 MMDiT）的条件信号，理解与生成是同一模型的两个互补输出；(iii) 任务统一——每个任务仅由输入组合（文本、目标相机、参考视图、角色掩码）决定，同一框架覆盖相机到世界理解、可控生成、3D 世界生成与联合外观-几何重建。训练采用四阶段策略，从单视角跨模态对齐逐步扩展到带重建的多视角 3D 世界建模。
核心创新有二。其一是 Omni-Camera 表示：对每个像素 $x=(u,v)$，把绝对分量 $a_x=(u_x,\varphi_x)\in\mathbb{R}^3$（up-vector 与纬度角，由重力方向 $g$ 与光线方向 $-d_x$ 定义）与相对分量 $p_x=(o,d_x)\in\mathbb{R}^6$（Plücker 射线）沿通道拼接为 $c_x\in\mathbb{R}^9$——相对分量负责连续跨视角运动，绝对分量提供重力/地平线全局锚，现有方法从未把两者融进同一个稠密条件。其二是物理传播：模型先通过感知分支得到参考视角的绝对状态 $(\phi_0,\theta_0,\alpha_0)$ 并求出重力方向 $g_0$，再利用已知相对旋转把重力传播到每个未来视角 $g_t=(R_{\leftarrow 0}^{\mathrm{rel}})^{-1}g_0$，据此渲染各帧的绝对视角场并与射线图拼接；这样所有帧共享同一重力对齐的世界系、保留各自相对运动，从机制上抑制朝向漂移。与 Puffin 把 3 通道视角场经 VAE 编码后交叉注意力注入不同，本文直接在扩散潜空间做加性注入 $h_0=P(z)+F([C;m])$ 并在稀疏层再注入 $h_l\leftarrow h_l+W_l P F([C;m])$，从而支持 9 通道完整相机几何与多视角条件。
方法步骤详情
方法按任务链条展开。(1) 物理感知：单图经几何对齐视觉编码器与 MLP 投影进 LLM 嵌入空间，以下一词元交叉熵损失自回归输出结构化场景描述与数值相机参数（roll、pitch、垂直 FoV），参数在推理地平线、竖直结构等场景级线索之后才生成，估计依赖整体语义而非低层视觉。(2) 自由视角仿真：给定文本与 Omni-Camera 图（单视角时射线图保持常量），条件融合模块把 $[C;m]$ 映射进 MMDiT 潜空间 $h_0=P(z)+F([C;m])$，零初始化保证训练起点不破坏预训练行为，并在稀疏层集合 $\mathcal{L}$ 上再注入以维持深层相机有效性；训练时以 0.1 概率联合丢弃文本与相机条件做 CFG，另以 0.15 概率仅丢绝对视角场以支持分量级引导。(3) 3D 世界建模：每序列 8 个视图，1-3 个参考视图以干净 latent 输入，其余加噪联合去噪；每帧挂各自 Omni-Camera 条件，token 带 view 轴索引的一维 RoPE 使跨视角一致性在单次注意力中自然涌现；深度经 Hilbert 曲线映射为 RGB 共享 VAE，损失按 $\mathcal{L}=\mathcal{L}_{fm}(V_{rgb})+\omega(\tau)\mathcal{L}_{fm}(V_{geo})$ 组合，$\omega$ 在前 3000 迭代从 0 线性升至 $\omega_{max}=1$；配合非对称注意力（外观/文本查询不可见几何 token）与零初始化几何模态嵌入保护外观质量。(4) 长时序探索：分块自回归，块间直接传递上一块末帧的降噪 latent 而非重编码像素，避免 VAE 伪影累积，物理传播跨全序列生效。(5) 四阶段训练：Stage I 只训 MLP 投影器（lr $1\times10^{-4}$，batch 512）；Stage II 解冻除 VAE 外全部模块做 SFT（视觉编码器梯度缩放 0.1，lr $2\times10^{-5}$）；Stage III 冻结编码器与 LLM，在 DL3DV/RealEstate10K/Puffin-Traj-1M 上做多视角后训练（lr $5\times10^{-5}$，batch 256，重复因子 3:2:1:1）；Stage IV 激活几何分支，加入 Hypersim、MVS-Synth、TartanAir、ScanNet 做联合重建（lr $2\times10^{-5}$，batch 128）。
技术新颖性
技术新颖性体现在四个层面。表征上，首次把重力场/纬度图等物理量当作与外观、几何平级的'原生世界状态'纳入统一模型的生成目标，而非仅作辅助监督——绝对物理锚与相对射线被融合为单一 9 通道稠密条件，兼顾两类表示的互补优势。注入机制上，与 Puffin 用 VAE 把 3 通道视角场编码后交叉注意力注入不同，本文在扩散潜空间逐层加性注入并稀疏层再注入，让每个潜 token 在多层都绑定精确相机几何，参数开销可忽略，也使多视角条件成为可能。优化上，联合外观-几何去噪并非简单共用一个损失：几何潜码的饱和颜色会破坏已收敛的外观模型，作者用按模态各自视角数归一化的时变加权（几何权重从 0 缓升）、非对称注意力与零初始化嵌入三重保障，在收敛的外观模型上无损激活深度分支。数据上，Puffin-Traj-1M 以单遍/递归两种采样策略把 roll/pitch 扩到 $[\pm45^\circ]$、yaw 扩到 $[0^\circ,360^\circ)$，直接对治现有数据集旋转贫乏的痛点；物理传播在数学上是确定且可逆的映射，把感知输出逐帧转译为生成条件，形成'感知→生成'的闭环，这是与纯相对位姿条件的本质差异。
实验结果
论文以四组实验支撑主张。(1) 相机到世界理解（Table 3）：在 Stanford2D3D、MegaDepth、TartanAir、LaMAR 四个基准上，roll/pitch/FoV 中位误差全部第一、多数 AUC 指标最佳：Stanford2D3D 上 roll 中位误差 0.29°（GeoCalib 0.40°、UVP 0.52°），AUC@5° 达 97.4，FoV 误差 1.62°；TartanAir 上 pitch 0.67°（GeoCalib 1.49°）、FoV 2.34°（GeoCalib 4.90°、前作 Puffin 7.48°），旋转越挑战优势越大；相较 Puffin（TartanAir roll 0.40°、pitch 0.95°）提升明显，印证了扩大模型与数据的收益。(2) 相机可控生成（Table 4，自建 Puffin-Cam-Bench，600 组文本-相机对）：up-vector 平均误差 0.96°、纬度 1.34°、重力 1.32°，FID 75.93 全场最低；GPT Image2、Nano Banana 2、Qwen-Image2-Pro、FLUX.2-dev、Z-Image 等通用模型的误差在 15°–29° 量级（FID 90–99），专用 PreciseCam 也有 12°–17°，前作 Puffin 为 3.5°–4.9°（FID 80.29）。(3) 3D 世界建模（Table 5）：RealEstate10K 上 PSNR 17.22 dB、SSIM 0.595、LPIPS 0.318 全面第一（次优 MVGenMaster 17.11/0.591/0.348）；更具挑战的 Puffin-Traj-Bench 上 PSNR 18.00 dB、LPIPS 0.288 最佳，SSIM 0.613 与 SEVA（0.614）持平，而相机控制大幅领先：roll 中位误差 0.80°（SEVA 1.35°、ViewCrafter 1.92°、CameraCtrl 11.79°）、pitch 1.10°、FoV 2.96°（ViewCrafter 6.43°、SEVA 12.59°）。(4) 消融（Table 6）：在纯旋转轨迹上，物理传播使平均 pitch 误差从 5.14° 降至 4.75°、平均 roll 误差从 1.94° 降至 1.76°、roll 运动 PSNR 从 22.97 升至 24.02 dB，对与重力直接耦合的 roll/pitch 收益最大（yaw 绕重力轴旋转故收益较小）。此外，模仿式与自校准式世界探索（Figure 7）展示了无需任何外挂模块的闭环多任务协同能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 相机到世界理解（Stanford2D3D） | Roll 中位误差（度） | 0.29°（AUC@5° 97.4） | GeoCalib 0.40°（AUC@5° 91.8） | 误差降低 27.5%，AUC@5° 提升 5.6 个点 |
| 相机到世界理解（TartanAir） | Pitch / FoV 中位误差（度） | 0.67° / 2.34° | GeoCalib 1.49° / 4.90° | 误差分别降低约 55% / 52% |
| 相机可控文本生成图像（Puffin-Cam-Bench） | Up-vector 平均角度误差 | 0.96° | Puffin 3.86°；GPT Image2 24.13°；PreciseCam 13.37° | 较 Puffin 降低 75%，较最强通用模型降低约 96% |
| 相机可控文本生成图像（Puffin-Cam-Bench） | FID（越低越好） | 75.93 | Puffin 80.29；Nano Banana2 90.11 | 全场最低，较 Puffin 降低 4.36 |
| 3D 世界生成（RealEstate10K） | PSNR / SSIM / LPIPS | 17.22 dB / 0.595 / 0.318 | MVGenMaster 17.11 dB / 0.591 / 0.348 | 三项指标全面第一，PSNR +0.11 dB |
| 3D 世界生成（Puffin-Traj-Bench，挑战性旋转） | PSNR / Roll 中位误差 / FoV 中位误差 | 18.00 dB / 0.80° / 2.96° | SEVA 17.94 dB / 1.35° / 12.59°；ViewCrafter 14.52 dB / 1.92° / 6.43° | PSNR +0.06 dB，roll 误差降低 41%，FoV 误差较 SEVA 降低 76% |
| 物理传播消融（Puffin-Traj-Bench 旋转轨迹） | 平均 PSNR / 平均 Roll·Pitch 误差 | 20.54 dB / 1.76°·4.75°（w/ PP） | 19.87 dB / 1.94°·5.14°（w/o PP） | PSNR +0.67 dB，roll 误差降低 0.18°，pitch 误差降低 0.39° |
局限与改进
作者明确承认的局限写在结论：目前框架只覆盖静态场景，尚未扩展到动态场景与更长时域；建模的物理状态也仅限重力场与纬度图，尚未纳入更丰富的物理量。我的补充观察有五点。其一，评测存在一定循环性：Table 5 的相机控制精度与 Table 6 的消融都是用 Puffin-World 自己的感知分支重估生成帧的相机参数再与真值比较，对自身系统性偏差不够中立。其二，几何状态只有深度这一种载体，未输出法线、点云或显式 3D 结构，重建质量受 Hilbert 编码对 VAE 的适配程度制约。其三，多视角训练把所有视图统一裁剪到 $640\times640$，单序列 8 帧、分块自回归的范式在极长轨迹上仍可能累积误差，论文的长时序演示以定性为主。其四，训练语料大头来自约 90 万张全景图重采样的合成分布，虽覆盖自驾街景等真实场景，但与现实相机成像（动态物体、运动模糊、曝光变化）仍有差距。其五，论文未报告训练总算力、推理延迟与显存占用等工程指标，落地成本难以直接评估。
独立分析的弱点
独立分析，我认为有四个值得改进的弱点。第一，物理状态覆盖面窄：只有重力场与纬度图，无法表达光照、材质、物体动力学，遇到需要推理物体运动或物理交互的下游任务仍需外挂模型；改进方向是把状态层级扩展到表面法线、材质图乃至刚体动力学参数，并研究状态间的因果传播。第二，深度作为唯一几何载体信息带宽有限：Hilbert 曲线映射虽可逆，但饱和颜色区的微小解码误差会放大为深度误差，且难以表达透明/反光表面；改进方向是引入多几何通道（法线+深度）或轻量几何专用解码头，同时保持共享主干。第三，自评相机精度依赖自家感知模型，缺乏第三方姿态估计（如 COLMAP 或前馈 SfM 模型）的交叉验证，竞争方法也共用同一评估器；改进方向是引入独立重建工具做外部校验并公开完整评测脚本。第四，分块自回归的潜空间传递虽避免了 VAE 伪影，但误差仍可能在注意力状态中隐式累积；改进方向是为块间引入置信度重置或全局位姿图优化，并对 100+ 帧轨迹给出定量漂移曲线。另外值得注意，为 28 个公开数据集提供的 44.5M 相机标注是模型自身预测的而非真值，他人若将这些标注用于训练或偏差分析，需意识到其中包含模型偏置（如对强透视场景的系统性误差）。
未来方向
作者在结论中指出的方向包括：扩展到动态场景与更长时域、建模重力与纬度之外更丰富的物理状态。基于本文成果还能自然延伸出几条线。其一，与具身智能结合：自校准世界探索已具备 World-Action Model 式'想象-行动-校正'闭环雏形，可接入动作解码器，让世界模型直接服务于机器人操作与导航的预训练。其二，更完整的 3D 表示：把几何状态从深度升级为前馈高斯或点云头，实现'生成即重建'的端到端 3D 资产生产，并支持实时渲染。其三，动态 4D：在 Omni-Camera 之外引入物体级 6-DoF 运动条件，把相机物理与场景动力学统一进同一动作空间。其四，评测体系：Puffin-Cam-Bench 与 Puffin-Traj-Bench 均为自建，社区需要带真值绝对姿态、多机构认可的统一基准；论文释放的 44.5M 相机标注也可用于研究视觉语料中的视角偏差（作者已发现 roll 强集中于 0°、pitch 普遍向下的系统性偏置）。其五，效率方向：推理采用 50 步采样，蒸馏到少步采样与流式生成是走向 VR/实时交互的关键，也值得研究更小变体的能力边界。
复现评估
复现条件在同类工作中属于非常友好的级别：论文完全开源代码、模型与数据集（项目页 kangliao929.github.io/projects/puffin-world/2026），包括 Puffin-Cam-15M、Puffin-Traj-1M、面向 28 个公开数据集约 44.5M 张图像的绝对相机标注、专用于物理标注的 Puffin-World-Caption 模型（C-RADIOv3-H + Qwen3.5-0.8B），以及 Base/Pro 两个变体和详尽的四阶段训练配方（Table 1/8 给出学习率、批量、可训练模块与数据配比，附录还公开了 caption 提示词模板）。训练侧门槛不低：需先用 Qwen3-VL-8B/32B 生成千万级 caption，再跑四阶段训练（Stage I/II batch 512，Stage III/IV 分别 256/128，多数据源混合采样），估计需要多机多卡数周量级；好在各模块均可复用预训练权重（C-RADIOv3-H、Qwen2.5-7B、SD3.5-Medium 2.5B，Pro 版用 SD3.5-Large 8.1B）。推理与下游微调则轻量得多：单图感知为贪心解码，生成为 50 步采样、CFG 4.5（单视角）/2.0（3D 建模），消费级多卡环境即可跑通单视角任务。总体而言：复现推理与微调难度中等，从零完整复训难度高，但数据与超参的透明度显著优于同类闭源世界模型。
论文图表
总览图：对比语言模型、图像生成模型与生成式世界模型的能力矩阵（理解 U / 生成 G / 重建 R），展示 Puffin-World 如何在同一框架内统一相机物理理解、自由视角空间仿真与 3D 世界生成重建，并标注物理、几何、外观三种原生世界状态。
一图看清论文的定位与野心：与只做 U/G/R 之一的现有模型不同，Puffin-World 要同时覆盖全部三种能力，这是理解全文动机的入口。
能力展示图：相机到世界理解（在 TartanAir、MegaDepth、LaMAR、Stanford2D3D 上与 GeoCalib、UVP 对比）、自由视角空间仿真、以及带外观-几何-物理三态的 3D 世界建模与重建示例，红框标出模型输入。
直观呈现模型五大任务形态与各自输入输出，帮助读者在进入技术细节前建立对系统边界的完整认知。
附录图：RealEstate10K、MVS-Synth、Hypersim、TartanAir、ScanNet、DL3DV 等现有 3D/序列数据集的 roll、pitch 与 FoV 统计分布，显示 roll 多集中在 ±5°、pitch 多集中在 ±10° 以内。
用数据直方图坐实了动机中'现有数据集旋转多样性严重不足'的论断，是构建 Puffin-Traj-1M 的直接依据。
附录图：物理传播消融的定性对比，展示带 PP 与不带 PP 时生成结果的地平线倾斜情况及误差 up-vector 可视化；不带 PP 时出现地平线漂移与虚假倾斜。
把 Table 6 的消融数字转成可见的地平线变化，直观证明物理传播对维持重力一致性的作用。
附录图：在 ScanNet、MVS-Synth、MegaDepth、DL3DV、Hypersim、LaMAR、TartanAir、RealEstate10K 等数据集上，由模型预测的绝对相机参数渲染出的物理世界状态（重力场与纬度图）可视化。
展示相机感知分支在不同域数据上的泛化能力，也演示了绝对参数如何转译为可解释的物理状态图。
附录图：更多自由视角空间仿真结果，覆盖室内外多样场景与宽范围相机位形，生成视角忠实遵循指定的朝向与视场角。
补充主文 Figure 5 的定量对比，展示方法在更大场景与位形范围内的泛化与稳定性。
附录图：roll、pitch、yaw 三类旋转控制下的 3D 世界生成结果，分别展示单遍路径（带物理世界状态可视化）与递归路径的输出。
演示单遍与递归两种轨迹策略的行为差异，帮助理解长时序探索机制的实际效果。
附录图：长轨迹、复合运动（平移+旋转组合）与文本驱动生成等多种条件下的 3D 世界生成示例，每组附场景描述与初始绝对相机参数。
展示模型在最具挑战性的复合相机动作下仍能保持语义与空间结构一致，是论文核心卖点（挑战性运动）的直观证据。
附录图：更多 3D 世界建模结果，每组同时展示生成的三种原生世界状态（外观图像、几何深度、物理重力场与纬度图）及对应 3D 重建。
直观呈现三态之间的相互一致性——这是'联合生成原生世界状态'这一主张最有说服力的可视化。