World Observer：行动者-观察者联合生成实现持久世界建模 World Observer: Joint Actor-Observer Generation for Persistent World Modeling

完整流程分六步。第一步数据构建：从真实全景语料（三个公开 360° 视频源共 23K 段视频）筛选稳定运动的高分辨率片段，按 360Anything 流程用 COLMAP 消除帧间旋转、GeoCalib 对齐重力，规范化为直立不旋转的 ERP 序列；把 ERP 切成二十面体顶点上的 110° FOV 透视视图批量送入 Depth Anything 3 联合估计度量深度再融合回球面；然后在同一全景上随机渲染六种透视 actor 轨迹（静止、连续左右旋转、先转再反转等），得到 138K 个时间同步的 actor-observer 训练片段。CARLA 合成数据（12K 段视频、72K 片段）用六相机 cubemap 在同一仿真 tick 内锁步拼接成 ERP+深度，actor 沿人行道路径点以 1.3–3.5 m/s 行走，另设两个位于起终点附近、与 actor 空间解耦的静态观察者，三者共享同一仿真时钟，从而提供真实数据给不了的解耦与多观察者配置。训练时真实:合成按 60:40 交错采样。第二步条件构造：按式 (3) 对每条流逐帧 warp 初始全景，warp 视频经 3D VAE 编码后与噪声潜变量、有效掩码通道级拼接，另加各流自己的 Plücker raymap。第三步 Observer Sink：从高分辨率初始全景裁四张透视参考，编码后按固定 RoPE 偏移拼入序列。第四步联合训练：全部流拼成单序列进共享 DiT，AdamW、学习率 $4.8\times10^{-5}$，8 张 H100 上单观察者模型训 12K 步（batch 16），历史条件以 50% 概率注入 0.1 尺度噪声；文本 20% 概率换成空串、Sink 20% 概率置零，以支持 CFG 与条件缺失退化。第五步多观察者：从单观察者检查点 warm-start，合成数据上 $N=2$ 再训 6K 步（总 batch 8）；每个观察者流加索引嵌入，actor 的 warp 源与 Sink 均取位置最近的初始全景，并随 actor 移动在观察者之间切换。第六步推理：按块自回归 rollout，两条流用相同引导尺度。

技术新颖性可以从四个对比看清。与全景世界模型（OmniRoam、PanoWorld）相比：它们把全景作为最终输出，受透视预训练先验不适配、固定 token 预算摊薄各方向有效分辨率的困扰；本文把全景降级为内部观察者——它只需维护状态不必承担展示保真度，低分辨率即可，透视 actor 仍是高保真主输出，从表述上绕开了全景生成的分辨率与先验难题。与视野外专门方法（HyDRA、ReMind 用动态记忆和生成先验，LiveWorld、WorldDirector 用仿真或运动规划显式推进隐状态）相比：它们要么可能漂移到合理但错误的不可见状态，要么受限于过去观测的证据，要么需要结构化的实体级建模；本文用持续生成的观察者流提供直接视觉证据，是表述层面的不同而非模块修补。与检索式长程生成相比：检索只能召回特定过去时刻的观测，模型仍不知道那次观测与当下之间状态如何推进；联合生成的观察者把演化过程本身携带下来，消融显示去掉联合生成后 OOV-Dself 明显下降、自一致性被破坏，正说明这种携带能力是检索给不了的。与既有 OOV 评测相比：VLM 裁判无法从帧判断三维运动，本文的 SAM3+DA3 世界空间位移指标是评测方法论上的独立贡献。工程上则体现了克制：view embedding 的设计（第 $n$ 个观察者加 $n e_{obs}$）使单观察者检查点可无缝 warm-start 多观察者训练，零初始化嵌入保证干净 warm-start，Sink token 固定不参与去噪——都是简单但新颖且有效的决策。

第一，全景条件依赖是最实际的落地障碍：要求输入端就有一段 360° 视频，消费级机器人或游戏引擎通常只有透视相机。改进方向是作者提到的 outpainting 路线，更进一步可以训练一个从单目首帧直接想象初始全景的模块，或者改用多个朝向的透视观察者替代全景观察者。第二，观察者预算静态且位置需人工指定：$N=2$ 时联合序列的 token 量已经不小，放哪里、放几个目前靠先验。改进方向是学习一个基于事件显著性的观察者调度器，动态决定观察位置与数量，或用分层/稀疏全景表示降低每个观察者的 token 成本。第三，评测协议对多块 AR 场景覆盖不足：现有协议刻意在单块内隔离评估，但真实应用（导航、规划）恰恰是分钟级长时程，观察者流的漂移累积、块间检索与本文机制的交互都未量化。改进方向是构建带 ground-truth 长时程的基准，并报告按块索引分段的 OOV 指标衰减曲线。第四，OOV 指标对感知管线的依赖：SAM3+DA3 在域外或困难场景的失败会直接污染指标，改进方向是对分割/深度做不确定性加权，或用合成数据中可直接读取的实体真值做交叉验证。第五，真实-合成域差距：解耦与多观察能力只在合成域训练和验证，改进方向是在真实世界用多机位同步捕获（如运动捕捉棚或环形相机阵列）补充少量真实解耦数据，或先用真实共址数据预训练解耦机制再做合成微调。

作者明确提出的方向有两个：用透视观测外推生成初始全景，把框架推广到只有普通相机的设定；同理在多个位置用透视观测构造多全景条件，扩展多观察者配置。基于本文成果可以自然延伸的方向：把观察者当作可查询的世界状态接口接入具身智能体——规划器可以在行动前向观察者流查询某个区域当前状态，实现真正基于世界持久性的决策；观察者提示驱动画外事件的能力天然适合交互式叙事和开放世界游戏，相当于给导演一个看不见舞台的提示通道；与 3D 表示（3D Gaussian Splatting、神经场）结合，把观察者的演化沉淀为可显式查询和编辑的世界状态，进一步区分生成式记忆与结构化记忆的分工；观察者数量与位置的自适应学习（哪些区域值得看应该由模型从交互中学）；效率方向是蒸馏或因果化 2B DiT 的分块推理以逼近实时；评测方向是把世界空间 OOV 指标推广成世界模型的通用评测组件——任何宣称持久性的世界模型都可以在 OOV-F/OOV-Dgt/OOV-Dself 上被检验，而不是靠 VLM 裁判的印象分。

总体复现难度中等偏易，前提是作者开源代码。有利因素：基座 Cosmos-Predict2.5（2B）公开权重，SAM3、Depth Anything 3、VBench、CARLA、COLMAP、GeoCalib 全部公开，真实全景数据来自三个公开语料；训练规模对学术实验室友好——8 张 H100、单观察者 12K 步 batch 16、多观察者仅再加 6K 步 batch 8，远小于从零训练世界模型的开销；论文细节罕见地充分，包括分辨率（$R_a=1280\times704$、$R_o=640\times320$）、latents 数（$T=77\to L=20$、$H=2$）、Sink 的 RoPE 偏移 $\Delta_{os}=50$ 与步长 $\delta_{os}=5$、学习率 $4.8\times10^{-5}$、dropout 概率（文本 20%、Sink 20%、历史噪声 50%/0.1 尺度）、数据配比（真实 60%/合成 40%）、六种训练轨迹的构造规则、用 Qwen3.6-27B 做四视角全景 captioning 的流程，以及基准构建的完整协议。不利因素：截至论文版本，作者只提供项目页（cvlab-kaist.github.io/world-observer）展示视频，正文与附录均未明确承诺开源代码或基准；基准构建含人工环节（人工筛选每场景 1–3 个明确离场-重入的物体、丢弃歧义样本），独立复现基准需要可观的人工成本；caption 模型与全景语料的可得性会影响训练数据重建。若代码不开源，自行实现 warp 管线、Observer Sink、多流序列拼接与 RoPE 对齐的工程量不小，但没有不可逾越的黑科技。