世界中的世界：用世界模型探索视频世界 World in World: Explore the World with World Models

第一步，源视频预处理：估计逐帧深度 $D^{src}$（DepthCrafter）和带持久身份的点轨迹。第二步，目标视图场景证据：按式 (2) 将源像素反投影到 3D 再从源相机重投影到目标相机 $C_m$，得到目标视图 RGB、可见性掩码 $M^{proj}$ 和深度 $Z^{proj}$，由可见性与几何可靠性换算 token 级支持权重 $\omega^{proj}$。第三步，渲染几何证据：人体主体用 $G_m=(A,\Theta_m)$，$A$ 为 LHM++ 重建的头像、$\Theta_m$ 为逐帧 SMPL-X 参数，$\mathrm{Render}(G_m, C_m)$ 输出新暴露表面的形状外观提案，并经深度对应把头像对齐到场景坐标系，剔除主体边界附近不可靠的背景投影。第四步，历史检索：归档被淘汰定稿状态的每层干净 K/V 及位姿、时间索引，按目标视图覆盖率与视线方向相容性选多样的 top-$K_{ret}$ 子集。第五步，编码与读写：证据在 $t=0$ 前向一次提取干净 K/V，RoPE 设置时间坐标，$\omega$ 缩放未归一化注意力，$\gamma_b(s)$ 控制激活的去噪阶段。第六步，CGAR 路由（式 (4)）与 EWA 调节（式 (5)）作用于同一次去噪前向，定稿输出进入滚动缓存并归档。

技术新颖性体现在四个层面。第一，表示层：把异构控制统一为“相机+时间+空间支持标注的干净视觉状态”，复用骨干的 Q/K/V 投影并保留原生文本、相机条件通路，这是与 ReCamMaster、Wonder 等专用条件分支的本质区别。第二，机制层：CGAR 把持久点身份的对应关系写成注意力 logits 的加性项 $\log\beta_{ij}$，在注意力内部做几何硬定位，而非依赖易歧义的外观相似度；EWA 把 CFG 思想下放到注意力响应级别，只放大去掉原生方向投影后的互补分量、用 $\cos(o_e,o_0)$ 门控、用原生响应范数限幅，避免过度引导破坏生成质量。第三，效率层：EWA 复用同一次去噪前向的注意力输出与归一化结果，引导零额外 NFE；干净 K/V 也只需一次 $t=0$ 前向。第四，系统层：同一接口原生支持跨实例 K/V 共享——把一个生成实例的缓存 K/V 作为另一实例的视觉证据，实现两个生成体之间的“通信”，这是传统专用条件框架无法做到的。

独立分析几个弱点。第一，流水线重、级联误差：深度估计错误会直接产生错误的重投影布局，而 $\omega$ 掩码只能按可见性与几何可靠性降权，无法纠正系统性深度漂移；改进方向是引入不确定性感知的多假设投影证据，让模型在注意力中对冲突证据自动投票。第二，CGAR 依赖跟踪质量：快速运动、遮挡和出画会导致点轨迹断裂，此时回退到纯外观注意力，恰是论文声称要解决的歧义场景；可结合自监督对应或光流做兜底。第三，EWA 的逐证据强度 $g_e$ 缺乏理论分析，“先投影去除再放大”在 $o_e$ 与 $o_0$ 高度相关时可能放大噪声，建议做逐层、逐步的强度调度搜索。第四，人体中心化：非人物体（车辆、动物）没有 LHM++ 级别的可渲染先验，补全能力退回纯生成先验，视角大幅变化时一致性无保障。第五，评估范围窄：只有帧数对齐后的重渲染指标，缺少数百帧级长时程回访一致性的定量协议，而长时程一致性恰是历史检索机制的核心卖点。

作者方向上展示了 K/V 共享实现两个生成实例间的“跨模型通信”，这天然延伸为多智能体世界模型协作：多个实例分管不同区域或事件，通过交换缓存证据维持全局一致。基于本文成果还可延伸：其一，把手工构造的证据（深度投影、渲染几何）替换为轻量可学习证据生成器，或对 $\gamma_b(s)$ 的激活调度做可微搜索；其二，扩展证据类型到文本、音频、物理约束，检验“干净视觉状态”接口的通用性上限；其三，在分钟级长 rollout 上研究历史库的分层检索与压缩，控制显存增长；其四，把训练无关接口蒸馏进模型（类似 Wonder 的因果学生思路），在保留零训练灵活性的同时降低推理开销；其五，动作迁移目前限于人体，可推广到物体交互与世界状态的因果编辑；其六，对 EWA 建立与经典 CFG 类似的理论刻画，给出强度 $g_e$ 的选取准则。

复现基础较好：骨干使用公开的 LingBot-World 2.0 causal-fast 检查点，依赖的 DepthCrafter、LHM++、SMPL-X、Depth Anything 3、ViPE、VBench 以及 DAVIS、OpenVid-1M 数据集均为公开资源，方法全程免训练，只需推理期工程。项目页为 https://chenxi-song.github.io/worldinworld，但论文正文未明确承诺开源代码，这是最大的不确定点。算力上，单张高端 GPU 应可运行：骨干冻结，主要开销来自每块证据的 $t=0$ 前向（干净 K/V 提取）、历史库显存占用和点跟踪等前置模块。难度评估为中高：接口本身清晰（辅助注意力块+logits 加项+响应级修正），但 18 槽位划分、$g_e$、$\beta_{ij}$、$K_{ret}$ 等超参以及 $\omega$ 与 $\gamma$ 的具体调度论文未给全，严格复现指标需要作者放码或补充实现细节；消融表明最关键的组件是目标视图扭曲，优先复现它即可拿到大部分收益。