面向视频世界模型的持久平面记忆 Persistent Planar Memory for Video World Models
用约10万个平面基元做持久3D记忆，让视频世界模型长时程生成不崩
前置知识
视频世界模型
指能根据单张输入图像和给定相机轨迹持续生成可探索环境视频的生成模型，通常以自回归方式分块产出画面，被视为通往可交互虚拟世界的基础。纯视频路线（如 Genie 3、LingBot-world）依赖海量数据与隐式注意力维持一致性，不暴露任何显式三维状态。
本文的问题设定就是视频世界模型如何在长时程生成中记住自己已生成的世界，理解这一背景才能明白引入持久 3D 记忆的必要性。
视频扩散 Transformer 与流匹配
Wan 2.2 等视频生成骨干采用 DiT 结构，把视频压缩到 latent token 后用 Transformer 迭代去噪；流匹配（flow-matching）是其训练目标，学习从噪声到数据分布的速度场。本文在 5B 参数的 Wan-2.2 DiT 上做相机条件生成，每 chunk 约 25 帧。
PPMem 新增的平面预测头与 DTF 模块都挂在 DiT 特征上，几何与视频共享同一骨干，必须先了解骨干的 token 化与去噪流程。
平面基元
一种参数化三维表面：每个平面由 7 个数描述——沿相机光线的中心深度 $z$（结合内参得 3D 中心）、矩形两个边长 $s_x, s_y$、旋转四元数 $q$（其旋转矩阵第三列即表面法向量 $n$）。墙面、地板、楼面等人造环境主体都可用少量平面逼近。
平面基元是全文的记忆单元，7 参数的紧凑设计与跨 chunk 可合并性，是持久平面池能做到约 10 万基元、约 5 MB 的根本原因。
可微矩形高斯光栅化
Plana3R 提出的前向渲染方法：把带矩形形状约束的高斯基元投影到图像平面做 alpha 合成，渲染出深度图与法向量图，全程可微，因此平面参数可以从渲染损失端到端反向传播训练。
论文既用它把平面池渲染成下一 chunk 的条件深度图，也用它对预测平面施加光栅化监督，是连接几何表示与训练信号的关键组件。
自回归分块生成与误差累积
长视频不是一次生成，而是切成约 25 帧的 chunk 依次生成：每个 chunk 以源视图投影、上下文帧和上一阶段渲染的条件为输入。误差会跨 chunk 复利式累积，因此跨 chunk 记忆的质量直接决定几百帧后画面是否崩坏。
持久平面记忆正是在 chunk 之间传递几何信息、抑制漂移的机制，理解 chunk 化流程才能看懂记忆读（渲染条件）与写（合并平面）的时机。
LoRA 低秩适配器
在冻结的预训练权重旁挂上低秩矩阵只训练新增参数，以极小算力让模型获得新能力。本文在全部 30 个 DiT 块的自注意力上注入几何 LoRA，推理时可随时开关。
几何通道完全由 LoRA 承载，推理时视频用关闭 LoRA 的冻结骨干生成、几何只需额外一次开启 LoRA 的前向，视频与几何解耦正依赖这种可插拔性。
深度与感知质量指标
AbsRel 是相对深度误差 $\overline{|d-d^*|/d^*}$，越低越好；$\delta_{<1.25}$ 表示预测深度与真值之比落在 1.25 倍以内的像素占比，越高越好；Normal° 是法向量平均角度误差。视频侧常用 PSNR、LPIPS 及 CLIP/DINOv2 特征相似度衡量感知保真。
实验部分（Table 2–5、Figure 5）全部围绕这些指标展开，掌握其含义才能判断几何质量与视频质量差距的量级。
研究动机
视频世界模型要在大尺度环境中持续生成并探索，就必须记住自己已经生成过的世界，而现有方法的 3D 状态各有硬伤。纯视频模型（Genie 3、LingBot-world）靠隐式注意力撑画面，完全不暴露显式 3D 状态，无法做下游条件化、编辑或导出。3D 接地的模型虽然引入几何记忆，但：Gen3C 只维护 2 帧点云缓冲，每步把中间几何全部覆盖；VMem 用 CUT3R 增量重建定向 surfel，数量随帧数无限增长（约 400 帧累积约 25 万个）；SPMem 的 TSDF 体素每步要重新估计深度并整合所有历史帧，开销随序列长度线性上涨；Voyager 联合生成 RGB 与深度，但深度是逐帧归一化的相对视差，重投影点云存在尺度漂移。按每像素累积估算，400 帧 576×1024 序列的点云理论上多达约 2.1 亿个点。作者据此指出：没有任何已有表示能同时满足持久 3D 状态的四个要求——紧凑性、几何显式性、跨视角一致性、自适应性。
本文的目标是本文目标是为视频世界模型找到一种合格的持久 3D 记忆表示：比逐像素点云紧凑约三个数量级（约 10 万基元、约 5 MB 覆盖整个场景）、几何上显式（米制深度、法向量、可导出表面）、跨视角一致（由生成骨干联合预测而非逐帧外拼）、并随生成推进被合并修正。具体实现上，作者在 5B 的 Wan-2.2 视频扩散 Transformer 上加入平面预测头与 Depth Token Fusion 模块，让每个自回归 chunk 同时产出 RGB 视频与平面几何，平面累积成全局平面池后渲染为深度条件反馈给后续 chunk。量化目标是：在 DL3DV 与 RealEstate10K 的短程（49/121 帧）与长程（300–400 帧）评测中超越 Gen3C、Voyager、VMem、SPMem，同时联合输出米制深度、法向量与可导出平面几何，在大幅视角变化下维持数百帧的连贯生成。
与已有工作不同的是，本文的独特切入是把平面基元从纯重建工具改造成生成模型的持久记忆。此前的平面方法（PlaneNet、PlaneRCNN、PlaneTR、AlphaTablets、PlanarSplatting、Plana3R）全部只在已观测图像上提取几何，属于重建范畴；PPMem 第一次让平面由生成骨干在每个 chunk 中与视频共享同一 DiT 特征联合预测出来，再把平面池渲染的深度喂回生成过程，形成生成→平面→条件→生成的双向闭环，这在平面重建与视频世界模型两条文献线里都没有先例。与 Voyager 的联合深度相比，平面天然携带表面结构——7 个参数显式描述一个有朝向的矩形，跨 chunk 合并可以靠遮挡投票、共面性、距离等纯几何规则完成，无需梯度优化，基元数也比逐像素点云少约三个数量级。
核心方法
直觉上，这是让模型边走边把看到的墙面、地板记成一张张带朝向的矩形纸片，钉进一块全局记忆板；生成新视角前，先把记忆板上的纸片渲染成带空洞的深度草图，照着草图补全画面并更新纸片。技术上，PPMem 建立在 Wan 2.2 TI2V 5B 视频扩散 Transformer 上：每 chunk（约 25 帧）的噪声 latent 通道级拼接源视图投影 RGB/掩码与平面池渲染的部分深度，上下文帧在时间维前置；相机完全通过投影视图编码而不显式输入参数，从而与内参和轨迹尺度解耦。DiT 输出两条 token 流：一路经 Wan VAE 解码成 RGB 视频；另一路经几何 LoRA 适配后，由基于 ViT-Base（约 87M 参数，仅占骨干 1.7%，DINOv2 初始化）的 DTF 模块与深度 token 融合，再由平面预测头解出每帧平面基元。新平面转入世界坐标合并进持久平面池（约 400 帧后约 10 万个、5 MB），下一 chunk 前在目标位姿下把池渲染成部分深度图，经 VAE 通道拼接与 token 级融合两条路径注入条件。
核心创新有三点。其一，把平面基元当作世界模型的记忆单元：7 个参数（中心深度 $z$、矩形边长 $s_x,s_y$、旋转四元数 $q$）显式编码表面位置与朝向，比逐像素表示紧凑三个数量级，且天然贴合墙面、地板、立面等人造环境主体结构。其二，几何由骨干内部联合预测而非外部估计器事后拼接：同一 DiT 特征同时驱动视频与平面，跨视角一致性由构造保证；推理时视频用关闭 LoRA 的冻结骨干生成，几何只需一次开启 LoRA 的前向提取，二者完全解耦、互不拖累。其三，跨 chunk 的记忆维护不靠梯度优化，而是三条纯几何规则：遮挡删除（多相机投票删掉漂浮在新表面前的旧平面）、双向质量去重（距离 $\epsilon$ 内按质量分 $s=r/|\cos\theta|$ 留优，$r$ 为到创建相机的距离、$\theta$ 为视线与法向夹角，chunk 内通常削减约 80%）、前瞻修剪（下一 chunk 相机更近时，$r_{\text{next}}/r_{\text{created}}<\tau$ 的平面被预删除）。
方法步骤详情
训练两阶段。Stage 1 微调 Wan 2.2 骨干做相机控制视频生成，流匹配损失训练约 7000 步；Stage 2 冻结骨干，挂上平面预测头、DTF 与特征解码器，仅用几何损失 $\mathcal{L}=\lambda_d\mathcal{L}_{depth}+\lambda_n\mathcal{L}_{normal}+\lambda_{rd}\mathcal{L}_{rend}$ 训练约 5000 步，深度监督用 MoGe-2 加 VGGT 尺度对齐。推理逐 chunk：(1) 按目标位姿投影源视图并光栅化平面池得部分深度图；(2) 深度 log 归一化后通道拼接进噪声 latent，同时经 ViT-Base 编码，按三层掩码（零覆盖全丢、混合 patch 丢 75%、其余丢到掩码率 0.6–0.9）与 DiT 特征融合；(3) 冻结骨干去噪出 RGB；特征解码器后三个 MLP 回归 log 深度（$[0.2,277]$ 米）、边长与四元数，渲染出深度与法向；(4) 新平面转世界坐标，经遮挡删除、质量去重与前瞻修剪后并入平面池；(5) 生成下一 chunk。
技术新颖性
技术新颖性体现在与四类近邻的对照。与 Gen3C/VMem/SPMem 相比，PPMem 的 3D 来源是内部的——几何头挂在生成骨干上联合预测，而它们依赖外部估计器逐帧后处理（MoGe-2、CUT3R、DA3），跨视角一致性无法由构造保证，基元数分别是约 2.1 亿点（理论累积）、约 25 万 surfel、约 1–2M 体素，而平面池仅约 10 万且带结构化表面。与 Voyager 相比，深度不再是逐帧归一化的相对视差而是米制平面，尺度显式可导出。与 Plana3R 等平面重建工作相比，平面预测第一次嵌入生成式自回归循环，服务于记住房间而非重建已见图像。工程上两个细节也见巧思：特征解码器用 Wan VAE 解码器的上采样块初始化，把视频 VAE 的空间先验迁移给几何预测（消融显示 $\delta_{<1.25}$ 提升 11.1 个百分点）；DTF 针对有洞、部分覆盖、尺度不完美的真实推理条件设计三层掩码与 token 级融合，解释了它在干净基准上与通道拼接打平、却在尺度保真探针上明显胜出的现象。
实验结果
短程（Table 2）：DL3DV 上 N=49 时 PPMem PSNR 16.99/LPIPS 0.335，全面领先；N=121 时 13.98/0.464/0.769 仍第一。RealEstate10K 上 N=49 PSNR 22.46、N=121 19.34 亦最优，且 5B 骨干胜 7B/13B 基线。长程与深度：Figure 3 中 CLIP/DINOv2 相似度全程最高，第 300 帧 DINOv2 领先约 0.27；Figure 5a 中 121 帧深度持续优于 Voyager。表示消融（Table 3）：联合平面池 $\delta_{<1.25}$ 达 70.3%，高于无记忆 64.0/点云 55.0/Plana3R 57.0。条件消融（Table 4）：无深度条件则深度崩溃（AbsRel 0.436、$\delta$ 30.7%）；DTF 胜在尺度保真（响应比 1.00±0.01，加尺度增广后 RMSE 0.131/0.293）。Table 5：VAE 初始化解码器使 $\delta$ 从 59.2 提至 70.3；去光栅化损失降 3.9pp；去法向损失深度塌零。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DL3DV 短程视频生成 (N=49) | PSNR / LPIPS | 16.99 / 0.335 | Gen3C：15.74 / 0.474（次优） | PSNR +1.25 dB，LPIPS 降低约 29% |
| DL3DV 短程视频生成 (N=121) | PSNR / DINOv2sim | 13.98 / 0.769 | Gen3C：13.59 / 0.585 | PSNR +0.39 dB，DINOv2sim +0.184 |
| RealEstate10K 短程生成 (N=49) | PSNR / LPIPS | 22.46 / 0.168 | Gen3C：21.93 / 0.238 | PSNR +0.53 dB，LPIPS 降低约 29% |
| DL3DV 长程生成（约350帧） | DINOv2 相似度 @300帧 | 全场最高，领先次优约 +0.27 | Gen3C/SPMem 稳定退化，VMem 早期崩溃 | 感知保真差距随帧数扩大 |
| 3D 记忆表示消融（DL3DV 室内，3 chunks） | 深度 δ<1.25 (%) / AbsRel | 70.3 / 0.210（联合平面池） | 无记忆 64.0/0.272；MoGe-2 点云 55.0/0.339；事后 Plana3R 57.0/0.311 | δ 提升 6.3–15.3 个百分点 |
| 深度条件机制消融（尺度保真探针） | 对数 RMSE（含尺度增广） | 0.131（DTF + 尺度增广） | 通道拼接 + 尺度增广 0.293 | 误差约减半，输入尺度被忠实传导 |
| 特征解码器消融 | 深度 δ<1.25 (%) | 70.3（VAE 初始化解码器） | 59.2（Plana3R 上采样头） | +11.1 个百分点 |
局限与改进
作者承认的局限：PPMem 依赖平面先验，最适合墙面、地板、立面等结构化场景；对密集植被、水面等高度有机的环境，表示捕捉的细节不如点基方法（Appendix B.3 给出了按场景平面度的性能分解）；训练时未见的极端相机轨迹会降低质量；两阶段设计冻结视频骨干、仅用轻量适配器学几何，保住了生成质量却放弃了视频与几何目标的端到端共同适应。我的补充观察：几何监督来自 MoGe-2 伪真值并依赖 VGGT 尺度对齐，米制尺度继承单目估计器的系统误差；相机轨迹是外部给定的控制信号，模型不自主决定去哪探索，世界模型的智能体属性未被触及；消融只在 288×512 分辨率、5K 室内片段上做，DTF 相对通道拼接的收益仅在含洞、尺度不完美的真实条件下显现，576×1024 主实验规模上的最优条件机制仍有讨论空间；平面池合并阈值 $\epsilon$、$\tau$ 为人工设定，论文未报告跨场景敏感性分析。
独立分析的弱点
第一，平面先验在非结构化场景失效：密集植被、水面、人群等区域会被强行拟合成大平面或在去重中被删除，形成记忆空洞，改进方向是混合表示——结构区用平面、有机区局部保留 3D 高斯或点云，按平面拟合残差动态分配。第二，记忆维护是启发式规则：遮挡投票、$\epsilon$ 去重、$\tau$ 前瞻修剪都依赖手工阈值，遇到玻璃、镜面等非朗伯表面时深度估计本身不可靠，错误平面可能骗过投票存活，可把估计不确定性并入质量分 $s$ 或学习合并策略。第三，视频与几何仅松耦合：Stage 2 冻结骨干意味着几何无法反哺视频表征，消融显示视频收益只是更好的池带来更好投影条件的级联效应，联合微调或几何感知扩散损失值得尝试。第四，生成完全被动依赖给定轨迹：真正的世界模型应基于记忆规划下一步看哪，可把平面池的未知区域边界接入轨迹规划。第五，推理开销：逐帧 1:1 VAE 加每 chunk 两次前向（视频与几何），长序列下池渲染与合并的计算成本论文未给出复杂度分析。每个弱点都有明确的改进抓手，属于工程与建模层面的可解决问题。
未来方向
作者明确提出的方向：扩展到动态平面基元以处理门、电梯、运动物体等时变结构；把平面记忆推广到开放世界尺度的场景；端到端联合优化视频与几何目标，替代当前冻结骨干的两阶段设计。基于成果可自然延伸的工作：一是把可导出的平面几何用作编辑接口，用户直接拖动墙面、地板的 7 参数即可改变生成世界，形成可编程的世界模型；二是利用平面池做回环一致性，当相机重访已见区域时用池中平面强制外观与几何对齐，检验长期记忆检索能力；三是把平面池覆盖边界与生成模型结合做主动探索，让模型自主决定相机轨迹，迈向具身智能体；四是把 DTF 对不完美条件的鲁棒性思路推广到法向、语义、LiDAR 等其他模态条件；五是把尺度增广 $s\sim\log U[0.25,4]$ 纳入默认训练配方，并验证在手机 ARKit 等真实未对齐深度源上的部署效果。
复现评估
复现条件总体友好。所有组件均公开可得：骨干为 Wan 2.2 TI2V 5B，平面头参考 Plana3R，DTF 用 DINOv2-Base 初始化，监督深度用 MoGe-2 加 VGGT 尺度对齐，训练数据 DL3DV 与 RealEstate10K 合计 8 万+ 片段全部公开；项目页 hyzcluster.github.io/ppmem 已存在，但正文未明说代码开源。训练量不大：Stage 1 约 7000 步、Stage 2 约 5000 步，学习率 $1\times10^{-5}$，几何通道仅 LoRA 加约 87M 小 ViT，5B 骨干加 LoRA 微调在多卡 A100/H100 上可行；消融用约 5K 室内片段、288×512 即可复现趋势。难点在工程细节：平面池合并超参（$\epsilon$、$\tau$、掩码率 0.6–0.9、$\rho_{mix}=0.75$）缺敏感性分析；长程评测需跑通四个基线官方代码并按协议对齐分辨率裁剪。总体属组件齐全、细节需啃的中等偏高复现难度。
论文图表
