Matrix-Game 3.5：基于补丁记忆的实时流式交互世界模型 Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory

完整流程如下。(1) 数据标注：VGGT-Omega 分块推理得到尺度不定的位姿与深度，用 Depth Anything 3 度量分支为每块锚定度量尺度，相邻块经 Sim(3) 对齐拼接并施加单一全局尺度，输出相机到世界位姿 $T_{cw}$、内参与度量深度；Gemma-4-26B-A4B 生成窗口级提示（显式压制'无运动'类退化描述）；YOLO 分割跟踪产生物体轨迹并按跟踪质量/时长/显著度/居中程度/掩码质量自动识别第三人称可控角色，DINO 特征用于采样互异多视角参考图；最后按重建质量、相机行为、视觉质量、场景适配四轴硬门槛做数据策展。(2) 基座训练：每个目标 latent 帧按贪心覆盖式选择 $f_k = \arg\max_{f\in H\setminus S}\ |C(f)\setminus\bigcup_{s\in S} C(s)|$ 选至多 5 帧历史，patch 经反投影-重投影后按目标视角 z-buffer 融合进记忆画布，无效投影丢弃；有效 patch 以目标帧 RoPE 时间 + 亚网格浮点坐标入列（不可用时回退最近整数格点）；YOLO 加几何一致性分数 $s_{ij}=\min(s_{i\to j}, s_{j\to i})$（基于掩码点深度反投影到邻帧的对称方向重叠率）把动态物体从静态记忆中剔除；4 张参考图各占约 1/4 帧预算组成 token 前缀，置于固定间隔的负时间轴 $t_r = -r\Delta_{ref}$ 并继承锚帧相机位姿；训练与推理中主体区域都被真实背景 patch 替换以防外观泄漏，并施加主体区域辅助损失 $\mathcal{L} = \mathcal{L}_{full} + \lambda_{sub}\, \frac{\sum_p M_{sub}(p)\,\|v_\theta(p)-v(p)\|_2^2}{\sum_p M_{sub}(p)+\epsilon}$。优化用 AdamW 恒定学习率 $5\times10^{-5}$、权重衰减 0.01、梯度裁剪 0.5、BF16 + DeepSpeed ZeRO-2，patch memory 在 80% 迭代启用。(3) 两阶段蒸馏：先做教师强制的因果适配（PFM），因果窗口含 1 个干净锚帧 + 7 个各 3 latent 帧的自回归块，用冻结 VAE 解码完整因果链、以冻结 InternVideo2-1B 的全部特征块在感知空间回归，1 万步、lr $5\times10^{-6}$；再做自回放 DMD，学生每 chunk 生成 3 latent 帧、3 步去噪，生成块在线发布到记忆后再查询下一块，仅共享初始记忆/锚帧/提示/轨迹等稳定条件，课程上先蒸馏 CFG 与相机控制、再逐步引入 patch 与上下文记忆，PREFIX 与 chunk 局部上下文在每个去噪子步被加噪到下一调度级（HiAR 式），CFG 尺度 3，共 1 千外层步，学生/假评分器学习率 $2\times10^{-6}$/$4\times10^{-7}$、更新比 5:1。

技术新颖性体现在四个层面。其一，记忆粒度：在显式几何重建与整帧检索之间确立 patch 级中间粒度（继承 MosaicMem 的思想，但首次将其与位姿感知的自回归流式世界生成深度整合），兼顾几何可靠与生成灵活，天然支持稀疏检索、局部编辑与无全局重建误差累积的记忆更新。其二，几何注入方式：tiled PRoPE 与原生 PRoPE/DreamX 的不相交子空间划分本质不同——相机矩阵被平铺到 RoPE 全部通道上做乘法叠加；附录 B 用同内容探针（两帧内容相同、只差位姿编码）验证 RoPE 时间核几乎不变（直线轨迹下最大变化仅为动态范围的 1.3%），相机项只是按视角相似度重新加权而非覆盖时间结构，这使其成为视频生成中少数不新增可学习参数的相机条件方案。其三，静动解耦判据：不用语义类别而用深度反投影跨帧重叠的对称一致性 $s_{ij}$ 判定静态有效——静止的行人仍可作为空间参照，运动的同类别物体则被剔除，且训练与推理共用同一准则、过滤成本按段摊销（每段一次而非每帧一次）。其四，蒸馏课程：把几何条件记忆本身纳入自回放 DMD 的课程（先 CFG 与相机、后记忆），并只共享稳定外部条件而让学生自持在线记忆、评分器记忆保持冻结，规避了学生与评分器记忆轨迹不匹配这一自回归 DMD 特有的稳定性难题。

独立分析有以下弱点。第一，记忆检索开销与实时预算耦合：尽管检索做了 GPU 迁移与深度候选削减，每个生成窗口仍需对 21 个目标 latent 各做视锥查询与 z-buffer 融合，且贪心覆盖选择（式 2）对历史帧集合 H 的复杂度随存量增长，若 patch 云积累数万帧历史，检索会成为瓶颈；改进方向是空间哈希/体素索引或学习式检索器。第二，几何单点故障：深度估计在天空、镜面、透明表面易失效，管道对这些区域仅做'几何不可靠则丢弃'处理，在大量水面或玻璃的关卡中记忆覆盖率会骤降、退化为纯生成，可引入不确定性加权融合或多假设深度。第三，参考 token 只锚定外观而不维护状态：4 张固定参考图在整个 rollout 中不变，无法表达角色被击倒、换装、受伤等自身演化，也没有为非角色动态物体（其他车辆、NPC）提供任何持久表示，可借鉴对象中心表示引入可更新状态 token。第四，评测协议侧重预设相机轨迹，真正的键盘-鼠标动作空间交互与用户研究缺失，'可玩性'仅由定性视频佐证；建议补充动作条件下的身份/场景一致性量化与人评。第五，训练需要 patch memory 在 80% 迭代启用、20% 关闭的混合策略，暗示纯记忆条件训练可能不稳定，其失败机理（如记忆 token 过拟合或条件依赖坍缩）未被剖析。第六，注释管线含 VGGT-Omega、DA3、YOLO、Gemma-26B 等多套大模型，数据工程链条长，小团队复现成本高。

作者在结论中明确提出四个方向：给动态实体以持久状态，使主体离开视野后仍连贯演化、视角回归时无缝重现；让生成器自身具备几何感知，联合预测其生成内容的深度与相机位姿，使几何接地与生成互相强化而非依赖外部估计器；扩展到更丰富的具身动作空间与物理交互；以及扩展到更大骨干与更长时域。基于本文成果还可自然延伸：把 patch memory 从只读条件升级为可写、可遗忘的层次记忆（按访问频率衰减或对显著事件固化），支撑小时级开放世界；将运动感知过滤与参考 token 推广到多主体、可交互物体（开门、拾取、推动）的世界状态跟踪；利用'生成即标注'（对自生成内容做自举几何标注）降低对 VGGT-Omega/DA3 标注管线的依赖；把附录 C 的相机碰撞避免从后处理几何校正升级为与去噪联合优化的轨迹策略学习；以及探索把补丁记忆与 tiled PRoPE 迁移到具身机器人操作仿真中，检验其对真实场景深度噪声的鲁棒性。

复现条件较好，但训练级复现门槛不低。开源方面：论文提供项目主页、GitHub 代码以及 Base 与 Distilled 两套 checkpoints，骨干为公开的 Wan2.2-TI2V-5B（5B 参数）；推理侧的 INT8 量化、PyTorch 编译、MG-LightVAE（75% 剪枝解码器）与在线记忆检索均有描述，单张 H100 即可 20 FPS 交互。数据侧需自建标注管线：VGGT-Omega（几何）、Depth Anything 3（度量尺度锚定）、YOLO 分割跟踪、Gemma-4-26B-A4B-IT（窗口级提示）、DINO（参考采样）、InternVideo2-1B（感知损失编码器），均为公开模型但拼接工程量大；训练语料（Unreal 模拟、开放世界游戏、互联网视频）未公开，需要近似规模的抓取与四轴硬门槛策展。训练超参披露较细：1280×704、21 目标 latent 帧、AdamW 恒定 lr $5\times10^{-5}$、BF16、DeepSpeed ZeRO-2、梯度检查点；蒸馏两阶段分别 1 万步（lr $5\times10^{-6}$）与 1 千外层步（学生 $2\times10^{-6}$ / 假评分器 $4\times10^{-7}$、5:1 更新比、CFG 尺度 3），但未披露训练总 GPU 时数与卡片数。综合判断：基于开源权重的推理与微调复现难度中等；从零复训难度高（受数据与算力制约）；评测可直接采用公开的 SANA-WM 一分钟基准协议与指标。