空间记忆智能：赋予世界模型理解驱动的长期记忆 Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
用MLLM四大原子操作管理世界模型空间记忆，稀疏化83.68%的同时提升长视频一致性与稳定性
前置知识
视频世界模型（Video World Model）
通过自回归预测未来视觉观测来模拟环境演化的生成模型。它以历史观测、语言指令和相机/动作为条件生成下一片段，新生成的片段又追加进视觉历史，形成可交互、可探索的持续世界模拟，是交互娱乐与具身仿真的基础。
SMI 要解决的全部问题（记忆冗余、空间一致性、误差累积）都源于这类模型长时程自回归生成时上下文不断膨胀的特性，不理解世界模型的工作方式就无法理解记忆管理的动机。
动作条件自回归生成
长视频生成的标准形式化：给定动作序列 $a_{1:K}$，帧序列的联合分布分解为 $p_\theta(x_{1:K}\mid a_{1:K})=\prod_{k=1}^{K}p_\theta(x_k\mid x_{\text{subset}<k},a_k)$，其中 $x_{\text{subset}<k}$ 是从历史记忆中选出的子集。选哪些历史片段进入上下文，正是 SMI 管理的对象。
这个公式说明每步生成只依赖被选中的一部分历史记忆，记忆选择策略直接决定生成质量，是理解 SMI 四个原子操作作用位置的入口。
多模态大语言模型（MLLM）
以 LLM 为骨干、接入视觉编码器的模型，具备图像/视频理解、空间感知、语义推理与指令跟随能力，可通过监督微调（SFT）学会特定判断任务并按 JSON 等结构化格式输出决策。
SMI 的核心是用微调后的 Qwen3.5-4B 充当"记忆管理员"，四个原子操作全部由它执行；论文还用未微调版本做消融，证明操作定向训练的必要性。
记忆稀疏化与检索
稀疏化指从不断增长的记忆库中删除冗余观测以降低存储与上下文开销，稀疏率定义为被删除记忆占总记忆的比例；检索指按当前状态和动作从历史中挑选相关片段拼入生成上下文。二者分别对应"写"与"读"两侧的记忆管理。
SMI 的效率指标（83.68% 稀疏率）和两大核心操作（簇内稀疏化、动作感知检索）直接建立在这对概念上，主表中的 Sparsity 和 Latency 列就是衡量它们的。
视场角重叠与投影覆盖（FoV / Coverage）
利用相机内参外参计算两个视角可见区域的重叠比例：$\mathrm{Cov}(m_{j,q}, S_j-\{m_{j,q}\})$ 表示某记忆被同簇其他记忆相机投影覆盖的平均程度。这是几何类检索（如 WorldPlay 的 FoV 检索、VMem 的 surfel 地图）的常用线索。
SMI 用相机位置做候选短名单、用投影覆盖最大者当簇原型，但刻意让 MLLM 只把 FoV 重叠当提示而非最终判据——这是它区别于纯几何检索的关键设计。
PSNR 与 LPIPS
两种图像质量指标：PSNR（峰值信噪比，dB，越高越好）衡量像素级重建误差；LPIPS（学习感知图像块相似度，越低越好）衡量深度特征空间的感知差异。论文用"往返相机轨迹对应帧之间"的这两个指标来量化重访场景的空间一致性。
重建一致性（回环轨迹 PSNR/LPIPS）是主表中最能反映空间一致性的客观指标，也是消融实验中观察最灵敏的一列。
研究动机
视频世界模型通过自回归方式持续生成环境：每步根据历史观测与当前动作预测下一片段，新生成的观测又不断追加进视觉历史，成为后续预测的上下文。这一循环带来三重交织的挑战。其一是记忆冗余与膨胀：用户动作不可预测，相机可能以任意顺序重访不同区域，时间相邻的片段在空间上可能毫无关联（论文 Figure 4 展示了 t1 到 t17 在 Scene A–D 间无序跳转的例子），保留全部观测带来大量冗余与高昂存储/注意力开销。其二是空间一致性：重访先前区域时必须检索出能提供语义与几何证据的历史记忆，否则重访区域的几何会不一致、物体身份或状态会漂移。论文 Figure 3 给出两类典型失败：基于几何（视场角重叠）的检索在遮挡下会选中"几何重叠但实际不可见"的记忆（几何重叠≠可见性重叠）；基于语义（CLIP 相似度）的检索会混淆"内容相似但地点不同"的场景，或忽略同一地点的外观变化（语义相似≠空间对应）。其三是误差累积：新生成片段本身可能含漂移与伪影，一旦被准入记忆并被后续生成复用，误差会在自回归过程中传播放大，破坏长时程稳定性。
本文的目标是本文的目标是构建一个统一的、由理解模型（MLLM）驱动的空间记忆管理器，让长视频世界模型在持续交互中系统地回答四个问题：记忆如何组织（结构化分组）、哪些旧记忆冗余可删（稀疏化）、哪些历史记忆对当前生成有用（检索）、哪些新生成观测可靠到可以入库（准入过滤）。具体量化目标是在不改动世界模型骨干权重、即插即用于不同 backbone 的前提下，同时达成三项指标：大幅提高记忆稀疏率以降低存储与上下文成本（Base 为 0%，目标 80% 以上）、提升长时程空间一致性（回环轨迹重建 PSNR/LPIPS、GPT 盲评的场景一致性）、以及提升生成稳定性（抑制误差累积导致的画面崩坏）。
与已有工作不同的是，已有记忆管理方法分为三类，各有盲区：压缩类（FramePack、Deep Forcing 等）把不断增长的历史编码为有界表示，但会丢弃维持长时程一致性所需的细粒度视觉证据；稀疏计算类利用注意力稀疏降低计算量，但目标是生成效率而非选择性记忆保留；检索类要么靠几何关系（FoV 重叠、surfel 地图），要么靠语义相似度，均缺乏对观测间空间关系的真正理解与推理能力。也有一些方法用辅助编码器把压缩与隐式查询结合，但空间感知与语义理解仍受限于生成模型本身。作者的独特切入是视角转换：不再把记忆管理当作信息压缩或相似度排序问题，而是把它当作空间理解与推理问题，用具备空间感知能力的 MLLM 做统一决策——这是首个系统性用理解模型管理世界模型空间记忆的框架，也呼应了理解-生成统一模型的趋势。
核心方法
SMI 的直觉：长期记忆的组织、修剪、读取和准入，本质是需要空间理解的决策，恰好是 MLLM 擅长的事。技术上，SMI 把动作条件生成形式化为 $p_\theta(x_{1:K}\mid a_{1:K})=\prod_{k=1}^{K}p_\theta(x_k\mid x_{\text{subset}<k},a_k)$，并维护空间记忆库 $M_k=\{m_i\}_{i=1}^{N_k}$（$m_i$ 为记忆片段，$\pi_i$ 为相机参数）。在此之上定义四个协同原子操作：空间聚类（把空间相近片段归入同簇 $S_j$）、簇内稀疏化（簇内片段数达阈值 $T_s$ 时由 MLLM 删除冗余，保留数动态决定）、动作感知检索（先用相机状态与动作短名单出候选 $G_k=\mathrm{TopK}_{K_g}(M_k;\pi_k,a_k)$，再由 MLLM 选出最多 $P_r$ 个有用记忆）、可靠性过滤（对新生成片段 $C_k$ 输出 $D_k\in\{\mathrm{admit},\mathrm{discard}\}$）。每个操作配专用指令与监督数据，对 Qwen3.5-4B 做 SFT 后即可挂载到 HY1.5-8B / Wan2.2-5B 等骨干上。
核心创新在于把记忆管理从"固定启发式"升级为"可学习的多模态决策"，且覆盖记忆全生命周期。与已有方法的本质区别有三点。第一，几何信息只作提示、不作判据：FoV 重叠、相机距离、投影覆盖率仅用于候选短名单和聚类原型选择，最终的去留/归属/选择判断由 MLLM 结合语义与空间关系给出，例如聚类提示中明确"语义相似不足够，两视角必须共享具体可见区域、兼容的局部布局和视角连续性"。第二，保留数量动态化：簇内稀疏化的保留数量不预先固定，而是由 MLLM 根据每个片段是否含有新的空间结构、物体状态或遮挡关系逐个决定，避免了固定预算一刀切误删关键证据。第三，闭环的误差准入控制：可靠性感知过滤在写入侧拦截漂移片段，切断"坏片段入库→被检索复用→误差放大"的自回归恶性循环，这是检索类方法普遍缺失的一环。四操作合起来构成组织、整合、过滤、召回的完整记忆管理机制。
方法步骤详情
第一步，空间聚类：输入新片段 $C_k$ 中间帧、候选簇原型帧与 FoV 重叠提示；原型取同簇中投影覆盖最大者 $p_j=\arg\max\mathrm{Cov}(m_{j,q},S_j-\{m_{j,q}\})$；先用相机位置短名单最近的簇原型，MLLM 输出 1–6 视图重叠分，$\ge 3$ 判为匹配并归属该簇，否则新建簇。第二步，簇内稀疏化：簇内片段数达 $T_s$ 时触发，每片段采样 2 帧，MLLM 预测候选的空间覆盖度（none/weak/medium/strong/full）与独有信息（none/small/clear），仅当覆盖为 strong/full 且独有信息为 none/small 时删除。第三步，动作感知检索：按相机位置短名单最近 7 个历史片段，MLLM 结合最近上下文（最近 2 个片段）与当前动作，将候选归入 supports/neutral/opposes 并输出 acceptable 与 selected 列表，最多返回 $P_r$ 个（HY1.5 为 2、Wan2.2 为 3），无合适候选时返回空集。第四步，可靠性过滤：MLLM 对新片段打 1–10 分，低于 6 分丢弃不入库。数据构建分四阶段：收集约 1000 条真实推理轨迹并去低质、人工标注 354 条、以之为示范让 GPT-5.6-sol 与 Gemini-3.1 Pro 标注其余、Claude Fable 5 标记异常后人工复核，得到 63,911（HY1.5）/30,936（Wan2.2）条样本，用 AdamW（学习率 $2\times10^{-5}$、batch 64）以交叉熵损失 $\mathcal{L}_{\mathrm{SFT}}$ 微调。
技术新颖性
技术新颖性可从四个层面分析。框架层面：这是首个把理解模型系统性地引入世界模型空间记忆管理的工作，此前 MLLM 在视频生成中多用于提示理解或评估，而非充当运行时的记忆控制器。问题形式化层面：作者将记忆管理分解为四个原子操作，每个都被构造成输入输出明确、可监督学习的多模态决策任务（二分类、多选、打分），使"记忆策略"第一次成为可训练对象而非手工规则。数据层面：提出"真实推理轨迹→少量人工标注→多教师 MLLM 标注→第三模型审核→人工清洗"的多阶段管线，并用各 backbone 独立构建数据（检索类样本按 15+ 种动作组合做平衡，HY1.5 达 24,623 条），保证监督分布贴合实际推理。提示工程层面：四个操作的输出协议设计精细（严格 JSON、视图重叠 1–6 分、coverage×unique-info 联合决策规则、supports/neutral/opposes 三分组），让几何提示与语义推理可控地融合。局限在于四个操作仍是独立微调的模块化决策，未与生成模型端到端联合优化。
实验结果
实验在 HY1.5-8B 与 Wan2.2-5B 骨干上对比 Base（FoV 检索）及 FramePack、Deep Forcing、MoC、VMem、MemFlow 五基线，用 VBench、三盲 GPT-5.6-sol 评审、回环重建和用户研究四种协议（各 100 条一分钟 rollout）。HY1.5 上（Table 1），SMI 场景一致性 67.02（Base 51.61，最强基线 VMem 54.47）、整体视觉质量 65.37、美学质量 0.4694、回环 PSNR 13.31 dB、LPIPS 0.5545 全场最优，同时稀疏率 83.68%、延迟 ×1.38。关键对照：FramePack 稀疏率最高（94.38%）但场景一致性跌至 43.28，Deep Forcing 稀疏 79.21% 但 GPT 分崩塌至 37.68，VMem 一致性次优却零稀疏且延迟 ×1.47——SMI 是唯一兼顾高稀疏与高一致性的方法。Wan2.2 上趋势一致：场景一致性 46.93 vs Base 34.65（+12.28），稀疏 82.21%，延迟 ×1.31；GPT 九维评审中 HY1.5 全维度第一（长程身份保持 68.45、累积几何 62.22）。消融（Table 3）显示去掉空间聚类后 PSNR 从 13.31 骤降至 11.05、LPIPS 升至 0.6755；去掉可靠性过滤后美学质量降至 0.4559。微调消融（Table 4）中未微调 Qwen3.5-4B 场景一致性仅 42.84、PSNR 仅 9.40。用户研究（Table 7）SMI 两项偏好 52.50%/57.83%，远超 VMem 的 27.00%/27.83%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长视频空间一致性（HY1.5，100 条一分钟 rollout） | GPT-5.6-sol Camera-Constrained Scene Consistency（0–100） | 67.02 | Base (FoV) 51.61；最强基线 VMem 54.47 | 较 Base +15.41，较最强基线 +12.55 |
| 长视频整体视觉质量（HY1.5） | GPT-5.6-sol Overall Visual Quality（0–100） | 65.37 | Base 53.15；VMem 56.51 | +12.21 / +8.86 |
| 重访空间一致性（HY1.5 回环轨迹，100 条 rollout） | PSNR (dB) | 13.31 | Base 12.48；VMem 12.77 | +0.83 / +0.54 dB |
| 重访空间一致性（HY1.5 回环轨迹） | LPIPS（越低越好） | 0.5545 | Base 0.6034；VMem 0.5826 | 全场最优，较 Base 降 0.049、较 VMem 降 0.028 |
| 记忆稀疏化（HY1.5） | Memory Sparsity（被删除记忆占比） | 83.68% | Base 0%；FramePack 94.38%（但场景一致性跌至 43.28） | 在质量全面提升的前提下实现高稀疏，唯一兼顾两端的方案 |
| VBench 美学质量（HY1.5） | Aesthetic Quality | 0.4694 | Base 0.4454；最强基线 VMem 0.4476 | +0.0240 / +0.0218 |
| 长视频一致性（Wan2.2） | GPT-5.6-sol Camera-Constrained Scene Consistency（0–100） | 46.93 | Base 34.65；Deep Forcing 46.86 | 较 Base +12.28，并超过最强基线 |
| 整体视觉质量（Wan2.2） | GPT-5.6-sol Overall Visual Quality（0–100） | 51.49 | Base 37.84；Deep Forcing 50.73 | 较 Base +13.65 |
| 记忆稀疏化（Wan2.2） | Memory Sparsity | 82.21% | Base 0%；FramePack 94.38% | 高稀疏下场景一致性仍较 Base 提升 12.28 分 |
| 人类偏好（15 个 45–60 秒场景、20 名参与者） | Best-choice 偏好占比（%） | 场景一致性 52.50；生成稳定性 57.83 | VMem 27.00 / 27.83；Base 11.00 / 11.33；FramePack 7.50 / 2.00 | 两项均超过其余三个方法偏好之和 |
局限与改进
作者承认三条局限：其一，SMI 未与世界模型端到端联合训练，不会提升骨干的内在生成能力，性能上限受基座模型约束；其二，理解模型与生成模型表征不同构，MLLM 控制器引入额外计算，尤其 rollout 早期稀疏化尚未产生节省时开销明显（延迟 ×1.38/×1.31）；其三，当前设定未显式处理长时程流式理解，对复杂长期依赖或逻辑推理类记忆任务可能不足。我补充几点观察：SMI 依赖相机位姿与 FoV 重叠做候选短名单，缺乏可靠位姿估计或非相机控制的生成场景难以直接套用；Wan2.2 上背景一致性（0.9173）反而低于 Base（0.9301），提示稀疏/过滤决策偶有误删；评测依赖 GPT-5.6-sol 盲评，而该模型同时也是训练数据的教师之一，存在评价偏好的潜在风险；五个基线均为作者适配实现，未必代表原方法最佳水平；训练数据仅来自约 1000 条真实推理轨迹，跨 backbone 与场景域的泛化未经检验。
独立分析的弱点
第一，延迟瓶颈：MLLM 对每个新片段要串行执行多次判断，HY1.5 上延迟 ×1.38，对实时交互代价不小，可蒸馏为轻量策略头或让生成模型在共享表征上自带记忆路由。第二，决策粒度粗：聚类看单张中间帧、稀疏化每片段只采样 2 帧，可能漏掉片段内视角变化与动态物体状态而误判冗余，可用多帧+时序 token 输入改进。第三，超参硬编码：触发阈值 $T_s$、过滤分数线 6、候选短名单 7、检索上限 2/3 均为固定值，跨场景未必最优，应自适应调节或验证集搜索。第四，在线贪心聚类只增不减：早期误聚类无簇合并/拆分机制，长交互中误差会固化，可引入周期性簇重组。第五，过滤只防新增误差：可靠性过滤拦截坏片段入库，但对已入库的历史误差无能为力，可结合世界模型不确定性估计做记忆修复或再生成。第六，数据偏斜：HY1.5 检索样本 24,623 条而 Wan2.2 仅 6,852 条，且数据全部来自两个特定骨干的推理轨迹，操作间与骨干间监督量失衡可能影响策略泛化，扩充数据并做跨骨干验证是直接改进路径。
未来方向
作者提出三个方向：一是生成、理解与记忆管理在共享表征空间中联合学习，既能降低计算开销、实现端到端优化，也能让理解与生成互相增强，进一步提升世界模型的建模与记忆能力——这与统一理解-生成架构的趋势自然衔接；二是把强化学习引入具备统一理解与生成的长时程世界模型，用长时程一致性等奖励优化理解模型的记忆管理策略，克服 SFT 只能模仿标注、无法对最终生成质量负责的缺陷；三是构建更高质量、更全面的数据集，让理解模型学到更广泛的记忆管理能力。在此基础上可延伸：把四个原子操作统一为单一策略模型，用同一 MLLM 按任务路由输出；引入记忆的自我修复机制，对入库后发现的问题片段做针对性再生成；将框架扩展到多智能体交互与机器人具身仿真场景，其中记忆还需编码物体状态变化与因果事件；以及探索世界模型不确定性估计与 MLLM 可靠性打分的融合，让准入过滤有理论依据而非固定阈值。
复现评估
复现条件总体友好。开源情况：项目主页为 spatial-memory-intelligence.github.io，论文明确承诺"将开源全部数据集与模型权重"（需关注是否已兑现）。依赖组件：世界模型骨干 HY1.5-8B 与 Wan2.2-5B 来自 WorldPlay-1.5，理解模型为 Qwen3.5-4B，训练只是标准 SFT（AdamW、学习率 $2\times10^{-5}$、batch 64、约 6.4 万样本、交叉熵损失），4B 模型规模下单机多卡即可完成。主要成本在数据管线：需先跑约 1000 条超过一分钟的真实世界模型推理轨迹，人工标注 354 条，再调用 GPT-5.6-sol 与 Gemini-3.1 Pro 做教师标注、Claude Fable 5 审核异常、人工复核清洗——流程清晰但依赖多个闭源教师模型的 API 权限。评测方面，VBench 与回环轨迹重建可复算，GPT 评审协议依赖特定版本商用模型，20 人用户研究难以完全复刻。综合评估复现难度为中等：算法与训练无特殊障碍，数据构建与完整评测需要一定工程与预算投入。
论文图表
左半部分对比现有方法（压缩类与检索类）的失败模式：压缩会丢失关键空间证据，无空间推理的检索会产生"语义相似但布局错误"的失败；右半部分展示 SMI 带来的三大收益：83.68% 的记忆稀疏化、遮挡重访时正确检索（Base 失败而 SMI 成功的遮挡视角对比）、以及 0s/16s/37s 与 0s/45s/60s 长时程生成中更好的稳定性。
这是全文的动机与收益总览图，一图概括了论文要解决的问题、现有方法缺陷和 SMI 的三项核心改进，适合作为读者建立整体认知的入口。
并列两组失败案例：左组为几何检索失败——当前视图 B 与被选记忆 A 几何重叠但可见内容完全不同（几何重叠≠可见性重叠），遮挡导致选错；右组为语义检索失败——当前视图 A 本应检索同地点记忆 A，语义相似度却检索回内容相似但地点不同的记忆 B（语义相似≠空间对应），以及同一地点外观已变化的情形。
此图具体呈现了现有两类检索范式的根本缺陷，直接论证了"为什么需要理解驱动的记忆管理"这一核心动机。
组件消融表（检索始终保留）：完整版 PSNR 13.31、稀疏率 83.68%；去掉空间聚类后 PSNR 骤降至 11.05、LPIPS 升至 0.6755；去掉可靠性过滤后美学质量从 0.4694 降至 0.4559；去掉聚类与稀疏化后稀疏率仅剩 35.74%；三者全去后稀疏率为 0。
量化每个组件的贡献，其中"无聚类时稀疏化反而伤一致性"是最有信息量的发现，验证了空间组织的必要性。
HY1.5 上九维 GPT 评审完整分数（0–100）：SMI 在全部九个维度第一，包括相邻转场 75.37、长程身份保持 68.45、累积几何 62.22、结构完整性 68.30、伪影洁净度 60.60、细节清晰度 65.18 等，全面超过 VMem 等最强基线。
展示 SMI 优势的全维度覆盖性，说明改进不局限于单一指标而是生成质量的系统性提升。
训练集构成表：HY1.5 共 63,911 条（聚类 12,652、簇内稀疏化 7,156、动作感知检索 24,623、可靠性过滤 19,480），Wan2.2 共 30,936 条（12,538/7,135/6,852/4,411），两个骨干各建独立数据集。
披露监督数据的规模与分布，是评估方法可复现性与数据偏斜（如 Wan2.2 检索样本明显偏少）的基础。
标签分布表：聚类任务 belongs 约占 71.5%；稀疏化任务 remove 占 71.4%、keep 占 28.6%；可靠性过滤中 HY1.5 有 24.55% 样本被标为过滤（≤6 分），Wan2.2 为 38.79%。
揭示各操作监督分布的正负样本比例，反映运行时决策的先验倾向，对理解模型行为与数据平衡策略有用。
检索训练数据的动作分布表：覆盖 24,623 条 HY1.5 与 6,852 条 Wan2.2 样本中的 15+ 种相机运动组合（前进 12.50%、左移 10.20%、左转 8.72% 等，含复合动作），HY1.5 有 10.86% 未分类元数据。
说明检索监督如何按动作组合做平衡，支撑"动作感知"这一设计的数据基础，也暴露了元数据质量问题。