WorldMemBench：视频世界模型记忆能力综合评测基准 WorldMemBench: A Comprehensive Benchmark for Memory of Video World Models
260案例基准测世界模型记忆：静态保持强不代表动态演化可靠，记忆随重访累积退化
前置知识
视频世界模型（Video World Model）
以自回归方式逐段生成可交互视频的生成模型：给定初始帧和相机/动作/语言控制信号，模型持续渲染前方未见区域，用户可像玩游戏一样在生成世界中持续移动探索。代表工作包括 YUME、LingBot-World、Matrix-Game、HY-WorldPlay 等。其核心挑战在于：生成越长，越需要与历史观察保持一致。
本文的评测对象就是这类模型，理解它们逐段生成、条件控制的工作机制，才能明白为什么记忆能力会随生成长度与探索路径退化。
自回归生成与误差累积
自回归模型每生成一段新视频，都以之前已生成的帧作为条件上下文。早期片段中的外观、结构误差会通过条件机制传播进后续所有片段，形成误差传播链：生成长度越长，链条越长，失真越大。
这是论文解释多重访累积退化的两大根因之一（另一个是视点错位加剧），是读懂 5.3 节多重重访分析的前提。
世界记忆：静态与动态
静态记忆指人、物体、场景的外观与几何在移出视野后再返回时保持不变；动态记忆指镜头外的事件按因果持续演化，返回后能看到其后果（如被打开的抽屉保持打开、移动的物体停在预期位置）。二者合称世界记忆。
它们是基准的两大评测维度，也是全文核心发现——静态保持强不代表动态演化可靠——的概念基础。
DINOv2 与 ArcFace 特征
DINOv2 是自监督训练的通用图像编码器，特征对纹理、形状和场景布局敏感；ArcFace 是带附加角度间隔损失 $\mathcal{L}$ 的人脸识别嵌入，同一人距离近、不同人距离远。两者都可通过余弦相似度 $\cos(\phi(I_r),\phi(I_t))$ 度量两张图的内容一致性。
静态记忆七项指标中的人物身份、人物/物体外观、环境可见记忆都建立在特征余弦相似度上，不了解这些编码器就看不懂指标定义。
相机位姿估计与 RPE
DA3（Depth Anything 3）和 ViPE 能从视频估计每帧 camera-to-world 位姿。相对位姿误差 RPE 比较目标轨迹与估计轨迹的相邻帧运动增量：平移经 Sim(3) 对齐消除坐标系与尺度差异，旋转按目标角路径归一化，两者均无量纲、越低越好。
相机跟随诊断指标直接由 RPE 定义；环境可见记忆也用 DA3 位姿挑选返回窗口中最接近初始视向的帧，位姿估计贯穿全文的评测协议与混淆控制分析。
KV 缓存与上下文访问策略
自回归 Transformer 把历史 token 的键值对存入 KV 缓存供后续注意力访问。FullKV 保留全部历史；Sliding Windows 只保留固定预算内的最近上下文；FoV 在同等预算下按视场重叠检索与当前视角相关的历史块，用 4 个 sink + 4 个近期 + 8 个检索 + 4 个当前 latent 组成 20-latent 预算。
5.5 节的案例研究通过在固定模型与种子下切换这三种免训练策略，考察上下文访问如何影响记忆表现与推理时延，是本文从评测走向诊断的关键实验。
研究动机
视频世界模型正在变得更长、更真实：自回归视频生成（Self Forcing 及后续工作）与相机控制技术的进步，让持续数十秒的交互式探索成为可能。但「能生成」不等于「记得住」——当相机反复离开再返回时，模型必须保留已见内容，并让镜头外的事件继续演化。现有评测各有缺口：WorldScore 和 MIND 只评基础画质与短时程一致性（约 2–10 秒）；WorldMark 和 WBench 虽有 20–60 秒的长时程重访但完全缺失多重访评测；MBench、MemoBench、STEVO-Bench 覆盖状态演化却不测相机控制或长时程重访；LoopBench 是唯一测多重访的，却缺少画质、状态演化与物理一致性维度。论文表 1 的对比显示，没有一个已有基准能同时覆盖相机控制、视觉质量、长时程重访、状态演化、物理一致性与多重访六项。更根本的问题是：一次成功返回只能证明模型在「某一个时刻」恢复了内容，无法说明恢复的内容在后续交互中是否稳定、演化状态是否与先前事件自洽——而这正是持续交互场景中最需要的能力。
本文的目标是本文的目标是构建一个系统评测视频世界模型「世界记忆」的基准 WorldMemBench。具体包括五个方面：(1) 设计 260 个测试案例、覆盖 23 个语义类别，其中 200 个静态记忆案例（60 人物 + 70 物体 + 70 环境）和 60 个动态记忆案例（覆盖 7 类镜头外状态转化）；(2) 用受控相机轨迹——平移方形回路、同轴重复旋转 LRLR/LRLRLR、跨轴旋转 LRUD——制造「离开—返回」情境，每次返回都与固定初始参照比对，从而能测量跨重访的退化趋势而非单次恢复；(3) 四维度分离报告：静态记忆、动态记忆、通用视频质量与相机跟随，避免画质差异污染记忆评分；(4) 在统一协议（固定种子、官方默认配置）下评测 HY-WorldPlay、Matrix-Game 3/3.5、SANA-WM、YUME、LingBot-World/v2、Evoke、DreamX-World 九个代表性模型，并用人类研究验证自动指标与人的判断对齐；(5) 以免训练的上下文访问策略对照实验展示基准作为诊断工具的价值。
与已有工作不同的是，本文的独特切入角度有三点。第一，把「多次重访」而非「单次重访」作为核心协议：已有基准最多验证第一次返回的恢复质量，本文用 LRLRLR 三次重访加固定初始参照，首次量化了记忆的累积退化——单次返回协议在原理上观察不到这一现象，实验也证明即使第一次返回完美，第三次返回仍会系统性下降。第二，用跨轴重访（先左右偏航再上下俯仰的 LRUD）探测模型对探索方向变化的敏感性，定义 $\Delta_{\text{axis}} = d_{\text{LRUD}} - d_{\text{LRLR}}$ 干净地分离出「换轴额外退化」，这是此前所有基准都没有的受控变量设计。第三，动态记忆评测引入事件启动门控：先判定目标事件是否在初始停留期可见地开始，未开始则八项清单全为零分，从而把「敢不敢开始事件」与「事件后续是否合理」解耦——正是这个设计暴露了 HY-WorldPlay 静态七项全冠、但事件启动率仅 31.7% 的巨大反差。此外，把渲染质量与相机跟随作为独立诊断指标分离报告，也是对已有基准把多种能力混在一个分数里的改进。
核心方法
直觉上，测世界模型的记忆就像测试一个人：让他离开房间再回来，看东西还在不在、位置变没变、炉子上的水开了没有。WorldMemBench 的技术路线是给模型一个条件帧和一条受控相机轨迹，轨迹形如 $V$（初始观察）→ $D_i$（第 $i$ 次离开）→ $R_i$（对应返回）。平移轨迹保持初始朝向沿前-右-后-左走一个方形回路回到起点（1 次重访）；旋转轨迹相机位置固定只转视角，LRLR 与 LRLRLR 重复左右偏航形成 2/3 次重访，LRUD 先偏航后俯仰形成跨轴的 2 次重访。静态记忆把每次返回与初始观察阶段的固定参照比较，用特征相似度、轮廓 IoU、深度序相关和球面重建分数打分，再按 $S_u = \frac{1}{K}\sum_{k=1}^{K} s_{u,k}$ 对每个目标的各次重访取均值、$S_{\text{rollout}} = \frac{1}{|\mathcal{U}|}\sum_{u\in\mathcal{U}} S_u$ 对目标集合取均值，无有效观测的重访记零分。动态记忆由 VLM 按冻结的八问清单（返回进展、持久/重置、最终状态、因果物理各两问）打分，并以「事件是否在初始停留期启动」作为门控。画质与相机跟随作为独立诊断维度一并报告。
核心创新是把「记忆」定义为跨观察中断的一致性，并用固定参照多重访协议测量它，这与已有方法的本质区别在于：重访一致性类基准（R2M-Bench、WorldRoamBench）只比较单次返回与初始帧，而本文每次返回都与同一个初始参照比对、并对多次返回分别记分，使「记忆衰减速率」第一次成为可测对象。第二个关键点是事件门控动态分数：主报告分数满足 $S_{\text{gated}} = p_{\text{start}} \cdot S_{\text{cond}}$，把端到端失败显式分解为「事件启动失败」与「事件执行失败」两种模式，发现 Matrix-Game 3 启动率仅 5% 但条件分高达 0.917、HY-WorldPlay 启动率 31.7% 但条件分 0.928——同样的低 Overall 背后是完全不同的失败根源。第三个关键点是跨轴对照实验设计：LRLR 与 LRUD 共享第一次偏航重访、只在第二次分化（同轴偏航 vs 换俯仰轴），使「探索方向切换」成为唯一受控变量，从而把方向敏感性从一般性记忆退化中隔离出来。
方法步骤详情
方法完整流程如下。第一步，案例构造：为每个案例准备条件帧、目标框/掩码（人、物）或期望事件描述（动态），260 个案例覆盖人物、物体、环境、动态四大族 23 个类别；动态案例明确指定初始状态、动作和期望的下一状态。第二步，轨迹编译：把规范化相机轨迹翻译成各模型原生控制接口——HY-WorldPlay 用逐帧 OpenCV 位姿、Matrix-Game 3 用键盘/鼠标组合、YUME 转成 Left/Right/Up/Down/Hold 相机字幕（每段 29 帧）、其余用 Plücker 或 PRoPE 条件。第三步，生成 rollout：各模型固定随机种子（1/42/3407/43/44 等），生成 481–551 帧视频（约 20.5–31.6 秒），正式推理在 8×NVIDIA H20-3e GPU 上完成。第四步，静态评测：人物身份用 ArcFace 嵌入余弦相似度、人物与物体外观用掩码内 DINOv2 特征（公式 (4)，对参照集取截断余弦最大值）、物体几何用归一化轮廓 IoU（公式 (5)，裁剪到紧致包围框并居中去除平移与均匀尺度差异）、环境可见用 DA3 位姿在返回窗口选帧后比 DINOv2 全局特征、深度用对应位置深度值的 Spearman 秩相关、重建用球面网格最近对数距离比较（公式 (6)，交集 bin 上计算、并集归一化）。第五步，动态评测：Qwen3.8-27B 生成候选二元问题并冻结 8 个（四方面各两问），按 8 帧间隔抽帧依序作答；先判事件是否在初始停留期可见启动（需至少两帧显示主体或物体的具体时间进程），未启动则八问全零。第六步，诊断指标：每 4 帧采样计算 MUSIQ-SPAQ 成像质量与 LAION 审美分；用 DA3 与 ViPE 估计位姿、经 Sim(3) 对齐计算平移 RPE（公式 (2)），旋转 RPE 按目标角路径归一化（公式 (3)）。第七步，人类研究验证：504 对盲测 A/B（三位标注者、1512 次判断）验证静态指标，50 实例 400 清单项（1200 次判断）验证动态裁判。
技术新颖性
技术新颖性可从五个层面分析。(1) 协议层面：固定参照多重访协议与跨轴设计是全新的——LoopBench 虽有多重访但无几何与画质指标，本文首次同时给出「衰减量」（R1 到 R3 普遍下降 0.2 左右）与「换轴代价」（环境可见 +0.152）两个新度量对象。(2) 指标层面：球面重建分数把参考帧与返回帧的深度观测投到共享球面网格、去除全局尺度 $\delta_k = \text{median}_{b\in C_k}(H_b - G_{k,b})$ 后在交集 bin 上比较并按并集归一化，实现了无真值 3D 条件下的几何记忆度量，惩罚缺失表面、多余表面与距离偏差三类错误。(3) 分数设计层面：门控分解 $S_{\text{gated}} = p_{\text{start}} \cdot S_{\text{cond}}$ 是对动态记忆失败模式的显式建模，附录表 5 显示同样的 Overall 背后启动率从 5% 到 93.3% 不等。(4) 验证层面：用 30°/15°/5° 三档返回容差做敏感性分析，证明退化在「相机精确返回」子集中依然存在，排除了相机跟随误差这一主要混淆因素。(5) 诊断层面：在同一 checkpoint、同一种子、同一评测集上只切换 KV 访问策略做对照实验（660 条匹配视频），把基准用成了机制研究工具，这是评测论文少有的做法。
实验结果
核心发现一：没有模型能统治全部四个维度，静态强不等于动态强。HY-WorldPlay 包揽全部七项静态记忆指标第一（人物身份 0.828、人物外观 0.830、物体外观 0.879、物体几何 0.761、环境可见 0.947、环境深度 0.905、环境重建 0.619），但动态记忆 Overall 仅 0.294，远低于 LingBot-World 的 0.808 和 YUME 的 0.775。附录表 5 的分解显示 HY-WorldPlay 事件启动率只有 31.7%（19/60），启动后的条件分却高达 0.928——它输在「不开始事件」而非「演不好事件」；Matrix-Game 3 更极端，启动率 5%（3/60）使 Overall 只有 0.046，条件分却有 0.917。核心发现二：记忆随重访累积退化。九模型均值从 R1 到 R3 在全部八项指标上单调下降：物体外观 −0.229、人物身份 −0.217、物体几何 −0.205、环境重建 −0.196；相机旋转 RPE 从 0.430 恶化到 0.502 再到 0.530，说明连续旋转使返回视点越来越难对齐。在 431 个满足 30° 出发与返回判据的环境样本对中退化仍显著（可见 −0.152、深度 −0.135、重建 −0.139），且环境可见与重建在九个模型上全部下降。核心发现三：换轴更难。$\Delta_{\text{axis}}$ 在全部七项静态指标上为正，环境可见记忆额外退化 +0.152 最大，63 个模型-指标对中 50 个在 LRUD 下退化更多；逐模型差异巨大，LingBot World 环境深度额外退化 +0.465 而 Evoke 为 −0.098。核心发现四：人类研究支撑指标有效性——静态六指标盲测一致性 78.5%–92.5%（环境可见的模型级 Spearman 高达 0.988、人物外观 0.952、人物身份 0.929），动态 Overall 与人判 ρ=0.732、PLCC=0.808，返回进展子维度最高（ρ=0.684），因果/物理最低（ρ=0.401）。核心发现五：上下文访问诊断——在 LingBot World v2 上，FoV 策略在 11 项能力指标中 8 项最优、全面优于 Sliding Windows；相对 FullKV 提速 1.23×（262.7s 对 322.2s），且四个动态子指标和两个人物指标全部更高，环境返回到位率从 57.6% 提高到 65.3%、返回旋转误差从 31.0° 降到 26.7°；FullKV 仅在物体外观/几何与环境可见上保持优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 环境静态记忆（九模型对比） | Environment Visible ↑ | HY-WorldPlay 0.947 | Matrix-Game 3.5 0.537 | +0.410（最高分约为最低分的 1.76 倍） |
| 动态记忆（九模型对比） | Dynamic Memory Overall ↑ | LingBot-World 0.808（启动率 93.3%） | Matrix-Game 3 0.046（启动率 5.0%） | +0.762 |
| 人物身份保持 | Human ID ↑（ArcFace 嵌入相似度） | HY-WorldPlay 0.828 | Matrix-Game 3.5 0.019 | +0.809 |
| 环境三维重建一致性 | Environment Reconstruction ↑（球面重建分数） | HY-WorldPlay 0.619 | DreamX-World 0.105 | +0.514 |
| 相机旋转跟随精度 | Rotation RPE ↓（越低越好） | HY-WorldPlay 0.417 | Matrix-Game 3.5 0.837 | 降低 0.420（约一半） |
| 跨轴重访额外退化（九模型均值） | $\Delta_{\text{axis}}$ on Environment Visible | LRUD 第二次重访相对第一次退化 0.278 | 同轴 LRLR 第二次重访仅退化 0.126 | 换轴使退化幅度增加 +0.152（约 2.2 倍） |
| 免训练上下文访问策略（LingBot World v2） | 动态记忆 Return Progress ↑ / 端到端时延 | FoV 0.725 / 262.7s（1.23×） | Sliding Windows 0.667 / 260.4s；FullKV 0.667 / 322.2s | 比滑动窗口 +0.058，比 FullKV 提速 1.23 倍 |
局限与改进
作者承认的局限（附录 I）：基准目前只覆盖受控平移与旋转轨迹、几百帧的 rollout；更长时程、自由或复合遍历模式、以及相机与物体动作联合选择的具身设定都不在范围内；动态记忆依赖冻结的案例级 VLM 清单，虽然总体与人判一致，但因果/物理子维度仍最难对齐（ρ 仅 0.401）。我自己的观察补充如下。第一，事件启动门控把「控制遵从/事件生成能力」混入动态记忆总分：一个模型可能因风格保守或未遵循事件指令而得低分，这未必是「记忆」缺陷，只看主表门控分会误导。第二，各模型输出规格差异大（分辨率从 Evoke 的 640×384 到 1280×704，时长 20.5s 到 31.6s），渲染质量与记忆分数仍有残余混淆。第三，全部结果基于单一随机种子，作者也明确说明表 12/13 是「描述性均值而非显著性检验」，部分合格子集只含一两案例。第四，静态指标的零分规则（重访中检测不到目标即 0 分）对检测器误差和真遗忘不做区分，物体案例中 YUME、LingBot World、DreamX World 全程 0 分，SANA-WM 在 R3 也掉到 0。第五，环境指标依赖 DA3 位姿估计，估计误差会传导到选帧与重建分数，且追踪支持率差异悬殊（Evoke 物体追踪支持 78.3% 对 DreamX 仅 15.6%），LingBot World v2 仅 57.6% 的返回满足 30° 容差。第六，动态评测使用单一 VLM 裁判（Qwen3.8-27B），可能存在系统性偏好，未做裁判集成或交叉验证。
独立分析的弱点
独立弱点分析：(1) 门控机制混淆可控性与记忆——低动态分可能来自「不遵循事件指令」而非「忘记事件状态」，改进方向是把启动率与条件分并列进入主表，为不启动的案例提供多次重试或更强的初始提示，分别报告「生成类失败」与「记忆类失败」。(2) 零分规则过于粗糙——目标未被检测到即记 0 分，检测器失败与真遗忘无法区分，改进方向是用多检测器集成加人工抽检确认目标消失，或对低置信度检测给出部分分数。(3) 案例内容与模型训练分布可能重叠：初始条件帧部分来自生成内容，模型可能对相似场景过拟合，改进方向是引入真实拍摄或新渲染引擎的初始帧并做训练数据去重审计。(4) 评测统一为相机轨迹编译，动作/语言原生接口并未被真实行使——例如 YUME 需要把数值轨迹转成文字描述（每段 29 帧），编译损失可能解释其部分失分，改进方向是为每类接口设计原生对等的评测协议。(5) 动态案例仅 60 个、7 类状态转化、二值问题，无法捕捉渐进程度与部分完成，改进方向是加入连续量表、更多事件类型与多阶段/可逆事件。(6) 缺乏统计不确定度报告：应给出多种子方差与 bootstrap 置信区间，尤其是合格子集较小的跨轴分析（部分模型仅一两个案例）。
未来方向
作者提出的未来方向（附录 I）：把基准扩展到更长的时程、自由或复合遍历模式、具身设定（相机与物体动作联合选择）、更丰富的事件类型、多智能体交互、更长的镜头外阶段，以及更强更多样的评测模型。基于本文成果可自然延伸的方向还包括：(1) 把 5.5 节的免训练上下文访问研究升级为对训练式记忆机制的系统评测——如 Matrix-Game 3.5 的 patch memory、视场检索式记忆（WorldKV、Context as Memory）与持久状态核心架构，让基准直接指导记忆机制设计；(2) 补齐动作驱动与语言驱动范式的原生评测，检验控制接口差异如何影响记忆表现；(3) 把跨轴敏感性 $\Delta_{\text{axis}}$ 作为模型架构诊断量，研究为什么 LingBot World 对换轴特别脆弱（环境可见 +0.368、环境深度 +0.465 的额外退化）而 Evoke 几乎免疫（+0.002/−0.098），可能与其上下文组织或位姿条件方式有关；(4) 因果/物理维度的裁判改进，例如引入专用物理仿真校验或视频物理基础模型，解决 ρ=0.401 的对齐短板；(5) 在线自适应评测：根据模型在早期重访的表现动态调整轨迹难度与长度，用最少案例获取最多信息；(6) 与训练闭环结合，把多重访退化曲线作为长期一致性的训练目标、早停指标或奖励信号。
复现评估
复现评估：论文提供了 Homepage、GitHub 和 HuggingFace 三个资源入口，基准的 260 个案例与评测代码预期开源。可复现性设计相当扎实：附录 C 完整公开九个模型的推理配置（分辨率、帧率、总帧数、固定种子 1/42/3407/43/44、采样步数与并行策略），附录 D 给出动态记忆裁判的完整 prompt 模板与事件启动门控规则，附录 F 给出人类评测协议与标注界面截图。指标计算依赖的工具全部公开可得：MUSIQ-SPAQ、LAION 审美预测器、ArcFace、DINOv2、Depth Anything 3、ViPE，以及 Qwen3.8-27B 裁判模型。算力方面：评分管线本身轻量，单张消费级 GPU 即可计算全部静态指标；但要复现九个世界模型的生成结果需要 8×NVIDIA H20-3e 级别的推理资源（每案例约 500 帧、260 案例 × 多条轨迹），门槛较高。若要复刻人类对齐实验，还需 504 对盲测（1512 次判断）与 50 实例（1200 次判断）的标注人力。总体难度中等：在自己的模型上跑分相对容易，完整复现主表则需要可观算力与多模型部署经验。
论文图表
顶部展示案例在人物、物体、环境、动态事件上的覆盖（260 案例、23 类别、2026 年案例数）；左下是受控离开-重访评测示意（V 初始观察，L/R 交替三次重访，每次返回与固定初始参照比对）；右下是九个视频世界模型在成像、审美、控制、静态记忆、环境几何等九项指标上的能力画像雷达图。
一张图看全基准的设计逻辑——怎么测（离开-重访协议）、测什么（四维度指标）、发现了什么（各模型能力画像差异），是论文的门面图。