MemoBench：动态变化环境中世界建模的基准测试 MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
首个评估世界生成中消失-重现记忆一致性的基准，测试10个SOTA模型揭示记忆瓶颈
前置知识
对象永久性（Object Permanence）
认知科学中的核心概念，指理解物体在离开视野后仍然存在的认知能力。在视频生成中，这意味着当虚拟摄像机移开导致目标对象离开视野后，生成模型必须记住该对象的存在、状态和位置，当摄像机返回时能正确恢复其经过演化的状态。这不是简单的图像连续性，而是要求模型在对象不可见的期间维护其内部表示，包括位置、姿态、外观以及正在进行的物理过程状态。
MemoBench的核心就是通过消失-重现范式来测试这种能力，论文发现当前模型在这方面严重不足，ORS最高只有0.582，这是理解论文贡献的关键
相机可控图像到视频（Camera-Instructed Image-to-Video, CI2V）
一类接受显式相机轨迹条件输入的视频生成模型，能够根据指定的相机运动如平移、旋转、U型转弯等生成相应的视频。与普通I2V模型相比，CI2V模型架构中包含了相机姿态编码模块，可以精确控制虚拟摄像机的运动轨迹。这使得模型可以执行让目标对象离开视野再重新进入的复杂摄像机运动，是测试对象永久性的前提条件。论文中评估了LingBot-World、Wan2.2、FantasyWorld等5个CI2V模型。
论文的关键发现之一就是相机条件化本身并不能保证对象记忆，即使所有CI2V模型都有显式相机控制，它们的ORS仍差异很大，FantasyWorld视觉质量更高但ORS更低
光流与深度一致性评估
光流评估使用RAFT-Large等算法估计连续帧之间的像素运动，通过warp前一帧并与当前帧比较光度误差来衡量时间平滑度，误差越小说明运动越连贯。深度一致性使用Depth Anything V2等模型估计单帧深度图，计算连续帧深度图的余弦相似度来判断3D场景结构是否稳定。论文中将这两种评估排除消失阶段，只计算可见和重现阶段，因为评估的是相机运动期间的几何一致性而非消失期间的变化。
论文发现LTX-Video在Motion Smoothness和3D Consistency上得分很高，但这不是因为真正的一致性好，而是因为摄像机几乎不动，暴露了传统评估指标的漏洞
对象重现分数（Object Reappearance Score, ORS）
MemoBench提出的核心指标，用于量化模型在重现阶段是否成功恢复目标对象。使用SAM-3文本引导分割模型对每个R阶段帧查询目标对象，通过覆盖范围过滤拒绝大面积假阳性如机器人身体和噪声。帧被认为检测到目标当返回至少一个有效掩码，记录最高置信度分数。ORS定义为S_ors = n_d/n_R * 1/n_d * sum(p_i)，其中n_R是R阶段总帧数，n_d是检测到目标的帧数，p_i是第i个检测帧的置信度。ORS结合检测率和平均置信度，高ORS表示模型在重现时能可靠生成可识别的目标对象。
这是论文最重要的新指标，直接量化记忆一致性，实验结果显示没有模型超过0.6，说明当前模型在对象永久性方面有根本性缺陷
VQA（Visual Question Answering）评估
基于大语言模型的视觉问答评估方法，用于补充自动化指标无法捕捉的高级语义正确性和时序推理。MemoBench的VQA管道使用Gemini-3.1-Pro作为LLM评估器，从提示词和首帧生成24个极性平衡的是非问题每个维度6个。问题经过三阶段过滤：真实视频过滤确保问题对GT视频回答正确、失败片段过滤确保问题能惩罚已知错误、人工交叉验证验证问题无歧义且可回答。最终验证过的问题库应用于每个生成视频，产生每个维度的通过率。四个维度是指令跟随、对象和背景一致性、记忆连续性、物理遵守。
自动化指标无法捕捉语义正确性，VQA评估发现Matrix-Game 2.0视觉质量最高但语义得分最低，说明渲染artefact如接缝、闪烁对像素级指标不可见但被VQA惩罚
研究动机
当前视频生成模型面临一个根本性挑战：视觉记忆在部分可观测性下的表现。现有的世界生成基准测试如VideoPhy-2、WorldModelBench、WorldSimBench、World-in-World、VBench 2.0、WorldScore等虽然评估了场景遍历、相机控制、场景一致性、物理遵守等多个方面，但它们存在共同的局限性：主要评估在视野中连续可见的内容，很少测试模型是否能够维护和更新暂时离开视野的对象状态。即使在少数强制对象离开视野的基准中如World-in-World，评估的也是静态场景，遮挡期间没有任何变化发生。这导致一个关键问题：不清楚当前的生成模型是真正记住了场景内容，还是仅仅重新生成了场景内容。现实世界是动态演化的，冰会融化、火焰会闪烁、行人在走动、车流在流动，faithfully建模这种动态变化环境对于自动驾驶、机器人操控和具身任务等应用至关重要，代理必须推理视野外的世界如何变化。
本文的目标是论文的目标是引入MemoBench，一个简单而全面的诊断性基准，用于评估动态变化环境中的世界建模。MemoBench基于消失-重现范式，每个示例遵循三个阶段结构：目标对象可见并正在经历物理过程，摄像机移开目标消失而过程自然继续，摄像机返回目标重现时生成模型必须正确恢复其更新后的状态。论文提供了360个高质量的1920x1080分辨率真实视频片段，涵盖合成和真实世界场景以及多样化的物理状态变化。论文还设计了综合评估套件，结合自动化指标和LLM判断的VQA评估，涵盖四个诊断维度。目标是揭示当前世界生成模型在消失-重现范式下的记忆一致性表现，识别关键挑战和开放问题。
与已有工作不同的是，本文的独特切入角度是首次将消失-重现范式作为显式评估目标应用于世界生成。与现有基准相比，MemoBench填补了一个重要空白：测试模型在同时存在摄像机运动和场景内容变化时，是否能够维护离开视野的目标对象的演化状态并在重现时正确恢复。这个范式直接探测在同时摄像机和场景运动下的记忆一致性，要求模型维护离开视野的对象记忆并在重现时恢复其演化状态。如表1所示，MemoBench是唯一明确通过消失-重现范式评估记忆一致性的基准，同时具备场景遍历、长序列、相机控制、场景一致性、物理遵守和对象永久性等全部评估能力。论文不仅提出了基准，还深入分析了10个SOTA模型的表现，揭示了相机不活动会膨胀一致性得分、相机条件化本身不能确保对象记忆、几何保真度和感知质量之间存在权衡等关键洞察。
核心方法
MemoBench方法的整体思路是构建一个基于消失-重现范式的诊断性基准来评估世界生成中的记忆一致性。直觉上，真实世界中的对象在离开视野后仍然存在并继续演化，一个真正理解世界的生成模型应该能够记住这些对象并在它们重新进入视野时正确恢复其更新后的状态。技术路线上，论文采用两条并行的数据策展管道：合成管道在Unreal Engine 5中初始化多样化的3D场景并放置动画目标对象，虚拟摄像机附加到第一人称观察者，沿着预定义轨迹移动可见-消失-重现，渲染RGB、度量深度、相机内参和相机到世界姿态；真实世界管道在受控的室内设置中使用固定位置摄像机记录多样化的物理状态变化过程，摄像机移开目标对象然后返回，创建相同的三阶段结构。评估使用两套互补方案：自动化指标直接从生成视频和GT视频计算，VQA评估使用LLM判断的问答分组到诊断维度。
MemoBench的核心创新点是引入消失-重现范式作为评估世界生成记忆一致性的显式目标，并为此设计了综合评估套件。与现有方法的本质区别在于：现有基准主要评估连续可见内容的一致性，而MemoBench明确测试模型在对象离开视野期间是否维护其内部表示。另一个关键创新是ORS指标，采用检测而非空间指标如掩码IoU，因为重现阶段的摄像机视角通常与可见阶段不同，空间指标不可靠。ORS使用SAM-3文本引导分割模型查询目标对象，结合覆盖范围过滤拒绝假阳性。VQA评估的创新在于三阶段问题过滤管道真实视频过滤、失败片段过滤、人工交叉验证和极性平衡的是非问题设计，确保问题对GT视频回答正确、能惩罚已知错误、无歧义且可回答，从而实现92.9%的人类-VLM一致性。
方法步骤详情
方法步骤完整描述如下：数据策展阶段，合成管道在UE5中初始化14个场景子域跨越5个环境类别，放置动画目标对象，设置第一人称观察者沿着脚本轨迹移动可见-消失-重现，渲染1920x1080@60FPS的RGB、深度、相机内参和姿态；真实世界管道在受控室内设置记录30个物理状态变化过程跨越7个类别依赖粘度、弹性、热导率等属性，固定位置摄像机移开目标然后返回，获得制造商校准的相机内参和MapAnything估计并平滑的外参姿态。每个人工标注两个关键帧索引：dstart目标完全离开FOV的帧和rstart目标完全重新进入的帧，线性映射到生成视频长度设置消失-重现间隔。评估阶段，自动化指标包括四个通用视频质量指标视觉质量、运动平滑度、对象身份一致性、Geo3D一致性和五个记忆特定指标ORS、PSNR、SSIM、LPIPS、相机可控性，每个原始指标m通过裁剪min-max正规化映射到0-100百分比分数。VQA评估使用Gemini-3.1-Pro从提示词和首帧生成24个极性平衡的是非问题6个维度x4维度，通过真实视频、失败片段和人工交叉验证三阶段过滤，最终应用于每个生成视频产生每个维度的通过率。
技术新颖性
MemoBench的技术新颖性体现在多个方面：在数据层面，它是第一个包含360个高质量GT视频片段的世界生成记忆一致性基准，结合合成196个，空间多样性和真实164个，材料多样性场景，提供相机轨迹和深度图，支持基于几何和物理状态演化的评估。在评估指标层面，ORS是首个针对对象重现的检测基指标，解决R阶段摄像机视角变化导致空间指标不可靠的问题；VQA评估的三阶段问题过滤管道确保问题质量和可靠性，实现92.9%人类-VLM一致性。在分析层面，论文深入揭示了多个关键洞察：相机不活动会膨胀一致性得分LTX-Video案例，相机条件化本身不能确保对象记忆CI2V模型内部ORS差异大，几何保真度和感知质量存在权衡Stable Virtual Camera像素级指标最高但视觉质量相对低，Matrix-Game 2.0视觉质量最高但SSIM最低，ORS结合相机可控性分析能暴露真正的记忆失败。这些洞察为未来工作指明了明确方向。
实验结果
核心发现是当前世界生成模型在消失-重现范式下的记忆一致性严重不足，没有任何模型能够可靠地维护离开视野的对象记忆。自动化评估中，ORS最高为HunyuanWorldPlay的0.582，没有模型超过0.6，表明即使是最佳模型也不能在重现阶段可靠地重新检测目标对象。更关键的是，ORS必须结合相机可控性解读：LTX-Video获得0.330的ORS，但其相机可控性与其他I2V基线相当，表明部分分数可归因于相机不活动而非真正的消失和重现。在实际上执行轨迹的模型中，HunyuanWorldPlay领先，随后是LingBot-World、Wan2.2和Stable Virtual Camera。通用视频质量方面，Matrix-Game 2.0在视觉质量61.2和运动平滑度83.6上最高，LTX-Video在运动平滑度84.4、对象一致性81.6和3D一致性94.1上最高，但这些高分被相机不活动解释。像素级保真度方面，Stable Virtual Camera在PSNR 15.36和SSIM 0.523上领先，Matrix-Game 2.0在LPIPS 0.550上最低。相机可控性方面，HunyuanWorldPlay最高69.9，Stable Virtual Camera次之65.2，CI2V模型普遍优于I2V模型。VQA评估显示LTX-Video在对象和背景一致性76.6和记忆连续性57.0上最高，但这些可能被相机不活动膨胀。在实际上执行轨迹的模型中，HunyuanWorldPlay在记忆连续性上最高55.6，但只有略多于一半的记忆相关问题回答正确。Human-VLM一致性研究显示总体一致性达92.9%，Cohen's kappa = 0.85，确认VQA评估与人类判断紧密对齐。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 对象重现Object Reappearance | ORS (↑) | 0.582 (HunyuanWorldPlay, CI2V) | 0.381 (LingBot-World, CI2V), 0.157 (Matrix-Game 2.0, 3D) | CI2V模型平均0.37，3D模型平均0.226，I2V模型平均0.254，CI2V比I2V提升45.7% |
| 相机可控性Camera Controllability | CamCtrl (↑) | 69.9 (HunyuanWorldPlay, CI2V) | 65.2 (Stable Virtual Camera, 3D), 17.1 (Open-SoRA, I2V) | CI2V平均43.7，3D平均41.25，I2V平均15.3，CI2V比I2V提升185.6% |
| 记忆连续性Continuity of Memory, VQA | Pass Rate (↑) | 57.0 (LTX-Video, I2V, 被相机不活动膨胀) | 55.6 (HunyuanWorldPlay, CI2V), 42.1 (LingBot-World, CI2V) | CI2V平均44.0，I2V平均49.3，I2V略高但主要因为相机不活动，实际执行轨迹的模型CI2V更高 |
| 像素级保真度Pixel-Level Fidelity | SSIM (↑) | 0.523 (Stable Virtual Camera, 3D) | 0.490 (LingBot-World, CI2V), 0.384 (Open-SoRA, I2V) | 3D平均0.449，CI2V平均0.448，I2V平均0.451，三者接近，3D略优 |
局限与改进
论文承认的局限性包括：VQA评估依赖LLM Gemini-3.1-Pro的质量和可用性，存在潜在偏见；问题过滤管道虽然经过三阶段过滤和人工验证，但仍可能存在未发现的歧义问题；数据集虽然包含360个片段，但相对于世界生成的多样性仍然有限，某些场景类型或物理过程可能未充分覆盖；论文主要评估视觉记忆的一致性，没有深入探讨模型内部是否真正维护了持久的世界状态表示，还是通过其他机制如上下文线索、统计规律实现了类似效果。我观察到的额外局限性包括：ORS依赖SAM-3的检测能力，如果SAM-3对某些目标对象或视觉风格检测不准，ORS可能低估模型的实际表现；VQA评估的四个维度虽然全面，但可能遗漏某些重要的评估方面如因果推理、对抗性扰动下的鲁棒性；论文主要关注单个对象的消失和重现，对多对象、复杂交互场景的评估不足，建议扩展到多对象场景并测试对象间关系的记忆；论文主要关注视觉外观和位置的一致性，对物理参数如速度、加速度、温度、粘度的记忆评估不足，建议引入物理感知的评估指标。
独立分析的弱点
独立分析的弱点包括：第一，ORS的覆盖范围过滤阈值0.05%-50%可能对某些场景过严或过宽，过严会漏检有效检测，过宽会纳入假阳性，建议根据目标对象大小和场景类型自适应调整阈值。第二，VQA评估的24个问题可能不足以全面覆盖所有失败模式，每个维度6个问题对于复杂的记忆一致性任务可能偏少，建议增加问题数量并引入更细粒度的子维度如位置记忆、状态记忆、因果关系记忆。第三，论文主要评估定性的一致性，缺乏对记忆精度的定量评估如目标位置误差、状态变化幅度误差，建议结合目标检测和状态估计进行更精确的定量评估。第四，评估主要关注单个对象的消失和重现，对多对象、复杂交互场景的评估不足，建议扩展到多对象场景并测试对象间关系的记忆。第五，评估主要关注视觉外观和位置的一致性，对物理参数如速度、加速度、温度、粘度的记忆评估不足，建议引入物理感知的评估指标。
未来方向
作者提出的未来工作方向包括：开发持久的状态表示、记忆感知的训练目标、考虑相机不活动的评估协议。基于成果可延伸的未来方向包括：架构上，设计显式维护世界状态的模型架构，如世界模型、记忆模块、状态估计器等，将对象永久性作为核心训练目标；数据上，构建更大规模的消失-重现训练数据集，覆盖更多场景类型、物理过程和交互模式；评估上，开发更全面的记忆一致性评估协议，包括多对象场景、长期记忆、跨模态记忆等；理论上，研究记忆与世界建模的关系，探索记忆和预测如何协同工作；应用上，将MemoBench的思想扩展到其他生成任务如文本生成、代码生成和具身AI任务。另一个重要方向是研究相机不活动的检测和惩罚机制，在评估中识别并惩罚通过生成静态视频来作弊的模型，开发更鲁棒的评估指标。
复现评估
复现评估方面，论文承诺数据集、代码和排行榜开源在https://github.com/MemoBench-Team，360个GT视频片段的可用性是复现的关键。评估使用10个SOTA模型，包括CI2V LingBot-World、Wan2.2、FantasyWorld、HunyuanWorldPlay、HunyuanGameCraft、3D Matrix-Game 2.0、Stable Virtual Camera和I2V Open-SoRA、LTX-Video、CogVideoX，这些模型大多数是开源的，复现实验需要相应的模型权重和推理代码。自动化指标依赖多个外部工具：RAFT-Large光流、Depth Anything V2深度估计、SAM-3文本引导分割、LAION aesthetic predictor美学评分、CLIP-IQA+图像质量、ImageReward提示保真度、MapAnything相机姿态估计，这些工具大多数开源，但MapAnything可能需要特定设置。VQA评估依赖Gemini-3.1-Pro API，可能需要API访问和费用。算力需求方面，10个模型x360个片段的评估需要大量GPU资源，但可以并行化。总体而言，复现难度中等，主要挑战是获取模型权重、设置外部工具和获得LLM API访问。
论文图表
