当前世界模型缺乏持久状态核心

现有视频世界模型无法在相机离开视野后维持世界状态的连续演化

前置知识

世界模型

世界模型是一种能够对物理世界进行建模的系统，它不仅生成视觉上逼真的帧，更重要的是要维护一个随时间不断演化的内部世界状态，这个状态应该独立于观测而存在。就像爱因斯坦说的，即使没有人看月亮，月亮依然在那里运行轨道。真正的世界模型应该在相机移开后继续让事件演化，比如猫跳上床后相机移开再回来，猫应该已经在床上，而不是重新出现时还在原来的地方。

本文的核心论点正是评估现有视频生成模型是否具备这种持久的世界状态演化能力，理解世界模型的定义是读懂本文的前提。

视角干预

视角干预是指通过改变相机视角来改变对世界的观测可及性。视角只改变观察的角度，而不改变世界中实际发生的事情。论文巧妙地利用这一点作为测试世界状态的探针，如果相机移开再回来时物体仍然停留在离开时的状态，说明世界没有在未观测时继续演化，如果物体已经达到了事件预期的终点状态，说明模型维护了持久的世界状态。视角干预将相机控制从渲染命令转变为证据干预工具。

WRBench的核心创新就是将相机控制视为对可观测性的干预，而非单纯的渲染命令，这是理解论文方法论的关键。

可观测性与世界状态分离

可观测性是指某个事件或物体在相机视野内能否被看到的属性，而世界状态是指世界中实际发生的物理状态。一个持久的世界模型应该让这两者解耦，即使某个物体从可观测变为不可观测，其状态变化仍在后台继续，当它重新进入视野时，应该反映不可观测期间发生的演化。现有模型的问题恰恰是将这两者耦合在一起，相机移开时世界演化也停止了，回来时物体停留在被抛弃的状态而不是继续演化的状态。

这是论文识别出的当前世界模型的根本缺陷，也是WRBench设计六个评估维度来分别诊断可观测性和世界状态的理论基础。

重新观测门

重新观测门是一个判断性谓词，用于确定重新观测状态一致性测试是否适用。只有满足三个条件才能进入重新观测状态评估，存在一个非平凡的隐藏或不可判断的间隔、目标重新回到可观测视野、返回的证据足够清晰可识别。这个门机制确保了重新观测状态一致性只在真正存在隐藏后返回证据的情况下计算，避免将没有创造隐藏返回测试的样本作为支持世界状态演化的证据。

WRBench的独特之处在于它分离了访问和正确性，重新观测门是理解这种分离的关键设计。

研究动机

现有的视频生成模型虽然在视觉保真度、运动质量和相机可控性方面取得了巨大进展，但它们面临一个盲点，所有现有的评估基准都只评估可见的属性，如图像质量、运动自然度、相机控制精度、文本对齐度等，却从未询问生成的动态世界在相机移开后是否继续演化。比如，当提示指定在卧室里一只猫跳到床上，起始帧中猫在地上，然后相机转开又转回来。如果世界状态在未观测时继续演化，相机回来时猫应该在床上。但实践中，生成器展现出多样的失败，猫可能被相机拖着走从未离开视野，回来时可能还在地上，可能消失，可能出现在意外位置，可能分裂成多个。这些失败源于完全不同的原因，但单个分数无法区分它们。

本文的目标是本文的目标是开发一个系统性的诊断基准来测试视频生成模型是否维护了一个在视角干预下保持演化的持久世界状态。具体来说，评估目标在离开视野并重新进入视野时，其状态是否与事件端点保持一致。这个能力被命名为视角干预下的世界状态持久性。

与已有工作不同的是，本文的独特切入角度是将相机运动视为对可观测性的干预，而不是渲染命令。现有基准都将相机控制视为一个输出目标或生成条件，但WRBench将其视为证据干预，中心问题不是相机轨迹执行得如何，而是同一事件诱导的状态在证据可见、暂时不可观测、重新回到可判断视野时是否仍然得到支持。这种视角转换使得WRBench能够区分访问问题和正确性问题，揭示出当前世界模型的根本缺陷是端点绑定缺失而非渲染质量问题。

核心方法

WRBench的方法设计遵循分层诊断链的思路，首先定义场景和事件基质即Natural-25提示集，然后通过WRBenchLib将每个事件视图记录转换为模型特定的输入和溯源记录，接着用六个诊断维度对生成的视频进行评分，最后用人偏好标注对每个自动评估器进行独立校准。这个架构将世界状态评估分解为从控制执行到重新观测状态一致性的逐步诊断链，每个维度都有明确的分母和判断标准，避免了将不同性质的失败合并为一个总分。

核心创新点是将相机控制从渲染命令转变为证据干预。WRBench不将视频评估作为单独的视觉质量问题，而是将视频视为在特定视角干预下特定事件的证据。每个测试用例固定相同的初始观测和事件，然后改变视角条件，使相关的状态证据可能保持可见、暂时隐藏或返回到可判断的视野。另一个关键创新是诊断链设计，六个维度分别是请求相机精度、提示相机对齐、视觉完整性、可见空间和状态一致性、重新观测支持、重新观测空间和状态一致性。关键的是，维度重新观测一致性只在维度重新观测支持通过的子集上计算，这样四种情况各自得到诊断结论而不是合并为一个分数。

方法步骤详情

方法步骤的完整描述如下，第一步定义Natural-25提示集，包含25个场景家族与四层事件设计的交叉，这个设计将空间位移与状态变化分解为独立因子。每个测试用例是一个事件视图记录，其中初始观测是指定事件是预期视角干预是可见性体制是提示或接口变体。第二步通过WRBenchLib将每个事件视图记录转换为模型特定的形式，并记录实际交付的内容，生成生成溯源映射，其中模型特定输入是轨迹源视频几何条件或提示实际交付的条件是生成的视频是记录完整流水线的溯源记录。第三步用六个诊断维度对每个生成的视频进行评分。相机控制维度比较请求的视角路径与从生成视频恢复的轨迹使用VGGT。视觉完整性使用固定的DINOv2特征代理，低值标志着不可靠的视觉证据如切割消失身份漂移或局部结构崩溃。可见一致性使用评分提示条件的是非问题，探测空间关系和动作状态是否匹配指定事件。重新观测支持记录目标证据是否变得暂时隐藏或不可判断后来重新回到可观测视野并且足够清晰可识别。重新观测一致性在重新观测支持满足的子集上重用相同的探测形式。第四步用人偏好标注对每个自动评估器进行独立校准，标注者判断六个诊断维度的每一个，对于重新观测维度，标注者首先决定隐藏和返回证据是否可判断，重新观测一致性标签只在该子集上解释。

技术新颖性

技术新颖性体现在几个方面，首先视角干预方法将相机运动从渲染命令转变为证据探针，这是一种全新的评估范式，能够分离访问问题和正确性问题。其次诊断链设计将世界状态评估分解为从控制执行到重新观测状态一致性的逐步诊断，每个维度都有明确的分母和判断标准，避免了将不同性质的失败合并为一个总分。第三重新观测门机制确保了重新观测状态一致性只在真正存在隐藏后返回证据的情况下计算，这是一个严谨的统计设计。第四WRBenchLib统一工具包使得具有不同架构和控制范式的异构生成器能够公平比较，因为它记录了每个模型实际收到的和交付的证据形式。最后2547条去重的人工标注者在与基准输出相同的粒度上校准自动评估器，而不是将WRBench简化为学习的整体偏好分数，这提供了证据层面的校准而非整体倾向的校准。

**Figure 2**: WRBench method overview. Natural-25 event-view records supply the scene, event, and viewpoint intervention; WRBenchLib translates each record into a generated video and provenance record per model; the evaluation suite scores six diagnostic dimensions from control execution to re-observed-state consistency; and human preference annotation calibrates each dimension independently.

实验结果

评估23个模型生成的9600个视频揭示了保留访问重新观测一致性缺口，模型可以保留可见证据、执行合理的相机运动或再次暴露目标区域，但不能在重新观测后可靠地维护事件端点。核心发现是可见保真度和重新观测访问形成各自的相关块，但预测重新观测状态正确性仅微弱，所以它是一个需要基准和模型直接而非从图像质量或相机精度推断的不同能力。每个模型添加的能力移除一个借口并暴露下一个，所以通用失败生活在一个单一链接即重新观测状态，更清晰的图像和更多访问达到但未移除它。最清晰的图像系统测试最少，仅提示API和LingBot在可见空间状态得分最高，但它们将对象保持在屏幕上，所以返回仅在3到6的片段中且隐藏状态问题很少被提出。第二个核心发现是世界模型在对象状态变化方面表现困难，而空间变化帮助它们利用预训练的运动先验更可靠地返回对象。移动对象和原位改变拉动在相反的方向。重新定位给模型一个新坐标来跟踪和静态场景来锚定，所以对象大致正确返回，而原位变化不提供这样的锚点，让改变的对象在返回时漂移和涂抹。这是最难的案例，将对象改变的状态保存在视角变化中，当变化没有移动它任何地方时。第三个核心发现是世界模型可控性已经掌握了静态重新渲染，而不是动态演化。访问随着范式携带的已有镜头记录量的多少上升，但每个范式只是重放记录的场景，所以下一个可控性目标是屏幕外动力学，而不仅仅是视角。四个视角条件类型是源视频携带参考流几何缓存携带点云3D或4D记录模型推断携带仅内部相机动作或状态控制仅提示携带一个句子。访问单调下降这个梯子，Gen3C在73InSpatio在62ReCamMaster在58而Hailuo在6.3Kling在3.3。但重新观测状态正确性不跟踪那个梯子，在访问领先的几何缓存和源视频行上短缺是一致的约0.10到0.15。移动从模型推断到几何缓存范式四倍访问但留重新观测状态基本平坦。第四个核心发现是常规视频监督的扩展将不传递世界状态演化，必须设计进去。更大的Wan骨干添加重新观测访问而2.1到2.2升级添加可见保真度，但条件重新观测状态仅在对象被重新观测的片段上评分留在固定带。Wan 2.1 1.3B到14B提高重新观测支持13.8到18.2但降低重新观测状态一致性0.657到0.621。所以端点持久性是架构和训练的目标，而不是更多参数或标准视频数据。第五个核心发现是世界模型需要一个what memory，而不仅仅是where memory。每个架构缓存几何外观或运动来重新渲染场景在哪里，所以相机如何编码是二阶的，而缺失的最高杠杆组件是状态写入器，它记录隐藏时改变了什么。状态载体而不是相机条件格式是架构瓶颈，从干净镜头控制到显式重新出现记忆的梯子显示没有载体关闭端点。第六个核心发现是端点持久性是一个未写的训练目标，需要用长到短的配方写入它。没有公共损失或记录的后训练阶段监督未观测结果，所以提出长到短的配方，在长视距上学习持久性，然后添加显式相机执行监督。没有文档化的阶段是端点上的强化学习。每个后训练配方是分布匹配蒸馏或奖励加权DMD，购买最强访问的合成配对数据可以在被要求未观测时回退到其训练域。

**Table 1**: Representative benchmark coverage. Rows summarize whether prior benchmarks explicitly target dynamic world-state evaluation capabilities.

Table 2: Model-level WRBench diagnostic profile by viewpoint condition type.

**Figure 3**: Benchmark coverage and diagnostic frontiers. Left panel shows Natural-25 scene coverage; right panel shows best observed diagnostic values by viewpoint condition type.

**Figure 4**: Metric correlation structure. Model-level Pearson correlations among WRBench diagnostic metrics over the 23 evaluated rows.

**Figure 5**: Camera motion governs access, not correctness. Grouped bars compare static, left-to-right yaw, and right-to-left yaw conditions. Camera motion mainly changes re-observation support, while re-observed consistency moves much less.

**Figure 6**: Event-factor pressure splits by factor. Boxplots show per-model metric distributions under the Natural-25 2 × 2 event design; bars summarize event-factor pressure on out-of-view behavior.

查看结构化数据

任务	指标	本文	基线	提升
重新观测状态一致性	重新观测状态得分	Gen3C为0.640，InSpatio为0.664，ReCamMaster为0.616，LiveWorld为0.600，HyDRA为0.445	无，本文首次提出此评估维度	首次建立了世界状态持久性的评估标准，揭示了当前模型的根本缺陷
空间位移与原位状态变化	重新观测状态差异	Gen3C空间事件0.711对比原位事件0.559差距为正0.152，InSpatio为0.720对比0.591差距为正0.129	无，本文首次进行此比较	首次揭示原位状态变化是所有模型面临的共同困难，为未来工作指明了方向
模型扩展对端点持久性的影响	Wan 1.3B到14B重新观测状态变化	从0.657变为0.621反而下降了0.036	无，本文首次测量此指标	揭示了单纯增加模型规模无法改善世界状态持久性，需要新的架构和训练目标
视角条件类型访问率	重新观测支持率	Gen3C几何缓存为73.0百分比，InSpatio源视频为62.3百分比，ReCamMaster源视频为58.5百分比，Hailuo仅提示为6.3百分比，Kling仅提示为3.3百分比	无，本文首次进行此系统比较	首次系统量化了不同视角控制范式的访问能力，揭示访问主要由范式携带的已有镜头记录量决定

局限与改进

WRBench的局限性包括，首先它针对视角条件化的动态世界状态归因，相机运动目标相对位移空间关系和事件端点在可观测性变化时是否保持绑定。Natural 25和评估维度设计使该端点绑定问题可测量，但它没有覆盖所有可能的世界状态变化。其次WRBench评估的提示集由25个场景家族与四层事件设计交叉组成，虽然覆盖了室内外场景和人类动物演员，但仍然是平衡因子网格而不是自然频率样本。第三WRBench使用的自动评估器依赖于VLM，虽然有人类校准，但评估器的偏差和限制仍然存在。第四WRBench目前评估的视频生成模型主要基于Wan系列，虽然包含23个不同模型，但架构多样性仍然有限。第五WRBench评估的视频长度有限，通过每秒3帧采样最多24帧，对于极长时间跨度的世界状态演化能力可能无法充分评估。第六作者承认当前没有系统在WRBench上达到饱和，所以基准还没有展示出可行上限。最后WRBench目前主要关注视角干预下的世界状态持久性，对于其他类型的干预如对象交互环境变化还没有系统覆盖。

独立分析的弱点

论文的独立分析弱点包括，首先WRBench的六个评估维度虽然能够分离不同类型的失败，但维度之间的依赖关系可能仍然复杂。比如视觉完整性低可能导致重新观测支持低，而重新观测支持低又导致重新观测状态一致性样本稀少，这使得因果归因变得困难。改进方向是进行更多的消融实验来理解维度之间的因果链。其次论文提出的长到短训练配方是一个有价值的假设，但没有实验验证。改进方向是实现并测试这个配方，比较端点持久性的改善程度。第三论文识别出需要what memory而不仅仅是where memory，但没有提出具体的架构设计。改进方向是设计并测试不同的状态载体架构，例如显式端点状态向量因果状态跟踪器或者可学习的世界状态演化器。第四论文使用了固定的DINOv2视觉完整性代理，但这个代理可能不是世界状态完整性的最佳指标。改进方向是开发更专门针对世界状态完整性的视觉质量评估器，例如对象级跟踪事件一致性检测等。第五论文的重新观测门机制依赖于VLM判断证据是否足够清晰可识别，这个判断本身可能有偏差。改进方向是开发更客观和可重现的重新观测可判断性标准，例如基于对象检测和跟踪的自动化门。最后论文主要关注单视角干预相机移开再回来，但真实世界的世界状态可能涉及更复杂的交互式观测模式。改进方向是扩展WRBench以支持多视角多回合交互式的观测模式。

未来方向

未来研究方向包括，首先作者提出使用长到短的训练配方，在长视距上学习持久性，然后添加显式相机执行监督。这可以在长轨迹数据上训练世界模型学习状态持久性，然后在短可控范围内添加相机执行监督。其次作者提出端点定向奖励或策略训练，可以直接监督不可观测结果，例如强化学习在接触容纳姿态或碰撞端点。第三扩展基准，包括更细的VLM标记掩码边界框和密集控制设置。密集控制应该与泄漏感知输入策略一起进入，因为目标视图深度分割边缘映射或端点控制可以揭示后事件状态并将世界状态测试变为控制跟随。第四设计新的架构组件专门用于世界状态持久性，例如what memory模块状态写入器端点持久性损失函数等。第五探索更复杂的观测干预模式，例如多视角观测交互式观测长时间中断等，以更全面地测试世界状态持久性。第六开发更专门针对世界状态完整性的评估指标，例如对象级状态一致性事件完整性物理一致性等。最后研究如何将WRBench的诊断结果转化为具体的模型改进策略，例如通过分析失败模式来识别架构和训练中的缺陷。

复现评估

复现评估如下，论文已经开源了WRBenchLib统一工具包和代码，以及项目页面。论文报告了23个模型在9600个生成的视频上的评估结果，包括详细的模型标识符条件接口生成设置和参考视频条件。所有主要表格在固定提示集模型名册指标定义和聚合脚本后生成。基准提示和第一帧包括初始状态事件对象动作和相机轨迹元数据。模型名册记录模型标识符条件接口生成设置和V2V方法的参考视频条件。CamPrec视觉完整性可见帧指标重新观测状态一致性和重新观测记录在聚合前导出。聚合脚本生成模型家族相机协议推理层和对象动作切片。人工验证协议记录采样标注指令协议计算和重新观测案例的校准示例。论文还提供了2547条去重的人工标注者裁决，在与基准输出相同的粒度上校准自动评估器。算力需求方面，每个模型的评估需要生成约417个视频，每个视频平均约5秒，加上DINOv2特征提取和VLM推理，总体算力需求中等。难度方面，复现主要挑战是获取评估的23个模型的访问权限，其中一些是专有API和准备Natural 25提示集。但一旦获取模型和提示集，评估流程是自动化的，应该可以在合理的时间内复现。

当前世界模型缺乏持久状态核心 Current World Models Lack a Persistent State Core