CRONOS:基准测试视频模型的反事实物理一致性 CRONOS: Benchmarking Counterfactual Physical Consistency in Video Models
用干预式基准诊断视频生成模型是否真正理解物理规律。
前置知识
反事实物理一致性 (Counterfactual Physical Consistency)
指模型对同一物理事件的不同视觉变体能否生成一致的物理预测。来自因果 do-calculus:固定潜在物理参数,改变观察层 nuisance,要求输出保持稳定。本文等价于对同一 underlying event 做 controlled intervention 后,生成质量不应显著变化。
这是本文的核心定义,所有指标设计(per-video metrics 与 sensitivity)都是围绕它展开的。如果不理解"反事实"与"固定输入评估"的区别,就读不懂为什么 CRONOS 要做 factorial design 而不是单条 prompt-per-event 的传统评估。
扩散视频模型 (Diffusion Video Models) 与 I2V/V2V 设定
基于扩散过程生成视频时空潜量的模型。本文评测 Cosmos2.5、CogVideoX1.5、MAGI-1、Wan2.2。I2V 只给首帧,从单张图像外推未来;V2V 给前 5 帧条件,既提供运动先验又测试长程一致性。两者对应不同预测难度与可用信息量。
论文中所有对比都是 V2V vs I2V 设置(表 1 顶部与底部分隔条)。读后续 Findings 必须先区分 I2V 与 V2V,以及它们对 motion similarity、background stability 的影响差异,否则会把"V2V 普遍优于 I2V"读反。
Unreal Engine 仿真与 per-object segmentation
游戏级实时渲染引擎,可输出 RGB + per-object 分割掩码。本文利用其"可控性"生成 paired counterfactual videos(同一物理事件、仅变化的视觉因子),并以分割掩码供 object-centric metric 计算,这是真实视频几乎不可能做到的。
理解 UE 的可控性才能认识到 "full-factorial 675 videos" 为什么在真实数据上做不到、CRONOS 的合成-真实 gap 来源于何处、以及 per-object metrics 如何回避背景污染。
VLM-as-a-judge 与 视频 QA 协议
用视觉-语言模型(如 Qwen3-VL-32B)在固定问题模板上对视频做二值打分的评估范式。每个问题答 yes/no,聚合得到物理合理性。本文用一组 handcrafted video-specific binary questions 检测物体消失、违反重力等物理违规。
不熟悉此范式就读不懂 Section 3.4 中 "Physical plausibility" 指标的定义,以及为什么 success rate 必须聚合多个 per-video metrics 才能给出 binary pass/fail。
Pearson correlation 与 用户研究验证
用以衡量 benchmark 指标与人类评分之间一致性的人本评估方法。本文对 540 个代表视频在 Prolific 上做 1-5 的人工打分,再与各 metric 计算 Pearson r(0.68-1.00 区间),用来"校准" 指标的 calibrated threshold 而非随意取数值。
读 Figure 4 时必须知道 r=1.00(背景稳定性)与 r=0.68(运动相似性) 的含义与差异,以及它们如何决定 success-rate 的阈值校准,否则会误以为阈值是手工拍脑袋定的。
研究动机
近年来视频扩散模型(Cosmos、CogVideoX、Wan、HunyuanVideo、MovieGen 等)在视觉保真度与时间一致性上取得显著进展,支持"视频预测可成为通用世界模型路径"的乐观预期。然而已有研究表明它们在物体恒存性、重力、因果等基本物理原则上频繁违规(PISA、Physics-IQ、Morpheus 等评测报告)。更关键的是,这些基准普遍在 fixed visual observation 下评估模型,只回答"对一条 prompt / 一段参考事件,生成结果是否物理合理",无法回答"模型是否对同一物理事件的不同视觉观察保持稳定预测"——即无法测试模型到底学到了 causal structure 还是依赖 superficial visual correlations。这正是"反事实物理一致性"缺失的核心:一个可靠的世界模型应当在 nuisance 变化(视角、外观)下保持预测稳定,同时在场景/物体类别等结构性变化下进行有意义的调整。
本文的目标是本文的具体目标是构建 CRONOS——一个以 photorealistic Unreal Engine 渲染、采用干预式 factorial 设计、以反事实物理一致性为核心评估对象的视频生成基准。CRONOS 围绕 3 个 basic 物理事件(碰撞 collision、滚落 fall、遮挡 occlusion)、5 个 scene、5 个 object category、最多 4 个 viewpoint、3 个 appearance,共计 675 个视频,完整覆盖 canonical 物理交互的最小子集。作者希望通过对当前 SOTA 开源视频模型(Cosmos2.5-2B/14B、CogVideoX1.5、MAGI-1、Wan2.2)在 I2V/V2V 设定下做 controlled interventions,客观量化每个模型的 per-video 物理质量与对干预的 sensitivity,最终诊断"模型是否真正理解了 underlying physics"。
与已有工作不同的是，与 PISA、Physics-IQ、Morpheus、WorldBench 等同代工作相比,本文独特切入点是"把评估从"独立 prompt"迁移到"受控干预"。前者把每段生成当成 isolated sample,后者要求对同一潜在事件的多个视频一起评估,使得我们可以做 model-agnostic、fine-grained 的 sensitivity analysis 上去。这是 robustness evaluation 思路(参考文献 20、43、13)在视频生成领域的工程化落地——先有 CRAFT/CLEVRER/IntPhys/Physion/PhysWorld 等视频推理基准对简单几何物体的依赖,CRONOS 进一步用 photorealistic 高保真渲染让"合成物理 benchmark"具备更接近真实视频的视觉复杂度,从而直接挑战现代 diffusion 模型。
核心方法
CRONOS 整体思路是"在可控仿真中做反事实实验,用 object-centric metrics + sensitivity 量化"。分两步:第一步在 Unreal Engine 为 (event, scene, object category, viewpoint, appearance) 每个元组渲染 1920×1080@30FPS 视频,固定 3D 物理参数只改 4 个视觉干预因子,同时输出 RGB 和 per-object 分割掩码。第二步对每段生成计算 5 个指标(appearance/background/3D shape stability、motion similarity、physical plausibility),加 binary success rate,并沿同一潜在事件对每个干预轴 best-vs-worst deviation 求 sensitivity。前者保证 controlled interventions 可行,后者保证可量化打分。
核心创新是把"反事实 physical consistency"从口头概念变成可量化 benchmark 协议,三点本质区别于已有工作。(1)与 Physics-IQ/WorldBench 独立 prompt 评测相比,CRONOS 对同一 underlying event 渲染多个 counterfactual variants,使 sensitivity 比较成为可能——评测粒度从 per-video 升到 per-intervention-axis。(2)与 CRAFT/CLEVRER/Physion 等简单几何仿真相比,用 photorealistic Unreal Engine + 商业级资产,把视觉复杂度推到接近真实视频水平,可直接挑战现代扩散模型。(3)指标体系同时引入 DINOv2(appearance)、SAM3D(3D shape)、pixel error(background)、DisMo(motion)和 Qwen3-VL(physical),并通过 540-video user study 校准 thresholds,全部归一到 $[0,1]$。
方法步骤详情
方法分 4 阶段。(1)UE sim:3 canonical 事件(fall、collision、occlusion)构造统一 initial states + impulses,渲染 1920×1080@30FPS 输出 RGB 与 per-object 掩码。(2)Intervention:沿 4 因子变化——scene 改高度、viewpoint 改相机、appearance 仅改颜色、category 替换 object(改 mass/friction);实际 675 视频。(3)Metric:appearance DINOv2 CLS cosine 对首帧;background pixel error;3D shape SAM3D Chamfer;motion DisMo cosine;physical Qwen3-VL-32B binary;全归一到 $[0,1]$。(4)聚合:success rate 需所有 metric 过 calibrated threshold;sensitivity 同 axis 多 metric best vs worst 偏差。
技术新颖性
新颖性归为四条。第一,首次把"反事实一致性"概念完整引入视频生成基准,以 full-factorial 控制干预实现——评测粒度的根本提升。第二,设计 per-video score + sensitivity score + success rate 三层聚合结构,可加性强、便于后续研究者单独引用任一层。第三,DINOv2+SAM3D+DisMo+Qwen3-VL 组合方式新颖:四者用 540-video user study 做 Pearson 校准 $r = 0.68 \sim 1.00$,background r=1.00、3D shape r=0.92、physical r=0.86、appearance r=0.82,motion r=0.68 略弱但仍接近显著。第四,首次明确报告 scaling 反例——Cosmos 2B→14B 不仅未涨,success rate 反从 0.22 降至 0.14,为 scaling-law 研究提供反例与基准。
实验结果
实验评估 4 SOTA 模型(Cosmos2.5-2B/14B、CogVideoX1.5-5B、MAGI-1-4.5B、Wan2.2-14B)共 8 配置。Finding #1:全部未达"基本刚体物理"稳定,V2V success rate Cosmos2.5-2B 0.22、14B 0.14、MAGI-1 0.01;I2V 0.12、0.08、0.02、CogVideoX1.5 0.02、Wan2.2 0.20;最强 22%。Finding #2:四种干预均高 sensitivity,viewpoint 与 object category 最显著(图 5),说明预测 strongly view-dependent。Finding #3:V2V 优于 I2V——Cosmos2.5-2B Bg 0.61→0.77、App 0.44→0.49、success 0.12→0.22。Finding #4:Cosmos 2B→14B 反向退化(V2V 0.22→0.14,I2V 0.12→0.08)。Human eval(图 4)Pearson $r = 0.68 \sim 1.00$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 综合物理事件生成(I2V 全事件平均) | Bg Stab. / App Stab. / 3D Shape / Physical Plaus. / Motion Sim. / Success Rate | Cosmos2.5-2B(I2V): 0.61/0.44/0.57/0.66/0.51/0.12; Cosmos2.5-14B: 0.51/0.44/0.56/0.67/0.47/0.08; Wan2.2-14B: 0.76/0.52/0.72/0.73/0.59/0.20; CogVideoX1.5: 0.39/0.33/0.40/0.58/0.29/0.02; MAGI-1: 0.19/0.46/0.52/0.54/0.40/0.02 | V2V 下 Cosmos2.5-2B:0.77/0.49/0.63/0.71/0.60/0.22; Cosmos2.5-14B:0.55/0.46/0.59/0.68/0.52/0.14; MAGI-1:0.21/0.38/0.50/0.52/0.38/0.01 | V2V 普遍优于 I2V,Wan2.2-14B 与 Cosmos2.5-2B 为 I2V 与 V2V setting 下的最强模型,Success Rate 仍低于 0.22——CRONOS 上没有任何模型真正"通过"完整物理一致性测试 |
| Scaling 实验(单一模型家族内参数规模效应) | Success Rate (V2V / I2V) | Cosmos2.5-2B: V2V 0.22, I2V 0.12; Cosmos2.5-14B: V2V 0.14, I2V 0.08 | Cosmos2.5-2B 作为对照 | 14B 反而比 2B 表现更差:V2V 退步 -0.08(-36%),I2V 退步 -0.04(-33%);印证 Kang et al. [27] 在 2D 简化环境中的发现——scaling 在分布外物理一致性上不必然带来提升 |
| Video conditioning (V2V vs I2V) 效应 | Background Stability / Appearance Stability / 3D Shape Stability | Cosmos2.5-2B V2V: Bg 0.77, App 0.49, 3D 0.63 | Cosmos2.5-2B I2V: Bg 0.61, App 0.44, 3D 0.57 | V2V 相对 I2V 在 Bg +0.16、App +0.05、3D +0.06 上稳定提升;说明视频帧条件对物体稳定性和背景稳定性同样有益,而不仅是 motion 一个维度 |
| Human evaluation 校准验证 | Pearson r(指标 vs 1-5 人类评分) | Bg Stab. r=1.00, 3D Shape r=0.92, App Stab. r=0.82, Physical r=0.86, Motion Sim. r=0.68 | 传统 FVD 等图像类指标(typical r 较低) | 除 motion similarity 外所有 r≥0.82 且 p<0.01 显著;motion r=0.68、p=0.07 仅勉强显著,提示外观无关 motion 评估仍是最难方向 |
| Counterfactual intervention sensitivity 诊断 | Sensitivity to viewpoint / object category / appearance / scene(Figure 5, 越低越好) | Cosmos2.5-2B 在四种 intervention 下 sensitivity 均较低(尤其 appearance < 0.2);所有模型在 viewpoint 上的 sensitivity 最高(>0.4) | CogVideoX1.5、Wan2.2 在 scene 上 sensitivity 约 0.5 | 敏感性 lowest:Cosmos2.5-2B;highest:CogVideoX1.5、Wan2.2 在 viewpoint 与 scene 轴——说明 scaling-independent 的 view-consistent 仍是公开难题 |
局限与改进
作者明指三项限制。Synthetic-to-real gap:UE 渲染而非真实视频,结果应理解为"控制条件下物理预测诊断"而非"真实视频表现"。Single-reference rollouts:大多指标把生成与 single rendered reference 对比,但 I2V 输入允许多个 plausible futures;作者通过 multi-seed+detailed prompts+stability metrics 部分缓解仍有偏差。Scope of evaluated models:只评估开源模型固定权重(Cosmos、CogVideoX1.5、MAGI-1、Wan2.2),未涵盖 Veo、Sora、Kling 等 closed 系统。我的补充:(a)三事件偏 rigid-body 简单,缺 fluid、deformable、multi-body contact;(b)Calibration 540 视频来自多模型混合,可能 model-bias;(c)Motion similarity r=0.68 偏弱提示该方向仍有提升空间。
独立分析的弱点
独立审视后值得改进。Single-reference 对比易受 I2V 多模态未来影响,改进方向是引入 admissible-set evaluation。Viewpoint 是所有模型最强 weakness,意味 3D 几何缺失,改进方向是在视频扩散中显式 conditioning depth/normal 并报告 sensitivity 降幅。SAM3D-based 3D shape 依赖 SAM3D 自身质量,严重遮挡下 Chamfer 不稳定,改进方向是引入 multi-view geometric consistency 或 NeRF-based loss。Scaling 反例论文只做单一家族单一步长,改进方向是在 Cosmos、Wan 两家族上同时做 1B/2B/5B/14B 四尺度 sweep。Calibration 540 视频可能高/低估阈值,改进方向是扩至 1000+ 按 event/model 分组。Success rate 由 equal FPR/FNR 决定,改进方向是引入 task-dependent cost-sensitive threshold。
未来方向
作者提出的未来方向:(a)扩展到更多 admissible rollouts/distributions 容纳 I2V 多模态;(b)测试 closed 商业模型;(c)扩大物理事件类型。基于本文可延展 5 条:(1)用 CRONOS same-event-different-views pairs 做 fine-tune,显式优化反事实 consistency loss;(2)加 fluid、软体变形、collision chain、多体刚体,把 benchmark 从"基础三事件"扩展到 Physics-IQ 覆盖的更广实验;(3)把 viewpoint sensitivity 直接作 3D 几何 probe 指标;(4)扩展 intervention 类型加 lighting/temporal 打乱 conditioning 帧,形成更高维诊断;(5)把反事实 consistency loss 加进 diffusion 训练目标(类似 PISA physics-aware post-training),从诊断走向训练指导。
复现评估
复现评估分四方面。开源情况:dataset 与 evaluation code 在 https://genintel.github.io/CRONOS/,数据 + metric 实现均可下载,是该 benchmark 最大优点。数据可获得性:UE 工程文件与 675 视频通过主页获取,商业 3D 资产若未授权需换开源替代,以仓库 README 为准。算力需求:无需训练,只需对每模型跑 675 段 × 3 seeds generation;Cosmos2.5-14B、Wan2.2-14B 单段 V2V 约需 60GB GPU 数分钟;评测并行加载 DINOv2、SAM3D、DisMo、Qwen3-VL-32B,8×A100(80GB)做 full evaluation 比较现实。复现难度:UE 5 工程中等;per-video metric 5 backbone 串行计算工程量大;human study 需 Prolific 招募与按 model×event 平衡样本,最易引入差异。整体 CRONOS 是 verification-friendly 基准,资源充足实验室较友好。
论文图表
