Physics-IQ Verified：视频生成模型物理理解评估基准的系统性审计与改进 Physics-IQ Verified
通过改进提示词、清理人工制品和重新设计评分方法，提升了物理理解评估的可靠性
前置知识
视频生成模型（VGMs）
视频生成模型是一类能够根据文本提示、图像或视频片段生成连贯视频的深度学习模型。它们通过学习大量视频数据的分布，在给定初始条件的情况下预测未来的帧序列。这类模型通常基于扩散模型或自回归架构，被视为潜在的'世界模型'，因为它们需要理解场景中物体之间的因果关系和物理规律才能生成合理的延续。
本文的核心就是评估视频生成模型是否真正理解物理世界，而不是仅生成视觉上合理但物理上错误的视频。理解VGMs的工作原理对于理解本文提出的评估方法和改进方向至关重要。
Intersection over Union（IoU）
IoU是计算机视觉中常用的重叠度度量指标，计算两个集合交集与并集的比值，取值范围为[0,1]，值越高表示重叠度越大。在Physics-IQ基准中，IoU被用来衡量模型生成视频中激活区域与真实视频激活区域的重叠程度，包括空间IoU（where）、时空IoU（where & when）和加权空间IoU（where & how much）三种变体。
本文的三个核心评估指标都基于IoU，理解IoU的计算方式对于理解为什么伪激活（人工制品）会影响评分、以及本文如何清理这些人工制品来提高评估准确性至关重要。
人工制品（Artifacts）
在Physics-IQ基准的上下文中，人工制品是指视频中与目标物理现象无关的视觉事件所产生的度量激活。论文将人工制品分为两类：确定性人工制品（如实验装置的旋转运动）可以从提示词或实验设置中预测；非确定性人工制品（如录制过程中的随机事件）则在任何提示词或实验规范中都不存在。
清理人工制品是本文的三大贡献之一。理解人工制品的类型和来源对于理解为什么原始基准测试会引入测量误差，以及本文如何通过手动标注和帧冻结技术来移除这些人工制品至关重要。
研究动机
现有的Physics-IQ基准测试存在三个主要问题导致测量误差。首先，34.8%的原始提示词存在不清晰问题，包括事实错误（与视频内容不符）、时间不准确（未区分已发生和将发生的动作）、遗漏关键信息（缺乏准确建模物理效应所需的信息）和模糊语言（描述过于不精确无法充分约束生成），这些问题使得人类和模型都无法可靠预测物理效应。其次，许多视频包含'伪指标激活'或人工制品，这些不是由物理现象引起的，占29.8%的视频（59个），包括确定性人工制品（占6.1%，如旋转装置）和非确定性人工制品（占23.7%，如抓取器运动），它们使得评估指标捕获的是装置行为而非物理理解。最后，原始Physics-IQ评分仅在数据集级别定义，导致样本对最终分数的影响不均匀，无法追踪到具体样本的失败模式。
本文的目标是本文的目标是对Physics-IQ基准进行系统性审计，识别并修复评估协议中产生的测量误差，提供一个更可靠地反映视频生成模型物理现象建模能力的精炼基准，同时允许更细粒度的结果分析，能够将分数追溯到样本级别。
与已有工作不同的是，本文的独特切入角度是从基准测试本身的角度审视测量误差，而不是提出新的模型或新的评估指标。通过系统性地分析提示词质量、人工制品和评分聚合方法这三个具体来源的测量误差，并针对每个提出针对性的解决方案，本文填补了现有基准测试在评估协议严谨性方面的空白。与基于判断的基准（评估视频是否在物理上看似合理）或使用合成数据的仿真基准（测试预定义的物理规则）不同，Physics-IQVerified保持了Physics-IQ的参考式设计，将生成的延续与相同物理设置的真实世界记录进行比较，但通过清理人工制品和改善提示词质量，使基准更专注于物理理解而非混杂因素。
核心方法
本文的方法直觉是：如果我们希望准确评估视频生成模型的物理理解能力，就必须确保评估协议本身不引入与物理理解无关的混杂因素。为此，论文提出了三个改进措施：第一，改善提示词质量，通过修正不清晰的提示词和引入模型特定的模板化器来确保提示符合模型的最佳实践；第二，清理人工制品，通过手动标注和帧冻结技术移除参考视频真值中的伪指标激活；第三，改善指标聚合，从数据集级别改为样本级别的评分系统，确保所有样本和指标等权重。这三个改进共同构成了Physics-IQVerified基准，其工作流程是：给定条件图像和文本提示，视频生成模型生成视频延续，然后使用三个基于激活的指标和一个基于像素的指标将其与真实值进行比较，最后将指标聚合成最终分数。
本文的核心创新点在于将基准测试本身作为审计对象，系统性地识别并修复测量误差。与传统的基准改进（添加更多数据或更复杂的指标）不同，本文专注于评估协议本身的质量控制。其独特之处在于：1）将提示词质量纳入基准测试的考虑范围，认为提示词应该像考试题目一样清晰但不过度提示；2）将人工制品识别为测量误差的来源，并将其分类为确定性（可从提示词预测）和非确定性（随机发生）两类；3）从数据集级别改为样本级别的评分聚合，不仅改变了分数值，更重要的是改变了分数的可追溯性，使得研究者能够识别模型在哪些具体物理场景上表现不佳。
方法步骤详情
方法包含三个主要步骤。第一步是改善提示词质量，首先识别四类不清晰提示词（事实错误、时间不准确、遗漏关键信息、模糊语言），然后对69个不清晰提示词进行最小侵入性修正，总计修正34.8%的提示词。接着引入六字段模板化器，将提示词分解为SETUP（前置场景描述）、SCENE（场景补充信息）、ACTION（主体-动作描述）、CAM（摄像头和录制规范）、STYLE（渲染寄存器，新增）和SCOPE（内容边界，新增）六个字段，其中STYLE约束输出为'逼真的科学演示'，SCOPE指示'仅包含描述的设置和动作'以抑制幻觉。第二步是清理人工制品，通过手动标注真值视频，使用两种移除策略：后效应移除针对物理效应结束后发生的人工制品，通过{end_effect_frames}指定结束点后冻结所有帧；中效应移除针对物理效应期间但在空间上与效应不重叠的人工制品，通过{freeze_areas}指定从特定时间戳开始的空间区域冻结。第三步是改善指标聚合，将原始数据集级别评分s_{Physics-IQ}改为样本级别评分s_{Physics-IQ}^{Verified}_{n}，对每个样本n计算：s_{Physics-IQ}^{Verified}_{n} = (1/4)[Σ_{MIoU∈{SP,ST,WS}}(r_{MIoU_n}/v_{MIoU_n}) + (v_{MSE_n}/r_{MSE_n})]，其中v表示生成视频与参考的比较值，r表示物理变异（两次拍摄之间的比较），最终分数是所有样本的算术平均值。
技术新颖性
本文的技术新颖性体现在多个方面。首先，提示词质量的改进不仅是修正错误，而是引入了一个系统性的提示词工程框架，将提示词分解为六字段结构，并引入了STYLE和SCOPE两个新颖字段，这在之前的基准测试中未见报道。其次，人工制品的清理基于一个新颖的分类框架，将人工制品分为确定性和非确定性两类，并使用帧冻结技术而非掩码或修复来移除它们，避免了引入新的视觉信息或产生新的人工边界。最后，样本级别的评分聚合方法在数学上更合理，解决了原始评分中物理变异的平均化导致低变异实验被低估、高变异实验被高估的问题，同时提供了细粒度的失败模式追踪能力。实验验证了这些改进的实质性影响：使用六个图像到视频生成模型的评估发现，原始和验证评估之间的排名发生显著变化（Kendall's τ = 0.46），这表明基准测试的设计对模型排名有实质性影响。
实验结果
论文在六个图像到视频生成模型上进行了评估实验，包括三个开源模型（Wan 2.2、HunyuanV-1.5、Cosmos3-N）和三个闭源模型（Sora 2、P-Video、Grok Imagine Video）。每个模型使用原始提示词和最佳实践提示词各生成四组视频，每组包含198个视频，在8种设置下进行评估（2种提示词×2种真值×2种评分）。实验发现：1）提示词改善显著提高了所有模型在原始评估中的分数（Wilcoxon符号秩检验：所有p < 0.05），效应量中到大（Cohen's d ≥0.55），其中Sora 2从最佳实践提示词中获益最大，Wan 2.2是唯一性能下降的模型；2）人工制品移除显著降低了所有IoU指标分数和原始Physics-IQ分数（Wilcoxon符号秩检验：所有p <<10^-5），效应量大（Cohen's d ≤-1），其中Wan 2.2受到的绝对性能下降最大，表明其相对于其他模型的较好分数部分来自混杂效应；3）评分方法改变没有改变总体排名，但提高了所有模型的Physics-IQ分数；4）原始和验证评估之间的排名发生显著变化，Grok Video和HunyuanV-1.5超过Wan 2.2，Cosmos3-N和Sora 2改善位置，P-Video从第四降至最后，Spearman相关系数ρ = 0.65，Kendall相关系数τ = 0.46，表明适度但有意义的排名变化。Bootstrap分析证实了这种变化的显著性：内部排名相关性超过0.9，95%置信区间与跨评估排名相关性不重叠。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理理解评估 | Physics-IQ Verified分数 | Grok Video (34.8), Wan 2.2 (32.2), HunyuanV-1.5 (31.8), Cosmos3-N (26.5), Sora 2 (25.3), P-Video (22.0) | Wan 2.2 (35.4), Grok Video (32.9), HunyuanV-1.5 (29.7), P-Video (22.5), Cosmos3-N (21.7), Sora 2 (12.7) | 提示词改善提高所有模型分数，人工制品移除降低所有模型分数，综合评估导致排名变化 |
| 提示词改善效果 | 分数变化（最佳实践-原始提示词） | Sora 2: +12.6分, HunyuanV-1.5: +2.4分, Cosmos3-N: +6.1分, P-Video: +1.2分 | Wan 2.2: -1.9分, Grok Video: +1.9分 | 除Wan 2.2外，所有模型从提示词改善中获益，Sora 2获益最大 |
| 人工制品移除效果 | 分数变化（验证-原始真值） | Wan 2.2: -4.3分, Grok Video: -1.8分, HunyuanV-1.5: -1.6分, Cosmos3-N: -2.8分, P-Video: -2.6分, Sora 2: -0.8分 | 无基线 | 所有模型分数下降，表明原始评估中存在混杂效应 |
局限与改进
作者承认的局限性包括：1）基准测试范围固定在198个评估视频，覆盖的物理现象有限，无法全面评估所有物理理解能力；2）依赖手动人工制品标注，可能存在主观性且难以扩展到更大规模的数据集；3）作为参考式评估，如果生成的视频在物理上合理但探索了场景的不同有效实现，仍可能受到惩罚；4）仅评估了六个图像到视频模型，尚未扩展到文本到视频或视频到视频模型。作者还指出，虽然样本级别评分提供了更好的可追溯性，但它没有改变物理合理但不同延续的问题。本文自身的观察局限性是：论文没有提出新的评估指标，只是改进了现有的评估协议，这意味着如果原始指标本身存在问题（如基于掩码的重叠指标可能混淆空间接近性与物理正确性），这些问题仍然存在。此外，论文没有评估不同模型对人工制品的敏感性，这可能是一个有趣的研究方向。
独立分析的弱点
本文的第一个独立分析弱点是参考式评估的本质限制了它可以奖励的创造性物理理解。如果模型生成了一个在物理上合理但与参考视频不同的延续，IoU指标会惩罚这种合理的多样性。改进方向是开发奖励物理一致性而非严格空间重叠的指标，例如基于守恒量（如能量和动量）的评估或基于物理定律轨迹的评估。第二个弱点是提示词质量的改善仍然依赖于人工审查和修正，这难以扩展到更大规模的数据集。改进方向是开发自动提示词质量评估和改进系统，可能使用大语言模型来识别和修正提示词中的歧义。第三个弱点是人工制品清理的手动标注过程既耗时又主观。改进方向是开发半自动或完全自动的人工制品检测系统，可能基于模式识别或异常检测算法。第四个弱点是基准测试仍然只评估单一模态（图像到视频），而现实世界的物理理解涉及多模态输入和更复杂的因果推理。改进方向是扩展基准测试以包含多模态条件和更复杂的因果推理任务。
未来方向
作者提出的未来工作方向包括：1）扩大物理现象的覆盖范围，纳入更多类型的物理效应和更复杂的场景；2）开发自动人工制品检测方法以减少手动标注的工作量；3）探索不同的评估指标，如基于守恒量的评估，以补充现有的基于掩码的重叠指标。基于本文成果可以延伸的未来研究方向包括：1）将Physics-IQVerified应用于文本到视频和视频到视频模型，以评估更广泛的视频生成架构；2）研究不同模型对人工制品的敏感性，以了解哪些模型架构更容易受到混杂因素的影响；3）开发物理多样性感知的评估指标，奖励合理的物理多样性而非严格的空间重叠；4）探索样本级别评分的进一步应用，如识别模型在哪些物理概念上表现不佳，以及这些失败模式是否在模型之间共享；5）研究提示词工程的最佳实践，特别是如何平衡清晰度和避免过度提示之间的权衡。
复现评估
本文承诺将发布验证后的提示词、人工制品标注、评估代码以及复现基准结果的说明。发布将在审查期间提供匿名访问，在出版前提供完全公开访问（很可能在30天内）。论文详细描述了数据集、评估模型、提示词设置、生成协议、评估变体和统计分析，这些信息对于复现主要声明是必要的。额外的指标定义和结果表在附录中提供。由于论文只运行推理而不进行训练，所需的计算资源相对较小。论文报告了四个运行的标准差、bootstrap排名置信区间以及分数变化的Wilcoxon符号秩检验和Cohen's d效应量。复现难度中等，主要挑战是访问六个闭源模型（Sora 2、P-Video、Grok Imagine Video），但论文提供了模型API访问信息。对于开源模型（Wan 2.2、HunyuanV-1.5、Cosmos3-N），复现难度较低。
论文图表
