WorldReasonBench:面向视频生成模型作为世界状态预测器的人类对齐压力测试基准 WorldReasonBench: Human-Aligned Stress Testing of Video Generators as Future World-State Predictors

完整方法流程可以拆为七个阶段。阶段一(数据收集):从网页图像、学术来源、已有数据集中爬取/生成候选图像,按关键词(如'astronaut hammer feather')做主题筛选并辅以人工核查。阶段二(prompt生成):用Qwen3.5-27B在四维×22子类分类体系下,根据目标维度和子类为每张图生成高阶intent-only的implicit prompt与含显式转换提示的hinted prompt。阶段三(QA生成):用Gemini3.1-Pro为每例生成5-7对QA,标注question type(factual/reasoning/detail/temporal)、difficulty(easy/medium/hard)、expected answer与evaluation criteria,通过迭代JSON validation/repair保证结构化输出的鲁棒性,QA类型分布约28.4% factual、27.1% reasoning、24.7% detail、19.7% temporal。阶段四(WorldRewardBench采样):对每条选中用例调用11个生成器(Sora2、Kling、Wan2.6、Seedance2.0、Veo3.1-Fast、LTX2.3、Wan2.2-14B、UniVideo、HunyuanVideo-1.5、Cosmos-Predict2.5、LongCat-Video),每例采样8条共1.4K条视频。阶段五(人工标注):15名训练标注员对每条视频按1-5分独立评reasoning quality、temporal consistency、visual aesthetics,加权$S(v)=0.4 s_r+0.3 s_c+0.3 s_a$ 后排序,采用$\Delta_{ij}<0.1$ 视为平局、随机化左/右顺序减少呈现偏置、高分歧对子重新标注直到$\ge 4$ 个评分。阶段六(过程感知推理验证):VLM启用extended thinking回答4类QA,关闭thinking做二元判定,逐类聚合$s_{state}$、$s_{proc}$、$s_{fidel}$、$s_{mech}$,计算$Acc_{QA}$、$s_{out}$、$s_{dyn}$、$\Delta_{RG}$、ScorePR、$s_{dyn}/Acc_{QA}$。阶段七(多维质量评估):默认4 FPS、Qwen3.5-27B-Thinking做单条point-wise打分,同时支持pair-wise协议一次比较两段视频,得到S(v)、pairwise win/tie、Spearman $\rho$、outcome-hacking rate $P(\Delta_{RG}>0.3)$,并与WorldRewardBench的Human Elo做Spearman $\rho$ 校准。

技术新颖性可以归纳为四点。第一,把视频生成评测从'好看/对齐'二元质量评估正式重写为世界状态预测形式化$\hat V=G(x_0,a)$ 与implicit/hinted双制度,引入$\Delta_{hint}$ 量化文字引导的边际价值,这在Table 3给出+29% vs +56-85% 的具体证据,以往基准(VideoVerse的二元QA、VIPER的过程评分)都没有同时做到制度可控与提示收益可测。第二,ScorePR=$Acc_{QA}^{0.8}\cdot s_{dyn}^{0.2}$ 的设计在ablation中被证明是经验最优($\alpha\in\{0,0.2,0.5,0.7,0.8,0.9,1\}$ 的网格搜索中$\alpha=0.8$ 拿到最高Spearman $\rho=0.955$),231点simplex网格搜索S(v)的三维权重也证实67.5% 网格点$\rho\ge0.95$,使权重选择从'主观经验'变为'可证伪的实验最优'。第三,过程完整性诊断$s_{dyn}/Acc_{QA}$ 首次把开源-闭源差距的根因定位到'动态过程'而非'静态外观'——闭源0.71-0.91 vs 开源0.54-0.63——这是对'开源模型差在哪'的精确归因,而非笼统的'整体分数低'。第四,WorldRewardBench通过高分歧对子重新标注机制(2标注员range>1、3标注员range>2 重新指派),把6K条偏好对的标注质量从'一般用户研究'提升到'专家Elo',并配套BT-Davidson模型给出可复现的人类排序,使奖励模型校准具有独立可验证的金标准。

独立审视,以下弱点值得改进。第一,ScorePR=$Acc_{QA}^{0.8}\cdot s_{dyn}^{0.2}$ 几何平均的指数0.8/0.2虽在论文ablation里被证明最优,但其对模型'静态全对+动态全错'的抑制是渐进的而非阶跃的——若把指数改为$\alpha=0$ 即纯$Acc_{QA}$ 时$\rho$ 仍能到0.83,说明单一指数不足以完全杜绝outcome hacking,改进方向是引入阶跃项如$\max(0, \Delta_{RG}-0.3)$ 显式惩罚,或用pair-wise人类Elo的'准确率'而非连续$\rho$ 做'达标阈值'。第二,VLM-judge只有4 FPS、约10帧/视频的固定budget,这一budget对Sora2-12s 这种长clip 尤其不友好,8帧/12s ≈ 0.67 FPS,动态事件几乎肯定被错过,改进方向是自适应帧采样(在动作变化剧烈的区间加密、静态区间稀疏)或提供原始clip的完整帧让judge自选。第三,WorldReasonBench只有436用例、4维×22子类,每个子类平均仅约20例,在子项级别的统计功效有限,加之Dimension Internal的QA分布(28.4%/27.1%/24.7%/19.7%)并非完全均衡,temporal问题占比最低可能漏检时序缺陷,改进方向是扩充到1000+用例并按子类做样本量均衡。第四,WorldRewardBench的Human Elo只在11个生成器上拟合,BT模型本身的样本量(6K对/11模型≈ 每模型1.1K 评分)对'同档内close pairs'(Seedance2.0 vs Sora2-8s/12s)分辨率有限,这就是为什么'judge对close pair准确率掉到47.5%',改进方向是引入'高分辨子集'专门针对闭源内Sora2/Seedance2.0/Veo3.1 这一档做更密的pair采样。第五,论文只报告了reward-model 对齐人类Elo的$\rho$,没有把WorldRewardBench实际用于训练一个生成器的reward model 并报告RLHF/DPO后的Elo提升,也就是'基准→训练信号→下游提升'的闭环还没闭合,改进方向是release一个recipe示范如何用该bench fine-tune video generator并报告human preference二次对齐数字。

作者在论文隐含的方向有四点:(1)扩展taxonomy,把reasoning的子类从22扩到更细粒度,如加入counterfactual reasoning、long-horizon planning、3D spatial reasoning等;(2)多模态评测,从纯视觉扩展到视觉+音频+文本指令的多模态世界状态预测;(3)把WorldRewardBench作为标准奖励模型训练集,推动社区用其训练并对比reward models;(4)长horizon与多视角,把单段8s视频扩展到30s+并加入多视角同步评测。基于此我认为可延伸出四条值得研究的方向。第一,闭环训练验证——用WorldRewardBench训练一个reward model,做DPO或RLHF fine-tune开源视频生成器,看人类偏好的二次提升幅度,直接证明该bench作为'训练信号'的实用性。第二,跨家族judge ensemble——把Qwen3.5/Gemini-3.1/GPT-5.4的pair-wise预测做加权投票或一致性筛选,利用3个家族的偏置互补性,理论上能进一步提升Spearman $\rho$。第三,动态过程标签化——目前$ s_{dyn}$ 是聚合的proc+mech phase分数,可以进一步要求标注员在每条QA上额外标注'失败阶段'与'失败原因'标签(物理违和/因果断裂/信息丢失/常识错误),把过程完整性诊断从连续分数升级为可定位的归因矩阵。第四,把WorldReasonBench的implicit/hinted双制度扩展为'prompt difficulty continuum',用LLM在每例上生成N个不同详细度的prompt版本(从'动作'到'完整因果链'),用N个分数的方差度量模型对'指令清晰度'的鲁棒性,这对实际部署(用户给模型的prompt通常残缺)更有意义。

复现评估分四方面看。开源情况:论文明确承诺发布benchmark与evaluation toolkit,项目页https://unix-ai-lab.github.io/WorldReasonBench/、代码与数据仓库https://github.com/UniX-AI-Lab/WorldReasonBench/均已给出(按论文所述),WorldReasonBench与WorldRewardBench均承诺公开。数据可获得性:436条用例的初始图像、prompt、QA对与ground-truth期望答案将一并发布,专家偏好的6K对子集在去标识化后也会发布,Google Gemini 3.1 Pro、Qwen3.5-27B、Qwen3.5-9B等用于生成caption/prompt/QA的VLM均为闭源商用API,意味着benchmark构造本身部分依赖商用API,这部分不可完全自复现。算力需求:论文未明确给出训练算力(因为bench本身不训练模型),但评测阶段对每个生成器调用4 FPS约10帧/视频、Qwen3.5-27B-Thinking做推理,11个模型×436例×4维×2 prompt制度 ≈ 38K次VLM调用,折算商用API成本约数千美元;若用开源VLM替代,可在8张A100上分布式推理约一周内完成;若额外训练reward model,需要再叠加7-14天单卡A100训练。复现难度:技术栈涉及VLM-as-Judge、Bradley-Terry+Davidson ties、Bootstrap CI、4阶段reasoning-phase mapping等,工程门槛高于普通SFT任务;最大的'工程陷阱'是闭源生成器(Sora2/Veo3.1/Seedance2.0)的调用与结果复现可能因API版本/区域限制/模型迭代而不稳定,论文虽然报告了Veo3.1-Fast 8 frames per video的固定budget,但商用API内部的随机性仍可能让对比结果在不同日期跑出小幅差异。综合看,在WorldReasonBench的benchmark与WorldRewardBench的偏好对上做自动指标评测的复现是中等可行,但完整对齐商用闭源API的实测分数难度较大。