← 返回 2026-10-13

WOVEN:将视觉世界建模编织进多模态大语言模型 WOVEN: Weaving Visual World Modeling into Multimodal LLMs

Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang, Canyu Chen, Jie Hao, Xing Fan, Chenlei Guo, Eric P. Xing, Mohit Bansal, Manling Li 📅 2026-10-08 👍 8 2026-11-11 18:30
合成数据 基准数据集 多模态大模型 视觉世界模型 视觉转换推理 迁移学习

用视频生成模型批量构造可控$(s,a,s')$转换监督,证明视觉转换推理是可跨任务迁移的共享训练原语

前置知识

MLLM(多模态大语言模型)

在大语言模型主干上接入视觉编码器(通常是 ViT)与模态投影层,使模型能同时接收图像/视频和文本输入并统一进行推理的模型,代表如 GPT-5.4、Qwen2.5-VL、Llama-4-Maverick。它们一般经过视觉-语言对齐预训练和指令微调,擅长识别与图文问答,但对动态变化的推理能力有限。

本文的被诊断和被改造对象就是 MLLM:所有关于'视觉转换推理缺陷'与'训练后迁移收益'的结论都建立在 38 个 MLLM 的评测和 Qwen2.5-VL/Gemma-3 的后训练实验之上。

视觉转换推理与 $(s,a,s')$ 三元组

把场景的视觉变化抽象为'初始状态 $s$ 经动作 $a$ 变为结果状态 $s''。已知其中两个成分推断第三个就是一次转换推理:前向动力学 $P(s'|s,a)$ 预测结果,逆动力学 $P(a|s,s')$ 反推动作,还有反事实替换、时序排序等 8 种操作、4 个家族。作者假设这是空间/具身/物理/时间推理共同的地基。

这是全文的核心假设与统一表示:WOVEN 的数据组织、8 种推理操作的定义、以及'推理操作决定迁移方向'的配方,全部围绕这个三元组展开。

反事实推理

在保持初始状态和背景条件不变的前提下,设想'如果当初采取另一个动作会怎样'。对应 Pearl 因果阶梯的最高层(观察→干预→反事实),数学上需要建模 $P(s'^{a_{alt}} \mid a, s', a_{alt})$ 这类条件分布,即给定事实动作和真实结局作为证据,推断替代动作的结果。

反事实是 WOVEN 四大推理族之一,也是实验中最难的部分(GPT-5.4 在 counterfactual removal 上仅 64.5%);它还是区分'背答案'与'真正建模世界'的关键测试。

视频生成模型(I2V)作为数据引擎

图像到视频(Image-to-Video)生成模型(本文用 Wan2.2-I2V-A14B)以首帧图像和文本动作为条件生成后续视频。由于生成过程隐含学到的物理与时间规律,从同一首帧在不同动作描述下可以生成多条'世界线',天然提供动作已知、结局已知、还能给出替代结局的受控转换数据。

WOVEN 全部 36,076 条数据都由这条路线合成(约 7 小时视频)。理解'世界模型隔离'与'反事实 rollout'两条构造原则,才能理解数据为何可控、又有哪些来自生成模型的偏差风险。

SFT 与 GRPO

SFT(监督微调)直接在问答对上最大化答案的条件似然;GRPO(Group Relative Policy Optimization)是一种强化学习算法,对同一问题采样一组回答,用组内相对奖励作为优势估计做策略梯度更新,无需训练独立的价值网络,常用于强化模型的推理与答题行为。

论文所有训练实验都遵循统一的两阶段协议:全量数据用 SFT,11 个受控子集用'SFT + GRPO'。表格中'WOVEN SFT'与'WOVEN GRPO'两行的差异直接说明 RL 阶段对迁移增益的贡献。

LoRA(低秩适配)

参数高效微调方法:冻结原模型权重,只训练注入到注意力和投影层的低秩增量矩阵 $\Delta W = BA$(秩 $r$ 远小于维度 $d$)。本文配置为 $r=16, \alpha=4$,作用于 q/k/v/o 投影,配合 AdamW、学习率 $10^{-4}$、3 个 epoch、fp16。

复现论文训练几乎必须照抄这套协议;附录 G.1 还给出选项排列增强(每题 4 种选项顺序)等细节,这些都是结论可复现性的组成部分。

研究动机

多模态大语言模型(MLLM)在静态感知和语言条件推理上已经很强,但在一切涉及'视觉会变化'的任务上系统性失灵:判错相机旋转方向、预测违反物理约束的结果、给出与任务目标冲突的动作建议、打乱视频帧顺序。作者对 38 个前沿模型(GPT-5.4、Qwen3-VL-235B-A22B、Llama-4-Maverick、Intern-S1-Pro、Gemma-4-31B 等)做了受控诊断:最强的 GPT-5.4 也只有 65.8% 准确率,而人类基线是 92.3%;时间邻接任务上主流模型落在 25.3%–28.0%(四选一随机是 25%),几何扰动下最高掉到 33.3%。外部基准也早已分别记录了这些缺陷:MindCube 上模型在视角变换和'如果相机移动会看到什么'的问题上接近随机,IntPhys 2 上 SOTA 视觉模型在违反期望测试中徘徊在 50%,CausalVQA、WM-ABench 记录了反事实失败,TOMATO、TemporalBench 记录了时序失败。但问题在于:这些基准各测一个侧面,动作内容、场景分布、推理要求全部混在一起,既不能比较'哪一维的监督更有价值',也不知道这些失败是否同根同源,更无法指导'训练什么数据能同时改善多个任务'。

本文的目标是作者想验证一个更大的命题:空间、具身、物理、时间这四类看似不同的推理失败,是否共享同一个底层缺陷——'动作条件下视觉转换推理'(action-conditioned visual transition reasoning)能力不足;以及这个能力能否作为一个共享训练原语(shared training primitive)被集中训练、被不同模型从不同监督来源习得、再被不同下游任务复用。具体拆成四个问题:(1) 转换推理缺陷是否跨模型家族一致、有多严重;(2) 它能否通过转换监督学到,收益能否超出训练任务;(3) 收益究竟来自各数据子集各管各的任务,还是来自一个共同习得的共享能力;(4) 根本问题——决定迁移方向的到底是什么:动作相似、场景相似、领域相似,还是对 $(s,a,s')$ 施加的推理操作本身。最终要产出一个可前瞻验证的视觉世界模型训练配方,而不只是又一个基准。

与已有工作不同的是,本文最独特的切入是'用生成式视频模型作为受控世界模型引擎'。真实视频给不出已知动作标注,更给不出'同一初始状态换个动作会怎样'的替代结局;机器人模拟器可控但缺乏真实感和场景多样性。视频生成模型的 rollout 先验恰好补上这个空缺:它能从指定首帧和动作生成结果与中间状态(作者称之为'世界模型隔离'原则,结果状态由 rollout 产生而非提示词规定),还能从同一初始状态在不同动作下独立生成多条 rollout('反事实 rollout'原则),从而一次性提供前向、逆向、反事实、时序四种监督。第二个独特之处是因子化实验设计:把所有任务统一到 $(s,a,s')$ 表示上,沿场景(20 类)、动作(5 类)、推理(8 种操作×4 家族)三个轴独立控制,训练 11 个各约 2,000 条的受控子集,第一次把'推理操作'和'动作/场景内容'作为分离的变量来研究迁移——这是以往任何单一任务基准或聚合式世界模型评测都做不到的。

核心方法

直觉上,如果四类任务失败共享'不会推演视觉状态如何随动作变化'这一个根源,那么集中训练这一种能力就应该处处受益——本文就是把这句话做成可控实验。技术上分四步走。第一步形式化:视觉转换推理定义为从 $(s,a,s')$ 中已知部分推断未知部分,8 种推理操作写成条件分布(如 $P(s'|s,a)$ 前向、$P(a|s,s')$ 逆向),按因果深度、推断方向、时间粒度三个结构性质组织成 4 家族×2 操作。第二步数据合成:三阶段流水线——先为每个(动作类型×场景)生成文本规范(初始观察、带确定性标识符的动作描述、预期后状态);再用图像模型合成首帧,Wan2.2-I2V-A14B 以 $(s_t, a)$ 为条件生成 5 秒 24fps 的动作后视频,均匀抽取 11 帧 $f_{00}$ 到 $f_{10}$($f_{00}=s_t$,$f_{10}=s_{t+1}$),中间帧留给时序推理;同源不同动作的 rollout 互为反事实素材。第三步组装监督:按推理操作把帧组装成四选一选择题,问题用 30 个模板随机措辞,三个干扰项取自共享同一初始状态的其他 rollout 且各带错误类型标签(如'方向反转''违反重力'),支持细粒度错误归因。第四步训练与评测:全量训练集做 SFT,11 个受控子集(每种动作类型×推理族约 2,000 条)做 SFT+GRPO,在 3 个内部测试集和 26 个外部基准上零样本评测迁移。

核心创新有三层。第一层是表示统一:把空间、具身、物理、时间等庞杂下游任务全部还原为对同一个 $(s,a,s')$ 三元组的不同推断方向,8 种操作就是 8 个条件分布——这把'不同任务'变成了'同一能力的不同查询',为共享原语假说提供了可操作的定义。第二层是数据来源:用视频生成模型的过渡先验制造受控反事实数据。真实视频没有受控动作和替代结局,模拟器缺真实感,而 Wan2.2 这类 VGM 恰好同时具备'指定初始状态+指定动作+多条独立世界线'的生成能力,并配两条构造原则:P1 世界模型隔离(结局必须由 rollout 产生,不许写进提示词,保证监督来自学到的动力学而非文本泄漏)和 P2 反事实 rollout(同一首帧多个动作独立采样)。第三层也是最区别于前人的:因子化训练比较。训练集天然切成 11 个'动作类型×推理族'的受控子集(perc_causal、mani_cf、exo_physical 等),每轴可以单独变化而固定其他两轴,于是'迁移由什么决定'第一次成为一个可以干预实验回答的科学问题,而不是相关性观察。论文还进一步用数据替换实验(固定 2,000 条预算,把任务自身数据的 30–50% 换成 WOVEN)做因果性验证,以及用 8 个种子的前瞻实验在推导配方时完全未见过的基准上验证配方。

方法步骤详情

完整流程如下。(1) 文本规范生成:对每个(动作类型,场景)组合生成包含初始环境状态与第一人称观察、一至多个带确定性标识符的动作描述、预期后动作状态的文本;动作词表按类型固定——外生事件从 8 条认知科学原理(重力、支撑、惯性、容纳、碰撞及 3 条物体属性)中抽取,感知类用 4 种固定相机平移/旋转,检视类用 3 种相机环绕,导航类 4 个场景内目标,操作类 4 种物体交互。(2) 媒体合成:图像模型从初始观察文本合成首帧;Wan2.2-I2V-A14B 以(首帧,动作)为条件生成 5 秒 24fps 视频;每条视频抽 11 帧;每个源在同初始状态下按不同动作生成 1–4 条视频。(3) 质量控制:规则与模型过滤器逐动作类型做物理合理性检查,扰动类数据另加编辑保真、场景一致、无伪影检查(只过滤媒体,不过滤问题)。(4) 监督组装:按 8 种推理操作把帧组装成四选一 MCQ,30 个问题模板随机选用;干扰项来自同初始状态的其他 rollout,带错误类型标签;物理建模题的干扰项由图像编辑器生成,正确选项也过同一编辑器(空编辑)以消除伪影泄漏,控制实验证实无泄漏。(5) 数据划分:共 36,076 条——训练集 22,728、验证集 2,508、同分布测试集 6,228(训练用过的 18 个场景的新转换)、场景 OOD 测试集 3,496(餐厅和海滩两个 held-out 场景)、状态扰动测试集 1,116(对同分布题的初始状态做几何或外观单因素扰动,动作和问题不变)。(6) 训练:LoRA r=16、α=4、dropout 0.05、q/k/v/o 投影,3 epochs、batch 32、AdamW lr 1e-4、cosine 调度、5% warmup、fp16;WOVEN-only 训练每题做 4 种选项排列;子集训练在 SFT 后接 GRPO。主模型 Qwen2.5-VL-3B-Instruct,规模实验到 7B/32B,跨家族实验用 Gemma-3-4B-it。(7) 评测:3 个内部测试集 + 26 个外部基准零样本(22 个涉及视觉转换:空间、具身、物理、时序等;4 个静态感知/通用视频 QA 作特异性对照),增益超过 2 个百分点才算'改善'。

技术新颖性

与已有工作的本质区别可以从四个方向看。对任务特定基准(SAT、IntPhys 2、CausalVQA、TOMATO、ActionEQA 等):它们各自固定一条轴、混掉另一条轴,WOVEN 用统一的 $(s,a,s')$ 网格把它们变成同一空间里的散点,使任何基准都能映射到明确的(动作类型,推理类型)细胞上,失败归因从'模型不行'变成'哪个细胞不行'。对世界模型预训练(Orca 等视频 SSL 中训练):Orca 在同一 Qwen3.5-4B 骨干上用 12.5 万小时视频做潜空间下一状态预测中训练,3DSRBench 上只涨 +4.0;WOVEN 用约 7 小时生成视频、约 10.7 万条 QA 做纯后训练就涨 +6.7——说明'转换推理'这种认知原语可以用极少量的受控监督注入,不需要海量无标注视频。对状态转移预训练(GUI agent 的 forward/inverse dynamics、干预式世界状态数据):那些方法把转换监督当作特定领域的训练手段,本文第一次把它当作跨领域共享原语来研究'谁迁移给谁、为什么'。对以往合成数据工作(合成空间推理数据、规则游戏迁移等):它们验证了'合成数据有用',但没有受控轴,无法回答'哪一部分有用、监督该怎么选'。此外,错误类型化干扰项、状态扰动对比集、同编辑器空编辑对照等设计,都是针对'合成数据会教出捷径'这一常见质疑的系统性防御,方法论上相当扎实。

The WOVEN taxonomy. Every item is labeled along the three axes shown from left to right. Left: the exogenous action type with its eight principles, and the four endogenous types... Middle: the eight reasoning types in four families... Right: example scenes; restaurant and beach are held out for the scene-OOD test.
Figure 2: The WOVEN taxonomy. Every item is labeled along the three axes shown from left to right. Left: the exogenous action type with its eight principles, and the four endogenous types... Middle: the eight reasoning types in four families... Right: example scenes; restaurant and beach are held out for the scene-OOD test.
Construction pipeline: stage-1 textual specification, stage-2 VGM rollout (Wan2.2-I2V-A14B), stage-3 typed-distractor MCQ assembly, with quality-control filters at each stage.
Figure 8: Construction pipeline: stage-1 textual specification, stage-2 VGM rollout (Wan2.2-I2V-A14B), stage-3 typed-distractor MCQ assembly, with quality-control filters at each stage.

实验结果

实验回答了四个递进的问题。(1) 缺陷是系统性的:38 个前沿模型中最好的 GPT-5.4 在同分布测试上只有 65.8%(人类 92.3%),随后三名在 57.8%–63.2%;且失败模式跨家族一致——所有模型都是时间邻接(25.3%–28.0%)难于时序排序(30.8%–63.4%),反事实移除(54.8%–66.7%)难于反事实替换(64.5%–76.0%),几何扰动(33.3%–62.7%)比外观扰动(79.2%–95.5%)伤害大得多;缩放关不掉这个缺口。附带发现:视频生成器引擎只在时序类上强(53.1/56.2),V-JEPA 2 编码器只在动作条件类上强(前向 70.7、逆向 75.4),两者互补且都远低于人类。(2) 能力可学:Qwen2.5-VL-3B 全量 SFT 后同分布从 26.4% 升到 89.3%,held-out 场景 88.2%,扰动测试 21.1%→38.3%(几何 22.6%→35.0%,外观 19.7%→41.6%);11 个受控子集各自也能提升 WOVEN 准确率 +6.1 到 +25.3 个百分点,且能迁移到自己没训练过的动作类型上(如 mani_cf 对 Navi +27.2)。(3) 迁移广泛且共享:全量训练改善 26 个外部基准中的 12 个,SAT 从 37.3 到 61.3(GRPO,+24.0);按基准择优选子集后覆盖升到 22/26——即所有涉及视觉转换的基准——最高 +27.3 个百分点;子集对 WOVEN 提升越多,外部平均增益越大($r=0.86$);固定 2,000 条预算下用 WOVEN 替换任务自身数据 30–50%,精度不降且高于'直接删掉'的对照,SAT 上甚至全用 WOVEN 最高;置换/镜像转换的同格式对照不产生收益,排除了格式捷径。(4) 迁移由推理操作决定,且可前瞻预测:同一推理族的子集残差迁移轮廓平均相关 +0.32,只共享动作类型的是 −0.22(与毫不相关的 −0.23 无异);鲁棒性随训练中状态变化幅度单调上升(相机运动 +1.7 → 检视 +3.0 → 导航 +13.6 → 操作 +23.2 → 被动物理事件 +29.9);时序族与被动-主动边界不可穿越(时序子集把时间邻接从 25.7% 提到 55.6–58.7%,其余七个子集几乎无效;exo_physical 反而让 WorldPrediction −10.2);前瞻实验在 8 个从未参与配方推导的基准上、8 个种子下,5 组比较全部按配方预测方向显著(+3.5、+1.5、+0.6、+4.7,被动物理题上外生混合占优 −0.5,$p \le 0.04$)。效应还跨规模(7B SAT +20.0,32B +22.67)和跨家族(Gemma-3-4B-it 上复现)。

Eight reasoning operations considered in this work. The same operation can be applied to different actions and scenes.
Table 1: Eight reasoning operations considered in this work. The same operation can be applied to different actions and scenes.
Visual transition reasoning in frontier MLLMs against the human baseline. Accuracy (%) on the in-distribution test set, overall and by action type and by reasoning type, and on the state-perturbation test set...
Table 2: Visual transition reasoning in frontier MLLMs against the human baseline. Accuracy (%) on the in-distribution test set, overall and by action type and by reasoning type, and on the state-perturbation test set...
WOVEN test accuracy (%) of Qwen2.5-VL-3B-Instruct after training on the full training set, and gains (percentage points over the base model) after training on each controlled subset.
Table 3: WOVEN test accuracy (%) of Qwen2.5-VL-3B-Instruct after training on the full training set, and gains (percentage points over the base model) after training on each controlled subset.
Zero-shot transfer after training on the complete WOVEN training set. Accuracy (%) on the 12 improved benchmarks; Δ is the larger of the SFT and GRPO gains.
Table 4: Zero-shot transfer after training on the complete WOVEN training set. Accuracy (%) on the 12 improved benchmarks; Δ is the larger of the SFT and GRPO gains.
Broad transfer from controlled training subsets. Results on 8 of the 22 improved benchmarks... each column uses the best-performing subset for that benchmark, named in the last row.
Table 5: Broad transfer from controlled training subsets. Results on 8 of the 22 improved benchmarks... each column uses the best-performing subset for that benchmark, named in the last row.
Gains on the two agent-action benchmarks by non-temporal subset (percentage points over the base model; base accuracy: WorldPrediction 34.8, ActionEQA 43.4).
Table 6: Gains on the two agent-action benchmarks by non-temporal subset (percentage points over the base model; base accuracy: WorldPrediction 34.8, ActionEQA 43.4).
Prospective test of the recipe on held-out benchmarks. Accuracy (%), mean over 8 models; Δ = Recipe − comparison mixture... Set A: agent-action questions, Set B: passive-physics questions, Set C: camera-motion questions.
Table 7: Prospective test of the recipe on held-out benchmarks. Accuracy (%), mean over 8 models; Δ = Recipe − comparison mixture... Set A: agent-action questions, Set B: passive-physics questions, Set C: camera-motion questions.
WOVEN supervision substitutes for in-domain training data. Each panel retrains one external benchmark on a fixed 2,000-item budget in which a share p of the benchmark's own training data is replaced by items from a selected WOVEN subset...
Figure 3: WOVEN supervision substitutes for in-domain training data. Each panel retrains one external benchmark on a fixed 2,000-item budget in which a share p of the benchmark's own training data is replaced by items from a selected WOVEN subset...
Correlation of transfer profiles under the two candidate groupings. Pairwise Pearson correlation of the 11 subsets' 26-benchmark transfer profiles. Left: raw profiles, all pairs positive... Middle and right: the same residual matrix after the per-benchmark z-score, ordered by action type and by reasoning family; only the latter produces diagonal blocks.
Figure 4: Correlation of transfer profiles under the two candidate groupings. Pairwise Pearson correlation of the 11 subsets' 26-benchmark transfer profiles. Left: raw profiles, all pairs positive... Middle and right: the same residual matrix after the per-benchmark z-score, ordered by action type and by reasoning family; only the latter produces diagonal blocks.
查看结构化数据
任务指标本文基线提升
WOVEN 同分布诊断(视觉转换推理) 四选一准确率 (%) 训练后 Qwen2.5-VL-3B 89.3 训练前 26.4(随机 25) +62.9 pp;人类 92.3,GPT-5.4 仅 65.8
SAT(空间心理推演,circular 评测) 准确率 (%) 64.7(perc_causal 子集 GRPO)/ 61.3(全量 GRPO) Qwen2.5-VL-3B base 37.3 +27.3 pp(子集)/ +24.0 pp(全量)
ActionEQA(具身问答) 准确率 (%) 55.9(perc_causal 子集) base 43.4 +12.5 pp
TemporalBench-L(长视频时序,双序二元) 准确率 (%) 28.2(mani_cf 子集) base 16.6 +11.7 pp
InPhyRe(直觉物理归纳) 准确率 (%) 32.6(insp_cf 子集) base 22.0 +10.6 pp
WorldPrediction(程序性世界模型) 准确率 (%) 42.9(mani_causal 子集) base 34.8 +8.1 pp(对照:exo_physical 子集为 −10.2)
Robo2VLM(机器人视频问答) 准确率 (%) 42.4(insp_cf 子集) base 33.5 +8.9 pp
DSI-Bench(动态场景推断) 准确率 (%) 40.9(perc_causal 子集) base 34.9 +6.0 pp
MindCube(空间心理模型) 准确率 (%) 43.1(perc_temporal 子集) base 37.2 +5.9 pp
数据替换(SAT/ActionEQA/CLEVRER) 固定 2,000 条训练预算下的域内准确率 用 WOVEN 替换 30–50% 任务自身数据后精度持平 100% 任务自身数据(p=0) 等效节省 30–50% 任务数据;SAT 全用 WOVEN 反而最高
3DSRBench(与 Orca-4B 同骨干对比) 准确率增益 (pp) WOVEN 后训练 +6.7(约 7 小时生成视频) Orca-4B 视频中训练 +4.0(125K 小时视频) 视频用量少 4 个数量级,增益反超
前瞻配方验证(MMSI/VLM4D/PhysBench/SPAR/MVBench/IntPhys2/CameraBench 抽题) 准确率差 Δ = Recipe − 对照混合 (pp) 5 组比较全部显著:+3.5 vs Temporal-heavy、+1.5 vs Uniform、+0.6 vs Camera-heavy、+4.7 vs Exogenous-heavy;被动物理题 −0.5(配方正确预测该组会让位) 按动作/领域匹配的无配方混合(8 种子均值) p ≤ 0.04,全部方向符合配方预测

局限与改进

作者在附录 K 中承认的边界:WOVEN 刻意限定在'单步、视觉接地、动作条件'的 $(s_t, a, s_{t+1})$ 世界建模上,不直接覆盖长程程序性规划、符号环境动力学推断、纯潜空间预测表征这三条世界模型研究线——它们的状态空间和评价尺不同。我的补充观察有五点。第一,评测全部是四选一选择题,与真实部署中的开放生成、连续预测(如机器人控制需要的精确状态估计)有相当距离,'MCQ 上的迁移'未必等于'能力迁移',尽管作者做了选项排列和字母平衡控制。第二,全部数据来自 Wan2.2-I2V 的生成视频:生成模型自身的物理偏差会进入监督(作者自己的对照显示视频生成器在前向预测上只有 19.8%,甚至低于随机),即'用一个不完美世界模型教另一个',数据里可能埋着系统性错误物理。第三,场景 OOD 只用了 2 个 held-out 场景(餐厅、海滩),对真实世界分布偏移的覆盖偏窄。第四,训练后 3B 模型在同分布达 89.3%,但扰动测试仍只有 38.3%,距人类 97.3 还有巨大差距,说明学到的是任务分布内的转换规则而非真正鲁棒的世界模型。第五,迁移评测是零-shot 问答,没有验证到具身决策环路(规划、策略学习)中,'原语'对下游 agent 的实际价值仍需端到端确认。

独立分析的弱点

第一,选择题监督的语义瓶颈:四选一 MCQ 只要求'选出正确帧/顺序',不要求模型显式生成未来状态,模型可能学到的是判别式捷径而非生成式世界模型;扰动测试 38.3% 的上限也印证了这一点。改进方向:加入'从当前帧+动作生成/编辑出未来帧'或文字化状态描述的生成式监督,与 MCQ 混合训练。第二,教师本身有物理偏差:Wan2.2 在前向预测类上只有 19.8%,其 rollout 中违反重力和穿透的帧虽经质检过滤,但能过滤的只是显性错误,隐性偏差(摩擦、弹性、流体)无从校验。改进方向:用物理引擎(Isaac/Genesis)渲染的对照子集做交叉验证,或用违反期望检测器给每条 rollout 打物理置信分并加权训练。第三,家族边界不迁移暴露表示碎片化:时序族与因果/反事实族互不迁移、被动物理不迁移到 agent 任务,说明模型学到的可能是'按题型分策略'而非统一动力学表征。改进方向:引入统一的状态轨迹表示(如共享的潜空间 rollout 头)做多任务训练,测试能否抹平边界。第四,单步限制:真实具身任务需要多步组合动作与长视野信用分配,WOVEN 的单步转换无法直接覆盖。改进方向:把 (s,a,s') 链成序列并配以强化学习 rollout,用 WOVEN 初始化后再做长视野微调。第五,OOD 测试薄弱:仅 2 个 held-out 场景且同属照片级室内/室外,未测风格迁移、对抗纹理、跨文化场景。改进方向:扩充 held-out 集并引入真实视频(Ego4D 等)做分布外探测。

未来方向

作者明确提出的是把'细胞级统计归因'方法扩展到三条未覆盖的世界模型研究线:长程程序性规划(如 WorldPrediction 类任务)、符号环境动力学推断、以及以潜空间预测表征(V-JEPA 类)为核心的、通过下游控制评价的世界模型——即把这套受控三轴+受控子集+前瞻验证的实验范式迁移到新的状态空间上。基于本文成果还可以自然延伸出几个方向:(1) 把 WOVEN 作为强化学习的环境或奖励来源——前向动力学恰好定义了'动作→预期观测'的判分器,可用于训练具身 agent 的想象与规划能力;(2) 数据引擎自动化:既然 7 小时生成视频就能超过 12.5 万小时视频 SSL 的迁移效果,可以构建'按配方自动定向合成监督'的闭环——诊断下游任务缺哪种推理操作,就定向生成哪种子集,实现按需数据制造;(3) 规模定律研究:目前只测到 32B,转换推理收益随模型规模的曲线(是衰减还是保持)决定了该原语在 frontier 模型时代的价值;(4) 与真机结合:把 mani/navi 子集的收益验证到真实机器人策略微调上,检验'共享原语'能否兑现为控制性能;(5) 时序与反事实边界的理论解释——为什么这两类监督不可互相替代,可能涉及 Transformer 中的表征组织方式,值得可解释性研究跟进。

复现评估

复现条件总体友好。数据侧:论文首页标注了 Website、Code、Dataset 三个开源入口,36,076 条数据带完整元数据(taxonomy 路径、逐帧路径、干扰项错误类型标签),协议细节极其完备——三阶段流水线、质量控制过滤器、30 个问题模板、划分方式(22,728/2,508/6,228/3,496/1,116)全部写在附录 B;但要重建数据需要运行 Wan2.2-I2V-A14B(14B 视频扩散模型)和图像生成模型合成约 7 小时视频,视频生成算力是最大成本项,若直接用发布的数据集则可完全跳过。训练侧:基座是开源的 Qwen2.5-VL-3B/7B/32B-Instruct 和 Gemma-3-4B-it,LoRA r=16、lr 1e-4、3 epochs、batch 32、fp16,3B 模型单张到几张 A100/H100 即可完成,GRPO 阶段需要额外的采样开销但均为标准开源实现;每题 4 种选项排列增强等细节都已公开。评测侧:26 个外部基准全部公开,附录给出每个基准的评测单元数与打分方式(如 SAT 用 circular 评测、TemporalBench-L 用双序二元),并报告了 3–8 个种子的方差与显著性检验(95% CI、p 值),统计方法有专章(附录 D)。综合评估:用官方发布数据 + 开源基座复现核心训练与迁移结论属于中等难度,主要工程量在外部基准评测管线;从零重建数据合成管线则难度较高,需要视频生成集群。

相似论文推荐