← 返回 2026-10-01

Physis-Lang:自演化物理语言作为视频世界模型的物理表示 Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model

Liming Lu, Xianzheng Ma, Wenkun He, Guanqi Zhan, Yilin Zhao, Junyu Chen, Mengyao Xu, Jiaojiao Fan, Wenhang Ge, Yuchao Gu, Yunze Liu, Boyi Li, Zhen Dong, Victor Prisacariu, Ming-Yu Liu, Song Han, Han Cai 📅 2026-09-30 👍 11 2026-11-11 18:30
数据引擎 智能体自演化 物理合理性 视频世界模型 视频生成 语言表示

把自演化的结构化物理语言作为统一表示,贯穿数据、训练与推理,让开源视频模型超越 Veo 3.1

前置知识

视频世界模型

指能根据文本、图像或历史帧预测物理世界如何演化的视频生成模型。它不只追求画面好看,更要求预测出动作的后果符合真实物理规律(物体不穿模、碰撞动量守恒、流体自然流动),是具身智能、机器人学习和自动驾驶仿真等下游任务的基础组件,代表性开源工作包括 Wan 和 NVIDIA Cosmos 系列。

本文的全部目标就是提升这类模型的物理合理性,先理解'世界模型要预测演化而非渲染帧'这一动机,才能理解作者为何执着于物理层面的监督信号。

扩散变换器与文本条件生成

当前主流视频生成模型(Wan、Cosmos 等)是基于 DiT 的扩散模型:对加噪的视频潜变量逐步去噪,文本经 T5 类编码器(如 Wan 用 UMT5-XXL)编码后通过联合注意力注入。文本 token 与视频潜变量 token 在同一注意力序列中交互,因此输入文字的内容和结构直接影响生成动态。

本文的方法核心是改变文本条件的写法(base caption + physics_reasoning + 负向提示),其微调、注意力分析和 Wan 的 512-token 编码器滑窗扩展都建立在文本条件机制之上。

LoRA 低秩适配微调

冻结预训练模型全部权重,只在注意力层的 Q/K/V/O 投影旁注入一对低秩矩阵,训练参数量为原模型的极小部分,显存和算力需求大幅降低。本文对 Cosmos3 家族用 rank 16/scale 32,对 Wan2.1-14B 用 rank 256/scale 512,并额外全量微调 Wan 的 patch embedder 和输出层。

论文所有微调实验均基于 LoRA,看懂它才能理解附录 B.5 的训练配置、显存开销以及'不改动模型架构与训练目标'这一声明的具体含义。

无分类器引导与负向提示

无分类器引导(CFG)在采样时对有条件与无条件预测做加权外推以放大条件影响;负向提示(negative prompt)则把不希望出现的内容作为负条件,引导模型远离这些模式。本文在推理期构造 physics_negative_prompt,用文字描述'该场景可能出现的违背物理的演化'来主动抑制物理错误。

physics_negative_prompt 是本文推理期提升物理性的关键组件之一,消融显示它单独可带来最高 +5.96 分,理解负向提示机制才能看懂这一设计。

原子断言评测

把一段长描述分解成若干可独立验证的最小命题(原子断言),逐一对照视频判断正确、错误或不确定,再统计正确率和覆盖率。相比对整段文字整体打分,它能量化定位漏写了什么、编造了什么,给出可解释的诊断报告。

PhysCapBench 的 3,794 条人工断言、critic 的 precision/recall、智能体演化环的反馈信号全部建立在原子断言层面,这是理解本文评测体系的钥匙。

智能体自演化

一种让智能体通过'生成—评估—反思—修改'循环迭代改进自身提示词、策略或记忆的范式,过程中底层模型权重保持不变,性能随迭代提升。典型做法包括对失败尝试做语言化自我批评、用模型当裁判构造偏好数据等。

本文是首个把该范式用于物理推理并服务视频生成的工作:演化对象是 captioning 指令而非模型权重,理解这一范式才能分清'改 prompt'与'改模型'两条线各自的贡献。

研究动机

视频世界模型需要预测物理世界的演化,但现有模型普遍生成'看起来真实、物理上错误'的视频:物体莫名形变或凭空消失、碰撞结果不符合动量守恒、流体运动不自然、因果事件顺序颠倒,且已有基准证明感知层面的逼真并不等于物理理解。数字上很直观:开源骨干 Wan2.1-14B 在 Physics-IQ Verified 上仅得 27.87 分、PhyGenBench 仅 56.67 分,即便是闭源最强的 Veo 3.1 也只有 34.99 和 65.63 分。现有改进路线的共同设计选择是:自然语言只负责描述画面里'有什么',物理知识则靠额外信号补足——或用视觉/几何/潜变量辅助分支蒸馏物理先验,或用物理奖励模型做强化学习与偏好优化,或注入仿真器导出的轨迹和方程。这些辅助机制要么工程复杂、要么仿真计算昂贵且泛化性差,而语言作为最廉价、最通用的知识载体反而没有被系统挖掘。

本文的目标是本文要检验并证明一个与主流共识相反的假设:语言在物理表达上的不足并非语言本身的内在局限,而是因为语言没有被充分结构化和系统优化。为此作者要构建一套以'物理语言'为中心的自演化框架 Physis-Lang,具体目标包括:让 caption 显式描述物理实体、原因、 governing 原理与结果效应;建立可量化的物理 caption 评测基准(PhysCapBench)和 critic,为语言演化提供目标函数与停止准则;用语言把数据策展、模型训练、视频生成三个阶段连成闭环;最终在不改动模型架构和训练目标的前提下,通过 LoRA 微调让开源 Cosmos3-Nano 在四个物理视频基准上全面超越闭源的 Veo 3.1,从而证明'语言本身就能当物理表示'。

与已有工作不同的是,本文的独特切入是'重访假设':别人把语言当条件接口、用额外信号补物理,本文把语言本身当作可优化的共享表示。具体差异体现在三层。表示层:把 caption 扩展为 base caption + physics_reasoning + physics_negative_prompt 的结构化字段,用 Cause/Law/Effect 的断言组织物理内容,而不是新增视觉或潜变量特征通道。优化层:演化的是 captioning 指令而非 captioner 权重——captioner 固定为 GPT-5.5,用 physics-aware critic 的诊断报告指导 evolution agent 改写指令,这是首个把 agentic self-evolution 应用于物理推理并反哺视频生成的工作。数据层:用'模型缺陷画像 ↔ 视频库 physics tags'的文本匹配做检索,取代基于视觉相似度的检索,使数据引擎能召回外观迥异但物理内容互补的视频,定向补齐模型最弱的处理域。

核心方法

直觉上,如果训练数据里的文字讲清楚了'为什么'(原因—定律—结果链条),推理时又给模型点明该场景的物理规则和'不要发生什么',扩散模型学到的动态就会更符合物理。技术路线分三块协同。第一块是智能体 caption 演化环:固定 GPT-5.5 captioner,从初始指令出发生成候选物理描述,由 physics-aware critic 按原子断言的精确率和召回率打分并产出失败报告,evolution agent 根据报告改写指令,每轮在 PhysCapBench 上验证,F1 饱和即停,最优指令用于重标整个训练语料。第二块是语言引导数据引擎:GPT-5.5 诊断代理把生成视频的物理失败归类成缺陷画像,在带 physics tags 的视频库中做文本检索取回 112K 视频,与 71K 筛选后的 WISA 合成 183K 训练集并用演化后的指令重新标注。第三块是推理期引导:用 upsampler 把短提示扩展为物理丰富的 prompt 并生成场景专属负向提示。最后用 LoRA 微调 Wan2.1-14B 与 Cosmos3 Edge/Nano/Super,并把 GPT 流程蒸馏成两个 4B 的 PhysThinker 模型以消除商业 API 依赖。

核心创新是'让语言成为物理知识的载体,并让语言自己进化'。与已有方法的本质区别有三点。其一是表示的统一性:同一份物理语言同时服务数据策展(缺陷画像与物理标签的文本匹配)、训练监督(video–text 对中的 physics_reasoning 字段)和推理引导(upsampled prompt 加负向提示),三个阶段共享一个表示并相互反哺,而现有方法是各阶段各用一套互不相通的信号。其二是优化对象从权重变成指令:captioner 权重冻结,只迭代 captioning instruction,critic 的 claim 级失败报告使修改可解释、可定向——例如第 9 轮的最优指令要求'每个可见因果步骤显式写出、抽帧率从 2fps 提到 4fps',这种细粒度改进是端到端训练难以做到的。其三是检索按物理内容而非外观:缺陷画像(如流体、碰撞、断裂)匹配视频库 caption 派生的 physics tags,天然支持'外观多样、物理同源'的数据扩展,这是视觉相似度检索做不到的。

方法步骤详情

完整流程分七步。第一步,构建 PhysCapBench:从 Physics-IQ 与 YouTube 收集 246 段物理丰富视频,AI 标注者把显著物理过程分解为原子断言(Cause/Law/Effect 三类),人工审核纠错补漏,得到 3,794 条断言、平均每视频 15.4 条。第二步,构建 physics-aware critic:把候选 caption 分解为原子 claim,逐条对照视频判 correct/incorrect/uncertain,得 $Precision = N_{correct}/(N_{correct}+N_{incorrect})$;再检查 caption 是否覆盖每条人工断言的完整物理含义,得 $Recall = N_{pass}/N_{ground\text{-}truth}$;综合报告 $F_1 = 2 \cdot Precision \cdot Recall/(Precision+Recall)$ 与失败原因,评测由 Gemini-3-Flash 在温度 0.1、每批不超过 30 条 claim 下完成。第三步,智能体演化环:在 20 个开发视频(共 273 条人工断言)上迭代 $P_t \to \mathcal{C}_t \to R_t \to P_{t+1}$,captioner 为 GPT-5.5、critic 为 Gemini-3.1-Pro,每轮在 PhysCapBench 验证,F1 从 78.64 升至第 9 轮 87.82 后饱和,选定最优指令 $P^*$。第四步,数据引擎:GPT-5.5 诊断代理将模型失败归类(刚体、碰撞、流体等)形成缺陷画像,与视频库 caption 派生的 physics tags 做文本匹配,取回 112K 视频,与 71K 筛选后的 WISA-80K 组成 183K 训练集,全部用 $P^*$ 重标为 base caption + physics_reasoning。第五步,LoRA 微调:只加在注意力 QKVO 投影(Cosmos rank 16/scale 32;Wan rank 256/scale 512 且 patch embed 与输出层全量微调),学习率 $5\times10^{-4}$ 的 AdamW($\beta_1{=}0.9, \beta_2{=}0.95$,梯度裁剪 0.1),Cosmos-Nano 用 16 GPU 训至 1,340 步,Wan 用 16 张 H100 训至 8,000 步。第六步,推理:PhysThinker-U 或 GPT 把短 prompt(可含首帧图)扩展成物理 prompt 并生成场景专属 physics_negative_prompt 作负条件;Wan 的 UMT5-XXL 512-token 限制用 192-token 重叠滑窗并对重叠区嵌入取平均解决。第七步,蒸馏:用 GPT 产物微调两个 Qwen3-VL-4B 得到 PhysThinker-C(视频转物理 caption,128 张 A100 训练)与 PhysThinker-U(prompt 扩展,32 张 A100),替代商业 API。

技术新颖性

技术新颖性可从四个层面评估。概念层面:首次系统论证'结构化且自演化的语言'本身即可充当视频世界模型的物理表示,直接挑战了'语言不够、额外信号来凑'的领域共识,并用跨四个基准超越 Veo 3.1 的结果给出了有力证据。评测层面:PhysCapBench 把 caption 质量量化为原子断言级的 precision/recall/F1,为 prompt 演化提供了可停止、可比较的目标函数——以往基准只评生成视频,不评物理描述本身的质量,这一环是整个自演化闭环能够收敛的前提。系统层面:把 agentic self-evolution、语言引导检索、负向物理提示与 LoRA SFT 组装成各环节可独立消融的闭环,Table 7 的消融清晰拆出 zero-shot 提示、SFT、负向提示分别贡献 +1.66、+3.55/+3.75、+2.50/+4.16 分,证明各组件非冗余。工程层面:给出 Wan 512-token 文本编码器的滑窗扩展技巧,以及用两个 4B 模型替代商业 API 的蒸馏方案(成本从约 $24.12K 降到 $0.12K 甚至为 0),使方法能在全开源栈上以可接受精度损失复用。

Overview of our method
Figure 2: Overview of our method
Overview of our physics-aware critic and physics caption benchmark
Figure 3: Overview of our physics-aware critic and physics caption benchmark
F1-score trajectory across prompt self-evolution iterations on PhysCapBench
Figure 6: F1-score trajectory across prompt self-evolution iterations on PhysCapBench
Sliding-window mechanism for text encoding in Wan2.1
Figure 7: Sliding-window mechanism for text encoding in Wan2.1
Cup drop, impact, and fracture
Figure 10: Cup drop, impact, and fracture
Newton's cradle and momentum transfer
Figure 11: Newton's cradle and momentum transfer

实验结果

逐个实验看。其一,四基准主对比(Tables 1–4,Cosmos3-Nano 微调):Physics-IQ Verified Final 从基线 40.23 升至 43.41,远超 Veo 3.1 的 34.99(子项 WS 42.45、MSE 42.23 均领先);PhyGround Overall 从 65.18 升至 69.90,超过 Veo 3.1 的 69.24;PhyGenBench Overall 从 61.67 升至 71.04,超 Veo 3.1 的 65.63,其中 Heat 75.56、Material 69.17 提升最大;VideoPhy-2 All 得 68.02,比 Veo 3.1 的 68.87 低 0.85 分,但在 Hard 子集上以 62.36 反超 3.93 分(Veo 58.43),说明越难的物理常识场景优势越大。其二,跨骨干与规模(Table 5):Wan2.1-14B 四基准平均 +7.05 分,Cosmos3-Nano +6.22,Cosmos 家族内 Edge-4B +3.24、Nano-16B +6.22、Super-64B +5.02,方法随模型族和规模均稳定有效。其三,caption 演化(Fig. 4):PhysCapBench F1 由第 1 轮 78.64 升至第 9 轮 87.82;冻结模型只换推理 caption,PhyGenBench 从 64.17(iter1)→65.63(iter4)→65.83(iter8)→67.29(iter9),证明演化出的语言本身就能带来自由提升。其四,数据检索(Table 6/Fig. 5):加入 112K 检索视频平均再 +3.01 分(PhyGenBench +2.92、Physics-IQ +2.73、VideoPhy-2 +3.39),按类别分解化学过程 +8.00、热过程 +8.00、断裂力学 +7.45、软体 +7.41、布料 +7.19,弹性最低 +1.23。其五,组件消融(Table 7):zero-shot 物理 reasoning 提示 61.67→63.33(+1.66,优于人工设计 prompt 的 61.86);负向提示 C→D +5.96;SFT 再加 +3.55(C→G)/+3.75(D→H);检索数据后 G→H 负向提示再 +4.16,最终 71.04。其六,蒸馏与成本(Table 8):全商业流程 +7.05、标注费约 $24.12K;仅换 PhysThinker-C 为 +6.76、成本降至约 $0.12K;全本地 +4.76、成本为 0。其七,通用能力不回退(Table 11):VBench-I2V 上 Wan2.1 从 86.86 升至 87.51、Cosmos3-Nano 从 88.32 升至 88.69。机制上,微调后物理关键词的注意力得分相对提升 19.2%–52.2%(Table 9),注意力图更聚焦火焰变色等关键区域;评测器验证(Table 10)显示原 VideoPhy-2 VLM 对四个差距巨大的模型都打 22.50–23.69 的相近分,而 GPT-5.5 给出 49.41–68.87 的可区分分数。

Effectiveness on different backbones
Table 5: Effectiveness on different backbones
Effect of retrieved training data
Table 6: Effect of retrieved training data
Prompting and SFT on PhyGenBench
Table 7: Prompting and SFT on PhyGenBench
PhysThinker replacement on Wan2.1-14B
Table 8: PhysThinker replacement on Wan2.1-14B
Relative increase of attention scores of physical keywords after fine-tuning
Table 9: Relative increase of attention scores of physical keywords after fine-tuning
Comparison of VideoPhy-2 scores under different evaluators
Table 10: Comparison of VideoPhy-2 scores under different evaluators
Comparison of different models on VBench
Table 11: Comparison of different models on VBench
From caption evolution to video generation
Figure 4: From caption evolution to video generation
VideoPhy-2 category gains after retrieval
Figure 5: VideoPhy-2 category gains after retrieval
Qualitative comparisons on different physics benchmarks
Figure 8: Qualitative comparisons on different physics benchmarks
Qualitative results on driving and robotics
Figure 9: Qualitative results on driving and robotics
Visualization for the attention scores of visual and text tokens
Figure 12: Visualization for the attention scores of visual and text tokens
Different evaluators for videos generated by CogVideoX1.5-5B and Cosmos3-Nano
Figure 13: Different evaluators for videos generated by CogVideoX1.5-5B and Cosmos3-Nano
查看结构化数据
任务指标本文基线提升
图像到视频物理保真(Physics-IQ Verified) Final 综合分(含 ST/S/WS/MSE,百分制) 43.41(Cosmos3-Nano 微调) Cosmos3-Nano 40.23;Veo 3.1 34.99 +3.18 vs 微调前基线;+8.42 vs Veo 3.1
图像到视频物理贴合(PhyGround) Overall(General 与 Physics 平均,百分制) 69.90 Cosmos3-Nano 65.18;Veo 3.1 69.24 +4.72 vs 基线;+0.66 vs Veo 3.1
文生视频物理正确性(PhyGenBench) Overall(力/光/热/材料四类平均,百分制) 71.04 Cosmos3-Nano 61.67;Veo 3.1 65.63 +9.37 vs 基线;+5.41 vs Veo 3.1
文生视频物理常识(VideoPhy-2 Hard 子集) 联合准确率(SA≥4 且 PC≥4,百分制) 62.36 Cosmos3-Nano 48.31;Veo 3.1 58.43 +14.05 vs 基线;+3.93 vs Veo 3.1
跨骨干与规模泛化(四基准平均) Mean Δ 平均提升 Wan2.1-14B +7.05;Cosmos3-Nano-16B +6.22;Edge-4B +3.24;Super-64B +5.02 各对应预训练模型 两个模型族、三个参数规模(4B/16B/64B)全部为正增益
物理视频描述质量(PhysCapBench) F1(%) 87.82(第 9 轮演化指令) 78.64(第 1 轮初始指令) +9.18,9 轮指令演化无权重更新
通用视频生成能力(VBench-I2V) VBench 总分 Wan2.1 87.51;Cosmos3-Nano 88.69 Wan2.1 86.86;Cosmos3-Nano 88.32 +0.65 / +0.37,物理微调未损伤通用能力

局限与改进

作者展示或可从数据中读出的局限:一是对闭源大模型的流程依赖——演化环的 captioner(GPT-5.5)、critic(Gemini-3.1-Pro)和诊断代理都是商业模型,虽然 PhysThinker 提供了开源替代,但全本地化后四基准平均增益从 +7.05 降到 +4.76,物理推理上限明显受 4B 模型约束;二是评测协议改动大——作者用 GPT-5.5 替换了 VideoPhy-2 和 PhyGenBench 的官方评测器,虽有 Fig. 13/Table 10 的区分度论证,但数字与官方榜单不可直接比较,且裁判与 caption 生成同为 GPT 系模型,可能存在风格亲和带来的偏差;三是部分场景增益有限——Cosmos3-Edge-4B 在 PhyGround 上反而微降 0.10 分(66.66→66.56),检索数据对弹性类物理仅 +1.23 分,Physics-IQ Verified 的提升(+3.18)也明显小于 PhyGenBench(+9.37),说明时序像素级一致性和难以文字化的物理子域可能需要语言之外的信号;四是训练成本不低——183K 视频、16 到 128 张 GPU 的量级对普通实验室仍有门槛。

独立分析的弱点

独立分析的弱点及改进方向。第一,语言表示的数值精度上限:自然语言难以精确表达恢复系数、黏度、质量比等定量物理量,对需要精确动力学的场景(如弹道预测、流体细节)表达力有限,可探索在 physics_reasoning 中嵌入关键物理量的符号化数值字段,形成'语言+量'的混合表示。第二,负向提示的生成依赖 captioner 对失败模式的想象力,缺乏系统性枚举,容易漏掉罕见但关键的违背方式,可结合轻量物理仿真器离线生成反例库,按场景类型自动注入负向提示。第三,训练目标仍是普通 SFT,物理性没有被显式优化,模型只能被动模仿好 caption 对应的视频,可把 PhysCapBench 式断言校验改造成 reward model,用 DPO 或 RL 直接对物理合理性做偏好优化。第四,评测裁判单一化,正文未报告人工评测作为佐证,'GPT-5.5 判 GPT-5.5 写的 caption 训出来的视频'存在循环性风险,应补充双盲人评和官方评测器双轨结果。第五,缺陷画像来自当前骨干的失败案例,骨干更新后画像会漂移,数据引擎需要在线化维护,否则 112K 检索数据的针对性会随版本迭代衰减。

未来方向

未来方向可分作者提出与自主延伸两类。作者在结论和实验中已铺垫的:把物理语言表示扩展到动作条件世界模型与机器人策略仿真(附录 D 已给出驾驶与机械臂的高质量 demo 但未量化评测);通过 PhysThinker 的持续蒸馏降低部署成本。基于本文成果可自然延伸的:一是让自演化环在线化——模型部署后持续诊断新失败模式、增量检索数据、更新指令,形成终身学习式数据引擎;二是把语言物理表示与潜变量信号或可微仿真融合,专攻流体、软体大形变等数值敏感物理,弥补纯语言的精度短板;三是用物理断言评测构造 RL 奖励或偏好对,把 SFT 升级为物理感知的对齐训练;四是把 Physis-Lang 范式迁移到音频、3D 场景、交互式环境等其他模态的世界模型,检验'结构化语言当表示'的普适性;五是探索超越自然语言的物理描述形式,如程序化物理脚本与语言的混合,让表示既能被 LLM 处理又能被仿真器执行。

复现评估

复现评估如下。数据侧:WISA-80K 公开可用,PhysCapBench(246 视频、3,794 条人工断言)附录 E 展示了样例并描述了构建协议,但 112K 检索视频依赖一个大规模视频库加 GPT-5.5 逐条打 physics tags,完全复现这部分的成本和工程量不小。模型侧:骨干 Wan2.1-14B、Cosmos3 家族、Qwen3-VL-4B 均开源,训练全是 LoRA(Cosmos rank 16、Wan rank 256),附录给出了详尽超参(学习率 $5\times10^{-4}$、AdamW 系数、CFG dropout 0.1、各家族的 GPU 数与迭代步数),Cosmos-Nano 需 16 GPU 两节点、Wan 需 16 张 H100、PhysThinker-C 需 128 张 A100——对产业界友好,对学术实验室偏高但 LoRA 方案显存门槛可控。流程侧:caption 演化环 9 轮迭代的 API 开销可观,商业全流程标注费约 $24.12K,蒸馏后降至约 $0.12K 或为 0。总体难度评为中高:截至 v1 版本正文未给出开源代码仓库链接,若代码不开放,复现演化环的提示词轨迹和 critic 协议需要较强工程经验;而若作者开源 PhysThinker 权重与重标数据集,推理侧复现会容易得多。

相似论文推荐