从状态构建和动力学建模两个维度，系统梳理视频生成模型迈向世界模拟器的技术路径
标签：
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
SALAD在视频扩散变换器中引入并行线性注意力分支，实现90%稀疏度和1.52-2.03倍推理加速，同时保持生成质量。
重新思考面向具身世界的视频生成模型
👍 46提出机器人视频生成基准RBench与大规模数据集RoVid-X
OmniTransfer：三模块统一框架实现多任务时空视频迁移
提出解绑-重绑机制实现任意数量、类型、空间布局的角色动画
未来光流预测提升机器人控制与视频生成
👍 19统一VLM-Diffusion架构从网络视频学习语言驱动的未来光流预测，赋能机器人操控和视频生成
首个将物理碰撞规则直接编码到高维空间的强化学习视频生成框架。
三阶段解耦物理推理与视觉合成的免训练视频生成框架
基于MMDiT的实时流式人形视频生成框架，25fps低延迟交互，支持任意时长
基于转移匹配蒸馏的快速视频生成方法
👍 34提出TMD框架，将大型视频扩散模型蒸馏为少步高效生成器
利用VJEPA-2世界模型奖励信号在推理时引导视频生成以提升物理真实性
SRENDER通过生成稀疏关键帧和3D渲染，将相机控制视频生成加速40倍以上
视频生成中的运动归因：MOTIVE框架
👍 72提出MOTIVE框架，通过运动加权梯度归因识别影响视频生成运动质量的训练片段。
首个面向自动驾驶世界模型的综合基准，覆盖视觉真实性、轨迹合理性、时间一致性和可控性四大维度
首个大规模VAR视频生成框架，多尺度下一帧自回归，13倍加速推理
目标力：教会视频模型完成物理条件化的目标
👍 16通过目标力向量条件化视频生成，让模型学会规划因果物理链来达成指定效果。
通过视觉身份提示和多视角视频生成增强机器人操作数据
提出4D几何控制表示，统一控制相机和多物体运动，生成高保真动态视频
首个引入时空记忆机制的相机控制视频重渲染框架，实现多视图场景的一致性生成
ReHyAt通过混合注意力将视频生成复杂度从二次降为线性。