诊断扩散视频模型的几何状态遗忘,并用 delta-token 对齐修复相机运动一致性
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
用世界建模统一视角,把视频理解、生成、统一与交互组织为读、写、共享、交互四大操作
RynnUnify:迈向统一具身大脑
👍 3416B 统一具身模型,以交错视频-语言推理打通理解、预测与机器人控制。
三阶段训练让MLLM隐变量真正驱动视频DiT,实现稀疏输入时序推理与因子感知控制
统一评测 T2V/I2V/V2V 代码生视频:2104 任务、17 项指标、15 个 MLLM
LoRA 微调视频模型,把游戏粗糙画面渲染成高质量视觉且保持实体同步
前瞻未来:自回归视频生成中的场景演化建模
👍 46给自回归视频扩散加未来块预测辅助任务,用更低训练成本显著提升物理合理性
以最终视频误差标定各层各步的稀疏敏感度,在延迟预算下联合求解密度分配表
冻结33B视频骨干,双LoRA实现任意结构输入的4步渲染,泛化到11种未见结构表示
首个为任意骨架联合生成视频、3D动作并自动配准相机的模型JCA
以绘画变化图为引导生成绘画过程
👍 16提出时空绘画变化图,从成品画反推可控的绘画过程视频
以专用视觉模型提取物体级物理量并对照物理定律校验,系统量化视频生成的物理合理性
把漫画先转成脚本和分镜两份“计划”并对照原格反复审校,再交视频模型生成忠实动画
状态世界模型:执行规则,生成像素
👍 13规则程序裁决动作结果并维护隐藏状态,冻结视频模型只负责渲染,规则遵循率从32%提升到92%
以真实数据Fréchet距离三项约束替代教师,rollout稳定超4000帧
交互式视频生成中的投机采样
👍 49把大块双向预测缓存为可撤销的未来,兼顾大窗口质量与细粒度低延迟交互。
提出MIST评测分离场景设置与延迟揭示,发现视频世界模型记忆低分主因是未执行动作而非遗忘
面向高效自回归视频生成的投机强制
👍 78把中间去噪估计当草稿逐token提前验收,质量不降前提下将自回归视频生成提速至1.6倍
首个以探索-回访协议系统评测交互式世界模型3D一致性的基准
用3DGS仿真器为高奖励候选轨迹渲染匹配视频,与轨迹GRPO联合后训练驾驶世界模型