提出双流内存银行+边界感知门控,解决多镜头音视频生成中的身份漂移问题
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
统一TF-CM和SF-DMD的三阶段蒸馏,1-4步实时流式视频生成达84.63分。
提出PQSG框架,用层次化问题图细粒度评估视频生成物理真实性
基于点跟踪的视频合成与运动控制
👍 4通过参考图像锚定的点跟踪统一实现视频外观和运动控制
用图像编辑替代视频生成作为世界动作模型骨干,降低推理成本并提升机器人控制性能
当前世界模型缺乏持久状态核心
👍 18现有视频世界模型无法在相机离开视野后维持世界状态的连续演化
提出首个统一控制相机、物体和天气的视频世界模型,从单张图像生成精确可控的目标天气场景
通过稀疏3D边界框实现精确的多对象视频生成与编辑控制
提出语言引导的三维物体点轨迹预测方法,构建百万级数据集和基准,显著超越现有运动预测方法
首个原生面向物理AI的世界模型,跨具身课程+混合线性时序记忆
首个单GPU实时运行22B参数的视听自回归生成模型,支持亚秒级交互和千秒级长时生成
通过改进提示词、清理人工制品和重新设计评分方法,提升了物理理解评估的可靠性
提出分层动作感知记忆,统一导航和物体交互的实时交互式世界模型
支持相机导航、场景记忆和可组合事件控制的通用世界模型
以自然语言为统一动作接口,跨场景训练具身视频世界模型。
提出无标签对抗框架BadWorld,攻击自回归世界模型速度场暴露其脆弱性
用配对3D点轨迹条件化视频扩散,实现相机可控的4D一致视频重渲染
通过解耦语义外观与几何结构实现编辑后视频长期一致性
用"相机栅格视频"作为视觉化的相机表征,实现无需跨配对数据的多镜头相机运动克隆。
iMaC把未来动作渲染成运动图与接触图,注入视频扩散模型做策略评估。