将预训练视频模型单阶段微调为机器人策略,无需架构修改即可实现SOTA操控性能
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
OmniTransfer:三模块统一框架实现多任务时空视频迁移
双分支架构解耦理解与生成,跨模态自注意力实现协同胸部X光分析
提出解绑-重绑机制实现任意数量、类型、空间布局的角色动画
利用LLM构建部件级动作数据集,实现细粒度时空控制的扩散模型动作生成
未来光流预测提升机器人控制与视频生成
👍 19统一VLM-Diffusion架构从网络视频学习语言驱动的未来光流预测,赋能机器人操控和视频生成
三阶段解耦物理推理与视觉合成的免训练视频生成框架
基于MMDiT的实时流式人形视频生成框架,25fps低延迟交互,支持任意时长
VIBE:基于视觉指令的图像编辑器
👍 61紧凑高效的指令式图像编辑系统,2B VLM+1.6B扩散模型,4秒生成2K图像
让LLM先推理再生成,突破T2I模型的文字-像素映射局限
基于扩散模型,通过VNE和宽松训练目标编辑物体内在属性。
利用VJEPA-2世界模型奖励信号在推理时引导视频生成以提升物理真实性
首次实现无需标注的骨骼绑定与运动生成统一框架
SRENDER通过生成稀疏关键帧和3D渲染,将相机控制视频生成加速40倍以上
视频生成中的运动归因:MOTIVE框架
👍 72提出MOTIVE框架,通过运动加权梯度归因识别影响视频生成运动质量的训练片段。
基于VLM与扩散模型的统一框架,通过自然语言指令实现多语言视觉文本生成与编辑。
首个在手机端实现 DiT 高质量图像生成的系统,0.4B 模型 1.8 秒生成 1K 图像
首个仅需单帧掩码的端到端视频角色替换框架
通过语义解耦表征对齐增强潜在扩散模型
👍 17语义解耦VAE取代浅层对齐,ImageNet 256×256 FID达1.21
提出4D几何控制表示,统一控制相机和多物体运动,生成高保真动态视频