利用图像转换、语言和3D流的三模态对齐学习动力学感知的机器人视觉表示
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
用于多模态智能体推理的智能体探索策略优化
👍 88通过工具调用重采样解决思考-行动差距,提升智能体推理能力
推进大型多模态模型中的创造性物理智能
👍 19提出MM-CreativityBench基准和affordance-grounded对齐方法,提升LMM在视觉环境中的创造性工具改用能力
提出模态翻译协议与SSC准则,诊断VLM视觉集成失败。
统一多模态模型的语义生成调优
👍 8利用图像分割作为生成代理,统一多模态模型的理解与生成能力
首个聚焦目标感知表示的多模态表格学习基准(40数据集)
统一框架下的高质量图像生成与精确图像编辑模型,支持长文本渲染、多语言排版和高分辨率照片级生成
各向异性模态对齐
👍 25把模态间隙重新解读为各向异性残差,用子空间+极坐标+先验校正做无配对模态对齐。
首个统一多模态领域泛化基准,揭示专门方法相对ERM基线仅有微弱提升。
用可微高斯溅射替代硬投影,从理论上消除跨模态熵坍缩,让稀疏点云真正吃进图像先验。
基于视频扩散先验的统一框架,单模型支持15种像素对齐任务的文本/视频间多模态生成。
统一文本概率空间的多模态蒸馏框架,含视觉切换与动态双向 logits 差异损失。
首个统一声音、音乐、语音三大域理解、生成、编辑的端到端多模态框架。
首个开放前沿通用LALM,支持30分钟长音频理解和时间锚定推理
用视觉语言联合推理自动生成相机轨迹,实现精准可控视频生成
先看再回答:从视觉基础的后训练中学习
👍 33发现视频理解数据集严重依赖语言捷径,提出仅用视觉基础问题后训练提升模型性能
通用多模态蛋白质设计实现化学的DNA编码
👍 25DISCO多模态扩散模型实现蛋白质序列-结构协同设计,无需预定义活性位点即可设计出新酶
将因果LLM转换为双向编码器,解决灾难性遗忘,实现模态组合
通过连接生成和理解能力,提升统一多模态模型对退化图像的鲁棒性
统一2D/3D生成,用跨模态一致性约束缓解3D数据稀缺问题