SteerViT通过早期融合交叉注意力让冻结ViT可文本操控,并保持原表征质量
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
用扩散 Transformer 直接生成分割 mask,一步推理,达到 SOTA
用独立LoRA在并行画布上训练13种音视频控制模态,仅需55K步即可超越VACE等基线
开源统一视频生成模型,融合多模态组合与推理能力,支持文本/图像/视频自由形式输入
将查询分解为逻辑树,用轻量专家做多模态帧选择,无需训练即可超越迭代方法
首个评测全模态模型社交互动能力的 who-when-how 三维基准
多模态OCR:解析文档中的一切内容
👍 47将文档中的文字和图形统一解析为可渲染的结构化代码,而非像素裁剪
首次将双向音视频扩散模型蒸馏为实时流式自回归生成器
4B参数医疗智能体通过行为蒸馏实现离线部署,性能媲美前沿大模型
首个多模态多源个性化记忆问答基准 ATM-Bench,SGM 显著优于传统 DM。
首个基于掩码离散扩散的any-to-any多模态模型,统一文本/语音/图像处理
通过识别音频专家注意力头,实现推理时激活干预以缓解音频语言模型的文本主导问题
评估VLM细微视觉差异识别能力的基准,揭示时空推理与人类的显著差距
用 Masking Warmup 把 CLIP 对比学习与文生图生成在单阶段端到端模型中真正统一,并带来推理时自导向的语义对齐解码。
面向群聊场景的多 Agent 边缘-云协作框架,3×降低令牌消耗并保护隐私。
基于混合扩散框架的统一多模态模型,解耦离散/连续扩散实现理解与生成
提出全模态智能体基准OmniGAIA和原生全模态基础智能体OmniAtlas
双流MMDiT架构统一视频-音频联合生成、修复与编辑任务
统一框架同时实现参考生成、视频编辑和音频驱动动画三任务
首个统一评估视频基础模型理解、生成、编辑和重构能力的综合基准