无需文本标注答案,通过对比正负视觉证据门控提升细粒度视觉推理能力
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
将视觉规划内化到潜在查询,单前向传播实现结构感知图像生成。
基于多模态扩散语言模型的并行区域感知框架
👍 62利用扩散语言模型的并行解码特性,实现单次前向传播同时描述多个图像区域
多模态大语言模型的社会偏见集中在少数视觉线索上,时尚风格等自我展示信号对判断影响最大
通过主动视觉推理实现视觉原生的多模态深度搜索代理
使用冻结MLLM作为监督器,通过属性感知梯度改进视觉编码器训练
提出三阶段框架让MLLM主动恢复损坏的视觉内容,实现像素级重建与多模态推理的鲁棒理解
推理再推理:跨视角重访提升空间推理能力
👍 31提出一种推理-再推理的两阶段框架,通过合成新视角视频验证初始假设,提升第一人称视频空间推理精度。
通过优化输入图像而非模型权重,实现对冻结多模态LLM的非侵入式任务适配
发现视觉 token 在中间层饱和,提出双路径路由架构节省 25-30% 计算
首个评估全模态视频字幕指令跟随能力的综合基准,发现格式-内容权衡现象
提出"观看-记住-推理"三重框架,系统梳理基于MLLM的视频理解方法、数据集、基准和未来方向
通过在语言和潜在视觉空间之间交错推理,保留动态未来视觉结构以提升视频事件预测性能
首个机械工程图理解基准数据集与专用模型,提升多模态LLM在工程制图中的能力
GeoVR 通过从2D视频提取几何约束,零推理成本赋予MLLMs强大的3D空间感知能力。
首个多流流媒体理解基准,评估MLLMs的并发流处理能力
通过双流强化学习将视觉定位能力内化到文本推理中,无需显式输出坐标
中间训练方法显式内化 GUI 世界知识
提出DLA模块和多阶段去噪策略,整合MLLM与VAE实现高质量主题驱动图像生成
首个利用视频生成模型主动合成评测场景的MLLM时空推理基准,揭示当前模型从感知到高阶推理的性能鸿沟