揭示 VLM 靠语义标签“短路”视觉推理的失败机制
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
首个强调感知中心推理的复杂视频理解基准,现有最强模型准确率仅45.96%
通过锚定令牌机制实现粗到精的视觉指向,提升VLM在图像、GUI和视频中的定位精度
提出双智能体自进化架构,通过GRPO强化学习提升MLLM长链视觉推理能力
VLM对问题表述方式敏感,不同格式下视觉注意力分配差异显著
通过熵感知的离散-潜在推理模式切换和视觉锚点注入,缓解多模态推理模型幻觉
评估多模态大模型在多层条件分支推理中的视觉理解与决策能力
提出家庭安全基准和双脑架构,实时检测具身智能体危险行为
揭示冷启动中视觉注意力不足的瓶颈,提出AVAR框架重塑注意力分配,平均提升7%
用LLM隐藏态回灌视觉编码器,构建视觉-语言双向推理回路。
首个系统评估「生成能否帮助理解」的统一多模态模型基准,覆盖3000样本×35模型。
首个覆盖7类推理、21项任务的真实生活多图像推理基准,揭示SOTA MLLM的巨大差距
通过视觉侧局部聚类+语言侧文本引导逐层剪枝的双阶段框架,实现VLM的极致token压缩
DPE 通过诊断-生成-强化闭环迭代,用 1K 种子数据让 8B 多模态模型超越 72B 模型
通过能力反思和记忆反思机制,实现VLM稳定迭代自我修正的OCR框架
提出10.3万规模的多模态数学数据集,通过三阶段自动清洗管道构建,显著提升视觉推理能力
MMA:多模态记忆智能体
👍 9为记忆智能体引入动态可靠性评分,解决检索噪声导致的过度自信错误。
揭示RL微调VLMs在文本扰动下的脆弱性及准确性-忠实性权衡现象
首个开源视觉语言模型,在物理奥赛中斩获12枚金牌,排名第3
思维链:基于自适应认知模式的推理框架
👍 38训练无关的智能体框架,动态切换四种认知模式实现自适应推理