首个利用视频生成模型主动合成评测场景的MLLM时空推理基准,揭示当前模型从感知到高阶推理的性能鸿沟
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
用3DGS物理退化引擎构建首个评测退化下MLLM空间智能的大规模基准。
用 MLLM 把 3D 手部接触估计变成结构化提示推理,无需训练即超越监督方法。
提出平衡多维奖励的RL框架,统一效用、正确性与流畅性
X2SAM:图像与视频中的任意分割
👍 24首个统一图像与视频的多模态大语言模型分割框架,支持14种分割任务与文本/视觉双提示。
首个基于ART认知分类法评估MLLM视觉空间推理能力的合成基准,揭示人类与模型间30+个百分点的能力鸿沟。
首项AVLLMs机械可解释性研究,揭示视觉主导的模态偏向机制
通过输入侧自适应分辨率分配,在消除90%视觉token的同时保持或超越基线性能
用响应熵作为全局信号,自适应选择token并支持早停
提出ScratchMath基准评估MLLM诊断学生数学错误能力
通过规划先于感知的迭代推理,让MLLM自主决定看什么、何时看、怎么看
Actor-Judge架构实现多模态推理无监督自进化,无需标注数据
用结构化文本描述3D空间布局作为中间推理链,提升MLLM的空间推理准确率
用统一MLLM实现3D场景中细粒度功能元素的主动时空定位和分割
将推测解码从token级提升到智能体级,用轻量模型跳过不必要的工具调用链
用稀疏3D VQ-VAE+MLLM将静态网格转为仿真就绪的铰接物体
AutoGaze:3M参数前置模块裁剪冗余patch,实现19×加速
利用视觉-时间亲和力图和假设-验证-细化循环,在稀疏观察下定位长视频关键线索
用MLLM语义分组约束多视角3D实例构建,实现开放词汇检测
通过强化学习对齐MLLM推理与低层动作,显著提升VLA机器人操控性能