通过输入侧自适应分辨率分配,在消除90%视觉token的同时保持或超越基线性能
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
通过规划先于感知的迭代推理,让MLLM自主决定看什么、何时看、怎么看
提出首个面向多Agent环境感知评测的端到端基准,包含2.4K高密度标注的多视点游戏视频QA对,揭示MLLM在时序推理和跨视频理解上的显著不足。
用结构化文本描述3D空间布局作为中间推理链,提升MLLM的空间推理准确率
AutoGaze:3M参数前置模块裁剪冗余patch,实现19×加速
将查询分解为逻辑树,用轻量专家做多模态帧选择,无需训练即可超越迭代方法
基于视频的2D VLM框架,实现语言定位与视角感知3D推理
通过将预测损失扩展到所有token并引入深层自监督,大幅提升视频自监督学习的密集特征质量
提出Chain of Events范式,通过构建时序事件链提升MLLM的视频事件预测能力
Video-SFT提升视频理解但损害图像能力,本文揭示这一"时间陷阱"并提出混合帧策略缓解
STTS 在 ViT 和 LLM 中统一剪枝视觉 token,50% 剪枝提速 62%
首个视频到网页生成基准,用细粒度视觉评分标准评估MLLM复现能力
2万题音视频联合推理基准,揭示最强模型仅64.2%准确率
VLM在视觉实体追踪任务上接近随机猜测,SGCoT推理链突破90%准确率
VST让视频大模型在流式观看时同步推理,兼顾实时响应与深度思考
提出分段级记忆机制实现流式视频多轮问答,解耦感知与生成
用测试时训练在线更新快权重,实现长视频流式空间理解
基于视频的计算机使用代理奖励建模
👍 43用执行视频训练奖励模型评估计算机代理任务成功率
统一因果时空注意力视觉骨干,支持流式感知、几何重建与具身控制
ROVA框架通过结构化时空扰动与自反思难度调度,提升视频推理在真实世界扰动下的鲁棒性