将长视频理解为分层环境导航,实现O(log T)计算复杂度的零样本视频问答
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
揭示MLLM细粒度幻觉,提出FINER-Tuning提升准确率24.2%
揭示多模态大模型在心电图解释中缺乏真正的临床推理能力
2万题音视频联合推理基准,揭示最强模型仅64.2%准确率
VST让视频大模型在流式观看时同步推理,兼顾实时响应与深度思考
MLLM推理+DiT上下文学习的参考视频特效迁移框架
提出主动式视频理解框架,让AI像人类解说员一样自主决定何时开口、说什么。
微软发布15B参数开源多模态推理模型,以少量算力实现数学/科学推理竞争力
通过混合知识注入框架将时间序列专家知识注入通用推理模型,解决时间序列诊断推理中的知识鸿沟问题
提出GUI-Owl-1.5模型家族,通过混合数据飞轮和多平台RL扩展实现跨设备GUI自动化
RynnBrain:开源具身智能基础模型
👍 44阿里达摩院开源具身智能基础模型,统一感知/推理/规划,四个核心能力全面超越SOTA
提出2^128码本的统一离散tokenizer,在理解、生成、编辑任务上均达到SOTA
借鉴HEVC视频编解码器思想,只编码视频中3.1%-25%的运动关键区域实现高效视觉理解
通过指令条件早期表示和子空间感知全局选择,用16%数据达到97.5%性能
首个纯视觉输入的图像编辑模型越狱攻击方法,配合安全基准与防御方案
将注意力分布视为策略,用RL优化注意力分配以提升多模态LLM视觉推理能力
多模态联合训练+Agent Swarm并行编排,实现通用智能体
提出Hive数据集:从野生音频中挖掘高纯度单事件片段,仅用0.2%数据量达到百万小时级模型的分离效果
通过分隔符令牌缩放增强多图像理解
👍 5缩放图像分隔符令牌隐藏状态,无需训练即可抑制跨图像信息泄漏
MoE架构GUI智能体,SFT+GRPO训练,跨平台SOTA性能