用文本LLM初始化视觉编码器替代CLIP,紧凑模型达SOTA
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出主动式视频理解框架,让AI像人类解说员一样自主决定何时开口、说什么。
首个系统评估视频LLM实时交互能力的基准,覆盖记忆、感知与主动响应
提出SVG2数据集与TraSeR模型,自动生成视频时空场景图
首个统一评估视频基础模型理解、生成、编辑和重构能力的综合基准
提出统一前馈框架,从单目视频联合重建4D几何与运动
提出结构化属性指令数据集ASID-1M和验证管道,显著提升视频描述的细粒度和可靠性
借鉴HEVC视频编解码器思想,只编码视频中3.1%-25%的运动关键区域实现高效视觉理解
通过视频编解码原语(运动向量和残差)实现高效视频语言建模,将token使用量减少93%
面向可验证推理的多模态事实级归因
👍 3提出 MURGAT 基准,评估 MLLM 在复杂推理中为每个事实提供精确多模态引用的能力
提出OmniDenseCaptioning任务,生成六维度剧本式视频描述
提出Demo驱动的视频上下文学习任务与基准,通过两阶段训练提升MLLM从演示中学习新技能的能力
提出模态非对称token压缩框架,先修剪视频冗余再视觉引导音频选择,显著提升Omni-LLMs效率
首个结合原生音频-视频输入、时序定位和人口统计学元数据的多模态理解基准
智能体驱动的超长视频理解
👍 22提出EGAgent框架,通过实体场景图实现跨天超长视频的多跳推理问答
结合稀疏标注与伪标签的视频上下文学习框架,实现低资源场景下的高效适应
首个完全开放的视频视觉语言模型,支持视频定位、跟踪和密集描述,性能超越专有模型
构建1.47亿动作片段的大规模视频动作数据集,显著提升零样本动作识别性能
V-DPM:基于动态点图的4D视频重建
👍 11将动态点图扩展到视频级多视角,实现单次前向传播的4D场景重建
统一框架实现视频时空联合理解,SlowFast token+MLLM-SAM2架构