发现VLM中单个神经元可作为强分类器,实现5倍推理加速
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出Plan-then-Control框架,用VLM自动规划电影级相机轨迹,实现多镜头视频精准控制
用自动生成的细粒度评分准则作为RL奖励信号,让小模型生成超越人类和大模型的图像描述
ROVA框架通过结构化时空扰动与自反思难度调度,提升视频推理在真实世界扰动下的鲁棒性
用VLM提取组合约束,分两阶段过滤视频生成候选并优化机器人轨迹
首个零数据三角色自进化框架,让VLM自主生成图像并提升推理能力
首个体育空间智能数据集CourtSI,100万QA对,25个VLM评测揭示人机差距
用上三角矩阵W把图像特征几何变换后再与文本匹配
揭示冷启动中视觉注意力不足的瓶颈,提出AVAR框架重塑注意力分配,平均提升7%
通过前景注意力门控与解耦的新类分支,缓解CLIP提示调优中的注意力偏移与基础-新类权衡问题。
用工具式代理+链式推理替代直接提示,训练小型VLM规划器提升复杂图像编辑质量
提出首个针对 VLM-GUI 智能体的效率后门攻击,通过两阶段 RBI 策略在触发时让响应长度激增
用文本LLM初始化视觉编码器替代CLIP,紧凑模型达SOTA
大型多模态模型作为通用上下文分类器
👍 27LMM 通过上下文学习匹配 CLIP 分类能力,CIRCLE 迭代伪标签进一步提升
微软发布15B参数开源多模态推理模型,以少量算力实现数学/科学推理竞争力
通过参数化Lottie tokens和多模态指令,实现高质量矢量动画的自动生成。
提出SVG2数据集与TraSeR模型,自动生成视频时空场景图
提出基于置信度的递归推理框架,让模型自我修正提升精度
用三阶段训练和数据工厂将通用VLM转为OCR专家,OmniDocBench达92.94%
通过视觉侧局部聚类+语言侧文本引导逐层剪枝的双阶段框架,实现VLM的极致token压缩