构建1.8M高质量推理数据集,通过数据为中心策略显著提升VLM推理能力
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
首个端到端统一文本OCR与视觉OCR的全场景方法,4B参数媲美70B模型。
通过聚类-对比学习-检索增强生成的三阶段框架,从设计数据中提取风格知识以指导风格化设计改进。
DeepSeek-OCR 2:视觉因果流
👍 75用LLM式编码器实现视觉token的因果重排序,突破文档OCR的语义理解瓶颈
自由草图+VLM澄清+视觉精修,三阶段范式实现动画意图的人机协同表达
提出VLUAS范式,将视觉信号从被动输入转变为生成目标,实现标准VLM统一处理多模态和视觉任务
GeoCLIP 以卫星剪裁作地理锚点,以对比学习对齐卫星-地面语义,提高全球图像地理定位精度与泛化能力
揭示视觉token压缩如何使LVLM变得脆弱,并提出针对性攻击方法CAA
17个多模态交互环境系统评测VLM在多步视觉决策中的失败模式
提出RPE复杂度度量和逆向QA合成框架,生成大规模高难度图表推理训练数据
开源VLM专注泰语文档OCR,2B小模型超越GPT-5等大模型
1B参数VLM在OCR基准上超越9B模型,支持图像定位与高效推理
未来光流预测提升机器人控制与视频生成
👍 19统一VLM-Diffusion架构从网络视频学习语言驱动的未来光流预测,赋能机器人操控和视频生成
系统分析多图像视觉语言模型的失败模式,提出 MIMIC 基准和针对性改进方案
难度过滤是多模态推理数据策划的核心,多样性启发式无额外收益
10B参数多模态模型通过统一预训练和平行协调推理,在60+基准上媲美或超越100B+模型
VIBE:基于视觉指令的图像编辑器
👍 61紧凑高效的指令式图像编辑系统,2B VLM+1.6B扩散模型,4秒生成2K图像
构建1.47亿动作片段的大规模视频动作数据集,显著提升零样本动作识别性能
人类标注的多模态RAG基准,评估视觉检索、答案生成与定位能力
真实用户的模糊查询导致VLM准确率不足50%,显式化查询可提升8-22分