SABER基准揭示视觉-语言模型普遍存在属性绑定失败,纯合成文本微调即可跨模态修复并达到SOTA。
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
将资深研究员纠正AI科研智能体的真实决策转化为248案例基准,多数前沿模型不及随机水平
1400样本游戏-真实对齐基准:游戏与真实推理性能强相关(r=0.935),但游戏示例迁移因能力而异
GlobeBench以1632项执行派生任务评测文本世界模型,最佳模型通过率不足50%
用配对目标指定、视听双轨道和时空定位统一评测50个大模型的视频理解能力
数据世界:从零构建可扩展的数据环境
👍 36先指定数据背后的生成机制再合成文件与评分标准,为数据智能体提供可审计的环境和RL训练信号
构建WorldCast基准,用320个案例评测多模态生成模型的多步世界状态预测能力
构建1300万级幻灯片数据引擎与专用基准,训练统一9B模型将生成与编辑做到逼近最强闭源系统
3,000对可控渲染字幕视频、16种语言的基准,解耦诊断修复、保持与时间保真
260案例基准测世界模型记忆:静态保持强不代表动态演化可靠,记忆随重访累积退化
看见、维持与学习:多模态智能体记忆的演进
👍 49以双轴框架梳理297个多模态记忆架构与82个基准,刻画记忆从形成、维护到自我演进的完整生命周期。
统一评测10种自蒸馏方法:增益有限、训练不稳、高成本未必换来高性能
可控生成600轮可验证多智能体冲突任务,揭示模型发现冲突易、修复冲突难
11个前沿大模型在多文件复杂场景中规则推理全面吃紧,最佳端到端得分仅55.29%
首个贯通工具选择、站立使用与移动使用的 18 任务人形机器人基准
在大型共享职业工作区中系统评测长程智能体对提示注入与脚本注入攻击的抵抗能力
首个覆盖文本/图像扰动与提示注入、经标签校验策展的 JEV 决策模型鲁棒性基准
首个真实实验室教学视频生成基准,揭示视觉逼真但流程不可靠的鸿沟
以情绪化用户交互评测并训练工具调用智能体,交互感知信号筛出更自主可靠的轨迹
用配对世界验证对话结果,并把终局奖励按轮次重新分配来训练社交智能体