提出DeepPlanning基准评估LLM在多日旅行和购物规划中的长期约束优化能力
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
FluidGym:首个全自包含、全可微分的流体控制强化学习基准平台
推理模型在用户描述生命危险时仍坚持解数学题,暴露严重安全缺陷
揭示基准漏洞+统一评估框架,4B模型训练后超越GPT-4o
提出Terminal-Bench 2.0基准,89个CLI任务揭示前沿模型解决率不足65%
首个端到端多模态深度研究基准,评估智能体的图文证据整合与报告生成能力
首个金融智能体执行安全基准,揭示50%攻击成功率
提出可控视觉轴解耦的2D平台环境,系统评估RL智能体的视觉泛化能力
224个真实后端任务基准,评估LLM智能体全生命周期开发能力
系统分析多图像视觉语言模型的失败模式,提出 MIMIC 基准和针对性改进方案
提出自动化框架,用角色驱动任务构建和智能体评估深度研究系统的报告质量与事实性
首个评估记忆驱动科学推理的基准,通过锚点和吸引子激活提升LLM推理能力。
提出FactArena框架,通过竞技场风格的多智能体对战评估LLM在整个事实核查流程中的能力
BabyVision:超越语言的视觉推理
👍 201揭示当前MLLMs在人类幼儿就能解决的基础视觉任务上存在巨大缺陷
提出NoisyBench基准测试,揭示推理模型在噪声上下文下性能骤降80%,并提出RARE奖励函数提升鲁棒性
首个面向自动驾驶世界模型的综合基准,覆盖视觉真实性、轨迹合理性、时间一致性和可控性四大维度
真实用户的模糊查询导致VLM准确率不足50%,显式化查询可提升8-22分
首个面向长期项目导向交互的记忆基准,揭示现有记忆系统在追踪动态目标状态方面的不足
评估9个小模型在日志分级任务中零样本、少样本及RAG的表现差异
轻量级塔防游戏环境,用于评估LLM的长期规划和决策能力