配对真实/反事实环境的科学定律发现基准,检验LLM智能体能否让证据压倒先验
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
基于343万版本化文档的股票研究基准,发现顶尖模型研究强、预测弱。
首个配对评测 CLI 智能体任务执行与人机协作质量的基准,暴露安全与可引导性短板
构造四域合成用户史与四选一探针,测出记忆系统归纳习惯仅约三成准确,且不优于简单检索
首个让通用智能体纯用代码从零产出带声完整视频的基准,最强系统严格成功率仅76.3%
1479交互、1790时间目标的基准,揭示12个全模态模型及时干预与持续辅助的短板
构建物理规则被改动的模拟世界,评测12个LLM无提示自主发现隐藏定律的能力
30个仿真定量实验要求智能体动手操作仪器来求知,最强前沿智能体T0成功率仅43.3%
多领域后训练数据策划基准:评测智能体能否让模型在五域同时持续进步
首个专利审查智能体框架:百万级语料上免标注合成检索轨迹,训练出4B强基线
双轨受控评测:固定环境考智能体、固定动作考世界模型,分离诊断耦合失败
用时间门控赛马回放基准分离LLM智能体的预测质量、修订增益与投注决策价值
区域→文本→区域的循环重构重叠作为免参考可验证奖励,让单一模型同时提升理解与定位
用轨迹正则化让编辑滑块平滑连续、互不干扰,总分提升18.5%且快3至20倍
原始历史+密集检索+重排的朴素RAG在7项设置中6项击败复杂智能体记忆系统
统一评测 T2V/I2V/V2V 代码生视频:2104 任务、17 项指标、15 个 MLLM
权限内文档联合推理即可泄露更高密级结论,良性查询即触发且简单防护无法杜绝
提出视频中心深度研究报告生成任务并构建OmniDR-Bench,最强智能体仅得63.3/100分
统一五大智能体领域的离线评测基准,最强VLM准确率仅58.5%
把AI视频检测拆解为检查规划、证据验证、证据聚合三能力,全程人类锚定监督