意图、数据、时间全开放,用程序化否决项揪出金融智能体的静默失败
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
后训练
RLVR
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
Transformer
参数高效微调
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
综述
信息检索
模仿学习
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
145个任务的统一3D创作基准,揭示参考保真与活动协调是编码智能体瓶颈
构建千例五域具身评测场,用GeoProbe与执行轨迹诊断十大VLM智能体的真实失败模式。
八项任务评测基因组模型的设计能力:平均效应预测强,情境与交互预测弱。
提出RETRACE框架首次系统量化CUA模型级恢复能力:恢复是解锁任务潜力的关键杠杆
外置共享工作台赋能任意编码代理,低成本完成TSF复现、基准测试与新方法开发
基于2.6万真实编码会话构建273个任务,检验编码智能体能否完整交付多模态改版需求
首个为流式视频理解引入ask动作的多轮基准,评估模型面对不确定性时何时提问、问什么、何时作答
SO-101数字孪生仿真基准:纯仿真训练系统真机排名零违约,LLM智能体83.2%登顶
把区块链资金追踪变成可机械验证的智能体任务并实测LLM取证能力
要求智能体沿利润表逐项引用证据、自底向上预测季度GAAP EPS的智能体基准
同一批74个任务由44种人设改写后,9个计算机使用智能体平均完成率从0.689跌至0.441
首个在元订单尺度测量生成式LOB模型市场冲击的基准,发现冲击涌现但形状过陡且不松弛
构建意图感知流式视频基准与模型,主动推断、追踪并适应不断演化的用户意图。
五级职业任务阶梯基准:最强智能体仅通过47.7%关卡,反馈修正中位增益5.3pp
用555个可执行契约任务,联合评测智能体的结果、轨迹、成本与合规
LLM 合成证书,按义务路由 SMT 快验、Lean 兜底,严格验证 77.1% 实例
真实世界网络环境中的深度搜索
👍 107构建真实Web深度搜索基准:200任务,最强模型仅39.0%,人类21.1%
首个让智能体在固定预算内自主设计评估器的基准,最好排序一致性75%仍低于91%天花板
167位母语者共创62社区文化谜语基准,前沿模型在最难社区准确率不超过22%