通过完整轨迹评估代码智能体的生产级基准测试框架
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
视觉语言模型
世界模型
GRPO
多模态大模型
多智能体系统
多模态学习
智能体
知识蒸馏
图像生成
代码生成
LLM智能体
注意力机制
LLM Agent
具身智能
流匹配
多模态大语言模型
视频理解
数学推理
检索增强生成
可解释性
图像编辑
多模态
机器人学习
机器人操作
自监督学习
工具使用
Transformer
基准评测
对比学习
长上下文
RLVR
多模态推理
计算机视觉
数据合成
LLM评估
信息检索
推理加速
3D重建
扩散语言模型
自回归模型
视觉推理
RAG
参数高效微调
LoRA
视觉-语言-动作模型
Flow Matching
模型压缩
自回归生成
视觉-语言模型
后训练
工具调用
持续学习
高效推理
RLHF
策略优化
CanvasAgent协调11种视觉工具实现复杂图像创建与编辑。
代理弃权:代理知道何时停止而不是行动吗?
👍 147研究LLM代理何时应停止行动而非继续交互,提出CONVOLVE方法改善及时弃权能力
通过扩展智能体视野和领域路由蒸馏,35B模型达到万亿参数性能
通过梯度计算实现token级别的跨智能体错误归因与优化
揭示多步工具RL崩溃机制,提出过程反思监督有效解决训练不稳定性问题
首个针对未解决生物医学问题的智能体基准,测试文献综合与引用忠实度
揭示并缓解LLM智能体在工具选择中的过度特权行为
首个大规模交互式基准,评估LLM智能体在1665个工具环境下的长期规划与适应性重规划能力
通过层次化空间工具和双记忆系统,将空间推理重构为时空证据积累过程,显著提升VLM的空间理解能力。
用 2K 仿真轨迹蒸馏到 4B 模型,实现前沿级操作性能
利用奖励方差检测能力边界,动态合成高质量多轮工具使用训练数据
通过推理时进化搜索修复紧凑模型工具工作流,提升执行可行性
通过构建场景记忆和技能库,学习场景感知的工具使用技能,解决 MLLM 智能体在 3D 空间推理中的工具误用问题
提出多阶段门控机制,在保持准确率的同时将网络代理工具调用减少17%-58%
首个系统性评测工具集成推理智能体在工具失败场景下动态重规划与异常恢复能力的基准
通过外部执行结构和内部推理策略的协同进化,实现LLM Agent系统的自适应优化
通过意图推断和gap分数路由探测,让智能体理解用户查询背后的隐含信息需求
提出TASTE方法自动生成困难且覆盖广泛工具使用模式的Agent评测任务
通过动态建模搜索边界来减少代理式搜索中的过度搜索,同时保持推理准确性