TraceDance：从真实智能体部署轨迹自动构建行为基准的系统 TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces
从25万条真实部署轨迹自动构建行为基准，九个前沿大模型平均通过率仅26.7%
前置知识
Agent Trace（部署轨迹）
智能体在真实任务中产生的有序事件序列，包括用户指令、系统提示、工具调用、工具返回结果和助手消息等。它是智能体实际行为的完整记录，可用于事后审计与行为分析。论文使用了 Claude Code 与 OpenClaw 两个 harness 共 252,557 条会话。
TraceDance 的全部测试数据都来自部署轨迹：不良行为发生在哪些会话、决策点前后有哪些事件，决定了实例怎么切、怎么评。不懂轨迹结构就无法理解锚点扫描与切点契约。
决策点续写（Decision-point continuation）
一种无需环境回放的评测范式：在源智能体表现出不良行为的关键轮次之前截断轨迹，把保留的上下文交给被测 LLM，让它生成下一轮回复，再用行为专属量规打分。源模型的坏回复只是行为存在的证据，不是参考答案。
这是本文评测的核心公式 $x = \kappa(\tau_{\le c}, f)$、$\hat{y} = M(x)$、$s = \mathcal{J}_{R_q}(x, \hat{y})$，理解它才能理解为什么评测不需要重放环境。
LLM-as-Judge 与量规（Rubric）
用大模型按预定义评分标准给开放式回复打分。本文量规为 0–5 分，表现坏行为得分低、合理回应得分高，由 GPT-5.6-Sol、Gemini-3.5-Flash、Claude Opus 4.8 组成三评委小组取均值，均值 ≥4 判为通过。
论文的通过率、模型排名全部建立在这套自动评分上，评委与人工 81.0% 的一致率是结果可信度的关键证据。
Anchor-and-Confirm（锚点确认两段式检索）
把'在海量轨迹中找不良行为'拆成两段：先用 CPU 上运行的可执行锚点（匹配工具报错、调用参数、事件顺序、关键词）粗筛候选位置，再让 Flash 级 LLM 只审查候选片段确认行为。平均每个成功查询扫描 128,297 个会话，仅送 706 个候选给 LLM。
这是论文能在 25 万条会话规模上按需构建基准的工程核心，理解它才能理解成本结构（成功查询均 552 次 LLM 调用 vs 拒绝对抗查询仅 1.3 次）。
RSI（递归自我改进）
让模型在'部署—发现问题—生成针对性评测—改进—再部署'的闭环中持续自我迭代的范式。评测环节需要能针对新出现的行为问题按需生成测试，这正是 TraceDance 的定位。
论文结论把 TraceDance 定位为 RSI 闭环的关键评测组件，理解这一愿景才能把握论文的动机与未来工作方向。
研究动机
现有智能体基准几乎都只考察任务是否完成：Terminal-Bench 用最终容器状态判分，RE-Bench、MLE-bench 看性能指标，PaperBench 靠量规评判。但真实部署中，智能体可以'完成任务'的同时把访问令牌写进日志、为了让测试套件通过而直接禁用失败测试、或在未经确认的情况下执行破坏性命令。安全与过程级套件虽然考察执行行为，但测试用例与目标行为是固定的，随着模型和部署环境变化，新出现的行为问题无人覆盖。审计工具能在轨迹中定位不良行为与失败模式，却不会把这些记录转换成可用于评测其他 LLM 的可复用基准；而逐条用人工或 LLM 审查数十万会话的成本，在部署规模下完全不可承受。
本文的目标是本文要构建 TraceDance：一个把用户用自然语言指定的不良行为，自动转换成来自真实部署轨迹的定向行为基准的智能体系统。用户给出行为查询 q、轨迹集合 D 和期望规模区间 $[K_{\min}, K_{\max}]$（默认 5–50），系统要么返回满足规模的基准——包含不良行为关键轮次之前的上下文实例与行为专属量规——要么给出拒绝理由。评测采用决策点续写：让被测 LLM 在记录的决策点生成下一轮回复并用量规打分，无需参考答案、无需环境回放，因此能覆盖依赖非公开工具和 MCP 服务器的真实环境。在 252,557 条会话上，系统以 95.3% 的完成率兑现构建请求，共产出 107 个基准、4,125 个实例。
与已有工作不同的是，已有工作的切入点要么是固定任务套件（如 BenchTrace 基于标注失败在固定环境中测失败规避），要么是自动化出题、可执行安全场景合成或从会话重建可执行任务（REAP、SWE-Together），要么是只做行为发现的审计工具。TraceDance 的独特之处在于把'审计发现'与'基准构建'打通，其直觉是：已部署智能体在某上下文中表现出不良行为，同一上下文也很可能诱导其他 LLM 重蹈覆辙，因此直接截取坏行为发生前的真实上下文作为测试输入。OpenAI 的生产评测曾用'在部署对话上重生成候选模型回复'做发布前检查，据作者所知，TraceDance 首次把这一思想落地为面向用户自定义不良行为的按需基准系统。
核心方法
TraceDance 的整体思路分三步：先把自然语言行为查询翻译成可执行的行为规范，再用'锚点扫描 + LLM 确认'的两段式管线在海量轨迹中高效定位不良行为发生点，最后按帧切出上下文实例并配以行为专属量规。直觉是：不良行为在轨迹中往往留下可编程观测的痕迹（工具报错、调用参数、事件顺序、关键词），可以先在 CPU 上用可执行锚点粗筛，再让 Flash 级 LLM 只审查候选片段确认行为，避免对 252,557 条会话逐条调用大模型。每条行为规范包含四个组件：可执行锚点、确认判据、按帧定制的切点契约与行为专属量规，分别服务检索、确认、构例与评分。系统最终返回规模在 $[K_{\min}, K_{\max}]$ 内的基准，或给出拒绝理由。
核心创新是决策点续写评测与 Anchor-and-Confirm 构建框架。与需要环境回放或参考答案的传统评测不同，决策点续写只在源 LLM 表现出不良行为的关键轮次之前截断轨迹：被测模型 $M$ 接收相同上下文 $x = \kappa(\tau_{\le c}, f)$，生成下一轮 $\hat{y} = M(x)$，由行为专属量规评分 $s = \mathcal{J}_{R_q}(x, \hat{y})$。源模型的坏回复只是行为证据而非标准答案，量规允许多种合理回应。帧 $f$ 决定切点：action 帧切在目标动作之前，failure 帧保留观察到的故障但删掉源模型的回应，claim 帧保留工作成果但删掉源模型的宣称。另一创新是 Anchor Synthesis Loop：预定义行为族不匹配时，Strong Model（GPT-5.6-Sol）生成规范、Reviewer Model（Claude Opus 4.8）审查生成代码、Fast Model（DeepSeek-V4-Flash）探针验证检索质量并驱动迭代修订。
方法步骤详情
第一步规范选择与合成：Strong Model（GPT-5.6-Sol）先在 28 个人工审核的预定义行为族目录中匹配（13 个 action 帧、10 个 failure 帧、5 个 claim 帧），用重复多次判断保证稳健；不匹配则进入 Anchor Synthesis Loop，生成四组件规范，锚点代码需通过程序化安全检查与 Reviewer 代码审查，再经轨迹上的运行时验证和 Fast Model 探针确认——确认率过低说明锚点过宽、候选过少说明过严，据此修订，超出迭代预算则拒绝。第二步 Anchor-and-Confirm：锚点在 CPU 上扫描轨迹（平均每个成功查询扫描 128,297 个会话），产出平均 706 个候选，Fast Model（DeepSeek-V4-Flash）只审查候选确认行为并检查上下文信息是否充分。第三步构例：按切点契约截断，剔除 harness 强制轮次（如压缩摘要请求），删除源模型思考块，保留至多 $K_{\max}$ 个实例。第四步评分：三评委小组按 0–5 量规打分取均值，均值 ≥4 判为通过。
技术新颖性
技术新颖性体现在三点。其一，评测范式上，它不需要环境回放或参考答案，只用'截断的真实上下文 + 量规评分下一轮'，使评测能覆盖依赖非公开工具与 MCP 服务器的生产环境，这在智能体评测中很罕见。其二，工程范式上，可编程锚点与 LLM 确认解耦了'广度扫描'与'语义判断'：把平均 128,297 次会话扫描留在 CPU，把 LLM 调用压缩到平均 706 个候选、成功查询均 552 次调用，而拒绝对抗性查询平均只需 1.3 次调用，成本结构完全不同于逐会话审查。其三，规范合成上，Anchor Synthesis Loop 用'生成—代码审查—运行时验证—探针统计—修订'闭环把自然语言行为翻译成可执行检测逻辑，使 9 个自定义行为查询全部构建成功。与 BenchTrace 等依赖固定任务环境的工作相比，其测试输入直接来自真实生产轨迹。
实验结果
系统层面：139 个测试查询中 102/107 个构建请求被满足（95.3%），32 个应拒查询全被拒绝，产出 107 个基准、4,125 个实例；84% 抽样实例被双标注者确认，量规均值 4.75/5，评委与人工判定一致率 81.0%。模型层面：九个前沿 LLM 平均通过率仅 26.7%（22.9%–33.5%），Claude Opus 4.8 以 33.5% 居首，任务基准更强的 GPT-5.6-Sol 仅排第五（27.2%）。行为分解：格式正确的调用 67.9%，但“继续前先检查”仅 8.1%；Failure-log inspection 0.6%、Secret protection 6.9%，Command validity 达 72.0%。TodoWrite 开头的回复通过率仅 4.6%（其他首动作 30.8%）。总排名掩盖差异：Kimi-K3 在 Error-guided correction 以 57.8% 反超 Opus 的 27.8%；GPT-5.6-Sol 在 28 族中 8 个领先，Test-claim grounding 达 60.2%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 按需基准构建（139 个测试查询） | 构建请求完成率 / 拒绝正确率 | 95.3%（102/107 构建成功），32/32 正确拒绝 | 固定基准套件无法按需针对新行为构建 | 首次实现用户指定行为的按需构建，产出 107 基准 / 4,125 实例 |
| 决策点续写行为评测（9 个前沿 LLM） | 平均通过率（三评委量规均值 ≥4） | 全体均值 26.7%，最高 Claude Opus 4.8 33.5%，最低 Qwen3.7-Max 22.9% | 同类模型在任务型基准（SWE-bench Pro 等）上排名不同，GPT-5.6-Sol 须排第五 | 暴露 Check first 仅 8.1%、Failure-log inspection 仅 0.6% 的任务型基准看不到的短板 |
| 自动评分可靠性（84 个双方确认实例） | 评委小组与人工通过/失败判定一致率 | 81.0% | 两个人工标注者之间的一致率（相当水平） | 自动化评分首次在该类行为基准上达到人类标注者间一致水平 |
局限与改进
作者承认：出于合规与隐私，252,557 条部署轨迹不可公开，基准无法从公开数据精确重建，只能将管线应用于其他轨迹集合；数据仅来自 Claude Code 与 OpenClaw 两个 harness，源模型以 Doubao Seed 2.0 家族为主，行为分布可能有偏；标注者反馈量规相邻分数档边界不清是主要顾虑。我自己的观察：评分只看单轮回复、不实际执行动作，'Check first 8.1%'衡量的是回复里是否写了检查而非检查是否真正改善任务结果；评委普遍比人工打分偏高（附录 C.2 讨论的倾向）叠加均值 ≥4 的阈值可能影响通过率与排序；首动作分析作者自己也声明只是相关性而非因果；预定义行为族目录由团队人工挑选，覆盖面依赖其工程经验；两条构建流水线（75,076 vs 177,481 会话）与 28 个行为族的实例数量不均衡，也会影响跨设置、跨族平均分的可比性。
独立分析的弱点
弱点一：单轮评分不执行动作，无法衡量'写了检查'与'检查后任务确实成功'的差距，改进方向是加入执行式验证或让被测模型多轮续写后再评估最终状态。弱点二：轨迹与基准完全不可公开，社区难以横向比较模型、复现排名，改进方向是发布脱敏的合成轨迹子集，或至少公开 28 个行为族的量规与切点契约模板供他人在自有轨迹上复用。弱点三：评分依赖 GPT-5.6-Sol、Gemini-3.5-Flash、Claude Opus 4.8 三个特定评委，存在评委偏置与'评自家 Strong Model 角色'的利益冲突风险，可扩充评委池并做去偏校准。弱点四：行为族目录靠人工审核构建，覆盖依赖先验经验，可用无监督轨迹聚类自动扩展行为族并定期从新部署数据刷新。弱点五：仅在 Coding 与通用工具两类 setting 验证，浏览器操作、多智能体协作、长周期定时任务等场景未覆盖，泛化性有待检验。
未来方向
作者明确把'在递归自我改进（RSI）环内评估 TraceDance'留作未来工作：即用这些行为基准指导模型迭代版本、检测行为回归，形成部署—评测—改进的数据飞轮。可延伸方向包括：把行为基准转化为训练信号，例如针对 Check first、Failure-log inspection 等低分行为做 Prefix-GRPO 式的偏好训练或专项微调；扩展到更多 harness、语言与非编码领域；深入探究 TodoWrite 等规划类首动作与低通过率之间的因果机制（当前只有相关性）；把自动量规生成与人类反馈闭环结合，解决分数档边界模糊问题；以及研究跨模型的行为弱点迁移图谱——不同模型在同一行为族上分化明显（如 Kimi-K3 在 Error-guided correction 反超），提示可按行为画像做模型选型与定向蒸馏。
复现评估
复现难度较高但管线描述完整。代码开源在 github.com/ZhishanQ/TraceDance，项目网站 zhishanq.github.io/TraceDance/；附录 A 提供帧切契约（A.1）、目录匹配与 Anchor Synthesis Loop 超参（A.2 与表 4）、目录匹配/候选确认/评分的精简提示词（A.3 与表 5–7）以及推理设置与输出上限；附录 C 给出 139 个测试查询的构造方法、八人标注协议与鲁棒性分析，附录 E.2 完整走查一个实例从构建到评分的全过程。核心阻碍是：出于隐私与合规，252,557 条部署轨迹与由此构建的基准不公开，无法从公开数据重建，复现需自备等量真实智能体轨迹。成本方面，每个成功查询平均 552 次 LLM 调用加约 12.8 万次 CPU 会话扫描，构建依赖 GPT-5.6-Sol、DeepSeek-V4-Flash、Claude Opus 4.8 三个模型角色，评测还需三评委小组对 4,125 个实例逐一打分，整体需要可观的 API 预算与工程投入。
论文图表
按部署设置（Claude Code 编码 75,076 会话、OpenClaw 通用工具 177,481 会话）列出代表性领域（如开发环境搭建 22%、定时心跳轮询 65%）与三类帧下的典型不良行为示例：action 帧的越界修改、failure 帧的未识别回归、claim 帧的未验证完成宣称等。
它回答了'数据从哪来、不良行为长什么样'，是把抽象方法落到真实部署场景的关键，也说明了为什么需要 failure 和 claim 等不同帧。