Signals：面向智能体交互的轨迹采样与分诊框架 Signals: Trajectory Sampling and Triage for Agentic Interactions
提出无模型调用的轨迹信号分类体系，将智能体采样信息率从54%提至82%
前置知识
智能体(Agentic)系统
基于大语言模型构建、能够通过多步交互循环（规划→执行→环境反馈）调用工具完成任务的系统。典型代表包括 ReAct、Toolformer 等，其行为轨迹由自然语言对话、工具调用、API 响应、状态变更等异构事件流组成。与单轮 LLM 推理不同，智能体系统的轨迹通常包含数十到数百个步骤，且具有非确定性。
本文研究的核心对象就是部署后的智能体系统所产生的轨迹，理解智能体系统的多步交互特性是把握本文'信号分类法'为何需要同时考虑话语层和执行层的前提。
RLHF 与 DPO 偏好学习
RLHF(Reinforcement Learning from Human Feedback)通过人类对模型输出的排序标注训练奖励模型，再用 PPO 等强化学习算法微调语言模型；DPO(Direct Preference Optimization)则绕过显式奖励建模，直接通过分类损失从偏好对中提取最优策略 $\pi^*$。两者都需要大量高质量的偏好对 $(y_w, y_l)$ 作为训练数据。
本文的核心定位是'偏好数据构建管线的上游筛选器'，其目标是选出最有信息量的轨迹供人类标注或后续配对为偏好样本。理解 RLHF/DPO 对偏好数据的需求，才能明白为什么智能体领域迫切需要一种高效的分诊机制。
τ-bench 基准
τ-bench 是 Yao 等人提出的工具增强智能体评估基准，模拟智能体在航空、零售两个领域与用户的多轮对话，测试智能体能否正确调用工具、修改数据库状态、给出符合策略的回复。其轨迹同时包含话语层（用户-助手对话）和执行层（工具调用、API 响应、数据库变更），且每条轨迹带有二元奖励（成功/失败）。
本文所有实验均在 τ-bench 上进行，其双领域（airline/retail）特性恰好覆盖了所有信号类别，是验证信号框架有效性的理想测试床。
LLM-as-a-Judge 与标注成本
LLM-as-a-Judge 指用强 LLM（如 GPT-4）作为评判器评估模型输出质量，在结构化任务上已实现 80%+ 的人类偏好一致率。然而对生产环境中每条智能体轨迹都调用 LLM 评判的成本极其高昂——按每条轨迹 \$0.1 估算，百万级轨迹就需要十万美元。
本文明确将'避免昂贵的全量 LLM 评判'作为核心动机，理解 LLM-as-a-Judge 的成本结构有助于理解为什么本文坚持'无模型调用'的信号设计哲学。
信息检索中的隐式信号
传统信息检索领域长期使用查询重构（query reformulation）、停留时间（dwell time）、会话放弃（session abandonment）等隐式行为信号作为用户满意度的代理，无需显式反馈即可评估检索质量。本文借鉴这一思想，将其迁移到智能体轨迹的分诊上。
本文的信号分类法直接借鉴 IR 领域的隐式信号传统，理解这一思想渊源有助于把握'信号不是质量分数，而是描述性标记'这一核心设计原则。
Gwet's AC1 一致性系数
Gwet's AC1 是一种替代 Cohen's κ 的标注一致性度量，在类别边缘概率不均（prevalence 偏低或偏高）时比 κ 更稳健。本文使用 AC1 处理二元标注问题，并辅以 Fleiss' κ 处理多类别问题。95% Clopper-Pearson 区间用于保证二元比例的精确覆盖。
本文的标注协议涉及三位专家，需要可靠的一致性度量来验证标注质量。理解 AC1 的使用场景（尤其是当 κ 在低 prevalence 情况下被压缩时）有助于理解作者选择 AC1 的动机。
研究动机
随着 ReAct、Toolformer 等范式的成熟，基于 LLM 的智能体系统已被大规模部署到客服、订票、零售等真实场景。生产环境每天产生海量的多步交互轨迹，混合着自然语言对话、工具调用、API 响应和状态变更。然而，将这些行为数据转化为训练信号的链路几乎是断裂的：开发者只能依赖人工逐条检查轨迹、归纳失败模式、再凭经验修改 prompt 或工具定义，整个过程既不可扩展也不可复现。LLM-as-a-Judge 虽然在结构化任务上能达到 80%+ 的人类偏好一致率，但对每条轨迹都调用一次大模型的成本是生产规模下无法承受的——按 \$0.1/轨迹 估算，百万级轨迹的标注预算将高达十万美元量级。更棘手的是，传统对话质量评估的自动信号（如 Dialogue Breakdown Detection Challenge 提出的方法）建立在'对话就是全部'的假设上，但智能体系统的轨迹同时包含话语层（用户意图、澄清、挫败感）和执行层（工具调用、API 响应、状态变更），一个智能体可以保持流畅友好的对话却在执行层灾难性地失败，反之亦然。
本文的目标是本文的具体目标是构建一个轻量级的、基于信号的轨迹分诊框架，在不影响在线智能体行为的前提下，从生产轨迹中识别出最值得人类审查的子集。具体目标包括三个层面：(1) 设计一个无需模型调用的信号分类法，涵盖智能体交互的所有关键行为模式；(2) 制定一种聚合方案，将多维信号组合成分诊函数，平衡失败样本和成功样本的采样；(3) 通过受控标注实验，验证信号采样在固定标注预算下能显著提升信息轨迹的比例，并证明这种优势源于真正的'每条轨迹信息量提升'，而非简单过度采样失败轨迹。
与已有工作不同的是，本文的独特切入角度是'信号而非分数'的设计哲学。现有工作要么走向 LLM-as-a-Judge 的重型路径（成本高、不可扩展），要么走向对话质量分数（依赖场景、易过拟合），要么像 Watson 那样引入认知可观测性（仍需模型调用）。本文的核心洞见是：分诊阶段需要的不是评估质量，而是识别'可能包含有趣行为模式的轨迹'，因此信号应该是描述性的标记而非评判性的分数。这一视角借鉴了 IR 领域使用查询重构、停留时间、会话放弃等隐式行为信号作为用户满意度代理的长期传统，但首次将其系统化地适配到智能体场景。技术上，本文将信号分为三层（交互信号学习用、执行信号学习用、环境信号诊断用），并强调'信号不应作为训练监督本身'——这是与所有现有偏好构造管线的本质区别。
核心方法
Signals 框架的核心思想是：与其用昂贵的大模型评判每条轨迹的质量，不如设计一组无需模型调用、确定性的行为信号作为'可计算的行为模式标记'，通过聚合这些信号对轨迹进行分诊排序。整体架构由三层信号组成：交互层（interaction）、执行层（execution）、环境层（environment）。交互层信号通过话语级模式识别捕获用户-助手对话中的失配、停滞、脱节和满意度四类模式；执行层信号从结构化运行时事件中检测工具调用失败和控制流循环；环境层信号识别上下文溢出、限流、API 失败等基础设施级异常——这一层仅用于诊断，不参与学习。检测层面，交互信号采用轻量归一化和容错短语匹配加局部相似度检查的策略；执行信号通过对非推进型工具结果分类和调用序列模式匹配来检测；环境信号直接从工具观察中识别外部失败和资源限制指标。聚合阶段采用组合分诊评分，将交互信号和执行信号激活的轨迹优先选出，同时通过并行采样流平衡失败样本和成功样本的覆盖。
本文的核心创新在于'信号是描述性标记而非质量分数'这一根本性定位。区别于：(1) LLM-as-a-Judge 范式——信号完全在轨迹元数据上确定性计算，不调用任何模型；(2) 传统对话质量评估——信号明确区分话语层（用户意图）和执行层（工具调用），不假设对话是行为的全部；(3) Agent-as-a-Judge 范式——本文信号不评估中间步骤的质量，只标记行为模式的有无。从技术角度看，三个具体创新值得强调：第一，信号三层分类法（交互/执行/环境）与两层用途轴（学习/诊断）正交，使得同一轨迹可同时携带多层信号，且环境层信号被显式排除在学习监督之外以避免引入虚假相关；第二，信号采样采用'失败流 + 成功流'的并行结构，避免了单纯失败导向采样对成功轨迹中微妙政策违规的低估；第三，使用 Gwet's AC1 而非 Cohen's κ 作为标注一致性度量，纠正了低 prevalence 情况下 κ 被压缩的问题，确保标注协议本身的可靠性。
方法步骤详情
信号框架的完整实现包含五个步骤。第一步是轨迹预处理：从部署系统中收集完整轨迹，提取每条轨迹的用户轮次、助手轮次、工具调用、工具响应、最终奖励等结构化字段。第二步是交互层信号检测：对每条用户轮次做归一化（小写、去标点、合并空白），然后用容错短语匹配触发失配、脱节、满意度三类信号——失配信号包括改写、纠正、澄清、约束重述等模式；脱节信号识别'转人工'等显式退出请求和负面立场；满意度信号识别感谢、成功确认、收尾语；停滞信号则通过助手侧 near-duplicate 检测和跨用户轮局部相似度检查捕获局部重复。输入是用户轮次文本，输出是信号激活位点（关联到具体消息跨度）。第三步是执行层信号检测：从结构化观察中分类非推进型工具结果（空结果、无效操作、不当选择）并关联到触发调用；同时对调用流做序列分析，识别相同输入的重复调用、系统性变化的输入、重复的多工具循环三类循环模式。输入是工具调用流，输出是失败位点和循环位点。第四步是环境层信号检测：直接从工具观察中识别上下文溢出、限流、API 失败、畸形响应等外部约束条件，输入是工具响应文本，输出是轨迹级环境异常标记。第五步是聚合分诊：将交互和执行信号激活位点聚合为组合分诊评分，优先选择激活任意一种或多种信号的轨迹；环境信号单独用于诊断面板；聚合阶段采用并行失败流和成功流，确保两类轨迹都被充分覆盖。最终输出是固定预算 $n=100$ 条轨迹的排序列表。
技术新颖性
本文的技术新颖性主要体现在三个方面。第一，'描述性信号而非评估性分数'的范式创新：明确将分诊任务与质量评估任务解耦，使得信号可作为下游偏好构造的零成本前置过滤器，这一思想填补了'可观测性'与'优化'之间的接口空白——既有的可观测性工具（Watson 等）需模型调用，既有的偏好构造方法（DPO、RLHF）则没有系统化的轨迹选择机制。第二，三层信号分类法与两层用途轴的正交设计：将'数据来源'（话语/执行/环境）和'用途'（学习/诊断）显式解耦，使得环境信号可被安全排除在学习监督之外，避免将基础设施异常误判为智能体失败。第三，方法论上的严谨性：使用 Gwet's AC1（值为 0.477）处理二元标注问题、Clopper-Pearson 区间保证二元比例的精确覆盖、Fisher 精确检验避免渐近近似的假设，所有这些统计学工具的选择都体现了实验严谨性。
实验结果
实验在 τ-bench 上对比三种采样策略（随机 / 启发式 / 信号），每种各采 100 条轨迹，三位专家独立标注。核心结果（表1）显示：信号采样的整体信息率为 $82.0\%$（95\% CI [0.73, 0.89]），显著高于启发式 $74.0\%$ 和随机 $54.0\%$；信号 vs 随机的差异达到 $p < 0.001$ 的高显著性，信号 vs 启发式未达显著（$p = 0.232$），但通过奖励分层揭示出更重要的差别。在失败轨迹子集（reward=0）中，信号采样达到 $96.2\%$ 的信息率，显著高于启发式 $84.3\%$（$p < 0.05$）和随机 $75.7\%$；在成功轨迹子集（reward=1）中，信号采样仍达 $66.7\%$，远超启发式 $50.0\%$ 和随机 $41.3\%$——这正是发现'政策违规但任务成功'等微妙行为问题的关键。标准化分析（重加权到随机采样的奖励分布）显示信号优势从 28 个百分点降到 23.6 个百分点，仅 4.4 点的减少远小于启发式的 11.3 点减少，证明信号提供的是真实的'每条轨迹信息量提升'而非失败过采样。效率方面，每条信息轨迹的标注成本：信号 1.22、启发式 1.35、随机 1.85，对应 1.52× 效率提升。跨领域分析显示航空领域所有方法都在 86\%-96\% 区间，零售领域（更复杂、基线信息率更低）差距最显著：信号 $78\%$ vs 启发式 $66\%$ vs 随机 $35\%$。标注者一致性方面，标注者间 Gwet's AC1 = 0.477（中等），但当三者都判定为信息性时（$N=130$），主因分类的 Fleiss' κ = 0.662、Gwet's AC1 = 0.829，表明分歧集中在边界案例而非理解差异。表2显示在信息性轨迹中，问题类型分布跨采样策略稳定（动作/工具问题 57\%-60\%，对话问题 38\%-43\%），说明信号框架不偏置问题类型，只是简单地曝光更多。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| τ-bench 整体信息率 | Developer-informative 比例 (n=100) | 82.0% (CI [.73, .89]) | 随机 54.0% / 启发式 74.0% | +28.0pp vs 随机 / +8.0pp vs 启发式 |
| τ-bench 失败子集信息率 (reward=0) | Developer-informative 比例 | 96.2% (CI [.87, 1.0]) | 随机 75.7% / 启发式 84.3% | +20.5pp vs 随机 / +11.9pp vs 启发式 |
| τ-bench 成功子集信息率 (reward=1) | Developer-informative 比例 | 66.7% (CI [.52, .80]) | 随机 41.3% / 启发式 50.0% | +25.4pp vs 随机 / +16.7pp vs 启发式 |
| τ-bench 标准化信息率 | 重加权到随机奖励分布后 | 77.6% | 随机 54.0% / 启发式 62.7% | +23.6pp vs 随机 / +14.9pp vs 启发式 |
| τ-bench 标注效率 | 每条信息轨迹的标注成本 (labels/informative) | 1.22 | 随机 1.85 / 启发式 1.35 | 1.52× vs 随机 / 1.11× vs 启发式 |
| τ-bench 零售领域信息率 | Developer-informative 比例 | 78% | 随机 35% / 启发式 66% | +43pp vs 随机 / +12pp vs 启发式 |
| τ-bench 航空领域信息率 | Developer-informative 比例 | 96% (推算) | 随机/启发式 86%-96% | 差距有限，领域本身基线高 |
| 标注者一致性 (主因分类，三者一致子集) | Fleiss' κ / Gwet's AC1 | 0.662 / 0.829 | 二元标注整体 AC1 = 0.477 | 说明边界案例的一致性更高 |
局限与改进
作者在论文中坦诚地承认了三个核心局限。第一，τ-bench 仅涵盖两个领域（航空、零售），且使用 LLM 模拟用户而非真人，导致某些交互信号（特别是脱节和满意度）可能代表性不足，结论能否推广到更广泛领域和真实用户群体仍待验证。第二，信号分类法是刻意粗粒度的行为级信号，捕获的是重复对话和执行模式，但不评估语义正确性或领域特定的政策违规——即那些'行为正常但事实错误'的轨迹无法被当前框架发现，需要配合领域验证器或结果校验机制。第三，信号检测器完全依赖确定性规则和词汇启发，对缺乏显式词汇标记的细微失配或隐式挫败模式召回率有限；模型化检测器虽然召回率更高，但会失去'轻量、可全量部署'的关键优势。作者还隐含地承认了一个方法论局限：实验仅在英文 LLM 模拟用户的 τ-bench 上进行，对其他语言、真实用户、长上下文场景的适用性仍是开放问题。
独立分析的弱点
深入分析后，本文还有几个值得关注的弱点。首先，实验设计的统计功效略显不足：信号 vs 启发式的总体信息率差异未达显著（$p=0.232$），作者通过分层分析挽回结论，但在更广泛场景下复现时这一差距能否稳定保持不确定。其次，标注者协议中'信息性'是二元裁决（YES/NO），但实际是连续属性，三位标注者的标注率从 0.57 到 0.74 不等，AC1 = 0.477 表明一致性只是中等水平，作者虽论证这是'边界阈值分歧'而非'理解分歧'，但仍意味着标注的 ground truth 有相当噪声。第三，τ-bench 的二元奖励（reward=0/1）过于粗糙——只检查最终数据库状态和必要信息是否齐全，无法捕捉'任务成功但用户体验差'或'工具调用正确但策略低效'等中间状态，这使得信号框架在更细粒度的奖励信号下的表现难以推断。第四，信号分类法虽然声称'三层两轴'正交，但实际检测时交互信号和执行信号高度相关（失配往往伴随工具失败），这种相关性如何影响聚合分诊评分的独立性和稳健性未做深入分析。第五，论文没有详细公开信号检测器的具体规则集和阈值，复现者只能基于高层描述自行实现，可能引入实现偏差。改进方向包括：扩大标注规模以提升统计功效、引入连续型信息量分数替代二元标注、设计细粒度奖励信号下的实验、以及发布开源的信号检测规则库。
未来方向
作者明确提出两个未来方向。第一，设计端到端的偏好数据构造管线：被信号选中的轨迹（既包含失败也包含成功样本）可以通过反事实续写（counterfactual continuations）配对为偏好对，输入到 DPO/RLHF 训练中——这正是本文最直接的应用延伸。第二，探索混合架构：规则化信号保留轻量部署优势，模型化检测器用于处理缺乏显式词汇标记的微妙模式，在两者的协同上仍有大量设计空间。基于本文成果还可以延伸出几个方向：(1) 扩展到多模态智能体（如包含屏幕操作、图像理解的轨迹）；(2) 将信号框架用于在线监控——实时检测生产中的失配和挫败模式，触发人工介入；(3) 设计在线学习版本：信号反馈用于持续更新智能体策略；(4) 推广到多智能体协作场景，引入智能体间协调信号；(5) 探索信号在合成偏好数据生成中的应用——用信号激活的轨迹反向生成对抗性反事实样本，降低对真实失败样本的依赖。
复现评估
从复现角度看，本文的方法设计高度可复现，但实验部分的开源情况不明确。方法层面，信号检测器只依赖确定性规则和容错短语匹配，无需 GPU 推理，任何熟悉字符串处理和模式匹配的工程师都能在数百行代码内实现核心检测逻辑；聚合分诊评分和分层采样策略也是标准的数据处理操作；τ-bench 是公开基准，轨迹可直接下载使用。实验层面，三位专家标注 300 条轨迹的人工成本相当可观（约需一周的全职标注工作），且标注者需要熟悉智能体系统和工具使用模式，这构成主要复现门槛。统计方法（Gwet's AC1、Clopper-Pearson 区间、Fisher 精确检验）都是开源工具可直接调用。论文未明确说明信号检测器的具体规则集、阈值参数、短语词典的细节，也未提供代码仓库链接，这给精确复现带来一定挑战。整体复现难度中等：方法可复现，但完整复现实验结果需要投入相当的标注资源。
论文图表