长程智能体的证据可循式监督：AgentMonBench基准与EBG行为证据图 What Did the Agent Actually Do? Evidence-Grounded Oversight for Long-Horizon Agents
构建监控基准与免训练行为证据图，帮用户核验长程智能体的关键自主决策并定位证据
前置知识
长程智能体与执行轨迹
能自主执行多步任务的LLM智能体，通过循环调用搜索、读写文件、运行命令等工具，完成修改整个代码仓库、复现研究、分析数据等长任务。其执行过程会留下轨迹（trajectory）——用户请求、智能体回复、工具调用与结果的时序记录，是事后审计智能体行为的主要材料。
论文的监控对象正是这些轨迹与代码仓库中留下的行为证据：FeedbackTrace子集直接以真实SWE-chat会话轨迹为输入，要求监控器从历史交互中找出值得用户核验的决策。
情境感知（Situation Awareness）
人因学家Endsley（1995）提出的框架，将操作员对系统的认知分为三层：察觉发生了什么、理解其意义、预测其后续走向。自动化程度越高，人越容易'脱离回路'（out-of-the-loop），监督质量越差，这一'自动化的讽刺'自Bainbridge 1983年起被反复验证。
论文把用户对智能体的监督形式化为情境感知问题——识别哪些决策值得核验、理解其影响、预判后果，这是EBG设计动机的直接理论来源，也解释了为什么证据组织比单纯堆上下文更重要。
LLM-as-a-Judge
用另一个LLM按照评分细则（rubric）给模型输出打分的评测方式，常用于难以规则化的语义任务。本文用GLM-5.2与Qwen3.7-Max两个裁判对六个语义指标独立打分取算术平均，并报告裁判间的方向一致率（83.3%）与Spearman秩相关（0.89-1.0）来控制单裁判偏差。
AgentMonBench的主结果中六个语义指标（SF1、QQ、LC、CC、VPA、ESS）全靠裁判评分，只有理解双裁判协议及其分歧幅度（如LC平均差0.097），才能正确解读主表分数和哪些结论是裁判敏感的。
仓库符号图（Repository Code Graph）
用AST解析源码，把函数、类等符号作为节点，调用（invoke）与包含（contain）关系作为边构成的图。RepoGraph等检索方法据此以'一跳符号子图'为读取单位，帮助模型在仓库级代码中导航，避免逐文件线性扫描。
EBG的主要对照基线就是适配版RepoGraph。EBG与符号图的本质区别在于：在图结构之上叠加了行为分组（条件-操作-结果）与任务文档对齐。消融实验证明正是这两点带来增益，理解这一点才能读懂论文的核心论点。
语义替换与守护测试
一种构造'静默行为偏离'样本的技术：对代码做最小修改，使外部可观测行为改变，但仓库原有测试套件依然全部通过；同时为该行为专门编写一个语义测试（守护测试），使其在原实现上通过、在替换后失败，从而证明偏离真实存在且能被区分归因。
SilentSwap子集的构造与验证完全依赖这一机制：每个样本5个替换都要通过个体验证（原测试前后通过、语义测试由通过变失败）和组合验证（四条件下语义测试结果可控），这是理解该基准严谨性的关键。
研究动机
编程智能体已能执行跨数小时、数十万token的长任务：修改整个仓库、复现研究、分析数据。用户从'亲自做每个决定'退居'监督自主执行'，但责任并未随委派消失——智能体在执行中做出的具体选择（如更改评测标准可能颠覆研究结论、丢弃不完整记录会改变分析对象的总体）即使合理，也应交由用户判断。真正的困难在于证据高度碎片化且注意力有限：支撑一个决策的证据散落在消息、工具结果和中间产物中。量化来看，AgentMonBench三个子集的平均输入长度分别约为22,870、22,856与53,943 token，FeedbackTrace最长样本达326,612 token；而论文的失败归因显示，即便配足上下文，最强模型在SpecGAP的484个缺失约束中仍有258-377个识别失败。'哪些决策值得核验、证据在哪里'这一监督问题，靠原始上下文直接阅读并不可靠。
本文的目标是论文要系统回答两个问题：长程智能体任务中，哪些关键自主决策值得用户核验？哪些证据能帮助用户理解这些决策的影响？为此作者做了三件事。其一，把'监控'形式化为一个独立任务：识别影响任务目标、约束或结果解释的具体选择，并将其连接到上下文中的可溯源证据。其二，构建AgentMonBench，用三个各含100个样本的子集，从'需求-行为对齐'（SpecGAP测未言明的约束、SilentSwap测文档未披露的语义改动）与'关键决策感知'（FeedbackTrace测真实交互中事后被用户反馈印证的决策）两个互补维度评测监控器。其三，提出EBG——一种免训练方法，把代码仓库或执行轨迹中的证据组织成行为图，再渲染成任务导向的局部视图，让监控模型在组织良好的证据上做语义判断。整个流程中EBG只负责确定性的证据组织，语义判断留给监控器。
与已有工作不同的是，相关工作的切入点各不相同：AgentLens关注轨迹质量与'侥幸通过'问题，TiDE关注多问题主动发现，Ambig-SWE、Ask or Assume、π-Bench、KnowU-Bench关注智能体主动澄清、隐藏意图解析与偏好征求——它们评测的都是执行方智能体的能力。本文的独特角度是评测'监督方'：监控器能否发现执行中未被披露、但事后值得用户核验的关键选择，并定位支持证据，这是此前基准未覆盖的任务。方法上，与RepoGraph只建符号级调用/包含图不同，EBG以'行为'为基本组织单元（仓库侧按条件-操作-结果、轨迹侧按需求-行动-响应组织证据），再把行为聚合成范围（Scope）、用带证据的显式有向边连成图，并让任务需求引导证据呈现与裁剪；整个构图是确定性程序、零LLM调用、零训练，把'证据组织'与'语义判断'干净分离。这种'训练-free + 行为粒度 + 任务对齐'的组合是本文的差异化切入。
核心方法
直觉上，EBG要解决的是'证据太多而组织太差'：长上下文里，判定一个决策所需的代码行或对话事件与大量无关内容混在一起，模型要么读不到、要么读了抓不住重点。EBG的解法是先用确定性程序把可见上下文组织成结构化行为图，再按任务需求裁剪出局部证据视图，最后由监控模型在视图上做判断并输出可溯源的结论。形式化地，设 $X$ 为可见智能体上下文，$Q$ 为其中的任务需求，输入类型 $\tau \in \{\text{repository}, \text{trajectory}\}$，完整流水线为 $G = F_\tau(X)$（构建结构化行为图）、$V = P_\tau(G, Q)$（任务导向的证据呈现）、$\hat{Y} = M(Q, V)$（监控器判断），其中图 $G = (E, B, S, R)$ 的四个成分分别是证据单元、行为、范围与显式关系。构图与呈现两个组件共五个阶段全部为确定性规则程序，不含任何LLM调用；只有最后的监控器 $M$ 是LLM，负责语义层面的判断。
核心创新是把'证据组织'与'语义判断'分离，并以'行为'作为组织桥梁。已有做法要么给模型原始上下文（Base基线），要么给符号级代码图（RepoGraph），两者都不回答'这组代码/事件共同构成了什么行为'。EBG为每个行为强制建立角色结构：仓库侧行为是（条件-操作-结果）三元组 $b_j = ((I_j^{cond}, I_j^{op}, I_j^{res}), \tau=\text{repository})$，轨迹侧行为是（需求-行动-响应）$b_j = ((I_j^{dem}, I_j^{act}, I_j^{resp}), \tau=\text{trajectory})$，其中每个 $I$ 是对证据单元的引用。这带来两点本质区别：其一，证据单元保留ID、原文与源位置（文件路径、符号、行号，或事件位置），形成共享引用层，多个行为可引用同一证据，监控器的每个结论都能溯源到原始代码行或对话事件；其二，行为聚合成范围（仓库按文件+限定名下的符号划分，轨迹按任务标识划分），范围之间用带支持证据的显式有向边相连——仓库侧有calls（调用方指向被调方）与feeds（生产者指向消费者），轨迹侧有references（显式引用先前任务）与precedes（首次出现顺序）——让'活动之间如何关联'由图结构而非平铺列表承载。
方法步骤详情
EBG分两个组件执行。第一步，结构化行为图构建（三个确定性阶段）：①证据抽取，把Python源码切成语法单元（定义头、控制结构头、独立语句），把轨迹切成段落级证据单元（代码块保持完整），每个工具调用与其结果合并为一个单元，每个单元记录编号 $i$、原文 $c_i$ 与位置 $\ell_i$；②行为形成，按角色结构把描述同一活动的证据引用组织成行为——仓库行为以返回值、异常、状态更新等可观测结果为锚点，分支结构提供条件，变量定义与使用确定相关操作；轨迹行为通过对象标识符、工具调用链接、回复关系等显式结构线索，把用户需求、工具行动与智能体回复对应起来；③图组织，把行为归入范围并用显式关系边连接。第二步，任务导向的证据呈现：仓库侧先做任务引导的目录排序 $\Pi_Q = \text{Rank}_{\text{repository}}(D, Q)$，监控器据此选择要读的文件；被选文件中与任务文档引用直接匹配的范围成为种子，每个种子保留全部邻接关系及对端范围形成一跳子图（不递归扩展），连通的子图合并为弱连通分量，每个分量按'邻居度数最高、并列时取任务需求中最早提及'选出阅读根；最终视图把各分量连同匹配的文档段落和原始源码一起渲染，保留路径、符号与行号。轨迹侧把行为按任务范围分组、组内保持原始时序，最后一个可见行为所在范围标记Current，其余标记History，跨任务的显式引用得以保留，监控器据此识别需用户核验的决策并给出可溯源证据。
技术新颖性
技术新颖性有四点。第一，免训练且确定性：$F_\tau$ 与 $P_\tau$ 是纯规则程序，无LLM调用、无参数更新，构造可复现、证据可审计，与训练专用监控模型的路线正交，也和把判断外包给LLM的'智能体自审'不同。第二，行为粒度的证据组织：消融实验直接验证其必要性——仅去掉行为分组（保留同样的图结构与证据）就使GPT-5.6 Luna的SpecGAP SF1下降0.102、QQ下降0.147，使Kimi K3的FeedbackTrace ESS下降0.115、EHR下降0.120；而RepoGraph基线在SilentSwap上几乎全面落后（如Kimi K3的LS为0.406，EBG为0.681），说明单纯符号图不足以支撑行为级理解。第三，任务对齐的呈现：任务需求被注入文件排序、种子选择与视图渲染（去掉任务引导使GLM-5.3的SilentSwap LC下降0.213、LS下降0.208），这是静态代码图检索不具备的。第四，问题定义本身的贡献：把'哪些决策值得用户核验'确立为独立于轨迹质量评估与主动澄清的监控任务，并配套三个构造协议可复现、经双人评审（一致率92.4%-93.6%）的基准子集，为后续监督研究提供了可比较的舞台。
实验结果
主实验（Table 1）用八个模型（GPT-5.6 Luna/Terra/Sol、DeepSeek-V4.1-Flash/V4-Pro、Kimi K3、Claude Sonnet 5、GLM-5.3）在三个子集上对比Base与EBG，并在两个仓库子集加入适配版RepoGraph，六个语义指标由GLM-5.2与Qwen3.7-Max双裁判取平均。四个核心发现：(1) 当前模型监控能力有限——Base下最好成绩也只有Kimi K3的SpecGAP SF1 0.494、GLM-5.3的SilentSwap LS 0.560，FeedbackTrace的EHR普遍在0.34-0.55，远未解决；(2) EBG在绝大多数设置下同时优于Base与RepoGraph——如GPT-5.6 Terra的SF1从0.275升至0.392、LF1从0.309升至0.462、SilentSwap LS从0.417升至0.623，Kimi K3的LF1从0.497升至0.603，GLM-5.3的LS从0.560升至0.708；RepoGraph则常低于Base（Sonnet 5的CC低至0.083）；(3) 证据定位收益随输入规模保持——按输入token三分位分组后，Base均值随规模单调下降（FeedbackTrace EHR从0.667跌至0.422，SilentSwap LS从0.557跌至0.429），EBG在全部9个平均比较中占优，High组的绝对增益为SpecGAP LF1 +0.078、SilentSwap LS +0.115、FeedbackTrace EHR +0.108；(4) 鲁棒性与实用性——三组件消融均降低代表性指标（去掉图组织使Luna的QQ下降0.412），扩展深度1-3跳与交互轮次4-8的敏感性实验中SF1/LS波动不超过0.0303/0.0272；把EBG集成进Codex Harness后，5个改编自真实事故的研究任务中，无EBG的Codex全部未披露关键问题，有EBG时全部识别并披露——典型如串行回退悄然改变每问题随机化协议，修复重跑后目标均值从42.6374变为28.5896，暴露了原'收益'中的随机化混淆。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SpecGAP 缺失约束识别 | Semantic F1 (SF1) | EBG 0.558（Kimi K3） | Base 0.494（Kimi K3）；RepoGraph 0.443 | +0.064（对Base） |
| SpecGAP 代码证据定位 | Localization F1 (LF1) | EBG 0.603（Kimi K3） | Base 0.497 | +0.106 |
| SilentSwap 语义替换定位 | Localization Score (LS) | EBG 0.708（GLM-5.3） | Base 0.560；RepoGraph 0.561 | +0.148（对Base） |
| FeedbackTrace 证据命中 | Evidence Hit Rate (EHR) | EBG 0.610（Sol/Kimi K3） | Base最好0.550 | +0.060；最弱模型Pro亦从0.340升至0.370 |
| 高输入规模下的证据定位（High组） | LF1 / LS / EHR | EBG增益 +0.078 / +0.115 / +0.108 | Base均值分别降至0.497 / 0.429 / 0.422 | 9个平均比较全部为正 |
| 披露判定与误报控制 | TPR / FPR (%) | EBG使TPR在9/9个组合中提升（如GLM-5.3 SpecGAP 70→80） | Base的GLM-5.3 SpecGAP FPR为24% | FPR在8/9个组合中下降（该例24→16）；唯一例外是Luna SilentSwap FPR 52→58 |
局限与改进
作者量化承认的局限：(1) 绝对性能仍低——最好的SF1只有0.558，FeedbackTrace EHR约0.61，失败归因（Table G1）显示SpecGAP失败的74.0-81.2%发生在参考证据已可见之后，FeedbackTrace失败更是100%属于判断阶段，即证据组织解决不了'看了但没看懂'的推理瓶颈；(2) 部分指标不稳定——SilentSwap的CC（行为变化理解）在3跳扩展或4轮预算下会低于Base，Luna在FeedbackTrace上FPR高达84%，误报仍会消耗用户注意力；(3) 语义指标依赖LLM裁判——裁判间LC平均分差0.097、VPA 0.095，个别模型的结论随裁判翻转。我的补充观察：(4) 规模与域限制——每子集100样本、每会话仅一个金标核验点，全部限于Python软件工程，SpecGAP/SilentSwap基于DeNovoSWE的LLM生成仓库，与真实遗留代码库的混乱程度有差距；(5) 构造管线重——依赖LLM生成加双人评审（SpecGAP模型映射仅66.5%被人工采纳），迁移到新领域成本不低；(6) RepoGraph是论文自适配版本（用Python AST替换Tree-sitter、未含其全部能力），基线公平性存疑；(7) EBG的一跳扩展、按度数选根等规则是手工设计，呈现遗漏仍占SilentSwap定位失败的14.5-24.3%，说明检索与呈现环节本身也有明显的改进空间。
独立分析的弱点
弱点一：判断阶段是主要瓶颈而非证据获取。SpecGAP上74-81%的失败、FeedbackTrace上100%的失败发生在参考证据已完全可见之后，说明把证据组织得再好，模型的语义推理短板依旧。改进方向：在EBG视图上引入验证式推理（如逐个候选决策与证据的交叉核对协议），或用EBG组织的结构化数据微调专用监控器，把'组织收益'蒸馏进参数。弱点二：误报与校准缺失。Luna在FeedbackTrace上FPR达84%，SilentSwap上EBG反而使Luna的FPR从52%升到58%，而论文未提供置信度校准或代价敏感的告警阈值——监控系统的实际价值取决于漏报与误报的权衡。改进方向：引入criticality预测的校准损失，用用户是否采纳告警做在线反馈闭环。弱点三：图构造规则静态。一跳扩展、按邻居度数选根、Current/History二分标签均为手工设定，敏感性实验显示3跳并不总比1跳好；改进方向是自适应扩展——让视图先自评证据对候选决策的支撑度，不足时按需加深或补取。弱点四：域与规模限制。每子集100例、单金标核验点、Python与LLM生成仓库，对多语言、真实遗留系统、多冲突决策并存场景未验证，'每个任务恰好一个值得核验的决策'这一设定本身降低了任务难度。弱点五：LC/CC采用阈值化评分（5个替换全对得1分、3-4对得0.5分），粒度粗糙且对部分正确不敏感，可能掩盖渐进改进。
未来方向
作者明确提出的方向：(1) 内容级证据覆盖——发展自适应图扩展与任务引导检索，让证据视图能判断所选内容是否支撑候选决策，并在支撑不足时主动请求更多上下文；(2) 设计对照实验：固定证据内容、单独变动组织方式与推理程序，定位判断失败的真正根源；(3) 把失败归因框架（文件遗漏/呈现遗漏/判断失败三分类）发展为监控系统[常规诊断工具]。基于本文成果可延伸的：(4) 从'事后监控'走向'执行中监督'——Codex Harness案例已展示hook+skill+tool的集成形态，可进一步做成带披露门槛的实时告警系统，在决策发生时而非结束后提示用户；(5) 用EBG视图构造训练数据，蒸馏出低成本专用监控模型，摆脱对旗舰API的依赖；(6) 跨域迁移——数据分析智能体（丢弃记录、修改清洗规则）与自主科研（更改评测协议）场景的验证点结构与Demand-Action-Response同构，迁移成本较低；(7) 用户研究——本文只测了监控器的指标，未验证EBG呈现是否真正降低终端用户的核验负担与理解时间；(8) 与形式化方法结合——对关键行为自动生成差分测试或符号执行守护，把SilentSwap式的'静默偏离'检测从LLM判断部分下沉到可证明的检查。
复现评估
复现条件较好。数据与代码完全开源：GitHub仓库zhk-lab/EBG，HuggingFace数据集ZhaoHongKang/AgentMonBench，另有项目主页。AgentMonBench共300个样本（三个子集各100例），SpecGAP/SilentSwap源自DeNovoSWE（附带Docker环境，SilentSwap的语义测试可实际执行验证），FeedbackTrace源自真实SWE-chat会话；金标标注经双人独立评审（一致率92.4%/93.6%/93.0%），三个子集的构造提示词在附录B.6完整公开，执行设置（搜索返回上限12条、读取预算65,536 token、本地上下文100万token、SpecGAP最多8轮/SilentSwap 6轮等）在附录D.4写得相当细。方法本身免训练，EBG构图是确定性规则程序，CPU即可运行，无GPU门槛。主要成本在监控器推理：需要调用GPT-5.6系列、Claude Sonnet 5、Kimi K3、GLM-5.3、DeepSeek-V4等商业API，完整复现主表约需8个模型×3子集×2-3种输入表示的推理量，另需GLM-5.2与Qwen3.7-Max两个裁判模型。整体难度中等：管线环节多、预算参数琐碎，但文档详尽，忠实复现可行；若只复现EBG方法与开源部分（构造验证、指标计算），难度更低。
论文图表
用一个研究场景示意监督问题：智能体执行了'丢弃缺失行'的过滤决策，其证据是散落上下文中的过滤规则代码，影响是分析所代表的总体发生改变；用户的监督任务就是把'哪个选择塑造了这个结果'与证据、影响联系起来。
一图讲清论文要解决的核心场景——长程委派中用户需要的是'决策-证据-影响'的连接，这是全文问题定义的直观版本。
Table G1的可视化：每个条形显示一个监控器在一个子集上的失败构成，判断失败份额标注在条形内部，右侧标注失败绝对数（如SpecGAP Luna 362个失败中81.2%为判断失败）。
一眼看出'证据都在眼前仍然失败'的普遍性，是论文最清醒的一张图，直接界定了证据组织方法的能力边界。