监控准确率不是答案：评估 AI 智能体重启监控器的决策价值框架 Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
准确率无法判断重启是否有益，应以恢复机会、决策价值与统计证据评估失败监控器
前置知识
重启策略（restart policies）
随机化算法中的经典技巧：当一次运行看似停滞时丢弃当前尝试、从头重来。Luby–Sinclair–Zuckerman 证明了在特定假设下通用重启调度与最优固定调度只差对数因子。但经典保证关注期望运行时间的渐近行为，并不保证在有限总预算 $B$ 内某次截断能提升最终成功率。
本文 Proposition 3.3 与 Corollary 3.4 表明：任何固定截断 $c$ 都存在使其严格劣于（也存在使其严格优于）不间断策略的完成时间分布。有限预算下调度形状本身不携带信息，这是全文动机的解析基础。
决策充分性（decision sufficiency）
源自 Blackwell 的实验比较理论：一个可观测表示 $G_t$ 对某类决策是充分的，当且仅当最优行动可由 $(G_t, b)$ 确定。对二元继续/重启问题，这要求表示能几乎必然确定继续优势 $\Delta = Q_{cont} - Q_{restart}$ 的符号，与能否忠实重建原始轨迹无关。
本文把这个经典概念特化为判断进度表示与上下文压缩是否保留决策价值的判据，并推导出压缩损失的显式公式，说明高保真重构可能反而丢失决策信息。
Clopper–Pearson 精确二项区间
对二项比例的保守置信区间：给定 $n$ 次伯努利试验与错误概率 $\alpha$，用贝塔分布分位数构造区间，保证覆盖概率至少 $1-\alpha$，在小样本和边界样本（如零成功）下依然有效。$n$ 次观测零成功时上界形如 $1-(\alpha)^{1/n}$。
本文的决策审计对 $M$ 个任务-时刻比较各构造误差 $\alpha/(2M)$ 的区间并取并集界（union bound），得到所有非弃权判决符号正确的概率至少 $1-\alpha$ 的同时保证，这是弃权机制的数学核心。
右删失与竞争事件
删失指观测在水平 $H$ 结束时只知道完成时间 $T>H$，而非 $T=\infty$；竞争事件指另一事件（显式协议终止 $E$，如连续三次无效工具响应）先发生并改变解释。把协议终止当成普通删失会多扣 episode 预算，混淆时间截断与故障恢复。
实证部分严格区分 $J\in\{\text{verified}, \text{protocol terminal}, \text{right censored}\}$：协议终止可回收剩余预算给新 episode，活轨迹不能当已知失败处理，这直接影响重启重放与审计的估计正确性。
SWE-bench Verified 与 fail-to-pass 测试
仓库级 issue 修复基准：每个任务给定仓库起始状态与隐藏测试集，参考补丁应使 fail-to-pass 测试由失败转为通过；Verified 子集经人工筛选。本文把评估器与测试补丁放在智能体沙箱之外，每次环境动作后转入干净评估器运行。
本文所有成功率都是这种外部验证的二值完成信号，这是把论文自身指出的『智能体自报进展不可信』当作设计约束的具体实现；作者还审计了成功补丁是否篡改验证器。
潜在结果与干预语义
决策分析框架：每个行动 $a$（继续、干净重启、保留编辑的上下文重置）定义不同的潜在结果 $Y_a$，行动价值 $Q_a$ 是其期望效用。干净重启恢复初始任务状态、只花剩余预算；换一种恢复语义就换一套结果规律，行动价值不可互换。
核心恒等式 $G=(1-q)\tau p - q\phi(1-p)$ 只对『独立干净重启、重启恢复初始状态、告警不耗预算』这组假设成立。理解假设边界，才能知道框架在哪类恢复机制下可以安全使用。
研究动机
现有实践把失败监控器当分类器评估：报告准确率、真阳性率 $\tau$、假阳性率 $\phi$ 或 AUROC，仿佛这些数字就能说明『该不该重启』。作者用一个解析控制直接戳破这个假设：设 $q$ 为被监控尝试继续跑到截止的最终成功率，$p$ 为用剩余预算做一次独立干净重启的成功率（作者称为 restartability，一个准确率从不测量的量），则告警触发的成功率变化为恒等式 $G(q,p,\tau,\phi) = (1-q)\tau p - q\phi(1-p)$。取 $q=0.5$、$\tau=0.9$、$\phi=0.1$，分类准确率对每个 $p$ 都恰好是 90%，但重启收益随 $p$ 从 $-5$ 个百分点（$p=0$，重启必败）一路摆到 $+35$ 个百分点（$p=0.8$）。同一个 90% 准确率的监控器既可能造成净损失也可能带来巨大收益，完全取决于替换尝试在残缺预算下的成功率；当 $p=0$ 时连完美的失败预测也增加不了一个成功，只能省成本。
本文的目标是本文目标是把智能体失败监控器与进度信号的评估从分类语言彻底转到决策语言，围绕三个研究问题组织：RQ1——哪些量决定失败告警在重启后是否真正提升成功率；RQ2——进度表示必须保留什么信息、现有轨迹何时足以证明『继续』或『重启』的选择；RQ3——这些区分如何解释重启、水平扩展、上下文恢复与失败分支复用的实际结果。具体交付物有四件：（1）告警-行动价值恒等式与机会上限，要求告警质量与剩余预算可重启性联合报告；（2）二元行动特化的决策充分性判据，用于判断进度表示或上下文压缩是否保留决策所需信息；（3）有限样本、免模型调用的决策审计，用同时二项区间返回『重启/继续/弃权』三种判决；（4）在 194 次外部验证的智能体执行上运行这些工具，展示它们能诊断出准确率类评估无法建立的事实。
与已有工作不同的是，已有工作各占一角而未合拢：动态重启理论（Luby 界、动态调度、贝叶斯早停）优化期望运行时间，却不保证有限预算内截断提升成功率；FailFast-RestartSmart 与 EET 等学习型终止/恢复系统直接报告成本节省和恢复收益，但没有把告警质量、残余预算成功率和行动价值绑定报告；AgentBoard 的进度率指标依赖环境暴露子目标，而代码智能体只有二值外部验证；语义停止用草稿间语义收敛判断稳定，但几何收敛对外部完成不必然决策充分。本文的独特切入有三点：把 Blackwell 实验比较特化到『继续 vs 重启』这对行动、把 Clopper–Pearson 区间变成带显式弃权的同时符号认证、并把『先量恢复机会、再谈监控质量』确立为评估顺序——用完美告警参考就能先诊断出一个评估集根本没有可捕获的机会。
核心方法
直觉：失败告警只有在其触发的干预（干净重启）确实比继续更可能成功时才创造价值，而这个比较既取决于告警错误率，也取决于替换尝试在剩余预算下的成功率。技术路线分三层。第一层是干预特定分析：把行动定义为『继续（保留状态、花剩余预算）』vs『干净重启（恢复初始状态、花同一剩余预算）』，推导告警-行动恒等式 $G=(1-q)\tau p - q\phi(1-p)$、机会上限 $G\le(1-q)p$、无一致优势截断命题和观测歧义命题。第二层是信息论：把决策充分定义为表示能确定继续优势 $\Delta=Q_{cont}-Q_{restart}$ 的符号，并给出压缩损失的精确公式 $\frac{1}{2}\{E|D(Z)|-E|E[D(Z)\mid G]|\}$。第三层是实证与审计：在 19 个 SWE-bench Verified SymPy 任务上用 mini-swe-agent 2.4.6 跑 194 次执行（gpt-5.6-luna 与 deepseek-v4-flash-0731 两个模型、12/30/60 呼叫预算），每次环境动作后在沙箱外跑隐藏 fail-to-pass 测试记录首个通过状态，再对 130 条 30 呼叫轨迹构造 156 个任务-时刻比较做同时区间审计，返回认证或弃权。
核心创新是把『监控器好不好』替换成『告警触发的行动是否改变期望效用』。与已有方法的本质区别有三。其一，恒等式 $G=(1-q)\tau p - q\phi(1-p)$ 显示收益是两项之差：正确告警的失败把成功率从 0 提到 $p$（赚 $(1-q)\tau p$），误报的成功把 1 降到 $p$（亏 $q\phi(1-p)$）——准确率根本不进入表达式，正收益的充要条件是 $p > q\phi/((1-q)\tau + q\phi)$。其二，决策充分性只要求保留 $\Delta$ 的符号：丢掉大部分 token 的压缩可以无损，而高保真嵌入若把正、负继续优势混进同一观测类就损失决策价值 $\frac{1}{2}\{E|D|-E|E[D|G]|\}$，这给出与重构保真度无关的上下文压缩判据。其三，审计返回 restart/continue/abstain 三种判决而非无资格的点估计：对 $M$ 个比较各用误差 $\alpha/(2M)$ 的 Clopper–Pearson 区间，区间严格分离才认证符号，否则显式弃权，保证非弃权判决同时正确的概率至少 $1-\alpha$。
方法步骤详情
第一步，冻结干预语义与效用：继续与干净重启是不同潜在结果，保留编辑的上下文重置是第三个行动、另一套结果规律。第二步，解析控制：固定 $\tau=0.9$、$\phi=0.1$、$q=0.5$ 扫描 $p$ 得 $G=0.5p-0.05$，展示同一天赋下 $-5\to+35$ 点摆动；再推导机会上限与完美告警超额价值 $\min\{(1-q)p,\ q(1-p)\}$ 作为机会诊断量。第三步，序贯证伪实验阶梯：初始重启重放（7 任务×2 模型×5 尝试=70）、前瞻任务迁移（机械高 ID 35 + 难度富集 25）、60 呼叫水平扩展（20）、上下文再生（40，连续三次无效工具响应后保留工作区、丢弃对话、注入确定性 git status/diff 摘要）、补丁代数（38 个失败补丁零模型调用做干净三路组合，评 19 个）、语义解析器（4 次 12 呼叫）。第四步，外部验证：每任务先过基线失败/参考补丁通过双门控，每次环境动作后把候选 diff 移入沙箱外干净评估器，记录首个通过状态为完成时间，成功补丁审计无验证器篡改。第五步，回顾审计：130 条 30 呼叫轨迹构成 26 个任务-模型单元，$t\in\{4,8,12,16,20,24\}$、$B=30$、$M=156$；存活资格 $L_t=\{T>t,\ E>t\}$，每臂构造误差 $\alpha/(2M)$ 的双侧区间，重启区间整体高于继续区间则判重启、反之判继续、否则弃权。第六步，不确定性：任务内再尝试的分层 percentile bootstrap 一万次重复。
技术新颖性
作者非常诚实地标注了数学边界：所有恒等式都是经典结果的特化——价值表达式特化 Blackwell 实验比较，弃权审计用精确二项区间并体现安全策略改进思想，Prop 3.3/3.5 是初等构造，不声称新信息论。真正的新颖性在操作化与证据分层。第一，把『告警质量×可重启性』的联合报告要求变成可计算的恒等式、阈值与机会上限，并用完美告警参考诊断评估集的机会稀疏——本文三个前瞻队列的 plug-in 机会上限都是 0.00，即完美失败告警也无处可赚。第二，零成功证据成本公式 $U_0(n,M)=1-(\alpha/(4M))^{1/n}$ 定量说明：把成功率上界压到 10%，单决策需 42 个零成功观测、$M=156$ 时需 90 个——这解释了每单元 5 次尝试为何 103 个存活比较全部弃权，也把『点估计方向』与『可认证符号』分成两个量。第三，严格区分协议终止与右删失：显式格式失败可回收剩余预算（预算 60 时终端后回收策略达 9%，优于一次 60 呼叫的 5%），把活轨迹当已知失败是过收费。第四，序贯证伪设计加回顾审计的分层证据声明（数学恒真/回顾诊断/前瞻筛选），为负结果给出精确的认识论地位。
实验结果
（1）样本内增益微弱且不稳健：初始 70 次执行中 Luna 29/35 通过且多在早期，最佳截断 16–20 呼叫达 85.14% vs 一次 30 呼叫 82.86%（+2.29 点 [0.00, 6.86]，bootstrap 正向概率仅 0.504）；留一任务选择后反转为 75.54%（−7.31 点），由 held-out 任务 24443 决定；Luby 调度在 Luna 上仅 45.72%–67.40%。（2）跨模型灾难：DeepSeek 24/35 通过但完成集中在 16 呼叫后，套用 16 呼叫截断使成功率 68.57%→26.29%（−42.29 点 [−69.14, −17.71]），其最佳截断就是 30，Luby 调度成功率为零——印证尺度敏感命题。（3）前瞻不复制：高 ID 队列 35 次全部 15 呼叫内通过（两政策均 100%，无决策余地）；难度富集队列仅 1/25 通过且在呼叫 23（16 截断 0% vs 30 呼叫 4%）；19 任务合并 −0.21 点 [−4.21, 2.53]。（4）水平扩展：20 次 60 呼叫尝试仅 1 次在呼叫 17 通过，呼叫 31–60 零通过（单侧 95% 上界 13.9%）；17/20 以重复格式失败终止 vs 30 呼叫水平时的 1/20（Fisher $p=4.06\times10^{-7}$）；预算 60 时重复 30=9%、一次 60=5%、终端后回收=9%。（5）上下文再生：成功率 1/20→0/20（−5 点），格式终止 90%→0%、上限终止 0%→100%，平均成本 +56.7%（$0.03786→$0.05934）、墙钟 +65.7%。（6）分支复用：38 个失败补丁产生 51 个干净组合、评 19 个全败；4 个语义解析器 12 呼叫全败，但相关测试已过 76/79、21/22、99/100、47/52，与父补丁 diff 相似度 0.563–0.802。（7）回顾审计：$M=156$ 个比较中 103 个存活、全部弃权零认证；+2.29 点增益被定位到任务 23413 的单个存活失败尝试（贡献 $\frac{1}{7}\cdot\frac{1}{5}\cdot\frac{4}{5}\approx0.0229$），DeepSeek 全部 6 个存活单元点估计偏向继续。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Luna 初始 7 任务：固定 16 呼叫截断 vs 一次 30 呼叫 | 任务宏平均验证成功率 | 85.14%（固定 16） | 82.86%（固定 30） | +2.29 点 [0.00, 6.86]，样本内弱证据，留一任务选择后变为 −7.31 点 |
| 跨模型迁移：DeepSeek 套用 Luna 选定的 16 呼叫截断 | 任务宏平均验证成功率 | 26.29% | 68.57%（固定 30） | −42.29 点 [−69.14, −17.71]，严重负迁移 |
| 19 个 Luna 任务合并（初始+前瞻）：固定 16 vs 固定 30 | 任务宏平均验证成功率 | 68.21% | 68.42% | −0.21 点 [−4.21, 2.53]，样本内增益前瞻不复制 |
| 60 呼叫水平扩展（4 个压力任务 ×5 新尝试） | 呼叫 31–60 内首次通过数（单侧 95% 上界） | 0/20 通过，上界 13.9% | 全部 20 次尝试的完成均发生在呼叫 30 前 | 无观察到的晚期完成质量；17/20 协议格式终止（vs 30 呼叫水平 1/20，Fisher p=4.06e-7） |
| 上下文再生 vs 基线（共享 60 呼叫预算，各 20 次） | 验证成功率 / 平均成本 | 0/20 通过，$0.05934/次 | 1/20 通过，$0.03786/次 | 成功率 −5 点、成本 +56.7%、墙钟 +65.7%；协议标签改善 90 点但任务结果不变 |
| 失败分支复用：19 个干净三路组合 + 4 个语义解析器 | 验证通过数 | 0/19 组合通过；0/4 解析器通过 | 无历史基线（有界筛选实验） | 文本多样性不提供验证闭合；解析器近失（相关测试最高 99/100）但协议禁止延长 |
| 回顾性决策审计（130 条轨迹，156 个任务-时刻比较） | 同时 95% 水平下获得符号认证的存活比较数 | 0/103 个存活比较获得认证（全部弃权） | 点估计层面：6 个 DeepSeek 存活单元全偏向继续，Luna 增益源于单一存活尝试 | 揭示点估计方向与可认证统计支持之间的鸿沟 |
局限与改进
作者承认的：全部 19 个任务都是精选 SymPy issue，队列刻意混合试点、机械高 ID 与难度富集，合并率不能估计 SWE-bench 整体水平；后期干预只用 Luna 一个模型与 mini-swe-agent 一个 harness，两模型只证明异质性而非模型覆盖面；每任务 5 次尝试、存活条件下样本更稀，零成功筛选不能排除其他人群中的适度收益；回顾审计的比较族是看过数据之后选定的，不是认证规则的前瞻验证；任务内独立可交换的 provider 抽样假设可能被共享路由、时间漂移或相关重启破坏；二值验证器只测有限 fail-to-pass 规约，规约缺口无法根除；每次动作后的外部评估开销未计入模型调用预算，报告的模型成本非端到端部署成本。我的补充观察：密集外部验证是本文一切恒等式可估计的前提，而生产控制器通常拿不到这种每动作信号，框架的直接部署性受限；审计只用任务身份与经过呼叫数作特征，根本无法度量嵌入、学习型监控器或语义摘要的决策价值——这恰是标题承诺要评估的对象；『103/103 弃权』是该保守程序在 5 样本单元上的特性，作者也声明不能推广为所有统计方法都必须弃权；温度固定 0.7、无重试的冻结协议使负结果与具体配置绑定。
独立分析的弱点
弱点一：机会稀疏时审计无分辨率——$M=156$ 时需 90 个零成功观测才能把成功率上界压到 10%，而本文每单元仅 5 次尝试，导致 103 个存活比较零认证；改进方向是层次贝叶斯式跨任务部分池化（共享重启率先验），并用 held-out 任务验证校准。弱点二：审计特征贫乏——只用任务 ID 与时刻 $t$，无法回答『哪些轨迹值得重启』这一监控器的核心问题；改进方向是按论文自己的恒等式估计特征条件残差定律 $\lambda_u\mid G_t$，把前置监控器、嵌入或语义摘要放进同一决策价值框架评测。弱点三：干净重启假设与实用恢复语义（保留编辑的上下文重置、编辑复用，即 FailFast-RestartSmart 的做法）不同，恒等式与审计都不覆盖；改进方向是对一般告警直接估计 $G=E[A(Y_R-Y_C)]$，这需要配对的前缀条件干预数据。弱点四：单仓库单 harness，负结果可能与 SymPy 和 mini-swe-agent 特有的协议崩溃模式（重复格式错误）绑定；改进方向是在第二、第三个仓库复制五个筛选实验。弱点五：每次环境动作后跑沙箱外评估器成本高且生产环境不可用；改进方向是低频或抽样验证，或用可信代理信号并对代理本身做机会校准。
未来方向
作者提出的『下一个决定性实验』非常具体：用独立校准数据找出既有存活失败、又有非平凡残余预算恢复机会的任务；冻结监控器、阈值、预算与干净重置/编辑复用规则；在 held-out 任务上比较继续、校准固定时间规则、监控触发干预三个臂，把监控与恢复开销计入同一预算；分开报告机会、校准、行动值遗憾、成功与成本；并需第二个模型或仓库验证迁移——在现有四个难任务上加抽更多次无法确立迁移性。可延伸的方向：把决策充分性判据变成上下文压缩器或记忆系统的训练目标（保留 $\Delta$ 的符号而非 token 保真）；用特征条件 hazard 估计学习型监控器的机会上限与完美告警参考；研究多次重启、状态保持恢复与预算回收（协议终端后回收使 60 预算下达 9% vs 一次 60 呼叫的 5%）组合成的行动对；把弃权证书用作部署自动重启规则前的校准门控；以及针对近失补丁（相关测试 99/100、47/52）的定向延长实验——本文协议禁止在看到结果后延长，留下了一个明显的未验证假设。
复现评估
复现基础较好：轨迹分析与审计实现以 RestartLab 名义随论文发布；harness 是版本化开源的 mini-swe-agent 2.4.6；基准是公开的 SWE-bench Verified；论文给出完整冻结配置表（温度 0.7、WSL2 Bubblewrap 无网络隔离、评估器在沙箱外、收集日期 2026-08-31 与 09-06）和六个阶段的冻结比较规则、选择截止与淘汰准则。算力需求极低：无任何训练，全部 194 次执行按报告的平均成本约 $0.03–0.06/次，合计约几十美元 API 费用；决策审计本身零模型调用、纯离线计算。难度分层：复现审计（公开轨迹上的区间计算）容易；复现实证阶梯工程量大——需实现每次环境动作后的外部验证、按任务基线失败/参考通过门控、成功补丁反篡改审计与前瞻冻结协议，但论文描述足够细致。主要风险是 openai/gpt-5.6-luna 与 deepseek-v4-flash-0731 端点的版本漂移与 provider 路由差异：它们会改变完成时间分布，从而改变一切截断与重启结论；严格复现应固定快照端点并把抽样分布的稳定性作为前置检查。
论文图表
展示两个潜在状态可以产生相同的可观测轨迹 $g(X^A_{0:t})=g(X^B_{0:t})=G_t$：状态 A 是『晚但可行』（保留累积工作应 CONTINUE，$\Delta_A>0$），状态 B 是『死分支』（丢弃当前分支应 RESTART，$\Delta_B<0$），两者在时刻 $t$ 都没有验证通过、有相同的可见动作与编辑。控制器只看到 $G_t$，继续优势的符号不可辨识。
全文最核心的概念图：解释为什么『轨迹看起来停滞』不等于『值得重启』，是 Proposition 3.5 观测歧义与 Corollary 3.6 遗憾下界（最坏情况至少 $p/(1+p)$）的可视化基础，也定义了好的进度传感器应按继续优势而非表面活动分离历史。