面向高效计算机使用 Agent 的步级优化方法

步级事件驱动级联：用小模型做默认策略，两个轻量监测器按需升级到大模型。

前置知识

Computer-use Agent

能够直接操控图形用户界面（点击、输入、快捷键）来完成跨应用任务的智能体，通常基于多模态大模型观察屏幕、规划动作并执行。

本文正是针对此类 agent 的推理成本问题，因此读者需要理解其多步闭环、GUI 异构等特性。

模型级联（Cascading）

推理时先用小模型/便宜模型处理，遇到难题再升级到强模型，是 FrugalGPT、RouteLLM 等 query 级路由在 LLM 时代的主要成本优化范式。

本文把 cascading 从 query 级扩展到 step 级，读者需要先理解传统级联机制和成本-质量权衡。

ModernBERT 编码器

BERT 家族的新一代高效文本编码器，参数量小、推理快，适合作为轻量级分类器处理滑动窗口内的推理-动作文本。

两个监测器（Stuck/Milestone）的核心实现就是 ModernBERT 分类器，必须理解其编码机制才能看懂监控信号。

LLM-as-a-Judge 监督

用更强 LLM（如 Claude Sonnet 4.5、GPT-5.2）对小模型生成轨迹进行标注（stuck vs non-stuck、milestone vs not），再蒸馏到小模型。

监测器训练数据的来源是 LLM 监督，读者需要理解这种 teacher-student 知识蒸馏范式。

研究动机

现有的 computer-use agent 在每个交互步骤都调用同一个大型多模态模型，导致推理成本和延迟过高。论文数据显示，在 OSWorld 和 WebArena 这类真实多步工作负载下，单次任务轨迹平均 20-35 步、消耗数十万 token、运行时间长达数十分钟，若每步都使用 frontier 模型，单任务推理成本可超过 1 美元。这种“统一算力分配”策略从根本上忽略了 GUI 轨迹的异构性：大量步骤是例行操作可以由小模型可靠处理，而失败却集中在少数高风险时刻。具体表现为两种典型失效模式——“进度停滞”（EvoCUA-8B 失败轨迹平均步数是成功的 2.8 倍，Qwen3-VL-8B 是 2.5 倍，重复动作率达 25.3%-37.5%）和“静默语义漂移”（约 36% 的失败轨迹以模型主动发出 done 收尾，看似流畅实则已偏离用户意图）。

本文的目标是本文提出把 frontier 模型推理从“全程开启”转变为“按需触发”的级联框架，目标是让级联策略在任务成功率上接近 always-large 策略的同时，显著降低延迟与成本。论文最终汇报的优化目标是：在 OSWorld 和 WebArena 上达到与最强单模型可比的成功率，同时将推理成本最高降低 74.6%、延迟最高降低 45.8%，且整个框架是模块化、即插即用的，无需修改底层 agent 架构或重训大模型。

与已有工作不同的是，已有工作要么停留在 query 级路由（FrugalGPT、RouteLLM、Hybrid LLM），粒度太粗无法应对 GUI 轨迹的演化；要么是 agent 级角色路由（MasRouter、xRouter、EvoRoute），仍然属于静态选择。另有 OSWorld-Human 和 SCUBA 等效率基准、Fara-7B 和 Ferret-UI Lite 等小模型训练工作，但都未真正解决“推理时按步动态选择模型”这一难题。本文的核心切入角度是：把 cascading 推进到 step 级，引入两个针对 GUI 失败模式（停滞与漂移）的轻量学习监测器，用事件驱动的方式把昂贵的强模型推理变成自适应、按需的算力分配。

核心方法

方法整体思路是“默认小模型、事件驱动升级”。直觉上，GUI 任务的多数步骤是例行的（小模型足矣），而真正烧钱又容易出错的是少数“高风险”时刻（停滞或语义漂移），因此只要能精准识别这些时刻并临时切换到强模型，就能在保住成功率的同时大幅削减成本。技术路线上，作者训练了两个 ModernBERT 分类器监测器——Stuck Monitor 仅基于最近 K 步的（推理, 动作）滑动窗口判断是否陷入局部循环；Milestone Monitor 则额外结合任务描述判断当前步是否完成一个有意义的语义里程碑。控制器以这两个监测器的输出作为事件触发器，事件一旦点燃，就把控制权交给大模型做恢复或验证。

与已有 cascading 工作的本质区别在于把决策粒度从“整条轨迹”压到“每一步”，并把“何时升级”这件事从启发式规则（如固定间隔）变成由 LLM 监督学习到的概率信号。具体地，定义紧凑滑动窗口 $w_t = [(r_{t-K+1}, a_{t-K+1}), \dots, (r_t, a_t)]$，用 Stuck 监测器 $S_\phi$ 输出 $p_{stuck}^t = S_\phi(w_t)$，Milestone 监测器 $M_\psi$ 输出 $p_{mile}^t = M_\psi(u, w_t)$（$u$ 是任务描述）；升级规则 $E_{t+1} = \mathbb{I}[p_{stuck}^t \geq \theta_s]$，对应模型选择 $m_t = \pi_{large}$ 当 $E_t=1$，否则 $m_t = \pi_{small}$。在里程碑点则用强模型做 sparse 验证——回答进度有效性和意图一致性两个问题，通过则更新检查点，失败则升级。监测器只用文本推理-动作痕迹，刻意不读截图，保证 step 级决策的开销可忽略。

方法步骤详情

流水线分四步。第一步：用 $\pi_{small}$ 跑多种任务轨迹，取交叠窗口 $\{w_t\}$，用 Claude Sonnet 4.5、GPT-5、Kimi K2.5 等强 LLM 对每窗口做 (stuck vs non-stuck) 和 (milestone vs not) 多次标注，仅保留高一致性样本。第二步：类别平衡交叉熵独立训练 $S_\phi$（仅 $w_t$）与 $M_\psi$（$(u, w_t)$），均为 ModernBERT+分类头。第三步（部署控制）：每步生成 $(r_t, a_t)$ 后组成 $w_t$ 喂两监测器；若 $p_{stuck}^t \geq \theta_s$ 则下一步切到 $\pi_{large}$，把 $(r, a)$ 重序列化为大模型格式无缝接管；若 $p_{mile}^t \geq \theta_m$ 则构造里程碑数据包（$u$、上次到当前的轨迹、当前与上次截图）让强模型答进度有效性、意图一致性两问，通过则更新里程碑，失败则升级。配 hysteresis 与 bounded recovery budgets 防抖动。

技术新颖性

技术新颖性体现在三个层面。其一，把“推理时间步级路由”作为一等公民建模：传统 cascading 是一次性 query 决策，本文第一次系统刻画 GUI 任务里 step 级 cascading 的难题——状态依赖、误差累积、抖动控制——并给出完整解法。其二，监测器只消费“文本推理-动作痕迹”而非屏幕或 DOM，这使得 step 级监测成本可忽略（远小于一次小模型推理），却保留了足够的失败信号；Stuck 监测器 F1 达 91.5%、Milestone 监测器准确率 94.1% 验证了这一选择的有效性。其三，框架是 plug-and-play 的：监测器从日志轨迹训练，强模型无须重训、底层 agent 架构无须改动，部署时只需选择阈值 $(\theta_s, \theta_m)$ 即可在成本-质量曲线上滑动，这是工程上极少有工作能同时做到的。

**Figure 1**: Overview of the proposed event-driven, step-level cascade for computer-use agents

实验结果

OSWorld 上 EvoCUA-8B+Kimi K2.5 级联 58.2%/$0.051/25.2 步接近 Kimi K2.5 单模型 60.1%/$0.132，成本降 61.4%；Qwen3-VL-8B+Kimi K2.5 推到 59.3%/$0.078，超过 Claude Sonnet 4.5 单模型 58.1%。WebArena 上 AgentTrek-32B+GPT-5.2 取得 58.8%/$0.208，相对 GPT-5.2 单模型 60.1%/$0.335 显著节流；gpt-oss-20b+GPT-5.2 取得 57.8%/$0.211。最高 74.6% 成本降幅、45.8% 延迟降幅。消融（图 3）两监测器互补：EvoCUA-8B 43.3%→49.7%/53.2%/58.2%；AgentTrek-32B 30.3%→44.9%/47.6%/58.8%。对比周期验证（表 3）WebArena 事件驱动 58.8% 击败定期 52.5%。监测器（表 4）：Stuck 93.9% Acc/91.5% F1；Milestone 94.1% Acc/62.0% F1。

**Table 1**: OSWorld efficiency, cost, and cascading statistics

**Table 2**: WebArena efficiency, cost, and cascading statistics

**Table 3**: Comparison of Event-Driven and Periodic Verification Policies

**Table 4**: Detection accuracy of the two monitors on the evaluation split

**Figure 3**: Ablation results showing the contribution of different detectors to final accuracy

查看结构化数据

任务	指标	本文	基线	提升
OSWorld 桌面任务成功率	任务成功率（Acc.）/ 单任务成本	EvoCUA-8B + Kimi K2.5：58.2% / $0.051；Qwen3-VL-8B + Kimi K2.5：59.3% / $0.078	Kimi K2.5 单模型：60.1% / $0.132；Claude Sonnet 4.5 单模型：58.1% / $0.881	相对 Kimi K2.5 单模型成本降低 61.4%，相对 Claude Sonnet 4.5 成本降低约 91%，且 Kimi K2.5 级联已超过 Claude Sonnet 4.5 单模型。
WebArena 网页任务成功率	任务成功率（Acc.）/ 单任务成本	AgentTrek-32B + GPT-5.2：58.8% / $0.208；gpt-oss-20b + GPT-5.2：57.8% / $0.211	GPT-5.2 单模型：60.1% / $0.335；GPT-5 mini 单模型：55.0% / $0.053	相对 GPT-5.2 单模型成本降低约 37%，延迟从 19.6s 降到 13.4s；AgentTrek-32B + GPT-5.2 还超过 GPT-5 mini 单模型近 4 个百分点。
OSWorld 消融：监测器组合	任务成功率（EvoCUA-8B）	无监测器 43.3% / +Stuck 49.7% / +Milestone 53.2% / +Both 58.2%	无监测器即纯小模型 43.3%	双监测器叠加带来 14.9 个百分点提升，且优于任一单监测器，验证二者互补。
WebArena 消融：监测器组合	任务成功率（AgentTrek-32B）	无监测器 30.3% / +Stuck 44.9% / +Milestone 47.6% / +Both 58.8%	无监测器即纯小模型 30.3%	双监测器叠加带来 28.5 个百分点提升，是单监测器增益的近 2 倍。
事件驱动 vs 固定间隔验证（OSWorld）	Acc. / 成本 / 平均步数	Stuck + Milestone：58.2% / $0.05 / 25.2 步	Periodic-k 最佳：55.1% / $0.07 / 27.1 步	事件驱动在更低成本下取得更高准确率（+3.1pp），且轨迹更短。
事件驱动 vs 固定间隔验证（WebArena）	Acc. / 成本 / 平均步数	Stuck + Milestone：58.8% / $0.21 / 12.0 步	Periodic-k 最佳：52.5% / $0.24 / 13.3 步	事件驱动准确率提升 6.3pp，成本降低约 12.5%，短轨迹场景下事件驱动优势更明显。
Stuck 监测器性能	Acc. / Prec. / Rec. / F1	93.9% / 91.0% / 92.0% / 91.5%	GPT-5.2 标注一致性：96.5% / 92.4% / 93.1% / 92.7%	小型 ModernBERT 监测器在 F1 上与 GPT-5.2 标注一致性仅差约 1.2pp，证明轻量监测器即可逼近 teacher 信号。
Milestone 监测器性能	Acc. / Prec. / Rec. / F1	94.1% / 59.4% / 64.9% / 62.0%	GPT-5.2 标注一致性：94.3% / 77.1% / 77.2% / 77.1%	整体准确率与 teacher 持平，但 F1 仍有 15pp 差距，反映 milestone 事件稀疏且边界模糊。

局限与改进

作者明确提到 Milestone 监测器精度（59.4%）和 F1（62.0%）显著低于 Stuck 监测器，原因是 milestone 事件本身稀疏且语义边界模糊，teacher LLM 多次标注的 F1 也仅 77.1%，说明任务本身具备标注天花板。作者也承认实验仅覆盖 OSWorld 和 WebArena 两个基准、且使用 2×H100 本地部署做延迟测量，结论在不同硬件、不同 UI 操作空间下的迁移性需要进一步验证。从读者视角看，本文还隐含几个局限：阈值 $(\theta_s, \theta_m)$ 是按基准调出来的，缺乏对未见任务的在线自适应机制；监测器只用文本推理-动作，理论上无法捕捉纯视觉导致的语义漂移（例如页面布局微小但语义变化的情况）；最后，“Plug-and-play”声明在论文里通过多层抽象保证了，但论文没有公开标注好的训练数据、监测器权重或完整训练脚本，复现门槛并不低。

独立分析的弱点

独立分析存在三个具体弱点。第一个是 milestone 监测器精度偏低（59.4%），导致验证请求偏多，可能把“假里程碑”也升级到大模型，潜在地抵消部分成本节省；改进方向是引入多模态信号或加入不确定性估计（如 Monte Carlo dropout、深度集成）以提高高置信度里程碑的纯度。第二个是阈值依赖经验调参，$(\theta_s, \theta_m)$ 是在 OSWorld/WebArena 上扫出来的，缺乏对新任务/新 UI 的自适应；改进方向是引入贝叶斯优化或上下文 bandit，让控制器在新任务上在线收敛到合适的成本-质量点。第三个是当强模型本身就失效时（比如 Kimi K2.5 在某些子任务上无法恢复），监测器会持续触发升级，导致成本激增而无法恢复，作者只承诺 bounded recovery budgets 但没有给出在什么情况下“放弃升级”回退到小模型或人工兜底的机制，改进方向是引入第三类监测器（“无救”检测）来终止徒劳升级。

未来方向

作者明确提出的方向是把 cascading 当作部署期控制器、并向更多模型族与基准推广。基于成果可延伸的方向有四：其一是把多模态信号（截图 embedding、DOM 差分）引入监测器，以缓解纯文本对“视觉型语义漂移”的盲区；其二是探索连续动作空间或更细粒度（亚步）级联，比如让大模型只“重写推理、保留小模型动作”以进一步省 token；其三是把 cascading 与强化学习结合，让监测器直接以“最终任务成功率 × 成本”为奖励在线优化；其四是把监测器作为通用失败预测器，应用到代码 agent、机器人 agent 等更广泛的多步执行场景中。此外，作者也提到值得研究“如何让小模型学会在升级前给大模型写一份精炼的 handover prompt”，进一步提高接管效率。

复现评估

复现难度中等偏高。论文在训练数据上依赖 Claude Sonnet 4.5、GPT-5 系列、Kimi K2.5 等闭源强模型做大规模轨迹标注，标注成本不低（API 费用可估算为论文总体推理预算的相当部分）；监测器用 ModernBERT 训练，相对轻量，可在单卡上复现。本地部署延迟用 2×H100 测得，开源模型（Qwen3-VL-8B、EvoCUA-8B、gpt-oss-20b、AgentTrek-32B）的成本基于 OpenRouter 公开报价估算。论文未明确给出 GitHub 链接，也未提供训练好的监测器权重或训练超参（ModernBERT 微调细节被推迟到 Appendix B），加上 OSWorld 和 WebArena 部署本身需要 GUI/网页沙箱，门槛较高。建议复现时优先实现事件驱动控制循环和 stuck/milestone 监测器训练管线，再做 benchmark 上的端到端对照。

面向高效计算机使用 Agent 的步级优化方法 Step-level Optimization for Efficient Computer-use Agents