← 返回 2026-04-21

论计算机使用智能体的可靠性 On the Reliability of Computer Use Agents

Gonzalo Gonzalez-Pumariega, Saaket Agashe, Jiachen Yang, Ang Li, Xin Eric Wang 📅 2026-04-20 👍 13 2026-07-13 08:36
Computer-Use Agents OSWorld Pass^k 可靠性评估 规划变异性
arXiv HuggingFace PDF

系统研究 CUA 重复执行任务时的不可靠性，提出三个成因并配套统计度量。

前置知识

POMDP（部分可观测马尔可夫决策过程）

POMDP 用元组 $\mathcal{M}=\langle S,O,A,T,I,R\rangle$ 描述：状态部分可观测，智能体依据 $\pi$ 选动作，$T$ 演化、$R$ 打分。论文把 CUA 任务记为 $x=(s_0,I)$，重复 $n$ 次得 $r_{x,j}\in\{0,1\}$。

理解 POMDP 是把握论文形式化框架的前提，否则看不懂可靠性定义 $\mathbb{E}_{\tau_1,\ldots,\tau_n\sim\pi(\cdot|x)}\big[\prod_{j=1}^{n} r_{x,j}\big]$ 与 Pass^k 公式的来源。

Pass^k 重复执行成功率

Yao et al. (2024) 的指标 $\text{Pass}^k=\mathbb{E}_{x}\binom{c_x}{k}/\binom{n}{k}$，$c_x=\sum_j r_{x,j}$ 是 $n$ 次中成功数。$k=1$ 是边际成功率，$k=n$ 是可靠占比 $1[c_x=n]$。

Pass^k 是论文全部实验表格的纵轴；只有先理解它为何关注 $k=n$（即 Pass^n=reliability），才能体会论文反复强调“Pass@10≈78% 与 Pass^10≈36% 之间存在巨大落差”的含义。

McNemar 配对检验与 Wilcoxon 符号秩检验

McNemar 检验 $\chi^2=(b-c)^2/(b+c)$ 对比二值可靠性；Wilcoxon 符号秩检验 $W=\sum_{d_x>0}R_x$ 对差 $d_x$ 排序求和，捕捉逐步改进。两检验均在 $p<0.05$ 下报告显著性。

Pass^k 只给出跨任务均值，无法回答“在同一批任务上提升了多少”这一关键问题；论文把这两个检验作为发现任务级改进/退化的主要工具，所有 $\Delta c_x$ 与 $b-c$ 数字都依赖这一统计基础。

OSWorld 桌面智能体基准

OSWorld 是 Xie et al. (2024) 提出的真实桌面评测环境，智能体通过 GUI 动作（点击、键入）按自然语言指令完成任务。论文全部实验在此平台，单次 Pass^1 上前沿模型已超人类基线，但 Pass^3 显著下降。

论文全部实验以 OSWorld 为唯一实验平台，提到 Pass^3（多数模型从 Pass^1 0.5–0.7 跌到 0.3–0.6）的数字均来自 OSWorld，理解它才能定位研究样本空间。

研究动机

Computer-Use Agents（CUA）在 OSWorld 等环境上单次成功率已经超过人类基线，但是同一任务重复运行多次，结果却极不稳定：作者用 GPT-5 驱动的 Agent S3 在 OSWorld 上观察到 Pass@10 约 78%，而 Pass^10 只有 36% 左右，意味着超过一半的任务存在“第一次成功、第二次失败”的情况。这种问题在现实部署中尤为致命——航空航天、医械、汽车及受监管 AI 系统中，可复现行为是可信度与安全的硬性要求，单次成功远远不够。已有工作要么采用单次 Pass@k 等“Best-of-N”指标，掩盖了不可靠的事实，要么用 Pass^k 横跨任务求平均，无法定位哪些任务、在什么条件下从不可靠变为可靠，更不谈判别模糊指令、规划差异、解码随机性这三个源头各自的贡献。

本文的目标是论文的核心目标是建立一个端到端的可靠性研究框架，系统拆解 CUA 在重复执行中失败的成因，并通过受控实验分别量化每个成因的实际影响。具体包括：形式化 CUA 的 POMDP 定义并定义 reliability 为全部 $n$ 次执行都成功的概率；引入 Pass^k + McNemar + Wilcoxon 三个互补指标，使得除均值之外还能在任务级配对比较；针对前沿模型（GPT-5、Claude Sonnet 4.6、Kimi 2.5）与开源模型（OpenCUA、UI-TARS-1.5-7B、Qwen-3VL-8B）开展对比实验，定位随机性、指令模糊、规划变异性三类因素的相对贡献，并寻找改善可靠性的可行机制。

与已有工作不同的是，已有研究存在三重缺口：第一，指标层缺乏任务级配对分析，无法可靠判定哪些任务“变可靠了”而非仅整体提升；第二，因果层几乎没有人把解码随机性、指令歧义、策略变异性作为正交因素在 OSWorld 这同一基准上做并列实验，导致讨论常常混淆；第三，干预层缺乏针对 CUA 的纠错机制设计。论文把独特切入角度放在“以 Pass^k 为核心，配对统计为基础，三因素受控实验+三阶段干预（执行前澄清 / 执行中反馈 / 规划复用）”之上，最终给出可解释、可复现的可靠性改善路径。

核心方法

论文的整体思路可以先看直觉再落到技术路线：直觉上，可靠性问题等价于“同一任务同一个体在不同时间点状态是否一致”，因此需要度量“$n$ 次都成功”的概率而非单次成功率；技术上则把 CUA 形式化为 POMDP 后，引入 Pass^k 表征平均可靠性，再用 McNemar 与 Wilcoxon 两个配对检验在任务粒度做差异检测，最后用三组受控干预（确定性解码、环境扰动、规划复用与迭代精炼）逐一验证随机性、模糊指令、规划变异性三类成因。整篇论文按“度量→分析→干预”三段式推进：第 2 章给出度量与建模，第 3、4、5 章分别用受控实验拆解三类因素，第 6 章总结并指出符号+神经混合、用户模拟器交互与规划迭代是改进方向。

核心创新点是把“可靠性”从单次成功率彻底解耦为重复执行层面的概率量 $\Pr(r_{x,1}=\cdots=r_{x,n}=1)$，并围绕它设计了一套配对统计工具 (McNemar + Wilcoxon signed-rank)。与已有 Pass^k 度量只报告任务均值不同，这套工具能在同一批任务上追踪哪些任务从 $c_x<n$ 跃升为 $c_x=n$，哪些任务发生回归，从而首次让“可靠性提升”这件事可被统计严格判定。在此之上，论文的真正差异化贡献是“用同一指标体系 + 同一 OSWorld 平台并行研究三类成因”，而非零散地各自为战——这让随机性、指令歧义、规划差异的相对影响可被同尺度比较。

方法步骤详情

方法由四个串联步骤组成。第一步是形式化建模：定义任务 $x=(s_0,I)$，二进制结果 $r_{x,j}\in\{0,1\}$ 由奖励 $R(\tau,x)$ 截断得到，进而给出 reliability 与 Pass^k 的严格定义。第二步是度量构造：对每个任务执行 $n$ 次，统计成功次数 $c_x=\sum_j r_{x,j}$，把任务分为“完全可靠 $c_x=n$”“部分 $0<c_x<n$”“零可靠 $c_x=0$”三类；Pass^k 由 $\binom{c_x}{k}/\binom{n}{k}$ 平均得到，同时计算 $b-c$（McNemar）和 $\Delta c_x$（Wilcoxon）。第三步是受控干预：(a) 随机性实验同时启用 temperature=0 + batch-invariant inference，并把策略层冻结为同一份计划（Strategy Determinism）；(b) 模糊指令实验在执行前用评估脚本元信息重写指令让成功标准显式化（Clarified），并设计了带 LLM 用户模拟器的 Retry (Clarify) 在执行中给出针对性反馈；(c) 规划变异性实验用 Behavior Judge 从先前 $n$ 次 rollout 中抽取结构化反馈合成 Plan，并在 Iteration 2 进一步基于更新后的滚动做迭代精炼。第四步是聚合评估：在 GPT-5、Claude、Kimi、Qwen、OpenCUA、UI-TARS-1.5 上分别报告 Pass^1、Pass^3、$b-c$、$\Delta c_x$，并以 $p<0.05$ 为显著性阈值进行两两配对比较。

技术新颖性

技术新颖性主要体现在三点。其一是统计度量组合：把 Pass^k（任务均值）、McNemar（边缘可靠性对比）、Wilcoxon（增量对比）拼成完整工具链，能够同时报告“哪些任务变可靠了”“平均趋势如何”，这是已有 CUA 评测工作所没有的。其二是“解码随机性 × 策略确定性”的二维干预设计，揭示了 temperature=0 反而可能降低可靠性的反直觉现象（Qwen 模型 $b-c=-20$ 显著退化），是首次系统化报告的实验。其三是面向 CUA 的反馈式重试 (Retry with Clarify)，它不依赖额外尝试次数就胜过静态 retry，并在 Kimi 上把 Pass^3 从 0.357 提升到 0.634 ($b-c=100$, $\Delta c_x=0.657$)，证明对 CUA 这种长视野任务，单纯的“再试一次”远不如“带反馈的再试”。

We illustrate three metrics for analyzing consistency in agent performance over multiple runs of the same task. (a) Pass^k (repeated-run success) (b) McNemar Test (c) Wilcoxon Signed-Rank Test.
Figure 2: We illustrate three metrics for analyzing consistency in agent performance over multiple runs of the same task. (a) Pass^k (repeated-run success) (b) McNemar Test (c) Wilcoxon Signed-Rank Test.

实验结果

核心发现可以归纳为四条，每条都有具体数字支撑。第一，能力与可靠性之间存在巨大鸿沟：Agent S3 + GPT-5 在 OSWorld 上 Pass@10 约 78%，但 Pass^10 仅 36%，这直接证明 Pass@k 等“能力型”指标严重高估部署可信度。第二，消除随机性反而不可靠（Table 1）：Qwen 在温度 0 + batch-invariant 设定下出现显著退化 $b-c=-20^*$、$\Delta c_x=-0.108^*$，而 OpenCUA $b-c=+20^*$、UI-TARS-1.5 $b-c=+19^*$ 反而提升，说明 temperature=0 对不同模型的影响方向并不一致，单靠确定性解码无法保证 reliability。第三，环境扰动会显著降低可靠性（Table 2）：Claude 在 perturb 条件 $b-c=-20^*$、$\Delta c_x=-0.080^*$；Kimi 的 Pass^3 已经很低（0.357），再扰动基本无影响，提示在已不可靠的模型上扰动收益被天花板吞没。第四，澄清歧义带来最大增益（Table 3 与 Figure 3）：GPT-5 Retry (Clarify) 把 Pass^1 从 0.576 拉到 0.730、Pass^3 从 0.454 拉到 0.632 ($b-c=+68^*$、$\Delta c_x=0.474^*$)；Kimi 在 Retry (Clarify) 下 Pass^1=0.727、Pass^3=0.634，$b-c=+100^*$ 是全表最大值；规划精炼（Table 4）则在迭代 2 时让 GPT-5 进一步提升至 Pass^1=0.725、Pass^3=0.651 ($b-c=+27^*$、$\Delta c_x=0.130^*$)，表明规划复用与迭代能逐步抬高可靠性下限，但模型间差异明显（Claude Iteration 1 显著退化 $b-c=-15^*$，源于 Strategy Determinism 叠加 Behavior Judge 反馈未能匹配其偏好代码方案的倾向）。综合三组实验，作者得出结论：要提高 CUA 可靠性，必须同时解决“执行随机性、指令模糊、策略变异性”这三类相互纠缠的因素，单点干预效果有限。

Reliability metrics across deterministic decoding strategies. McNemar and Wilcoxon statistics are computed relative to the stochastic Baseline setting. An asterisk (*) denotes statistical significance at $p<0.05$.
Table 1: Reliability metrics across deterministic decoding strategies. McNemar and Wilcoxon statistics are computed relative to the stochastic Baseline setting. An asterisk (*) denotes statistical significance at $p<0.05$.
Reliability metrics under environment perturbation. McNemar and Wilcoxon statistics are computed relative to the fixed environment Baseline setting. An asterisk (*) denotes statistical significance at $p<0.05$.
Table 2: Reliability metrics under environment perturbation. McNemar and Wilcoxon statistics are computed relative to the fixed environment Baseline setting. An asterisk (*) denotes statistical significance at $p<0.05$.
Reliability metrics across instruction ambiguity interventions. McNemar and Wilcoxon statistics are computed relative to the Original baseline setting. An asterisk (*) denotes statistical significance at $p<0.05$.
Table 3: Reliability metrics across instruction ambiguity interventions. McNemar and Wilcoxon statistics are computed relative to the Original baseline setting. An asterisk (*) denotes statistical significance at $p<0.05$.
Reliability metrics across iterations of plan extraction and iterative plan refinement. McNemar and Wilcoxon statistics are computed relative to Iteration 0. An asterisk (*) denotes statistical significance at $p<0.05$.
Table 4: Reliability metrics across iterations of plan extraction and iterative plan refinement. McNemar and Wilcoxon statistics are computed relative to Iteration 0. An asterisk (*) denotes statistical significance at $p<0.05$.
Task-level transitions in reliability under instruction clarification measured using McNemar analysis (left), and repeated-run success under clarified and unclarified instructions measured using Pass^k (right).
Figure 3: Task-level transitions in reliability under instruction clarification measured using McNemar analysis (left), and repeated-run success under clarified and unclarified instructions measured using Pass^k (right).
查看结构化数据
任务指标本文基线提升
OSWorld 确定性解码 (Qwen-3VL-8B-Instruct + Agent S3) Pass^3 / $b-c$ Pass^3=0.166, $b-c=-20^*$，$\Delta c_x=-0.108^*$ Baseline stochastic：Pass^3=0.222 Pass^3 下降 5.6pp，且为统计显著退化，证明仅靠 temperature=0 无法修复可靠性
OSWorld 确定性解码 (OpenCUA + S3) Pass^3 / $b-c$ Pass^3=0.180, $b-c=+20^*$，$\Delta c_x=+0.097^*$ Baseline stochastic：Pass^3=0.125 Pass^3 提升 5.5pp，$b-c$ 为正显著，说明该模型对随机采样敏感
OSWorld 环境扰动 (Claude Sonnet 4.6) Pass^3 / $b-c$ Pass^3=0.557, $b-c=-20^*$，$\Delta c_x=-0.080^*$ Fixed environment baseline：Pass^3=0.612 Pass^3 下降 5.5pp 且显著，证明 non-functional 视觉扰动足以破坏可靠性
OSWorld 指令澄清 + Retry with Clarify (Kimi 2.5) Pass^1, Pass^3, $b-c$, $\Delta c_x$ Pass^1=0.727, Pass^3=0.634, $b-c=+100^*$，$\Delta c_x=+0.657^*$ Original：Pass^1=0.508, Pass^3=0.357 Pass^1 +21.9pp, Pass^3 +27.7pp，$b-c$ 在全文中最大，验证针对性反馈对弱模型增益最大
OSWorld 迭代规划精炼 (GPT-5 + S3, Iteration 2) Pass^1, Pass^3, $b-c$, $\Delta c_x$ Pass^1=0.725, Pass^3=0.651, $b-c=+27^*$，$\Delta c_x=+0.130^*$ Iteration 0：Pass^1=0.681, Pass^3=0.576 Pass^1 +4.4pp, Pass^3 +7.5pp，且 Wilcoxon 显著，证明多轮规划迭代能继续抬高可靠任务占比

局限与改进

作者明确指出的局限主要在三个方面。其一，干预手段仍有上限：即使是效果最好的 Retry (Clarify)，Pass^n 仍未达到 Pass^k 上限，全部模型 Pass^3 与 Pass^1 的差距均在 10pp 以上，说明现阶段没有任何方法真正解决可靠性问题。其二，反馈式重试依赖 LLM 用户模拟器并使用评估脚本的真实信号 (Ground truth reward) 来判定成功，这与现实部署中无法获得 oracle 的情况有差距，作者已说明“实际部署需要不依赖 oracle 的判断器”。其三，论文实验只覆盖 OSWorld 一个桌面环境，结论是否可外推到 WebArena、AndroidWorld 等其它 GUI 环境尚待验证，但作者假设三类因素具有普遍性。我们独立观察到两点额外限制：(1) Claude 在策略确定性 + Plan 提取两套干预下都显著退化 (Iteration 1 $b-c=-15^*$)，说明反馈信号与模型偏好的匹配是开放问题；(2) 仅靠 Behavior Judge 抽取的 plan 在小模型上效果有限，提示后续需要针对弱模型专门设计更易消化的反馈形式。

独立分析的弱点

独立分析下论文的弱点主要有四点。第一，评估信号依赖 ground truth 而非自监督判断 (Table 4 明确假设 access to ground-truth success labels)，这使得 Retry (Clarify) 与 Plan Extraction 在真实部署场景下难以直接使用，需要先解决一个“轻量级 Behavior Judge”才能落地。第二，Plan Extraction 的迭代收益在三轮后趋缓甚至分化：Claude Iteration 2 仍未能恢复至 Iteration 0，提示 feedback quality 的瓶颈不是轮次而是 feedback 内容，针对每个模型校准的 plan synthesizer 是改进方向。第三，确定性解码的反直觉结果（温度 0 让 Qwen 显著退化 $b-c=-20^*$）暴露出 batch-invariant inference + fixed plan 的双重束缚可能让模型陷入“错误的高确定性”状态，未来需要把解码与规划解耦，去掉过强约束。第四，OSWorld 评测以一次性 $r\in\{0,1\}$ 判定任务成功，缺少对部分进度的奖励建模，未来可以把过程奖励 $R(\tau,x)\in[0,1]$ 重新启用，让 Wilcoxon 在更细粒度上对比增量改进。

未来方向

作者在第 6 章提出三大方向：(1) 神经+符号混合系统，用符号程序捕捉可靠骨架、用神经 CUA 兜底环境扰动；(2) 主动偏好获取 (active preference elicitation, APE) 与用户模拟器，让智能体在交互中渐进消除歧义；(3) 多轨迹融合 + 上下文演示 (multi-trajectory in-context demos)，把多次 rollouts 蒸馏为可靠执行范式。基于结果可延伸的方向还包括：把 Pass^k 引入 WebArena / AndroidWorld 等其它 GUI 基准进行跨域泛化研究；构建不依赖 ground-truth 的 self-judging 模块，使用 Behavior Judge + 过程监督多模态奖励模型；把可靠性作为训练目标直接加入 SFT/RL 阶段，让策略 $\pi$ 优化目标是 $E[\prod_j r_{x,j}]$ 而非 $E[r_{x,1}]$；以及把 McNemar + Wilcoxon 推广到更多干预组合的因子分析中，用 ANOVA-style 方差分解精确归因每一类成因的方差贡献度。

复现评估

论文整体可复现性较好但在算力与数据上仍有门槛。作者公布了实验平台与运行脚本说明，OSWorld 作为开源基准已可在公共仓库获取；策略侧使用 Agent S3 的默认设置与 OSWorld 提供脚本，温度、batch-invariant 等设置均在 2.3 节明确说明；指标 $b-c$、$\Delta c_x$、Pass^k 的计算过程在 2.2 节给出闭式公式。但是所有实验依赖对 GPT-5、Claude Sonnet 4.6、Kimi 2.5 等闭源 API 的商业访问，且每次干预都需要对同一任务重复 3–5 次，前沿模型一轮 OSWorld 全量评估就需数千美元 API 成本；Behavior Judge 与用户模拟器部分论文未公开 prompt 模板（仅在附录 C 中提及），第三方复现仍需自行实现。整体来看，理解并复现结论难度中等，但完整跑完所有模型、所有干预的实验表格则需要相当规模的算力与预算。

论文图表

(left) Performance of a strong computer-use agent (Agent S3 with GPT-5) across repeated attempts. While Pass@10 reaches approximately 78%, the corresponding Pass^10 indicates that the agent succeeds on all 10 executions for only about 36% of tasks. (right) Overview of factors that contribute to unreliability.
Figure 1: (left) Performance of a strong computer-use agent (Agent S3 with GPT-5) across repeated attempts. While Pass@10 reaches approximately 78%, the corresponding Pass^10 indicates that the agent succeeds on all 10 executions for only about 36% of tasks. (right) Overview of factors that contribute to unreliability.

左半部分用柱状对比展示同一智能体在 OSWorld 上的 Pass@10≈78% 与 Pass^10≈36%，凸显能力与可靠性间的鸿沟；右半部分用三层因素图把不可靠性分解为“执行随机性 Stochasticity / 解码 + 环境噪声 / 指令模糊 Underspecified Intent + 严苛评测 / 规划变异性 Planning Variability / 不同策略”，并用箭头标明三者共同影响 Agent 与 Human 之间的循环。

这是全文 motivation 的视觉锚点，Pass@10 与 Pass^10 的戏剧性差距正是论文提出的核心问题；右侧的因素分解图直接对应后续三个研究问题与三章实验，是阅读动机部分必备的图。