← 返回 2026-07-28

StateAct：面向长程计算机操作智能体的程序状态优先框架 StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents

Yan Yang, Xiangru Jian, Ziyang Luo, Zirui Zhao, Yutong Dai, Ziji Shi, Hanshu Yan, Jun Hao Liew, Silvio Savarese, Junnan Li 📅 2026-07-24 👍 60 2026-08-02 18:30
智能体框架 程序状态接地 自我验证 计算机操作智能体 长程任务
arXiv HuggingFace PDF

让主智能体直接读写程序状态而非截图，长程桌面任务显著提效降本

前置知识

Computer-Use Agent（计算机操作智能体）

指能够操作真实桌面软件（文件管理器、电子表格、日历、浏览器、邮件等）完成人类委托任务的智能体。主流做法是通过截图感知屏幕像素、再用视觉模型决定在哪里点击或键入，因此其能力上限通常被‘读屏’这一感知环节卡住。本文针对的就是这类智能体在多步骤、长程任务上的瓶颈。

理解本文首先要认清‘主流路线把感知当主战场’，而本文恰恰要颠覆这一默认设定。

Program State（程序状态）

指真正承载任务数据的底层状态，包括磁盘文件、应用后端（如日历存储、邮箱数据库）、网页 DOM、SQLite 数据库等。它是被屏幕渲染的‘源头’：屏幕只是它的一种有损投影。代码（bash、Python、文件编辑器、CSS 选择器）可以直接查询和修改程序状态，而不必经过像素。

本文核心论点是‘交付物就是程序状态’，所有读写和验证都应该尽量作用在 state 上而非像素上。

Lossy / Non-injective Rendering（有损且非单射的渲染）

屏幕渲染是程序状态到像素的映射 $o_{pix}=f_{render}(s)$。该映射不是单射——不同的状态会渲染出几乎相同的截图（例如单元格存公式还是存字面值、隐藏行、被滚动到屏外的数据）。因此 $f_{render}^{-1}$ 不存在，再强的视觉模型也无法仅从像素恢复完整状态 $s$。这是 StateAct 想绕开的根本数学事实。

这一论断是整篇论文的理论基石，决定了‘为什么截图路线有天花板’。

Finish Gate（完成门 / 独立验证器）

一个在主智能体调用 finish 后独立生成的‘第三方验收’子智能体。它只看到任务原文和机器访问权限（bash、文件读取、DOM 查询），看不到主智能体的消息历史、计划或理由，因此是‘叙述盲’的。它必须自己去定位任务真正要求的交付物，检查其结构完整性（文件是否存在、路径是否正确、格式是否匹配），最多让主智能体返工三轮。

这是 StateAct 三大组件之一，也是作者与 Reflexion/Self-Refine 等自我反思方法划清界限的关键设计。

OSWorld 2.0

一个标准的长程 GUI 基准，包含 108 个真实桌面任务，每个任务被标注为十个能力标签之一（多选）。评测协议报告二值成功率、平均部分分（fractional credit）以及每任务美元成本。它是本文的主战场，专门针对需要数百步、需要判断最终交付物是否正确的场景。

理解实验设置必须知道 108 任务、二值/部分分、每任务成本这三类指标的含义，否则无法判断 +6.3 点的提升是否显著。

研究动机

现有计算机操作智能体几乎都通过‘强化屏幕感知’来提升——训练更强的视觉模型去读截图、选点击坐标（UI-TARS、Aguvis、GTA1、Set-of-Mark）。但截图只是程序状态的有损渲染：同一像素可能对应‘单元格存公式’或‘存字面值’，相关行可能被隐藏或滚到屏外，PDF/数据库/日历后端的关键信息在屏幕上根本看不见。形式上渲染映射 $f_{render}$ 非单射，不存在 $f_{render}^{-1}$，因此任何感知模型都无法从像素恢复完整状态 $s$。这种‘单步有损’在一次性任务里尚可容忍，但在长程任务里会复利式累积：一次读错一个单元格，经过数百步相互依赖的操作后，最终交付物往往是错的。更致命的是，截图无法可靠地告诉智能体‘最终文件到底有没有保存到正确路径、格式对不对’，而这恰恰是长程任务成败的关键判据。作者还观察到，仅用 bash（不碰屏幕）的同一智能体只能拿到 45.9% 部分分，低于纯视觉基线的 54.8%，说明‘纯代码’也不够，必须有一套系统性的折中。

本文的目标是本文的目标是构造一个让主智能体把‘动作、验证、记忆’三件事都尽量扎根在程序状态上的智能体框架（state-grounding），从而在长程桌面任务上同时提升准确率和降低成本。具体而言：主智能体通过代码直接读写任务的真实工件（文件、后端、DOM），只在极少数‘不可约简为视觉’的子目标上才委派一个 GUI 子智能体去点击；一个独立的 finish gate 在终端边界上重读持久化结果、不依赖智能体自述地做结构验证；用上下文管理机制支撑长达 200 轮主智能体回合的运行。作者希望在不改动模型本身（仍用 Claude Opus 4.8）的前提下，仅靠框架把二值成功率从 20.6% 提到 26.9%、部分分从 54.8% 提到 61.6%，同时把每任务成本从约 $72 砍到约 $7.8。

与已有工作不同的是，本文的独特切入角度是‘反转默认路由’：已有混合动作空间工作（CoAct-1、UltraCUA、ComputerRL、UFO2）通常把 GUI 与代码对等编排，把 GUI 当一等公民；CodeAct 只是把代码作为动作空间；SWE-agent 主张给智能体专门接口但面向软件工程。StateAct 与之的本质区别在于——它把代码/状态操作留在主智能体里作为默认通道，把直接控制屏幕降级为子智能体在‘探测不到文件/后端路径’或‘只能用渲染交互表达’时才启用的兜底，并把同样的‘接地到状态’纪律扩展到验证门和长程记忆。它还刻意把验证器做得‘弱而通用’（一个 prompt 级检查、零任务专属工程、覆盖全部 108 任务），与 OpenComputer 那种‘为每个应用硬编码 oracle 级验证器’的做法形成对照——前者牺牲了价值校验换取了通用性，并把这一权衡的上界在 §6.1 显式度量出来。

核心方法

StateAct 围绕 state-grounded action、state-grounded verification、state-grounded memory 三块搭建（Figure 2）。直觉是：桌面任务的成败由它留下的程序状态判定，而非过程截图。因此主智能体的动作空间只暴露持久化 bash、文件编辑器、只读 view-image、plan checklist、finish 动作和 agent 委派工具——手里没有任何实时鼠标/键盘。它靠模型先验加主动探测（find/ls/grep/sqlite3）发现应用把状态持久化在磁盘何处，定位‘状态在哪’而非‘目标值是什么’。当某子目标不可约简为视觉时（找不到文件/后端/DOM 路径，或效果只能用渲染交互表达），主智能体才委派 GUI 子智能体；浏览器工作交给 web 子智能体，它执行 JavaScript、把 DOM 序列化成 markdown、用 CSS 选择器点击，从而‘接地到结构化状态’。整体上 108 任务中只有 28 个碰过 GUI 子智能体，仅占主智能体步数的 1.1%，证明大部分子目标确实可被状态通道接管。

核心创新点是‘主智能体不在主循环里感知像素’。这与已有路线形成本质区别：传统路线把感知当主战场，StateAct 把感知降级为‘1.1% 步数的兜底委派’；CoAct-1/UltraCUA 把 GUI 与代码对等编排，StateAct 把 GUI 隔离到一次性子智能体的独立上下文里；Reflexion/Self-Refine 让智能体反思自己的叙述轨迹（自一致是底层），StateAct 的 finish gate 则是‘叙述盲’的第三方验收，它拒绝阅读智能体的工作叙述，只看持久化结果——因为已被证明叙述条件化的判官会被其观察的行为带偏。这个设计意在‘把叙述从验证里设计掉’，使验证更接近于 actor-critic 分离或独立验收测试，而非反思。形式上，状态查询 $o_{state}=g(s)$ 在任务触碰的子状态上近似可逆，因此读写 $g(s)$ 等于直接读写交付物，而读写 $f_{render}(s)$ 等于读写它的有损影像。

方法步骤详情

完整流程分三部分。(1) Act on State：主智能体收到任务后先用状态发现定位持久化位置（列邮件存储、openpyxl 读工作簿、curl+CDP 映射标签页），再用代码直接读写真实工件（写 .ics、PATCH /api）。每次委派给子智能体的子任务在独立上下文里跑（≤50 轮），只返回精简报告，把图像密集子工作挡在主上下文外。(2) Verify on State：主智能体调用 finish（前提已至少 3 个非 finish 步），触发独立 finish gate。gate 上下文只含任务原文和机器访问（bash、文件读、DOM 查询，禁用编辑器写），不看智能体历史/计划/理由/期望值，必须自己定位任务点名的交付物并检查；只在自己侧文件里的证据被拒绝；拒绝时主智能体被送回修指定缺口，最多 3 轮。(3) Sustain State：用三种机制撑过 200 轮主回合——新鲜上下文专家、自动压缩（接近上限时在 assistant 边界摘要并剥图）、外化计划（持久化在历史之外的 checklist，每轮重注入）。三者协同把成本从 $72/任务降到 $7.8/任务。

技术新颖性

技术新颖性集中在三处。第一，‘主循环不感知像素’的默认路由反直觉——它把感知从瓶颈降为兜底，使 1.1% 步数即可覆盖视觉需求；消融证明这是收益最大的单一组件（去掉它部分分从 61.6% 掉到 51.3%，甚至低于纯视觉基线的 54.8%）。第二，finish gate 的‘叙述盲 + 状态接地 + 反捕获 + 有界修正’四性设计，与自我反思类方法在哲学上对立，作者用 §6.1 显式度量了这个‘结构验证器’的天花板：在到达 gate 的 76 个非完美任务中，正确拒绝只有 8 个，误放行 68 个（约 90% 错误率），因为它只能查结构（文件在不在、路径对不对、格式匹配否），无法独立重算数值。第三，作者诚实地把‘收益来自观测（state）而非加深的 agentic 深度’量化出来——递归分支只在 7/108 任务上触发且从不嵌套，因此 flat 委派足以，这把‘堆 agent 层级’的潮流挡在了门外。

StateAct architecture.
Figure 2: StateAct architecture.
An independent finish gate transcript.
Figure 4: An independent finish gate transcript.
Three successful StateAct trajectories.
Figure 5: Three successful StateAct trajectories.

实验结果

主结果（Table 1、Figure 1、6）：OSWorld 2.0 的 108 任务上，同一骨干 Claude Opus 4.8 换上 StateAct，二值成功率 20.6%→26.9%（+6.3 点，唯一超过 <21% 公开前沿，次席 Opus-4.7 仅 18.2%、GPT-5.5 13.0%），平均部分分 54.8%→61.6%（+6.8 点），token 224K→100K，每任务成本 $72→$7.8（约 9× 降幅），位于成本-准确率前沿左上角。能力维度上，StateAct 在多物品状态、跨源等可机检能力领先最大，在人机交互（0.0/43.9）、多模态编辑（20.0/54.2）上最弱。组件消融（Table 3a）：−act 部分分掉到 51.3%（最大跌幅且低于基线 54.8%），−verify 57.5%，−sustain 58.7%，证明‘接地到状态’是首要功臣；递归只在 7/108 任务触发且从不嵌套，flat 委派最优。旁证：仅 bash 无脚手架只有 45.9%，短程 OSWorld-Verified 与基线接近（78.4% vs 77.3%）印证收益集中长程；GUI 子智能体换成 31B SFR-CUA 后四个短程/移动基准几乎不动，唯独最长 OSWorld 2.0 掉到 43.2/18.5，证明长程桌面仍需前沿 GUI。

Per-capability performance on OSWorld 2.0's ten capability labels.
Table 1: Per-capability performance on OSWorld 2.0's ten capability labels.
Mean model turns per task, by capability.
Table 2: Mean model turns per task, by capability.
Ablation on components and delegation depth.
Table 3: Ablation on components and delegation depth.
Additional system comparisons (binary / mean-partial, %).
Table 4: Additional system comparisons (binary / mean-partial, %).
Finish-gate operating characteristics.
Table 5: Finish-gate operating characteristics.
Performance across five benchmarks (mean-partial score, %).
Table 6: Performance across five benchmarks (mean-partial score, %).
26.9% binary success on Claude Opus 4.8: the only entry above the < 21% public frontier, at ∼9× lower cost than the same backbone's reference computer-use-agent harness.
Figure 1: 26.9% binary success on Claude Opus 4.8: the only entry above the < 21% public frontier, at ∼9× lower cost than the same backbone's reference computer-use-agent harness.
Cost–accuracy frontier on OSWorld 2.0 (binary success vs. USD per task).
Figure 6: Cost–accuracy frontier on OSWorld 2.0 (binary success vs. USD per task).
Per-capability performance across six systems on OSWorld 2.0's ten multi-label capability groups.
Figure 7: Per-capability performance across six systems on OSWorld 2.0's ten multi-label capability groups.
查看结构化数据
任务指标本文基线提升
OSWorld 2.0（108 任务，长程桌面） 二值成功率 / 平均部分分 (%) / 每任务成本 26.9 / 61.6 / ~$7.8（Claude Opus 4.8 + StateAct） 20.6 / 54.8 / ~$72（同骨干参考 CUA 框架） 二值 +6.3 点，部分分 +6.8 点，成本降低约 9×，同时更准更便宜
OSWorld 2.0 跨系统二值成功率对比 二值成功率 (%) 26.9（StateAct） Opus-4.7 18.2，GPT-5.5 13.0，Sonnet-4.6 8.3，Qwen3.7 2.8，GLM-5V 0.0 比最强公开条目 Opus-4.7 高 8.7 点，是唯一突破 <21% 公开前沿的系统
组件消融（act / verify / sustain） 二值 / 部分分 (%) 完整 26.9 / 61.6 −act 18.5/51.3；−verify 23.1/57.5；−sustain 21.3/58.7 act-on-state 贡献最大（−6.8 部分分，且低于视觉基线 54.8%），verify 与 sustain 各贡献约 4 点
OSWorld-Verified（短程对照） 二值 / 部分分 (%) 78.4 / 81.9 同骨干参考 77.3 / 80.9 几乎持平（+1.1/+1.0），印证状态接地的优势集中在长程
GUI 子智能体替换（Claude CUA → SFR-CUA 31B） 五个基准平均部分分 (%) OSWorld-Verified 81.1 / WindowsAgentArena 51.2 / AndroidWorld 84.1 / MobileWorld 68.4 / OSWorld 2.0 43.2 StateAct(Claude) 81.9 / 50.6 / 81.9 / 70.1 / 61.6 前四个基准几乎不动，唯有最长 OSWorld 2.0 显著下降，证明短程/移动场景下紧凑专家够用、长程桌面仍需前沿 GUI

局限与改进

作者承认的最大局限是 finish gate 的数值正确性天花板。在到达 gate 的 76 个非完美任务里，它只正确拒绝 8 个（8/76≈10.5% 召回），误放行 68 个（约 90% 误放行率）。这不是叙述条件化偏置（gate 与叙述隔离），而是‘共同模式失败’：gate 与智能体共享对任务源的同一解读，重算只会复现智能体的错误答案。作者明言‘没有 ground-truth 标签时，prompt 级验证器只能给结构、不能给数值打上界’。对 79 个非完美任务的人工审计（Figure 8）显示主导失败是‘智能体推理错误’（38 个，如错值/误读指令），其次验证器弱/错路径放行（14）、能力瓶颈（18，音频/视频/实时交互）、指令歧义（4）。换言之 StateAct 把瓶颈从感知推到了推理但没消除它。我还观察到：state-addressable 前提强依赖应用把状态持久化在可脚本触达处，遇到渲染型绘图软件、非脚本弹窗时状态通道完全失效；且 benchmark 仅 108 任务，1/108≈0.93%，二值 +6.3 点的统计置信区间仍宽。

独立分析的弱点

独立审视下有几处可改进。第一，finish gate 的数值校验天花板是结构性弱点：同一模型、同一解读下的重算无法发现‘算错但很自信’的数值错误，改进方向是把 gate 升级为‘多解读投票 + 外部工具（电子表格/SQL 引擎/单位检查器）’的独立重算，或为高频应用引入轻量 oracle，代价是牺牲部分通用性。第二，state-addressable 假设在遇到渲染型/非脚本化应用时坍塌，文中虽承认却没给‘自动退化’判据，改进方向是让主智能体委派前显式输出‘可触达性证据’并维护长尾应用的 state-discovery 模式表。第三，递归只在 7/108 任务触发，可能意味着 benchmark 任务结构偏单链，改进方向是在更具层级的基准（多应用协作、跨用户切换）上重测深度。第四，108 任务规模偏小、二值 26.9% 仅约 29 个成功样本，改进方向是扩到其他长程基准并报告 bootstrap 置信区间。第五，成本对比依赖公开轨迹报价，未在同环境复跑，改进方向是统一在自有环境复测成本-准确率前沿。

未来方向

作者明确点出的方向是‘补齐数值正确性’——既然瓶颈已从感知移到推理，下一步应当研究‘无 ground-truth 标签下如何独立重算数值’，可能需要把外部领域工具（电子表格/SQL/单位推理）接进 gate，或借鉴 OpenComputer 的 oracle 但保留 StateAct 的通用性。基于本文成果还可延伸四条：(1) 把 state-grounding 推广到非桌面环境（云工作流、RPA、CI/CD），那里的状态（API 资源、配置、git 历史）几乎完全 state-addressable，预期收益更大；(2) 用 §6.2 的结论构建‘按需 GUI’系统——主智能体跑代码、按需调起廉价专家，可显著降低生产环境部署成本；(3) 把 finish gate 的‘叙述盲 + 反捕获’原则扩展到训练阶段，作为 RL/SFT 的独立 reward 信号，缓解‘智能体自我表扬’带来的偏置；(4) 研究状态接地的极限场景——渲染型任务（图像编辑、版式、图表外观）确实无利可图，但若把‘渲染结果本身’也视为状态（如保存 PNG 后用 OCR/几何检测反向查），或许能部分扩展适用面。

复现评估

复现性中等偏上。算法描述较完整：主智能体动作空间（持久化 bash、文件编辑器、view-image、plan checklist、finish、委派）、delegation rule（两条判据）、finish gate 四性（叙述盲/状态接地/反捕获/有界修正 ≤3 轮）、上下文管理三机制都写明；骨干固定 Claude Opus 4.8 + adaptive thinking，200 轮主预算、子委派 ≤50 轮、平均 155 模型轮次/任务（57 主 + 98 子）可对齐。缺三块：(1) 未公开代码/prompt——系统提示、delegation 判定、finish gate 的 prompt 都未给出，复现需重写 prompt 工程；(2) SFR-CUA 是 in-house 31B 未开源，Table 6 子智能体替换无法被第三方完整复现；(3) 成本依赖 Claude 计价表，需自备 API 额度。数据 OSWorld 2.0 公开。综合看，有经验团队可在 1–2 周复现 26.9%/61.6% 的数量级。

论文图表

The same subgoal via each channel.
Figure 3: The same subgoal via each channel.

对比同一子目标两种走法：(a) 像素路径——截图读出 ‘cell shows 1,240’，点击坐标 (734,512) 再键入公式，依赖焦点且无法区分公式/字面值/隐藏行；(b) 状态路径——用 openpyxl 直接读 c.value 拿到存盘公式，直接赋值 c.value="=SUM(B2:B6)" 再 wb.save 持久化，定位精确、可查询。

用最小例子直观说明‘为什么状态通道在可触达时一定优于像素通道’，是 motivation 部分把抽象的 $f_{render}$ 非单射论点落到具体操作的关键视觉证据。

Per-task dominant-cause audit of the 79 non-perfect tasks.
Figure 8: Per-task dominant-cause audit of the 79 non-perfect tasks.

对 79 个非完美任务的根因审计树状图：reasoning 38（含 arithmetic/formula 7、wrong value 13、wrong option 6、misread instruction 5 等）为主导；verifier 14（wrong path 5、wrong format 4）；capability 18（visual chain 8、audio transcription 3、3D/CAD/medical 4 等）；ambiguity 4；other 5。

这张图直接支撑‘瓶颈已从感知移到推理’的结论——38 个任务是推理错误，是后续研究方向（数值校验）的依据。