OSWorld-Science：面向科学软件学习与使用的计算机操作智能体基准 OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software
146个科学软件任务评测12个VLM智能体，最强模型平均仅得73.7%
前置知识
计算机使用智能体（CUA）
以视觉语言模型为大脑的智能体，通过截取屏幕截图感知图形界面，用自然语言推理下一步操作，再生成鼠标点击、键盘输入等可执行动作来操控真实桌面软件。典型交互循环是：观察截图→反思→输出 pyautogui 代码→等待→再截图，直到任务完成或步数耗尽。
本文的全部研究对象就是 CUA，理解其观察-行动循环是读懂任务形式化、harness 设计和轨迹分析的前提。
部分可观察马尔可夫决策过程（POMDP）
序贯决策的标准数学模型，用元组 $(S, O, A, T, \Omega, r, \gamma, \rho_0, G, p_g)$ 刻画：智能体只能通过观察函数 $\Omega$ 看到环境状态 $S$ 的一部分，依据观察选择动作 $a \in A$，环境按转移函数 $T$ 演化，奖励 $r$ 度量目标达成程度。
论文用 POMDP 严格定义科学软件任务，其中隐藏科学状态（体素坐标、变换矩阵等）与可见 GUI 状态的区分是理解评估器设计的关键。
执行式评估（execution-based evaluation）
不靠人工或模型打分判断成败，而是在智能体交互结束后直接检查环境真实状态与生成的产物文件（如分子结构文件、分割掩码、CSV 表格、绘图），用程序化验证器对照标准答案计算得分，可支持 0 到 1 的部分得分。
OSWorld-Science 的核心卖点就是为分子结构、掩码、图表、统计数值等异构科学产物设计执行式评估器，这是它与通用桌面基准的本质差异。
智能体框架
包裹模型的工程层，负责构造提示、管理交互历史窗口、重试失败调用、执行模型输出的代码、控制步数与 token 预算、记录轨迹日志。同一个模型配不同 harness 可能得到截然不同的成绩。
本文明确把 harness 当作受控实验变量：所有 12 个模型共享同一 mmagent 根智能体，消融实验专门考察推理力度、历史窗口长度等 harness 因素的影响。
研究动机
通用计算机操作基准（WebArena、VisualWebArena、OSWorld、Windows Agent Arena、AndroidWorld）已经证明多模态智能体能操作真实桌面与网页，但它们不针对科学场景做任何专门设计：任务多为文件整理、邮件处理等日常操作，无法考察研究者真正依赖的专业软件。科学工作要求解读专业化界面（如 QuPath 病理分析、ChemDraw 分子绘制、SAS 统计计算）、操作结构化科学对象、在长工作流中维持状态，最终产出可验证的科学产物。已有最接近的工作各有缺口：ScienceBoard 只覆盖人工挑选的工作流；Terminal-Bench-Science 局限于终端任务；LogicVista 只测科学推理。它们都无法回答三个关键问题：如何围绕科学家自己认为重要且困难的课题构建基准？如何在统一框架下评估分子结构、分割掩码、图表、统计数值这类异构输出？性能究竟来自骨干模型还是智能体框架本身？而轨迹研究显示 GUI 与工具的混合接口会实质性改变表现，说明交互层是必须单独控制的变量。
本文的目标是本文要构建一个把专家定义的科学目标与可验证软件产物连接起来的完整评测体系 OSWorld-Science。具体目标有三：第一，与各领域博士级专家合作，以重要性与难度为标准，收集覆盖生物、医学、化学、物理、地理信息、语言学、神经科学七个学科、三种语言（英/中/日）的高质量任务，最终交付 146 个任务、17 款软件、14 种记录配置；第二，为化学式、分子/蛋白质结构、可视化图表、统计指标等异构产物设计证据式执行评估器，把所有任务归一到 0 至 1 的统一尺度并支持部分得分；第三，改造通用 CUA harness，加入模型适配器、交互循环控制器与用户交互平台等可插拔组件，使 12 个开源与闭源 VLM 在同一框架下公平比较，并通过对约 1530 条轨迹的细粒度分析，系统回答 harness 设计对科学领域性能的影响。
与已有工作不同的是，本文的独特切入是重要性驱动的任务构建：不像 OSWorld 那样收集通用桌面操作，而是请领域专家提出他们真正关心、必须用软件解决的科研问题，并辅以 AI Co-worker 共同设计方案——以软件教程等锚定任务为种子，与先进 AI 协作迭代生成同场景新问题，使任务天然带有科学家认为难的属性。其次，评估器直接检查应用最终状态与产物文件（分子结构、掩码、图形、数值），按任务定义给部分得分而非二值判决，解决了跨学科公平打分的通用难题。第三，作者明确把 agent harness 当作受控分析对象：固定同一 mmagent 根智能体、每步 1920×1080 截图加最近五轮历史、100 步预算与 16k token 回复上限，再对推理力度、历史窗口长度、提示语言做单变量消融，从而把模型能力与交互策略的贡献分开，这是继 OSWorld-MCP 之后少有的把交互层作为一等实验变量的系统性做法。
核心方法
直觉上，操作科学软件就是：智能体看屏幕截图、读科研指令，用鼠标键盘（pyautogui 代码）或命令行完成绘制分子、分割病理图像、跑统计脚本等工作，最后由自动评估器检查软件状态和产物。技术上任务形式化为目标条件 POMDP $M = (S, O, A, T, \Omega, r, \gamma, \rho_0, G, p_g)$：$S$ 含操作系统、应用内部状态与隐藏科学状态（掩码、坐标、变换矩阵等），$O$ 为截图等可见观察，$A$ 容纳 GUI 与 CLI 动作，转移 $T: S \times A \to S$，奖励 $r: S \times A \times G \to [0,1]$。评测分三层：环境层以 Ubuntu 为基础镜像按领域装好 17 款软件（含已购许可证的闭源软件）；智能体层复用 OSWorld 的多模态 PromptAgent，每步输入 1920×1080 截图与最近五轮历史，输出反思加一段 pyautogui 代码或特殊标记；评估层在回合结束后检查状态与产物，得分 $R(\tau,g) = E_g(s_T, F_T) \in [0,1]$，支持部分得分。
核心创新有三点。其一是证据式异构产物评估：不同于只判最终对错的二值打分，任务专属评估器检查分子结构（可解析性、立体化学、InChIKey）、分割掩码、绘图与数值表格等不同类型证据，对不完整结果给部分得分，使跨学科比较在统一的 $[0,1]$ 尺度上可行。其二是把 harness 当作可优化、可消融的一等公民：模型适配器让 12 个 VLM 共享同一交互协议，循环控制器管理重试（最多 4 次、回复被截断时把 token 上限翻倍、预测失败时回滚历史保持一致性）、等待与终止（// 标记），单次回复最多执行 10 个动作。其三是重要性驱动的专家共创任务生成：专家提案与 AI Co-worker 迭代设计双轨制，既保证科学价值又缓解专家时间有限的问题。与 ScienceBoard（人工挑选工作流）和 Terminal-Bench-Science（纯终端、专家贡献）的本质区别在于：任务源自科学家的重要性判断、产物横跨视觉与结构化两类、且交互层本身是受控实验变量。
方法步骤详情
第一步任务生成：招募博士级领域专家按模板提出任务（专家提案轨），或以软件教程等锚定任务为种子、用 OpenAI Co-worker 等 AI 工具迭代生成相似场景的新问题（Co-worker 轨），再按任务与软件多样性筛选，形成覆盖分子绘制与逆合成、病理图像分析、统计计算、物理仿真、GIS 与 EEG 分析的 146 个任务。第二步环境构建：以 Ubuntu 为基础镜像，按领域安装 17 款软件生成任务专属镜像并测试与框架的交互，默认分辨率 1920×1680。第三步交互循环：mmagent 每步接收任务指令、当前截图与最近五轮历史，输出反思与一段 pyautogui 代码或特殊标记；harness 在客户虚拟机执行代码，等 1 秒截图下一步， 暂停 2 秒；每任务上限 100 步、单次回复 16k token、最多执行 10 个动作，调用失败最多重试 4 次。第四步评估：从虚拟机收集文件与应用状态交给任务专属评估器，1 表示全部要求满足、0 表示未达成、中间为部分完成；每步的请求/响应、token 用量与代码返回码全落日志用于成本核算与失败分析。
技术新颖性
技术新颖性体现在三个层面。评估层面：为分子结构、分割掩码、图表、统计数值等完全不同模态的产物设计统一到 $[0,1]$ 的执行式评估器并支持部分得分，解决了跨学科基准如何公平打分的通用难题——例如 17 行 SAR 表格任务会同时校验行数、schema、化学可解析性与立体化学约束，体现了评估器的细粒度。系统层面：harness 的可靠性工程（4 次重试、截断加倍 token 上限、预测失败回滚、10 动作上限、自托管模型的最大等待时间）是为真实桌面长程交互量身定制的，这类细节在以往论文常被略过。实验层面：在 23 个 QuPath 病理任务上对推理力度、历史窗口长度 $w$、提示语言三因素做单变量扫描，并配合 1530 条轨迹的叙述率、思考占比、重复率等交互度量与 Bonferroni 校正后的固定效应分析，首次系统回答了哪些差异属于模型签名、哪些属于成功信号——结论是叙述与思考只是稳定的模型指纹（跨软件秩相关 0.74 与 0.69），在校正后不能预测满分。
实验结果
Claude Fable 5.1 以 73.7% 平均分居 12 个 VLM 之首（$6.5/任务），Opus 5 为 57.9%，GPT-6 Astra 57.4%，GPT-5.6 sol 以 $2.79 拿 50.1% 性价比最好，luna $0.23 仅 22.6%，Kimi K3 花 $11.7 得 30.2%。域间差异：统计最简单（66%–97%），化学最难（Fable 5.1 约 44%、八个模型不超过 6%）；EEG 上 Fable 5.1 达 89%、其余≤15%；Astra 影像与地学约 69% 领先、化学仅 6%、两道语言学题满分。轨迹分析（1530 条）：26.3% 满分，60.6% 失败无交付物；84 个占位符产物中 78 个来自 GPT 系。消融（QuPath 23 任务）：Opus 5 推理力度 medium→max 得分 44.1%→59.7%；窗口 $w=1\to10$ 得分 35.2%→57.0%；日语提示最优、中文低于英语。Lenacapavir 靠独立校验 CIP 标签 70 步满分，Archangiumide 因立体中心反转 68 步得 0 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全部 146 个科学软件任务 | 平均任务得分（含部分得分，VOID 记 0） | Claude Fable 5.1：73.7%（$6.5/任务） | Claude Opus 5：57.9%（$6.7）；GPT-6 Astra：57.4%（$7.7） | +15.8 个百分点，同时成本更低 |
| 化学域任务（43 个，含 ChemDraw/ASKCOS） | 平均任务得分 | Claude Fable 5.1 约 44%，Opus 5 约 39% | GPT-5.6 sol 20%；八个模型 ≤6% | 领先最强非 Claude 模型约 24 个百分点 |
| QuPath 病理任务（23 个）推理力度消融 | 平均任务得分（部分得分，VOID 记 0） | Opus 5 max 推理力度：59.7%（二值 52.2%） | Opus 5 medium：44.1%（默认）；Sonnet 5 最好 22.0% | +15.6 个百分点，代价是输出 token 约十倍（6k→59k） |
| QuPath 任务历史窗口消融 | 平均任务得分 | w=10 张截图时 57.0%（且 VOID 消失） | w=1 时 35.2% | +21.8 个百分点，平均步数 52→22、输出 token 25k→11k |
局限与改进
作者承认的局限：任务分布不均衡，化学 43 个任务（29.5%）而语言学只有 2 个、地理信息 6 个，因此总体平均分会掩盖域间差异，需要域宏平均补充；因涉及许可软件，本版本不发布轨迹数据；数据集加了污染水印检测训练滥用，但基准公开后长期仍可能被污染。我自己的观察：消融每个单元格只有单次运行（n=1），QuPath 子集仅 23 个任务，作者也坦承 Bonferroni 校正后没有任何交互度量显著预测成功，统计功效有限；推理力度、历史窗口与语言消融只在一个软件子集和两个 Claude 骨干上做，外推到其他域需谨慎；最强模型 73.7%、最难子集约 40% 的成功率说明相当比例任务当前无模型能解，基准对现有模型可能偏难；146 个任务相对 OSWorld 数百上千的规模仍偏小；另外 VOID 记 0 与部分得分的混合口径使与其他基准的数字不可直接比较。
独立分析的弱点
第一，评估器是任务专属手写脚本，146 个任务意味着 146 套判分逻辑，其正确性依赖作者对任务的假设，评估器自身的覆盖漏洞（是否所有合法解法都能得分）缺乏系统验证，改进方向是发布评估器对抗测试集或多人独立标注一致性。第二，交互协议固定为截图加最近五轮历史加 pyautogui，可能系统性不利于擅长结构化工具调用的模型——论文引用的 OSWorld-MCP 表明 GUI/工具混合接口会大幅改变成绩，但本文未把 MCP 式工具接口纳入对照实验。第三，成本核算只计 API 价格，Kimi K3 每任务 $11.7 的昂贵可能反映推理长度而非能力，得分-成本曲线对部署决策有用，但闭源自托管模型的最大等待时间等超参选择缺乏消融。第四，任务语言消融只测 QuPath 子集和两个 Claude 模型，日语提示更优这一反直觉发现缺乏机理解释，应在更多域、更多模型上验证。第五， VOID 记 0 分与部分得分混用，同一任务在不同口径下排名可能不同，需要标准化报告两种口径。
未来方向
作者提出的方向：未来研究应聚焦科学智能体本身的发展，因为单纯加大推理力度或扩大上下文窗口无法解决共性操作错误（如 GPT 系在化学先写空骨架再耗尽预算）；基准欢迎公众贡献任务，数据集、Docker 镜像与在线演示已开放。基于本文成果可延伸：把案例研究中独立证据校验的原则固化为 harness 内的验证器模块，例如立体化学 CIP 标签自动对照源文献；利用 1530 条轨迹训练或蒸馏专门的科学软件操作策略（GUI 与 CLI 混合选择器、何时放弃无望任务——$w=10$ 时 VOID 消失的现象值得建模）；扩展任务到更多语言与学科以修复分布不均；对 harness 变量做系统化搜索，自动寻优交互策略；利用部分得分信号训练过程奖励模型；以及研究污染水印机制下基准泄露对评测稳定性的影响。
复现评估
复现条件较好。任务集与 Docker 镜像发布于 HuggingFace（SciAILab/OSWorld-Science-data），代码在 GitHub（DiscoAILab/OSWorld-Science），另有 HuggingFace Spaces 演示页；论文声明所有表格与图中的数字均由随基准发布的脚本从存档的任务定义、隐藏验证器、oracle 参考与逐步轨迹程序化生成，可核查性强，并内置污染水印。限制方面：因涉及 SAS、ChemDraw 等许可软件，轨迹数据暂不公开；复现需搭建多台 Ubuntu 虚拟机、购买闭源软件许可证，并准备 12 个模型的 API 账户——按每任务 $0.23 到 $11.7 的 API 成本，全量复现 12 模型×146 任务估计需数千美元；消融部分 n=1 意味着他人复跑可能得到有波动的数字。总体属于中高难度但完全可行的复现。
论文图表
任务集构成统计：(a) 各学科任务占比——化学 43 个（29.5%）、物理 31 个（21.2%）、医学 26 个（17.8%）、统计 20 个（13.7%）、生物 18 个（12.3%）、地理信息 6 个（4.1%）、语言学 2 个（1.4%）；(b) 各软件配置的任务数——QuPath 23 个、ChemDraw 与 ASKCOS 各 21 个、SAS/R 20 个，前四类合计占 58.2%。
直观暴露任务分布不均衡问题，是理解后续结果解释中为什么要做域宏平均的基础。