OS-Helix：在原生计算机使用智能体中统一 GUI 交互与代码执行 OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

第一步，环境实例化：每回合恢复虚拟机快照，按应用配置（版本、启动命令、支持工件类型、初始化概率）采样主应用，经兼容图选取零或多个工件，并为预置工件创建仅评估器可见的黄金副本作期望参照。第二步，接地指令提议：Exploration Agent 接收应用元数据、文件路径、启动配置、教程、全局应用记忆与初始截图，仅允许 open/click/scroll/done 的非破坏性探索，随后提出含类别、复杂度、成功条件字段的指令，答案关键值只写入隐藏评估字段。第三步，评估器编译与过滤：独立 Evaluator Agent 只生成验证规格，规则评估器是接受 result/expected、返回 $[0,1]$ 的 Python judge 函数；流水线做静态编译检查、初始状态零分检查、独立模型质量评审与修复循环，再按嵌入相似度去重。第四步，SFT 冷启动：教师轨迹经评估器打分做拒绝采样、剔除畸形工具调用，得约 31K 桌面样本，与 40K 通用多模态样本约 1:1 混合，Megatron-SWIFT 全参数训练 1 epoch（8×H200，学习率 $1\times10^{-5}$，序列长 32K）。第五步，在线 RL：Slime 异步框架，32×H200（16 训练加 16 rollout），1,000 步，每次 8 提示各 8 轨迹，温度 0.5，最多 50 步；奖励仅来自环境评估器，畸形工具调用隔离为奖励 0；任务按成功率 EMA 做前沿采样，视觉历史用 5 到 10 张截图滑动窗口分割。

技术新颖性体现在四个层面。数据层面：表 6 显示同时具备探索接地、应用可扩展、真实工件规模化、跨应用任务与规则评估器的流水线此前不存在——OS-Genesis、TreeCUA 等只扩展任务与轨迹合成而不扩展底层交互世界，Gym-Anything、CUA-Gym 等缺真实工件维度；应用-工件兼容图把新增应用变成声明式配置（版本、类型、启动模板、初始化概率），使桌面状态空间可组合扩展。训练层面：对照实验首次清晰分离了代码工具可用性与学习到的协调——同一 OS-Helix-27B 检查点关闭代码仍 52.13%、开启 62.75%，固定 10K 样本下混合 SFT 比 GUI-only SFT 高 3.05 点，说明收益来自训练出的路由而非推理期工具。优化层面：Step-balanced GSPO 保留 GSPO 的 token 级权重与裁剪结构、只替换样本级聚合，附录 E 证明动作步聚合梯度系数与 $|a_{i,k}|$ 无关；与 SSPO、CTPO、DHPO 等子句级或混合比率方法不同，它以环境动作边界和动作类型权重而非文本片段长度为聚合单位。分析层面：以代码动作比例为行为诊断（标准 GSPO 漂移至 40.0%，步均衡保持 26.1%）、以 Pass@3 置信区间（+5.56）提供统计证据，并辅以 30 条轨迹人工审计（27/30 含接地跨模态交接）。

第一，跨模态状态交接缺乏持久化语义：Figure 8 底部案例中，GUI 完成第一个子目标后代码侧另行保存文件，模型误以为已全局提交而点击 Don't Save 丢弃正确更新，暴露模型缺少 GUI 常驻状态与磁盘侧状态的一致提交模型，改进方向是在训练数据中加入显式保存/提交语义标注与交接失败恢复轨迹。第二，视觉等价条件理解薄弱：Calc 转 Writer 保留原格式任务中，代码转换丢失隔行底纹，GUI 检查后又误诊为缺少货币符号而添加美元符，说明模型对渲染语义的理解与评估器覆盖双重不足，可引入渲染对比辅助监督。第三，对 OSWorld 应用域的隐性依赖难以彻底排除：虽有嵌入相似度分析与域移除消融（62.75% 仅降至 62.31%），但同一应用族工作流模式的结构重叠无法用指令嵌入排除。第四，效率与安全性未进入优化目标：步均衡只平衡模态梯度但不奖励选择更高效模态，成功率指标也无法惩罚代码副作用，可在奖励中加入步数或风险正则。第五，教师依赖与数据上限：SFT 质量强依赖 Claude Sonnet 4.6（换 Kimi K2.5 掉 4.74 点），轨迹上限受教师能力约束，可发展递归自我改进自举迭代。第六，跨应用任务合成仅有原型规模，长时程多应用工作流尚未系统化，仍有较大提升空间。

作者提出的方向包括：扩大应用与工件生态，在保持可复现性前提下研究系统状态与用户配置的更广泛随机化；发展更强的评估器生成、修复与验证流水线，系统研究跨评估器一致性及对 reward hacking 的鲁棒性；把 Step-balanced GSPO 稳定扩展到更大规模 MoE 智能体，并系统研究 agentic RL 训练动态与缩放律；将 GDPval、Agents' Last Exam 等围绕真实工件与复杂推理设计的通用智能体基准移植进桌面 GUI 环境，从任务设计阶段支持多路径参考解，联合评估终端状态正确性、执行效率、模态选择恰当性与安全性；以及递归自我改进（RSI）——让模型在既有任务池上 rollout、为下一轮训练提供信号，形成随能力增长而质量提升的自进化循环。基于本文成果还可延伸：把不可行性显式建模进任务合成，区分任务真正不可能与模态专属不可行，训练有效执行加校准拒绝；沿操作系统维度扩展合成流水线（补充 Windows/macOS 命令数据）以修复 WAA 上 Bash 与 PowerShell 混用的失败；设计过程级或跨模态验证奖励，把 Figure 7 中一模态求解、另一模态验证修复的模式变成显式优化目标；在动作空间中加入包管理、进程管理等系统接口，覆盖更长的真实桌面工作流。

复现条件较为友好但工程量大。作者承诺发布模型家族与研究工件：桌面数据合成与 RL 环境、任务与轨迹采集流水线、约 9K（8,880 条）生成指令、83K 未过滤 SFT 样本与约 31K 过滤样本（项目主页 os-copilot.github.io/OS-Helix）。算力方面：SFT 需 8×H200 全参数训练 1 epoch；RL 需 32×H200（16 训练加 16 rollout）运行 1,000 步的 Slime 加 SGLang 加 Megatron 异步流水线，并维护跨节点百余个 Ubuntu 沙盒的统一管理系统——环境基础设施是复现的最大门槛。数据方面依赖 Claude Sonnet 4.6（探索与评估代理）与 GPT-5.5（质量评审）等闭源 API 做任务合成与轨迹蒸馏，教师成本不可忽视；工件库来自公开数据集（TableBench、DocVQA、SWE-bench 等）可自行构建。评估协议明确：OSWorld-Verified 361 任务、50 步上限、8 张 1504×832 截图与完整文本历史，复现基线使用同一 harness。难度排序：纯评估最容易；数据公开后单节点可做 SFT；完整 RL 流水线最难，需要多机虚拟机编排与异步训练经验；MoE 版 RL 连作者也未跑通。总体属于中高复现难度、但工件完整度显著高于同类工作的水平。