HybridCUA：学习编排GUI与CLI的计算机操作智能体 HybridCUA: Learning to Orchestrate GUI and CLI for Computer-Use Agents

整个方法分数据构建与两阶段训练共六步。第一步，构建GUI-only轨迹：将开源UI-MOPD轨迹的每个GUI动作（点击、拖拽、滚动、快捷键、文本输入）转写为等价pyautogui调用，坐标在1000×1000共享空间做视觉定位后映射到环境显示坐标，序列化为bash包裹的Python heredoc。第二步，构建CLI-only轨迹：为每个应用从在线文档和参考代码蒸馏出应用专属CLI技能清单（仅用于数据采集，学生模型训练测试时均不可见），让Qwen3.8-27B配备技能与Claude Code harness、仅用CLI接口在CUA-Gym中解题，保留成功rollout。第三步，构建交错轨迹：路线一让Qwen3.8-27B同时接触GUI与CLI自由选择；路线二对GUI-only轨迹做语义保持改写——识别终端中逐字键入命令的动作（含heredoc逐行输入），把多个动作折叠为一条CLI命令，删除开启终端的快捷键与提交回车，保留真正的GUI交互，重放后只保留成功者。三步共得5023条轨迹（跨11个应用域，Impress 866条、Writer 818条、Calc 811条、multi apps 786条），展开为52227个步级样本，过滤至12000 token内剩46876个。第四步，RLVR任务构建与标注：基于CUA-Gym管线合成3000个带可执行验证器与可达目标状态的任务（Calc占26.8%、Writer 14.4%、Impress 13.3%、multi apps 12.9%等）；每个任务用Qwen3.8-27B在三种模式下各采样16条rollout，按成功率排名（5个百分点内平局按成功rollout的中位步数），若最优模式为CLI-only、或为GUI-CLI且过半成功rollout含直接CLI命令，则标 $b^\star=1$。第五步，SFT：2个epoch、全局批256、366次更新、16张H20，损失为 $\mathcal{L}_{SFT}=-\mathbb{E}_{\tau\sim D_{SFT}}[\sum_{t=0}^{T}\log\pi_\theta(a_t|x,h_t)]$，只对每步的助手响应计损失，保留推理块。第六步，在线RL：从SFT检查点出发，在1000个采样任务上用GRPO训练（slime+Megatron-LM+SGLang，24张H20，每提示8条rollout）：轨迹奖励 $R(\tau)=R_{acc}+\lambda_{CLI}R_{CLI}$（$\lambda_{CLI}=0.1$）先组内归一化得优势 $\hat{A}_{t,j}=(R(\tau)-\mu_G)/(\sigma_G+\epsilon)$，再对命令动作的词元叠加 $\lambda_{exec}r^{exec}_t$（$\lambda_{exec}=0.3$）；同时过滤无组内信号的组、丢弃策略版本滞后超过2次更新的组。

技术新颖性体现在四个层面。其一，问题诊断的新量化：论文首次系统性量化「给模型shell却不会用」的现象——接入CLI使四个代表模型掉2.5-11.5个百分点，Qwen3.5-27B与EvoCUA-32B的CLI步骤占比仅15.0%和0.15%，并把根因定位到数据缺口与监督盲区，而非模型能力不足。其二，数据管线的低成本混合监督：GUI-to-CLI语义保持改写利用「许多GUI序列有等价shell命令」的观察，通过重放验证保证改写后的应用状态一致性（只允许折叠多动作为一命令、绝不拆分），相比从头采集混合轨迹成本低得多，是新颖的数据增强思路。其三，奖励设计的双粒度分解：$b^\star$ 标签用三模式×16 rollout的经验对比自动测定CLI优势，把模糊的「该不该用CLI」变成每个任务的二元校准信号；消融证明 $R_{CLI}$ 与 $r^{exec}$ 确实各管一件事——去掉 $R_{CLI}$ 后CLI使用率只达58.9%（完整模型64.0%）、轨迹缩短仅18.2%（完整29.3%），去掉 $r^{exec}$ 后执行错误率回升至16.5%（完整模型稳定在11.5%）。这种「路由与执行分开监督」的设计在以往混合CUA工作中（CUA-Universe的VLM打分、RecreationWorld的结果奖励）均不存在。其四，接口表达的统一化：统一bash语法让GUI与CLI共享生成空间与解析路径，7.2个百分点的消融差距证明动作模式本身就是影响学习的变量，这一发现对后续智能体接口设计有普遍参考价值。

独立分析三个值得关注的弱点。第一，教师依赖与数据多样性上限：CLI-only与部分交错轨迹由Qwen3.8-27B配合「应用专属CLI技能清单」（内含openpyxl、python-pptx、ffmpeg、Script-Fu等具体命令配方）采集，学生模型虽然训练与测试时都看不到技能文档，但学到的命令模式实质上是教师模型+人工蒸馏技能的组合输出——数据多样性受限于教师的命令覆盖面，遇到教师不熟悉的库、冷门应用或版本变更时无能为力。改进方向：引入多教师交叉采样提升命令多样性，或让管线自动从应用源码、帮助文档中挖掘CLI接口，减少对人工技能清单的依赖。第二，$b^\star$ 标签静态且二值过粗：任务被硬性标注为「CLI有明确优势」或「没有」，但真实任务常是混合情形（部分子步骤适合CLI、部分适合GUI），二值任务级标签会惩罚合理的细粒度混合策略；16条rollout对成功率接近的模式区分力也有限（5个百分点平局带较宽）。改进方向：把 $b^\star$ 从任务级细化到步骤级或子目标级路由标签，或随训练进程周期性重采样校准。第三，效率证据的呈现方式：平均步数把失败任务也计入，暴露CLI后准确率暴跌时步数反而更少，说明步数单独不能作为效率证据；论文以准确率+步数联合呈现部分缓解了误导，但未来可引入「单位成功成本」或「成功任务步数中位数」等更稳健的指标，并对VM环境随机性做多次评估取均值。

作者在附录A提出的方向：把数据构建管线扩展到更广泛的专用应用，合成更多样的OOD环境用于训练，从而提升对未见应用、工作流与接口配置的泛化。基于本文成果可以自然延伸的方向还有五个。其一，接口路由精细化：把路由标签从任务级 $b^\star$ 细化到步骤级或子目标级，让「GUI探查→CLI执行→GUI确认」这类混合模式成为显式优化对象——Figure 7的案例（GUI聚焦Writer窗口与菜单，CLI用python-docx设置12磅字号和三种行距，单步内先pyautogui关菜单再CLI读回文件验证）已展示细粒度协作的价值。其二，多操作系统与设备形态：Linux-only训练都能零样本发出PowerShell命令，说明「何时委派给shell」可跨系统迁移；加入Windows/macOS原生训练数据可能进一步放大跨平台能力，移动端（Android）与浏览器深度整合也值得探索。其三，与MCP/工具生态融合：OSWorld-MCP上47.1%的表现说明GUI-CLI编排能力可迁移到MCP环境，未来可让模型在shell、MCP工具、应用API之间做三方路由，按覆盖面与可靠性动态选择。其四，安全与权限：shell放大单步动作的威力，研究带权限分级、命令审计、危险命令拦截与状态回滚机制的混合智能体是部署前的必答题，尤其rm -rf、sudo这类不可逆操作。其五，长程任务与自我改进：当前轨迹平均仅10.4个逻辑步，把混合编排延伸到小时级跨应用长程工作流（如WeaveBench类基准）是下一步挑战；用策略自身的rollout替代教师采样来动态更新 $b^\star$，可形成路由知识的自我进化闭环。

复现条件较为友好但门槛不低。开源方面：作者明确承诺发布轨迹数据、RLVR任务、数据生成与训练管线以及HybridCUA-9B模型（论文为preprint，需关注实际放出情况）；附录详尽是显著加分项——动作空间与交互协议（附录B含Table 5）、轨迹构建细节与标签判定阈值（附录C）、SFT与RL全部超参数（附录D的Table 7/8）、评测协议与指标定义（附录E）、评估与数据构建用的完整系统提示词（附录G，含分离双工具对照prompt与八个域的CLI技能全文）都写了出来，透明度很高。算力方面：SFT用16张NVIDIA H20（2节点×8卡，2个epoch、366次更新、全局批256、TP2/PP1/DP8）；RL用24张H20（3节点×8卡，16卡训练TP4/DP4、8卡推理），对学术实验室是不小的投入，但9B规模+约47000步级样本的数据量在RL工作中已算克制。数据构建依赖Qwen3.8-27B（开源权重）+Claude Code harness+CUA-Gym环境，其中Claude Code是闭源商业工具，CLI-only轨迹采集依赖它，复现者可能需替换为开源agent harness（可能引入轨迹质量差异）。评测方面：OSWorld/OSWorld-MCP/WindowsAgentArena均为公开基准（361+361+154任务），沙箱VM可重置。综合评估：若数据与模型如期开源，复现评测门槛低（下载模型按附录E/G跑即可）；完整复现训练需中等偏高门槛（多节点H20集群+虚拟机农场+教师采样管线）。