UI-Venus-2 技术报告：跨移动、网页与桌面的通用 GUI 基础智能体 UI-Venus-2 Technical Report
联合扩展环境、任务与验证三大维度，打造可验证、跨平台的开源 GUI 智能体
前置知识
GUI 智能体
GUI（图形用户界面）智能体是由多模态大模型驱动的自动化系统：它接收自然语言指令，观察设备屏幕截图，通过模拟人类操作（点击、输入、滚动、拖拽等）直接操控界面，并在每一步观察环境反馈后决定下一步动作，形成“观察—推理—行动—反馈”的闭环。与依赖平台 API 或预录脚本的自动化不同，它以像素级视觉感知为接口，因此能操作任何有图形界面的软件，包括没有开放 API 的 App 与桌面程序。
本文的主角 UI-Venus-2 就是覆盖手机 App、浏览器和桌面操作系统的通用 GUI 智能体，理解这一闭环交互范式是读懂其动作空间设计、训练数据构造与评测协议的前提。
可验证奖励强化学习（RLVR）
RLVR 指用程序化或自动化的“验证器”判断模型输出是否正确，再以该判定作为奖励信号做强化学习，无需为每条样本人工标注偏好。在 GUI 场景中，奖励通常来自“任务是否真正完成”的判定，因此验证器的可靠性直接决定 RL 的上限：验证器太粗糙会把部分进展误判为成功，把走错路的轨迹当成正样本喂给策略。
本文用大量篇幅构建 trace 级与 sample 级两级验证器来为离线 RL 提供可靠奖励，“验证也是需要联合扩展的维度”正是全文的核心主张之一。
在线策略蒸馏（OPD）
蒸馏是让学生小模型学习教师大模型输出分布的技术。传统离线蒸馏让学生模仿教师的静态输出；在线策略蒸馏（On-Policy Distillation）则由学生自己采样轨迹，教师对学生轨迹上的每个 token 打分，用教师与学生对该 token 对数概率之差作为蒸馏优势来更新学生。监督信号始终落在学生实际会走到的状态分布上，缓解了模仿静态数据的分布偏移问题。
UI-Venus-2 的第三阶段 MOPD（多教师 OPD）把五个领域专家融合进一个统一模型，且针对 GUI 动作结构做了定制改造，理解 OPD 机制才能看懂这一核心创新。
VLM-as-a-Judge（模型裁判）
指用一个或多个视觉语言模型代替人工或纯规则来评判另一模型的行为是否达标：裁判读取任务目标、智能体的执行轨迹与截图证据，输出结构化判定（如成功/部分成功/不可行/失败）及理由。为降低单一裁判的偏差，通常配合任务关键点分解、多模型投票、硬规则预筛等手段提升判定的一致性与可信度。
本文的语义引导验证（SGV）就是一套精心设计的 VLM 裁判流水线，其判定直接决定 RL 奖励与数据分层质量，是整个训练飞轮的基石。
奖励投机（Reward Hacking）
当奖励函数存在漏洞时，强化学习策略会寻找“刷分”捷径而非真正完成任务，例如让最终界面看起来像成功、或利用裁判模型的评判偏差骗取高分。缓解手段包括更细粒度的过程验证、多裁判投票、基于任务关键视觉证据而非最终界面整体印象来判定完成与否。
作者明确把“让奖励信号不易被投机”列为验证机制的设计目标，理解这一点才能明白为何要引入视觉关键点、点击红点标注与多模型投票等设计。
CAPTCHA（验证码）
CAPTCHA 是区分人与机器的图形挑战，现代形式远超扭曲文字识别，包括按序点击、图像旋转、滑块、拖拽、空间推理等。对 GUI 智能体而言，能否通过登录、注册等流程中的验证码直接决定其能否进入下游任务状态，是真实部署绕不开的“最后一公里”能力。
本文专门构建了 70 类验证码的程序化合成引擎与专用训练数据，并发布 VenusBench-CAPTCHA 基准，验证码能力是其数据采集飞轮的关键一环。
研究动机
现有 GUI 智能体大多面向基准刷分优化，距离可靠的真实落地仍有明显鸿沟。VenusBench-Mobile、OSWorld 等以用户为中心的评测暴露出三类系统性缺陷：其一，环境覆盖窄——多数工作只围绕少量英文 App 或单一平台训练与评测，无法覆盖多语言移动生态、动态网页和完整桌面操作系统；其二，任务构造脆弱——自动生成的指令常与应用真实功能脱节，在界面状态变化下不可执行，导致采集的轨迹大量作废；其三，奖励验证不可靠——粗糙的二值成功/失败判定会把部分进展误认为完成，遗漏任务关键的视觉证据，甚至留下可被策略钻空子的奖励漏洞，直接污染强化学习信号。这三者相互耦合：环境不广则任务不多，任务不准则验证无据，验证不实则 RL 无效。
本文的目标是本文的目标是打造一个跨移动、网页、桌面三大环境的通用基础 GUI 智能体 UI-Venus-2，并系统性地把“可落地性”所需的三个维度联合扩展：(1) 环境维度——把可交互执行环境扩展到 100+ 中文与 70+ 英文移动应用以及原生桌面操作系统；(2) 任务维度——用深度研究（deep-research）式流水线生成锚定在应用真实功能上、可执行、可验证的指令；(3) 验证维度——建立 trace 级与 sample 级两级评估器，结合视觉关键点与多模型投票，为 RL 提供可靠奖励。同时集成安全感知机制以控制高风险操作，并将全参数权重开源以降低社区研究门槛。
与已有工作不同的是，本文的独特之处在于拒绝把“扩大覆盖面”当作孤立的规模问题，而是把环境、任务分布与数据验证当作耦合系统联合设计：能力目录—任务构造—轨迹采集—验证反馈构成闭环数据飞轮，验证结论反哺上游任务生成。其次，作者没有用朴素加权方式合并领域专家，而是在多教师在线策略蒸馏中引入面向 GUI 动作结构的监督加权和教师端动作类型提示，把蒸馏信号集中于真正改变环境状态的动作 token。另外，把 CAPTCHA 定位为打通数据采集卡点的“最后一公里”能力、从零构建桌面 computer-use 能力，也是与以往以移动/网页为中心的工作（如 UI-Venus-1.5）不同的切入角度。
核心方法
方法层面的直觉是：先让模型通过海量交互轨迹“学会像人一样用界面”，再按领域精细化打磨，最后把各领域专家融合成一个统一策略。技术上，UI-Venus-2 从 Qwen3.5-9B 和 Qwen3.6-27B 两个强多模态基座出发，走三阶段流水线（对应 Figure 3）：第一阶段多模态中期训练，在以 Mobile/Web/OS 导航为主导的大规模合成与交互数据上做 SFT，注入 GUI 交互知识；第二阶段离线强化学习，按 Grounding、CAPTCHA、Mobile、Web、Computer 五个领域分别训练专家模型——导航类任务用步级 RL 轨迹优化状态感知的动作选择、多步导航与执行一致性，CAPTCHA 与 Grounding 则用程序化合成框架提供可验证的动作级正确性和可控难度；第三阶段多教师在线策略蒸馏（MOPD），由各领域教师为学生自己采样的轨迹打分，把空间定位、验证码交互与长程导航能力融合为一个统一模型，而非简单堆叠技能。
核心创新有两处。第一是“联合扩展”的闭环数据引擎：从官方文档、帮助页、用户讨论中做深度研究，构建每个应用的能力目录（记录功能签名、前置条件、兼容功能与任务覆盖），据此生成绑定初始状态、资源与预期结果的可执行任务契约，经有效性门控后进入真实环境采集，执行结果再写回目录，驱动下一轮采样向薄弱能力倾斜——验证不是流水线终点而是飞轮的一环。第二是结构化动作感知的 MOPD：GUI 响应中动作是唯一作用于环境的接口，却只占响应 token 的一小部分，普通 OPD 的均匀 token 监督会稀释动作信号，且动作内部存在“类型决定参数模式”的依赖。于是蒸馏优势按学生动作的错误形态自适应加权：动作全对则抑制信号；类型对参数错则加强动作区间监督；类型错则强调类型 token 并屏蔽下游参数。教师端附加正确动作类型提示 $h(z^*)$ 且绝不进入学生提示词。蒸馏优势定义为 $\hat{A}^{\text{hint}}_t = \mathrm{sg}\left[\log \pi_{T_d}(y_t \mid P_T(x, z^*), y_{<t}) - \log \pi_\theta(y_t \mid P_S(x), y_{<t})\right]$，其中 $\mathrm{sg}[\cdot]$ 阻断梯度。
方法步骤详情
数据侧流水线（Figure 2）：(1) 能力目录构建——用 Deep Research 聚合官方文档与用户讨论形成结构化功能注册表，rollout 后用观测页面状态与失败案例动态更新；(2) 任务构造——从目录采样生成单能力、复合、查询式、批量与情景式任务，形式化为绑定领域、能力标签、初始状态与预期结果的可执行契约，有效性门控拒绝不可执行或不可验证的任务；(3) 轨迹采集——执行器以截图-动作循环交互，成败均产出结构化反馈写回目录。领域特化：Web 用 Tranco 排名加 Kimi 2.6 打分筛出 19 类 4000+ 域名、引入 45000 个 InSTA 任务，以 15 动作 Playwright 接口在真实 Chrome 采集；桌面任务序列化为含快照、安装操作与评估器的 TaskSpec，长程任务做层级分段采集；合成 Grounding 生成 HTML/CSS/JS 界面并经九点命中测试校验；CAPTCHA 用 70 类规则引擎先验证可解性再渲染。验证侧：trace 级 SGV 分五步——抽取可验证关键点、轨迹切窗并在截图上给点击叠加红点标记、并行判定各窗口满足的关键点、无歧义走硬规则而歧义交多模态终审、输出含逐关键点状态的结构化报告，将轨迹分为 completed/partial/infeasible/failed 四级；sample 级采用先验判定，仅凭执行前信息把每步分为 Correct/Exploratory/Ineffective/Incorrect，再区分通用操作与任务特定操作后聚合为三级轨迹评估。
技术新颖性
与已有工作相比，技术新颖性体现在四点。(1) 验证粒度：以往多用最终界面的整体二值判定，本文把任务目标分解为视觉关键点、逐窗口累积过程证据，区分“部分进展”与“零进展”，还把有依据的 Exploratory 探索从无效动作中分离出来，是对 GUI 过程奖励更细的刻画。(2) 蒸馏信号分配：不同于把推理链与动作 token 同等对待的 vanilla OPD，本文按错误类型（类型错/参数错/无错）差异化加权，并利用教师端私有提示在不改变学生输入与推理流程的前提下提升教师评分质量，属于向蒸馏目标注入动作结构先验。(3) 计算机使用能力从零构建：通过 TaskSpec 快照、fixture 指纹去重与隐藏答案泄漏检测、分层分段采集，把有状态的桌面环境纳入与移动/网页统一的流水线。(4) CAPTCHA 程序化合成：70 类谜题内嵌可解的隐状态，天然提供动作级正确标签与可控难度，解决了真实采集无法给出机器可验证真值的问题。
实验结果
实验覆盖 6 个移动、3 个桌面、4 个网页、4 个定位、5 个验证码基准与 2 个安全基准。移动端（Table 1）：MobileGym 上 27B 达 60.5%，超 Seed-2.0-Pro（52.0%）8.5 分；VenusBench-Mobile 27B/9B 为 48.7%/46.5%，远超 Claude-Opus-4.6 的 36.5%；AndroidWorld 84.0%，较上代最佳 77.6% 提升 6.4 分；MobileWorld（50 步）76.1%，超 Kimi-K3（74.4%）但低于 Qwen-UI-Agent-27B（82.1%）；KnowUBench 59.7% 与 MemGUI 70.3% 均居首。桌面端（Table 2）：OSWorld-Verified 80.5%，低于 Claude-Opus-4.8（83.4%）；DeskCraft 55.5%，领先 Kimi-K2.6（41.4%）14.1 分；OSWorld 2.0 二值仅 2.8%、部分分 13.2%，落后 Claude 系约 20%。网页端（Table 3）：WebVoyager 93.4%、Online-Mind2Web 78.3%、REAL 80.2%（超基线 5.8 分）、Odysseys 平均/完美 rubric 80.4/66.3（超基线 11.5/21.8 分），全面第一。定位（Table 4）：VenusBench-GD 80.1% 创纪录，ScreenSpot-Pro 74.1% 与 UI-Vision 66.9% 居次席。验证码（Table 5）：VenusBench-CAPTCHA 79.9% 对最强通用 53.0%，NextGen 54.5% 对 20.4%，优势最大；Spatial 仅 48.6%，Open CaptchaWorld 仅领先 0.7 分。安全（Table 6）：OSHarm ASR 低至 11.3%，OSBlind 从基线 79.4%–93.6% 降至约 48%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MobileGym（移动日常使用仿真） | 成功率 (%) | 60.5（27B）/ 52.7（9B） | Seed-2.0-Pro 52.0；最佳 GUI 专用模型仅 21.5 | 27B 超最强基线 +8.5 个百分点 |
| VenusBench-Mobile（用户中心移动评测） | 成功率 (%) | 48.7（27B）/ 46.5（9B） | Claude-Opus-4.6 36.5；Kimi-K2.6 31.2 | +12.2 个百分点 |
| AndroidWorld（参数化 Android 任务） | 成功率 (%) | 84.0（27B）/ 80.2（9B） | UI-Venus-1.5-30B-A3B 77.6 | +6.4 个百分点（接近饱和仍有增益） |
| MobileWorld（GUI-only，117 任务 50 步） | 成功率 (%) | 76.1（27B，100 步 82.9） | Kimi-K3 74.4；Qwen-UI-Agent-27B 82.1 | 超最强独立通用模型 +1.7，仍落后专用智能体 6.0 |
| DeskCraft（桌面长程专业工作流+人机协作） | 总评分数 (%) | 55.5（27B）/ 48.0（9B） | Kimi-K2.6 41.4；Seed-2.0-Pro 40.0 | +14.1 个百分点 |
| OSWorld 2.0（108 个超长程任务，150 步） | 二值准确率 / 部分分 (%) | 2.8 / 13.2（27B） | GPT-5.5 二值 13.0；Claude-Opus-4.7 部分 20.3 | 部分分超 Kimi-K2.6（7.1）等，仍落后 Claude 系约 7 个百分点 |
| WebVoyager（实时网页，595 任务刷新版） | 任务成功率 (%) | 93.4（27B）/ 90.8（9B） | Fara1.5-27B 89.3；GPT-5(SoM) 90.6 | +4.1 / +2.8 个百分点 |
| Odysseys（跨站长程浏览，200 任务） | 平均 / 完美 rubric 分 | 80.4 / 66.3（27B） | Claude-Opus-4.6 68.9 / 44.5 | +11.5 / +21.8 |
| REAL（确定性高保真网站仿真，112 任务） | 成功率 (%) | 80.2（27B）/ 76.9（9B） | Seed-2.0-Pro / Kimi-K2.6 74.4 | +5.8 个百分点（新 SOTA） |
| VenusBench-GD（跨平台元素定位） | micro 点-框准确率 (%) | 80.1（27B）/ 77.1（9B） | UI-Venus-1.5-30B-A3B 75.0 | +5.1 个百分点（新 SOTA） |
| ScreenSpot-Pro（高分辨率专业软件定位） | 准确率 (%) | 74.1（27B）/ 73.0（9B） | Qwen-UI-Agent-27B 76.6 | -2.5，排名第二，但超 Qwen3.7-Plus（68.9） |
| VenusBench-CAPTCHA（219 例 8 类部署向） | micro Pass@1 (%) | 79.9（27B）/ 78.1（9B） | Qwen3.6-27B 53.0 | +26.9 个百分点 |
| NextGen-CAPTCHAs（15 类 319 例） | Pass@1 (%) | 54.5（27B）/ 47.6（9B） | Seed-2.0-Pro 20.4 | +34.1 个百分点（全文最大差距，9B 即翻倍） |
| OSHarm / OSBlind（桌面安全） | 攻击成功率 ASR，越低越好 (%) | 11.3 / 48.8（9B）；15.3 / 47.9（27B） | 最强基线 Qwen3.5-27B 18.0 / 89.3 | OSBlind 上 ASR 降低 40.5 个百分点 |
局限与改进
作者承认并展示的局限：一是 OSWorld 2.0 超长程桌面任务上二值成功率仅 2.8%、部分分 13.2%，明显落后 Claude 系，数百步跨应用协调仍是短板；二是 MobileWorld 上落后使用命令行等专用脚手架的 Qwen-UI-Agent-27B（76.1 对 82.1）；三是 ScreenSpot-Pro 与 UI-Vision 均居第二；四是 Spatial-CAPTCHA 最佳仅 48.6%，参考系变换与多步空间推理对所有模型都难；五是 Open CaptchaWorld 仅领先 0.7 分。作者还强调部分基线沿用各自报告的动作脚手架与步数预算（带 * 号为其自行复现），对比只能作基准级参考而非严格受控消融。我的观察：验证码训练数据与 VenusBench-CAPTCHA 等基准题型形态可能同源，收益或部分来自分布匹配；SGV 与样本级验证均依赖 VLM 裁判，其自身偏差与调用成本未量化，仅提到多模型投票；安全侧 OSBlind 的 ASR 仍约 48%，距可信部署尚远；正文也未给出 MOPD 各组件独立的消融数字。
独立分析的弱点
独立来看有四个弱点。(1) 长程桌面任务近乎失效：OSWorld 2.0 二值 2.8% 意味着约每 36 个任务才完整成功 1 个，分层分段采集与 150 步预算未转化为长程可靠性；改进方向是引入显式子目标规划、跨步进度记忆与环境状态持久化，而非单纯堆轨迹。(2) 验证器以 VLM 裁判为中心：多模型投票能降单裁判偏差，但同源基座的裁判存在相关错误，仍可能系统性漏判，逐窗并行判定成本也高；可探索轻量专用验证器或融合 DOM/无障碍树等程序化证据。(3) 数据与基准潜在重叠：网站池部分来自公开 browser-agent 基准、任务种子取自 InSTA-150k-v3，与 WebVoyager 等评测集可能存在分布甚至任务级重叠，虽做了刷新仍需更严格的去污染声明。(4) CAPTCHA 能力的双刃性：70 类求解既是部署刚需也降低滥用门槛，论文未讨论访问控制或滥用防护，可把求解能力与滥用检测联合建模。此外 OSBlind 上 ASR 仍近半，对“良性上下文中的危害”识别远未解决。
未来方向
作者在结论中提出的方向是把 UI-Venus-2 作为可复现基线与协作平台，推动更安全、可靠、真正通用的 GUI 智能体。基于其成果可以自然延伸：(1) 长程与记忆——MemGUI 上 70.3% 的表现说明记忆机制初步有效，可将短期信息保持、跨会话经验积累与能力目录式知识库结合，攻关 OSWorld 2.0 级别的数百步任务；(2) 个性化与主动澄清——KnowUBench（59.7%）与 DeskCraft 的交互式评测指明方向：让智能体在不确定时主动提问、处理中断并吸收事后反馈，这需要用户建模与校准良好的不确定性估计；(3) 在线 RL 与验证器共同进化——目前以离线 RL 加蒸馏为主，可把 SGV 关键点验证接入在线训练循环，让奖励随验证器升级而愈发精确；(4) 多源证据融合的验证器——结合 DOM、可访问性树与视觉关键点的异构投票；(5) 安全机制前移——针对 OSBlind 类盲区训练“执行前风险预判”，把 ASR 从约 48% 进一步压低；(6) 更小尺寸的边缘部署——9B 在验证码与网页任务上已接近 27B，可探索 4B 级蒸馏与端侧量化。
复现评估
复现友好度较高。模型侧：UI-Venus-2-9B/27B 全参数权重已在 HuggingFace（inclusionAI/UI-Venus 系列）开源，代码与评测基础设施在 GitHub（inclusionAI/UI-Venus），另有项目主页；基座为公开的 Qwen3.5-9B 与 Qwen3.6-27B。推理配置交代清楚：通用任务默认开启 think 模式、温度 1.0 并保留完整推理历史，定位任务关闭推理、温度设 0，验证码支持多动作序列解析，复现评测表数字的门槛主要在环境搭建（Android 真机/仿真、桌面虚拟机、实时网页的时效性）。训练侧：三阶段流程与方法描述详细，但中期训练与 RL 的数据总量、算力规模与超参未在正文披露，且 170+ 应用环境池、4000+ 网站池与 70 类验证码引擎依赖内部基础设施及商业裁判模型（Kimi 2.6、GPT-4o、gemini-3.1 等），完整复现数据飞轮成本很高。总体结论：推理与评测可低成本复现，端到端训练复现难度大，社区更适合以开源权重为起点做微调、验证机制与安全研究。
论文图表