基于视频的计算机使用代理奖励建模

用执行视频训练奖励模型评估计算机代理任务成功率

前置知识

Computer-Use Agents (CUAs)

计算机使用代理是一类能够直接操作真实计算机界面（桌面、浏览器、移动应用）来执行复杂多步骤任务的AI系统。与传统的API调用式代理不同，CUAs通过感知屏幕截图、模拟鼠标键盘操作来完成用户指令。近年来随着多模态基础模型的进步，CUAs在网页浏览、桌面办公、移动端操作等场景展现出强大能力，但评估其任务完成质量一直是个难题。

本文研究的核心对象就是CUAs的奖励建模，理解CUAs的工作方式和评估挑战是阅读本文的基础。

Reward Model

奖励模型是一种学习评估系统，给定用户指令和执行轨迹，判断预期目标是否达成。在强化学习和AI对齐领域，奖励模型用于替代人工设计的规则或启发式方法，提供更灵活、可扩展的评估信号。在CUA场景中，奖励模型需要理解界面状态变化与任务目标之间的关系。

本文的核心贡献就是构建了一个视频级别的奖励模型ExeVRM，用于评估CUAs的任务完成情况。

Token Pruning（Token剪枝）

Token剪枝是一种减少视觉语言模型输入token数量的技术。在处理高分辨率视频时，视觉编码器会产生大量patch token，导致计算成本和内存消耗急剧增加。Token剪枝通过识别并移除冗余token（如静态背景区域、跨帧重复内容），在保留关键信息的同时显著降低计算开销。

本文提出的时空token剪枝（STP+TTP）是使高分辨率长视频训练可行的关键技术，直接影响模型性能和训练效率。

Adversarial Instruction Translation（对抗性指令翻译）

对抗性指令翻译是一种合成负样本的方法。给定一个成功的执行轨迹视频，使用视觉语言模型生成一个看起来合理但与轨迹不匹配的任务指令。这种方法利用已有成功数据的界面上下文，生成语义不一致但视觉相似的硬负样本，并标注不匹配首次出现的步骤位置。

这是本文解决负样本稀缺问题的创新方法，为奖励模型训练提供了高质量的对比信号。

Temporal IoU (tIoU)

时间交并比（tIoU）是衡量时间定位质量的指标，计算模型预测的关键时间区间与人工标注的真实区间之间的重叠程度。tIoU等于预测区间与真实区间的交集大小除以并集大小。较高的tIoU表示模型能够更准确地定位决定任务成败的关键时刻。

本文不仅评估二元判断准确率，还通过tIoU评估模型的时间归因能力，这是衡量奖励模型可解释性的重要指标。

研究动机

评估计算机使用代理（CUAs）的任务完成情况面临严峻挑战。现有评估方法主要依赖手工编写的规则和任务特定的解析器，这严重限制了可扩展性和对新任务、新环境的迁移能力。具体而言，最终状态检查方法虽然可扩展但评估粗糙，只能判断最终结果而不考虑过程；全截图评估方法虽然覆盖更广但内存消耗巨大，往往被迫进行降采样，从而可能遗漏微妙但决定性的GUI线索。在负监督方面，公开的计算机使用数据集主要强调成功的高质量轨迹用于代理训练，失败案例很少配有关于轨迹何时、为何偏离的明确标注。这使得构建平衡、信息丰富的奖励建模数据变得极为困难。此外，CUA轨迹存在高度冗余：大型界面区域（工具栏、背景、布局元素）在各步骤间几乎保持静态，而正确性往往取决于微妙的局部变化，如光标焦点移动、小型文本编辑或瞬态对话框。

本文的目标是本文旨在构建一个可扩展、模型无关的视频执行奖励模型（ExeVRM），能够仅通过用户指令和执行视频序列来预测CUA任务是否成功。具体目标包括：第一，构建大规模训练数据集ExeVR-53k，包含53k高质量的视频-任务-奖励三元组；第二，开发对抗性指令翻译方法来合成硬负样本，解决负监督稀缺问题；第三，设计时空token剪枝策略，使高分辨率长视频训练在计算上可行；第四，在多个平台（Ubuntu、macOS、Windows、Android）上超越现有的专有和开源基线模型。

与已有工作不同的是，本文的独特切入角度在于将CUA评估从截图级或规则级提升到视频执行级。与依赖代理内部推理轨迹、工具调用或代码跟踪的方法不同，ExeVRM仅依赖可观测的界面状态序列，这种表示是方法无关的，天然可在不同代理设计之间进行比较。此外，现有过程奖励模型（PRMs）通常需要逐步推理且容易受到错误累积或奖励攻击的影响，而ExeVRM执行整体视频级判断并具备首次失败定位能力，降低了逐步追踪的复杂性。在数据构建方面，现有负样本构建依赖被动失败收集、专家标注、模型标注或基于规则的损坏，而本文通过将成功轨迹与语义不匹配的指令配对来生成可扩展的硬负样本。

核心方法

本文的方法框架包含三个核心组件：数据构建、对抗性负样本合成和高效视频学习。整体思路是将CUA评估问题转化为视频级别的二分类任务——给定用户指令和执行视频序列，判断任务是否成功完成。技术路线首先从多个现有数据集（AgentNet、ScaleCUA、OSWorld）收集轨迹数据，统一转换为步骤级视频表示；然后通过对抗性指令翻译生成高质量负样本；最后基于Qwen3-VL模型进行微调，并引入时空token剪枝来处理高分辨率长视频。这种设计使得模型能够学习界面状态变化与任务成功、失败之间的关联，同时保持计算上的可行性。

本文的核心创新点在于三个方面。第一，视频执行奖励建模范式：不同于现有的结果奖励模型（ORM）只评估最终结果或过程奖励模型（PRM）需要逐步推理，ExeVRM执行整体视频级判断，既保留了时间信息又避免了逐步追踪的复杂性。第二，对抗性指令翻译：通过让视觉语言模型生成与成功轨迹语义不匹配但界面上下文合理的指令，创造性地解决了负样本稀缺问题，并提供步骤级的归因标签。第三，时空token剪枝机制：空间剪枝（STP）移除帧内视觉同质区域，时间剪枝（TTP）抑制跨帧重复token，两者结合使得720p高分辨率长视频训练在8乘以A100 GPU上变得可行。这些创新共同解决了CUA奖励建模中的数据瓶颈、负样本稀缺和计算效率三大挑战。

方法步骤详情

方法分为三个主要阶段。第一阶段是ExeVR-53k数据集构建：从AgentNet（23k任务）、ScaleCUA（7k任务）和OSWorld（361任务乘以30个代理）收集轨迹数据；将每条轨迹分割为原子交互步骤，每步提取一个代表性关键帧；以1 FPS渲染形成紧凑的视频摘要。第二阶段是对抗性指令翻译：从有效轨迹片段出发，提示视觉语言模型生成与轨迹不匹配的任务指令；要求模型输出不匹配的原因和首次出现的参考步骤；通过人工验证保留高质量负样本，达到100%的人工通过率。第三阶段是模型训练：以Qwen3-VL-4B和8B为基础模型进行微调，学习率为$5 \times 10^{-6}$配合余弦衰减调度；应用时空token剪枝，STP通过UI连接图识别大组件进行移除（阈值$\tau_s=0.3$，$\tau_{large}=40$），TTP通过余弦相似度比较跨帧token（阈值$\tau_t=0.9999$）；冻结视觉编码器和投影器，仅训练LLM参数。

技术新颖性

本文的技术新颖性体现在多个层面。在方法论上，将CUA评估从规则驱动转向数据驱动的视频理解，开辟了新的研究范式。时空token剪枝的设计特别巧妙：STP借鉴ShowUI构建UI连接图，但创新性地使用Union-Find算法识别大组件进行修剪；TTP则维护参考token并动态更新，只保留与最近显著状态不同的token。两者的交集操作确保只有同时通过空间和时间筛选的token才被保留。在数据构建方面，对抗性指令翻译将back-translation思想应用于GUI领域，生成的负样本既有视觉相似性又有语义不一致性，比规则损坏或随机替换更具挑战性。在评估方面，不仅报告分类指标，还引入tIoU衡量时间归因质量，提供了更全面的模型能力评估。

实验结果

实验结果表明ExeVRM在多个维度上取得了显著突破。在整体性能上，ExeVRM 8B达到84.7%准确率、82.9%精确率和87.7%召回率，全面超越最强专有基线Seed-2.0 Pro（80.3%/83.9%/74.7%）和GPT-5.2（75.0%/82.7%/66.5%）。与最佳开源模型相比，ExeVRM 8B相比Qwen3-VL 8B提升17.1%准确率，相比InternVL-3.5 8B提升28.2%准确率，召回率更是从49.9%和55.9%大幅提升至87.7%。在各平台上表现一致：Mac/Win达到89.0%准确率和94.0%召回率，Android达到83.5%准确率和95.0%召回率，Ubuntu Agent和Human分别达到82.5%/77.7%和84.0%/84.0%的准确率和召回率。从4B扩展到8B带来4.6%整体准确率和5.2%召回率提升，Android上提升最大达11.0%。在时间归因方面，ExeVRM在tIoU指标上显著超越所有基线，ExeVRM 8B达到0.3332的tIoU，而Seed-2.0 Pro为0.2785，GPT-5.2仅为0.0862，表明其能够更准确地定位决定任务成败的关键交互步骤。

查看结构化数据

任务	指标	本文	基线	提升
Ubuntu Agent轨迹评估	Accuracy	82.5%	Seed-2.0 Pro 85.1%	与最强基线持平，但召回率77.7% vs 85.1%
Ubuntu Human轨迹评估	Accuracy	84.0%	Seed-2.0 Pro 77.2%	+6.8%
Mac/Win平台评估	Accuracy	89.0%	Seed-2.0 Pro 81.0%	+8.0%
Android平台评估	Accuracy	83.5%	Seed-2.0 Pro 78.0%	+5.5%
整体性能	Accuracy	84.7%	Seed-2.0 Pro 80.3%	+4.4%
整体性能	Recall	87.7%	Seed-2.0 Pro 74.7%	+13.0%
Ubuntu Human评估（与Qwen3-VL 8B对比）	Accuracy	84.0%	Qwen3-VL 8B 69.0%	+15.0%
Mac/Win评估（与GPT-5.2对比）	Accuracy	89.0%	GPT-5.2 74.5%	+14.5%

局限与改进

尽管ExeVRM取得了显著成果，但仍存在一些局限性。首先，模型的评估基准ExeVR-Bench仅包含789个实例，虽然覆盖了多个平台和任务类型，但规模相对有限，可能无法完全代表真实世界的多样性。其次，训练数据ExeVR-53k主要来源于AgentNet、ScaleCUA和OSWorld这三个数据集，存在数据来源偏差——AgentNet主要是人类演示，OSWorld是代理rollout，这种混合可能引入分布不一致的问题。第三，模型在Ubuntu Agent轨迹上的表现（82.5%准确率）实际上略低于Seed-2.0 Pro（85.1%），说明在代理生成的轨迹评估上仍有提升空间。第四，时空token剪枝的超参数是固定的，未进行自适应调整，可能在不同类型的GUI界面或任务上表现不一致。最后，模型目前只支持二元判断（成功/失败）和首次失败定位，无法评估部分完成或提供更细粒度的过程反馈。

独立分析的弱点

本文存在几个值得深入探讨的弱点。第一，数据集的负样本质量依赖于GPT-5.2的对抗性指令翻译，虽然人工验证达到100%通过率，但这种合成方式可能无法覆盖所有类型的失败模式，特别是那些涉及多步骤错误累积的场景。改进方向可以是结合真实失败案例与合成负样本，构建更全面的训练数据。第二，时空token剪枝采用固定阈值策略，未考虑不同GUI界面的视觉复杂度差异。例如，密集的代码编辑器界面与简洁的设置页面需要不同的剪枝强度。建议开发自适应剪枝机制，根据界面复杂度动态调整阈值。第三，模型以1 FPS渲染视频，这种粗粒度的时间采样可能丢失快速的UI变化（如弹出菜单、动画过渡）。可以探索更高帧率或关键帧自适应采样策略。第四，评估仅覆盖四个平台，缺少对新兴平台（如Linux Wayland、VR界面）的泛化能力验证。

未来方向

基于本文成果，未来研究可以在多个方向深入探索。作者提出的将视频奖励模型作为CUA开发的可扩展评估器这一愿景，可以延伸到在线强化学习场景——将ExeVRM作为奖励信号源来训练更好的CUA代理。在技术改进方面，可以探索多模态融合的奖励建模，将执行视频与代理的推理轨迹、工具调用日志等结合，提供更全面的评估。在数据扩展方面，可以构建覆盖更多平台（如车载系统、智能家电界面）和任务类型（如创意设计、编程调试）的大规模数据集。此外，当前模型只做二元判断，未来可以发展细粒度的过程奖励模型，评估每个步骤的质量而非仅判断最终结果。另一个有前景的方向是将ExeVRM与人类偏好对齐，构建能够理解用户主观满意度的奖励模型。

复现评估

本文的复现条件相对友好。作者已开源代码（GitHub: limenlp/ExeVRM）、模型权重（HuggingFace: lime-nlp/ExeVRM-8B）和数据集（HuggingFace: lime-nlp/ExeVR-53k），为社区复现提供了坚实基础。训练硬件要求为8张NVIDIA A100 GPU（80GB显存），这在学术机构中属于高端配置但并非不可获得。训练基于修改版的LLaMA-Factory框架，学习率为$5 \times 10^{-6}$配合余弦衰减调度，超参数设置清晰。然而，完整复现仍面临一些挑战：需要访问GPT-5.2进行对抗性指令翻译（或寻找替代方案），ExeVR-Bench的200个时间归因标注实例需要人工验证，以及三个源数据集（AgentNet、ScaleCUA、OSWorld）的获取和预处理工作量较大。总体而言，中等偏上的算力投入和数据准备工作量使得复现成为可能但需要一定资源投入。

基于视频的计算机使用代理奖励建模 Video-Based Reward Modeling for Computer-Use Agents