计算机使用世界模型：面向桌面软件的两阶段UI状态预测 Computer-Using World Model
提出首个桌面软件世界模型CUWM，通过文本+视觉两阶段分解预测UI状态转换，提升智能体决策质量
前置知识
世界模型（World Model）
世界模型是一种学习环境动态的模型，能够根据当前状态和候选动作预测下一个状态。在强化学习中，世界模型允许智能体在想象中进行规划和决策，而无需在真实环境中试错。经典工作如Ha & Schmidhuber的World Models、Dreamer系列和MuZero都展示了世界模型在游戏和机器人领域的价值。世界模型的核心思想是：与其在昂贵的真实环境中探索，不如先在模型中模拟各种动作的后果，选择最优方案后再执行。
本文提出的CUWM是首个面向桌面软件的世界模型，理解世界模型的基本概念是理解本文创新点的前提。
GUI智能体（GUI Agent）
GUI智能体是指能够通过图形用户界面与计算机软件交互的AI系统。它们接收屏幕截图作为输入，输出点击、输入文本、拖拽等动作。近年来，基于视觉语言模型（VLM）的GUI智能体取得了显著进展，如UFO、OSWorld等工作。这些智能体需要理解复杂的UI布局、识别可交互元素、规划多步骤操作。然而，现有GUI智能体通常缺乏对动作后果的预测能力，导致试错成本高昂。
本文聚焦于提升GUI智能体的决策能力，理解GUI智能体的工作原理和挑战是理解本文动机的关键。
测试时规划（Test-Time Planning）
测试时规划是指在推理阶段通过额外的计算来改善决策质量的策略。与传统的训练时优化不同，测试时规划允许模型在做出最终决策前探索多个候选方案。例如，AlphaGo在每一步棋前都会进行大量的蒙特卡洛树搜索。在本文中，测试时规划表现为：智能体提出多个候选动作，使用世界模型模拟每个动作的后果，然后根据模拟结果选择最佳动作。这种方法不需要修改智能体本身的策略，而是通过增加推理时的计算来提升决策质量。
本文的核心贡献之一就是展示了测试时规划在桌面软件场景中的有效性，这是理解本文方法论的关键。
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，最初由DeepSeek-Math团队提出，用于优化语言模型的数学推理能力。与传统的PPO算法不同，GRPO不需要单独的价值网络（critic），而是通过在一组候选输出中进行相对偏好比较来优化策略。具体来说，对于每个输入，GRPO采样多个候选输出，计算它们的奖励，然后优化模型使得高奖励输出的概率相对增加。这种方法更加稳定，特别适合文本生成任务。
本文使用GRPO来细化文本状态转换模型，理解GRPO的工作原理有助于理解本文的训练策略。
研究动机
桌面软件交互面临一个根本性矛盾：虽然软件环境是完全数字化且基本确定性的，但交互既不便宜也不可安全撤销。具体来说，UI操作会带来显著的延迟（每次点击可能需要数百毫秒的响应时间），撤销功能有限且依赖上下文（某些操作根本无法撤销），而单个错误就可能破坏用户数据或中断长时间的工作流程。这使得现有的计算机使用智能体无法进行有效的反事实探索——它们不能像在游戏中那样随意试错，因为每次错误都有真实代价。例如，一个在Excel中工作的智能体如果错误地删除了某个关键公式，整个数据分析流程就可能被打乱。这种不可逆性使得大规模的试错学习和实时树搜索变得不切实际，限制了智能体在复杂桌面软件任务中的表现。
本文的目标是本文的目标是开发一个能够预测桌面软件UI状态转换的世界模型，使智能体能够在执行动作前模拟其后果。具体来说，CUWM需要：（1）给定当前UI截图和候选动作，预测下一个UI状态；（2）预测结果要足够准确，能够支持智能体做出正确的决策；（3）模型要能够处理Microsoft Office等复杂生产力软件的各种操作；（4）通过测试时动作搜索提升智能体的任务完成率。论文期望通过这个世界模型，让智能体能够像人类一样在心中预演操作后果，避免昂贵的试错过程。
与已有工作不同的是，本文的独特切入角度在于它首次将世界模型的概念引入到桌面软件GUI交互领域。此前的世界模型研究主要集中在游戏和机器人领域，这些环境要么是模拟的（游戏），要么允许一定程度的物理交互（机器人）。而桌面软件交互具有独特的挑战：高维视觉观察（复杂的UI布局）、组合性GUI动作（点击、输入、拖拽等多种操作类型）、以及长视野的、保持工作成果的工作流程（用户期望软件状态持续累积，而不是重置）。此外，现有的GUI智能体工作主要关注如何更好地理解当前状态或执行单个动作，而CUWM则关注如何预测动作的后果——这是一个被忽视但至关重要的能力。
核心方法
CUWM的核心思想可以用一个简单的比喻来理解：就像一个有经验的软件用户在执行操作前会在心里预演结果一样，CUWM让智能体能够在想象中模拟操作后果。具体来说，CUWM将UI状态转换分解为两个阶段：首先回答「什么变了」，然后回答「怎么看起来」。第一阶段使用视觉语言模型预测文本化的状态转换描述，例如「选中了H列，其余UI保持不变」；第二阶段使用图像编辑模型根据这个文本描述渲染下一个UI截图。这种分解的直觉是：UI变化通常是局部的、稀疏的——大部分界面保持不变，只有少数元素发生变化。通过先预测变化的语义描述，再渲染变化的视觉效果，模型可以将容量集中在决策相关的变化上，而不是浪费在重建不变的背景上。
CUWM的核心创新在于将UI动态分解为「什么变了」和「怎么看起来」两个独立但相关的阶段。与现有方法相比，这种分解有几个本质区别：首先，与直接预测像素的端到端方法不同，CUWM先预测结构化的文本描述，这大大减少了预测空间，并提供了可解释的UI动态表示。其次，与只预测文本不预测视觉的方法不同，CUWM还包含一个视觉实现阶段，能够生成像素级的下一状态截图，这对于依赖视觉输入的GUI智能体至关重要。第三，与使用通用图像生成模型的方法不同，CUWM专门针对UI状态转换进行了优化，通过监督学习和强化学习的组合训练，使其能够准确捕捉UI的结构化变化。这种分解使得CUWM既能提供高层的语义信息（文本描述），又能提供底层的视觉信息（截图），为智能体的决策提供多模态支持。
方法步骤详情
CUWM的训练和推理流程可以分为以下几个步骤： **数据准备**：从GUI-360数据集中收集UI交互轨迹，每条轨迹包含截图序列和对应的GUI动作。通过预处理形成状态-动作-下一状态的三元组 $(s_t, a_t, s_{t+1})$，最终收集了2,876个训练样本和339个测试样本。 **阶段1 - 文本状态转换模型训练**：使用Qwen2.5-VL作为视觉语言模型，输入当前截图 $s_t$ 和动作 $a_t$，训练模型预测GPT-5生成的文本转换描述 $\Delta_t^{GT}$。采用标准的自回归交叉熵损失 $\mathcal{L}_{SFT} = -\log p(\Delta_t^{GT} | s_t, a_t)$，并使用LoRA进行参数高效微调。 **阶段1 - 强化学习细化**：使用GRPO算法对文本状态转换模型进行进一步优化。对于每个输入，采样K=5个候选描述，计算复合奖励 $R(s_t, a_t, \Delta_t) = R_{judge}(\Delta_t, \Delta_t^{GT}) - \beta R_{len}(\Delta_t)$，其中 $R_{judge}$ 是LLM-as-a-Judge评分，$R_{len}$ 是长度惩罚。优化目标是使高奖励输出的相对概率增加。 **阶段2 - 视觉状态实现模型训练**：使用Qwen-Image-Edit作为条件图像编辑模型，输入当前截图 $s_t$ 和预测的文本转换 $\Delta_t$，训练模型生成下一个状态截图 $\hat{s}_{t+1}$。采用像素级重建损失 $\mathcal{L}_{edit} = \|\hat{s}_{t+1} - s_{t+1}\|_2^2$，同样使用LoRA微调。 **推理阶段 - 测试时动作搜索**：在推理时，智能体提出多个候选动作，CUWM为每个动作模拟下一个状态，智能体根据模拟结果选择最佳动作执行。
技术新颖性
CUWM的技术新颖性主要体现在以下几个方面： **两阶段分解架构**：这是首次在桌面软件GUI领域采用文本+视觉的两阶段分解方法。此前的工作要么只预测文本（如Web Agents with World Models），要么只预测视觉（如ViMo），而CUWM将两者结合起来，既提供可解释的语义描述，又提供像素级的视觉预测。 **结构感知的强化学习**：CUWM不仅使用监督学习初始化，还引入了基于LLM-as-a-Judge的强化学习细化。这种细化专门针对UI结构的关键方面（如功能区状态、编辑区域、侧边栏等）进行优化，确保预测的文本描述能够捕捉决策相关的UI结构。 **软长度惩罚机制**：为了防止模型生成过于冗长或过于简短的描述，CUWM设计了一个软长度惩罚机制。这个机制基于预测长度与真实长度的相对比例，动态调整惩罚强度，鼓励生成简洁但完整的转换描述。 **专门针对桌面软件的优化**：与通用的图像生成模型或网页/移动应用的世界模型不同，CUWM专门针对Microsoft Office等桌面生产力软件进行了优化。这包括对Word、Excel、PowerPoint等应用的特定UI模式的建模，以及对长视野、保持工作成果的工作流程的支持。
实验结果
CUWM在多个评估维度上展示了显著的效果： **文本状态转换质量**：如Table 1所示，LLM-as-a-Judge评分从Base模型的0.6027提升到SFT的0.6834，再到SFT+RL的0.6883。这表明监督学习和强化学习都能改善文本转换的质量。更重要的是，如Table 2所示，动作一致性得分（ACS）在SFT+RL变体上达到最高：使用GPT-4.1-mini作为智能体骨干时得分为0.5642，使用Gemini-2.0-Flash时得分为0.4732，均显著高于Base模型的0.4990和0.3860。这表明RL细化有效地捕捉了决策相关的UI结构。 **视觉状态实现质量**：如Table 3所示，CUWM在所有图像质量指标上都取得了最佳结果：PSNR为14.91（相比Action-Only的11.09提升34.4%），SSIM为0.67（相比0.49提升36.7%），LPIPS为0.21（相比0.48降低56.3%），FID为20.48（相比136.14降低85.0%）。如Table 4所示，文本感知得分在Word上达到0.742，Excel上达到0.707，PowerPoint上达到0.689，总体为0.716，显著高于其他方法。 **智能体任务完成率**：如Table 5所示，CUWM（Image）在所有智能体骨干上都提升了任务完成率：Qwen3-VL-8B从0.3895提升到0.4189（+7.5%），GPT-4.1-mini从0.4361提升到0.4418（+1.3%），GPT-4o从0.4558提升到0.4720（+3.6%），Gemini-2.0-Flash从0.3923提升到0.4073（+3.8%）。值得注意的是，CUWM的表现优于GPT-Image-1.5等通用图像生成模型，这表明专门针对UI优化的世界模型比通用模型更有效。 **文本与图像结合的意外发现**：论文发现，将文本和图像预测结合起来反而降低了大多数配置下的智能体性能。作者提出了两个可能的解释：跨模态冲突（文本描述与视觉显著元素矛盾）和噪声累积（各模态的独立预测误差相互叠加而非互补）。这揭示了当前VLM在整合多模态推理方面的局限性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本状态转换 | LLM-as-a-Judge Score | 0.6883 (SFT+RL) | 0.6027 (Base) | +14.2% |
| 动作一致性 | ACS (GPT-4.1-mini) | 0.5642 (SFT+RL) | 0.4990 (Base) | +13.1% |
| 视觉实现 | PSNR | 14.91 (CUWM) | 11.09 (Action-Only) | +34.4% |
| 视觉实现 | SSIM | 0.67 (CUWM) | 0.49 (Action-Only) | +36.7% |
| 智能体任务 | 任务完成率 (GPT-4o) | 0.4720 (CUWM Image) | 0.4558 (None) | +3.6% |
| 智能体任务 | 任务完成率 (Qwen3-VL-8B) | 0.4189 (CUWM Image) | 0.3895 (None) | +7.5% |
局限与改进
论文承认的局限性包括：首先，文本和图像预测的结合效果不佳，表明当前VLM在整合多模态推理方面存在根本性挑战。其次，约35%的测试样本中，智能体未能提出包含真实动作的候选集合，这限制了世界模型的作用范围。第三，数据集规模相对较小（2,876个训练样本），虽然论文声称可以扩展，但当前规模可能限制了模型的泛化能力。 从独立分析的角度，我还观察到以下局限性：第一，CUWM只在Microsoft Office应用上进行了评估，其在其他桌面软件（如图形编辑器、IDE、浏览器）上的表现尚不清楚。第二，论文主要关注单步动作预测，对于需要多步规划的复杂任务，CUWM的累积误差可能成为一个问题。第三，强化学习阶段依赖GPT-5作为评判者，这引入了对闭源模型的依赖，可能限制了方法的可复现性和可扩展性。第四，论文没有详细讨论模型的推理延迟，而在实际应用中，世界模型的推理速度直接影响智能体的响应时间。
独立分析的弱点
基于独立分析，我识别出CUWM的几个关键弱点，并提出相应的改进方向： **多模态整合问题**：论文发现文本和图像预测的结合反而降低了性能，这表明当前的整合策略过于简单（直接拼接）。改进方向包括：设计更复杂的跨模态融合机制，如注意力加权或门控机制；或者训练一个专门的融合模块来解决模态冲突。此外，可以探索渐进式整合策略，先使用文本预测缩小候选动作空间，再使用图像预测进行精细选择。 **泛化能力不足**：CUWM只在Microsoft Office上训练和评估，缺乏对其他软件的泛化能力。改进方向包括：在更多样化的桌面软件上收集数据（如浏览器、文件管理器、图形编辑器）；设计领域自适应技术，使模型能够快速迁移到新软件；或者开发软件无关的UI表示，减少对特定应用的依赖。 **长视野规划能力缺失**：CUWM主要关注单步预测，缺乏对多步规划的显式支持。改进方向包括：将CUWM集成到树搜索或蒙特卡洛规划框架中，支持多步动作序列的评估；或者训练一个能够预测多步后果的世界模型，直接评估动作序列的长期价值。 **数据效率问题**：当前模型需要2,876个训练样本，虽然对于监督学习来说不算多，但对于强化学习来说可能仍然不够高效。改进方向包括：利用主动学习策略，优先收集信息量最大的样本；或者使用数据增强技术，通过UI变换（如颜色、布局变化）增加训练样本的多样性。
未来方向
论文提出的未来工作方向包括：首先，在扩散Transformer（DiT）微调之上引入强化学习，进一步对齐世界模型与下游决策目标。其次，设计更直接反映世界模型对智能体性能有用性的奖励函数。第三，改进文本和视觉组件的联合训练，更好地保留状态转换中的决策相关信息。 基于本文成果，还可以延伸出以下研究方向： **交互式世界模型**：将CUWM从被动的预测器转变为交互式的规划工具。用户可以通过自然语言描述期望的结果，CUWM反向推导出实现该结果的动作序列。这种能力对于自动化复杂的软件工作流程特别有价值。 **个性化世界模型**：不同用户使用软件的方式不同，CUWM可以适应特定用户的习惯和偏好。通过观察用户的交互历史，世界模型可以学习预测符合用户风格的状态转换，提供更个性化的规划建议。 **错误恢复规划**：当智能体执行了错误动作后，CUWM可以帮助规划恢复策略。通过模拟不同恢复动作的后果，智能体可以选择最有效的纠正措施，而不是简单地撤销或重新开始。 **协作式规划**：在多人协作场景中，CUWM可以预测其他用户动作的后果，帮助协调不同用户的操作，避免冲突和重复工作。
复现评估
CUWM的复现评估如下： **开源情况**：论文没有明确说明是否开源代码和模型。基于Microsoft Research的常见实践，代码可能会在论文正式发表后开源，但目前尚不确定。论文使用的基座模型（Qwen2.5-VL和Qwen-Image-Edit）是公开可用的，这降低了复现的部分门槛。 **数据集**：论文基于GUI-360数据集构建训练数据，该数据集是公开可用的。然而，论文对数据进行了筛选和预处理，形成了2,876个训练样本和339个测试样本。这些处理后的数据是否公开尚不清楚。此外，GPT-5生成的文本转换描述是训练数据的重要组成部分，这引入了对闭源API的依赖。 **算力需求**：论文使用了LoRA进行参数高效微调，这降低了算力需求。具体来说，Stage 1使用Qwen2.5-VL-7B（7B参数），LoRA rank为32；Stage 2使用Qwen-Image-Edit（参数量未明确说明），LoRA rank为32。强化学习阶段使用GRPO算法，训练批量为32，采样数为5。这些设置在单张高端GPU（如A100）上应该可以复现，但完整的训练流程可能需要多GPU并行。 **复现难度**：中等偏高。主要挑战包括：（1）需要准备高质量的UI交互数据，（2）需要调用GPT-5生成文本转换描述，（3）需要设计合适的奖励函数和强化学习训练流程。对于有经验的机器学习工程师来说，如果能够获得数据和计算资源，复现应该是可行的。
论文图表
