基于可渲染代码的生成式视觉移动GUI世界模型

通过生成可渲染Web代码而非直接像素来建模移动GUI状态转换

前置知识

世界模型 (World Model)

世界模型是一种学习环境动态的模型，能够预测在给定当前状态 $S_t$ 和动作 $A_t$ 的情况下，下一个状态 $S_{t+1}$ 的概率分布。在马尔可夫决策过程（MDP）框架下，世界模型对应于转移分布 $p: S \times A \rightarrow \Delta(S)$，其中 $S$ 是状态空间，$A$ 是动作空间，$\Delta(S)$ 是状态空间上的概率单纯形。世界模型的关键作用是在训练和推理时增强策略性能，通过模拟环境交互来减少对真实环境的依赖。

本文的核心就是提出一种新的视觉世界模型，用于移动GUI环境。理解世界模型的基本概念和在MDP中的形式化定义，是理解本文方法框架的基础。

视觉语言模型 (VLM)

视觉语言模型是一种能够同时处理图像和文本输入的多模态模型，通常基于大规模预训练的Transformer架构。VLM通过在大量图文对数据上进行预训练，获得了强大的视觉理解和语言生成能力。在移动GUI任务中，VLM已被证明优于纯语言模型，因为它们能够直接理解屏幕截图中的视觉信息。典型的VLM包括Qwen-VL、Llama、GPT-4V等，参数规模从8B到数百B不等。

本文使用的gWorld模型就是基于VLM架构（Qwen3 VL），利用VLM的视觉理解和代码生成能力来实现GUI世界建模。理解VLM的能力和局限性是理解本文动机的关键。

可渲染Web代码 (Renderable Web Code)

可渲染Web代码是指能够被浏览器引擎解析并渲染为可视化界面的HTML/CSS/JavaScript代码。与直接生成像素图像不同，这种代码表示能够精确控制文本内容、布局结构和视觉属性。代码中的每个元素都有明确的语义（如按钮、文本框、图标等），且可以通过浏览器无损渲染为像素。这种表示方式结合了结构化信息和视觉呈现的优势。

本文的核心创新就是将世界模型的输出从像素空间转换到可渲染代码空间，利用VLM在预训练阶段获得的Web代码生成能力，同时避免了图像生成模型在文本渲染上的固有缺陷。

指令准确率 (Instruction Accuracy, IAcc.)

IAcc.是本文提出的主要评估指标，采用VLM-as-a-Judge的方法来判断生成的下一个状态是否与当前状态-动作对语义一致。具体来说，给定当前GUI状态图像 $S_t$、动作 $A_t$ 和生成的下一个状态 $\hat{S}_{t+1}$，IAcc.使用三个前沿VLM（GPT-5 Mini、Claude 4.5 Haiku、Gemini 3 Flash）进行二元判断（通过/失败），最终取三个判断的平均值。这种方法直接衡量了世界模型的语义正确性，而非仅依赖像素级相似度。

IAcc.是本文的核心评估指标，也是衡量世界模型性能的关键。理解这个指标的定义和计算方式，对于解读本文的实验结果至关重要。

监督微调 (Supervised Fine-Tuning, SFT)

监督微调是一种模型训练方法，使用标注好的输入-输出对来微调预训练模型。在本文中，SFT数据形式为状态图像和动作的组合作为输入，推理轨迹和代码形式的下一个状态作为输出。SFT的目标是最大化似然函数，使模型学会从输入预测输出。

本文的训练方法就是基于SFT，理解SFT的基本原理有助于理解本文的数据生成流程和模型训练方式。

研究动机

当前移动GUI世界模型面临一个关键权衡：基于文本的世界模型会丢失视觉信息，特别是细粒度的空间布局和视觉属性（如图标、字体、颜色），这对于理解GUI状态至关重要；而基于视觉的世界模型则因为文本渲染不准确而被迫依赖复杂的多阶段管线。以VIMO为代表的现有视觉世界模型存在三个显著问题：首先，VIMO依赖于一个包含5个外部模型的复杂管线（OCR模型、文本遮罩、GPT-4o过滤、自定义扩散模型、GPT-4o文本填充），导致计算开销和延迟巨大（报告的端到端延迟为160秒/状态）；其次，VIMO将坐标系动作转换为自然语言指令时依赖GPT-4o，实际上将视觉定位外包给了闭源模型；最后，VIMO未开源其自定义扩散模型的权重，使得系统难以复现和部署。

本文的目标是本文的目标是开发一种新型的移动GUI世界模型范式：通过可渲染代码生成实现视觉世界建模。具体来说，目标是训练一个单一、自包含的视觉语言模型，能够将下一个GUI状态预测为可执行的Web代码，该代码可以直接渲染为像素。这种范式应该结合两个优势：VLM的语言先验能够实现精确的文本渲染，而VLM在结构化Web代码上的预训练使其能够生成高保真度的视觉输出。最终目标是在准确性与模型规模之间建立新的帕累托前沿，以更小的模型超越更大的基线模型。

与已有工作不同的是，本文的独特切入角度在于首次提出将世界模型的输出空间从像素或文本转换到可渲染代码空间。这一转换具有多重优势：首先，代码表示天然保留了文本的精确性（不会出现文本渲染失败），同时保留了视觉布局信息；其次，VLM在预训练阶段已经获得了大量的Web代码生成能力，这种归纳偏置可以直接用于GUI状态预测；第三，代码生成避免了图像生成模型面临的离散GUI特性问题（GUI通常是结构化的、离散的，而非连续的自然图像）。此外，本文还构建了首个全面的视觉移动GUI世界建模基准MWMBENCH，包含4个分布内和2个分布外的评估数据集，填补了该领域缺乏标准评估的空白。

核心方法

gWorld的方法可以分为三个主要组成部分：数据生成管线、模型训练和基准构建。核心直觉是，既然VLM在预训练时已经学习了大量的Web代码生成能力，那么可以直接利用这种能力来预测GUI的下一个状态，而不是学习像素级的图像生成。技术路线是：首先，将现有的离线策略轨迹数据转换为世界模型训练数据；然后，利用前沿模型将下一个状态的像素图像转换为可渲染Web代码；最后，合成推理轨迹来辅助训练。整个流程如图3所示，最终训练目标是预测推理轨迹和代码形式的下一个状态。

本文的核心创新点在于提出通过可渲染代码生成实现视觉世界建模这一新范式。与已有方法的本质区别体现在三个方面：第一，输出空间不同。现有方法（如VIMO）使用像素空间（图像）或文本空间作为状态表示，而本文使用可渲染Web代码，这种表示同时保留了结构化信息和视觉保真度。第二，系统复杂度不同。VIMO需要5个外部模型的复杂管线，而gWorld是一个单一、自包含的VLM，只需一次前向传播加轻量级渲染。第三，对动作的处理方式不同。VIMO将坐标系动作转换为自然语言，而本文直接在原始坐标空间操作，无需依赖外部模型进行动作转换。

方法步骤详情

gWorld的数据生成管线包含三个步骤：（1）策略轨迹重用。给定现有的离线策略轨迹，将其合成为世界模型训练数据，这一转换将每个episode的样本数从T减少到T-1。（2）跨模态状态重标注。利用具有强大图像到Web代码能力的前沿模型，将下一个状态的监督信号从像素转换为可渲染Web代码。（3）带前瞻的推理数据合成。由于训练时可以访问真实的下一个状态，利用前瞻机制生成推理轨迹，确保推理轨迹与代码形式的下一个状态对齐。最终数据集包含约260K个样本。

技术新颖性

本文的技术新颖性体现在多个层面。首先，在表示层面，首次证明了VLM可以通过生成可渲染代码来实现高质量的视觉世界建模，这是一种全新的输出空间选择，结合了代码的精确性和视觉的保真度。其次，在数据生成层面，提出了跨模态状态重标注和带前瞻的推理合成两个创新步骤，前者解决了VLM输出文本而非像素的限制，后者利用训练数据中的ground truth来提高推理质量。第三，在评估层面，构建了首个全面的视觉移动GUI世界建模基准MWMBENCH，支持分布内和分布外评估，并保持原始坐标系动作空间。最后，在系统层面，gWorld将复杂的多阶段管线简化为单一模型，实现了0.55秒/状态的端到端延迟，相比VIMO的160秒有291倍加速。

实验结果

本文的核心发现可以通过以下数据来量化分析。首先，在主要的世界建模基准MWMBENCH上，gWorld 32B和8B分别取得了74.9%和67.4%的平均IAcc.，显著超越了所有基线模型。值得注意的是，gWorld 8B（8B参数）超越了Llama 4 402B-A17B（55.7% IAcc.，402B参数，50.25倍规模差异），以及Qwen3 VL 235B-A22B（51.5% IAcc.，235B参数，29.38倍规模差异）。这确立了新的准确率-模型规模帕累托前沿。其次，数据缩放实验表明，当训练数据从37K增加到240K时，性能遵循幂律增长，平均决定系数R²=0.948，表明数据缩放远未饱和。第三，端到端延迟方面，gWorld 8B仅需0.55秒/状态，gWorld 32B需1.30秒/状态，而VIMO需要160秒/状态，分别实现291倍和123倍加速。第四，人类评估实验（12名标注者，300个标注样本）证实了自动评估指标的可靠性，gWorld 32B和8B分别排名第一和第二，平均排名为1.68和2.16。最后，下游策略实验表明，将gWorld 8B集成到M3A策略中，可以在两个骨干网络上分别带来22.4和21.8个百分点的绝对提升。

查看结构化数据

任务	指标	本文	基线	提升
MWMBENCH-AITW（分布内）	IAcc. (%)	gWorld 32B: 71.7, gWorld 8B: 60.9	Llama 4 402B: 47.2, Qwen3 VL 235B: 36.1	gWorld 32B比最强基线GLM-4.6V 106B（60.9%）提升10.8个百分点，比同规模基线Qwen3 VL 32B（46.8%）提升24.9个百分点
MWMBENCH-GUIODYSSEY（分布内）	IAcc. (%)	gWorld 32B: 81.5, gWorld 8B: 68.2	Llama 4 402B: 55.8, GLM-4.6V 106B: 54.7	gWorld 32B比最强基线Llama 4 402B提升25.7个百分点，比同规模基线Qwen3 VL 32B（52.0%）提升29.5个百分点
MWMBENCH-ANDROIDCONTROL（分布内）	IAcc. (%)	gWorld 32B: 82.9, gWorld 8B: 74.2	Llama 4 402B: 58.6, GLM-4.6V 106B: 51.9	gWorld 32B比最强基线Llama 4 402B提升24.3个百分点，比同规模基线Qwen3 VL 32B（53.2%）提升29.7个百分点
MWMBENCH-AMEX（分布内）	IAcc. (%)	gWorld 32B: 86.1, gWorld 8B: 69.5	GLM-4.6V 106B: 56.9, Qwen3 VL 235B: 51.2	gWorld 32B比最强基线GLM-4.6V 106B提升29.2个百分点，比同规模基线Qwen3 VL 32B（56.9%）提升29.2个百分点
MWMBENCH-ANDROIDWORLD（分布外）	IAcc. (%)	gWorld 32B: 79.9, gWorld 8B: 74.1	Llama 4 402B: 54.3, GLM-4.6V 106B: 51.1	gWorld 32B比最强基线Llama 4 402B提升25.6个百分点，比同规模基线Qwen3 VL 32B（53.4%）提升26.5个百分点
MWMBENCH-KAPPS（分布外）	IAcc. (%)	gWorld 32B: 75.7, gWorld 8B: 57.4	Qwen3 VL 235B: 64.2, Llama 4 402B: 59.9	gWorld 32B比最强基线Qwen3 VL 235B提升11.5个百分点，比同规模基线Qwen3 VL 32B（52.5%）提升23.2个百分点
端到端推理延迟	延迟（秒/状态）	gWorld 8B: 0.55s, gWorld 32B: 1.30s	VIMO: 160s	gWorld 8B相比VIMO加速291倍，gWorld 32B加速123倍

局限与改进

本文存在以下局限性：首先，代码表示在处理照片级真实内容（如相机视图）时存在天然限制。虽然实验显示gWorld在照片级真实状态上仅下降0.66个百分点（gWorld 8B: 75.26% vs 75.92%），但照片级真实内容仅占基准的17.4%，大部分为文本和结构密集型GUI。对于以照片为主的界面（如社交媒体、相册应用），代码表示可能需要额外的图像组件。其次，数据生成管线依赖于前沿模型（本文使用Gemini 3 Flash），这引入了对闭源模型的依赖。虽然训练后的gWorld是自包含的，但数据生成阶段仍需要高质量的闭源模型。第三，当前评估主要基于英语和韩语GUI，尚未涵盖其他语言和文化背景下的移动界面。第四，世界模型的准确性仍存在提升空间，gWorld 32B的平均IAcc.为74.9%，意味着约25%的预测仍不准确。最后，论文未详细讨论代码生成的token效率问题——生成完整的Web代码可能需要大量token，这可能影响在资源受限场景下的部署。

独立分析的弱点

本文存在几个值得深入分析的弱点。第一，数据生成管线的多步特性可能引入错误传播。具体来说，步骤（2）中的跨模态重标注依赖于前沿模型的图像到Web代码能力，如果该模型在某些复杂GUI上表现不佳，这些错误会传播到训练数据中。改进方向是引入质量过滤机制，对重标注结果进行验证和筛选。第二，推理轨迹的合成质量依赖于前瞻访问。在实际部署时，模型无法访问真实的下一个状态，这意味着训练和推理之间存在分布偏移。改进方向是探索不需要前瞻的推理合成方法，或者在训练后期逐步减少前瞻依赖。第三，代码生成的token效率问题。完整的Web代码可能包含数千个token，而大部分GUI状态转换只涉及小区域的变化。改进方向是探索增量代码生成（只预测变化部分）或更高效的代码表示。第四，评估指标IAcc.依赖于VLM-as-a-Judge，这可能引入评估偏差。虽然论文使用了三个不同的VLM并取平均，但这些VLM可能存在共同的偏差。改进方向是开发更多样化的评估方法，包括基于规则的验证和人类评估的更大规模验证。

未来方向

论文作者提出了几个未来研究方向。首先，数据缩放分析表明当前的260K数据集远未达到上限，基于四个现有数据集（AitW、GUIO、AC、AMEX）可提取最多370万训练样本，而幂律缩放轨迹显示性能将随数据量继续提升。这意味着未来工作可以通过扩大数据规模来持续提升性能。其次，论文提到了世界模型在合成数据生成和可扩展强化学习中的应用潜力。具体来说，世界模型可以用于：（1）模拟不可逆或高风险动作（如金融交易）而无需真实执行；（2）通过递归生成轨迹来扩展深层应用状态的覆盖；（3）消除在线RL中的设备瓶颈，实现大规模并行rollout。基于本文成果可延伸的方向包括：将代码表示世界模型扩展到其他GUI平台（桌面、Web）、开发支持增量更新的高效代码生成方法、以及探索世界模型与策略模型的更紧密集成（如联合训练或课程学习）。

复现评估

本文在复现性方面具有显著优势。首先，作者明确承诺将开源模型权重（gWorld 8B和32B）和数据生成管线，这使得后续研究者可以直接复现和改进。其次，数据来源是公开可用的离线策略轨迹数据集（AitW、GUIO、AC、AMEX），无需额外的数据收集。第三，训练基于开源的Qwen3 VL模型，推理使用vLLM，这些都是广泛使用的框架。第四，论文提供了详细的伪代码和超参数设置（附录C）。然而，也存在一些复现挑战：（1）数据生成管线依赖于Gemini 3 Flash作为前沿模型，这是一个闭源模型，其他研究者可能需要使用不同的闭源模型或开源替代方案；（2）渲染Web代码需要浏览器环境，虽然成本很低（0.3秒/渲染），但需要适当的基础设施；（3）评估使用了三个闭源VLM作为评判（GPT-5 Mini、Claude 4.5 Haiku、Gemini 3 Flash），这增加了评估的可变性。总体而言，本文的复现难度中等偏低，主要挑战在于数据生成阶段对闭源模型的依赖。

基于可渲染代码的生成式视觉移动GUI世界模型 Generative Visual Code Mobile World Models