LLaDA-UI：将分块扩散引入视觉语言 GUI 智能体 LLaDA-UI: Bringing Block-wise Diffusion to Vision-Language GUI Agents
首个开源分块扩散视觉语言 GUI 智能体，性能与速度双超同级自回归模型
前置知识
掩码扩散大语言模型（dLLM）
一种非自回归的生成范式：训练时按概率 $1-\alpha_t$ 将干净序列 $x_0$ 的部分 token 替换为 [MASK]，模型基于双向上下文重建被掩码的 token；推理时从全掩码序列出发，迭代去噪还原整段文本。因为生成时不是从左到右逐字产出，天然支持并行 token 预测和双向语义精炼，LLaDA2.0 系列是其代表。
LLaDA-UI 的语言骨干 LLaDA2.0-mini-base 就是 16B MoE 扩散语言模型，论文的损失函数、EOS 消融和延迟优势全部建立在这个范式上，不先理解它就无法读懂本文。
分块扩散解码
把长度为 $L_{total}$ 的目标序列切成 $K = L_{total}/L_B$ 个大小为 $L_B$ 的块，生成时按块推进：当前块内的多个 token 在给定前面已确定块的条件下并行去噪，块与块之间保持因果顺序。这是 BDLM（Block Diffusion Language Model）的核心，兼顾了并行度和长序列的自回归式结构。
它是论文标题的'block-wise diffusion'本体，决定了推理超参数（块大小 32、去噪步数 32）、延迟表现以及消融实验的调参维度。
混合专家模型（MoE）
把 Transformer 前馈层替换为多个专家网络，路由器为每个 token 只激活少数专家，从而在总参数量很大（本文 16.7B）时保持单次前向的计算量较小。代价是专家负载容易失衡导致路由崩塌，通常需要辅助损失或本文采用的无辅助损失偏置更新 $b_i = b_i + u \times \frac{F_i - Q_i}{\sqrt{\frac{1}{n}\sum_j (F_j - Q_j)^2}}$ 来均衡。
LLaDA-UI 是 MoE 架构，训练稳定性设计（偏置更新、门控乘 2.5 缩放）是方法部分的重要内容。
GUI 智能体评测体系
GUI 智能体评测分两类：静态 grounding 基准（ScreenSpot-V2、ScreenSpot-Pro）只要求模型根据指令给出目标元素坐标，用点是否落在框内计分；动态导航基准（AndroidWorld、MobileWorld、OSWorld-Verified、WebVoyager）让智能体在真实模拟环境中多步执行动作，按端到端任务成功率计分，覆盖移动、桌面、网页三个平台。
论文的核心结果表和失败分析都围绕这六个基准展开，理解 grounding 与导航的区别才能正确解读 90.7% 与 53.5% 这类数字的含义。
原生分辨率视觉编码器（SigLIP ViT + 2D RoPE）
不把截图强制缩放到固定分辨率，而是按输入原始尺寸切块编码，配合二维旋转位置编码（2D RoPE）在注意力中保留 token 的行列空间关系。投影器再把每 4 个相邻视觉特征拼接、经两层 MLP 压缩进语言模型词嵌入空间，以控制长图像序列的开销。
小目标感知能力取决于这套设计；论文把 OSWorld 上的失败归因于大截图小目标下的定位退化，理解它有助于评估作者的诊断。
研究动机
GUI 智能体要求模型在动态环境中反复感知屏幕变化、推理并输出可执行动作，对推理延迟极为敏感。然而主流多模态大模型几乎都基于自回归范式：逐 token 顺序生成，天然限制并行度，在 AndroidWorld 这类长程任务中每一步都要完整生成 思考和 动作，与环境交互多轮后累计延迟非常可观（论文测得 Qwen3-VL-8B 在 MobileWorld 上非缓存单次调用平均 53 秒）；严格的因果结构也不利于需要双向上下文的全局语义精炼。另一方面，掩码扩散大语言模型（dLLM）在纯文本上已验证并行解码优势，扩散视觉语言模型 LLaDA-V、SDAR-VL 也证明扩散解码可以替代自回归做多模态生成，但此前工作仅限于静态理解或单步坐标预测，能否把 dLLM 扩展成能在 MobileWorld、OSWorld 等动态环境中感知-行动循环、完成长程任务的 GUI 智能体，同时保住并行解码的速度优势，仍是悬而未决的开放问题。
本文的目标是本文的目标是构建并开源首个实用的基于扩散的视觉语言 GUI 智能体 LLaDA-UI，总参数量 16.7B，采用 MoE 架构与分块扩散解码。具体路线分两阶段：第一阶段用大规模通用多模态数据做预训练，把原生动态分辨率的 ViT 视觉编码器与 LLaDA2.0-mini-base 扩散语言骨干对齐，赋予扩散语言模型感知、OCR、定位与推理能力；第二阶段基于 UI-Venus 项目积累的数据做 GUI-Agent 监督微调，覆盖 100 多个中文移动应用、70 多个英文移动应用以及桌面和网页场景。作者要验证的核心命题是：分块扩散生成能否同时支撑结构化 grounding 和跨平台长程交互，在与 Qwen2.5-VL-7B、Qwen3-VL-8B 等同量级自回归模型的对比中取得竞争力，并利用并行解码获得真实可测的推理延迟优势。
与已有工作不同的是，作者的独特切入是选择了'把扩散语言模型变成完整交互智能体'这条最难的路。已有工作要么是纯文本 dLLM，要么是做静态理解的扩散 VLM（LLaDA-V、SDAR-VL），最接近的也只是针对静态 GUI grounding 或单步坐标预测的扩散探索（Kumbhar et al., 2026），均未涉及需要反复感知-行动循环的长程任务。LLaDA-UI 首次把分块扩散解码接入移动/桌面/网页全平台的导航闭环，并配套给出扩散特有的推理配置消融（EOS 早停策略、块大小与去噪步数的联合选择）、成对的非缓存 API 延迟测量，以及一次 116 任务、1849 步的结构化失败诊断（解析率、坐标合法性、精确重复率随成败轨迹的分布）——这种'何时有效/何时失效'的细粒度分析在扩散智能体文献中是空白，使论文不只是刷榜，而是为新范式可行性建立了完整的证据链。
核心方法
直觉上，LLaDA-UI 把'看屏幕'和'想+做'分给两组组件：视觉端用原生动态分辨率 ViT 直接编码任意尺寸截图，避免缩放丢失小目标细节；语言端用 LLaDA2.0-mini-base——一个 16B 参数的 MoE 扩散语言模型，通过分块掩码扩散并行精炼每个块内的多个 token，而非自回归逐字产出。整体架构三件套：LLaDA 2.0 LM 解码器、SigLIP 预训练初始化的原生分辨率 ViT 视觉编码器（带 2D 旋转位置编码捕捉空间关系）、以及仿 Qwen2.5-VL 设计的投影器——先把每 4 个相邻图像特征沿空间维分组拼接，再经两层 MLP 映射到语言模型嵌入空间，大幅压缩长图像序列的计算开销。训练分两步走：先做通用多模态预训练（三阶段课程、合计 145B token）对齐两个独立预训练的组件，再用 UI-Venus 项目积累的 GUI 轨迹做全参数监督微调，输出 …… 的结构化响应，grounding 任务则直接返回 $[x,y]$ 坐标。
核心创新是把块扩散语言模型（BDLM）目标用于 GUI 智能体：将目标序列切成 $K = L_{total}/L_B$ 个大小为 $L_B$ 的块，训练目标 $$\mathcal{L}_{BDLM}(\theta) = -\mathbb{E}\left[\frac{\alpha'_t}{1-\alpha_t}\sum_{k=1}^{K}\sum_{i=1}^{L_B}\mathbb{1}[x^i_{t,k}=[\text{MASK}]]\log p_\theta(x^i_{0,k}\mid x_{0,<k},x_{t,k})\right]$$ 给定前序干净块，用扩散时间权重加权、并行重建当前被掩码块。与自回归的本质区别：解码时块内多 token 一次并行去噪，且每个 token 都能利用双向上下文。配套三项机制：MoE 无辅助损失负载均衡，偏置按 $b_i = b_i + u \times (F_i-Q_i)/\sqrt{\frac{1}{n}\sum_j(F_j-Q_j)^2}$ 更新并令门控激活乘 2.5 稳定 RMS；按活跃掩码数做反比平方根加权的 mask-token 重加权 $\beta_j$，调和长短样本梯度失衡；互补掩码构造一对掩码逻辑取反的视图，让每个 token 恰好被观测一次、预测一次。
方法步骤详情
第一步通用多模态预训练是三阶段课程：S0 视觉-语言对齐仅用 5B token 的图文对训练投影器，冻结两个骨干；S1 感知增强解冻全部组件端到端训练 70B token，数据加入 OCR、定位、计数、图文交错并混入纯文本；S2 多任务预训练再训 70B token，纳入 VQA、多模态数学与智能体任务，序列长度均 16K。第二步 GUI-Agent SFT：输入是任务指令、当前截图与交互历史，输出 / 结构化响应，grounding 直接返回 $[x,y]$。数据来自 UI-Venus 管线：从文档与论坛收集任务种子，分解为原子能力再组合成复杂工作流，分别在 ADB（移动）、Playwright（网页）、VM+PyAutoGUI（桌面）中执行并过滤验证，覆盖 100+ 中文 App、70+ 英文 App 与桌面网页场景，混合后约 600 万样本。训练配置：全参数微调 3 个 epoch，峰值学习率 $1\times10^{-5}$，余弦衰减 3% warmup，16K 序列长度，混合精度，每 GPU micro-batch 为 1，单图像素预算约 12.8M，使用 32–64 张 H100。推理默认块大小 32、去噪步数 32，坐标归一化到 [0,1000] 后解析为平台动作。
技术新颖性
新颖性体现在四个层面。范式层面：这是第一个开源的扩散 GUI 智能体，把 dLLM 从'生成文本'推进到'在真实操作系统闭环中行动'，首次验证分块扩散能支撑长程多平台交互，而此前扩散模型最多做到静态 grounding。训练技术层面：针对扩散+多模态组合的痛点设计了三项机制——互补掩码让每个 token 在一对取反掩码视图中各被观测/预测一次，降低 token 级采样偏差；反比平方根的 mask-token 重加权解决多模态样本目标长度悬殊导致的梯度失衡；无辅助损失的 MoE 负载均衡配合门控 2.5 倍缩放保证训练数值稳定且不牺牲专家分化。推理分析层面：系统消融了 AR 模型不存在的扩散专属超参数，发现禁用 EOS 早停可提升 AndroidWorld 成功率 9.9 个百分点、块 64/步数 16 会使成功率从 42.7% 暴跌至 33.0%。评测方法层面：用'非缓存命中'的成对 API 延迟对比，排除了 Qwen 服务端精确重放缓存带来的不公平，首次给出扩散智能体真实延迟优势的量化证据（3.579–8.951 倍）。
实验结果
多模态基座（GUI SFT 前，仅 145B token 预训练）已具竞争力：MMMU 56.2、MathVista 70.5、OCRBench 855，刷新扩散 MLLM 纪录，对 SDAR-VL-8B 在 MathVista/MathVision/MathVerse 分别领先 12.8/13.6/31.1 个百分点（Qwen2.5-VL 用 4.1T、Qwen3-VL 用 2.2T token）。GUI 六项成绩：ScreenSpot-V2 90.7、ScreenSpot-Pro 52.9、AndroidWorld 53.5、MobileWorld 25.6、OSWorld-Verified 29.4、WebVoyager 56.9，全面超过 Qwen2.5-VL-7B，四项超过 Qwen3-VL-8B（MobileWorld 25.6 对 9.4、WebVoyager 56.9 对 45.2 等），OSWorld 是主要差距（29.4 对 33.9）。非缓存命中时平均快 3.579–8.951 倍：Web 4.764 秒对 17.050 秒、OSWorld 6.379 秒对 43.545 秒、MobileWorld 5.921 秒对 53.000 秒。消融：禁用 EOS 早停使成功率 42.7% 升至 52.6%（+9.9pp），块 64/步数 16 跌至 33.0%。结构化输出可靠：1849 步解析率 98.65%、schema 合规 98.59%、坐标动作 100% 合法；但失败轨迹中精确重复动作占 26.70%（成功轨迹仅 5.41%），成功率从最优 1–5 步的 62.96% 跌到 20 步以上的 14.29%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 静态 GUI 定位 | ScreenSpot-Pro 点命中准确率 | 52.9% | Qwen3-VL-8B 52.7%；Qwen2.5-VL-7B 26.8% | 超过同量级自回归 Qwen3-VL-8B，领先 Qwen2.5-VL-7B 26.1 个百分点 |
| 静态 GUI 定位 | ScreenSpot-V2 点命中准确率 | 90.7% | Qwen3-VL-8B 93.0%；Qwen2.5-VL-7B 86.0% | 超 Qwen2.5-VL-7B 4.7 个百分点，略低于 Qwen3-VL-8B 2.3 个百分点 |
| 移动端长程导航 | AndroidWorld 端到端任务成功率 | 53.5% | Qwen2.5-VL-7B 25.5%；Qwen3-VL-8B 47.9% | 分别领先 28.0 和 5.6 个百分点 |
| 移动端长程导航 | MobileWorld 端到端任务成功率 | 25.6% | Qwen3-VL-8B 9.4%；Qwen3.5-9B 17.9% | 约为 Qwen3-VL-8B 的 2.7 倍，是六项中优势最大的导航基准 |
| 桌面长程导航 | OSWorld-Verified 任务成功率 | 29.4% | Qwen3-VL-8B 33.9%；Qwen3.5-9B 41.8% | 落后 4.5 / 12.4 个百分点，为六个基准中唯一明显差距 |
| 网页长程导航 | WebVoyager 成功率（gpt-4o-2024-11-20 判卷） | 56.9% | Qwen3-VL-8B 45.2%；Qwen2.5-VL-7B 11.0% | 领先 11.7 / 45.9 个百分点，仅次于 Holo2-8B 的 80.2% |
| 模型 API 推理延迟（非缓存命中） | 平均延迟 | Web 4.764s；OSWorld 6.379s；MobileWorld 5.921s | Qwen3-VL-8B：17.050s；43.545s；53.000s | 三个域平均加速 3.579×、6.826×、8.951×，中位加速 3.428×–8.814× |
| 通用多模态推理（GUI SFT 前基座） | MMMU val / MathVista mini | 56.2 / 70.5 | SDAR-VL-8B 53.0 / 59.7；Qwen3-VL-8B 69.6 / 77.2 | 扩散 MLLM 新纪录，仅用 145B token（对比 Qwen3-VL 的 2.2T） |
局限与改进
作者承认三点局限：一是长程任务中会重复动作、陷入无效循环，部分源于模型容量（该现象在 100B 参数以下的 GUI 智能体中普遍存在，失败轨迹中 26.70% 的步骤是精确重复）；二是超大截图加小目标时定位与感知退化，OSWorld 上暴露最明显，29.4% 落后于 Qwen3-VL-8B 的 33.9% 和 Qwen3.5-9B 的 41.8%；三是交互性能对块大小与去噪步数敏感，超参微变即可显著改变成功率与延迟（42.7% 对 33.0%）。我的补充观察：静态 grounding 的 SS-V2 上 90.7 仍低于 Qwen3-VL-8B 的 93.0 和 Qwen3.5-9B 的 94.0，感知精度并未全面反超；基座仅用 145B token 预训练，通用知识项如 MMBench-CN（77.7 对 Qwen3-VL 的 84.7）仍有差距；评测采用 current-image-only、环境历史长度为零的协议，模型的长程记忆能力可能被协议低估；延迟研究每域仅 5 次非缓存调用，样本量偏小且未报告吞吐对比，延迟优势的普适性有待更大规模验证。
独立分析的弱点
弱点一：重复动作循环。失败轨迹中 26.70% 的步骤是精确重复（成功轨迹仅 5.41%），模型无法判断'环境没有因我的动作而变化'。改进方向：在智能体框架层引入轻量屏幕状态哈希/差分检测，检测到重复时强制切换动作或回退；或在训练数据中加入'识别无变化→等待/换路径'的示范轨迹。弱点二：高分辨率感知不足。OSWorld 截图更大、目标更小，固定的约 12.8M 像素预算不够用，可引入由 grounding 结果触发的裁剪式二次精看或分块视觉提示。弱点三：解码超参脆弱。块 64/步数 16 使成功率从 42.7% 跌至 33.0%，说明固定 32/32 并非鲁棒设计，可研究自适应去噪轮次或按输出置信度动态决定提前停止。弱点四：历史利用薄弱。current-image-only 协议下 Previous Actions 为空，长程约束只能压缩在上一步 文本里传递，多步约束任务容易遗忘，可探索文本化轨迹记忆或关键帧回看。弱点五：纯 SFT 训练。20 步以上任务成功率仅 14.29%，缺少 RL 或过程奖励来优化多步决策，这是与顶尖闭源智能体的结构性差距。
未来方向
作者明确提出三个方向：改善长程恢复能力（减少重复与死循环）、增强高分辨率小目标感知、以及提升解码鲁棒性（块大小/去噪步数的稳定性）。基于本文成果还可延伸：其一，用 RL（如 GRPO 加过程奖励）在可执行环境中继续优化扩散智能体，针对 26.70% 的重复失败模式设计显式惩罚；其二，探索自适应去噪预算——简单步骤少步数、复杂动作多步数，在成功率与延迟间取得帕累托改进；其三，混合解码架构：结构化字段（坐标、动作名）用并行块生成保速度，长推理链用自回归保连贯，兼取两家之长；其四，利用扩散模型任意顺序生成的特性研究'一次去噪出未来多步'的规划-验证式执行；其五，做规模消融验证作者提出的容量假说（循环问题部分源于低于 100B 参数），并把两阶段配方推广到更多平台与更小的蒸馏模型上。
复现评估
复现条件总体较好。模型权重开源于 HuggingFace（inclusionAI/LLaDA-UI），代码与推理栈开源于 GitHub，项目页在 inclusion-ai.org 提供概览；作者验证过 HuggingFace 推理与 OpenAI 兼容的 SGLang 服务两条路径，双卡主机即可端到端复现评测，4 张 H100 完成延迟对比研究。评测基准全部公开：ScreenSpot-V2/Pro、AndroidWorld、MobileWorld、OSWorld-Verified、WebVoyager（判卷用 gpt-4o-2024-11-20），完整提示词模板见附录 A。难点在训练侧：预训练三阶段合计 145B token、GUI SFT 需 32–64 张 H100 跑 3 个 epoch，且 GUI 数据管线依赖 UI-Venus 项目积累（任务分解、环境执行、过滤细节未完全公开），完整复现训练成本很高；但推理消融（EOS 策略、块大小/步数）在开源权重上即可操作，普通实验室可复现推理分析与全部评测结论。
论文图表
左半部分是雷达/多边形对比图，展示 LLaDA-UI 与 Qwen3-VL-8B、Qwen3.5-9B、Qwen2.5-VL-7B 在 AndroidWorld（53.5）、MobileWorld（25.6）、OSWorld（29.4）、WebVoyager（56.9）、ScreenSpot-Pro（65.2 刻度）等基准上的成绩；右半部分是一个真实 AndroidWorld 用例（把 holiday photos.jpg 从 Podcasts 移到 DCIM），逐帧展示输出如何从掩码状态经去噪序列逐步还原为最终的结构化回答。
这张图是全文的电梯演讲：左边一图看尽与三大自回归基线的胜负格局，右边直观呈现扩散解码'从噪声到答案'的生成过程，是理解论文卖点（性能+解码方式）的最快入口。