GroundAnything：以闪速并行解码实现精准视觉定位的扩散基础模型 GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed
将视觉定位重构为并行视觉证据抽取，4B扩散模型提速4.51倍并刷新30项基准
前置知识
视觉定位（Visual Grounding）
根据自然语言描述或类别列表在图像中找出目标并输出结构化空间证据（边界框、点或有序点序列）的任务族，涵盖目标检测、指代表达理解、OCR、GUI 元素点击、文档版面分析和机器人空间指代等。现代生成式做法是把坐标归一化后量化为词表中的特殊 token（本文为 <0>–<999>），与类别名、结构标记一起序列化成文本输出。
本文的统一输出接口、30 项基准、损失函数与奖励设计全部建立在这一序列化形式化之上，理解任务表示是读懂模型与训练目标的前提。
自回归（AR）解码
语言模型从左到右逐 token 生成，每个 token 依赖已生成前缀。定位模型用它串行输出『类别+坐标』，每框约需 7 个以上 token，密集场景（如 Dense200 平均每图 87.6 个框）延迟随目标数线性膨胀，且因果序是人为强加的而非任务内在约束。
论文的出发点正是 AR 串行化延迟问题，所有加速结果都对照 AR 基线（GroundAnything-VLM 49.6 TPS、COCO F1mIoU 63.70）来衡量。
掩码扩散语言模型（DLM）
用 [MASK] 随机腐蚀响应 token，模型以双向注意力在单次前向中并行预测多个被掩码位置，迭代去噪逐步确定全部内容。本文采用块状（blockwise）变体：块内双向注意力支持并行恢复，块间保持因果依赖以便复用 KV 缓存并支持超长输出。
这是 GroundAnything 的核心生成机制，『块内双向、块间因果』的注意力设计直接决定了并行加速能力与定位精度之间的平衡。
AR 到扩散转换（AR-to-Diffusion Conversion）
保留预训练 AR 模型的全部权重与词表，仅新增一个 [MASK] token，用联合目标 $\mathcal{L}=0.5\mathcal{L}_{MDM}+0.5\mathcal{L}_{AR}$ 同时训练因果预测与块状去噪，使同一模型支持两种解码模式。相比从头训练扩散模型，成本大幅降低且保留强定位能力。
本文不从头训练扩散定位模型，而是转换已有 AR 模型，这是低成本获得扩散能力的关键，也是共享权重自投机解码的前提。
GRPO 强化学习
对每个提示采样一组响应（本文 $G=8$、温度 0.7），以组内标准化后的任务奖励作为优势 $A_i=Z_G(\sum_c w_c Z_G(R_{c,i}))$，优化带裁剪的策略梯度目标（$\epsilon=0.2$），无需价值网络；GroundAnything 变体不使用参考策略 KL 项。
最终定位精度靠 GRPO 后训练拉升，框任务奖励 $0.7R_{set}+0.3R_{strict}$、OCR 的匈牙利匹配文本-几何一致性、指向任务的 $F_2$ 奖励是理解训练设计的关键。
自投机解码（Self-Speculative Decoding）
用同一份权重的扩散分支并行起草候选块，再用因果分支一次前向验证，接受最长一致前缀并在首个不匹配处修正。线性调度每轮 2 次前向（NFE）、$2B$ 个查询 token；二次调度把验证与提议融合为 1 次 NFE，但查询 token 数为 $B(B+1)$，呈 $O(B^2)$ 增长。
这是实现 4.51× 加速、仅损失 0.74 pp 的核心机制，也是论文速度-精度权衡分析的主要对象。
多 token 预测（MTP）
让模型一次前向直接预测多个 token 的 AR 加速路线，LocateAnything 将整个框作为原子生成单元并行解码。本文受控实验中的因果 MTP 基线在候选长度 $K=16$ 时每轮仅接受 2.69 个 token（16.81%），低于一步 DLM 的 3.48 个（21.76%）。
理解 MTP 才能读懂论文的 DLM–MTP 对比结论：双向扩散在草稿接受率与每接受 token 成本上优于被测因果 MTP 基线。
研究动机
主流生成式定位模型（Pix2Seq、Florence-2、Rex-Omni 等）把类别标签与量化坐标序列化为 token 序列，用下一 token 预测自回归解码，带来两个结构性问题。其一是顺序延迟：每个框约需串行生成 7 个以上 token，密集场景下输出动辄数百 token（例如 Dense200 上本文模型平均每图预测 87.6 个框），AR 逐 token 解码的延迟随目标数线性膨胀，在密集人群、文档版面、GUI 截图等场景代价尤其高。其二是人为强加的因果序：空间上相互独立的预测被强制从左到右生成，token 间依赖只能通过前缀传递，与任务的真实联合约束结构不符。已有加速尝试各有局限——LocateAnything 用多 token 预测（MTP）把框作为原子单元并行解码，但仍属 AR 框架；而已有扩散视觉语言模型的工作只覆盖 GUI 定位、文档 OCR 等单一领域，缺乏能在检测、指代、OCR、版面、机器人空间指代等异构任务上统一保持精准定位的扩散基础模型。
本文的目标是本文目标是构建一个 4B 参数的定位基础模型，同时做到三件事：广——用共享结构化接口统一物体检测、指代定位、物体指向、机器人/空间指代、GUI 定位、OCR、文档版面与示例视觉提示等 11 类感知能力、30 项基准；准——在同等参数规模上建立综合 SOTA 并逼近闭源旗舰（GPT-6 Astra 71.35%）；快——用块状并行扩散解码把推理速度提升数倍且几乎不损精度。围绕该目标，论文系统回答三个问题：哪种解码策略在什么精度-速度工作点上最优；相比 MTP 并行解码，扩散的草稿效率优势来自哪里；SGLang、CUDA Graph、FP8 等工程优化如何把算法层面的并行性转化为实际部署吞吐，以支撑延迟敏感的真实系统。
与已有工作不同的是，独特切入从一个日常观察出发：人看图时可以按任意顺序注意到不同物体、读到不同路牌，最终却得出同样的判断。由此作者把定位重新表述为『结构化视觉证据抽取』——物体、位置与空间关系由图像和查询联合约束，本身并不存在内在的从左到右生成顺序。这一视角让双向掩码扩散成为自然选择：空间假设并行浮现，再借助共享视觉证据与已恢复的部分结构迭代联合精炼。方法路线上作者也不从零训练扩散模型，而是先训练一个强 AR 定位模型（GroundAnything-VLM），再通过直接 AR 到扩散转换得到 GroundAnything，联合优化因果与去噪两个目标，一次训练同时获得纯扩散解码与可选自投机加速两条推理路径，并以 30 项基准系统量化扩散-AR 差距的任务依赖性。
核心方法
直觉上，一张图里『有什么、在哪里』由同一份视觉证据共同决定，理应可以并行填写、按需精炼，这正是块状扩散解码的出发点。技术路线上，GroundAnything 采用『AR 底座 + 扩散转换』：骨架为 MoonViT-V2（Kimi K3）视觉编码器、2×2 空间聚合加两层 MLP 的投影器、Qwen3-4B 语言解码器，词表在基础词表上加入 <0>–<999> 共 1000 个量化坐标 token 与结构标记，总参数约 4.844B。响应被切成 $B=32$ 个 token 的块，块内双向注意力并行去噪，块间保持因果依赖以复用 KV 缓存。训练分四阶段：基础 VLM 预训练（三阶段累计超 700B token）、坐标对齐 SFT（8 个空间任务组）、AR 到扩散转换（$\mathcal{L}=0.5\mathcal{L}_{MDM}+0.5\mathcal{L}_{AR}$，双互补噪声视图）、GRPO 强化后训练（框任务 $0.7R_{set}+0.3R_{strict}$）。推理默认采用熵引导解码，提交熵 $H_j=-\sum_v p_j(v)\log p_j(v)\le\tau$（$\tau=0.8$）的掩码位置，可选自投机模式把吞吐提升至 AR 的 4.51 倍。
核心创新是与任务结构的本质匹配加转换式训练。其一，把定位看作视觉证据抽取而非序列生成：同一块内的空间字段（一个框的四个坐标、同类多个实例）共享图像证据、被联合约束，块状双向扩散允许它们同时恢复并互相印证，而 AR 强制串行、MTP 把整框当作固定原子单元，都无法在生成过程中互相参照。其二，直接 AR 到扩散转换：保留全部预训练权重与定位词表，只新增 [MASK] token；对每个块采样 $t_b\sim U(0,1)$，用伯努利腐蚀构造两个互补噪声视图，注意力掩码保证噪声块只能读干净图像/提示与严格前序的干净块，干净 token 用因果注意力且看不到噪声视图，以 $\mathcal{L}_{MDM}$ 与 $\mathcal{L}_{AR}$ 各占 0.5 联合训练。这使因果与扩散两种模式共享解码器和词表头，为自投机解码（扩散分支起草、因果分支验证）提供了零额外成本的验证器。
方法步骤详情
完整流程六步。①数据引擎：多教师分别提供语义、定位、分割、文本、界面、版面证据，做字段级融合，按式 (5) 校验几何有效性、语义一致性与查询覆盖度，空目标也须显式验证缺失事实 $f_{abs}$，接受标签训练统一定位专家迭代标注。②基础 VLM 训练：冻结双骨干训投影器→全模块多模态联合预训练→通用视觉/视频指令理解，累计超 700B token。③坐标对齐（SFT）：在检测、GUI、指代、指向、OCR、版面、密集点数、视觉提示八组任务上监督统一响应语法（标识符+框/点坐标，缺席类别输出 None）。④AR 到扩散转换：响应切 $B=32$ 块、双互补噪声视图，按式 (6)(7) 联合训练 $\mathcal{L}_{MDM}$ 与 $\mathcal{L}_{AR}$，先冻结视觉编码器再全解冻。⑤GRPO：每提示 $G=8$ 个因果 rollout，框奖励 $0.7R_{set}+0.3R_{strict}$，OCR 用匈牙利匹配的文本-几何一致性，指向用高斯相似度构造的 $F_2$；裁剪 $\epsilon=0.2$、无参考 KL。⑥并行推理：预填充后按熵阈值提交 token，块完成后一次因果前向重建 KV 缓存（$D+1$ 次 NFE），可选线性（2 NFE/轮）或二次（1 NFE/轮、$B(B{+}1)$ 查询）自投机。
技术新颖性
技术新颖性有四层。第一，首个在 30 项基准上整体超越同规模 AR SOTA 的扩散定位基础模型（61.75% vs MTP 的 LocateAnything 53.32%），证明双向扩散能承载异构定位任务而非仅 GUI/OCR 单点应用。第二，转换式训练设计：以互补双视图腐蚀与严格的注意力可见性规则（图 4）把强 AR 定位模型改造成扩散模型，避免从头预训练的巨额开销，保住的因果分支既保留了 AR 能力又是自投机验证器。第三，解码策略的系统化研究：熵引导/动态/静态/线性与二次自投机五种模式在 TPF、TPS、精度三个维度的完整扫描，把熵阈值 $\tau$ 变成类似『思考力度』的推理时旋钮，并揭示 TPF 与吞吐的背离（二次调度 TPF 3.17 但仅 49.9 TPS）。第四，DLM–MTP 受控对比的实验设计：共享冻结验证器、匹配候选长度与训练量，从接受率（3.48 vs 2.69 token/轮）、每接受 token 成本（5.38 vs 7.71 ms）、注意力消融（双向把 Dense200 无效框率从 24.89% 降到 14.79%）三方面把优势归因到双向注意力本身。
实验结果
逐项看核心实验（10 次运行均值）。综合：30 项基准、44 个基线上，GroundAnything-VLM 以 72.42% 创同规模新 SOTA，逼近 GPT-6 Astra（71.35%）；纯扩散 GroundAnything 达 61.75%，远超同规模最快 MTP 模型 LocateAnything（53.32%）。检测与指代：COCO F1mIoU 63.70/60.72（VLM/DLM），Dense200 75.55 超 SenseNova-Vision 的 68.13，RefCOCOg val 扩散版反升至 91.61（AR 版 84.37）。空间与 GUI：ScreenSpot-Pro 65.34→75.96、OSWorld-G 74.65→81.21，但 GPT-6 Astra 仍领先（93.17/85.93）。OCR 与版面：SROIE 71.15 远超 Rex-Omni 的 48.35，DocLayNet 85.78、M6Doc 74.76 为同规模最佳，但扩散版掉至 43.64/56.69。速度：线性自投机 223.8 TPS，为 AR（49.6）的 4.51×、仅降 0.74 pp；熵引导 127.0 TPS（2.56×）降 2.98 pp；二次自投机 TPF 3.17 但吞吐仅 49.9。DLM vs MTP：$K=16$ 每轮接受 3.48 vs 2.69 token，成本 5.38 vs 7.71 ms，两步精炼 4.70 ms；400ms 预算提交 97.1 vs 84.6 token，50ms 内 MTP 反超。工程栈把每 token 延迟压至 3.73 ms（累计 3.45–4.06×）。消融：量化坐标 +1.43/+5.68 pp；去 RL 前阶段 DLM 跌 16.62 pp；每框 7.6/5.1 token，比 SEED1.5-VL 紧凑约 19.6×/14.6×。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 30 项基准综合（纯扩散解码） | 30-bench 平均分 | 61.75（GroundAnything，熵引导解码） | 53.32（LocateAnything，MTP 并行框解码，此前同规模 SOTA） | +8.43 pp，首个超越同规模 AR SOTA 的扩散语言模型 |
| 30 项基准综合（AR 解码） | 30-bench 平均分 | 72.42（GroundAnything-VLM，同规模新 SOTA） | 71.35（GPT-6 Astra） | +1.07 pp，并超过更大的 Qwen3.7-Max |
| COCO 通用检测 | F1mIoU | 63.70（VLM）/ 60.72（DLM） | GroundingDINO 60.56；Rex-Omni 56.28 | +3.14 pp vs 最强开放集专用检测器 |
| 密集目标检测 Dense200 | F1mIoU | 75.55（VLM） | SenseNova-Vision 68.13；GPT-6 Astra 65.04 | +7.42 pp |
| RefCOCOg val 指代定位 | F1mIoU | 91.61（DLM，扩散版反超 AR 版的 84.37） | LocateAnything Hybrid 76.43；GPT-6 Astra 74.98 | +15.18 pp |
| ScreenSpot-Pro GUI 定位 | Accuracy (%) | 75.96（DLM） | Qwen3-VL-4B 56.74；LocateAnything Hybrid 57.05 | +18.91 pp vs 同规模最优 |
| SROIE 场景文本 OCR | F1mIoU | 71.15（VLM） | Rex-Omni 48.35；GPT-6 Astra 53.57 | +22.80 pp |
| 推理吞吐（COCO，线性自投机） | TPS（token/s） | 223.8（COCO F1mIoU 62.96） | 49.6（GroundAnything-VLM，AR 解码，F1mIoU 63.70） | 4.51× 加速，仅 -0.74 pp |
局限与改进
作者承认并实验可见的局限：(1) 扩散-AR 差距在文本-几何强耦合任务最大——SROIE 71.15→43.64、M6Doc 74.76→56.69、HierText 41.33→33.31，并行提交破坏了文本与框的联合精度；(2) 小目标仍困难，VisDrone 仅 40.74/33.76；(3) 与 GPT-6 Astra 在空间指代（RefSpatial avg 69.00 vs 85.93）和 GUI（ScreenSpot-Pro 75.96 vs 93.17）差距明显；(4) 主表纯扩散结果刻意不含 AR 验证，而更快的自投机混合了因果验证，严格说不是纯 DLM 解码，作者对此明确声明；(5) 二次自投机 TPF 更高（3.17）但吞吐崩至 49.9 TPS，实用性差；(6) 熵阈值与块大小的影响非单调且随策略变化（熵引导最佳质量在 $B=16$、自投机在 $B=32$），COCO 调参结论不能外推到全部基准；(7) FP8 量化可能改变 logits 与提交/验证决策，精度保持未逐一验证；(8) 我补充：自研 MTP 基线并非 LocateAnything 的复现，外部基线仅 3 次运行均值且部分分数取自外部报告，协议对齐存在不确定性。
独立分析的弱点
独立分析五点弱点。一，文本密集任务的并行提交冲突：OCR/版面中词与框需一一对应，块内独立去噪易产生错配（SROIE 掉 27.5 pp），可按字段分组调度或为文本任务引入几何感知的掩码顺序（如先定框后填词的受限解码）。二，缺乏自适应机制：块大小 $B$ 与熵阈值 $\tau$ 固定，而图 9/10 显示最优值随策略与任务漂移，可按输出长度与熵分布在线选择 $B$、动态调节 $\tau$，形成真正的解码力度控制器。三，自投机依赖转换模型自身的因果分支，验证只保证该因果分支的输出、与单独训练的 VLM 不等价，两分支不一致时接受率受限；可训练轻量专用草稿器或对两分支做分布对齐。四，空间推理短板（RefSpatial 与 Astra 差约 17 pp）：可在数据引擎中加入空间关系合成数据与思维链监督。五，VisDrone 小目标弱提示多尺度视觉特征利用不足，可引入多层级视觉注入——附录 D.3.1 已给出一阶敏感度分析框架（$d=\sum_{\ell\in I}B_\ell\delta u_\ell$）作为分析工具。此外 30 基准×10 次运行的评测成本高，限制了社区低成本复现与对比。
未来方向
作者提出的方向与可延伸空间。作者结论强调『生成应遵循任务结构，空间证据不必按序列化顺序推断』，这指向多个延伸：把块状扩散推广到其他联合约束的结构化输出，如保持时间序的机器人轨迹、视频时序定位；把熵阈值发展成正式的推理时『思考力度』旋钮，与自适应块大小、动态去噪深度组合成统一解码控制器；用 DeepStack/Qwen3-VL 式多层级视觉注入做系统实验以提升小目标定位（附录 D.3.1 的敏感度框架可直接复用）；将自投机与 box 对齐的 MTP 草稿结合，或在 50ms 内 MTP 领先的极短延迟场景做混合调度；数据引擎的覆盖度/缺失验证机制可推广为通用标注质量控制方法；对 FP8 做量化感知训练以消除精度疑虑；论文由 XPeng 支持但声明未商用，面向自动驾驶与具身场景的端到端延迟-精度评测是自然的下一步，也可探索把该 recipe 迁移到更大语言骨干验证规模效应。
复现评估
复现条件总体较好。代码（github.com/groundingpi/GroundAnything）与两组模型权重（HuggingFace GroundingPI/GroundAnything 及 GroundAnything-VLM）已公开，作者承诺发布训练/解码配置、推理实现与统一提示词、解析器、指标的评测脚本。附录极为详尽：架构与参数（表 8/9，共 4.844B，词表 ID 逐项列出）、四阶段训练配方（表 10/11：128 卡、BF16、ZeRO-1、AdamW）、转换配置（表 12：256 卡、全局 batch 8192）、GRPO 设置（表 13）与三类任务奖励的完整数学定义（A.10），推理与 DLM–MTP 对比协议见附录 B/C/D。难度评估：用发布权重复现推理与各解码策略门槛低，单张 H800 即可（自投机 3.73 ms/token）；从头复现训练需 128–256 张高端 GPU、累计 700B+ token 预训练以及依赖内部教师模型的数据引擎，学术实验室难以承受；完整评测需 30 基准 × 10 次运行。结论：推理层复现容易，训练层基本只能依赖发布权重与配置做近似复现。
论文图表
开篇总览图：上半部分展示 Grounding、OCR、空间指代、密集点、GUI 定位、版面等任务对密集场景与复杂布局定位的挑战；下半部分展示给定 2D 图像与提示后，双向扩散把视觉证据并行抽取为一维结构化定位 token，自投机解码相对 GroundAnything-VLM 达到 4.51× 加速、COCO F1mIoU 仅降 0.74 pp。
一图概括论文的问题设定（AR 串行 vs 并行扩散）、方法框架（视觉证据抽取）与最核心的速度-精度数字。