MolmoPoint：使用锚定令牌改进视觉语言模型的指向能力 MolmoPoint: Better Pointing for VLMs with Grounding Tokens
通过锚定令牌机制实现粗到精的视觉指向，提升VLM在图像、GUI和视频中的定位精度
前置知识
视觉语言模型（VLM）
视觉语言模型是结合视觉和语言处理能力的神经网络架构，通常由视觉编码器（如ViT）将图像编码为特征向量，再通过跨模态对齐层与语言模型（LLM）融合。模型能够同时处理图像和文本输入，生成文本输出或执行视觉任务。典型的VLM如CLIP、BLIP、LLaVA等，通过联合预训练实现视觉语义与语言语义的对齐。
本文工作基于Molmo2 VLM架构，理解VLM如何处理图像token和语言token的交互对于理解指向token的工作机制至关重要。指向token本质上是特殊的语言token，它们通过注意力机制与视觉token交互来实现空间定位。
锚定
锚定是指将模型的输出与特定的输入元素建立直接关联的过程。在视觉语言模型中，锚定通常涉及将语言描述与图像中的具体区域或对象建立对应关系。例如，给定句子红色的汽车，锚定任务要求模型定位图像中红色汽车的位置。锚定可以通过边界框、分割掩码或点坐标等形式表示。
本文的核心创新就是用锚定令牌替代传统的文本坐标输出方式。传统方法需要模型学习如何将语义概念映射到具体的数值坐标，而本文方法让模型直接选择包含目标语义的视觉token，从而绕过了复杂的坐标系统学习。
Rotary Embedding（RoPE）
RoPE是一种位置编码方法，最初应用于Transformer模型来编码token的相对位置关系。它通过旋转查询和键向量来注入位置信息，使得模型能够自然地捕捉序列元素的相对距离。RoPE的优点是它可以直接应用于注意力计算，且具有较好的外推性质，能够处理训练时未见过的序列长度。
本文在指向token的选择过程中使用RoPE来编码候选patch与已选patch之间的相对位置，帮助模型按照一致的顺序生成点，避免重复指向同一位置。这在视频指向和多对象指向场景中特别重要，能够保持对象的时间连续性和空间顺序性。
研究动机
现有的视觉语言模型指向方法存在两个主要问题。首先，大多数VLM通过生成文本坐标或对应离散坐标箱的特殊token来实现指向，这需要模型学习一个复杂的坐标系统。这个系统需要模型理解坐标数值与图像空间位置之间的映射关系，以及如何将语义概念转换到具体的数值坐标。在处理不同分辨率的图像时，这种映射关系会发生变化，导致模型泛化能力受限。其次，文本坐标表示需要较多的输出token，例如6位数字加2个空格共8个token才能表示一个点的坐标，增加了解码成本和推理延迟。在需要指向多个点的场景下（如计数任务），这个问题会更加严重。此外，作者观察到现有的文本坐标方法在视频指向中容易产生退化输出，比如生成过多不合理的点，或者在处理高分辨率GUI图像时性能下降明显。
本文的目标是本文的目标是提出一种更直观、高效的指向机制，能够直接选择包含目标概念的视觉token，从而避免学习复杂的坐标系统。具体来说，作者希望实现：降低指向表示的token数量，从8个token减少到3个特殊token；提高模型在跨分辨率图像上的泛化能力，因为基于视觉token的选择与图像分辨率解耦；改善指向性能，特别是在高分辨率GUI图像、视频指向和跟踪任务中；提高训练样本效率，让模型能够用更少的数据学会指向技能；改善指向行为的质量，避免产生退化输出如过多的点或重复指向。
与已有工作不同的是，本文的独特切入角度是从表示学习的角度重新思考指向任务，而不是像大多数现有工作那样专注于数据增强或模型架构微调。现有的GUI指向工作主要关注数据生成（如CoSyn）或使用强化学习来改进性能，其他工作则采用多步策略如放大和裁剪输入截图。然而，这些方法都沿用了文本坐标的输出方式，没有触及指向表示本身的局限性。本文指出，指向表示的选择对模型性能有深远影响，通过改用grounding tokens直接选择视觉token，可以从根本上简化学习任务，因为模型只需要在已编码的视觉token中进行选择，而不是从零学习坐标映射。这种设计与模型的工作方式更加自然：如果模型已经在某个视觉token的隐藏状态中编码了对象、动作或部分信息，那么只需生成一个匹配其嵌入的查询向量就可以指向该内容。
核心方法
本文提出的MolmoPoint方法采用粗到精的策略，通过三个特殊锚定令牌实现精确指向。其核心思想是让模型直接从输入图像或视频的视觉token中进行选择，而不是生成文本坐标。具体来说，PATCH token首先选择一个粗粒度的图像patch，通过对LLM视觉token的隐藏状态进行注意力计算来实现。然后，SUBPATCH token在所选patch内选择一个更精细的子patch，使用ViT的局部特征。最后，LOCATION token在子patch内选择一个精确的点位置。这种设计确保了指向精度从图像级到子patch级再到像素级的逐步细化。为了支持多点指向和视频指向，作者还引入了两个关键机制：使用rotary embedding编码候选patch与之前选择的patch之间的相对位置，帮助模型保持一致的点顺序；添加no-more-points类，让模型能够优雅地停止指向而不产生过多不合理的点。整个方法通过轻量级投影层实现，不需要预训练的解码器，保持了模型的简洁性。
本文的核心创新点是用grounding tokens直接选择视觉token，而非生成文本坐标。这与现有方法有本质区别：现有方法需要在文本空间和视觉空间之间建立复杂的坐标映射，而本文方法直接在视觉token空间内进行选择，使得指向任务简化为一个在有限候选集合中进行选择的问题。另一个关键创新点是粗到精的三级细化机制，这在保证指向精度的同时降低了计算复杂度。此外，本文首次将grounding tokens的应用从图像扩展到视频和GUI场景，并针对这些场景的特殊需求设计了相应的机制，如视频中的时间顺序编码和GUI中的高分辨率处理。与PaDT等类似工作相比，本文不需要额外的解码器，而是直接利用视觉token的空间位置信息，配合额外的细化token实现指向。与GUI-Actor相比，本文引入了多级细化阶段以支持高精度指向，且适用于多点和视频场景。
方法步骤详情
方法的具体实现包含四个主要步骤。第一步是patch选择，模型首先生成一个PATCH token，从其隐藏状态构建查询向量，其中参数矩阵是学习的参数，是PATCH token的隐藏状态，Norm是层归一化层。同时，为每个IMAGE token构建键向量，其中是图像token的隐藏状态。然后通过点积计算每个图像token的得分，M是超参数。训练时使用交叉熵损失，其中是目标token。推理时选择得分最高的token。当PATCH token作为输入时，将其嵌入与所选图像token的输入嵌入相加，使模型知道它指向了哪个token。第二步是位置细化，由于每个IMAGE token可能由多个ViT patch池化而成（如Molmo2中每个token代表4个14乘14像素的patch，覆盖28乘28像素区域），需要进一步细化。SUBPATCH token选择构成p星的一个ViT patch，通过对ViT特征进行类似的点积得分计算。第三步是最终位置选择，LOCATION token使用其隐藏状态预测子patch内3乘3网格中的一个位置，在14乘14 ViT patch下实现约4.7像素的精度。第四步是推理约束，模型被约束在每个PATCH token后生成SUBPATCH和LOCATION token，且只能选择相同或在输入序列中位于已选IMAGE token之后的图像token，确保输出点的正确顺序。
技术新颖性
本文的技术新颖性体现在多个方面。首先，提出了一种全新的指向表示方法，将指向任务从坐标生成问题转化为token选择问题，这在VLM指向领域是一次范式转换。其次，设计的粗到精三级细化机制平衡了精度和效率，不同于现有方法要么使用全局坐标要么需要复杂的多步推理。第三，将rotary embedding应用于视觉token的选择过程，编码相对位置信息，这在视频指向和多对象场景中特别重要。第四，引入的no-more-points类提供了一种优雅的方式让模型停止指向，避免了现有方法中常见的退化输出问题。第五，本文首次系统地评估了grounding tokens在图像、GUI和视频三个领域的指向性能，并针对每个领域贡献了新的数据集（MolmoPoint-GUISyn和MolmoPoint-Track）。最后，通过消融实验和样本效率分析，本文不仅验证了方法的有效性，还深入分析了各组件的贡献，为未来研究提供了有价值的见解。
实验结果
本文在多个基准测试中取得了显著成果。在自然图像指向方面，MolmoPoint-8B在PointBench上达到了70.7%的平均准确率，超越Molmo2-8B的68.7%，提升了2个百分点。特别是在推理和空间推理子任务上，分别提升了5个百分点。在PixMo-Points上，MolmoPoint-8B达到89.2%的F1分数，超越Molmo2-8B的82.7%，提升了6.5个百分点，甚至超越了GPT-5.2等专有API模型。在GUI指向方面，MolmoPoint-GUI-8B在ScreenSpot-Pro上达到61.1%，在OSWorldG上达到70.0%，在完全开放模型中取得SOTA性能。与使用文本坐标的基线相比，在ScreenSpot-Pro上有2到9个百分点的提升，作者推测在高分辨率场景下grounding tokens的优势更加明显。在视频指向方面，MolmoPoint-8B在BURST-VC上达到61.6%的准确率，与Molmo2-8B持平，在Molmo2-VC close accuracy上从53.3%提升到54.6%。在470个视频指向查询的人类偏好评估中，MolmoPoint-8B相对于文本坐标基线获得了59.1%的胜率（排除平局）。在跟踪任务上，MolmoPoint-8B在Molmo2-Track上整体达到62.5的J&F分数，超越Molmo2-8B的56.7，提升了5.8个百分点。在MeViS数据集的valid和valid-u分割上，分别达到63.5和72.2的J&F，超过Molmo2-8B的62.3和70.8。消融实验显示，移除grounding tokens导致F1下降4.6%，HOTA下降4.0%，证明了方法的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 自然图像指向（PointBench） | Average Accuracy | 70.7% | Molmo2-8B: 68.7% | +2.0个百分点 |
| 自然图像指向（PixMo-Points） | F1 Score | 89.2% | Molmo2-8B: 82.7% | +6.5个百分点 |
| GUI指向（ScreenSpot-Pro） | Accuracy | 61.1% | Molmo2-GUI-8B: 52.3% | +8.8个百分点 |
| 视频指向（Molmo2-VC Close Accuracy） | Accuracy | 54.6% | Molmo2-8B: 53.3% | +1.3个百分点 |
| 视频跟踪（Molmo2-Track Overall） | J&F Score | 62.5 | Molmo2-8B: 56.7 | +5.8 |
局限与改进
作者承认了一些局限性。首先，尽管grounding tokens在大多数任务上表现优异，但在某些基准上出现了轻微的性能下降。例如，在视频描述任务中观察到显著下降（作者未给出具体数字），而图像描述任务却有相反趋势（MolmoPoint-8B的54.47 vs Molmo2的53.62 F1分数），这表明grounding tokens对视频和图像性能的影响机制不同。其次，在计数基准上（CountBench下降0.8%，PixMoCount下降0.9%）也观察到轻微下降，作者将其归因于计数高频对象时偶尔出现的off-by-one错误。第三，作者指出MolmoPoint-8B在视频指向的某些指标上（如Molmo2-VP的F1分数从38.4%下降到36.2%）表现不如Molmo2-8B，尽管人类偏好评估显示MolmoPoint-8B更受青睐。此外，本文没有对超参数（如M=512的选择）进行广泛消融，这些值可能是针对特定数据集优化的。最后，方法依赖于视觉token的空间组织，如果底层视觉编码器的token化策略改变，可能需要调整方法。作者也承认，尽管grounding tokens提高了样本效率，但最初在小数据量下性能可能不如文本坐标方法，因为需要从头学习新参数。
独立分析的弱点
从独立分析的角度看，本文方法存在几个潜在弱点。首先，虽然粗到精的三级细化机制提供了良好的精度，但也引入了额外的推理步骤，可能在实时应用中造成延迟。特别是在需要指向大量点的场景下，三个token的累积开销可能变得显著。其次，方法依赖于视觉token的规整空间布局，这意味着如果视觉编码器的token化策略不规则（如使用自适应池化或可变形注意力），方法可能需要相应调整。第三，no-more-points类虽然解决了过度指向问题，但其固定的键嵌入可能不够灵活，无法适应不同任务对指向数量的不同需求。第四，rotary embedding编码相对位置信息虽然有助于保持顺序，但也可能限制模型在某些场景下生成点的灵活性，例如当最优指向顺序不是空间顺序时。第五，在视频跟踪任务中，尽管性能有所提升，但仍然落后于一些专门的跟踪模型，说明通用VLM架构在需要精确时序推理的任务上仍有改进空间。第六，方法目前主要针对点指向，对于其他形式的锚定输出（如边界框或分割掩码）的直接支持有限。改进方向包括：研究自适应的细化步数，根据任务需求调整精度和效率权衡；探索更灵活的停止机制，如学习no-more-points阈值；扩展方法以支持多种锚定输出形式；针对视频跟踪设计专门的temporal grounding tokens；研究如何更好地平衡计数任务与指向任务的学习。
未来方向
作者提出的未来工作方向包括将这种方法扩展到其他模态，如指向文本token以突出文本中的重要部分，或指向音频token以引用特定声音。这是一个有前景的方向，因为grounding tokens的核心思想——直接选择输入token——可以自然地推广到任何离散化的输入模态。基于本文成果可以延伸的其他方向包括：研究grounding tokens与其他跨模态交互技术的结合，如结合chain-of-thought来进一步提升复杂推理任务的性能；探索在更长视频序列中的应用，当前方法最多支持384帧，对于更长视频可能需要新的时间建模策略；研究3D指向任务的扩展，将grounding tokens应用到3D点云或体素数据；开发更高效的数据生成管线，特别是对于需要大量标注的跟踪任务；研究grounding tokens在few-shot和zero-shot场景下的表现，以及如何更好地迁移到新领域；探索与强化学习的结合，特别是在GUI自动化和机器人控制等需要连续决策的应用中；分析grounding tokens对模型可解释性的影响，因为直接选择视觉token可能提供更直观的可视化解释。
复现评估
本文在复现性方面表现良好。作者宣布将发布模型、代码和数据，这对于验证和扩展研究至关重要。具体来说，模型代码可在GitHub获取，数据集包括MolmoPoint-GUISyn和MolmoPoint-Track也将公开。训练细节在附录中提供了较为完整的描述，包括超参数设置、训练步数、batch size和硬件配置。主要模型在B200 GPU上训练，MolmoPoint-8B预训练阶段使用32个GPU约10.3小时（330 GPU小时），SFT阶段使用80个GPU约86.4小时（6900 GPU小时），这对于学术实验室来说虽然昂贵但并非不可达到。数据生成成本方面，MolmoPoint-GUISyn使用claude-sonnet-4.6生成，成本约为每例0.2美元，总计可能需要数万美元。评估方面，作者使用了公开基准测试（PointBench、PixMo-Points、ScreenSpot-Pro等），并提供了与多个基线的比较，包括专有API模型。消融实验较为全面，包括对rotary embedding、no-more-points类和点排序约束的移除实验。总体而言，本文的复现难度中等偏高，主要障碍是算力需求和数据生成成本，但开源承诺和详细的实验报告使得其他研究者可以验证和扩展工作。
论文图表
