基于简单点序列预测的像素级视觉语言模型感知 Towards Pixel-Level VLM Perception via Simple Points Prediction
用点序列预测实现无解码器的MLLM像素级分割
前置知识
多模态大语言模型（MLLM）
多模态大语言模型是将视觉编码器与大语言模型结合的架构，能够同时理解图像和文本。典型代表如LLaVA、Qwen2.5-VL等，它们通过视觉编码器提取图像特征，投影到语言模型的嵌入空间，从而实现图文联合理解。这类模型在图像描述、视觉问答等任务上表现出色，但在像素级精细感知方面存在天然短板，因为其输出空间主要面向语言token，缺乏对空间细节的原生支持。
本文的核心贡献是证明标准MLLM架构本身蕴含强大的像素级感知潜力，理解MLLM的基本架构是把握本文创新点的前提
Referring Expression Segmentation（RES）
指代表达分割是一项视觉-语言任务，目标是根据给定的自然语言描述，在图像中分割出所指代的目标物体。例如，给定描述左边穿红衣服的人，模型需要输出该人的精确分割掩码。常用评估数据集包括refCOCO、refCOCO+、refCOCOg等，评估指标为cIoU（累积交并比）。该任务要求模型同时具备语言理解能力和精细的空间定位能力。
本文的主要实验就是在RES基准上进行的，理解这个任务才能理解论文的实验结果和性能对比
监督微调（SFT）
监督微调是大模型训练流程中的关键阶段，使用带有正确答案的指令-响应对来训练模型。在本文中，SFT阶段使用构造好的分割任务数据（如文本到点序列、点到掩码、框到掩码等）来训练模型学习正确的输出格式和基本的空间定位先验。SFT为后续的强化学习提供稳定的初始化。
本文采用SFT到RL两阶段训练流程，SFT是基础阶段，理解其作用才能理解为何需要引入RL
强化学习（RL）与GSPO算法
强化学习通过奖励信号引导模型优化策略，而非直接模仿标注数据。本文采用GSPO（Group Sequence Policy Optimization）算法，这是一种适用于序列生成任务的RL方法。关键创新在于设计了基于IoU的奖励函数，直接优化生成点序列对应的分割掩码质量，而非逐token匹配标注坐标。这允许模型探索不同但有效的轮廓轨迹（如不同的起点、等效的顶点集），避免过拟合到单一标注。
SFT到RL流程是本文的核心技术贡献，RL阶段通过序列级奖励显著提升分割质量，是理解本文方法的关键
交并比（IoU）
交并比是评估分割质量的标准指标，定义为预测掩码与真实掩码的交集面积除以并集面积，即 $IoU = \frac{|A \cap B|}{|A \cup B|}$，取值范围为 $[0, 1]$。IoU越接近1表示预测越准确。本文在RL阶段使用IoU作为核心奖励信号，直接优化生成点序列渲染出的掩码与真实掩码的匹配程度。
IoU是本文RL奖励设计的核心，也是所有实验评估的主要指标，理解IoU才能理解论文的性能数据
研究动机
当前多模态大语言模型在感知能力上存在根本性局限。尽管MLLM在图像描述、视觉问答和交互式定位等任务上表现出色，但其感知本质上是图像级的，难以精确地局部化和描绘精细结构。这种局限源于多模态基础模型的发展路径：检测和定位任务之所以被广泛采用，是因为边界框可以方便地表示为纯文本坐标 $(x_1, y_1, x_2, y_2)$ 并整合到预训练流程中。然而，边界框提供的粗粒度定位对于下一代应用是远远不够的。像素级定位对于可控图像编辑、基于视觉的工具使用、GUI定位智能体等需要精确空间推理的场景至关重要。现有的像素级方法面临两难困境：混合方法在MLLM骨干上添加SAM或RPN风格的专用解码器，虽然有效但破坏了架构的统一性，引入额外参数，将输出推出语言空间；统一方法将掩码序列化为文本（如RLE或多边形），但存在token预算过大、无法捕捉精细细节等问题。
本文的目标是本文的目标是探索一个简洁而根本的问题：MLLM能否仅通过预测点序列来实现高保真分割？具体而言，作者希望在不引入任何专用解码器或复杂输出格式的情况下，证明标准MLLM架构本身蕴含强大的像素级感知潜力。这一潜力可以通过正确的训练方法论来释放，从而在保持模型通用架构、简化训练流程的同时，自然地统一点、框和掩码等定位任务于单一的可读文本接口之下。
与已有工作不同的是，本文的独特切入角度在于三个方面：首先，将分割任务重新定义为语言空间内的简单序列生成问题，直接预测描述目标轮廓的2D坐标序列，而非依赖密集像素编码或外部解码器；其次，设计了SFT到RL两阶段训练流程，首次将强化学习应用于无解码器MLLM分割任务，通过序列级IoU奖励直接优化生成几何的质量，这与传统SFT中逐token匹配标注坐标的方式有本质区别；第三，提出统一查询接口，将任何目标建模为文本、点、框、掩码的四元组，通过笛卡尔积构造多种任务格式，大幅提升数据效率和模型鲁棒性。
核心方法
SimpleSeg的核心思路极其简洁：将分割任务重新定义为语言空间内的点序列预测问题。直觉上，一个分割掩码的边界可以用一系列2D坐标点来描述，而这些坐标完全可以表示为文本token，因此MLLM可以直接说出分割结果。整体技术路线分为三个层面：在数据层面，构建自动标注流水线（GroundingDINO检测、SAM分割、Suzuki-Abe轮廓提取、VLM描述），将任意掩码转换为规范化的点序列；在任务设计层面，提出统一查询接口，将定位任务建模为文本、点、框、掩码四元组的组合；在训练层面，采用SFT到RL两阶段流程，SFT学习基本格式和定位先验，RL通过IoU奖励优化全局几何质量。
本文的核心创新与已有方法有本质区别。现有混合方法（如LISA、PixelLM）在MLLM外接专用解码器，将分割输出推出语言空间，破坏了架构统一性；现有统一方法（如Text4Seg使用RLE、VisionLLM使用多边形）虽然保持在语言空间内，但存在token预算过大或顶点数受限的问题。SimpleSeg的关键洞察是：标准MLLM架构本身具有强大但被隐藏的像素级感知能力，只需通过正确的输出表示（点序列）和训练方法（SFT到RL）就能释放。具体而言，使用稀疏化的轮廓点序列表示掩码，既保持人类可读性，又控制token预算（线性于顶点数而非图像分辨率）；通过RL的序列级奖励，允许模型探索不同但等效的轮廓轨迹，而非强制回归固定的标注坐标。
方法步骤详情
SimpleSeg的方法分为四个关键步骤。第一步是数据构造：使用GroundingDINO进行短语定位和目标检测，SAM提取分割掩码，然后通过Suzuki-Abe算法将二值掩码转换为轮廓坐标序列，强制顺时针遍历顺序，并可选地应用基于容差 $\epsilon$ 的稀疏化以获得紧凑的点序列。坐标的格式为 $[[x_1, y_1], [x_2, y_2], \ldots, [x_V, y_V]]$，归一化到 $[0, 1]$。第二步是任务构建：通过统一查询接口，将任何目标建模为 $[text, point, bbox, mask]$ 四元组，实例化查询为笛卡尔积（如 $(text \to bbox)$、$(point \to mask)$ 等）。第三步是SFT训练：使用指令-响应对进行监督微调，覆盖 $(text \leftrightarrow point)$、$(text \leftrightarrow bbox)$、$(text/point \to mask)$ 等格式，学习正确的坐标格式、闭合括号和一致排序。第四步是RL优化：采用GSPO算法，设计包含掩码IoU奖励（值域 $[0.0, 0.1]$，低于阈值 $\tau$ 则为0）、MSE距离IoU奖励（负均方距离，按图像尺寸归一化）和格式奖励（格式错误则返回零）的规则化奖励系统，直接优化生成序列的全局几何质量。
技术新颖性
SimpleSeg的技术新颖性体现在多个层面。首先，这是首次成功将强化学习应用于无解码器MLLM分割任务的工作，填补了该领域的空白。其次，RL的序列级奖励设计具有独特优势：轮廓本质上是多对一映射（同一掩码可由不同点序列表示），强制逐token匹配是次优的；而IoU奖励直接评估渲染后的掩码质量，允许模型发现替代但有效的轨迹，自动在序列长度和几何保真度之间找到最优平衡。第三，点序列表示的稀疏化容差参数 $\epsilon$ 提供了可控的token预算与分割精度的权衡，实验表明存在一个甜蜜点（约221个token）。第四，统一查询接口通过重新组合弱标签（如从掩码派生的点和框）倍增了监督来源，同时标准化了指令微调和RL的输出格式。
实验结果
本文在多个基准上进行了全面实验，验证了SimpleSeg的有效性。在指代表达分割（RES）任务上，基于Qwen2.5-VL-7B的SimpleSeg在经过预训练后，在refCOCO验证集上达到80.9 cIoU，显著优于无解码器基线Text4Seg（InternVL2-8B）的74.7和UFOLLaVA的77.2。在refCOCO+和refCOCOg上分别达到72.4和73.3，平均74.6，与依赖复杂解码器的方法（如Text4Seg w/ SAM的75.4）相当。基于Kimi-VL的版本平均达到74.8，同样具有竞争力。在指代表达理解（REC）任务上，SimpleSeg通过简单地将预测掩码转换为边界框，在refCOCO系列数据集上平均达到87.2 Acc@0.5，超越了配备掩码细化器的Text4Seg的87.1。消融实验（Table 3）揭示了关键发现：SFT单独在refCOCO上达到65.5 gIoU，加入RL后跃升至75.2（提升9.7）；预训练加SFT加RL的完整流程达到78.5 gIoU，比仅SFT提升13.0个点。有趣的是，没有SFT直接预训练仅达到25.3 gIoU，表明预训练和SFT之间存在分布偏移。RL训练过程中，模型能够自适应地调整输出长度，在准确性和效率之间保持平衡，即使没有长度相关的奖励也能实现。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Referring Expression Segmentation (refCOCO val) | cIoU | 80.9 (SimpleSeg* Qwen2.5-VL-7B) | 77.2 (UFOLLaVA) / 74.7 (Text4Seg InternVL2-8B) | +3.7 vs UFOLLaVA, +6.2 vs Text4Seg |
| Referring Expression Segmentation (refCOCO testA) | cIoU | 77.8 (SimpleSeg* Qwen2.5-VL-7B) | 79.4 (UFOLLaVA) | -1.6 (略低但整体更优) |
| Referring Expression Segmentation (refCOCO+ val) | cIoU | 72.4 (SimpleSeg* Qwen2.5-VL-7B) | 70.8 (UFOLLaVA) | +1.6 |
| Referring Expression Segmentation (refCOCOg val) | cIoU | 73.3 (SimpleSeg* Qwen2.5-VL-7B) | 72.1 (UFOLLaVA) | +1.2 |
| Referring Expression Comprehension (refCOCO avg) | Acc@0.5 | 87.2 (SimpleSeg* Qwen2.5-VL-7B) | 87.5 (UFOLLaVA) | -0.3 (基本持平) |
| 消融实验 - RL效果 (refCOCO val) | gIoU | 78.5 (SFT+RL) | 65.5 (SFT only) | +13.0 |
局限与改进
尽管SimpleSeg取得了令人瞩目的成果，但仍存在若干局限性。首先，在某些测试子集上，SimpleSeg仍略逊于最强的解码器方法，例如在refCOCO testA上（77.8 vs UFOLLaVA的79.4），这表明在某些特定场景下，专用解码器仍有其优势。其次，点序列预测的token效率问题仍然存在：虽然稀疏化可以控制token数量，但Fig. 4显示过多的点（859 tokens）会导致性能下降（72.5 cIoU），而过少的点（78 tokens）则无法充分拟合形状（35.6 cIoU），需要精心调整 $\epsilon$ 参数。第三，点序列表示在处理非常复杂的拓扑结构（如多孔洞物体或极度精细的纹理边界）时可能面临挑战，因为简单的闭合多边形难以表达复杂的拓扑关系。第四，RL训练增加了计算开销和训练复杂度，需要额外的奖励计算和策略优化步骤。最后，论文未充分讨论在非标准图像（如医学图像、遥感图像）上的泛化能力。
独立分析的弱点
本文存在几个值得关注的弱点。首先，点序列的起始点选择策略未被充分探索：论文提到顺时针顺序的重要性（Fig. 7显示非顺时针会导致无效多边形），但未讨论如何选择最优起始点，不同起始点可能影响模型学习的难度和最终质量。改进方向可以是设计自适应的起始点选择策略，或在RL阶段对起始点进行优化。其次，稀疏化容差 $\epsilon$ 是一个需要手动调整的超参数，不同数据集和分辨率可能需要不同的设置。可以探索自适应稀疏化方法，根据目标的局部曲率动态调整点密度。第三，奖励设计相对简单，仅使用IoU和质心距离，可以考虑加入边界贴合度奖励（如Chamfer距离）来进一步提升轮廓精度。第四，论文未讨论推理时的计算效率与解码器方法的对比，点序列预测需要自回归生成大量token，可能在延迟上不如单次前向传播的解码器方法。
未来方向
作者提出和暗示了多个值得探索的研究方向。首先，将点序列预测扩展到更复杂的感知任务，如实例分割、全景分割和视频分割，这些任务需要处理多个目标和时序信息。其次，探索点序列预测与其他模态的结合，如3D点云分割、音频定位等，验证这种语言空间内解决感知问题的范式的普适性。第三，优化RL算法本身，例如设计更精细的奖励塑形（reward shaping）策略，或探索其他RL方法（如PPO、DPO）在序列级几何优化上的效果。第四，基于本文的统一查询接口，可以构建真正统一的视觉-语言智能体，将感知、推理和行动统一在一个框架内，这对于GUI操作、机器人控制等应用具有重要价值。第五，探索更大规模的预训练，将点序列预测作为核心预训练任务（类似visual grounding），可能进一步释放MLLM的感知潜力。
复现评估
本文在可复现性方面表现良好。代码、数据和模型均已公开（https://simpleseg.github.io/），这为社区复现和后续研究提供了便利。训练使用32块NVIDIA GPU，全局batch size为256，使用增强的Muon优化器，算力需求属于中等偏上水平，对于资源有限的研究团队可能存在一定门槛。SFT阶段的学习率为 $5 \times 10^{-5}$，余弦衰减至 $2 \times 10^{-6}$，预热比例0.03；RL阶段采用GSPO，裁剪比率在 $[3 \times 10^{-4}, 4 \times 10^{-4}]$，KL系数0.01。这些超参数的详细记录有助于复现。自动标注流水线（GroundingDINO + SAM + Suzuki-Abe + VLM）使用了公开可用的组件，数据构造过程可复现。然而，预训练阶段的具体细节（数据集、训练步数等）在主文中未充分说明，可能需要参考附录。
论文图表
