SAMTok：用两个词表示任意掩码 SAMTok: Representing Any Mask with Two Words
将任意区域掩码压缩为两个离散token，让MLLM像学语言一样学像素级能力
前置知识
SAM (Segment Anything Model)
SAM 是 Meta 提出的基础分割模型，包含图像编码器、提示编码器和掩码解码器三大组件。图像编码器将输入图像编码为特征图，提示编码器将各种提示（点、框、文本、掩码）编码为嵌入向量，掩码解码器通过交叉注意力将提示嵌入与图像特征交互，输出精确的分割掩码。SAM2 是其视频版本扩展。本文的 SAMTok 编码器和解码器都基于 SAM2 架构构建。
SAMTok 的整个架构建立在 SAM 之上，理解 SAM 的编码-解码流程是理解本文方法的基础。
残差向量量化 (Residual Vector Quantization, RQ)
RQ 是一种多阶段量化方法。第一阶段在码本中找到与连续嵌入 z 最近的码字 e1，计算残差 r1 = z - e1；第二阶段对残差 r1 再次量化得到 e2。最终用 [e1, e2] 两个离散码字表示原始嵌入。相比标准 VQ 需要超大码本（如 65536），RQ 用两个小码本（如 256x2）就能达到更高的重建精度。
RQ 是 SAMTok 将连续掩码嵌入压缩为两个离散 token 的核心技术，决定了掩码表示的紧凑性和重建质量。
GRPO (Group Relative Policy Optimization)
GRPO 是 DeepSeek 提出的一种强化学习算法，是 PPO 的简化版本。它不需要训练一个单独的价值网络（critic），而是通过组内相对比较来估计优势函数。具体做法是对同一问题采样一组回答，计算组内每个回答的相对奖励作为优势值，然后用策略梯度更新模型。这种方法在数学推理和多模态任务中被广泛采用。
本文首次将 GRPO 应用于掩码生成任务的强化学习，通过文本化的奖励信号实现无需像素级监督的策略优化。
像素级多模态大语言模型 (Pixel-wise MLLM)
像素级 MLLM 是指能够理解和生成像素级空间信息的多模态大语言模型，不仅能处理图像级别的问答，还能精确定位和分割图像中的区域。现有方法如 LISA、GLaMM、Sa2VA 等通常需要额外的分割解码器和专门的分割损失函数，与标准 MLLM 训练流程不兼容。
本文的核心目标就是解决像素级 MLLM 的可扩展性问题，使其训练过程与普通 MLLM 一样简单。
研究动机
当前构建像素级多模态大语言模型面临四大核心挑战。第一，缺乏统一的掩码输入/输出设计：现有模型依赖复杂的区域级特征池化设计（如 ROI pooling）来处理掩码输入，而掩码输出则需要精心设计的分割解码器（如 LISA 使用 SAM 解码器），这些组件与 MLLM 的主干网络紧密耦合。第二，现有方法难以直接应用强化学习：当前 SOTA 模型如 Sa2VA-8B、MLLMSeg-8B 等使用连续嵌入连接 MLLM 与分割头，导致无法直接使用标准 RL 算法优化掩码生成。第三，专门设计的模块需要联合训练：分割解码器和区域编码器通常需要与 MLLM 一起端到端训练，不同的训练损失和前向流程引入了大量复杂性，难以与 VQA 和纯文本数据混合训练。第四，现有的替代方案（如 RLE 编码或 polygon 文本表示）虽然绕过了架构问题，但单个掩码需要数十甚至数百个 token 表示，推理成本巨大。
本文的目标是本文提出一个根本性问题：如何以非侵入式的方式赋予基础 MLLM（如 QwenVL 系列）像素级能力，使学习过程与 VQA 训练一样简单——只需使用下一 token 预测损失进行监督微调（SFT），以及简单的强化学习（RL），无需任何架构修改或专门的损失设计。具体目标包括：将任意区域掩码压缩为极少的离散 token，使掩码可以作为新的语言词汇被 MLLM 学习；实现高质量的掩码重建；在多个像素级任务上达到 SOTA 性能。
与已有工作不同的是，本文的独特切入角度是将掩码视为一种新的语言。与现有方法的本质区别在于：SAMTok 完全解耦于 MLLM——它是一个独立的掩码词元化器，一旦训练完成就可以与任何 MLLM 组合使用。这与 LISA、GLaMM 等需要联合训练的方法形成鲜明对比。通过将掩码压缩为仅两个离散 token，SAMTok 使得掩码理解与生成完全变成标准的下一 token 预测问题，无需任何架构修改（不加分割头）或专门损失（不用 Dice loss）。更关键的是，离散化的掩码表示使得文本化的奖励信号成为可能，首次实现了纯文本奖励的掩码生成强化学习。
核心方法
SAMTok 的整体思路可以概括为三个层次。第一层是直觉：如果能把图像中的任意区域掩码压缩成像单词一样的离散 token，那么 MLLM 就能像学习语言一样学习理解掩码。第二层是技术路线：基于 SAM2 构建一个掩码变分自编码器（Mask VAE），通过编码器将 2D 掩码压缩为连续嵌入，再通过残差向量量化器离散化为两个码字，最后通过 SAM 解码器从这两个码字重建原始掩码。第三层是应用：将 SAMTok 产生的掩码 token 作为新词汇加入 MLLM 词表，所有掩码相关任务都可以转化为纯文本对话格式，用标准的下一 token 预测损失训练，还可以用文本化的奖励信号做强化学习。
SAMTok 的核心创新在于提出了掩码-语言统一接口的概念。与已有方法的本质区别体现在三个方面：一是解耦性，SAMTok 与 MLLM 完全独立，不需要联合训练，而 LISA、Sa2VA 等需要分割解码器与 MLLM 联合优化；二是紧凑性，每个掩码仅用两个离散 token 表示（来自两个码本的码字索引），而基于 RLE 编码或 polygon 的方法需要数十到数百个 token；三是兼容性，离散的掩码 token 可以直接参与标准的自回归生成和强化学习，不需要任何特殊处理。这种设计使得 MLLM 获得像素级能力的过程与学习普通文本完全一致，极大地简化了训练流程。
方法步骤详情
SAMTok 的完整流程包括三个阶段。第一阶段是 SAMTok 训练：编码器 f_enc 接收图像 I 和区域掩码 M，通过 SAM 的图像编码器提取图像特征，提示编码器将掩码编码为密集提示嵌入，两者相加后输入 SAM 掩码解码器，产生 d 维连续掩码嵌入 z。然后残差量化器对 z 进行两阶段量化：第一阶段 e1 = argmin_{e in C} ||z - e||^2，计算残差 r1 = z - e1；第二阶段 e2 = argmin_{e in C} ||r1 - e||^2。训练数据来自 209M 个多样化掩码。第二阶段是 MLLM 监督微调：将所有掩码任务预处理为纯文本格式——掩码理解任务中，SAMTok 编码器将输入掩码转换为 token 插入文本指令；掩码生成任务中，MLLM 直接预测掩码 token。共收集约 5M 样本，在 QwenVL 系列上用标准下一 token 预测损失微调。第三阶段是强化学习：提出文本化答案匹配奖励 R_mask = N_TP / max(N_pred, N_gt)，其中 N_TP 是预测 token 在真实答案中出现的次数，N_pred 是预测 token 总数，N_gt 是真实掩码数。使用 GRPO 算法在 75K 冷启动和挑战性样本上优化。
技术新颖性
SAMTok 的技术新颖性体现在多个层面。首先，它是首个将掩码 VAE 与向量量化结合的掩码词元化器，其中编码器和解码器都复用 SAM 架构，掩码编码借鉴了交互式分割的思路（将掩码视为一种提示输入）。其次，残差量化的设计非常精妙——实验表明 RQ 用 256x2 的小码本就能达到与 FSQ 65536 码本相当甚至更好的重建精度和生成精度。第三，引入 mt_start 和 mt_end 标记来界定掩码 token 序列的边界，以及用 512 个掩码 token（256x2 对应两级码本）扩展 MLLM 词表的设计简洁优雅。第四，也是最具影响力的创新——提出纯文本答案匹配奖励函数，使得掩码生成任务的 RL 优化完全在文本空间进行，无需任何去词元化或像素级比较，这是该领域的首次成功尝试。
实验结果
SAMTok 在多个像素级任务上取得了 SOTA 或可比的性能。在交织文本-掩码生成任务（GCG 基准）上，Qwen25VL-SAMTok-7B 在验证集上超越此前最佳方法 Sa2VA-8B：METEOR 提升 +1.3%、CIDEr 提升 +5.5%、AP50 提升 +5.3%、mIoU 提升 +5.2%、Recall 提升 +4.7%。在多轮交互分割任务上，Qwen3VL-SAMTok-4B 在 MR-RefCOCO/+/g 上平均超越前最佳 +7.7%，在 MR-PACO 上平均超越 +10.7%。在 GRES 基准上，Qwen25VL-SAMTok-7B 在平均 gIoU 上超越前最佳 +1.5%，N-acc 提升 +4.3%。在 RefCOCO/+/g 指代分割基准上，3B 模型在不足 4B 参数的模型中达到新 SOTA。在视觉定位任务（REC）上，SAMTok 在 3B 和 7B 两个模型规模上都显著优于原生文本框接口，例如 3B 模型在 RefCOCO+ testA 上提升 +10.3%。强化学习效果显著：在 GRES 验证集上，GRPO 带来 +8.9% gIoU 和 +21.0% N-acc 的提升，最终超越此前 SOTA 方法 +4.3% gIoU、+8.3% N-acc。在 DLC-Bench 区域描述任务上，Qwen3VL-SAMTok-4B 获得 65.6 分，与专家模型 DAM 的 67.3 分相当，而通用 MLLM Qwen2.5VL-7B 仅得 41.2 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 交织文本-掩码生成 (GCG val) | AP50 | 38.2% | Sa2VA-8B: 33.2% | +5.0% |
| 交织文本-掩码生成 (GCG val) | mIoU | 72.6% | Sa2VA-8B: 67.7% | +4.9% |
| 交织文本-掩码生成 (GCG val) | Recall | 48.9% | Sa2VA-8B: 45.1% | +3.8% |
| 多轮交互分割 (MR-RefCOCO/+/g avg) | cIoU avg | Qwen3VL-SAMTok-4B: 83.7% | SegLLM-7B: 72.4% | +11.3% |
| 广义指代表达分割 (GRES val) | gIoU | Qwen25VL-SAMTok-7B(ft): 78.0% | MLLMSeg-8B: 75.1% | +2.9% |
| GRES val + RL | N-acc | Qwen25VL-SAMTok-3B(rl): 81.5% | MLLMSeg-8B: 73.2% | +8.3% |
| 指代分割 (RefCOCO val) | cIoU | Qwen3VL-SAMTok-4B: 83.4% | Sa2VA-4B: 82.4% | +1.0% |
| 视觉定位 (RefCOCO+ testA, 3B) | 准确率 | 92.2% | Qwen25VL-3B: 88.0% | +4.2% |
| 区域描述 (DLC-Bench) | Avg | Qwen3VL-SAMTok-4B: 65.6 | DAM-3B: 67.3 | 可比（65.6 vs 67.3） |
| 零样本定位 (GroundingSuite) | gIoU | Qwen25VL-SAMTok-3B: 67.8 | EVF-SAM-1B: 62.6 | +5.2% |
局限与改进
作者在论文中明确指出了 SAMTok 的几个局限性。首先，SAMTok 仅训练用于重建 2D 图像区域掩码，因此缺乏视频中区域掩码的重建能力，这是当前设计的一个重要限制。其次，SAMTok 只能处理掩码这一种视觉实体表示，而实际应用中还需要支持点、线、框等多种视觉实体，这些更丰富的交互形式对词元化器设计提出了新的挑战。从实验结果来看，虽然 SAMTok 在多数任务上达到 SOTA，但在 DLC-Bench 区域描述任务上（65.6）仍略低于专家模型 DAM（67.3），说明在某些精细的区域理解任务上还有提升空间。此外，强化学习实验中未使用评估描述质量的奖励，导致 GCG 基准上的文本指标（METEOR、CIDEr）有所下降，暗示当前的奖励设计尚未兼顾掩码和文本两个维度。训练成本方面，SAMTok 使用 209M 掩码训练，MLLM 微调使用 5M 样本，加上 75K 的 RL 数据，整体数据需求较大。
独立分析的弱点
尽管 SAMTok 取得了显著成果，但仍存在几个值得关注的弱点。第一，码本容量限制：当前默认使用 256x2 的码本配置，虽然紧凑高效，但实验显示增大码本（如 1024x2）能带来约 3-5% 的生成精度提升，说明当前码本容量可能限制了掩码表达的精细度，特别是在处理极其复杂的边界或小物体时。改进方向是探索动态码本大小或自适应量化策略。第二，强化学习奖励设计过于简单：当前的文本匹配奖励只关注掩码 token 是否出现，不评估空间对齐质量，也不考虑文本描述质量，导致 RL 后文本指标下降。改进方向是设计多目标奖励函数，同时优化掩码精度和文本质量。第三，与基础 MLLM 的能力权衡：SAMTok 的训练数据（5M 样本）可能与 MLLM 原有的通用能力存在干扰，论文未报告在通用 VQA 等任务上的性能变化。改进方向是采用课程学习或数据混合策略来平衡像素级能力和通用能力。第四，推理效率问题：虽然单个掩码只需 2 个 token，但密集场景（如 GCG 任务中一句话涉及多个短语）可能需要生成大量掩码 token，这会增加推理时间和解码复杂度。
未来方向
作者明确提出了三个未来研究方向。第一，扩展到视频领域：当前 SAMTok 仅处理 2D 图像掩码，未来需要设计能够处理时序一致性的视频掩码词元化器，这对于视频理解、视频编辑等应用至关重要。第二，支持更多视觉实体：除了掩码之外，还应将点、线、框等视觉实体纳入统一的词元化框架，实现更灵活的人机交互，这对词元化器设计提出了新的挑战。第三，探索更广泛的应用场景：包括 SAMTok 在通用 VQA 任务、图像生成和编辑任务中的应用。基于现有成果还可以延伸以下方向：一是跨模态对齐优化，利用 SAMTok 的离散表示特性探索更高效的视觉-语言对齐方法；二是少样本/零样本分割，利用掩码 token 的组合性质实现场景泛化；三是多粒度词元化，设计能够自适应选择量化粒度的机制，对简单区域用更少 token、复杂区域用更多 token。
复现评估
从复现角度来看，SAMTok 具有较好的可复现性。论文承诺代码和模型将开源，使用的基础模型 SAM2.1 和 QwenVL 系列都是公开可用的。训练框架使用 Xtuner 和 Easy-R1，都是成熟的开源框架。训练数据方面，209M 掩码来自多个公开分割数据集（SA-V、EntitySeg、PACO 等），5M SFT 样本也基于公开数据构建，具有较好的可复现性。硬件方面，所有实验在 NVIDIA A100 80GB GPU 上完成，SAMTok 训练使用 1024 的全局 batch size，MLLM 微调使用 256 的全局 batch size，这需要相当大的算力投入。不过，SAMTok 的解耦设计意味着一旦词元化器训练完成，下游 MLLM 的微调成本相对较低。对于算力有限的研究者，可以从较小的配置（如 256x2 码本、3B 模型）开始复现，降低了入门门槛。
论文图表
该表格比较了在 GRES 验证集、Test A、Test B 上的 gIoU、cIoU、N-acc 指标。SAMTok 在多数指标上达到 SOTA，RL 后的 3B 模型在验证集上 gIoU 达 79.4%、N-acc 达 81.5%，分别超越此前最佳 +4.3% 和 +8.3%。
GRES 是评估广义指代分割能力的核心基准，该表格同时展示了 SFT 和 RL 的效果，证明了 SAMTok 在文本化 RL 下的显著提升。
该表格报告了在 GroundingSuite 五个子集上的零样本 gIoU 表现。SAMTok 3B 模型在 All 指标上达 67.8%，显著优于使用专门损失的 EVF-SAM（62.6%），证明了其强大的泛化能力。
零样本性能是检验模型泛化能力的重要指标，该表格证明了不需要显式掩码监督也能实现有效的文本到掩码推理。