X2SAM：图像与视频中的任意分割 X2SAM: Any Segmentation in Images and Videos
首个统一图像与视频的多模态大语言模型分割框架，支持14种分割任务与文本/视觉双提示。
前置知识
多模态大语言模型 (MLLM)
MLLM 是在大语言模型基础上增加视觉编码器的模型，能够同时理解图像/视频与文本指令，并生成对话式回答。代表工作如 LLaVA、Qwen3-VL 等。它们擅长全局语义理解和推理，但在像素级密集预测（如分割掩码）方面能力有限。
X2SAM 本身就是一个 MLLM，其分割能力是建立在 LLM 的语义理解之上的；理解 MLLM 的'全局语义+稀疏 token'范式才能看懂为什么它默认不能直接输出像素级掩码。
SAM / SAM2 分割基础模型
SAM (Segment Anything) 是 Meta 提出的图像分割基础模型，使用点/框等视觉提示生成高质量掩码；SAM2 将其扩展到视频，引入 memory 机制保持时间一致性。但它们只能理解低层视觉提示，无法处理复杂的对话式文本指令。
X2SAM 直接复用 SAM2 的 mask encoder 作为精细特征提取器，并把 SAM2 的 memory 思想与 LLM 融合，是本文技术路线的核心起点。
<SEG> Token 与指令式分割
LISA 等工作提出的范式：在大语言模型的词表中引入特殊 token ，LLM 在生成答案时输出 ，其隐藏状态被解码为分割条件，从而让 MLLM 具备像素级输出能力。X2SAM 沿用并扩展了这一思路。
理解 token 是连接 LLM 语义与像素掩码的桥梁，X2SAM 的关键创新正是把这个机制拓展到视频，并设计 Mask Memory 来保持时间一致性。
FIFO 记忆与时间一致性
视频分割要求掩码在帧间稳定，不闪烁、不漂移。SAM2 用 memory bank 存储历史帧特征，X2SAM 借鉴并强化：把由 LLM 条件化的引导特征存进 memory，由 FIFO 策略滚动更新。
Mask Memory 模块是 X2SAM 在视频上明显优于 frame-by-frame 方法的核心组件，没有它就只是'图像分割的简单堆叠'，无法保证时序一致性。
LoRA 低秩适应微调
LoRA (Low-Rank Adaptation) 通过在原始权重上添加低秩矩阵实现参数高效微调，避免全参数更新。本文对 LLM 采用 r=128、α=256 的 LoRA 配置。
X2SAM 是在 4B 级别 LLM 上做的多任务训练，必须用 LoRA 才能在 32 卡 H800 上完成联合训练；理解 LoRA 才能看懂训练部分的工程取舍。
研究动机
现有多模态大语言模型 (MLLM) 在像素级感知上能力薄弱：它们擅长图像级语义理解和对话推理，但在生成精确的二值分割掩码方面仍力不从心，尤其是在视频这种时空任务上。Foundation 分割模型如 SAM/SAM2 虽然能产出高质量掩码，但只能理解点/框这种低层视觉提示，无法解读自然语言指令。已有研究试图把两者结合（如 LISA 处理图像、VISA/VideoLISA 处理视频），但存在两个核心问题：第一，图像类与视频类分割 MLLM 各成体系，没有统一架构；第二，几乎没有模型能在一个对话式接口里同时支持文本提示和视觉提示，更没有模型能在一个框架里统一14 种分割任务（含 referring、reasoning、GCG、interactive、out-of-domain 等）。这种结构性碎片化阻碍了 MLLM 在真实多模态场景下的部署——同一个用户请求既包含文字也包含区域标注的情况，今天的模型往往需要切换多个系统。
本文的目标是本文旨在提出 X2SAM，一个统一的分割式 MLLM，将 SAM 系列的 any-segmentation 范式从图像扩展到视频，且在一个对话式接口内同时支持文本提示与视觉提示。X2SAM 需要回答三个具体技术问题：(1) 如何让 LLM 同时消化对话指令和视觉提示 (V-Prompts)，无论输入是图像还是视频；(2) 如何把图像侧的多种分割任务形式化到一个能表征时空目标的统一格式；(3) 如何用记忆模块替代逐帧独立解码，从而在视频上保持掩码的时序一致性。最终目标是覆盖14 类任务（7 图 + 7 视频），并在视频分割上建立实用基线。
与已有工作不同的是，X2SAM 的独特切入角度是'统一对话式接口 + 语言条件化 Mask Memory'。与 LISA 仅做图像、VideoLISA 仅做视频、HyperSeg/Sa2VA 同时做但不支持视觉提示不同，X2SAM 既支持图像也支持视频，且是首个原生支持7 图 + 7 视共14 种任务的 MLLM。其核心差异是引入了一个由 LLM 条件引导的 Mask Memory 模块——存储的不是原始视觉特征，而是经过 LLM 语义 token（如 ）引导后的特征；并通过 FIFO 更新策略，让掩码解码在视频上既准确又连贯。此外，作者还专门构建了 V-VGD（Video Visual Grounded）基准，从 YT-VIS19 和 VIPSeg 衍生出基于视觉提示的视频实例分割评估协议，填补了视频视觉定位分割的评测空白。
核心方法
X2SAM 的整体思路可以用'两个编码器 + 一个 LLM + 一个 Memory'来概括。视觉侧采用双分支：Vision Encoder（来自 Qwen3-VL-4B）负责全局语义表征 $Z_v$，Mask Encoder（来自 SAM2）负责高分辨率像素特征 $Z_m$。文本指令 $X_q$ 经 task-specific 模板包装后被 tokenize 成 $H_q$，与 $H_v$、区域采样特征 $H_r$ 一起送入 LLM。LLM 自回归地输出自然语言回答 $Y_q$，并在回答中嵌入一个特殊的 token，其隐藏状态 $Z_p$ 经过 MLLM projector 投影后作为 mask decoder 的查询条件。Mask Decoder 接收三路输入：$Z_p$、可学习 mask query $Q_m$、以及由 Mask Memory 模块输出的时序精炼特征 $Z_w$；输出当前帧的分割掩码 $Y_m$。对于视频而言，Mask Memory 是关键：它以 FIFO 方式缓存最近 K=6 帧的'引导视觉特征'，让当前帧解码能 attend 到历史帧的语义与位置信息，从而保证时序一致性。整个模型在一阶段'类别无关分割器训练'（mask decoder 在 SA-1B 上预热）和二阶段'统一联合训练'（在异构图文数据上联合优化）后即可支持14 种任务。
X2SAM 与已有方法的本质区别在于'语言条件化 + 视频可记忆'的统一架构。SAM/SAM2 只能吃视觉提示且无法做语义推理；LISA/VideoLISA/HyperSeg 等 MLLM 在视频上只能逐帧独立解码，缺乏时间一致性保障；X-SAM 虽然支持文本+视觉双提示，但只面向图像。X2SAM 的核心创新有三点：(1) Mask Memory 不是简单存储原始帧特征，而是存储经过 LLM token 引导的'guided vision features'，让历史帧的语义信息被语言条件'染色'后再注入当前帧；(2) Mask Decoder 内引入 Token-to-Image Attention，让 $Z_p$ 直接与空间特征交互，并采用 zero-initialization 保证训练初期稳定（消融实验显示 random 初始化会拖累图像任务，zero 初始化则一致提升）；(3) Region Sampler 通过点采样+自适应池化把视觉提示编码成 region embedding 注入 LLM，让视觉提示在对话中扮演和文字同样的'一阶条件'角色。这三点结合起来，使 X2SAM 成为第一个原生支持'图文双提示×图视双模态×14 任务'的统一分割 MLLM。
方法步骤详情
方法分为四块流水线。第一是输入处理：对图像或视频帧，Vision Encoder 提取全局表征并加 timestamp、空间分块、投影为 $Z_v$；Mask Encoder 沿用 SAM2 提取高分辨率 mask 特征 $Z_m$；Region Sampler 在 $Z_m$ 上做点采样+自适应池化（kernel size=4）输出 $H_r$，专门用于视觉提示场景；文本指令则用 task-specific 模板（例如 'person
in this image?> Please output the mask.'）包装后 tokenize 成 $H_q$。第二是 LLM 推理：Qwen3-VL-4B 接受 $H_v, H_r, H_q$，自回归生成语言回答，并在每个目标对象后输出 token； 的隐藏状态经 MLLM projector 投影为 $Z_p$，作为 mask decoder 的语义引导。第三是 Mask Decoder：包含 Self Attention、Cross Attention、Query-to-Image Attention 和 Token-to-Image Attention 四种结构，可学习 mask query $Q_m$ 与 $Z_w$、$Z_p$ 交互，最终输出当前帧的分割掩码 $Y_m$。第四是 Mask Memory 的闭环：对当前帧下采样视觉特征与 mask logits 后由 Memory Encoder 编码为 guided vision feature $Z_t^m$，存入 FIFO memory bank；同时 Memory Attention 让当前帧的特征 attend 到该 bank 中历史 K 帧的特征，产出时序精炼特征 $Z_w$ 给 decoder 使用。训练采用两阶段：阶段一用 SA-1B 训 mask decoder，损失为 $L_{mask}=\lambda_{bce}L_{bce}+\lambda_{dice}L_{dice}$，$\lambda_{bce}=\lambda_{dice}=5.0$；阶段二联合训练所有模块，视频 batch size=32，图像 batch size=128（per-device 1 + 图像 batch multiplier 4），视频梯度累积 4 步，损失 $L_{joint}$ 在分类任务上是 $L_{ar}$（自回归语言损失）、在分割任务上是 $L_{ar}+L_{mask}+L_{cls}$（focal loss），优化器 AdamW，cosine annealing，warmup 0.03，LoRA r=128 α=256。技术新颖性
X2SAM 的技术新颖性体现在三个层面。第一个层面是统一的条件化范式：用
...
包裹目标条件、 触发分割，让14 种异构任务（generic、referring、reasoning、GCG、interactive、VGD、out-of-domain）在同一指令格式下被处理，这在 MLLM 分割领域是首次实现的。第二个层面是 Mask Memory 的语言条件化改造：与 SAM2 memory 仅存视觉特征不同，X2SAM memory 中存储的是经 引导的语义化特征，使历史帧的'语义身份'与当前帧对齐，从而在长时间遮挡、目标重现等场景下保持稳定（消融中 mask guidance 单独把 V-Ref YT21 J&F 从 53.6 拉到 63.3，多尺度则进一步到 65.0）。第三个层面是工程层面的'维度平移 + 模态感知 batching'：把视频张量 $X_v \in \mathbb{R}^{B\times T\times H\times W\times 3}$ 转置为 $\mathbb{R}^{T\times B\times H\times W\times 3}$ 后按帧过同一 image-level mask encoder，再通过 memory 注入时序依赖，最终把帧级掩码 concat 回 $Y_m \in \mathbb{R}^{B\times T\times H\times W}$，配合视频 batch multiplier=1、图像 multiplier=4、视频梯度累积 4 步的策略，把联合训练 GPU 小时从简单联合的 5.2K 降到 3.3K（-36.5%），同时还把 V-Gen mIoU 从 64.6 升到 64.7、V-OV mAP 从 58.7 升到 59.1。
实验结果
X2SAM 在视频分割上取得大幅领先，图像分割保持竞争力。Table 6 显示，在图像侧 X2SAM 与图像专用 generalist X-SAM 基本持平（I-Ref RefCOCO/+/g：84.0/78.4/81.9 vs 85.1/78.0/83.8），但开放词汇分割 I-OV PQ 从 X-SAM 的 20.9 跃升到 31.2，I-Rea cIoU/gIoU 从 56.6/57.8 提升到 71.1/68.5（超过 HyperSeg 的 56.7/59.2）。视频侧提升更显著：V-Ref YT21/DV17 J&F 达 78.5/79.0，比 UniPixel-7B（71.0/76.4）高 7.5 和 2.6 个点；V-Rea ReVOS J&F 达 69.9，比 HyperSeg（55.7）高 14.2 点；V-GCG mIoU 75.8，大幅超过 VideoGLaMM 的 54.3（+21.5）。Table 7 进一步在 Rea. 分割上展示 X2SAM 的语义优势——I-Rea test long cIoU/gIoU 65.6/68.5，V-Rea Ref./Rea./All J&F 66.2/72.4/69.3 等细分全部 SOTA。Table 8 验证 OOD 泛化能力，gRefCOCO val cIoU/gIoU 63.1/68.1（ReLA 62.4/63.6、PSALM 42.0/43.3），ADE20K A150 PQ 31.2（ODISE 22.6、PSALM 13.7、HyperSeg 16.1），YT-VIS-21 AP 60.3（OMG-Seg 50.5、HyperSeg 53.8）。Table 9 专门展示 VGD 任务：V-VGD YT19/VIPSeg box AP 74.4/57.8，相对 SAM2-H 的 54.0/40.4 提升 20.4 和 17.4 个点。Table 20/21 表明 X2SAM 几乎没有损失通用对话能力：MME 1701/601（X-SAM 仅 1374/312）、MMBench 83.5、VideoMME 74.4% 超过多数 chat-centric 视频 MLLM。消融实验中 Table 2 验证 Token-to-Image Attention 的 zero 初始化把 V-Ref YT21 J&F 从 53.6 拉到 60.8；Table 4 显示引入 mask guidance 后 V-Ref YT21 从 53.6 跳到 63.3，再叠 class guidance 和 multi-scale 提升到 65.0 J&F、53.5 J&F（V-Rea All）；Table 3 表明统一联合训练相比简单联合减少 36.5% GPU 小时但仍保持图像侧性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像通用分割 I-Gen.（COCO panoptic） | PQ / PQTh / PQSt | 54.1 / 60.3 / 44.9 | X-SAM 54.7 / 60.7 / 45.7；Mask2Former-L 57.8 / 64.2 / 48.1 | 与同类 MLLM generalist 持平，弱于专用 specialist |
| 图像开放词汇分割 I-OV（ADE20K A150） | PQ / mIoU / mAP | 31.2 / 38.2 / 20.2 | ODISE 22.6 / 29.9 / 14.4；X-SAM 20.9 / 28.8 / 16.2；HyperSeg 16.1 / 22.3 / — | 较 X-SAM PQ 提升 +10.3，较 ODISE mIoU 提升 +8.3 |
| 图像指代分割 I-Ref（RefCOCO/+/g cIoU） | cIoU | 84.0 / 78.4 / 81.9 | X-SAM 85.1 / 78.0 / 83.8；HyperSeg 84.8 / 79.0 / 79.4 | 基本持平 SOTA，RefCOCOg val 81.9 为同表中最佳 |
| 图像推理分割 I-Rea（ReasonSeg val/test） | cIoU / gIoU | 64.5 / 71.1（val）；65.6 / 68.5（test overall） | HyperSeg 56.7 / 59.2；LISA-7B 54.0 / 52.9 | val cIoU 较 HyperSeg +7.8、gIoU +11.9；test long 提升更显著 |
| 图像 GCG 分割（grand-f val） | AP50 / mIoU | 33.1 / 67.1 | X-SAM 33.2 / 69.4；GLaMM-7B 28.9 / 65.8 | 略低于 X-SAM 但显著优于 GLaMM |
| 图像交互式分割 I-Int（COCO point/box/mask） | mIoU | 67.7 / 70.3 / 71.6 | X-SAM 65.4 / 69.6 / 69.7；PSALM 64.3 / 67.3 / 67.6 | 全 prompt 类型均 SOTA 于 MLLM generalist |
| 图像 VGD（COCO point/box AP） | AP | 45.9 / 48.5 | X-SAM 47.9 / 49.5；PSALM 2.0 / 3.7 | 略低于 X-SAM 但远超其他 MLLM |
| 视频通用分割 V-Gen（VIPSeg VPQ1 / VSPW mIoU / YT-VIS19 AP） | VPQ / mIoU / AP | 59.3 (VPQ1) / 65.1 / 69.9 | OMG-Seg 49.8（Ins. mAP 56.4）；VideoKNet VPQ1 43.3 | VSPW mIoU SOTA（65.1 > OMG-Seg 未报告）、YT-VIS19 AP 69.9 > VideoKNet 54.1 |
| 视频指代分割 V-Ref（YT21 / DV17 J&F） | J & F | 78.5 / 79.0 | UniPixel-7B 71.0 / 76.4；HyperSeg 68.5 / 71.2；UniRef++-L 66.9 / 67.2 | 较 UniPixel-7B 分别 +7.5 和 +2.6 个 J&F 点 |
| 视频推理分割 V-Rea（ReVOS Ref./Rea./All J&F） | J & F | 69.3 / 70.7 / 69.9 | HyperSeg 58.5 / 53.0 / 55.7；ReferFormer-B 32.7 / 23.4 / 28.1 | 较 HyperSeg All 提升 +14.2 J&F，超越 video specialist ReferFormer-B 显著 |
| 视频 GCG 分割（V-GLaMM mIoU） | mIoU | 75.8 | VideoGLaMM 54.3；PG-Video-LLaVA 24.0 | 较 VideoGLaMM 提升 +21.5 mIoU |
| 视频对象分割 V-Obj（YT-VOS19 All J&F） | J & F | 74.0 | SAM2-H 88.8；UniRef++-L 85.9 | 落后于 specialist SAM2-H 约 14.8 点，但 X2SAM 是少数支持 V-Obj 的 MLLM 之一 |
| 视频 VGD（YT19 / VIPSeg box AP） | AP | 74.4 / 57.8 | SAM2-H 54.0 / 40.4 | 较 SAM2-H 分别 +20.4 和 +17.4 AP |
| OOD 图像指代 gRefCOCO val | cIoU / gIoU | 63.1 / 68.1 | ReLA 62.4 / 63.6；X-SAM 59.9 / 65.6；PSALM 42.0 / 43.3 | 较 X-SAM cIoU +3.2、gIoU +2.5 |
| 图像对话 I-Chat（MME / MMBench / SEED-Bench / POPE / AI2D） | Acc. | 1701 / 83.5 / 76.0 / 88.2 / 82.0 | X-SAM 1374 / 69.3 / 69.3 / 89.3 / 62.6；Qwen3-VL — / 83.9 / — / — / 84.1 | MME 提升显著（+327 感知分 / +289 认知分），POPE 略低于 X-SAM |
| 视频对话 V-Chat（VideoMME / MVBench / MLVU / LongVideoBench） | Acc. | 74.4 / 63.1 / 67.1 / 57.4 | VideoChat2 43.8 / 62.3 / 37.4 / 39.3；VILA-1.5 59.4 / — / — / —；Qwen3-VL — / 68.9 / 75.3 / — | 全面超越 VideoChat2，MLVU 与 Qwen3-VL 差距收窄至约 8 点 |
局限与改进
作者在 Limitation 与 Outlook 中明确指出三点：(1) 异构图像视频数据的统一训练计算开销依然很大，尤其是视频样本占用显存高，对硬件要求苛刻；(2) 固定大小的 FIFO memory（K=6）在长视频场景（长时间遮挡、大幅外观变化、目标稀疏重现）下可能不够灵活；(3) 作为通用模型，X2SAM 在高度专门化的任务（如纯视频对象分割 VOS）上仍落后于 specialist（如 SAM2-H 在 YT-VOS19 上 88.8 J&F vs X2SAM 74.0）。我们自己的观察还包括：(a) 图像 I-Gen 上 X2SAM（PQ 54.1）弱于 Mask2Former-L（57.8）等专用模型，说明通用化是以一定的精度损失为代价的；(b) Token-to-Image Attention 的 zero 初始化虽稳定但也意味着该模块在训练早期几乎不参与梯度，可能延长收敛时间；(c) VGD 在图像侧（COCO AP 45.9）反不如 X-SAM（47.9），暗示在静态视觉定位上视频专用组件可能带来轻量负迁移；(d) Mask Memory 容量调参显示 K=6 优于 K=8，说明超长记忆反而引入噪声，但这个发现是否在更长视频（>1 分钟）上仍成立尚未验证。
独立分析的弱点
独立分析可发现四点可改进之处。第一，V-Obj（视频对象分割）上 X2SAM（74.0 J&F）相对 SAM2-H（88.8）仍有 ~15 点差距，原因是 X2SAM 必须先经过 LLM 推理得到 条件，再解码掩码，中间引入了 LLM 的语义噪声；改进方向是为 V-Obj 设计专门的 short-circuit 分支，允许用户用纯视觉提示绕过 LLM。第二，I-Gen 静态通用分割能力相对 specialist 退步（PQ 54.1 vs Mask2Former-L 57.8），可考虑引入 task-specific head 或在训练时对通用分割数据做更多过采样。第三，Mask Memory 的 FIFO 容量固定为 K=6，无法根据视频动态性自适应调节；可改进为基于熵或目标可见性的 dynamic memory，类似长期-短期记忆模块。第四，当前 X2SAM 在 OOD（如 ADE20K 31.2 PQ）虽然提升显著但绝对值仍偏低，说明 vision-language alignment 仍有缺口；可考虑在 joint training 中加入更大规模的 image-text pre-training 或采用更细粒度的 region-text 对齐损失。
未来方向
作者提出的方向包括：(1) 更高效的训练（如更轻量 backbone、梯度检查点、混合精度优化）以降低 32×H800 的硬件门槛；(2) 自适应长程 memory 来处理长视频中的遮挡与重现；(3) 进一步扩展任务（如 3D 分割、跨模态视频检索）。基于成果还可以延伸：(a) 把 X2SAM 的范式扩展到多目标 tracking 与动作分割，因为 Mask Memory 天然适合 identity-aware tracking；(b) 把 14 种任务的 prompt template 做 prompt tuning，让用户能用自然语言自由组合任务；(c) 把 X2SAM 接入具身智能/机器人视觉系统，因为交互式视觉提示正是 embodied AI 的核心需求；(d) 探索 V-VGD 在 few-shot 视频理解中的应用，把'视觉提示'当作 in-context example。
复现评估
复现评估总体良好。代码与项目主页均已公开（https://github.com/wanghao9610/X2SAM, https://wanghao9610.github.io/X2SAM），数据集构建方法（YT19-VGD/VIPSeg-VGD）在附录 B 详尽描述，从现有 YT-VIS19 与 VIPSeg 标注自动生成四种视觉提示（point/scribble/box/mask），并明确训练时随机采样一种、评测时主要用 point/box，protocol 透明。训练超参在 Table 12 完整列出：32 张 H800、AdamW β1=0.9 β2=0.999、weight decay 0.05、cosine annealing、warmup 0.03、LoRA r=128 α=256、有效 batch 视频 32 / 图像 128。训练数据涵盖 COCO/RefCOCO/ReasonSeg/GLaMM 系列（图像）和 VIPSeg/VSPW/YT-VIS19/ReVOS/VideoGLaMM/YT-VOS19/DAVIS17（视频），规模较大但来源公开。复现难点在于：(1) 主实验需要 32×H800，ablation 在 16 卡上完成，普通实验室难以一次性复现全部 21 张表格结果；(2) 两阶段训练中 SA-1B 全量数据下载与预处理耗时；(3) 联合训练任务多，dataset-balanced resampling 系数（temperature=0.1）和模态感知 batching 实现细节需要严格对齐；(4) LLM 部分使用 Qwen3-VL-4B 与 SAM2 权重初始化，依赖特定版本 checkpoint。整体而言，按附录 D 的实现细节复现关键结果（Table 6/7/8/9 的视频侧）是可行的，但全量训练需较强的算力预算。
论文图表
横向对比 SAM Series（如 SAM/SAM2）、Image Seg. MLLMs（LISA/LISA++）、Video Seg. MLLMs（VISA/VideoLISA）以及 X2SAM 在图像、视频、视觉提示、潜变量嵌入等维度的支持情况，配合示例对话。
凸显 X2SAM 是首个同时支持图文双提示 × 图视双模态的统一框架，明确本文与前人工作的边界。
比较 Separate、Simple、Unified 三种联合训练方式在 I-Gen/I-OV/V-Gen/V-OV 任务上的指标以及训练时长。Unified 在 3.3K GPU 小时内取得 V-Gen mIoU 64.7、V-OV mAP 59.1，比 Simple（5.2K GPU 小时）节省 36.5% 训练成本。
支撑'unified joint training 兼顾效率与性能'的工程贡献论断。