对话式图像分割：基于可扩展监督的抽象概念定位

提出对话式图像分割任务与基准，用自动数据引擎生成106K训练对，轻量模型超越大模型基线

前置知识

指代表达分割 (Referring Expression Segmentation, RIS)

给定一张图像和一段自然语言描述（如「左边的红苹果」），模型需要输出该描述所指代物体的像素级分割掩码。经典基准如 RefCOCO/+/g 主要测试对物体类别和简单空间关系的定位能力，是本文要超越的任务基线。

本文的 CIS 任务是 RIS 的泛化——从物体/空间描述扩展到功能、物理、安全等抽象概念，理解 RIS 才能理解本文的改进目标。

SAM2 (Segment Anything Model 2)

Meta 提出的可提示分割模型，支持从点、框等提示生成高质量分割掩码。SAM2 使用 MAE 预训练的 ViT 作为图像编码器，Transformer 解码器通过双向交叉注意力融合提示嵌入和图像嵌入，输出逐像素前景概率。其图像编码器与提示解码器分离的设计使得图像只需编码一次，多个提示可共享特征。

CONVERSEG-NET 直接复用 SAM2 的图像编码器和掩码解码器作为骨干，用语言嵌入替代点/框提示来实现文本条件分割，是本文架构的核心组件。

视觉语言模型 (Vision-Language Model, VLM)

同时处理图像和文本输入的多模态大模型，如 Qwen2.5-VL、LLaVA 等。这类模型通过视觉编码器提取图像特征，与文本 token 一起送入 Transformer 进行联合推理，能够执行图像描述、视觉问答、物体定位等跨模态任务。

本文用 Qwen2.5-VL-3B 作为提示编码器将文本指令转换为 SAM2 可用的嵌入，同时在数据引擎中用 Gemini-2.5-Flash 作为生成和验证的 VLM 核心。

课程学习 (Curriculum Learning)

一种训练策略，按照从易到难的顺序组织训练数据和任务。本文将其应用于两阶段训练：第一阶段先学习基础的字面分割任务（如「分割猫」），第二阶段再加入需要推理的对话式概念（如「可以安全放刀的位置」）。这种方法帮助模型在获得语言条件能力的同时保持基础分割性能。

课程学习是本文训练策略的核心创新之一，消融实验证明不用课程学习会导致在 CONVERSEG 或 RefCOCO 上严重退化。

LoRA (Low-Rank Adaptation)

一种参数高效的微调方法，通过在预训练权重矩阵旁插入低秩分解矩阵来实现适配。具体地，更新后的权重为原始权重加上两个低秩矩阵的乘积，其中下投影矩阵将维度压缩到低秩空间（rank=16），上投影矩阵再映射回原始维度。只需训练这两个小矩阵，大幅减少可训练参数量。本文使用 rank 16、alpha 32 的设置。

本文用 LoRA 微调 Qwen2.5-VL 的注意力层，消融实验表明不用 LoRA（冻结骨干）会导致性能暴跌 19.1 个百分点。

研究动机

现有的指代表达分割（RIS）基准如 RefCOCO/+/g 高度集中于物体类别和简单空间关系的描述——例如「白色雨伞」「最左边的苹果」。统计显示，现有基准中超过 50% 的样本属于实体和空间关系两类，对可供性（affordance）、功能推理、物理约束和安全评估几乎完全没有覆盖。然而在真实的人机交互场景中，用户不会只说「分割那个杯子」，而是会问「哪些表面可以安全放热锅」「哪些物体容易倾倒」「我能拿走哪个行李箱而不破坏堆叠」。这类需要功能推理、物理理解和隐含约束的对话式查询，是当前感知系统完全无法处理的。例如在行李箱堆叠场景中，选择「容易拿走的行李」需要同时推理支撑关系、遮挡顺序、物理稳定性和用户意图，而不仅仅识别物体类别。

本文的目标是本文的具体目标是：（1）定义对话式图像分割（CIS）任务，覆盖实体、空间布局、关系事件、可供性功能、物理安全五大概念族；（2）构建 CONVERSEG 基准，包含 1,687 个人工验证的样本，每个概念族均衡分布；（3）设计自动数据引擎，在无人工标注的情况下生成高质量的对话式提示-掩码对；（4）提出 CONVERSEG-NET 基线模型，在 CONVERSEG 上达到最先进性能，同时保持标准 RIS 基准上的竞争力。最终目标是推动感知系统在辅助机器人、人机交互和增强现实等需要抽象概念定位的场景中取得进展。

与已有工作不同的是，本文的独特切入点在于：不追求更大的模型容量，而是追求训练数据的多样性。现有的多模态大模型分割方法（如 LISA、GLaMM）依赖 7B-13B 参数的重型骨干和多阶段推理（思维链、工具调用），计算开销大且难以部署。本文采取互补策略——通过自动化的 VLM 驱动数据引擎生成 106K 覆盖五种推理概念的训练对，用一个仅 3B 参数的轻量模型（Qwen2.5-VL-3B + SAM2 解码器）单次前向传播即可完成对话式定位。此外，现有方法的提示-掩码对几乎都是字面描述，本文的数据引擎通过概念特定的元提示（meta-prompt）和多阶段验证，专门生成需要功能推理和物理理解的对话式样本，填补了训练数据在概念覆盖上的空白。

核心方法

本文的方法可以类比为「给一个只会看图的分割专家配一个会说人话的翻译官」。SAM2 是分割专家——它能从任何提示（点、框）生成精确的掩码，但完全不理解自然语言。Qwen2.5-VL-3B 是翻译官——它理解图像和文本的联合语义，但不会生成像素级掩码。CONVERSEG-NET 的工作就是用轻量适配器把翻译官的输出转换成专家能听懂的「提示语言」。技术路线分三步：首先用 SAM2 图像编码器提取图像特征（只算一次）；然后用 Qwen2.5-VL-3B 处理图像和文本，提取文本 token 的隐藏状态作为语言嵌入；最后通过两个轻量投影层（线性层和 MLP）将语言嵌入映射到 SAM2 解码器的输入空间，用双向交叉注意力解码出掩码。训练时采用两阶段课程学习：先在基础字面分割数据上预训练，再在对话式概念数据上微调。

本文最核心的创新不是模型架构，而是数据引擎的设计哲学：用「生成-验证」循环替代人工标注来扩展训练数据的多样性。现有方法的瓶颈在于，收集像素级精确的掩码本身就很难，而要为这些掩码配上需要推理的自然语言提示更是认知负担极重的标注任务。本文的洞察是：高性能 VLM（如 Gemini-2.5-Flash）既能生成多样化的对话式提示，又能验证提示-掩码的对齐质量。具体来说，数据引擎通过五阶段流水线——场景理解、掩码生成、掩码质量验证、概念驱动提示生成、提示-掩码对齐验证——实现了无人监督的高质量数据合成。这个方法的本质区别在于：已有工作（如 GroundHog、ELEVATER）的合成数据主要是字面描述，而本文通过概念特定的元提示强制 VLM 生成需要可供性、物理安全等推理的样本。此外，本文还生成等量的负样本（听起来合理但图像中不存在目标的提示），训练模型学会拒绝幻觉。

方法步骤详情

CONVERSEG-NET 的完整流程如下：（1）图像编码：输入图像经 SAM2 图像编码器（冻结的 Hiera-L ViT，MAE 预训练）处理，得到空间图像嵌入，只需计算一次。（2）文本编码：图像和文本提示同时输入 Qwen2.5-VL-3B，通过其视觉-语言骨干进行联合编码。提取最后一层隐藏状态中对应文本 token 的序列。（3）提示适配：稀疏嵌入通过线性投影从文本隐藏维度映射到解码器维度；稠密嵌入取 EOS 位置的隐藏状态，通过两层 MLP（SiLU 激活）投影到解码器维度。（4）掩码解码：SAM2 掩码解码器接收图像嵌入和语言提示嵌入，经过两个带双向交叉注意力的 Transformer 块后，上采样图像嵌入并通过 MLP 输出逐像素前景概率掩码。（5）训练：损失函数由二元交叉熵和 Dice 损失加权组成（权重系数 lambda=0.25）。Qwen 骨干用 LoRA（rank=16, alpha=32）微调，SAM2 解码器和提示编码器全量微调。Phase 1 在基础数据上训练 100K 步，Phase 2 混合对话式数据训练 90K 步，学习率 1e-4，单张 A100 80GB 训练约 96 小时。

技术新颖性

本文的技术新颖性体现在三个层面。数据层面：区别于已有工作的字面描述合成，本文的数据引擎通过概念特定的元提示（每个概念族有独立的生成模板）强制生成需要推理的对话式样本，并通过五阶段验证保证质量。负样本生成策略（物体级邻居和概念级邻居）也是独创的，训练模型拒绝看似合理但不存在的提示。架构层面：虽然 SAM+VLM 的组合已有先例（如 LISA、EVF-SAM），但本文的轻量适配方式——仅用线性投影和 MLP 将语言嵌入映射到 SAM 解码器空间——比其他方法更简洁。消融实验表明，这种设计中每个文本 token 本质上充当了一个「软点提示」，跨注意力图呈稀疏点状而非弥散分布。训练层面：两阶段课程学习策略（Phase 1 基础数据，Phase 2 对话式数据混合基础数据）是专门针对 SAM2 无语言先验的特点设计的。消融实验表明，不用课程学习或只用对话式数据都会导致性能严重退化。

实验结果

本文在三个基准上进行了全面评估，核心发现如下。在 CONVERSEG 基准上：CONVERSEG-NET（3B）在 SAM-seeded 分割上达到 70.8% gIoU，超越 Seg-Zero（69.2%，使用 7B VLM）1.6 个百分点；使用 7B 骨干进一步提升到 72.4%（+3.2%）。在人工标注分割上，3B 模型达到 67.4%，7B 模型达到 67.9%。值得注意的是，仅经过 Phase 1 预训练的基础模型（58.0%）就已超越 LISA-Llama2-13B（55.2%），尽管骨干小 4 倍且未在 ReasonSeg 上微调。按概念族分析：基线方法在实体和空间关系上得分最高，但在可供性和物理安全上差距巨大。例如 LISA-Llama2-13B 在实体上 60.0%，在物理安全上仅 46.6%（差距 13.4%）。Phase 2 对话式训练对物理安全的提升最为显著（从 41.8% 到 64.2%），将实体与物理安全的差距从 24.2% 缩小到 9.8%。在 RefCOCO/+/g 上：CONVERSEG-NET（3B）在 RefCOCO val 上达到 78.4% gIoU，与使用更多训练数据的 GSVA（79.2%）和 EVF-SAM（82.4%）竞争力相当。在 ReasonSeg 上：3B 模型在 test 零样本上达到 52.2%，超越在 ReasonSeg 训练集上微调的 LISA-Llama2-13B（51.5%）；7B 模型进一步达到 57.0%。消融实验：冻结 Qwen 骨干（不用 LoRA）导致性能暴跌 19.1%；仅用文本输入（去掉视觉上下文）损失 17.9%；课程学习策略在 RefCOCO/+/g 和 CONVERSEG 上同时取得最佳平衡（74.5% 和 67.4%）。与 SAM3 的对比尤其有说服力：SAM3 在 CONVERSEG 上仅 39.7%/35.4%，远低于 CONVERSEG-NET 的 70.8%/67.4%。

**Table 10**: 与 SAM3 在 CONVERSEG 上的对比 (gIoU, %)

查看结构化数据

任务	指标	本文	基线	提升
CONVERSEG (SAM-seeded, All)	gIoU (%)	70.8 (3B) / 72.4 (7B)	Seg-Zero 69.2 (7B)	+1.6 / +3.2
CONVERSEG (Human-annotated, All)	gIoU (%)	67.4 (3B) / 67.9 (7B)	Seg-Zero 61.1 (7B)	+6.3 / +6.8
CONVERSEG (SAM-seeded, Physics & Safety)	gIoU (%)	64.2 (3B) / 63.7 (7B)	Seg-Zero 60.9 (7B)	+3.3 / +2.8
RefCOCO val	gIoU (%)	78.2 (3B) / 79.4 (7B)	EVF-SAM 82.4	-4.2 / -3.0 (competitive)
ReasonSeg test (zero-shot)	gIoU (%)	52.2 (3B) / 57.0 (7B)	LISA-Llama2-13B 51.5 (fine-tuned)	+0.7 / +5.5

局限与改进

本文的局限性体现在多个方面。基准规模：CONVERSEG 仅包含 1,687 个样本，其中人工标注的只有 493 个，SAM 生成的有 1,194 个。相比之下，RefCOCO 有约 14 万样本。较小的基准规模可能导致评估结果的方差较大，难以可靠区分相近性能的模型。概念覆盖的局限：虽然提出了五个概念族，但每个族内的子类型仍然有限。例如「物理安全」主要集中在稳定性（倾倒）和锋利物体，对更复杂的物理推理（如流体力学、热传导）覆盖不足。数据引擎的天花板：数据引擎的质量受限于底层 VLM（Gemini-2.5-Flash）的能力。作者在附录中承认 VLM 验证器与人类标注者的一致性仅约 70%，这意味着约 30% 的训练数据可能存在质量问题。单次前向传播的代价：CONVERSEG-NET 采用单次推理设计，虽然高效但无法处理需要多步推理或迭代细化的复杂查询。对于「找出所有可能被风吹倒的物体」这类需要推理多个物理约束的提示，单次推理可能不够。负样本的有限性：虽然引入了负样本训练来对抗幻觉，但负样本的生成策略仅涉及物体级和概念级邻居两种模式，对更复杂的幻觉场景（如需要多步推理才能否定的提示）覆盖不足。

独立分析的弱点

本文有几个值得关注的弱点。第一，缺乏时序和动态推理：CIS 的五个概念族都是静态的——给定一张图片回答一个问题。但在真实的人机交互中，用户往往需要动态推理，例如「哪个物体正在移动」「接下来可能倒塌的是哪个」。未来可以扩展到视频序列或多帧输入。第二，数据引擎的可复现性存疑：整个数据管线依赖 Gemini-2.5-Flash 作为 VLM 核心，这是一个闭源商业模型。虽然作者提供了所有元提示模板，但 Gemini 的 API 行为可能随时间变化，导致生成的数据分布不稳定。建议提供基于开源 VLM（如 Qwen2.5-VL-72B）的替代管线。第三，掩码粒度单一：当前模型只输出单一前景掩码，无法处理「分割所有可能倾倒的物体并按风险排序」这类需要输出多个实例并排序的查询。第四，RefCOCO 上的轻微退化：CONVERSEG-NET（3B）在 RefCOCO val 上为 78.2%，比基础模型（Phase 1）的 78.4% 略低，说明对话式训练对字面分割有微小负面影响。虽然差距很小，但在实际部署中可能不被接受。改进方向：可以探索知识蒸馏或渐进式微调来减少对话式训练对基础能力的干扰；可以引入实例级输出和排序头来支持更复杂的查询；可以结合视频理解模型扩展到动态场景。

未来方向

作者在结论中指出 CIS 的潜在应用方向——辅助机器人、人机交互和增强现实，这为后续研究指明了方向。基于本文成果可延伸的方向包括：（1）多轮对话式分割：当前 CIS 是单轮查询，可以扩展为多轮对话，让模型在上下文中理解指代消解和追问。（2）与具身智能结合：CONVERSEG-NET 在 DROID 机器人数据集和仓库数据集上的 OOD 定性结果很有前景，可以系统评估其在真实机器人操作任务中的表现，如「把刀放在安全的地方」。（3）更丰富的物理推理：当前的物理安全概念主要关于稳定性，可以引入更复杂的物理场景——如液体容器的满溢风险、电线的绊倒隐患、物体的热传导等。（4）主动感知：当模型对某个对话式查询不确定时，能否主动询问澄清——例如「你说的安全表面是指耐热还是承重？」（5）数据引擎的自我改进：当前数据引擎使用固定的元提示，可以探索让 VLM 自动优化元提示以生成更高质量的训练数据，形成数据引擎的自我进化循环。

复现评估

本文的复现性整体较好。开源情况：论文提供了项目主页（https://glab-caltech.github.io/converseg），包含数据引擎的所有元提示模板、训练超参数（详见 Tab. 6）和评估协议。模型架构细节足够清晰——SAM2 Hiera-L 配置、Qwen2.5-VL-3B 的 LoRA 设置、两阶段训练的步数和学习率都有明确记录。数据集：CONVERSEG 基准从 COCO val 构建，训练数据引擎使用 COCO train 和 SA-1B 图像，这些都是公开数据集。但训练管线的核心组件 Gemini-2.5-Flash 是闭源 API，这是复现的主要障碍。算力需求：单张 A100 80GB 训练约 96 小时（Phase 1 约 100K 步 + Phase 2 约 90K 步），batch size 6 加 8 步梯度累积，这个算力需求对学术实验室是可接受的。推理时模型仅 3B 参数，可部署在消费级 GPU 上。复现难度：中等。模型架构和训练细节完整，但数据引擎依赖 Gemini API 的特定版本行为，且 VLM 验证器的一致性（约 70%）意味着生成数据的质量可能因版本而异。建议复现时在 Gemini 之外尝试其他 VLM 作为替代。

对话式图像分割：基于可扩展监督的抽象概念定位 Conversational Image Segmentation: Grounding Abstract Concepts with Scalable Supervision