InstructSAM：通过任意指令分割任意实例的统一框架 InstructSAM: Segment Any Instance with Any Instructions

方法分四步：(1) 编码：图像编码器输出 $V$，指令分词为 $T$，引入 $K=10$ 个可学习查询 $Q=\{q_k\}$ 作为并行实例槽位。(2) 注入：LLM遇到 $$ 时，把短语 $T_{phrase}$、触发token与查询库拼成 $X=[V;T;T_{phrase};;q_1;\dots;q_K]$，前向取 $z_k=H[q_k]$。(3) 混合注意力：文本用因果，查询在视觉/文本/查询间全局双向通信。(4) 解码：MLP将 $\{z_k\}$ 投影为SAM3掩码查询 $\{\tilde{z}_k\}$，送入融合编码器、检测器、分割头与分数头，输出 $Y=\{(M_i,s_i)\}_{i=1}^{N}$。训练损失 $\mathcal{L}=\lambda_{text}\mathcal{L}_{text}+\lambda_{seg}\mathcal{L}_{seg}+\lambda_{presence}\mathcal{L}_{presence}$，配DETR式二部匹配与BCE+Dice。

技术新颖性体现在三点。一是把"实例槽位"作为一等公民注入MLLM单次前向，避免[SEG]token的非实例判别性和多轮agent的语义损失，是首个把"显式集合预测"和"指令推理"统一到同一前向中的方案；二是混合注意力设计同时保留了LLM的因果语言建模能力和实例查询的双向通信能力，是该架构得以成立的关键trick；三是构建了Inst2Seg这一高质量指令级实例分割基准（986张图像、3328条人工核验指令），并提出配套的四阶段数据引擎（QA生成、目标合并、SAM2掩码标注、过滤），其中过滤阶段被消融证明为关键（去掉后Inst2Seg mAP从31.5跌到11.9）。两阶段训练（250万样本对齐+50万推理微调）和Qwen3-VL-2B+SAM3的组合也是工程上的有效决策。

独立分析有三个弱点。第一，查询数 $K=10$ 是一个较强的先验，对密集场景（每张图>10个目标）的能力上限未充分验证；表6显示 $K=200$ 时性能几乎不增但延迟翻倍，意味着架构对"目标数远大于 $K$"的极端情况缺乏鲁棒方案（如两阶段提议-精化、或动态停止条件）。第二，MLLM权重用LoRA（rank 256）冻结微调而SAM3的视觉编码器完全冻结，限制了模型对新概念或罕见类别的在线适应能力；可以探索更强的adapter或基于检索的开放词汇扩展。第三，对无目标指令的处理本质上是"所有查询都判为不存在"，缺乏显式的拒识机制和可解释性，部署时若需置信度阈值或反例拒识仍需额外工程。第四，数据引擎高度依赖Gemini 3 Flash生成QA和SAM2生成掩码，整个标注管线存在错误传播风险（虽然过滤阶段证明至关重要），对中文/小语种指令同样未验证。改进方向：动态查询数、显式拒识头、多语种数据合成、检索增强的实例编码。

作者提出的方向主要是视频扩展和对话/分割协同训练。基于本文成果还可以延伸：(1) 把并行查询接口推广到视频帧间共享槽位，加入时序记忆模块获得"视频InstructSAM"，解决跨帧实例对应；(2) 引入规划/链式推理监督，让LLM在$$之前显式生成中间推理步骤（"先找桌子→再找桌上物品→排除食物"），使分割过程可解释；(3) 探索查询库与RAG/工具调用的结合，让罕见实体通过外部知识库补充；(4) 把混合注意力思想扩展到3D点云或医疗影像等多模态分割；(5) 把Inst2Seg基准扩展到更多语言、更长指令、含OCR/数学推理的复合任务，并构建公评估协议。

复现友好性较高。代码、模型权重和数据集均已开源：GitHub https://github.com/DCDmllm/InstructSAM，模型权重 https://huggingface.co/CircleRadon/InstructSAM-2B/，数据集 https://huggingface.co/datasets/CircleRadon/Inst2Seg。主干使用Qwen3-VL-2B，分割器使用SAM3的预训练权重，依赖都可通过HuggingFace直接获取。训练细节较为透明：阶段一2.5M样本/batch 128/lr 5e-6，阶段二0.5M样本/batch 64/lr 2e-6，均AdamW（β=(0.9, 0.999)）、warmup 0.03、weight decay 0、LoRA rank 256（一处文档给出rank 64，附录A.1中存在不一致需要以官方代码为准）、各1 epoch，所有超参数已列表A.1详尽给出。复现难度中等偏上：完整复现两阶段训练需较大算力（建议至少8×A100 80G），但由于权重已开源，仅做推理或下游微调可在单卡完成，验证门槛很低。