← 返回 2026-06-05

MAOAM：基于视觉语言模型的统一物体和材料选择 MAOAM: Unified Object and Material Selection with Vision-Language Models

Jaden Park, Valentin Deschaintre, Jason Kuen, Kangning Liu, Iliyan Georgiev, Krishna Kumar Singh, Yong Jae Lee, Michael Fischer 📅 2026-06-02 👍 10 2026-07-13 08:36
交互式编辑 图像分割 多模态学习 材料选择 视觉语言模型
arXiv HuggingFace PDF

首个支持点击和文本两种交互方式的统一物体与材料选择框架

前置知识

视觉语言模型

VLM是连接视觉和语言模态的深度学习模型，通常由视觉编码器（如CLIP）和语言模型（如LLM）组成。视觉编码器将图像编码为向量表示，语言模型处理文本输入。VLM能够理解图像中的视觉内容并将其与语言描述关联起来，实现图像-文本的跨模态理解和推理。通过投影层将视觉特征映射到语言模型的token embedding空间，实现视觉和语言信息的无缝融合。

本文使用VLM来理解用户的文本或点击输入，编码选择意图、视觉属性和空间关系，输出特殊的[SEG]token，是整个方法的核心组件。

SAM解码器

SAM解码器是Meta提出的分割模型，能够根据点、框、文本等提示生成高质量分割掩码。SAM解码器使用Transformer架构，接收编码后的提示和图像特征，通过注意力机制在多尺度特征上推理，输出像素级的分割结果。SAM的核心优势是其强大的泛化能力和高质量的边界分割能力，这是通过在大规模多样化数据集上训练获得的。

本文使用SAM解码器将VLM输出的[SEG]token转换为最终的分割掩码，保证了边界精度和泛化能力。

材料选择

材料选择是指根据材料的视觉属性（如颜色、反射率、粗糙度、纹理）选择图像中具有相同材料的所有区域。与物体选择不同，材料选择具有独特的语义和结构：一个材料可能跨越多个物体（如场景中所有的金属固定装置），也可能作为物体内的空间不连续子区域出现（如椅子的木质腿）。材料选择在表面重贴纹理、一致编辑特定材料等任务中特别有价值。

本文的核心创新点是将材料选择引入统一的交互式选择框架，填补了现有方法只关注物体选择的空白。

研究动机

现有图像选择方法存在三个关键问题。首先，现有方法主要是以物体为中心的，无法支持材料级别的选择。例如在图像编辑中，用户可能想要选择所有金属固定装置进行统一的材质修改，或者选择沙发上的织物部分进行纹理替换，这些基于材料的选择任务现有方法无法完成。其次，现有方法通常只支持单一交互模态，要么是点击（如SAM、Materialistic），要么是文本（如GLaMM、LISA），缺乏灵活性。单一模态无法完全区分用户的意图，例如在选择厨房中所有陶瓷盘子时，如果厨房同时有陶瓷盘子和塑料盘子，还有陶瓷锅，单纯的选择盘子的查询会包括塑料盘子，而选择陶瓷的查询会包括锅，最自然的查询选择所有陶瓷盘子需要同时对物体和材料进行联合推理。第三，材料和物体的语义差异使得传统方法难以统一处理，一个材料可能跨越多个物体，也可能作为物体内的不连续区域，这种空间复杂性超出了现有以物体为单位的分割框架。

本文的目标是本文的目标是构建一个统一的交互式选择框架，支持通过点击和文本两种交互方式，同时实现物体级别和材料级别的精确分割。该框架应该能够理解用户的复杂意图，区分颜色、材料、物体类别等不同选择标准，并产生像素级准确的分割掩码。更重要的是，该框架应该能够在训练时使用单模态数据，但在推理时支持文本和点击的联合使用，实现更灵活的交互体验。

与已有工作不同的是，本文的独特切入角度在于首次将材料选择与物体选择统一在同一个VLM驱动的框架中。与之前将物体选择和材料选择分开处理的方法不同，本文认为在真实的图像编辑工作流中，用户需要能够自由地在物体和材料之间切换选择标准，甚至进行联合查询（如棕色鸡蛋）。本文的核心洞察是，通过VLM的语义理解能力，可以编码用户的意图（物体还是材料）、视觉属性（颜色、反射率、粗糙度）和空间关系，然后将这些信息压缩到一个单一的[SEG]token中，再由SAM解码器解码为分割掩码。这种设计保持了架构的简洁性，同时实现了物体和材料的统一处理。另一个独特角度是本文提出了一个可扩展的材料数据生成管线，解决了材料选择数据集缺乏文本标注的关键瓶颈。

核心方法

MAOAM的整体思路是将视觉语言模型的语义理解能力与SAM解码器的分割能力相结合，构建一个统一的选择框架。直观上，VLM就像一个理解者，它理解用户通过文本或点击表达的意图，识别图像中相关的视觉实体、属性和空间关系，然后将这些理解编码成一个简洁的表示。SAM解码器就像一个执行者，它接收这个表示并产生像素级准确的分割掩码。技术路线上，本文基于现有的VLM分割架构，这些架构将VLM与SAM解码器耦合，但扩展它们以支持统一的物体和材料分割。与需要额外模块来注入空间聚焦视觉特征的方法不同，本文给VLM提供完整的输入图像，要么叠加星号标记指示点击位置，要么配对引用文本提示。这种设计保持了跨不同架构的简洁、统一的输入接口。

MAOAM的核心创新点在于将所有选择信息压缩到一个单一的[SEG]token中，然后由SAM解码器解码。这种设计的本质区别在于，它将语言意图理解完全隔离在VLM中，而将边界分割交给SAM解码器，利用其强大的掩码先验。另一个关键创新是点击的视觉表示：本文不使用坐标token，而是在点击位置叠加一个星号标记。这种设计的优势是保持输入模态在任务间统一，允许VLM在与其它视觉线索（如附近边界、纹理、上下文）相同的像素空间中推理点击位置，这对于材料选择非常重要。第三个创新是多任务训练目标，结合点击选择、文本选择和VQA，VQA任务通过文本空间的推理鼓励对材料品质的细粒度理解。

方法步骤详情

MAOAM的完整方法包括数据生成、模型架构和训练目标三个主要步骤。数据生成步骤：首先收集真实图像和合成渲染图像以及现有的材料数据集，总共约15K图像和104K材料标注。然后使用VLM为每个材料区域生成三种类型的文本描述：第一种是简短材料描述加上实体标签；第二种结合简短材料描述和显式空间信息；第三种是较长、自包含的材料描述。生成六个不同长度（10~50词）的变体，训练时随机采样。对于VQA任务，formulate两种四选一任务：第一种选择一个材料并检索其描述作为答案，从同一图像的其他区域采样干扰项；第二种引入硬负例挖掘，生成视觉上合理但不正确的替代选项。模型架构步骤：给定输入图像和用户文本提示，对于点击选择，在点击位置叠加星号标记。输入图像首先由CLIP视觉编码器编码。视觉嵌入通过MLP映射到LLM token嵌入空间，产生固定长度序列。LLM处理连接的序列并训练发射新引入的特殊token [SEG]，其隐藏表示总结完整的选择规范。一个MLP将这个token从文本嵌入空间投影到视觉特征空间，然后传递给SAM解码器，产生高分辨率密集选择掩码。训练目标步骤：使用多任务目标训练模型，损失函数包含点击选择、文本选择和VQA三个组成部分。

技术新颖性

MAOAM的技术新颖性体现在多个方面。首先，这是首个统一的VLM驱动框架，同时支持物体和材料级别的分割，以及点击和文本两种交互方式。虽然之前的工作如Materialistic支持材料选择，但只限于点击交互；GLaMM、LISA等支持文本交互，但只关注物体选择。其次，本文提出的材料数据生成管线具有创新性，使用Set-of-Marks提示技术改进视觉语言推理中的空间定位，结合模型验证和人工审查实现可扩展的标注。第三，本文发现的涌现多模态交互现象很有趣：尽管模型只在单模态数据上训练，但在推理时结合文本和点击会改善掩码质量，这种行为是在没有显式监督的情况下涌现的。第四，本文将点击表示为视觉叠加而非坐标token的设计，虽然简单但很新颖，它允许VLM在与其它视觉线索相同的像素空间中推理点击位置。最后，本文的实验表明，VQA任务不仅补充了基于文本的选择，还改善了基于点击的选择，实现了不同任务之间的协同效应。

MAOAM architecture overview.
Fig. 2: MAOAM architecture overview.
Example annotations.
Fig. 3: Example annotations.
Example of VQA generation with hard negative mining.
Fig. 4: Example of VQA generation with hard negative mining.

实验结果

MAOAM在材料选择任务上取得了显著优于基线方法的性能。在三个材料数据集（RealMat、SynMat、SAMa）上，基于文本的选择平均mIoU达到67.5%，比最强的基线Sa2VA提升了67.5%。在基于点击的选择上，平均mIoU达到77.3%，比Materialistic提升了35.5%。值得注意的是，现有的VLM分割方法（GLaMM、LISA）在材料推理上表现不佳，有些甚至产生空掩码，说明它们难以处理复杂的材料标准。在物体选择任务上，MAOAM保持了竞争力，在RefCOCO系列数据集上平均mIoU为79.4%，分别比GLaMM、LISA、Sa2VA提升3.2%、14.6%和3.3%。在EntitySeg上达到82.1% mIoU，比Materialistic有巨大提升。在VQA任务上，MAOAM在RealMat、SynMat、SAMa上的准确率明显优于Qwen2.5-VL-7B和Sa2VA。值得注意的是，MAOAM在Q2（硬负例）上的表现比Q1更好，与基线相反，说明模型获得了细粒度的材料理解能力，而基线则被相似选项混淆。

Supported criteria and input modalities across methods.
Table 1: Supported criteria and input modalities across methods.
Comprehensive evaluation of MAOAM against state-of-the-art models.
Table 2: Comprehensive evaluation of MAOAM against state-of-the-art models.
VQA performance on material datasets.
Table 3: VQA performance on material datasets.
Objects training data ablation.
Table 5: Objects training data ablation.
Material training data ablation.
Table 6: Material training data ablation.
Click representation analysis.
Table 8: Click representation analysis.
Emergent refinement.
Fig. 7: Emergent refinement.
Spatial reasoning.
Fig. 8: Spatial reasoning.
Varying text prompts.
Fig. 9: Varying text prompts.
Disambiguation.
Fig. 10: Disambiguation.
Joint object-material reasoning.
Fig. 14: Joint object-material reasoning.
查看结构化数据
任务指标本文基线提升
材料选择（文本） 平均mIoU 67.5% Sa2VA: 40.4% +67.5%
材料选择（点击） 平均mIoU 77.3% Materialistic: 41.8% +85.0%
物体选择（文本） 平均mIoU 79.4% GLaMM: 76.2% +4.2%
物体选择（点击） mIoU (EntitySeg) 82.1% Materialistic: 14.7% +458.5%
材料VQA 平均准确率 86.8% Qwen2.5-VL-7B: 52.9% +64.1%

局限与改进

本文存在一些局限性。首先，VLM推理能力有限，可能受益于测试时通过链式思维token的额外计算。其次，掩码质量受SAM解码器限制，可以通过细化模块改进。作者展示了两个失败模式：一是模型无法区分砖块之间的砂浆（材料推理的局限性），二是产生的掩码不准确（推测由于VLM图像编码器的粗糙分辨率）。作者还指出，当图像中出现星形物体时，可能会产生误导的定位信号，但实验表明MAOAM对此具有鲁棒性。另一个局限性是训练数据主要是材料标注，虽然结合了物体数据，但物体选择能力可能不如专门为物体选择优化的模型。最后，本文的方法依赖于高质量的VLM和SAM解码器，计算资源要求较高。

独立分析的弱点

MAOAM存在几个可以改进的弱点。首先，对于细粒度的材料边界，特别是在材料相似或光照条件复杂的情况下，分割精度有待提高。这可能是由于SAM解码器的限制，可以考虑引入细化模块或在训练中加入边界感知的损失。其次，VLM的推理能力受限于其预训练数据，对于罕见材料或复杂的材料组合，可能无法准确理解。可以通过增加测试时计算（如链式思维推理）或扩展训练数据来改善。第三，虽然MAOAM支持文本和点击的联合使用，但这种能力是涌现的，没有显式训练。可以通过在训练数据中引入多模态样本来进一步增强这种能力。第四，计算资源要求较高，限制了实际应用中的部署。可以通过模型蒸馏、量化或轻量化架构来降低资源需求。

未来方向

未来的研究方向可以从多个角度展开。作者提出的方向包括通过链式思维token增加测试时计算来改进VLM推理能力，以及通过细化模块改进掩码质量。基于本文成果，可以延伸的方向包括：扩展到3D材料和物体选择，利用空间一致性进一步提升选择质量；支持视频中的时序一致的材料和物体选择；探索更多交互模态，如草图、语音或手势；改进材料数据生成管线，引入更多样化的材料类别和更细粒度的属性标注；研究材料属性的连续表示，而不仅仅是离散分类；探索材料选择与图像编辑（如纹理替换、光照调整）的端到端优化；将MAOAM的能力扩展到多模态输入，如点云或深度图像。

复现评估

本文的复现情况总体较好。作者声明将发布模型和测试代码以及评估数据，这是促进进一步研究的重要一步。数据方面，本文收集了新材料数据集，并使用了公开的现有数据集，这些数据集的获取和处理都有详细描述。模型方面，本文基于两个开源的VLM架构，并提供了详细的训练超参数和实现细节。算力方面，训练需要8个A100 GPU，GLaMM版本需要约50GB VRAM训练和30GB VRAM推理，Sa2VA版本需要约70GB VRAM训练和50GB VRAM推理，这对大多数研究团队来说是可获得的。难度方面，虽然整体架构相对简洁，但数据生成管线涉及多个步骤，实现起来有一定复杂性。不过，作者提供了详细的补充材料，包括数据集统计、训练细节、消融研究和额外实验结果，这有助于复现。

论文图表

Our method, MAOAM, enables click- and text-based selection of both materials and objects via single model with a unified interface.
Fig. 1: Our method, MAOAM, enables click- and text-based selection of both materials and objects via single model with a unified interface.

这张图展示了MAOAM的核心功能：统一支持物体和材料选择，以及点击和文本两种交互方式。图的上半部分展示了物体选择场景：输入图像到点击到文本查询。下半部分展示了材料选择场景：输入图像到点击到文本查询。通过对比可以清晰看到，同一图像根据不同的交互方式（点击或文本）和选择标准（物体或材料）会产生不同的分割结果。

这张图对理解论文至关重要，因为它直观地展示了MAOAM的核心贡献：统一的物体和材料选择框架。通过对比上半部分和下半部分，读者可以立即理解物体选择和材料选择的区别；通过对比点击输入和文本输入的结果，读者可以理解不同交互方式的特点。这张图也展示了方法的灵活性：同一图像可以根据用户意图产生不同的选择结果。