Concrete Jungle：面向组合理解的具象度驱动对比负样本挖掘

用词义具象度指导硬负样本生成并修正InfoNCE梯度失衡。

前置知识

InfoNCE 对比损失

InfoNCE是CLIP预训练的核心对比损失，batch内把正样本相似度拉近、其余2N-1个样本推远。softmax天然让易负样本的指数项主导分母，挤压硬负样本的梯度信号。

本文核心发现之一就是InfoNCE在batch=1024时硬负样本梯度只占正样本拉近梯度的不到20%，大量信号被易负样本消耗。读Cement loss时必须先理解softmax的分母结构以及$p_{i,j} = \text{softmax}([s_{i,1:2N}])[j]$如何决定梯度分配。

词义具象度 (Lexical Concreteness)

具象度（concreteness）是心理语言学度量，量化一个词与可感知物理实体的关联程度（1-5分），数据来自Brysbaert的MRC Psycholinguistic Database。高分词如咖啡杯对应明确视觉对象；低分词如风格是抽象描述。

具象度是本文贯穿数据生成、损失函数、统计分布的统一定量因子，所有公式里的$c_i$都指代它。读Fig.4的logit gap相关性、Cement loss的Fermi-Dirac margin设计时都必须先理解$c_i$是连续可控标量而非二值判断。

硬负样本挖掘 (Hard Negative Mining)

硬负样本指与正样本语义高度重叠但细节不匹配的样本。主流方案用LLM扰动caption关键词、再用图像生成模型（如SDXL-Turbo）编辑图像合成。NegCLIP、TSVLC、TripletCLIP、DeGLA都属于这一脉。

本文ConcretePlant延续这一管线，但首次让扰动哪个词成为一个可由具象度显式控制的变量。理解已有方法在生成器架构上做加法的局限，才能体会作者从数据质量因子切入的差异化思路。

Vision-Language Model对比预训练与组合理解

CLIP等VLM通过对比学习在大规模图像-文本对上预训练，将两种模态映射到共享嵌入空间。VLM在通用任务上很强，但存在词袋化缺陷：在Winoground、SugarCrepe等组合基准上接近随机水平。

本文Slipform的目标就是提升VLM的组合理解能力，所有SugarCrepe/Winoground/SCpp等实验设置都是为了验证这一点。理解CLIP的词袋化缺陷是理解整篇论文motivation的起点。

研究动机

VLM在组合理解任务（词序、属性绑定）上表现接近随机，根本原因是对比预训练缺乏信息量高的硬负样本。现有硬负样本挖掘方法（NegCLIP、TSVLC、CE-CLIP、DeGLA）依赖LLM挑选关键词并扰动，但该扰动什么词缺乏系统准则——不同关键词带来的视觉差异差异巨大。论文在MS-COCO上控制具象度生成的ConcreteBatch显示，扰动风格等抽象词（具象度<3）几乎不改变图像（I2T acc=0.8357），而扰动咖啡杯、沙发等具象词（具象度>4）能在图像层面产生显著的结构变化（I2T acc=0.9225）。DINOScore和logit gap等度量也证实高具象度负样本更难、更有效。但简单加入硬负样本又暴露另一个问题：InfoNCE在batch=1024时硬负样本梯度仅占总正样本拉近梯度的不到20%（Fig.6显示batch从256涨到1024时占比从0.32跌至0.20以下），大量梯度被易负样本消耗，导致硬负样本信号被淹没、模型难以学习细微的组合语义差异。

本文的目标是本文目标有二：其一，建立词义具象度作为硬负样本质量的核心度量，并据此设计可控制具象度的数据生成流程；其二，针对InfoNCE的梯度失衡问题，提出一种基于具象度的自适应margin机制，让高具象度硬负样本获得更强的梯度分配，低具象度/噪声样本则保留对易负样本的判别能力。具体地，作者瞄准三个目标：1) 在SugarCrepe等组合基准上把macro average从CLIP的47.89%提升到54%以上（实际达54.18，相对提升13.13%）；2) 证明具象度作为系统性因子的统计显著性；3) 在保留通用视觉表征能力（COCO mAP 26.16 vs CLIP 24.43）的同时提升组合理解。

与已有工作不同的是，本文的独特切入角度有两条。第一，不去设计更复杂的生成器架构（如DeGLA的图先验、TripletCLIP的三元组、image editing diffusion），而是回归数据质量本身：作者论证具象度是一个被忽视却关键的维度，修改高具象度词能系统性地产出结构差异大+语义偏移小的硬负样本，这是构造有效负样本的充分条件。第二，针对梯度失衡问题，本文跳出是否去掉易负样本、是否用二值化目标（SigLIP/CE-CLIP）的已有思路，提出一种由具象度驱动的自适应margin——通过Fermi-Dirac分布把margin从固定常数变成依赖样本难度的连续量。这种数据+目标协同的设计让margin直接由$c_i$驱动，区别于此前把数据增强和损失函数分开讨论的范式，是DCL/SigLIP等纯损失侧改进与NegCLIP/DeGLA等纯数据侧改进都未尝试的方向。

核心方法

Slipform由两部分协同组成。第一部分是ConcretePlant数据生成流水线，以MS-COCO Karapathy train split（约82K张图5 captions/图）为基础：spaCy分解关键词→Brysbaert表查具象度→top-K采样挑高具象度词→Qwen3-32B ($f_{\text{cap}}$) 生成硬负caption→SDXL-Turbo ($f_{\text{gen}}$) 高strength编辑图像，得到$\mathcal{D}^{hc}/\mathcal{D}^{lc}/\mathcal{D}^{wo}$三套ConcreteBatch。第二部分是Cement损失，在InfoNCE的softmax分母中给硬负样本logit加自适应margin $\hat{m}_i = \frac{m_{\max}-m_{\min}}{1+\exp((\tilde{c}-c_i)/\tau_m)}+m_{\min}$，margin随样本具象度$c_i$单调递增，把易负样本的部分梯度挤到硬负样本上。训练在单卡H200、batch=1024、约15K步内完成。

本文的核心创新可以一句话概括：用心理语言学的具象度作为桥梁，把硬负样本的数据质量、损失函数的梯度分配统一到同一个标量$c_i$上。已有方法要么在数据侧独立改进（如DeGLA的图结构、NegCLIP的caption扰动），要么在损失侧独立改进（如DCL的解耦、CE-CLIP的二元化、HardPositive的intra-modal penalty），但没有人发现这两个维度其实可以通过一个连续量（具象度）打通。Slipform的本质区别在于：1) ConcretePlant首次让扰动哪个词成为一个可控、可审计的变量，$c_i$可显式参与后续margin计算；2) Cement loss把margin从静态超参变成样本相关的连续量，避免静态margin在简单样本上过强、在难样本上过弱的问题；3) 整个pipeline的统计分布（左偏的$c_i$、强相关的logit gap）让作者能用Fermi-Dirac这种相变函数精确控制margin的相变点$\tilde{c}=4$和斜率$\tau_m=0.15$。

方法步骤详情

方法分6步。1) 关键词抽取：spaCy把MS-COCO caption $t_i$分解为unigram/bigram，过滤保留NOUN/PROPN/ADJ。2) 查表：从Brysbaert的MRC Database查$c_k^i$。3) Top-K采样+ARO平衡：在top-K候选里按attribute/object/relation rule-based sampling得$c_i$。4) caption扰动：Qwen3-32B作$f_{\text{cap}}$生成$t_i' = f_{\text{cap}}(t_i, c_i)$。5) 图像编辑：SDXL-Turbo作$f_{\text{gen}}$得$v_i' = f_{\text{gen}}(v_i, t_i')$。6) 训练：双倍batch size=2N；分母中硬负样本logit加Fermi-Dirac margin $\hat{m}_i$（参数$m_{\min}=-2, m_{\max}=2, \tilde{c}=4, \tau_m=0.15$），让$\hat{m}_i$随$c_i$递增。

技术新颖性

技术新颖性体现在三个层面。第一层是数据侧的具象度可控：作者第一次把硬负样本的难度用连续可查表标量精确参数化，系统验证$c_i$与跨模态logit gap的单调正相关（Fig.4的LOESS拟合）。ConcreteBatch统计显示$\mathcal{D}^{hc}$的I2T=0.9225、DINOScore最低0.6225、T2I=0.5087最高，验证了具象度与难度的可控对应。第二层是损失侧的梯度再分配：Cement loss在硬负样本logit上加样本相关margin，强迫softmax在硬负上分配更多概率质量。理论分析证明$|\partial L/\partial s_{i,i}| = p_{i,i'} + \sum_{j\notin\{i,i'\}}p_{i,j}$（Eq.3），margin机制正好对冲易负样本梯度份额随batch膨胀的趋势。第三层是数据-目标协同：margin直接由具象度驱动，使数据生成端和训练目标端共享同一统计量$c_i$，这在已有文献中是没有的创新。

**Figure 2**: Overview of ConcretePlant. The pipeline selects a concrete target word from the caption, generates a hard negative caption with Qwen3-32B, and edits the image with SDXL-Turbo to produce a hard negative pair.

**Figure 4**: Estimated similarity scores w.r.t. $c_i$. Curves are fitted with LOESS.

**Figure 6**: Gradient imbalance gets worse as batch size grows, but reducing the batch size degrades performance.

实验结果

实验在ViT-B-32 backbone、batch=1024、单卡H200上进行。1) 组合理解SOTA：Slipform SugarCrepe 83.00、SCpp-I2T 66.24、SCpp-T2I 60.21、Winoground-text 31.00，组合macro average 54.18，相对CLIP 47.89提升13.13%，超过NegCLIP(53.15)、DeGLA(54.01)。2) 数据集消融：$\mathcal{D}^{hc}+\text{InfoNCE}$ macro 53.89超过$\mathcal{D}^{wo}$(52.26)和$\mathcal{D}^{lc}$(52.03)。3) 梯度分析：Fig.6显示batch从256增至1024时InfoNCE硬负样本梯度占比从0.32跌至0.20以下，Cement稳定在0.4。4) 通用视觉权衡：ImageNet-1k top1=43.11(CLIP 43.12)、COCO mAP=26.16、Flickr30k T2I-R@1=28.44(CLIP 21.15)均保持可比。

**Table 1**: Statistics summary of datasets by sampling bias.

**Table 2**: Compositional understanding benchmark results, M.Avg indicates the macro accuracy.

**Table 3**: General visual representation benchmark results, M.Avg indicates the macro accuracy. A tradeoff between compositional understanding is observed.

**Figure 5**: Analysis of dataset distributions and metric correlations regarding concreteness scores, dataset difficulties and intra-modal similarities.

查看结构化数据

任务	指标	本文	基线	提升
SugarCrepe 组合理解	准确率 (%)	83.00	CLIP 75.38, NegCLIP 82.50, DeGLA 89.23	相对CLIP +7.62，超过NegCLIP+0.50；略低于DeGLA（DeGLA在SCpp-I2T上显著低于Slipform）
SugarCrepe++ I2T	准确率 (%)	66.24	CLIP 59.41, NegCLIP 62.75, DeGLA 62.84	相对CLIP +6.83，超过DeGLA +3.40
SugarCrepe++ T2I	准确率 (%)	60.21	CLIP 46.84, NegCLIP 58.15, DeGLA 54.94	相对CLIP +13.37，超过NegCLIP+2.06、DeGLA+5.27
Winoground (text/img/group)	准确率 (%)	31.00 / 10.25 / 7.75	CLIP 29.00/9.00/7.50, NegCLIP 30.50/11.00/8.00	text +2.00、image +1.25、group +0.25，全面超越CLIP
组合理解 Macro Average	% (六项基准平均)	54.18	CLIP 47.89, NegCLIP 53.15, DeGLA 54.01, TripletCLIP 50.92	相对CLIP +6.29（相对提升13.13%），SOTA
MS-COCO zero-shot 检索	mAP (%)	26.16	CLIP 24.43, NegCLIP 26.57, DeGLA 25.81	相对CLIP +1.73，与NegCLIP基本持平
ImageNet-1k linear probe	top-1 / top-5 准确率 (%)	43.11 / 70.57	CLIP 43.12 / 70.26, CE-CLIP 46.02 / 74.91	与CLIP基本持平（-0.01/+0.31），显示通用分类能力未被牺牲
Flickr30k zero-shot 检索	T2I R@1 / I2T R@1 (%)	28.44 / 42.05	CLIP 21.15 / 37.04, NegCLIP 28.84 / 42.18, DeGLA 30.13 / 37.04	T2I +7.29、I2T +5.01，显著优于CLIP
VTAB 19子任务平均	Mean (%)	33.64	CLIP 33.08, CE-CLIP 39.33, DeGLA 34.26	+0.56超过CLIP但低于CE-CLIP，组合提升与通用能力有trade-off

局限与改进

作者承认三点局限。第一，标准concreteness评分是综合触觉/听觉/嗅觉/味觉的感知度量，并非视觉特化，可能错配真正的视觉可感知性。第二，组合理解 vs 通用表征的trade-off尚未解决——$\mathcal{D}^{hc}$ + Cement Flickr30k R@1从21.15/37.04调整至28.44/42.05，强压易负样本会削弱通用分布建模；ImageNet-1k top1比CE-CLIP低2.91。第三，未评估方法在视频、目标检测等下游任务的迁移效果。作者自己的观察还包括：反向margin macro仅52.92，显著低于Slipform的54.18，证明margin方向敏感；静态margin 1在SCpp-I2T 65.81比Slipform更优，说明自适应并非全场景最优；Winoground-image/group绝对值仍很低（10.25、7.75），对最难样本改进有限。

独立分析的弱点

独立分析可发现六点值得改进的弱点。第一，ConcretePlant依赖Brysbaert表查表，对未登录词（transformer、COVID-19、新品牌名）会直接跳过，可考虑用LLM做zero-shot打分替代。第二，$c_i$的top-K采样有较强人工规则（ARO balance），可被学习式策略替代，如用强化学习让模型自己挑关键词。第三，Cement loss只对硬负样本加margin，没考虑anchor本身的难度——某些正样本对本身在视觉上很模糊，应该被弱化拉近。第四，论文只在ViT-B-32上验证，缺少在ViT-L/14、ViT-H/14、ConvNext-based等更大或不同backbone上的扩展实验。第五，Fig.3的gradient曲线只画了15K步，缺少完整训练曲线的演化。第六，hyperparameter $\tilde{c}=4$、$\tau_m=0.15$在换数据集分布（如CC3M、LAION）需重新调，缺少关于$\tilde{c}$的敏感度消融。

未来方向

作者明确提出的未来方向有：1) 发展视觉特化的concreteness度量，解耦触觉/听觉/嗅觉/味觉，做视觉-语言具象度子表；2) 探索组合理解和通用表征的协同优化（mixup、curriculum、uniformity regularization $\mathcal{L}_{\text{uniform}}$）；3) 推广到视频理解、视觉问答、目标检测等下游任务。基于成果可延伸的方向包括：1) 把具象度思想推广到其他模态（音频-文本CLAP、点云-语言、机器人-语言）的硬负样本挖掘；2) 用具象度作为可解释性工具，分析VLM失败case的语义粒度；3) 把Cement loss与DCL、NegCLIP等其他目标结合，研究梯度再分配的叠加效应；4) 在VL-Checklist、Attribute-Op、ARO上做per-category细粒度分析；5) 探索具象度感知的mixup/cutmix增广方法。

复现评估

复现评估中等偏易。1) 代码：项目页https://eunwooim.github.io/concrete-jungle，论文未明确开源但提供链接；Brysbaert具象度表是Excel公开资源。2) 算力：单张NVIDIA H200、batch=1024、约15K步即可复现主表，比CLIP从零训练便宜。3) 数据：ConcreteBatch基于MS-COCO Karapathy train split公开可得，BERTScore/CLIPScore评估需PE-Core-L-14-336、DINOv2、RoBERTa-large。4) 框架：open_clip + openai ViT-B-32权重公开；Qwen3-32B和SDXL-Turbo开源但需≥80GB显存。5) 评估：SugarCrepe、Winoground、SCpp、ImageNet-1k linear probe、MS-COCO、Flickr30k全公开，复现门槛较低。6) 潜在阻碍：作者未提供完整ConcreteBatch数据；$\tilde{c}=4$需核对Brysbaert表边界条件。

Concrete Jungle：面向组合理解的具象度驱动对比负样本挖掘 Concrete Jungle: Towards Concreteness Paved Contrastive Negative Mining for Compositional Understanding