大型多模态模型作为通用上下文分类器

LMM 通过上下文学习匹配 CLIP 分类能力，CIRCLE 迭代伪标签进一步提升

前置知识

对比视觉语言模型 (Contrastive VLM)

以 CLIP、SigLIP 为代表的双编码器模型，通过对比学习将图像和文本映射到共享嵌入空间。推理时，计算图像嵌入与各类别文本嵌入的余弦相似度进行零样本分类。训练使用大规模网络爬取的图文对（如 CLIP 使用 4 亿对），模型无需下游微调即可处理任意类别集合。其架构限制在于只能做封闭世界分类，即必须预先提供类别列表。

本文的核心对比对象就是 CLIP 类 VLM，理解其工作原理才能理解 LMM 如何在分类任务上追赶甚至超越它们。

大型多模态模型 (Large Multimodal Model, LMM)

由视觉编码器、连接器和大型语言模型解码器组成的生成式多模态架构。输入图像经视觉编码器提取特征后，通过连接器转换为 token 序列，与文本 token 拼接后送入 LLM 进行自回归生成。典型代表包括 Qwen2-VL、LLaVA OneVision、Phi-3.5-Vision 等，参数规模通常在 7B 左右。与 VLM 的判别式输出不同，LMM 以自由文本形式生成回答。

本文证明 LMM 可以作为通用分类器使用，理解其架构特点是理解上下文学习如何赋能分类的基础。

上下文学习 (In-Context Learning, ICL)

不更新模型参数，仅在推理时通过在输入中提供少量示例（输入-输出对）来让模型适应新任务的能力。在 LLM 领域由 GPT-3 首次大规模展示，近来扩展到视觉任务。示例被放在上下文窗口中，通过注意力机制隐式地影响模型的输出，无需任何梯度更新或微调。

ICL 是本文方法论的核心，论文的关键发现就是 ICL 可以显著提升 LMM 的分类能力，而 CIRCLE 则是对 ICL 的创新性改进。

Tip-Adapter

一种针对 CLIP 的无训练少样本适应方法。它将标注的支持样本编码后存入键值缓存，推理时通过计算查询图像与缓存样本的视觉相似度来细化分类 logits。具体做法是将零样本分类的 logit 与基于缓存相似度的 logit 加权求和。需要为每个预定义类别提供均衡的样本，本质上是 CLIP 生态中的'上下文学习等价物'。

Tip-Adapter 是本文在封闭世界设置中为 VLM 选择的基线方法，理解它才能公平对比 VLM 和 LMM 在少样本条件下的表现。

开放世界分类 (Open-World Classification, OWC)

与封闭世界分类不同，开放世界场景中类别集合是未知的，模型需要对图像进行开放式回答，如'这张图中是什么物体？'。没有预定义的标签列表，因此无法使用基于 logit 的方法。这对 VLM 架构是天然劣势（其判别式设计依赖已知类别），但对 LMM 的生成式架构更为自然。

开放世界分类是本文的重点实验场景，CIRCLE 方法正是为解决该场景下 ICL 失效问题而提出的。

研究动机

在图像分类领域，现有研究普遍认为对比式视觉语言模型（如 CLIP）优于大型多模态模型（如 Qwen2-VL、LLaVA）。具体而言，Conti et al. [12] 和 Zhang et al. [46] 等工作在多个数据集上评测后发现，LMM 在分类任务上显著落后于 VLM。例如，Qwen2-VL 7B 在零样本设置下 10 个数据集平均准确率为 61.3%，而 CLIP ViT-L/14 达到 72.9%，差距超过 11 个百分点。更关键的是，LMM 存在标签粒度问题：倾向于输出泛化类别（如'花'而非具体品种'睡莲'），在开放世界场景下生成冗长但不精确的回答。然而，这些结论都是在没有为 LMM 提供合适的上下文条件的情况下得出的——VLM 有 Tip-Adapter 这样的缓存机制利用支持样本，LMM 却没有被充分利用上下文学习的潜力。

本文的目标是本文的核心目标是重新审视 LMM 在图像分类中的定位，通过系统性地研究上下文学习对 LMM 分类能力的提升效果，回答一个根本性问题：LMM 是否真的不如 VLM 适合做分类？具体而言，论文设定了三个目标：（1）在封闭世界设置中，量化 ICL 对 LMM 的性能增益并与 VLM 的缓存方法对比；（2）在更困难的开放世界设置中，探索无需人工标注的上下文利用方式；（3）提出一种简单、无需训练的方法，使 LMM 在开放世界分类中超越 VLM。

与已有工作不同的是，本文的独特切入角度在于将 ICL 视为 LMM 的'对等优势'而非辅助技巧。此前的工作主要关注 LMM 的零样本分类能力，将其与 VLM 的零样本或少样本方法对比，但忽略了 LMM 天然具备的上下文学习机制。作者敏锐地观察到：VLM 的少样本方法（如 Tip-Adapter）本质上就是利用支持集进行'上下文化'，而 LMM 也有自己的上下文窗口——那么为什么不给 LMM 同样的机会？此外，在开放世界场景中，作者进一步指出伪标签的独立生成忽略了样本间的依赖关系，提出了通过迭代自纠正来精炼上下文的新思路。

核心方法

论文的方法设计可以分为两个层次。第一层次是对封闭世界分类的系统性分析：给 LMM 提供少量标注的上下文示例（以'图像-标签'对的形式插入上下文窗口），观察其分类表现的变化，并与 CLIP + Tip-Adapter 的缓存方法进行公平对比。第二层次是针对开放世界分类提出的 CIRCLE 方法，其核心直觉可以用一个生活类比理解：当你看到一组未知物体的照片时，你可能会先猜测每个物体是什么，然后用这些猜测互相参照——如果你发现大部分照片都像是狗，那剩下那张'不确定'的也更可能是狗。CIRCLE 就是把这个'互相参照、迭代修正'的过程自动化了。技术路线是：先让 LMM 为每张上下文图像独立生成伪标签，然后用'留一法'策略，每次用其他所有图像的伪标签作为上下文来重新预测当前图像的标签，重复多轮直至收敛。

CIRCLE 的核心创新在于将上下文本身视为可迭代优化的资源，而非固定不变的输入。已有的伪标签方法（Pseudo ICL）只做一次性的独立预测，每张图像的标签生成不考虑其他图像的信息——这忽略了上下文样本间的依赖关系，导致标签质量不稳定、语义粒度不一致。CIRCLE 的本质区别在于引入了'循环自纠正'机制：每次迭代中，每张图像的伪标签都是在其他所有图像当前标签的上下文中生成的，形成了一种集体一致性约束。这使得模型能够自动发现任务所需的正确语义粒度——不需要人工指定'要用品种名还是类别名'，模型自己会在迭代中收敛到合适的粒度。这个方法完全不需要训练，也不需要人工标注，只需要反复推理即可。

方法步骤详情

CIRCLE 的完整流程分为三个阶段。第一步是伪标签初始化：对于 $m$ 张未标注的上下文图像 $\{x_1, \ldots, x_m\}$，LMM 独立为每张图像生成伪标签 $\hat{y}_i^{t=0}$，此时没有利用图像间的依赖关系。第二步是迭代精炼：从 $t=1$ 开始，对第 $j$ 张图像，构建'留一上下文' $C_t^{\setminus j}$，即排除第 $j$ 张图像后，用其余 $m-1$ 张图像及其上一轮伪标签组成上下文。然后将该上下文连同第 $j$ 张图像一起送入 LMM，生成新的伪标签 $\hat{y}_t^j$。具体地，$C_t^{\setminus j} = [\{X_i, \hat{T}_{t-1}^i : i \neq j\}]$，其中 $X_i$ 是图像 token，$\hat{T}_{t-1}^i$ 是上一轮伪标签的 token 表示。这个操作对所有 $m$ 张图像并行执行，每张图像都能从其他图像的标签中获取信息。第三步是分类推理：重复精炼 $T$ 轮后得到最终上下文 $\hat{C}_T = \{x_i, \hat{y}_T^i\}$，将其作为上下文对查询图像执行标准的 ICL 分类。

技术新颖性

CIRCLE 的技术新颖性体现在三个层面。首先，在概念层面，它是首个将 ICL 上下文视为可迭代优化资源的方法，突破了现有方法将上下文视为静态输入的范式。其次，在方法层面，留一法（leave-one-out）的精炼策略确保了每张图像的标签更新都能利用完整的信息，同时避免了自引用的循环依赖。第三，在实用性层面，整个方法完全不需要训练、不需要人工标注、不需要外部数据库或检索系统，仅依赖 LMM 自身的推理能力。与 CaSED 等需要大规模预构建文本索引的 VLM 开放世界方法相比，CIRCLE 的计算开销非常轻量。此外，CIRCLE 还天然支持流式场景：从历史数据中随机抽取样本作为上下文，动态更新伪标签即可适应在线分类需求。

实验结果

论文的实验结果呈现了三个层次的发现。在封闭世界分类中，LMM 展现了惊人的上下文样本效率：Qwen2-VL 7B 在零样本时准确率为 61.3%，但 16-shot ICL 后提升至 79.0%，相对提升 +17.7%；Phi-3.5-Vision 更是从 38.5% 飙升至 67.7%，相对提升 +29.2%。相比之下，CLIP ViT-B/32 使用 Tip-Adapter 从 62.6% 提升到 70.1%（+7.5%），相对增益仅约 25%，而 LMM 的相对增益可达 50% 以上。最令人惊讶的是，Qwen2-VL 7B 在 16-shot 时达到了 79.0%，已经匹配了 CLIP ViT-L/14 的 79.8%，证明 LMM 在足够上下文下完全可以与最强 VLM 匹敌。在开放世界分类中，朴素 ICL 方法反而可能伤害性能：随机上下文（Random）导致 Qwen2-VL 的 Llama Inclusion 指标从 58.9 下降至 25.7，LLaVA OneVision 从 46.5 下降至 5.6。Pseudo ICL（独立伪标签）也未能稳定改善，如在 Qwen2-VL 上 LI 从 58.9 降至 49.7。而 CIRCLE 彻底逆转了这一趋势：在 Prototypical 数据集上，Qwen2-VL 的 LI 从 78.7 提升至 91.5，Qwen2.5-VL 从 82.9 提升至 94.9；在 Very Fine-grained 上，Phi-3.5-Vision 的 LI 从 54.2 飙升至 99.6。消融实验表明，上下文规模从 4 增加到 16 时，语义相似度（SS）和概念相似度（mCS）持续改善；CIRCLE 的迭代轮数从 1 轮增加到 4 轮时效果显著提升，但存在收益递减现象（3 轮后趋于平稳）。

查看结构化数据

任务	指标	本文	基线	提升
封闭世界分类（10 数据集平均）	Accuracy (%)	Qwen2-VL 7B 16-shot ICL: 79.0	CLIP ViT-L/14 16-shot Tip-Adapter: 79.8	Qwen2-VL 从零样本 61.3 提升 +17.7，接近 CLIP 最强
开放世界 Prototypical（LI）	Llama Inclusion (%)	CIRCLE Qwen2.5-VL: 94.9	Zero-Shot: 82.9; CaSED (ViT-L/14): 46.3	相对零样本 +12.0，相对 CaSED +48.6
开放世界 Very Fine-grained（LI）	Llama Inclusion (%)	CIRCLE Phi-3.5-V: 99.6	Zero-Shot: 54.2; CaSED: 47.1	相对零样本 +45.4，接近满分
开放世界 Non-prototypical（LI）	Llama Inclusion (%)	CIRCLE Qwen2.5-VL: 67.6	Zero-Shot: 45.9; Pseudo ICL: 42.9	相对零样本 +21.7，Pseudo ICL 反而下降
开放世界 Prototypical（mCS）	Median Concept Similarity (%)	CIRCLE Qwen2.5-VL: 67.2	Zero-Shot: 31.1; CaSED: 58.8	相对零样本 +36.1
流式开放世界 Prototypical（LI）	Llama Inclusion (%)	CIRCLE Qwen2-VL: 90.4	Zero-Shot: 78.7; Pseudo ICL: 65.9	Pseudo ICL 下降 -12.8，CIRCLE 提升 +11.7

局限与改进

论文的局限性可从作者声明和独立观察两个角度分析。作者明确指出了两个主要限制：第一，CIRCLE 虽然不需要人工标注，但缺乏监督可能导致精炼过程收敛到语义连贯但与任务不匹配的标签解读——例如模型可能一致地用过于泛化的类别（如'花'）来标注所有花卉图像，虽然内部一致但丧失了细粒度区分能力。第二，流式变体在处理大规模连续数据流时，动态内存更新会引入不可忽视的计算开销，因为每次新样本到来都需要重新精炼上下文。从独立观察角度看，CIRCLE 的性能高度依赖基础 LMM 的能力：如 LLaVA OneVision 在某些设置下表现波动较大（8-shot 优于 16-shot），说明该方法对模型的指令遵循能力和视觉理解质量有隐含要求。此外，论文的评测指标（LI 使用 LLM-as-a-judge）本身存在评估噪声，bCS 指标容易因生成冗长回答而虚高（论文已提出 mCS 作为修正）。最后，论文仅测试了 7B 规模的模型，更大的模型（如 70B、100B+）是否表现出不同的上下文学习特性尚不清楚。

独立分析的弱点

第一，CIRCLE 的迭代精炼过程缺乏显式的收敛判断机制。论文固定使用 $T$ 轮迭代（默认 2 轮），但未提供何时停止的自适应策略。在某些困难样本上，伪标签可能在迭代中发生'漂移'而非收敛，建议引入基于标签一致性的提前停止准则，例如当两轮间伪标签变化率低于阈值时终止。第二，上下文样本的选择策略过于简单——封闭世界使用 CLIP ViT-B/32 相似度检索，流式场景使用随机采样。考虑到上下文质量直接影响 CIRCLE 的效果，可以探索更智能的选择策略，如基于聚类的多样性采样或基于不确定性的主动选择。第三，CIRCLE 的伪标签格式为逗号分隔的标签列表（如'airplane, airliner, MD-80'），这种自由格式虽然灵活但可能导致不同粒度的标签混杂，影响概念相似度指标的计算。建议引入层次化标签结构或自动粒度标准化。第四，论文在开放世界评测中使用 m=16 个上下文样本，但未深入讨论上下文规模与模型能力的关系——对于较弱的模型，过多的噪声上下文可能反而有害。

未来方向

作者提出了两个有前景的方向。第一，结合轻量级训练或参数高效微调（如 LoRA）来稳定精炼过程，在处理模糊的未标注数据时可能恢复任务结构。第二，改进流式机制的效率，如通过内存压缩、选择性更新或可扩展的检索策略来降低计算开销，实现在资源受限场景下的广泛部署。基于本文成果，还可以延伸出更多方向：（1）将 CIRCLE 扩展到视频分类或多标签分类场景；（2）探索 ICL 与提示调优（prompt tuning）的结合，让 CIRCLE 不仅优化示例标签还优化提示模板；（3）研究 CIRCLE 在跨域泛化中的表现——例如在医学图像或遥感图像上，上下文精炼是否同样有效；（4）将 CIRCLE 的'自纠正'思想应用到其他生成式任务，如视觉问答或图像描述生成中的答案精炼。

复现评估

论文的复现条件较为友好。首先，所有评测使用的模型均为公开可用：Qwen2-VL 7B、Qwen2.5-VL 7B、LLaVA OneVision 7B、Phi-3.5-Vision 和 Phi-4-Multimodal，均可从 HuggingFace 下载。使用的 10 个数据集（Caltech101、SUN397、Flowers102 等）也都是标准公开数据集。CIRCLE 方法完全不需要训练，实现仅需对模型的推理流程做简单的包装（论文已提供 PyTorch 风格的伪代码）。算力需求方面，论文使用 NVIDIA A100 GPU（40/64/80GB VRAM），简单实验可用单卡完成，大型实验使用最多 4 卡并行。推理使用贪婪解码，最多生成 64 个 token。评测时间从几分钟（零样本）到 8-10 小时（流式场景下最大数据集）。主要的复现障碍是 Llama Inclusion 指标需要调用 LLM 进行评判，这增加了一层不确定性。论文未提及开源代码仓库，但伪代码已足够清晰，复现难度评估为中等。

大型多模态模型作为通用上下文分类器 Large Multimodal Models as General In-Context Classifiers