← 返回 2026-04-07

基于潜在推理的通用多模态嵌入 PLUME: Latent Reasoning Based Universal Multimodal Embedding

Chenwei He, Xiangzhao Hao, Tianyu Yang, Yuxiang Ma, Yuheng Jia, Lingxiang Wu, Chaoyang Zhao, Haiyun Guo, Jinqiao Wang 📅 2026-04-02 👍 15 2026-07-13 08:36
多模态嵌入 检索 混合专家 潜在推理 链式思维
arXiv HuggingFace PDF

用潜在推理替代显式思维链，实现高效的多模态通用嵌入

前置知识

通用多模态嵌入（UME）

通用多模态嵌入（Universal Multimodal Embedding，UME）是指用一个统一模型将不同模态的输入（包括文本、图像、视频、视觉文档等）映射到同一个共享的检索空间中，使得不同模态之间可以直接计算相似度进行检索。它解决了传统双编码器方法在复杂多模态组合检索上的局限性，通过多模态大语言模型作为骨干网络，利用其原生多模态 grounding 能力、强大的语义对齐和广泛的世界知识来提升检索质量。UME 中的模型需要对查询和目标都生成嵌入，然后通过余弦相似度或其他度量来排序候选结果。

读懂本文需要理解 UME 的核心挑战：如何在一个统一框架中处理结构异构的多模态输入（视频需要时序推理、图像需要空间推理、文档需要布局理解），以及如何在这些复杂查询上平衡检索质量和推理效率。本文针对 UME 在复杂查询上的性能瓶颈提出了潜在推理解决方案。

链式思维（Chain-of-Thought，CoT）

链式思维是一种通过让模型显式生成中间推理步骤来提升问题解决能力的技术。在语言模型中，它通常通过提示工程（如“Let's think step by step”）引导模型先生成推理文本，再给出最终答案。在多模态设置中，CoT 扩展为多模态链式思维，模型会先观察图像、视频等视觉内容，生成文本推理，再给出答案或嵌入。例如，对于一个查询“穿着红色衣服的人正在做什么动作？”，CoT 会先生成“我看到了一个穿着红色衣服的人，他正在跳跃，背景是运动场”，然后再给出答案。这种方法通过分解复杂问题、暴露推理过程来提升模型性能。

本文针对显式 CoT 的双重瓶颈问题提出了潜在推理方案。显式 CoT 需要生成数百个推理 token，不仅造成计算开销，还用离散文本作为表示瓶颈，可能丢失多模态证据的细粒度连续信息。理解 CoT 的优缺点有助于理解本文提出的潜在推理框架的设计动机和优势。

潜在推理（Latent Reasoning）

潜在推理是指在模型的隐藏空间中进行多步计算，而不显式生成中间文本表示。它通过在连续的隐藏状态上进行多次前向传播来实现推理过程，保留了推理的顺序依赖结构，但避免了离散 token 生成的开销。在 PLUME 中，潜在推理通过在多模态前缀后插入一个潜在的思考块来实现，这个块用特殊的 token 保留多个自回归位置，但每个位置接收的是连续隐藏状态而非离散 token 嵌入。模型在这些潜在步骤中进行注意力计算和信息聚合，最后从隐藏状态提取检索嵌入。这种方法本质上将推理过程内化到了模型内部的计算中，而不是外显为可读的文本。

潜在推理是本文的核心创新点。理解潜在推理如何替代显式 CoT、如何保持推理质量的同时提升效率，是理解 PLUME 方法的关键。本文通过渐进式显式到潜在的课程学习来实现这一目标，这是论文的技术难点和主要贡献。

混合专家（Mixture of Experts，MoE）

混合专家是一种通过将计算分散到多个专家子网络上来提升模型效率和容量的架构。在标准 MoE 层中，输入通过一个路由器被分配给 top-k 个专家，每个专家是一个独立的前馈网络，只有被激活的专家参与计算，其他专家保持空闲。这种设计允许在计算预算基本不变的情况下大幅增加模型参数量，从而提升模型容量。在 PLUME 中，MoE 被用作潜在步骤之间的过渡适配器，而不是整个骨干网络的 MoE。路由器根据语义锚定和步骤嵌入来选择专家，使得不同多模态输入可以遵循不同的推理路径。

PLUME 的语义锚引导过渡适配器基于 MoE 架构，这是实现输入自适应潜在推理的关键。理解 MoE 的工作原理、路由机制和平衡正则化有助于理解 PLUME 如何为不同模态的查询分配不同的计算模式，从而在统一的推理预算下支持多样化的推理结构。

研究动机

现有通用多模态嵌入方法面临两大核心问题。首先是单次编码方法的局限性，虽然高效但要求模型在一个前向传播中折叠复杂的查询解释、证据整合和表示形成，对于需要组合空间理解、知识密集视觉推理或聚合时空和结构分散证据的复杂查询表现不足。其次是显式链式思维方法的双重瓶颈：计算上，每个样本生成数百个推理 token 带来大量自回归解码开销，严重限制推理吞吐量，论文中 UME-R1 平均生成 403 个推理 token，在单个 H20 GPU 上的延迟达到 9023 毫秒；表示上，通过离散文本 token 路由多模态推理创造了狭窄瓶颈，可能丢弃细粒度连续证据，限制了丰富多模态信息携带到最终嵌入中的方式。这使得显式 CoT 将多步计算的好处与检索效率需求根本性错配的冗长接口绑定在一起。

本文的目标是本文的目标是提出一个既能利用多模态大语言模型推理能力进行嵌入形成，又不牺牲检索效率的通用多模态嵌入框架。具体而言，作者希望回答一个核心问题：如何在嵌入形成期间利用 MLLM 的推理能力，而不产生显式链式思维生成的大量计算开销。目标是在保持中间推理质量的同时，将推理从数百个生成的 token 压缩到少于 10 个潜在步骤，实现超过 30 倍的推理加速，同时在 78 任务 MMEB-v2 基准上超越强显式 CoT UME 基线。

与已有工作不同的是，本文的独特切入角度是重新思考 UME 所需要的不是显式的中间文本，而是中间计算。与现有工作将推理嵌入到离散文本 token 中的方法不同，PLUME 在多模态大语言模型的隐藏空间内部进行紧凑的潜在过程，允许模型在不生成显式推理文本的情况下执行多步计算。更重要的是，为了使这个潜在过程适用于结构多样化的多模态输入，PLUME 引入了语义锚引导的过渡适配器，根据输入的语义结构引导潜在计算，使得不同查询在相同的推理预算下可以遵循不同的推理模式。这种输入自适应的潜在推理是本文与现有工作（如 LaSER 聚焦于文本-only 检索）的关键区别。

核心方法

PLUME 的整体思路是将推理内化到多模态大语言模型内部的紧凑潜在过程中，用短的自回归潜在状态滚动替代显式链式思维生成。首先，模型处理多模态前缀（可能交织文本 token 与图像、视频或文档特征），然后遇到特殊的 （开始潜在思考）token，它开启一个潜在块 K ，其中 保留 K 个自回归位置，（结束潜在思考）标记潜在块的结束。在每个潜在步骤，模型接收连续隐藏状态而非离散 token 嵌入，但注意力掩码、位置编码和 KV-cache 机制与标准自回归生成完全相同。最后，在 K 步滚动后，潜在块由 关闭， 立即放置在 之后，最终的检索嵌入从 位置的隐藏状态中提取。这种设计保留了显式 CoT 的顺序依赖结构，同时用短序列的连续隐藏状态过渡替换离散 token 生成。

PLUME 的核心创新点是将多步推理从显式文本生成转移到隐藏空间计算，同时通过语义锚引导的路由适配器实现输入自适应的推理路径分配。与已有方法（如 TTE、UME-R1、TRACE）先生成显式推理文本再提取嵌入不同，PLUME 将推理步骤直接在隐藏状态上展开，避免了数百个推理 token 的生成开销。与纯文本潜在推理方法（如 LaSER）不同，PLUME 针对通用多模态嵌入设计，需要处理视频、图像、文档和文本等异构输入，这些输入需要在不同形式的中间计算上操作（时序动态、空间关系、布局结构、语义抽象）。语义锚引导的过渡适配器是关键创新，它允许模型根据输入的语义结构在不同专家之间路由，使得图像查询可能需要空间推理专家，视频查询可能需要时序推理专家，文档查询可能需要布局理解专家，从而在相同的紧凑推理预算下支持多样化的推理模式。

方法步骤详情

PLUME 的方法分为四个主要步骤。第一步是多模态前缀编码，给定输入 x，骨干网络首先处理多模态前缀，然后遇到 token，它开启潜在块 K 。前缀过程产生两个在潜在滚动过程中持续存在的输出：缓存的键值状态 C(x)，允许每个后续潜在步骤通过因果注意力回到完整的多模态上下文；以及从前缀中专用 token 位置的隐藏状态提取的语义锚 c(x)，为路由提供输入语义意图的固定总结。所有视觉特征（图像 patch、视频帧和文档渲染）仅在这个前缀编码阶段注入，潜在滚动纯粹在隐藏空间中进行。第二步是潜在状态初始化，从 位置的隐藏状态初始化潜在状态 z(0) = hL，因为这个状态已经总结了潜在块之前积累的多模态上下文。第三步是迭代潜在滚动，在每个潜在步骤 k ∈ {1, ..., K}，PLUME 执行两个操作：首先，通过路由适配器（Sec. 3.4）细化上一个潜在状态 z(k−1)，得到适应状态 ˜z(k−1)；其次，将 ˜z(k−1) 作为位置 p + k 的输入嵌入输入骨干网络，重用累积的 KV-cache 并前进到下一个因果位置：z(k) = Bθ(˜z(k−1), C(k−1), p + k)。第四步是后缀解码和嵌入提取，K 步滚动后，潜在块由 关闭， 立即放置在 之后，最终检索嵌入从 位置的隐藏状态提取。

技术新颖性

PLUME 的技术新颖性体现在多个方面。首先是潜在推理框架在通用多模态嵌入中的应用，这是首次将推理从显式文本转移到紧凑的隐藏空间滚动，同时处理异构多模态输入。其次是语义锚引导的过渡适配器设计，它使用语义锚 c(x) 作为路由条件，通过结合 z(k−1) + c(x) 与可学习的步骤嵌入 e(k) 来计算专家路由权重，使得路由既考虑局部步骤计算又考虑全局输入上下文，步骤嵌入允许路由器区分早期和晚期潜在步骤。第三是渐进式显式到潜在的课程学习策略，使用显式推理仅作为临时的训练脚手架，通过将显式推理从左到右逐渐替换为潜在块，模型首先学习从部分潜在前缀继续显式推理，然后逐渐将完整推理过程内化到隐藏空间滚动中。最后是双重嵌入训练目标，除了主要生成的嵌入 egen 接收检索监督外，辅助锚嵌入 eanc 也接收对比监督，这有两个目的：鼓励锚定编码语义上有意义的全局总结，为 MoE 适配器提供更高质量的路由信号；提供额外的梯度通路来稳定早期训练。

Overview of PLUME.
Figure 3: Overview of PLUME.

实验结果

PLUME 在 78 任务 MMEB-v2 基准上表现出色。与显式 CoT UME 基线 UME-R1（相同 Qwen2-VL-2B 骨干和训练数据）相比，PLUME 整体超越 1.5 个百分点（61.6 vs. 60.1），同时只需要 8 个潜在步骤而非数百个生成的推理 token，推理延迟从 9023 毫秒降低到 298 毫秒，实现 30.3 倍加速。与早期单次编码基线相比，PLUME 超越最强的 VLM2Vec-V2 整体 3.6 个百分点，在 Video 上提升特别明显（+9.2），这验证了时序动态和跨帧关系难以线性化为离散 token，而跨推理步骤维护连续状态可以保留更丰富的时序语义。在不同模态组上，PLUME 在 Image 上达到 66.3（vs. UME-R1 的 66.6，略低 0.3），Video 上达到 44.1（vs. UME-R1 的 42.2，提升 1.9），VisDoc 上达到 67.5（vs. UME-R1 的 63.9，提升 3.6）。Video 优势在 Video Multi-modal Retrieval 上最清晰（PLUME 46.7 vs. UME-R1 39.7，+7.0），其中多步跨模态对齐受益于不间断的连续推理。PLUME 还在 Image Grounding（79.7）和 VisDoc OOD（57.4）上设置最佳分数，两者都涉及组合空间推理或分布外泛化，受益于连续状态计算。

Main comparison on MMEB-v2.
Table 1: Main comparison on MMEB-v2.
Inference efficiency on a single H20 GPU
Table 2: Inference efficiency on a single H20 GPU
Ablation on the core components of PLUME.
Table 3: Ablation on the core components of PLUME.
Effect of the latent steps K on accuracy and latency.
Table 4: Effect of the latent steps K on accuracy and latency.
Ablation on the transition adapter design.
Table 5: Ablation on the transition adapter design.
Full MMEB-V2 results with selected baselines (Part I: Overall and Image).
Table 7: Full MMEB-V2 results with selected baselines (Part I: Overall and Image).
Full MMEB-V2 results with selected baselines (Part II: Video and VisDoc).
Table 8: Full MMEB-V2 results with selected baselines (Part II: Video and VisDoc).
Ablation on the number of curriculum stages.
Table 6: Ablation on the number of curriculum stages.
PLUME achieves a favorable accuracy–efficiency tradeoff on MMEB-v2. The x-axis shows inference throughput on a single H20 GPU and the y-axis shows average MMEB-v2 performance.
Figure 1: PLUME achieves a favorable accuracy–efficiency tradeoff on MMEB-v2. The x-axis shows inference throughput on a single H20 GPU and the y-axis shows average MMEB-v2 performance.
Per task performance comparison on MMEB-v2.
Figure 4: Per task performance comparison on MMEB-v2.
Activation preferences of specialized experts across image and video retrieval sub-tasks.
Figure 5: Activation preferences of specialized experts across image and video retrieval sub-tasks.
Average cosine similarity between intermediate states and the positive target over 200 samples.
Figure 6: Average cosine similarity between intermediate states and the positive target over 200 samples.
Average activation rate of each expert across input modalities.
Figure 9: Average activation rate of each expert across input modalities.
A case where explicit CoT gets trapped by a misleading textual detail while PLUME recovers the correct target.
Figure 10: A case where explicit CoT gets trapped by a misleading textual detail while PLUME recovers the correct target.
A case where explicit CoT over-compresses the retrieval intent while PLUME preserves the correct target.
Figure 11: A case where explicit CoT over-compresses the retrieval intent while PLUME preserves the correct target.
A case where explicit CoT is misled by a surface-level prior while PLUME recovers the correct answer.
Figure 12: A case where explicit CoT is misled by a surface-level prior while PLUME recovers the correct answer.
A case where explicit CoT drifts toward an incorrect action description while PLUME recovers the correct target.
Figure 13: A case where explicit CoT drifts toward an incorrect action description while PLUME recovers the correct target.
查看结构化数据
任务指标本文基线提升
MMEB-v2 Overall (78 tasks) Hit@1 / NDCG@5 61.6 UME-R1: 60.1 +1.5
MMEB-v2 Image (36 tasks) Hit@1 66.3 VLM2Vec-V2: 64.9 +1.4
MMEB-v2 Video (18 tasks) Hit@1 44.1 UME-R1: 42.2 +1.9
MMEB-v2 VisDoc (24 tasks) NDCG@5 67.5 UME-R1: 63.9 +3.6
Video Multi-modal Retrieval Hit@1 46.7 UME-R1: 39.7 +7.0
Image Grounding (I-VG) Hit@1 79.7 DUME: 78.0 +1.7
VisDoc OOD NDCG@5 57.4 UME-R1: 37.2 +20.2

局限与改进

尽管在整体上超越 UME-R1，PLUME 在 Image QA 子集上显示出明显差距。这个弱点在所有 QA 任务上不是均匀的：在 ScienceQA 和 WebQA 上差距很小，但在文本密集或知识密集基准如 ChartQA、InfographicsVQA 和 OK-VQA 上差距大得多。作者假设这些任务更严重依赖保留细粒度文本细节和显式中间语义组织，而 PLUME 将推理压缩为针对检索导向表示形成优化的短潜在滚动。具体失败案例分析显示，PLUME 通常在阈值计数查询上失败（将 4 排在正确答案 5 之上），在多步数值聚合上挣扎（将几个附近值排在正确平均值 21.5 之前）。在 InfographicsVQA 上，PLUME 正确识别相关语义邻居，但排名更广泛或组合相关的答案高于精确目标。这些模式表明主要限制不是完全丢失任务意图，而是在显式推理被压缩到紧凑潜在滚动后，细粒度数值区别和多步关系结构的保留不足。作者还指出连续潜在轨迹的形式解释性保证仍然是一个开放问题。

独立分析的弱点

PLUME 的主要弱点是在需要细粒度数值关系保留和密集文档理解的任务上表现不佳。具体来说，在 ChartQA 等需要精确数值读取、定位文本 grounding 和结构视觉内容组合推理的任务上，PLUME 虽然通常保留查询的粗粒度语义意图，但压缩推理到短潜在滚动后可能削弱细粒度数值关系和定位文本细节的保留。在 InfographicsVQA 等信息密集型输入上，PLUME 可以捕获相关语义区域，但在密集文本结构必须压缩到紧凑潜在推理轨迹时，难以维持精确答案粒度。另一个弱点是在 Image QA 子集上的性能差距，特别是文本密集或知识密集基准，这表明 PLUME 可能需要更精细地处理文本细节和外部知识。改进方向包括：设计更细粒度的潜在推理预算分配，让数值密集任务获得更多计算步骤；探索混合推理模式，对于需要细粒度文本保留的任务部分使用显式推理，其余使用潜在推理；改进路由器设计，让它能够识别任务类型并自适应分配不同的专家组合。

未来方向

作者提出的未来研究方向包括：探索自适应计算预算分配，根据查询复杂度动态调整潜在滚动长度，而不是固定的 K 步；将 PLUME 扩展到更多模态（如音频、3D 点云）和更复杂的跨模态推理场景；改进潜在轨迹的可解释性，使得连续潜在推理过程能够被更好地理解和调试；研究如何将外部知识（如知识库、检索增强）更好地整合到潜在推理框架中；探索将 PLUME 与生成任务结合，使得同一个模型既能做检索又能做生成。基于成果可延伸的方向包括：将语义锚引导的路由思想应用到其他需要输入自适应计算的多模态任务中；将渐进式显式到潜在的课程学习应用到其他需要推理迁移的场景中；研究如何将潜在推理与其他推理增强技术（如强化学习、偏好优化）结合以进一步提升推理质量。

复现评估

论文声明代码和数据将在 https://github.com/haoxiangzhao12138/PLUME 公开。模型基于 Qwen2-VL-2B 骨干网络，训练数据使用与 UME-R1 相同的有监督微调语料库，因为它提供显式多模态推理轨迹，适合渐进式显式到潜在迁移。InfoNCE 温度设置为 0.02，全局批次大小为 1024，学习率为 5 × 10^−5。潜在滚动长度设置为 K = 8。训练总共持续 5 个 epoch：课程开始时初始完全显式 CoT 热身阶段（阶段 0）训练 3 个 epoch，随后是四个渐进式潜在课程阶段（阶段 1-4）。其中，中间过渡阶段（阶段 1-3）在总共 1 个 epoch 内完成，最终完全潜在阶段（阶段 4）额外训练 1 个 epoch。训练成本报告显示，4 个潜在步骤的 PLUME 大约需要 2562 H20 GPU 小时，6 个潜在步骤约 2838 H20 GPU 小时，8 个潜在步骤约 3119 H20 GPU 小时。复现难度中等，主要挑战在于实现渐进式课程学习和语义锚引导的路由适配器，以及需要足够的 GPU 资源进行训练。

论文图表

Comparison of three universal multimodal embedding paradigms.
Figure 2: Comparison of three universal multimodal embedding paradigms.

这张图比较了三种通用多模态嵌入范式：左侧是早期判别式 UME，通过单次编码形成嵌入，保留效率但没有显式建模中间推理；中间是显式 CoT UME，通过在嵌入提取前生成长文本轨迹来改进推理，但产生大量推理延迟和 token 成本；右侧是 PLUME，通过语义锚引导专家路由将推理内化到紧凑潜在滚动中，用大幅降低的推理成本实现推理感知嵌入。

这张图对理解论文很重要，因为它清晰地展示了 PLUME 与现有方法的关键区别，帮助读者快速理解论文的动机和核心创新点。这是论文引言部分的核心图示，为后续方法介绍奠定了基础。

Failure cases on ChartQA.
Figure 7: Failure cases on ChartQA.

这张图展示了 ChartQA 上的代表性失败案例。每个例子在顶部显示输入图表和查询，底部显示 PLUME 的前检索预测。绿色框标记真实目标，前面的橙色框表示排名更高的干扰项。在案例 1 中，PLUME 在阈值计数查询上失败，将 4 排在正确答案 5 之上。在案例 2 中，PLUME 在多步数值聚合上挣扎，将几个附近值排在正确平均值 21.5 之前。这些例子表明虽然 PLUME 通常保留查询的粗粒度语义意图，但将推理压缩到短潜在滚动后可能削弱细粒度数值关系和定位文本细节的保留。

这张图对理解论文很重要，它提供了具体的失败案例分析，帮助读者理解 PLUME 的局限性和适用边界。

Failure case on InfographicsVQA.
Figure 8: Failure case on InfographicsVQA.

这张图展示了 InfographicsVQA 上的代表性失败案例。图显示信息密集型风格输入、查询、真实目标和 PLUME 的前检索预测。绿色框标记正确目标，橙色框表示排名更高或附近的干扰项。在这个例子中，目标答案是 facebook，但 PLUME 排名更广泛的候选 twitter, facebook, pinterest 高于精确目标。它还检索语义相关但过于粗糙或不匹配的变体如 twitter, facebook 和 facebook ads。这个案例表明在文本密集的信息密集型输入上，PLUME 可以捕获相关语义区域但可能在密集文本结构必须压缩到紧凑潜在推理轨迹时难以维持精确答案粒度。

这张图对理解论文很重要，它进一步分析了 PLUME 在文本密集和结构复杂任务上的局限性。