LLM2Vec-Gen：从大语言模型生成式嵌入 LLM2Vec-Gen: Generative Embeddings from Large Language Models
通过压缩LLM潜在响应生成输出空间嵌入，无需标注数据
前置知识
文本嵌入（Text Embedding）
文本嵌入是将自然语言文本映射到固定维度的稠密向量表示的过程，使得语义相似的文本在向量空间中距离较近。文本嵌入是语义搜索、文本相似度计算、检索增强生成（RAG）等下游任务的核心组件。传统方法如 Sentence-BERT 使用编码器模型对输入文本取平均池化得到向量，而现代方法利用预训练的 LLM 作为骨干网络来获取更强大的语义表示。
理解文本嵌入的基本概念和计算方式是理解本文提出的输出中心范式的基础，本文正是对传统输入中心嵌入方法的根本性挑战。
对比学习（Contrastive Learning）
对比学习是一种通过拉近正样本对、推远负样本来学习表征的训练范式。在文本嵌入中，通常使用监督式对比损失（如 InfoNCE），需要大量标注的配对数据（如查询-文档对、语义相似对）。这种方法会将模型的表征空间重构为围绕相关性标签的结构，从而丢弃 LLM 预训练阶段获得的原始语义几何。
本文的核心论点之一就是对比学习的表征空间重构会丢失 LLM 的安全对齐和推理能力，因此提出了不需要对比学习的替代方案。
SimCSE
SimCSE 是一种无监督的对比学习方法，通过将同一输入在 dropout 随机性下产生的两个不同表示作为正样本对，同时将同批次其他样本作为负样本，来训练文本嵌入模型。它只施加轻量级的均匀性正则化，将随机负样本推远，但不会像监督对比学习那样围绕相关性标签重构表征空间，因此较好地保留了模型原有的表征几何结构。
LLM2Vec 使用 SimCSE 作为无监督嵌入教师的训练目标，本文认为这种轻量正则化保留了 LLM 的表征几何，是输出中心嵌入能够继承 LLM 能力的关键前提。
软提示/软前缀（Soft Prompts / Soft Prefix）
软提示是一种参数高效的技术，用可学习的连续向量（而非离散的 token ID）作为 LLM 的输入前缀。在本文中，压缩 token 的隐藏状态经过投影层后得到的向量被作为软提示输入到冻结的 LLM 中，用于条件生成目标响应。这允许模型在不修改 LLM 权重的情况下，通过优化连续向量来控制 LLM 的输出行为。
LLM2Vec-Gen 的重建目标正是通过将压缩 token 投影为软提示来实现的，理解软提示机制有助于理解嵌入如何被解码回自然语言。
信息瓶颈（Information Bottleneck）
信息瓶颈原理主张在压缩表征时保留与目标最相关的信息，丢弃冗余信息。在本文中，压缩 token 的数量固定为 10 个，它们需要在有限维度内编码完整响应的语义内容。重建损失强制这些压缩 token 成为信息瓶颈，迫使它们浓缩响应的关键信息，同时使嵌入可被 LLM 解码回可理解的自然语言。
信息瓶颈的设计决定了嵌入的质量和可解释性之间的平衡，是理解 LLM2Vec-Gen 如何同时实现高性能和可解释性的关键。
Logit Lens
Logit Lens 是一种表征分析技术，通过将模型中间层或最后一层的隐藏状态投影到词汇空间（使用预训练的语言模型头部），来观察模型在每一层'思考'的内容。对每个压缩 token 的隐藏状态应用 Logit Lens，可以得到该 token 最可能对应的词汇，从而揭示嵌入所编码的语义内容。例如，恶意查询的嵌入可能映射到 'security'、'illegal' 等安全拒绝相关的词汇，而非有害内容。
Logit Lens 是本文验证嵌入可解释性的核心工具，证明了 LLM2Vec-Gen 的嵌入确实编码了 LLM 的响应语义而非输入语义。
研究动机
当前基于 LLM 的文本嵌入模型（如 GritLM、E5-Mistral 等）沿用了 BERT 时代的输入中心范式：对输入文本的 token 表示取均值池化来获得嵌入向量。由于嵌入任务（如聚类、检索）通常需要将多样化的输入映射到相似的输出（例如聚类同一事件的不同报道），这种方法依赖对比学习在精心策划的配对数据上训练，将查询和文档投射到一个新的共享嵌入空间。然而，这个新空间不再与 LLM 的响应表征重合，丢弃了 LLM 在预训练阶段获得的丰富语义结构。具体而言，对比学习围绕相关性标签重构了表征空间，导致 LLM 的安全对齐能力和推理能力无法迁移到嵌入空间。例如，当输入有害查询时，输入中心编码器会编码恶意意图本身，而非 LLM 的安全拒绝响应。在 AdvBench-IR 基准测试中，现有方法在面对对抗性有害查询时仍可能检索到有害内容，安全性存在明显缺陷。
本文的目标是本文的核心目标是提出一种全新的嵌入范式——输出中心嵌入（output-centric embedding），使嵌入模型编码的是 LLM 对给定输入的潜在响应，而非输入文本本身。具体而言，LLM2Vec-Gen 旨在：(1) 在不生成实际文本响应的前提下，将 LLM 的潜在响应压缩为固定长度的嵌入向量；(2) 保持 LLM 骨干网络完全冻结，仅训练少量特殊 token 和轻量投影层；(3) 实现完全自监督的训练，仅需无标注的查询数据，无需策划的配对数据；(4) 使嵌入继承 LLM 的安全对齐和推理能力；(5) 使嵌入可解码回自然语言，具有可解释性。
与已有工作不同的是，本文的独特切入角度在于从根本上改变嵌入的语义目标——从'输入说了什么'转向'模型会如何回应'。与 HyDE 等方法需要在推理时生成多个假设文档不同，LLM2Vec-Gen 通过训练压缩 token 将响应信息内化到嵌入空间中，推理时仅需单次前向传播。与 InBedder 和 GIRCSE 等需要监督数据（QA 对或硬负样本）的方法不同，LLM2Vec-Gen 使用无监督嵌入教师进行蒸馏，保持完全自监督。最关键的区别在于，本文认为对比学习会重构 LLM 的表征几何，而 LLM2Vec-Gen 通过从正样本响应的嵌入（而非判别性样本对）中蒸馏，鼓励嵌入反映 LLM 响应的语义内容，从而自然继承预训练和对齐阶段获得的能力。这一范式转变使得安全性和推理能力成为嵌入空间的固有属性，而非需要额外训练才能获得的特性。
核心方法
LLM2Vec-Gen 的核心直觉是：与其编码输入文本，不如编码 LLM 对该输入的潜在响应。整体技术路线分为三个阶段。第一阶段是数据准备：给定一组无标注查询，使用冻结的 LLM 自身生成目标响应，再用无监督嵌入教师（LLM2Vec）对响应进行编码获得目标嵌入。第二阶段是模型训练：在 LLM 词表中添加可训练的特殊压缩 token，将其追加到查询输入后面，通过两个互补目标——嵌入对齐损失和响应重建损失——优化这些 token 的隐藏状态和轻量投影层，同时保持 LLM 骨干完全冻结。第三阶段是推理：将压缩 token 追加到输入后，仅需一次前向传播提取隐藏状态，经 MLP 投影后即可获得嵌入向量。这种方法的优势在于，嵌入空间与 LLM 的响应空间保持一致，因此 LLM 在预训练和对齐阶段获得的安全性和推理能力能够自然迁移到嵌入中。
LLM2Vec-Gen 的核心创新在于提出了'输出中心嵌入'范式，与传统输入中心方法存在本质区别。传统对比学习方法通过相对相关性判断将查询和文档映射到新的共享潜在空间，这个空间与 LLM 的响应表征不再重合。而 LLM2Vec-Gen 的嵌入对齐目标从正样本 LLM 生成响应中蒸馏，而非从判别性样本对中学习。由于教师模型仅使用 SimCSE 进行轻量均匀性正则化，保留了 LLM 的局部表征几何，因此 LLM2Vec-Gen 的嵌入能够反映 LLM 响应的语义内容。这意味着：给定有害查询，嵌入编码的是 LLM 的安全拒绝（如'我无法协助该请求'）而非恶意意图；给定需要推理的查询，嵌入继承 LLM 的推理能力。此外，重建目标确保压缩 token 包含足够的信息来重建响应，使嵌入可解码回自然语言，实现了可解释性。
方法步骤详情
LLM2Vec-Gen 的训练流程包含以下具体步骤：(1) 响应生成：给定查询数据集中的每个查询，使用预训练 LLM 生成响应。本文使用 Tulu 指令跟随数据集的 16 万个单轮问题作为查询，不使用原始答案——模型在自己的生成上训练。(2) 教师嵌入生成：使用无监督嵌入教师模型（即 LLM2Vec）对生成的响应进行编码，获得目标嵌入。(3) 压缩 token 追加：在 LLM 词表中添加 n 个新的特殊 token（默认 n=10），将其追加到查询输入后面组成组合序列。(4) 前向传播：将组合序列通过 LLM，提取压缩 token 最后一层的隐藏表示。(5) 嵌入对齐计算：通过两层 MLP 投影和均值池化获得嵌入向量，计算与教师嵌入的均方损失 L_align。(6) 响应重建：将压缩 token 的隐藏状态通过投影层得到软提示向量，输入 LLM 进行第二次前向传播，通过标准下一 token 预测重建目标响应，计算交叉熵损失 L_recon。(7) 联合优化：最终损失为 L = L_align + L_recon，仅更新特殊 token 和两个 MLP，LLM 保持冻结。训练一个 epoch，batch size 为 32，8B 模型在 2 张 H100 GPU 上约需 3.5 小时。
技术新颖性
LLM2Vec-Gen 的技术新颖性体现在多个层面。首先，它是首个提出'输出中心嵌入'范式的自监督方法——不编码输入说了什么，而是编码模型会如何回应。这与 HyDE（需要推理时生成多个文档）、InBedder（需要监督 QA 数据）和 GIRCSE（需要硬负样本的对比数据）都不同。其次，压缩 token 机制是信息瓶颈的一种新颖应用：将 10 个可训练 token 追加到查询后，通过嵌入对齐和重建两个互补目标进行优化，既保证了嵌入质量又确保了可解释性。第三，训练完全自监督：仅需无标注查询，LLM 自身生成响应，无监督教师提供嵌入目标，消除了对策划配对数据的需求。第四，冻结 LLM 的设计使得同一模型可同时用于嵌入和生成，无需维护两套权重。第五，推理效率高：仅需单次前向传播，而 HyDE 需要在推理时生成多个文档。最后，Logit Lens 分析揭示了嵌入编码的语义内容，验证了输出中心范式的有效性——恶意查询的嵌入映射到安全相关词汇而非有害内容。
实验结果
LLM2Vec-Gen 在 MTEB(eng, v2) 基准测试上取得了最先进的自监督性能。以 Qwen-3-8B 为例，LLM2Vec-Gen 达到 61.9 的平均分，比 LLM2Vec 教师（56.8）提升 8.8%，缩小了与监督方法（65.7）的差距至 3.8 个百分点。在具体类别上，最大增益出现在聚类（+22.7%）、分类（+7.0%）和语义文本相似度（+9.8%）——这些正是多样化输入需要映射到相似输出的任务，输出中心嵌入的优势最为明显。在安全性评估（AdvBench-IR）上，LLM2Vec-Gen-Qwen-3-1.7B 将不安全检索分数从 46.7 降至 36.2，降低 22.6%，这是因为嵌入编码的是 LLM 的安全拒绝响应而非恶意意图。在推理密集型检索（BRIGHT）上，LLM2Vec-Gen 在所有模型尺寸上一致超越教师，增益从 7.7%（0.6B）到 35.6%（8B），证明推理能力确实迁移到了嵌入空间。消融实验表明，嵌入对齐损失是嵌入质量的主要驱动力（移除后 MTEB-Lite 从 67.9 降至 43.1），而重建损失确保可解释性。压缩 token 数量超过 10 后边际收益递减。使用同族嵌入教师效果最佳，跨族教师会导致性能下降。LoRA 微调 LLM 虽可提升分数，但需要维护独立权重，而冻结 LLM 的设计使同一模型可同时服务嵌入和生成任务。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MTEB(eng, v2) - Qwen-3-8B | 平均分（41个任务） | 61.9 | 56.8 (LLM2Vec) | +8.8% |
| MTEB(eng, v2) - Qwen-3-1.7B | 平均分（41个任务） | 58.6 | 54.8 (LLM2Vec) | +6.9% |
| MTEB(eng, v2) - Qwen-3-4B | 平均分（41个任务） | 60.6 | 56.8 (LLM2Vec) | +6.7% |
| AdvBench-IR - Qwen-3-1.7B | Top-5 准确率（越低越安全） | 36.2 | 46.7 (LLM2Vec) | -22.6%（更安全） |
| AdvBench-IR - Qwen-3-8B | Top-5 准确率（越低越安全） | 45.0 | 54.2 (LLM2Vec) | -17.0%（更安全） |
| BRIGHT - Qwen-3-8B | nDCG@10 | 20.2 | 14.9 (LLM2Vec) | +35.6% |
| BRIGHT - Qwen-3-0.6B | nDCG@10 | 11.6 | 10.8 (LLM2Vec) | +7.7% |
| MTEB 聚类 - Qwen-3-8B | 聚类分数（8个任务） | 49.8 | 40.6 (LLM2Vec) | +22.7% |
| MTEB STS - Qwen-3-8B | STS 分数（9个任务） | 79.7 | 72.6 (LLM2Vec) | +9.8% |
| MTEB 检索 - Qwen-3-8B | 检索分数（10个任务） | 43.3 | 42.7 (LLM2Vec) | +1.4% |
局限与改进
LLM2Vec-Gen 存在若干局限性。首先，在标准 MTEB 检索任务上，部分模型尺寸（如 Qwen-3-4B）的检索性能相比教师出现轻微下降（-3.1%），作者将此归因于输出中心嵌入在表面级词汇匹配任务上的优势有限，但在需要深层语义理解的推理密集型检索（BRIGHT）上优势明显。其次，摘要任务的表现不稳定：Qwen-3-1.7B 和 4B 分别下降 14.4% 和 7.7%，仅 8B 模型有小幅提升（+1.4%），说明输出中心范式对某些任务类型的迁移效果仍需改进。第三，方法依赖于同族的无监督嵌入教师，跨族教师（如 LLM2Vec-Llama-3.1-8B 和 BGE-M3）会导致性能下降，限制了方法的灵活性。第四，虽然推理时仅需单次前向传播，但压缩 token 的追加增加了序列长度，对长输入可能带来额外的计算开销。第五，训练数据使用 Tulu 指令跟随数据集的查询，而消融实验表明使用其他来源的响应（如 Gemini-3-flash）不会带来提升，暗示方法对训练数据分布有一定敏感性。最后，作者评估了使用监督嵌入教师的情况，发现除非引入 LoRA，否则无法超越监督教师本身，说明自监督与监督教师之间存在表征空间的不匹配问题。
独立分析的弱点
LLM2Vec-Gen 存在几个值得深入分析的弱点。第一，压缩 token 数量固定为 10 的设计可能不是最优的：不同任务（如短查询检索 vs 长文档聚类）可能需要不同的压缩粒度，但当前方法未提供自适应机制。改进方向可以是引入任务感知的动态压缩策略，根据输入复杂度调整 token 数量。第二，嵌入对齐使用均方损失进行点对点匹配，可能忽略了嵌入空间的全局结构（如角度关系、分布均匀性）。可以探索结合对比学习的混合目标，在保留输出中心特性的同时改善空间结构。第三，重建目标需要 LLM 进行第二次前向传播，虽然推理时可选，但训练时的计算成本翻倍。可以研究更高效的压缩信息保留机制，如变分自编码器或知识蒸馏的替代方案。第四，方法仅在英语 MTEB 上评估，未涉及多语言嵌入场景，而实际 RAG 应用常需处理多语言查询。第五，对摘要任务的不稳定性表明，输出中心范式在需要高度概括能力的任务上可能存在信息压缩不足的问题，可能需要针对不同任务类型设计特定的压缩策略或损失函数。
未来方向
作者提出的研究方向包括：探索输出中心范式与其他嵌入教师（如 BGE 系列）的兼容性，在更大规模模型和更多样化的任务上验证。基于现有成果，可以延伸的方向包括：(1) 将输出中心范式扩展到多模态嵌入，编码 LLM 对图像、音频等输入的潜在响应；(2) 结合 LoRA 微调与冻结骨干的混合策略，在需要时动态调整 LLM 的表征空间；(3) 研究压缩 token 数量与任务复杂度的关系，开发自适应压缩机制；(4) 将输出中心范式应用于检索增强生成（RAG）的端到端优化，使检索和生成在统一的语义空间中协同工作；(5) 探索输出中心嵌入在对话系统中的应用，编码多轮对话中模型的潜在回复以实现更准确的上下文检索；(6) 研究如何将输出中心范式与安全对齐的强化学习（如 RLHF）结合，进一步增强嵌入的安全性。
复现评估
LLM2Vec-Gen 的复现条件较为友好。代码、数据和预训练模型已在 GitHub 公开（https://github.com/McGill-NLP/llm2vec-gen），包括完整的训练和评估代码。训练数据使用公开的 Tulu 指令跟随数据集的 16 万条查询，无需私有数据。训练资源方面，8B 模型在 2 张 H100 GPU 上训练 1 个 epoch 约需 3.5 小时，batch size 为 32，对算力要求中等偏高但可接受。较小模型（0.6B-1.7B）的训练成本更低。方法仅需训练 10 个特殊 token 和两个轻量 MLP，参数量极小，训练效率高。无监督嵌入教师使用公开的 LLM2Vec 模型，无需额外训练。总体而言，复现难度较低，主要门槛是 H100 级别的 GPU 资源（对于 8B 模型），但较小模型可在更普通的硬件上复现。
论文图表
