推理模型能否增强嵌入模型？——基于层级表征相似性分析的实证研究 Do Reasoning Models Enhance Embedding Models?
RLVR优化的推理模型作为嵌入模型骨干时并无优势，但对比学习可对齐两者
前置知识
RLVR（Reinforcement Learning with Verifiable Rewards）
一种使用可验证奖励信号（如数学题答案的正确性）而非人类偏好来训练语言模型的强化学习方法。DeepSeek-R1 等推理模型即通过此范式训练，使模型在推理任务上表现出质的飞跃。与传统 RLHF 不同，RLVR 的奖励是确定性的、可自动验证的，这使得训练更加稳定和可复现。典型流程是先用基础模型初始化，然后通过 GRPO 或 DAPO 等算法在数学、代码等可验证任务上进行强化学习。
本文的核心问题就是：经过 RLVR 训练后的推理模型，其表征空间是否更适合做文本嵌入？理解 RLVR 的工作原理是理解本文假设和实验设计的前提。
对比学习（Contrastive Learning）
一种通过拉近语义相似文本的表征、推远不相似文本的表征来训练嵌入模型的方法。常用 InfoNCE 损失函数 $\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k=1}^{N} \exp(\text{sim}(z_i, z_k)/\tau)}$，其中 $z_i, z_j$ 是正样本对的嵌入向量，$\tau$ 是温度参数。这是当前主流文本嵌入模型（如 E5、GTE 系列）的标准训练范式，将 decoder-only LLM 适配为嵌入模型。
本文的关键发现之一是对比学习具有「流形重新对齐」（Manifold Realignment）的能力，能覆盖 RLVR 带来的表征漂移，这直接影响了实验结论。
表征相似性分析（Representational Similarity Analysis, RSA）
一种比较不同模型内部表征结构的分析框架，起源于神经科学。核心思想是通过比较模型对同一组输入产生的表征矩阵之间的相似性（如 CKA、线性中心对齐核等），来判断两个模型是否以相似的方式组织语义信息。传统 RSA 通常只关注单一层面的对齐度量，缺乏系统性的分层分析。
本文提出的 HRSA 框架是 RSA 的层级化扩展，是理解本文方法论贡献的核心基础。作者指出传统 RSA 的度量杂乱无章（disorganized），需要一个统一的分层框架。
流形（Latent Manifold）
在高维表征空间 $\mathbb{R}^D$ 中，模型对输入文本产生的嵌入向量并非均匀分布在整个空间中，而是集中在一个低维的几何结构上，这个结构就是流形 $Z \subset \mathbb{R}^D$。流形的全局几何（如簇结构、各向异性）决定了语义的整体组织方式，而局部几何（如近邻关系）决定了细粒度的语义相似性判断。线性读出（linear readout）则对应流形上可线性解码的任务信息。
本文的核心发现就是 RLVR 对流形不同层面的影响不同：保持全局几何和线性读出不变，但重组局部几何。理解流形的概念是理解 Manifold Realignment 现象的关键。
Linear CKA（Centered Kernel Alignment）
一种衡量两个表征矩阵全局几何相似性的指标。给定两个表征矩阵 $X, Y \in \mathbb{R}^{N \times D}$，计算其线性核矩阵 $K_X = XX^\top$ 和 $K_Y = YY^\top$，然后通过 HSIC 归一化得到 $\text{CKA}(X, Y) = \frac{\text{HSIC}(K_X, K_Y)}{\sqrt{\text{HSIC}(K_X, K_X) \cdot \text{HSIC}(K_Y, K_Y)}}$。CKA 对正交变换和各向同性缩放具有不变性，因此衡量的是流形的「形状」而非坐标系的选择。
HRSA 的几何层分析核心依赖 Linear CKA。论文发现 RLVR 前后的 CKA 值保持很高（约等距变换），而 SFT 后 CKA 显著下降，这是区分两种训练范式的关键证据。
研究动机
当前最先进的文本嵌入模型越来越多地采用 decoder-only LLM 作为骨干网络，通过对比学习将其适配为嵌入模型。与此同时，通过 RLVR 训练的推理模型（如 DeepSeek-R1、Qwen3-PSR）在复杂推理任务上展现了质的飞跃。一个自然的假设是：这些「思考更深」的推理模型是否能产生更优秀的语义表征空间？这个问题在学术界和工业界都具有重要意义，因为如果推理能力确实能迁移到嵌入质量上，那么选择推理模型作为嵌入模型的初始化骨干将是一个免费的性能提升。然而，此前没有人系统地验证过这一假设，也没有工具来诊断训练过程对表征空间的内部影响。
本文的目标是本文的目标有两个层面：第一，通过严格控制的实验，在 MTEB（多语言 v2）、MTEB（代码 v1）和 BRIGHT 三个基准上系统比较 RLVR 调优的推理模型骨干与基础模型骨干在嵌入任务上的表现差异，建立基线结论；第二，提出 HRSA（层级表征相似性分析）框架，从表征层、几何层、功能层三个抽象层次诊断 RLVR 训练对潜流形的内部影响机制，解释为什么会出现这样的实验结果。
与已有工作不同的是，此前的 RSA 研究通常只报告单一层面的对齐度量，没有系统地组织不同抽象层次的变化模式，也没有将 RLVR 的更新特性与表征几何联系起来。已有的 RLVR 分析工作（如 Shenfeld et al., 2025; Zhu et al., 2025a）虽然发现 RLVR 保持接近预训练解，但没有直接刻画 RLVR 引起的表征变化。本文的独特切入角度是：将嵌入基准测试的宏观结果与表征几何的微观分析相结合，通过 HRSA 框架将「为什么推理模型没有提升嵌入质量」这一反直觉现象拆解为坐标基、流形几何、线性读出三个层面的具体机制，并发现了 Manifold Realignment 这一新现象。
核心方法
本文的分析方法分为两个层次：首先是系统性的基准测试，将 RLVR 调优的推理模型和对应的基础模型分别训练为嵌入模型（使用完全相同的架构和训练配方），在多个基准上比较性能差异；然后是 HRSA 框架的深层诊断，从三个嵌套的抽象层次分析基础模型与推理模型之间的表征差异。直觉上，如果推理模型的嵌入质量与基础模型相同，那么问题就变成：RLVR 训练到底改变了模型内部的什么？HRSA 的设计哲学是，不同层次的分析对不同类型的变换具有不变性——表征层关注坐标基的对应关系，几何层关注流形的形状（对坐标变换不变），功能层关注输入-输出映射（对内部几何细节不变）。
本文的核心创新是 HRSA 框架和 Manifold Realignment 的发现。HRSA 不是一个特定的度量工具，而是一个分层的分析范式，其核心在于每个抽象层次所要求的不变性性质。表征层度量对正交变换和神经元置换不不变；几何层度量对正交变换和神经元置换不变但对非等距变形敏感；功能层则完全抽象掉内部几何细节。与已有方法的本质区别在于：传统 RSA 只关注单一层面的对齐，而 HRSA 揭示了 RLVR 训练对不同层面的差异化影响——全局几何保持不变（近等距变换），局部几何发生不可逆重组，坐标基漂移在长时间训练后才出现但可通过对比学习逆转。Manifold Realignment 则是对比学习将基础模型和推理模型初始化的嵌入模型「拉回」到相似流形结构的现象，这解释了为什么基准测试结果相同。
方法步骤详情
HRSA 框架的分析步骤如下：第一步，准备共享输入序列，对同一组 $N$ 个 token 位置收集两个模型的表征矩阵 $X, Y \in \mathbb{R}^{N \times D}$，其中 $X$ 来自基础模型 $M_{\text{base}}$，$Y$ 来自推理模型 $M_{\text{reason}}$。第二步，表征层分析：计算维度级相关性 $\rho_j(X, Y) = \frac{(X_{:j})^\top Y_{:j}}{\|X_{:j}\| \|Y_{:j}\|}$，逐维度检验轴对齐的特征对应关系；同时进行正交 Procrustes 分析，求解 $O^* = \arg\min_{O^\top O = I} \|XO - Y\|_F^2$，通过 $O^*$ 的逆行熵判断是否存在一一对应的特征映射。第三步，几何层分析：计算 Linear CKA 衡量全局流形几何相似性；计算 $k$-NN 重叠率 $\tilde{s}_k = \frac{1}{N} \sum_{i=1}^{N} \frac{|N_k^X(i) \cap N_k^Y(i)|}{|N_k^X(i) \cup N_k^Y(i)|}$ 衡量局部几何保持程度。第四步，功能层分析：在模型 $X$ 上训练线性探针 $\hat{y} = XW_X + b_X$，然后冻结参数直接在模型 $Y$ 上评估，检验跨模型的线性读出迁移能力。第五步，在嵌入模型对上重复以上分析，观察对比学习后的表征变化。
技术新颖性
本文的技术新颖性体现在三个方面：第一，HRSA 框架首次将表征相似性分析组织为层次化的不变性分析体系，不同层次对应不同的等价变换群，这为后续可解释性研究提供了统一的分析工具箱。第二，Manifold Realignment 的发现——对比学习能「覆盖」RLVR 带来的坐标基漂移——是一个全新的现象，揭示了对比学习的一种隐式正则化效果。第三，作者将 RLVR 的效果精确刻画为「轨迹优化」而非「景观重塑」：RLVR 优化的是模型在已有语义景观中遍历的轨迹（即策略），而非根本性地重构语义景观本身，这一比喻将 RLVR 与 SFT（后者会根本性地重构景观）做了清晰区分。表征层的 Orthogonal Procrustes 分析中，SFT 的 $O^*$ 是稠密的（特征混叠严重，逆熵仅 0.108），而 RLVR 的 $O^*$ 接近置换矩阵（逆熵 0.161），对比学习后进一步升至 0.863，这些数据有力支撑了上述论断。
实验结果
本文的核心发现可以概括为以下几点：首先，在三个基准测试（MTEB 多语言 v2、MTEB 代码 v1、BRIGHT）上，RLVR 调优的推理模型骨干与基础模型骨干训练出的嵌入模型性能几乎完全相同。具体而言，Qwen2.5-1.5B vs SRL-Zoo 的差异仅为 $-0.19 \pm 0.07$（MTEB 多语言）、$-0.26 \pm 0.08$（MTEB 代码）、$+0.18 \pm 0.04$（BRIGHT）；Qwen3-4B vs PSR 的差异为 $-0.06 \pm 0.05$、$+0.67 \pm 0.03$、$+0.07 \pm 0.03$。相比之下，SFT 调优的 Qwen3-0.6B 在 MTEB 多语言上出现了 $-12.03$ 的大幅下降。HRSA 分析揭示了这一「零效应」的内部机制：在几何层，RLVR 前后的 Linear CKA 值保持很高（接近 1），表明全局流形几何近似等距保持，而 SFT 后 CKA 显著下降；在局部几何上，RLVR 的 $k$-NN 平均重叠率远高于 SFT（$k=5$ 时 0.455 vs 0.052），但仍低于 1，说明局部几何发生了不可逆重组。在表征层，RLVR 的正交矩阵 $O^*$ 接近置换矩阵（逆熵 0.161），而 SFT 的 $O^*$ 是稠密的（逆熵 0.108）。在功能层，跨模型线性探针在 RLVR 对上的迁移精度远高于 SFT 对。最关键的是，对比学习后的嵌入模型对在所有层面都表现出更强的对齐（Manifold Realignment），$k$-NN 重叠率保持稳定（如 $k=5$ 从 0.455 微降至 0.451），Linear CKA 进一步升高，坐标基漂移被逆转。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MTEB(Multilingual, v2) - 多语言嵌入基准 | 均分（Mean Score） | RLVR 骨干嵌入模型：Qwen2.5-1.5B-SRL-Zoo 54.54、Qwen2.5-0.5B-SRL-Zoo 51.27、NV-ProRL 46.25、Qwen3-4B-PSR 59.79 | 基础骨干嵌入模型：Qwen2.5-1.5B 54.73、Qwen2.5-0.5B 51.25、DS-Distill-1.5B 46.19、Qwen3-4B 59.85 | 差异接近零：$-0.19 \pm 0.07$、$+0.02 \pm 0.09$、$+0.06 \pm 0.06$、$-0.06 \pm 0.05$，统计上无显著差异 |
| MTEB(Code, v1) - 代码嵌入基准 | 均分（Mean Score） | RLVR 骨干嵌入模型：Qwen2.5-1.5B-SRL-Zoo 58.72、Qwen2.5-0.5B-SRL-Zoo 57.53、NV-ProRL 45.87、Qwen3-4B-PSR 64.57 | 基础骨干嵌入模型：Qwen2.5-1.5B 58.98、Qwen2.5-0.5B 57.41、DS-Distill-1.5B 45.47、Qwen3-4B 63.90 | 差异同样接近零：$-0.26 \pm 0.08$、$+0.12 \pm 0.07$、$+0.40 \pm 0.07$、$+0.67 \pm 0.03$ |
| BRIGHT - 推理领域嵌入基准 | 均分（Mean Score） | RLVR 骨干嵌入模型：Qwen2.5-1.5B-SRL-Zoo 17.89、Qwen2.5-0.5B-SRL-Zoo 13.99、NV-ProRL 9.47、Qwen3-4B-PSR 18.17 | 基础骨干嵌入模型：Qwen2.5-1.5B 17.71、Qwen2.5-0.5B 14.05、DS-Distill-1.5B 9.02、Qwen3-4B 18.10 | 差异微小：$+0.18 \pm 0.04$、$-0.06 \pm 0.05$、$+0.45 \pm 0.02$、$+0.07 \pm 0.03$，BRIGHT 与 RLVR 训练数据同域但仍未见提升 |
| SFT 对照组 - MTEB(Multilingual, v2) | 均分（Mean Score） | SFT 骨干 Qwen3-0.6B 嵌入模型：41.47 | 基础骨干 Qwen3-0.6B-Base 嵌入模型：53.50 | SFT 导致 $-12.03 \pm 0.14$ 的大幅下降，与 RLVR 的零效应形成鲜明对比 |
局限与改进
本文存在以下局限性：首先，实验规模受限于模型大小（最大为 4B 参数）和数量（4 对 RLVR 模型、1 对 SFT 模型），未能验证结论在更大规模模型（如 70B+）上是否成立，而大规模推理模型的表征空间可能展现出不同的特性。其次，HRSA 分析中使用的度量指标（如 Linear CKA）已被发现在高维情况下可能被操纵而不引起大的功能行为变化（Davari et al., 2023），因此 CKA 结果不应直接等同于线性可分性或任务等价性。第三，作者自己承认尚未完全解释为什么 RLVR 产生持久的局部几何重组而保持全局几何和线性读出方向稳定，也不清楚是什么训练信号控制坐标基漂移的起始和可逆性。第四，功能层分析仅使用了 AG News 文本分类任务的线性探针，覆盖面有限，不能代表所有下游任务的线性可解码能力。此外，论文只考虑了 zero-RL（直接从基础模型开始 RLVR）的设置，未涉及有 SFT warm-start 阶段的 RLVR 流程，而后者在实践中更为常见。
独立分析的弱点
本文存在以下值得改进的弱点：第一，实验中推理模型的选择偏向特定训练算法（主要是 GRPO 和 DAPO），未覆盖 RLVR 领域中其他重要的奖励建模和优化策略（如 REINFORCE 变体、过程奖励模型引导的 RL），这限制了结论的普适性。第二，HRSA 框架虽然提出了三个层次的分析，但每个层次只使用了 1-2 个度量指标，缺乏对每个层次不变性要求的严格数学证明和度量指标选择的充分论证——例如，为什么选择 $k$-NN 重叠而非其他局部几何度量（如 persistent homology）？第三，论文声称 RLVR 是「轨迹优化」而非「景观重塑」，但缺乏对「景观」的形式化定义和可操作的量化指标，这个比喻目前更多是直觉性的而非严格的。第四，对比学习阶段使用的训练数据和超参数选择的敏感性未被充分探索——在不同的对比学习配置下，Manifold Realignment 是否仍然成立？改进方向可以包括：扩展到更多模型规模和训练算法；在每个抽象层次引入更多互补度量指标；建立景观的形式化定义并设计直接的量化实验；系统地探索对比学习阶段的超参数敏感性。
未来方向
作者提出了几个具体的研究方向：第一，基于 RLVR 的「局部几何重组 + 全局几何保持」特性，可以设计具有几何和基感知正则化的 SFT 方法——例如显式约束全局流形距离或惩罚过度的坐标基漂移，同时鼓励受控的局部几何重组，测试这种受限 SFT 是否能达到 RLVR 的表征效果。第二，通过控制干预实验（如奖励塑造、课程学习、KL/熵约束）配合 HRSA 分析，隔离 RLVR 目标函数中哪些具体组件驱动了几何效应。第三，将 Manifold Realignment 假说扩展到视觉和音频等其他模态的表征学习中验证。基于本文成果可延伸的方向还包括：利用 HRSA 分析其他训练范式（如 DPO、KTO）对表征几何的影响；研究 RLVR 训练过程中奖励信号的稀疏性/稠密性如何影响局部几何重组的程度；探索是否可以在嵌入模型训练中直接利用 RLVR 的局部几何重组能力来提升特定领域的嵌入质量。
复现评估
本文的复现条件较为友好。论文使用的模型均为公开可用的开源模型：Qwen2.5-1.5B、Qwen2.5-0.5B、DeepSeek-R1-Distill-Qwen-1.5B、Nemotron-Research-Reasoning-Qwen-1.5B、Qwen3-4B 等，均可从 HuggingFace 下载。嵌入模型训练使用标准的 InfoNCE 对比学习配方，训练细节在附录 A 中提供。评估基准 MTEB（多语言 v2）、MTEB（代码 v1）和 BRIGHT 均有标准化的评估脚本。HRSA 中使用的度量（Linear CKA、$k$-NN 重叠、Orthogonal Procrustes、跨模型线性探针）均有成熟的开源实现。主要的复现障碍在于：需要为每对模型收集所有层的隐藏状态（$N$ 个 token × $L$ 层 × $D$ 维），存储和计算开销较大；嵌入模型训练需要 3 个随机种子取平均，增加了计算成本；论文未明确说明是否会在 GitHub 开源 HRSA 的完整实现代码。总体而言，具备中等算力（单张 A100 级别 GPU）的研究者可以在数天内完成主要实验的复现。
论文图表
