LaSER：将显式推理内化到密集检索的潜在空间 LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval
LaSER通过自蒸馏将显式CoT推理内化到LLM检索器潜在空间，兼顾性能与效率。
前置知识
密集检索
密集检索是一种信息检索方法，通过编码器将查询和文档映射到共享的低维嵌入空间，利用向量相似度（如余弦相似度）计算相关性。与基于关键词匹配的传统检索不同，密集检索通过深度学习模型捕获语义关系，能够解决词汇不匹配问题。代表性工作包括DPR和Contriever等，它们通过对比学习优化嵌入表示，使得语义相似的查询和文档在嵌入空间中距离更近。
论文的核心工作就是在密集检索框架内引入推理能力，需要理解传统密集检索的工作原理及其在处理复杂查询时的局限性，才能准确把握LaSER的创新点和改进方向。
思维链
思维链是一种推理方法，通过显式地生成中间推理步骤来解决复杂问题。LLM被提示逐步思考，将复杂问题分解为一系列逻辑推理步骤，最终得出答案。CoT可以提高模型在数学、逻辑和多跳推理等任务上的表现，但需要生成额外的文本内容，带来计算开销。在信息检索中，CoT可以显式展示查询理解的推理过程，帮助识别隐含的查询意图。
论文利用显式CoT作为监督信号，将其语义内容内化到检索器的潜在推理过程中，因此需要理解CoT的生成机制、语义价值以及在检索场景中的应用方式。
知识蒸馏
知识蒸馏是一种模型压缩技术，将大型教师模型的知识迁移到小型学生模型中。蒸馏可以分为输出层蒸馏（对齐预测分布）和特征层蒸馏（对齐中间表示）。在信息检索中，蒸馏常用于将高性能嵌入模型的知识转移到轻量级模型，同时保持检索精度。蒸馏损失通常使用KL散度来衡量教师和学生输出分布的差异。
LaSER本质上是一种自蒸馏框架，将显式推理视图的知识蒸馏到潜在推理视图，需要理解蒸馏机制、目标函数设计以及在检索场景中的特殊挑战和解决方案。
潜在空间推理
潜在空间推理是指模型在连续的嵌入向量空间中执行推理，而不是生成离散的文本token。这种方法通过迭代生成连续的思考token或隐藏状态来模拟推理过程，避免了自回归文本生成的计算开销。关键挑战是如何确保这些潜在token捕获有意义的语义信息，而不是退化为无意义的向量。潜在空间推理需要精心设计的监督信号来指导推理过程。
这是论文的核心创新点，LaSER通过潜在空间推理实现高效推理，需要理解其与传统文本生成推理的区别、技术难点以及如何确保潜在推理的语义有效性。
研究动机
现有LLM-based密集检索器面临着一个关键的矛盾：虽然底层LLM具备强大的推理能力，但当前检索器主要将其用作静态编码器，通过对比学习优化表示区分度，很大程度上使生成式架构固有的推理能力处于休眠状态。这一问题在处理真实世界中的复杂用户查询时尤为突出，这些查询通常涉及隐式意图、多跳逻辑或模糊描述，需要超越表层语义匹配的推理能力。以BRIGHT数据集为例，在生物学、地球科学、经济学等12个推理密集型领域，标准密集检索器的平均nDCG@10仅为11.4-14.0，难以满足复杂查询的检索需求。现有方法要么采用重写-然后-检索管道，通过外部LLM生成显式CoT理由但延迟过高；要么使用隐式推理方法，生成潜在思考token但常因缺乏显式监督导致语义退化。
本文的目标是本文的核心目标是设计一个统一的检索框架，能够有效利用LLM的推理能力来增强密集检索性能，同时保持推理效率。具体而言，作者希望将显式CoT推理管道的推理深度与标准密集检索器的推理效率结合起来，在不依赖外部LLM生成显式文本的情况下，让检索器能够在潜在空间中静默思考，有效捕获复杂查询的语义和推理需求。最终目标是实现与计算密集型重写管道相当的性能，同时保持标准密集检索器的推理效率，使方法能够部署到实际生产环境中。
与已有工作不同的是，本文的独特切入角度在于内化，即利用LLM的显式推理能力作为特权监督，指导检索器的轻量级潜在推理。与现有方法不同，作者不将显式推理和隐式推理视为分离的范式，而是在统一框架内对齐它们，让检索器学会在潜在空间中静默思考。关键洞察是：虽然在推理时生成显式CoT效率低下，但这些推理路径携带的语义信息是有价值的。通过双视图对齐机制，作者将显式推理路径的语义压缩到有限数量的潜在token中，实现了推理能力与计算效率的平衡。这与现有方法形成鲜明对比：重写-然后-检索方法将推理和检索完全分离，隐式推理方法则缺乏足够的监督信号。
核心方法
LaSER采用自蒸馏框架，在共享的LLM backbone上同时训练显式视图和潜在视图。显式视图接收查询和高质量显式CoT理由，执行单次前向传播获取增强的查询表示，作为语义上界；潜在视图仅接收原始查询，在潜在嵌入空间中自回归生成K个连续潜在思考token，模拟推理过程。通过多粒度对齐策略，包括输出级和轨迹级对齐，将显式视图的推理能力蒸馏到潜在视图。推理时仅使用潜在视图，避免了显式文本生成的延迟开销。这种方法的核心思想是将推理过程压缩到连续向量空间，通过自蒸馏学习有意义的潜在推理轨迹，从而在保持效率的同时捕获复杂查询的推理需求。
LaSER的核心创新在于双视图自蒸馏框架和多粒度对齐机制。与现有方法相比，独特之处体现在四个方面：第一，显式视图和潜在视图共享backbone参数，通过共同学习实现更好的互适应，而非使用固定的教师模型；第二，不仅对齐最终输出表示，还通过轨迹对齐机制同步中间潜在状态与显式推理路径的语义进程；第三，采用时间下采样策略对齐不同粒度的推理步骤，使每个潜在token对应显式推理路径的语义关键帧；第四，使用soft token而非离散采样，保持语义丰富性和可微性。这种设计确保潜在推理不会退化，能够捕获有意义的中继语义信息，从而解决现有隐式推理方法语义退化的问题，使检索器能够在潜在空间中进行有意义的推理。
方法步骤详情
LaSER方法包含以下关键步骤：第一步是显式视图训练，对于每个查询q，使用外部reasoner（GPT-4o-mini）生成显式CoT理由rq，构造增强输入序列xexp，模型执行单次前向传播获取表示v_q*。从显式推理路径中提取中间token的隐藏状态h_E_j表示中继推理过程。第二步是潜在视图推理，仅使用原始查询q，自回归生成K个连续潜在思考tokenT。第j步通过投影h_{j-1}到词汇空间得到logits l_j，计算soft token t_j作为期望嵌入向量。最终通过均值池化K个隐藏状态得到v_q。第三步是多粒度对齐，输出级对齐通过KL散度最小化教师和学生相关性分数分布的差异；轨迹级对齐采用时间下采样j_i对齐中间潜在状态与显式推理段的文档批分布。第四步是联合优化，总目标函数L由对比损失、显式视图对比损失、输出级蒸馏损失和轨迹级对齐损失加权组成。
技术新颖性
LaSER的技术新颖性体现在多个方面：首先，首次将显式到隐式推理的蒸馏应用于密集检索领域，填补了利用显式CoT作为推理过程监督信号的空白；其次，提出了轨迹对齐机制，不仅对齐最终表示，还监督中继推理步骤，这是现有隐式推理方法所缺乏的；第三，设计了共享backbone的双视图自蒸馏框架，相比静态教师标签的离线蒸馏，动态共同学习促进了更好的视图间互适应；第四，证明了显式推理的语义可以有效压缩到潜在状态，仅用K=3个潜在步骤就能捕获推理路径的核心逻辑；第五，实验发现训练时增加K值收益甚微，但推理时增加K值能持续提升性能，表明模型学到了稳健的迭代细化机制而非固定轨迹。这些创新点共同使LaSER能够在保持效率的同时有效利用LLM的推理能力。
实验结果
LaSER在多个推理密集型基准数据集上取得了显著的性能提升。在BRIGHT数据集上，使用Qwen3-8B backbone的LaSER达到平均nDCG@10为29.3，相比原始Qwen3-Embedding-8B的14.0提升约109%，相比Fair Baseline的25.7提升约15%。值得注意的是，LaSER在Qwen3-0.6B小模型上的表现（23.1）甚至超过了计算密集型的重写管道（22.4），验证了自蒸馏框架的有效性。在out-of-domain的FollowIR数据集上，LaSER在Robust04、News21、Core17三个子集上的平均得分分别为4.1、5.8、12.5，显著优于Fair Baseline的2.8、4.4、11.0。在BrowseComp-Plus数据集上，LaSER的R@5、R@100、R@1000分别为11.7、38.4、66.9，相比基线方法有3-5个百分点的提升。消融实验显示，移除显式视图导致性能从23.10降至20.59，移除潜在视图降至19.93，移除轨迹对齐降至22.33，移除输出蒸馏降至19.97，证明了各组件的必要性。延迟分析表明，LaSER的推理延迟仅为重写-然后-检索管道的0.3%，相比标准检索器增加约1.7倍开销，但随模型规模增加而降低。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BRIGHT | nDCG@10 | 29.3 | 25.7 (Fair Baseline) | +14% |
| BRIGHT | nDCG@10 | 23.1 | 22.4 (Rewrite-then-Retrieve) | +0.7 |
| FollowIR | Avg Score | 12.5 | 11.0 (Fair Baseline) | +13.6% |
| BrowseComp-Plus | R@100 | 38.4 | 37.4 (Fair Baseline) | +2.7% |
| Latency | Relative Time | 1.7x | 333x (Rewrite Pipeline) | 99.5% reduction |
局限与改进
作者承认的局限性包括三个方面：首先，LaSER代表迈向完全自主潜在推理的初步步骤，推理轨迹仍依赖于显式CoT的指导，尚未实现完全自主的潜在推理；其次，推理步骤数K的选择需要权衡性能和效率，虽然实验发现K=3在训练时足够，但推理时更多步骤能带来持续提升；第三，方法依赖于高质量的显式CoT理由，如果外部reasoner生成的推理路径质量不佳，会影响蒸馏效果。此外，论文中观察到的额外局限性包括：轨迹对齐采用简单的均匀下采样策略，可能无法很好地适应不同长度和复杂度的推理路径；现有工作主要验证了在查询端的推理，未探索在文档端引入类似推理机制的潜在收益；实验仅验证了在学术基准数据集上的表现，在真实工业场景中的泛化能力有待进一步验证。这些局限性为未来研究指明了方向。
独立分析的弱点
LaSER存在的独立分析弱点包括四个方面：第一，对显式CoT质量的依赖性问题，当前方法完全依赖外部reasoner生成的推理路径质量，如果reasoner在特定领域表现不佳，会直接影响蒸馏效果。改进方向可以是开发质量感知的蒸馏机制，降低对低质量推理路径的权重，或者通过多reasoner集成提高CoT的鲁棒性。第二，固定的推理粒度问题，轨迹对齐采用简单的均匀时间下采样，假设推理路径的语义信息均匀分布，但实际推理过程中不同步骤的重要性可能差异很大。改进方向可以是学习重要性权重或采用自适应采样策略，让模型学习对齐关键推理步骤。第三，仅关注查询端推理，现有工作仅在查询端引入推理机制，文档仍通过标准编码处理，可能丢失文档中包含的推理相关信息。改进方向可以探索文档端的潜在推理机制，实现双向推理增强。第四，缺乏推理过程的可解释性，虽然显式视图提供推理路径，但潜在推理过程仍是黑箱，难以解释模型学到了什么样的推理逻辑。改进方向可以开发潜在推理过程的可视化或分析工具。
未来方向
作者提出的未来工作方向包括探索强化学习技术，通过直接基于检索效用优化潜在推理轨迹。基于当前成果可延伸的研究方向包括五个方面：首先，多任务潜在推理，将LaSER框架扩展到多任务场景，在不同检索任务间共享推理能力，提高泛化性；其次，跨模态推理，将显式到隐式推理的蒸馏思想应用到多模态检索中，如图像-文本检索，在视觉嵌入空间中引入推理机制；第三，动态推理深度，学习根据查询复杂度自适应调整推理步骤数K，简单查询使用较少步骤，复杂查询使用更多步骤，实现性能和效率的动态平衡；第四，推理质量评估，开发评估潜在推理质量的指标，不仅基于最终检索性能，还评估中间推理步骤的语义合理性；第五，与检索后端集成，将潜在推理与重排序、过滤等后端流程结合，构建端到端的推理增强检索系统。这些方向都有望进一步推动推理增强检索的发展。
复现评估
LaSER的复现评估从五个方面进行分析：开源情况方面，作者声明代码、模型和训练数据已在GitHub开源，这是一个积极的信号，有助于社区验证和扩展；数据依赖方面，训练使用ReasonEmb数据集（81k训练样本，12个领域），评估使用BRIGHT、FollowIR、BrowseComp-Plus基准数据集，这些都是公开可用的数据集，降低了复现门槛；算力需求方面，实验使用4张A100 GPU训练1个epoch，全局批大小为8，这对学术研究机构来说是可接受的；实现细节方面，论文提供了超参数设置（序列长度512、8192、1024，温度0.02，损失权重λ1=1、λ2=10、λ3=0.1，推理步骤K=3），这些细节有助于复现；基线比较方面，作者使用相同的backbone和训练数据复现了公平基线，确保了比较的公平性。总体而言，论文提供了充分的技术细节和开源承诺，复现难度中等偏低。潜在的复现挑战包括显式CoT的生成依赖于GPT-4o-mini需要API访问权限，不同backbone的性能差异可能需要调优特定参数，实验在特定GPU配置下进行不同硬件配置可能导致性能差异。
论文图表
左侧对比了三种检索架构：基础检索器进行单次前向传播实现浅层匹配；重写-然后-检索方法使用外部重写器生成查询扩展，延迟较高；LaSER方法在潜在空间中生成思考token，延迟较低。右侧展示了不同方法在BRIGHT基准上的性能与延迟对比，Rewrite-then-Retrieve方法使用0.6B检索器和3B重写器。LaSER在保持竞争力的性能（约23.1 nDCG@10）的同时，延迟显著低于重写管道，且略高于基础检索器。这张图直观地展示了LaSER方法在性能和效率之间的有效平衡。
这张图对理解论文至关重要，因为它直观地展示了LaSER方法的核心价值主张：在不牺牲检索性能的前提下，大幅降低推理延迟。左侧的三种架构对比清楚地说明了方法的技术路线，右侧的性能-延迟权衡图量化了实际收益，验证了设计目标的有效性。这张图帮助读者快速理解LaSER相对于现有方法的优势所在。