超越难负例：分数分布在密集检索知识蒸馏中的重要性 Beyond Hard Negatives: The Importance of Score Distribution in Knowledge Distillation for Dense Retrieval
提出分层采样策略，通过保留教师分数分布多样性提升蒸馏检索泛化能力
前置知识
密集检索 (Dense Retrieval)
采用双编码器（bi-encoder）结构将查询和文档分别编码为单一向量，通过最大内积或余弦相似度进行检索。效率高、可扩展性强，但因压缩语义到一个向量导致排序质量低于交叉编码器。
本文研究的核心场景就是如何用知识蒸馏提升双编码器检索器，使其逼近交叉编码器重排器的效果。
知识蒸馏 (Knowledge Distillation, KD)
用强大的教师模型（通常是计算昂贵的交叉编码器）指导轻量学生模型（双编码器）训练，通过让学生拟合教师的输出分布或分数来迁移知识。常见损失包括 KL 散度和 MarginMSE。
整篇工作就是在 KD 框架下讨论训练样本组成策略对蒸馏效果的影响，是问题设定的根基。
难负样本 (Hard Negatives)
与查询表面相似但实际不相关的文档，是信息检索中负采样的核心。常见挖掘方式包括 BM25 启发式、首阶段检索器 Top-K、以及更复杂的动态 miner（如 ADistill、RocketQA）。
本文正是对'只关注难负例'这一主流做法的反思，论证分数分布多样性比单纯追求难度更重要。
KL 散度 (KL-Divergence) 列表式蒸馏
对学生和教师在候选集合 $C$ 上的 softmax 分布计算 $\mathcal{L}_{KL}=\sum_{d_i\in C} p_i^t \log\frac{p_i^t}{p_i^s}$，让学生整体拟合教师对候选的相对偏好排序。温度 $\tau$ 控制分布平滑度。
本文主实验中两种蒸馏目标之一，验证分布保持的采样策略在不同损失下都有效。
MarginMSE 蒸馏损失
回归学生与教师在 (正例, 负例) 对上的相对分数之差：$\mathcal{L}_{MSE}=\frac{1}{K}\sum_{k=1}^K\left[(s(q,d^+)-s(q,d_k^-))-(t(q,d^+)-t(q,d_k^-))\right]^2$，比 KL 更直接但对样本噪声更敏感。
实验显示 MarginMSE 在错误采样下会训练崩塌（如 co-condenser + reranker-top 的 MRR@10 仅 .006），凸显分布多样性的关键作用。
研究动机
在密集检索的知识蒸馏训练中，研究者长期把焦点放在 hard negative mining 上，普遍采用 Top-K 难负例（retriever-top 或 reranker-top）来构造训练三元组 $\langle q, d^+, \{d^-\}_{1:K}\rangle$。但这种方式让候选集被局限在教师分数分布的某一小段区间，比如 reranker-top 只观察高分区，low 只观察低分区，mid 只看中位区。论文统计显示，reranker-top 在 200 候选池中的分数覆盖率（Coverage）仅 0.106、熵 0.202、标准差 0.035，几乎看不到分布的整体形状。结果是学生模型只学到某种'难度切片'上的决策边界，泛化能力受损，尤其在 out-of-domain 场景（如 BEIR-13）下掉点明显，甚至 MarginMSE + co-condenser + reranker-top 组合直接训练崩塌（MRR@10 仅 .006）。
本文的目标是论文目标是为密集检索的知识蒸馏设计一种简单、确定、无需调参的候选采样策略，使得每条训练样本的负样本集合都能均匀覆盖教师分数的整个区间 $[0,1]$，从而让学生学到教师偏好的完整结构，而不是只拟合高分区或低分区。最终希望该策略在多个 backbone（bert-base、distilbert-base、co-condenser）和两种蒸馏目标（KL-Divergence、MarginMSE）下都稳定优于 Top-K 与随机采样，且对候选数 $K$ 的变化鲁棒。
与已有工作不同的是，现有提升蒸馏泛化的工作（如 RocketQA、ADAM、Prod 等）多聚焦于动态 miner、课程学习或几何约束，需要复杂调度、辅助损失或动态管线，对算力与工程实现门槛较高。本文独辟蹊径，回到训练数据的静态组成本身，用基于分位数的 Stratified Sampling 确定性覆盖整个分数谱，统计上保证分布的代表性与多样性，无需任何超参调度。这与所有依赖启发式 Top-K 的方法形成本质区别，也是论文的核心切入点，为未来数据设计提供'标准准则'。
核心方法
方法核心是 Stratified Sampling：从一个固定的候选池（每 query 200 个负样本，由 Qwen3-Embedding-8B 取 Top-100 + 随机 100 构成）中，先对教师的原始分数做查询级 min-max 归一化到 $[0,1]$，再根据要选 $K$ 个负样本的需求，生成 $K$ 个均匀分布的分位锚点 $\tau_j$，对应累积概率 $p_j=\frac{j-1}{K-1}$（$j=1\dots K$），最后在 200 个候选里反复选择与每个锚点分数差异最小的不同文档。这样选出的 $K$ 个负样本在 $[0,1]$ 分数轴上等距分布，统计上重现教师对候选的偏好骨架。
与传统 Top-K（只看高分）或 Random（无结构）不同，Stratified Sampling 的本质是'分布的骨架保留'：通过分位数锚点 + 最近邻选择，把 teacher score 的 variance 和 entropy 完整传递给学生，避开 random 带来的方差抖动，也避开 top-K 的尾部偏置。整个方法无参数、无需训练、无需调度，对 $K$ 不敏感，是真正'即插即用'的采样器。
方法步骤详情
方法分四步：(1) 候选池构建——用 Qwen3-Embedding-8B 在 MSMARCO-Train（8.8M 文档、532K 查询）上对每 query 取 Top-100，再均匀随机采 100 个（排除 Top-100），得每 query 200 负样本的固定池；(2) 教师打分——Qwen3-Reranker-8B 对 200 负样本 + 1 正样本共 201 文档打分，查询级 min-max 归一化到 $\tilde s_i^{(t)}\in[0,1]$；(3) 分层采样——给定 $K$（默认 8），计算累积概率 $p_j=\frac{j-1}{K-1}$ 对应的分位锚点 $\tau_j$，贪心选 $\arg\min_{d^-}|\tilde s_{d^-}^{(t)}-\tau_j|$ 且不重复；(4) 训练——两阶段：先 InfoNCE 预热（仅 in-batch negatives），再用上述样本配 KL-Div（$\tau=1.0$）或 MarginMSE 蒸馏 1 epoch，batch 1024/16、max length 512、LR 2e-5。
技术新颖性
技术新颖性体现在三方面：(a) 把训练样本组成的视角从'挖掘难度'切换到'覆盖分布'，引入统计学中的分位数分层思想，首次在密集检索 KD 中量化分析分数覆盖度（Coverage）、熵（Entropy）和标准差（Std）三类分布指标；(b) 严格的实验隔离设计——固定候选池 + 同管线 + 多 backbone × 多目标，让采样策略成为唯一变量，避免被动态 miner 的复杂度污染结论；(c) 实证发现分布多样性与最终性能的强相关性（排序高度一致），并证明 MarginMSE 在错误采样下崩塌而 KL 仍稳定，揭示回归式损失对分布偏置更敏感的现象。这些发现对未来蒸馏数据设计具有'标准准则'意义。
实验结果
Table 2 显示 Stratified 在 6 种采样策略中全面领跑：co-condenser + KL-Div 下 MSMARCO Dev MRR@10=.313（TREC-19 .587、BEIR-13 .365），相对 reranker-top 的 .255 提升约 23%；同 backbone 切换到 MarginMSE，Stratified 仍取 MRR@10=.307、BEIR-13=.376，而 reranker-top 几乎崩塌（MRR@10 仅 .006）。Table 3 分布统计：Stratified 的 Coverage=0.990、Entropy=1.523、Std=0.359，远超 random 的 0.759/1.270/0.295，且多样性排序与性能排序高度对齐，证实'分布覆盖决定泛化'。Figure 2 验证 $K\in\{4,8,16\}$ 下 Stratified 几乎不波动，最高分由 MarginMSE + $K=16$ + Stratified 取得（TREC-19 nDCG@10=.531，BEIR=.343）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MSMARCO Dev（域内检索） | MRR@10 | 0.313（co-condenser + KL-Divergence + Stratified） | 0.255（co-condenser + KL-Divergence + reranker-top） | +0.058 绝对值，约 +23% 相对提升 |
| TREC DL 19（域内检索） | nDCG@10 | 0.531（distilbert + MarginMSE + K=16 + Stratified） | 0.470（distilbert + MarginMSE + K=16 + reranker-top 对照） | +0.061 绝对值，证实分布保持对回归式损失尤其关键 |
| BEIR-13（域外零样本评估） | nDCG@10 | 0.376（co-condenser + MarginMSE + Stratified） | 0.123（co-condenser + MarginMSE + reranker-top，已崩塌） | +0.253 绝对值，超三倍，证明分布多样性对跨域泛化至关重要 |
| MSMARCO Dev（bert-base） | MRR@10 | 0.266（bert-base + KL-Divergence + Stratified） | 0.166（bert-base + KL-Divergence + retriever-top） | +0.100 绝对值，约 +60% 相对提升 |
| 分数分布多样性 | Coverage / Entropy / Std | 0.990 / 1.523 / 0.359（Stratified） | 0.106 / 0.202 / 0.035（reranker-top） | 覆盖率提升 9.3 倍、熵提升 7.5 倍，且该多样性排序与下游性能排序高度一致 |
局限与改进
作者明确承认的局限：(1) 评估局限于固定候选池协议（每 query 200 负样本 + Qwen3-Embedding 挖 Top-100 + 随机 100），刻意排除了动态 miner 的影响，因此结论是否在真实大规模动态管线中依然成立未被验证；(2) 教师固定为 Qwen3-Reranker-8B，分数归一化策略依赖该模型，未测试不同 reranker 间的迁移；(3) 实验仅在 MSMARCO 训练 + BEIR 评估上做，没在更大规模语料（如 C4、ClueWeb）或其他语言上验证。我额外观察到：(a) Stratified 的复杂度 $O(K\cdot N)$，在大 $K$ 或大候选池时会有可观开销；(b) 表 1 显示 batch size 在 CL 阶段为 1024、KD 阶段骤降到 16，对算力需求可能不低；(c) 当 $K=4$ 极小候选时 BEIR 反被 random 略胜，说明 Stratified 在小 $K$ 下分位数粒度有限，未来可结合动态配额做改进。
独立分析的弱点
独立分析有三个主要弱点：(1) 候选池静态化虽然隔离了变量，但牺牲了真实场景下的 miner 信号——Top-100 来自 Qwen3-Embedding 而非训练中的学生，无法反映学生在训练后期对分布的反馈，改进方向是引入学生自反馈的动态池；(2) Stratified 完全依赖 min-max 归一化，对分数极端集中（如教师对所有负样本都很自信）的 query 会让分层退化为近似 random，可改用 rank-based 或分位数归一化；(3) $K=8$ 默认值是经验设定，未给出自适应选择策略，未来可结合 query 难度或 teacher 熵做 per-query $K$ 调节。此外，单教师依赖让方法在多教师蒸馏场景（如 RocketQAv2 的 cross-architecture 蒸馏）下未必直接可用。
未来方向
作者在结论中暗示 Stratified 可作为'未来蒸馏数据设计的标准准则'，可延伸的方向包括：(a) 将分层采样与课程学习结合——先 Stratified 学分布骨架，再切到 hard-negative 精调；(b) 探索 per-query 自适应 $K$，根据 query 难度或 teacher 熵动态决定分位数粒度；(c) 把 Stratified 思想迁移到生成式检索、多向量检索（ColBERT 风格）或稠密-稀疏混合检索的蒸馏中；(d) 多教师蒸馏场景下如何对多个 score 分布做联合分层；(e) 与 ADistill、Prod 等动态 miner 结合，验证分层约束是否能进一步提升性能上限。
复现评估
复现评估：训练数据 MSMARCO-Train（8.8M 文档、532K 查询）和评估集 BEIR-13、TREC DL 19、MSMARCO Dev 均为公开标准基准；学生 backbone 全部用 HuggingFace 上的 bert-base-uncased、distilbert-base-uncased、co-condenser-marco 公开权重；教师 Qwen3-Embedding-8B 与 Qwen3-Reranker-8B 也是开源模型，200 候选池与分数归一化理论上可重跑。超参全部给出：CL/KD batch 1024/16、max length 512、pooling mean、epoch 各 1、LR 2e-5、KL 温度 $\tau=1.0$。难度在于论文未公开代码仓库，200 候选池构建顺序与归一化需自行实现；KD 阶段 batch=16 + max length 512 + co-condenser 在多卡 A100 上训练数小时；BEIR-13 评估开销可观。整体复现可行性中等偏上。
论文图表