← 返回 2026-09-30

稠密检索何时需要非对称几何：共享投影与双投影的偏差—方差理论 When Does Dense Retrieval Need Asymmetric Geometry? A Bias-Variance Theory of Shared and Dual Projections

Maojun Sun, Yancheng Yuan, Jian Huang, Ruijian Han 📅 2026-09-26 👍 18 2026-11-02 18:30

Stein无偏风险估计低秩双线性打分偏差-方差理论嵌入适配器稠密检索统计学习理论

用精确的偏差—方差边界回答"共享还是双投影"，并提出CARS选择器从训练数据自动决定检索适配几何

前置知识

稠密检索

将查询和文档分别用神经网络编码为 $\mathbb{R}^p$ 中的稠密向量，通过内积或余弦相似度在向量库中召回相关文档，是问答、RAG 和语义搜索的基础组件。检索质量常用 NDCG@10 衡量，即在 Top-10 结果上按相关性位置折算的归一化折扣累计增益。

全文的研究对象就是稠密检索中适配冻结嵌入时的投影几何选择问题，所有检索实验都以测试查询的 NDCG@10 为最终评价指标。

共享投影与双投影（Shared vs Dual）

对冻结的查询向量 $X$ 和文档向量 $Y$，共享投影（shared）用同一个低秩矩阵 $P\in\mathbb{R}^{r\times p}$ 作用在两边，打分算子为 $M=P^\top P$；双投影（dual）用两个独立参数化的矩阵 $A,B$，算子为 $M=A^\top B$。共享等价于强制学一个半正定度量，双投影允许任意秩不超过 $r$ 的非对称算子。

这对几何选择正是论文要回答的核心问题：什么时候双投影的方向灵活性值得其额外自由度带来的估计成本。

半正定（PSD）算子

对称且所有特征值非负的矩阵，等价于对任意向量 $v$ 都有 $v^\top Mv\ge 0$。共享投影诱导的 $M=P^\top P$ 天然半正定，因此无法表达斜对称成分和负特征值方向，近似能力受限但待估参数更少。

理解共享族是双族的真子集（$\mathcal{M}_s(r)\subsetneq\mathcal{M}_d(r)$）以及 Theorem 1 的近似误差公式，都依赖 PSD 这一几何约束。

偏差—方差权衡

统计学习的基本矛盾：模型复杂度过高导致估计方差大（拟合噪声），过低导致近似偏差大（丢失信号）。本文将其具体化：双投影比共享多出 $k=r(2p-r-1)/2$ 个自由度，能降低近似偏差，但训练对有限时这些额外方向会拟合噪声。

论文全部理论就是给这个权衡一个精确的临界条件 $\delta^2>\sigma^2 k$，并据此构造可从数据估计的自动选择规则。

局部高斯模型与切空间

在秩-$r$ 算子流形附近假设观察到 $Y_n=M_n+\frac{\sigma}{\sqrt{n}}G_n$，$G_n$ 为标准高斯噪声矩阵，目标偏离流形的幅度也是 $n^{-1/2}$ 量级。流形在一点的一阶线性化称为切空间，把噪声投影到切空间后，估计方差恰等于切空间维数乘以 $\sigma^2$。

Theorem 2 的风险公式和'仅双方向数 $k$'的维数计数都建立在这套局部几何语言上，是读懂边界推导的前提。

Stein 无偏风险估计（SURE）

Stein (1981) 提出的技术：在高斯模型下无需知道真值即可构造估计风险的无偏估计，本文中形如 $\hat R_j=\|Z-\Pi_{T_j}Z\|_F^2+\sigma^2(2\dim T_j-\dim T_d)$。它用于校正'拟合出的不对称度'中混入的噪声能量，得到共享/双风险差的无偏估计。

Theorem 3 的选择阈值 $2\sigma^2 k$ 和精确选择功效（非中心 $\chi^2$ 分布）都由 SURE 推出，是理论落地为选择规则的关键一步。

交叉拟合（Cross-fitting）

把训练数据随机对半分成不相交的两份，在各自子样本上分别计算统计量，再用两份结果的内积衡量'跨样本复现的结构'，用二者之差的范数衡量采样波动，从而把信号项与噪声项分开估计，且不需要已知噪声方差 $\sigma$。

论文提出的 CARS 选择器完全建立在 $L$ 组随机对半分的交叉拟合之上，是把高斯理论边界搬到真实嵌入场景的关键工程化手段。

研究动机

稠密检索为问答、RAG 和语义搜索提供证据召回，主流做法是把查询和文档各自编码后用内积打分。在下游任务上适配冻结嵌入时有两条路：对查询和文档施加同一个秩-$r$ 投影（shared），或者分别拟合两个投影（dual，对应非对称双编码器和 Search-Adapter 一类方法）。工程经验表明非对称结构在错配场景常常更好，但这一选择长期缺乏理论依据：双投影比共享多出 $k=r(2p-r-1)/2$ 个自由度，能表达斜对称成分和负特征值方向、降低近似偏差，然而标注对往往只有几十到几千条，额外方向容易拟合噪声反而损害排序。到底错配信号要多强、数据要多少，双几何才值得付出这份估计代价，此前没有可计算的判据，实践只能靠验证集网格搜索甚至拍脑袋。

本文的目标是本文目标是为'共享还是双投影'建立一个精确、可检验的统计学判据，并把判据变成只依赖训练数据的自动选择规则。具体分解为四步：其一，刻画两个投影族诱导的算子类，推导共享投影造成的精确近似损失（而非上界）；其二，在局部高斯算子风险模型下证明双投影风险更低的充要条件——方向信号能量超过其额外自由度的噪声成本，即 $\delta^2>\sigma^2 k$；其三，基于 Stein 无偏风险估计构造选择规则，并给出精确的选择功效与模型选择遗憾公式；其四，提出可在真实嵌入上执行的交叉拟合选择器 CARS，用受控模拟、全语料检索和保留集算子风险实验系统检验理论的每一项预测。

与已有工作不同的是，已有工作分别研究共享 PSD 度量学习、无约束双线性相似度学习，以及共享/非对称双编码器架构，但都是方法驱动，缺少'何时非对称值得'的理论刻画。朴素的分布自由分析走不通：论文 Proposition 1 有意证明，两族线性打分类的 Rademacher 复杂度都被同一个粗上界 $BR/\sqrt{n}$ 控制——该论证为凑整丢掉了符号矩阵 $Q$ 的前 $r$ 个谱，原则上无法区分两族的复杂度差异。本文的独特切入是局部化：在秩-$r$ 流形的切空间层面做精确自由度计数，把 dual-only 方向数 $k$ 显式算出，使近似收益与估计成本处在同一个 $n^{-1/2}$ 尺度上可直接相减，从而得到'当且仅当'型的精确相变边界，而不是只给数量级的泛函界；再借 SURE 的去噪校正与交叉拟合，把需要已知 $\sigma$ 的高斯理论改造成无需该知识的实用规则。

核心方法

直觉上，论文把检索适配抽象成低秩双线性打分 $m_M(X,Y^+,Y^-)=X^\top M(Y^+-Y^-)$：共享投影只能产生半正定算子 $M=P^\top P$，双投影可以产生任意秩-$r$ 算子 $M=A^\top B$，后者表达力更强但参数更多、更易过拟合。技术路线分三层。第一层在总体层面算清近似差距（Theorem 1）：把目标算子 $M^\star$ 分解为对称部分 $H$ 与斜对称部分 $K$，共享族最优近似的误差由斜能量、负特征值和被丢弃的正特征值三项闭式给出，与双族的奇异值尾和之差即精确近似差距。第二层在局部高斯模型 $Y_n=M_n+\frac{\sigma}{\sqrt{n}}G_n$ 下，用切空间投影计算两族的渐近估计风险（Theorem 2）。第三层把两层相加得到相变边界（Corollary 1），再经 SURE 选择规则（Theorem 3）和交叉拟合，落地为无需已知噪声水平的 CARS 选择器。

核心创新是精确的自由度定价。论文算出双投影相对共享多出 $k=r(2p-r-1)/2$ 个'仅双'切方向，并给出分解 $k=r(r-1)/2+r(p-r)$：前者是活动 $r$ 维子空间内的斜对称扰动，后者允许左右两个跨子空间块彼此不同。由此得到的边界 $\delta^2>\sigma^2 k$ 有清晰的物理含义——只有当这些额外方向捕获的信号能量 $\delta^2=\|\Pi_A H\|_F^2$ 超过它们引入的噪声能量 $\sigma^2 k$ 时，双几何才严格更优。与已有工作的本质区别在于：这不是表达能力的定性比较（谁包含谁），也不是只给数量级的复杂度界，而是'当且仅当'的精确临界条件，且条件中的每个量都能从训练数据估计出来，使几何选择从超参数搜索变成有理论保证的统计决策。

方法步骤详情

第一步，近似分析：目标算子 $M^\star=H+K$，对称部分对角化 $H=U\mathrm{diag}(\eta)U^\top$，共享族最近点保留最大的至多 $r$ 个正特征值，误差为 $\|K\|_F^2+\sum_{\eta_j<0}\eta_j^2+\sum_{\eta_j>0,j\notin J_r}\eta_j^2$，双族误差为尾和 $\sum_{j>r}\sigma_j^2$，二者之差即精确近似差距。第二步，估计风险：观察 $Y_n=S+n^{-1/2}H+\frac{\sigma}{\sqrt{n}}G_n$，投影展开到切空间得 $n\mathbb{E}\|\hat M_d-M_n\|_F^2\to\sigma^2\dim T_d$，$n\mathbb{E}\|\hat M_s-M_n\|_F^2\to\|\Pi_{T_s^\perp}H\|_F^2+\sigma^2\dim T_s$。第三步，边界：$\delta^2>\sigma^2 k$ 当且仅当 dual 风险更低。第四步，选择：对 $Z=\sqrt{n}\Pi_{T_d}(Y_n-S)$ 计算 SURE 估计 $\hat R_j$，$\|\Pi_A Z\|_F^2>2\sigma^2 k$ 时选 dual，选择概率为 $\Pr\{\chi^2_k(\lambda)>2k\}$。第五步，CARS：对 $L$ 组随机对半分计算 $\hat\Gamma_{\mathrm{CARS}}=\frac1L\sum_b[\langle V_{I_{b,1}},V_{I_{b,2}}\rangle_F-\frac14\|V_{I_{b,1}}-V_{I_{b,2}}\|_F^2]$，$V_I=P_{d,r}(\hat C_I)-P_{s,r}(\hat C_I)$ 为对半样本上的双共享拟合差，得分为正选 dual；期望为 $\|\Delta\|_F^2-\mathrm{tr}(\Sigma)/n$，与边界一致且无需已知 $\sigma$。

技术新颖性

技术新颖性体现在四处。其一，Theorem 1 给出共享投影近似损失的闭式精确解（经 Hoffman–Wielandt 与 von Neumann 不等式论证最优支撑），而非上界，并证明该差距等于单位负分约束下最优秩-$r$ 正负分离度的平方差，使抽象算子误差与检索目标严格对齐。其二，Proposition 1 刻意论证全局 Rademacher 路线的不可能性，说明只有局部化才能暴露有效维数——这种'反例先行'的论证组织在检索理论文献中少见。其三，Theorem 3 给出 SURE 规则的精确选择功效 $\Pr\{\chi^2_k(\lambda)>2k\}$ 和模型选择遗憾闭式：阈值 $2\sigma^2 k$ 中一份抵消噪声能量、一份是边界本身，保证无信号时几乎不会误选 dual（概率至多 $(2/e)^{k/2}$）。其四，CARS 用对半分之间的一致性估计信号、用分歧性定价方差，把需要已知 $\sigma$ 的各向同性高斯 SURE 推广到未知噪声的真实嵌入场景，且期望恒等式只需二阶矩条件，不依赖高斯性。

**Figure 2**: Geometry behind the boundary. A: the shared PSD family lies inside the dual family; $\delta$ schematically marks a target's departure from sharing. B: locally, sharing removes $k$ dual-only noise coordinates but also discards signal along them.

实验结果

RQ1（边界存在性）：$p=32$、秩 8 高斯模拟中，0.8 弧度旋转在 $n=256$ 才出现正的 Dual−Shared 网格均值，1.2 弧度旋转 $n=64$ 即出现——错配越强、克服估计成本所需数据越少；模拟风险与理论差 <0.25%、选择概率差 <0.001（Table 2：$\delta^2/\sigma^2k=2.0$ 时选 dual 概率 0.970 对理论 0.969）。RQ2（信号可估）：原始 plug-in 不对称度被噪声系统性抬高；10 个任务、840 个真实算子拟合上，校正分数对保留集损失的排序明显更优。RQ3（检索影响）：查询旋转 $0°\to90°$，五数据集平均 Dual−Shared NDCG@10 从 0.0032 增至 0.0146（4.6 倍），MS MARCO 由 $-0.0008$ 翻转为 $+0.0219$；rank–样本量网格中 $n=32$ 时 Shared 赢 13/16 格，$n=1024/2048$ 时 Dual 赢全部 32 格；秩 32 对秩 4 绝对 NDCG 仅微升（Shared 0.7242→0.7257，Dual 0.7282→0.7289）。RQ4（风险与选择）：四数据集 168 条样本量斜率全为正，NQ 上四条曲线三条穿越正负分界；CARS 在 100 个编码器–外折比较中赢 85 个，平均选择准确率 90.1%，相对更优固定基线降低保留集遗憾 49–96%。

**Table 1**: Geometry selection on five datasets and four encoders. Lower held-out operator-risk regret and higher decision accuracy or strict outer-fold wins indicate better performance. Regret and accuracy are averaged over five held-out query folds.

**Table 2**: Local risk and SURE calibration. Entries are simulation/theory; risks are scaled by $n$.

**Figure 3**: A Shared-to-Dual crossover in controlled two-view retrieval. A: Mean Dual-minus-Shared NDCG@10 across mismatch and training size; the gold contour marks zero. B: The same gap versus population distance GPSD to the shared PSD family; bands show 95% normal confidence intervals.

**Figure 4**: Raw asymmetry is inflated, while correction better predicts held-out fit. A: Training PSD distance exceeds its population value; shading shows a 95% t interval. B: Held-out Shared-minus-Dual operator-loss advantage across raw and corrected score deciles. Positive values favor Dual.

**Figure 5**: Dual-minus-Shared full-corpus NDCG@10 under query rotation. Each bar averages three paired seeds for BGE-base and GTE-base on each dataset.

**Figure 7**: Held-out operator fit moves toward Dual with more training queries. A: NQ; B: SciFact. Each point averages ranks and three seeds within one encoder; positive values indicate lower held-out loss for Dual.

**Figure 8**: Held-out operator-risk trajectories for BGE-base and Contriever (84 curves). Rows are FEVER and NQ (24 curves each), followed by ArguAna and SciFact (18 each). Each line fixes a dataset, encoder, rank, and seed and connects measured nested training sizes.

**Figure 9**: The remaining 84 held-out operator-risk trajectories, for E5-base-v2 and GTE-base. Grouping, axes, colors, and line styles match Figure 8.

查看结构化数据

任务	指标	本文	基线	提升
几何选择（5 数据集 × 4 编码器 × 5 折）	平均几何选择准确率	CARS 90.1%（最佳单元 NQ/Contriever 达 97.9%）	Always-Shared / Always-Dual 固定选择	固定基线在错配单元准确率低至 15.0%–46.2%
几何选择	held-out 算子风险遗憾（折均值）	CARS 相对更优固定基线降低 49–96%（如 ArguAna/BGE 0.0018）	Always-Shared（FEVER/Contriever 遗憾 0.4959）与 Always-Dual（MS MARCO/GTE 遗憾 9.6687）	同一单元上 CARS 遗憾低 1–3 个数量级
全语料检索·查询旋转干预（BGE-base/GTE-base）	Dual−Shared NDCG@10（5 数据集平均）	$90°$ 时 +0.0146	$0°$ 时 +0.0032	4.6 倍；MS MARCO 由 −0.0008 翻转为 +0.0219
rank–样本量网格检索（MS MARCO/NQ，秩 4–32，n=32–2048）	获胜单元数（Dual−Shared 符号）	$n=1024/2048$ 时 Dual 赢 32/32 格	$n=32$ 时 Shared 赢 13/16 格	数据增长使几何偏好整体从 Shared 翻向 Dual
局部高斯模型校准（p=12, r=3）	与解析理论的偏差	模拟风险差 <0.25%，SURE 选择概率差 <0.001	Theorem 2/3 解析值（Table 2，如风险 93.10 对 93）	数值与闭式几乎重合，验证理论精确性

局限与改进

作者承认并读者可观察到的局限包括：边界是局部高斯模型下的精确结果，假设噪声各向同性（$\Sigma=\sigma^2 I_k$）且目标偏离共享族的幅度为 $n^{-1/2}$ 量级；远离流形或信号很强时，切空间展开失效，最近点投影的导数还会出现曲率（形状算子）项。SURE 形式化中 $\sigma$ 被视为已知，真实场景由 CARS 的分歧项间接定价，但其期望恒等式只保证期望层面正确，不给出有限样本选择概率，也没有 $\chi^2$ 功效那样的精确保证。理论以 Frobenius 算子损失为目标，与 NDCG@10 等排序指标只有间接联系，检索实验中 $10^{-3}\sim10^{-2}$ 量级的差距是否具有实际意义仍可商榷。实验限于 768 维 base 级编码器、最多 4096 训练查询、秩 4–256；查询旋转是人工注入的错配，自然任务中 $\delta^2$ 的典型大小与分布未被测量；二元 shared/dual 选择也没有覆盖'部分共享'的中间几何。

独立分析的弱点

独立分析可见四个弱点。第一，各向同性噪声假设在真实嵌入中很少成立——不同奇异方向上的采样噪声方差差异很大，可能使 CARS 的 $\frac14\|V_1-V_2\|_F^2$ 惩罚项错估有效成本，改进方向是引入各向异性协方差的加权 SURE 或用 bootstrap 估计方向级噪声。第二，选择目标是算子 Frobenius 损失而非排序指标，算子上的微小劣势可能在 NDCG 上被放大或抵消，改进方向是对排序代理损失直接做风险估计，或经验校准二者的单调关系。第三，旋转实验通过人工干预制造错配，部署时用户并不知道自己的任务处于边界哪一侧，改进方向是提供错配诊断工具（例如直接报告 $\hat\Gamma_{\mathrm{CARS}}$ 的置信区间）以及'信号不足'时的回退策略。第四，$k$ 随 $p$ 线性、随 $r$ 二次增长，意味着在大维度嵌入下边界几乎总是偏向 Shared，除非信号极强；这暗示高维场景可能更需要先降维或部分共享，值得单独验证。此外 CARS 每个样本量–秩单元需 20 次对半分加 SVD 截断，单元数扩大时计算会累积，可预计算训练矩一次后复用以摊薄开销。

未来方向

作者在讨论中提出三个方向：把风险估计推广到各向异性噪声，使几何选择更贴近真实采样结构；把风险分析直接扩展到排序指标而非代理算子损失；引入部分共享几何，让单独参数化的方向数与秩一起由数据选择。基于本文成果还可延伸：其一，把 $\hat\Gamma_{\mathrm{CARS}}$ 当作连续信号用于数据高效的检索头设计——信号弱时先收集难例或做数据增强，跨过边界后再切换双投影，形成'采集–切换'的自适应流程；其二，将框架推广到其他双视角问题，如跨模态检索、推荐系统的用户–物品双塔、查询改写等同样面临'共享还是分离参数'抉择的场景；其三，与 Matryoshka 式降维和适配器蒸馏结合，研究秩与几何的联合选择；其四，发展 $p$ 相对 $n$ 较大的非渐近理论，并量化有限 $L$ 下 CARS 的选择波动；其五，把 $\delta^2$ 估计值用作任务间可迁移性的度量，指导多任务检索路由和负例挖掘策略。

复现评估

复现条件较好。附录 A–E 给出全部证明（Theorem 1–4、Corollary 1–2、Proposition 1 与 CARS 期望恒等式），附录 F 详述实验协议：数据集全部公开（FEVER、HotpotQA、NQ、MS MARCO、CQA-TeX、ArguAna、SciFact 等），四个编码器（E5-base-v2、BGE-base、GTE-base、Contriever-MSMARCO）均为公开权重；随机性由种子完全固定（如 master seed 20260809、折划分 20260923/20260924），关键实验均取 3–5 个配对种子均值。计算量很轻：适配器为 30 epochs AdamW、batch 256、秩不超过 32 的 768 维线性投影；CARS 只需训练矩一次 SVD 截断加 20 次对半分，单张消费级 GPU 即可。需注意正文未提供开源代码链接，核心算法仅有公式 (7) 与协议文字，复现者需自行实现数百行代码；因不涉及大模型训练，难度中等偏低，主要风险在于折划分、负例构造（首个标注正例加最高排未标注候选）与 NDCG 评估细节的忠实还原。

论文图表

**Figure 1**: Shared and dual projections for dense retrieval. A shared map $P$ induces a PSD operator $M=P^\top P$, while dual maps $A$ and $B$ induce a general operator $M=A^\top B$ of rank at most $r$.
示意图，对比两种投影范式：查询与文档向量经同一个映射 $P$ 得到半正定打分算子 $M=P^\top P$，或经两个独立映射 $A,B$ 得到秩不超过 $r$ 的一般算子 $M=A^\top B$。

一图定义了全文的核心对象与记号，读者必须先弄清 shared 与 dual 的几何含义，才能理解后续所有定理与实验的分组方式。

Figure 6: Rank–sample-size retrieval gaps. Each cell is mean Dual-minus-Shared test NDCG@10 over three paired seeds, in units of $10^{-4}$; blue favors Shared and red favors Dual.

四个编码器–数据集组合（GTE/BGE/Contriever × MS MARCO，GTE × NQ）的秩（4–32）× 训练量（32–2048）网格：$n=32$ 列以蓝（Shared 优）为主，$n=1024/2048$ 列全部红（Dual 优），如 GTE/NQ 在 $n=2048$、秩 32 处达 +190×10⁻⁴。

展示数据量如何翻转几何偏好并可与秩交互，是 Corollary 1 中方差项随 $n$ 衰减的直接检索级体现，也是'小数据用共享、大数据用双'这一实践结论的出处。