面向检索增强生成的并行专家上下文解码框架 Parallel Context-of-Experts Decoding for Retrieval Augmented Generation

PCED 的完整流程包含以下步骤。第一步，离线 KV 缓存准备：对于语料库 $\mathcal{D}$ 中的每篇文档 $d_i$，使用 LLM 的编码器预计算其 KV 缓存 $K_i$ 和用于检索的嵌入向量 $e_i$，构建数据仓库 $\text{DB} = \{(d_i, e_i, K_i)\}_{i=1}^{|\mathcal{D}|}$。第二步，检索与相关性评分：给定查询 $q$，使用嵌入检索（如 BGE-M3）获取 top-$N$ 文档的检索分数 $r_k^{\text{ret}}$，然后通过交叉编码器（如 BGE-reranker-v2-m3）重排序得到分数 $r_k^{\text{rer}}$，将两组分数归一化到 $[0,1)$ 后通过调和平均 $r_k = \frac{2 r_k^{\text{ret}} r_k^{\text{rer}}}{r_k^{\text{ret}} + r_k^{\text{rer}}}$ 融合为单一相关性分数。第三步，专家初始化：创建 $N+1$ 个并行专家流，其中 $N$ 个上下文专家分别加载对应的文档 KV 缓存 $K_1, \ldots, K_N$ 和相关性分数 $r_1, \ldots, r_N$，1 个业余专家使用空缓存 $K_\emptyset$ 表示模型先验。所有专家共享相同的查询模板。第四步，解码循环：在每个生成步骤 $t$，所有 $N+1$ 个专家并行执行一次前向传播（在单个批次中），各自产出词表上的 logits $s_k \in \mathbb{R}^{|V|}$。对每个上下文专家 $k \in \{1, \ldots, N\}$，应用检索感知对比解码规则计算校准后的 logits $\hat{s}_k$。第五步，token 选择：通过 $y_t = \arg\max_{v \in V} \max_{k \in \{1, \ldots, N\}} \hat{s}_k(v)$ 选择最终输出 token，即在所有专家的所有候选 token 中选择得分最高的。第六步，状态更新：将选中的 token $y_t$ 追加到所有 $N+1$ 个专家的共享生成历史中，作为下一步的输入。这个过程循环进行，直到生成结束标记。

PCED 的技术新颖性体现在多个层面。首先，在架构设计上，它首次提出了将 per-document KV 缓存的并行性与跨文档推理能力相结合的训练无关框架。此前的工作要么选择并行性（牺牲跨文档交互），要么选择跨文档交互（牺牲并行性），PCED 通过将文档聚合从注意力机制转移到解码阶段，巧妙地同时实现了两个目标。其次，在解码规则上，检索感知对比解码公式将对比解码（源自 NLP 生成质量优化领域）与检索先验（源自信息检索领域）融合为统一的解码准则，这是一个跨领域的创新。具体地，$\beta_0$ 的动态计算策略借鉴了 AdaCAD 的方法——对第一个生成 token 动态计算对比强度，之后固定使用，这比固定超参数更加鲁棒。第三，在证据聚合机制上，PCED 采用 token 级别的 Max 聚合而非概率空间的软混合，这使得不同文档可以在不同的生成步骤中动态「接管」控制权。实验表明，Max 聚合在多跳推理任务（HOTPOTQA）上比混合专家（MoE）聚合高出 8 个百分点（64 vs 56），因为它允许文档间的尖锐切换而不要求分布一致。最后，PCED 将检索管线中原本被丢弃的相关性分数转化为解码时的文档级信任信号，这一洞察本身就是一个有价值的贡献——它揭示了 RAG 流程中隐藏的信息浪费。

PCED 存在几个值得关注的弱点。首先，Max 聚合的局限性：当前的 token 级别 Max 聚合虽然在多跳推理任务上表现优异（HOTPOTQA +8 vs MoE），但在需要从多篇文档中综合碎片信息的任务上可能表现不佳。论文数据显示，MapReduce 在 QAMPARI（Mistral）上达到 85.0，而 PCED 仅为 75.0，差距 10 点。改进方向可以考虑混合聚合策略——对不同任务类型自动选择 Max 或软混合，或者在解码过程中根据查询特征动态调整聚合规则。其次，超参数敏感性：尽管动态 $\beta$ 策略提升了鲁棒性，但 $\gamma = 2.5$ 仍是手动设定的固定值。从消融实验看，不同任务对 $\gamma$ 的敏感度不同（如 Llama-NQ 在 $\gamma=4.0$ 达到峰值 87，而 $\gamma=0.5$ 仅为 75）。改进方向可以是设计自适应的 $\gamma$ 调度策略，根据每步解码的专家 logits 分布或查询复杂度动态调整。第三，静态相关性分数：当前 $r_k$ 在解码前一次性计算并固定使用，但实际上随着生成过程推进，不同文档的相关性可能动态变化。改进方向是探索在线更新相关性分数的机制，例如根据已生成的部分答案重新评估各文档的即时相关性。

作者在论文末尾提出了两个重要的未来研究方向。第一，端到端学习专家选择：当前 PCED 依赖外部检索和重排序模型提供相关性信号，一个更优雅的方向是直接训练语言模型接受并行上下文输入，并在每个 token 步学习应该关注哪个输入。这种端到端方法可以减少对外部检索管线的依赖，并实现真正的并行化推理。第二，将 PCED 的理念扩展到更多场景：当前工作主要聚焦于问答和上下文学习任务，但检索感知对比解码的思想可以应用于更广泛的场景，如多模态 RAG（不同模态作为不同专家）、代码补全（多个代码仓库文件作为专家）、以及对话系统（对话历史和知识文档的混合）。基于 PCED 的实验结果，还有几个值得探索的方向：第三，将 PCED 与推测解码（speculative decoding）结合——PCED 的并行专家结构天然适合生成多个候选 token，可以加速验证阶段；第四，探索自适应文档数量——当前使用固定的 top-K，但可以根据查询复杂度动态决定激活多少专家，在简单查询上仅使用少量高相关性文档，在复杂查询上启用更多文档。

PCED 的复现性评估较为乐观。论文采用训练无关（training-free）的方法设计，这意味着复现不需要任何模型微调或额外训练，仅需使用预训练模型和标准检索组件。具体而言，PCED 使用 BGE-M3 作为嵌入检索模型、BGE-reranker-v2-m3 作为交叉编码器重排序模型，这些都是广泛使用的开源组件。主实验使用 Mistral-Nemo-13B-Instruct 和 Llama-3.1-8B-Instruct 两个开源模型，LongBench 实验使用 Qwen3-8B，均为公开可获取的模型。论文在 LOFT 和 LongBench 两个标准公开基准上进行评估，数据可复现。实验设置方面，所有方法使用固定随机种子（42）确保确定性结果，提示模板在附录中完整提供。然而，复现的主要门槛在于计算资源：每个生成步骤需要并行运行 $N+1$ 个专家的前向传播（实验中 $N=90$），虽然每个专家的 KV 缓存较小，但批量推理仍需要相当的 GPU 内存。此外，离线阶段为整个语料库预计算 KV 缓存也需要显著的计算和存储投入（论文提到 LOFT HOTPOTQA 需要约 11 GB 存储）。总体而言，方法的算法复现难度适中，但工程实现（特别是高效的批量并行 KV 缓存管理）可能有一定挑战。