超越以相关性为中心的检索：面向评分准则的文档集选择与排序

提出三级九维文档集评估基准与评分准则驱动的免训练选档方法

前置知识

nDCG（归一化折损累积增益）

信息检索的标准指标，对每个文档独立打相关性分，按位置折损后累加并归一化。它隐含假设集合质量等于单篇文档质量之和，完全不考虑文档之间的冗余、冲突或互补关系。

本文的核心批判对象，理解它才能明白为什么相关性聚合会漏掉集合级缺陷。

检索增强生成（RAG）

把检索到的文档注入大模型上下文窗口作为推理与生成依据的范式。在此范式下文档集质量直接决定生成质量上限，评估标准必须从「对人有用」转向「对 LLM 生成有效」。

本文整个动机的出发点，正是因为 LLM 成了检索结果的主要消费者。

重排序器（Reranker）

在初步检索后对候选文档重新排序的模型，分为 pointwise（逐篇打分）、listwise（整列表对比）、setwise（集合式选择）和 reasoning-enhanced（带思维链）等范式。本文评估了 12 个主流重排序器。

是被评估与被改进的主体，方法 RUBRIC4SETWISE 本质上是一种新的免训练 setwise 重排序器。

评分准则（Rubric）

教育评估中用于透明、可复现、多维度质量判断的标准工具，通常是一组具体的评估问题。本文把它从答案评估迁移到文档集评估，为九个维度各设计结构化准则。

是本文方法论的核心载体，既是评估信号又是选择信号。

多跳问答（Multi-hop QA）

需要综合多篇文档信息才能作答的问答任务，天然适合评估文档集质量。短形式场景基于 HotpotQA、2WikiMultihopQA、MuSiQue、Bamboogle 构建。

短形式评估场景的数据来源，理解其多跳性质才能体会文档间互补性的重要。

研究动机

在大语言模型和 AI 智能体成为检索结果主要消费者的检索增强生成（RAG）范式下，文档集质量直接决定下游生成的上限。然而现有评估体系存在两个结构性盲点：其一，评估粒度单一，所有方法（从 TREC-DL、BEIR、MTEB 等经典基准，到 RAGAS、ARES 等 LLM 评判方法，再到最新的 RA-nWG 和 BRIGHT）都对文档独立打分后用 nDCG 聚合，隐式假设集合质量等于单篇质量之和，完全忽略文档间交互；其二，评估维度单一，所有基准只覆盖相关性维度，无法回答为何一个文档集优于另一个（更强的互补性？更低的冗余？更完整的推理链？）。如图 1 所示，即便所有检索文档都相关（nDCG@5 = 100%），选出的集合仍可能有严重缺陷：高度重叠的文档浪费宝贵上下文容量、文档间事实冲突误导生成器、缺失关键证据迫使智能体发起额外搜索轮次。这种盲区使得我们既无法准确诊断现有方法的真正瓶颈，也无法把评估信号转化为优化指导。

本文的目标是本文旨在构建一个完整的「评估—诊断—优化」闭环框架，彻底超越以相关性为中心的检索范式。具体而言作者有三个层层递进的目标：首先设计 SETWISEEVALKIT，这是首个覆盖文档级、集合级、全局级三个粒度、相关性/真实性/质量/互补性/冗余/冲突/完整性/密度/可达性九个维度的文档集评估基准，并配以查询特定的评分准则（rubric）生成流水线，产出约 28K 条高质量混合准则；其次基于该基准对 12 个主流重排序器进行系统性多维度诊断，暴露传统指标看不见的质量缺陷；最后验证评估信号能否直接充当选择信号——通过 RUBRIC4SETWISE 这种免训练方法，把评分准则转化为文档集选择信号，在两个场景下用更少文档和搜索轮次取得最佳下游生成性能，验证从评估到优化闭环的有效性。

与已有工作不同的是，本文的独特切入角度在于把教育评估与写作评分中长期使用的「评分准则（rubric）」概念迁移到文档集评估上。以往的 rubric 工作（MT-Bench、RubricEval、ResearchQA）都把准则用于答案或生成质量评判，而本文首次将其应用于检索集质量评估，为九个维度各自设计结构化准则。更关键的是，作者不满足于被动评估，而是把同一套准则既用于评估又用于免训练的主动选择指导，架起从评估到优化的桥梁。这一思路打破了「先独立打分再 nDCG 聚合」的旧范式，把评估从文档级提升到集合级与全局级，从而能捕捉文档间的冗余、冲突、互补性等集合属性，并据此构造紧凑而充分的文档子集。

核心方法

整体思路先有直觉再有技术路线。直觉是：既然大模型直接消费的是整个文档集而非单篇文档，那么评估和选择都应以「集合」为单位，考量文档间的互补、冗余、冲突以及对完整推理链的支持。基于此，作者提出三层九维的评估体系：文档级评估单篇独立属性（相关性、真实性、质量），集合级评估文档间关系（互补性、冗余、冲突），全局级把集合视为整体评估其对 LLM 的整体效用（完整性、密度、可达性）。技术路线分两段：第一段是构建查询特定的评分准则，用 GPT 5.1 与 Gemini 3.1-Pro-Preview 各自生成候选准则（每条准则须显式引用查询与答案中的实体、事实或数值，禁止「相关内容」等模糊措辞），再由 DeepSeek-V4 Pro 聚合去重过滤；第二段是用 LLM-as-Judge 在单次前传中对文档集打 0–4 分，并采用相关性门控机制（若集合中所有文档相关性为 0 则只报相关性分数、跳过其余八维），每个样本跑两次取均值与标准差以保证稳定性。

核心创新点是把「评分准则」同时作为评估信号与选择信号，本质区别于已有方法。传统重排序器（无论 pointwise、listwise、setwise 还是 reasoning-enhanced）都是隐式或显式地优化文档与查询的相关性，而 RUBRIC4SETWISE 直接把九维准则当作目标函数：它形式化为 $S^* = \arg\max_{S \subseteq C} f(S; q, R)$，其中 $f(\cdot)$ 是基于准则的集合效用函数，子集大小 $|S^*|$ 不预先固定，而是由准则满足度自适应决定。这意味着选择过程不仅追求相关，还显式压制冗余、消解冲突、提升互补与可达性。作者用 Qwen3-8B 作为推理骨干，通过思维链提示隐式建模 $f$，从而无需任何训练即可实现准则引导的集合构造。这种「评估即选择」的范式打破了评估与优化的隔阂，是本文与已有工作的本质区别。

方法步骤详情

方法分五步。第一步形式化：给定查询 $q$ 与参考答案 $a$，基于 $(q,a)$ 构造准则集 $R=\{r_1,\dots,r_K\}$。第二步数据收集：短形式从 HotpotQA、2WikiMultihopQA、MuSiQue（各 2000）与 Bamboogle（125）构建多跳问答，BM25 检索 top-20 作候选池 $C$，过滤后留 2061 样本；长形式从 ResearchQA 选 200 实例，用 DR.Tulu-8B 智能体经 Google Search API 多轮检索，重排序器经 MCP 协议嵌入。第三步准则生成：GPT 5.1 与 Gemini 3.1-Pro-Preview 独立生成，DeepSeek-V4 Pro 聚合去重，产出短形式约 24K、长形式约 4K 条。第四步评估：重排序器从 $C$ 选子集 $S_m$，把 $(q,S_m,R)$ 送 DeepSeek-V4 Pro 单次打分得九维 0–4 分，每样本跑两次取均值与标准差。第五步选择：RUBRIC4SETWISE 用 Qwen3-8B 经思维链隐式最大化准则效用、自适应定子集大小。

技术新颖性

技术新颖性体现在三方面。其一，评估粒度创新：SETWISEEVALKIT 是首个横跨文档级、集合级、全局级三个粒度的检索集评估框架，如表 1 所示，所有既有基准（TREC-DL、BEIR、MTEB、RAGAS、ARES、BRIGHT、RA-nWG）都只在文档级、单轮、单一相关性维度上用 nDCG 或 LLM-Judge 打分，本文则是集合级、支持多轮、九维、Rubric-Judge。其二，准则设计创新：将教育评估中的 rubric 迁移到检索集评估与选择，要求每条准则显式锚定查询答案中的具体实体/事实/数值，并通过多模型生成加 DeepSeek-V4 Pro 聚合保证约 70% 的高判别力与约 8% 的低浪费率。其三，范式创新：RUBRIC4SETWISE 首次证明评估信号可直接作为免训练的选择信号，子集大小由准则满足度自适应而非预先固定，从而能消除冗余、消解冲突，用更少文档取得更佳下游生成。

**Figure 2**: Overview of SETWISEEVALKIT's evaluation

实验结果

核心发现四点。第一，基准可信度：图 4 显示准则覆盖率与下游生成强正相关，Pearson $r=0.92$、$p=0.0013$，证明分数能预测生成质量。第二，短形式（表 2）：集合式重排序全面领先，SetR 以 45.85 Overall 居首、Rank4Gen 43.87 次之，远超 Adhoc 与推理增强（最高 ReasonRank 41.01）；但最强者覆盖率也不超 45%，互补性与完整性尤为薄弱，冲突普遍高分说明非瓶颈。第三，长形式（表 3）：范式反转，推理增强 ReasonRank 33.05、Rearank 32.78 居首，SetR 退居中游仅 31.83；方法间差距仅约 3 个百分点，说明重排序器与智能体各自孤立；图 5 显示分数随搜索轮次单调下降。第四，选档（表 4）：RUBRIC4SETWISE 是唯一两场景都居首的方法，短形式 EM 26.10、F1 29.32、仅用 2.66 篇，较 Vanilla EM 18.63 提升 7.47；长形式 LLM-judge 70.57、用 20.52 篇、4.52 轮，均优于次优 SetR。

**Table 1**: Overall comparison with existing retrieval evaluation benchmarks

**Table 2**: Overall Performance Comparison (%) on SETWISEEVALKIT (Short-form Scenario)

**Table 3**: Overall Performance Comparison (%) on SETWISEEVALKIT (Long-form Scenario)

**Table 4**: Downstream Answer Performance of Different Rerankers

**Figure 3**: SETWISEEVALKIT rubric quality ratings by Ph.D. level experts

**Figure 4**: Correlation between rubric coverage score and downstream generation performance

**Figure 5**: Per-round Rubric Coverage Scores in the Long-form Scenario

查看结构化数据

任务	指标	本文	基线	提升
短形式多跳问答文档集选择	EM（精确匹配, %）	RUBRIC4SETWISE 26.10（仅用 2.66 篇文档）	Vanilla Ranker 18.63；次优 SetR 25.13	较 Vanilla +7.47，较次优 SetR +0.97，且文档数大幅减少
短形式多跳问答文档集选择	F1-Score (%)	RUBRIC4SETWISE 29.32	Vanilla 21.10；次优 SetR 28.70	较 Vanilla +8.22，较次优 SetR +0.62
长形式多轮搜索问答	LLM-judge (%)	RUBRIC4SETWISE 70.57（20.52 篇、4.52 轮）	次优 SetR 70.54（29.23 篇、4.73 轮）；ReasonRank 68.36	较 SetR +0.03 但用更少文档与轮次；较 ReasonRank +2.21
短形式文档集整体覆盖	SETWISEEVALKIT Overall (%)	SetR 45.85（评估对象，非本文方法）	Only Retrieval 36.43；BGE-RerankerL. 40.57	最强重排序器覆盖率也不超 45%，暴露普遍短板

局限与改进

作者明确承认 RUBRIC4SETWISE 在 oracle 设定下运行——准则生成时用到了参考答案，因此它确立的是经验上界，验证的是「准则作为信号」的有效性，而非可直接落地的方案。作者指出自然的下一步是把准则偏好蒸馏成可训练奖励，让重排序器在无参考答案时也能内化多维质量感知。从我的观察看还有几点：其一，准则生成依赖多个前沿闭源大模型（GPT 5.1、Gemini 3.1-Pro-Preview、DeepSeek-V4 Pro），成本与可复现性受限；其二，评估以 DeepSeek-V4 Pro 作为单一裁判，虽报告了标准差但未与人工裁判大规模对齐，存在裁判偏置风险；其三，长形式场景仅 200 个样本、短形式经过滤后 2061 个样本，规模有限；其四，自适应选择用 Qwen3-8B 建模效用函数，推理开销随候选数增长，scalability 未充分讨论。

独立分析的弱点

独立分析弱点及改进方向。弱点一：对参考答案的强依赖使其难以用于真实在线检索（用户查询无参考答案）；改进方向是训练端到端模型，从查询直接预测准则或学习准则内化的奖励，即作者提到的偏好蒸馏。弱点二：长形式场景中重排序器与搜索智能体各自孤立、无信息流，导致性能差距被压缩在约 3 个百分点；改进方向是把重排序器与智能体协同优化，让累积上下文动态影响文档选择。弱点三：准则生成与评估高度依赖闭源前沿模型，成本高、不可复现；改进方向是用开源模型（如 DeepSeek 系列）替代，或公开准则数据集供社区微调小模型。弱点四：九维打分用单次前传加两次独立取均值，裁判一致性虽有保证但与人工对齐有限；改进方向是引入更大规模人工标注或交叉仲裁（借鉴 RubricEval 思路）。弱点五：仅覆盖英文多跳问答与长文本问答，领域与语言泛化未验证；改进方向是扩展到法律、医疗、多语言等场景。

未来方向

作者明确提出的未来方向：把准则偏好蒸馏为可训练奖励，使重排序器在无参考答案时也能内化多维质量感知，从而把 oracle 上界转化为可落地方案。基于本文成果可延伸的方向有五：其一，开发跨场景通用重排序器，本文证明短形式集合式占优、长形式推理增强占优、无单一方法在两场景都最佳，填补这一泛化鸿沟是有价值的研究；其二，实现重排序器与多轮搜索智能体的协同优化，让上下文信息流驱动文档选择；其三，将三层九维准则体系扩展到 RAG 系统的全链路评估，包括检索、重排、生成、答案验证各环节；其四，探索准则引导的子集选择与上下文压缩、上下文窗口管理的结合，进一步压缩所需文档数与搜索轮次；其五，把准则迁移到其他语言与领域（法律、医疗、金融），验证体系的普适性。

复现评估

作者提供较完整的开源支持：项目主页 rubric4setwise.github.io、代码仓库 github.com/Rubric4Setwise/Rubric4Setwise、数据集 huggingface.co/datasets/kailinjiang/SetwiseEvalKit 均已公开，含约 28K 准则、评估脚本与重排序器封装。准则生成流程（双模型生成加 DeepSeek-V4 Pro 聚合）描述清晰，评估协议（0–4 分、相关性门控、两次独立取均值）细节充分，12 个重排序器版本与设置也列出。但复现仍有挑战：其一，核心依赖多个前沿闭源大模型（GPT 5.1、Gemini 3.1-Pro-Preview、DeepSeek-V4 Pro），API 成本与可访问性是门槛；其二，长形式用 Google Search API，需付费且有地域限制；其三，RUBRIC4SETWISE 用 Qwen3-8B 经思维链隐式建模效用，提示词虽公开但推理稳定性与超参需自行调试。整体算力门槛中等（推理为主、无需训练），但 API 依赖使其不属于开箱即复现级别。

超越以相关性为中心的检索：面向评分准则的文档集选择与排序 Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking