证据链：面向深度搜索智能体的引文感知评分奖励鲁棒强化学习 Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards

CaRR 和 C-GRPO 的完整流程如下。第一步是 Rubric 初始化：对于训练集中的每个问题 $q$，使用 LLM $M_{\text{rubric}}$ 将问题分解为隐藏实体集 $E_q = \{e_0, e_1, \ldots, e_{n_q}\}$ 和 rubric 集 $R_q = \{r_1, \ldots, r_{m_q}\}$，其中 $e_0$ 是最终答案实体，每个 rubric $r_j = (s_j, E_{q,j})$ 是关于一组实体的原子事实陈述。这些 rubric 在训练前生成并在整个 RL 过程中保持不变。第二步是隐藏实体识别：给定智能体轨迹 $H$ 的最终回答 $a_T$，使用 judge LLM $M_{\text{judge}}$ 判断 $a_T$ 中是否明确提及了每个隐藏实体 $e_i$ 的名称。只有所有相关隐藏实体都被识别的 rubric 才被视为「完全识别」。第三步是基于引用的 rubric 判断：从 $a_T$ 中提取引用的 URL（最多 20 个），收集对应的网页内容形成支撑上下文 $C_H$，然后用 judge LLM 判断每个完全识别的 rubric 是否被 $C_H$ 完全支撑。第四步是证据连通性检查：构建一个二部图 $G_H$，节点包括已识别的实体和已支撑的 rubric，边连接实体与其出现在的 rubric。然后从最终答案实体 $e_0^H$ 出发进行 BFS，只有与 $e_0^H$ 连通的 rubric 才被计入最终奖励。Rubric reward 定义为连通 rubric 的比例：$R_H^r = \frac{|R_{\text{connect}}^q|}{|R_q|}$。最后，C-GRPO 的混合奖励为 $R_i = (1-\alpha) \cdot R_H^o + \alpha \cdot R_H^o \cdot \hat{R}_H^r$，其中 $\alpha$ 是平衡超参数（默认 0.3），$\hat{R}_H^r$ 是归一化的 rubric reward。注意 rubric reward 只对 outcome reward 为 1 的轨迹施加，且 $\alpha$ 的引入不会改变 primary objective。

CaRR 的技术新颖性体现在三个层面。首先，在奖励设计层面，它是第一个将合成多跳问题的可分解结构显式用于 RL 奖励信号设计的框架。虽然 rubric reward 在指令跟随和长文本生成领域已有应用，但将其用于评估搜索智能体的多轮交互轨迹是全新的。其次，在评估维度上，CaRR 不仅检查「是否找到了正确实体」（类似 E-GRPO），还引入了两个此前被忽视的维度：基于引用的事实依据性检查（防止编造实体）和证据连通性检查（防止找到无关实体来 hack rubric）。第三个创新是 C-GRPO 的混合奖励设计——只对正确轨迹施加 rubric reward。论文通过实验证明，如果对所有轨迹（包括错误轨迹）都施加 rubric reward，性能反而会大幅下降，因为在 RL 早期阶段，组内可能存在大量超长或格式错误的轨迹，对它们施加正向的 rubric reward 会产生误导信号。这个设计选择是 C-GRPO 与传统 rubric reward 方法的关键区别。

独立分析本文的弱点，我发现以下几个方面值得改进。首先，CaRR 的证据连通性检查基于二部图上的 BFS，这要求从最终答案实体出发能到达每个支撑的 rubric。但在实际的多跳推理中，某些 rubric 的支撑可能通过多步间接推理与答案相连，而非通过共享实体直接相连。这种过于严格的连通性要求可能会惩罚一些推理合理但实体引用方式不同的轨迹。改进方向是引入更灵活的连通性度量，如基于语义相似度的软连接。其次，CaRR 对每个 rubric 的判断是独立的，没有考虑 rubric 之间的依赖关系。例如，如果 rubric R5 依赖于 R4 提到的实体，那么 R4 未被满足时 R5 也不应该被计入。改进方向是构建 rubric 间的依赖图，在评估时考虑依赖关系。第三，rubric reward 只对正确轨迹施加这一设计虽然避免了错误优化，但也意味着在 RL 训练后期，当大部分轨迹都能答对时，rubric reward 的信号可能变得过于强烈，压过 outcome reward。论文中 $\alpha=0.3$ 的最优值可能在不同训练阶段需要动态调整。改进方向是引入自适应的 $\alpha$ 调度策略。第四，论文未探索 rubric 质量对最终性能的影响——如果 LLM 生成的 rubric 本身有误或遗漏，会直接影响奖励信号的可靠性。改进方向是对 rubric 生成过程进行验证或引入多 judge 投票机制。

论文作者提出的未来方向主要集中在将 CaRR 扩展到开放式深度研究任务。虽然合成多跳问题具有天然的可分解结构，但开放式研究任务（如「写一篇关于 X 领域最新进展的研究报告」）不具有这种结构。一个可能的延伸方向是利用 LLM 自动为开放式任务生成评估 rubric（类似 Dr. Tulu 的 evolving rubrics 方法），然后将 CaRR 的引用评估和连通性检查机制应用到这些自动生成的 rubric 上。另一个值得探索的方向是将 CaRR 的思想应用到其他类型的智能体训练中，如代码生成智能体（每个测试用例可视为一个 rubric）、数学推理智能体（每个推理步骤可视为一个 rubric）。此外，论文发现 GRPO 在长上下文下的性能退化是一个重要的现象，值得更深入的研究——是否存在一种通用的 RL 奖励设计，能够在不同上下文长度下都保持稳定的策略质量？最后，C-GRPO 的混合奖励设计（只对正确轨迹施加细粒度奖励）可能有更广泛的应用价值，值得在其他 RL 场景中验证。

论文在复现性方面做得较好。代码和数据已在 GitHub 开源（https://github.com/THUDM/CaRR）。训练数据使用的是 DeepDive 公开数据集（1,016 个 SFT 样本和 2,234 个 RL 样本），评估使用的四个基准（BrowseComp、BrowseComp-ZH、xbench-DeepSearch、GAIA）均为公开基准。算力需求方面，论文使用 Qwen3-4B 和 Qwen3-30B 两个模型，30B 模型是 MoE 架构（实际激活参数约 3B），SFT 训练 3 个 epoch，RL 训练 3 个 epoch，rollout 大小为 16，上下文长度 128k/64k。估计复现需要多卡 A100/H100 集群，但 MoE 架构降低了实际的计算开销。Judge LLM 使用 DeepSeek-v3.2，搜索环境使用 Serper API 和 Jina API，都是公开可用的服务。整体复现难度中等——主要挑战在于 RL 训练的工程复杂度（多轮工具调用、异步 rollout）和 API 调用成本。论文提供了详细的训练超参数（学习率、batch size、温度等）和工具配置（返回前 10k 字符、最多提取 20 个引用 URL），有助于复现。