LongTraceRL：基于搜索代理轨迹和评分奖励的长上下文推理学习 LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards

数据构建管道包含四个步骤。第一步是多跳问题生成：从KILT Wikipedia快照上的超链接图执行随机游走，从种子实体 $v_0$ 开始走 $k=8$ 步形成路径 $P=[v_0, v_1, ..., v_k]$，然后使用强LLM生成多跳问题，要求必须逐步经过所有实体且必须改写识别信息。第二步是代理搜索轨迹收集：部署具有深度搜索能力的代理（包括SEARCH、OPEN、CITE操作）回答每个问题，记录完整搜索轨迹 $\tau=[(a_1, d_1), (a_2, d_2), ...]$，对每个问题采样 $K=5$ 个独立轨迹，只保留到达正确答案的轨迹。第三步是分层干扰提取：将记录的搜索轨迹中的文档分为两层——Tier-1是代理打开但未在最终响应中引用的文档（高混淆性），Tier-2是出现在搜索结果中但从未打开的文档（低混淆性）。第四步是长上下文组装：使用traj-tiered策略，先添加黄金文档，然后优先添加Tier-1干扰，如果还未达到目标长度 $L$ 再用Tier-2填充，最后打乱所有文档顺序。强化学习方面，采用GRPO算法，组合结果奖励 $r_{oc} \in \{0, 1\}$ 和rubric奖励 $r_{rb}$：原始rubric分数 $\hat{r}_{rb} = \frac{|\{e \in E | e \text{ appears in response}\}|}{|E|}$，组内归一化后为 $r_{rb} = \begin{cases} \hat{r}_{rb} / \max_{j \in [G]} \hat{r}_{rb}^{(j)} & \text{if } \max > 0 \\ 0 & \text{otherwise} \end{cases}$，最终奖励 $r = \begin{cases} (1-\alpha) \cdot r_{oc} + \alpha \cdot r_{rb} & \text{if } r_{oc} > 0 \\ 0 & \text{otherwise} \end{cases}$，其中 $\alpha = 0.3$ 控制过程监督权重。

本文的技术新颖性体现在多个方面。数据构建上，首次将搜索代理的真实搜索轨迹引入干扰文档构建，通过Tier-1和Tier-2的分层设计实现了比随机采样、单次搜索或embedding相似性挖掘更真实的干扰难度。实验证明traj-tiered策略的干扰文档与rubric实体的重叠率达到50.03%，而随机策略仅为1.35%。奖励设计上，首次将过程监督细化到实体级别，rubric reward直接衡量模型对推理链上所有黄金实体的召回率，比chunk级、文档级或工具调用级的监督更细粒度。策略设计上，提出正例奖励策略，只在正确答案上应用rubric奖励，有效防止模型学习枚举实体的hacking行为。训练动态显示，这种正例策略与有限的响应预算结合，能够自动调节响应长度，防止模型过度膨胀。

本文存在几个可以改进的弱点。首先是知识源单一：仅依赖Wikipedia可能限制推理模式的多样性，特别是在专业领域（如金融、法律、医学）上。改进方向可以是扩展到多源知识图谱，加入领域特定的知识库（如法律条文、医学文献），或者使用现实世界的文档语料库（如arXiv、GitHub、金融报告）进行知识图构建。其次是代理能力依赖：轨迹质量取决于所使用的搜索代理，但论文没有详细说明代理的具体实现和能力范围。改进方向可以是系统研究代理能力（如搜索策略、文档选择策略、citation策略）与干扰质量的关系，甚至使用多个不同能力的代理构建更丰富的干扰集合。第三是rubric奖励的召回率指标可能不够全面：只计算实体是否出现，不考虑实体的使用上下文是否正确。改进方向可以是引入实体级别的精确率或F1分数，或者使用LLM判断每个黄金实体在推理中的使用是否正确。第四是训练成本高：32×H800 GPU的资源要求对大多数研究团队不现实。改进方向可以是探索更高效的RL算法，或者使用蒸馏方法将大型模型学到的推理能力转移到小型模型。

作者提出的未来工作方向包括研究代理能力如何影响数据质量，这是一个有趣的方向。基于本文成果，可以延伸多个研究方向：一是将方法应用到其他任务类型，如代码生成、文档理解、对话系统等，验证轨迹干扰和rubric奖励的泛化性；二是探索更多层次的干扰文档，如根据代理阅读时间、滚动行为、高亮行为等更细粒度地量化文档的'注意力'并据此分层；三是研究rubric奖励在不同任务粒度上的应用，如在代码任务中使用函数/变量名作为rubric实体，在文档摘要任务中使用关键信息点作为rubric实体；四是开发更自动化的数据构建流水线，减少对强LLM（如GPT-5.2）的依赖；五是研究如何将rubric奖励与其他过程监督（如思维链、工具使用、自我验证）结合，形成更全面的训练信号；六是探索在线学习场景，让模型在与真实用户交互的过程中持续学习和改进，而不仅限于离线预训练。

论文声称代码、数据集和模型将在GitHub开源（https://github.com/THU-KEG/LongTraceRL），这有利于复现。实验使用的数据集由本文的流水线构建，包含2,815个长上下文QA示例，每个示例包含8跳问题、黄金证据和组装到128K token的分层干扰文档。训练使用Slime框架，GRPO参数设置为组大小 $G=8$、全局批大小128、学习率 $2 \times 10^{-6}$、最大上下文160K token（128K prompt + 32K response），训练200个迭代。评估使用温度0.6，rollout使用温度1.0。实验在32×H800 GPU上运行。从复现角度看，主要挑战包括：需要强大的搜索代理实现、需要GPT-5.2等强LLM进行问题生成、需要大量GPU资源。如果能完整开源所有组件（包括代理实现、生成脚本、预训练检查点），复现难度会显著降低。论文提供了详细的超参数设置和训练配置，这是良好的实践。