从人类偏好中学习查询特定评分标准用于深度研究报告生成 Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation

方法分为三个主要阶段。阶段一：偏好数据集构建。(1) 查询构建：从覆盖法律、商业、科技、健康等领域的知识图谱中采样多跳实体路径，prompt LLM 合成自然语言研究问题，再用 GPT-5 改写以增加多样性和自然性，最终构建了 5,651 个 DeepResearch 风格查询。(2) 候选报告生成：对每个查询，使用 DeepSeek V3.1 和通义 DeepResearch 两个模型，通过变化超参数生成多份候选报告。采用 MaMs 工作流处理长上下文依赖，每个时刻维护状态 s_t = (m_t, p_t, r_t)（记忆、计划、报告）。(3) 偏好标注：招募 16 名硕士学历以上的专家，每个比较对至少 3 人独立标注，按多数票决定最终标签，保留「有用性、连贯性、完整性、对齐度」四个维度的评判。阶段二：rubric 生成器训练。(1) 使用 Qwen3-30B-A3B 作为策略模型，输入查询 q，采样一组 rubric 候选 {y_1, ..., y_G}，每个候选是包含 title、description、weight 的 JSON 列表。(2) 计算混合奖励：偏好一致性奖励 R_pref 检查 rubric 是否正确排序偏好/拒绝报告；格式奖励 R_fmt 检查是否符合 JSON schema（不符合则 -1）；LLM-as-a-Judge 奖励 R_llm 评估 rubric 本身的逻辑连贯性和覆盖度。(3) 使用 GRPO 更新策略，学习率 1e-6，group size 为 8，上下文长度 64k tokens。阶段三：下游 DeepResearch 训练。(1) 对每个查询 q，rubric 生成器自动产生带权重的评估标准。(2) 使用 LLM-as-a-Judge 按 rubric 对 rollout 报告评分，加权平均得到标量奖励。(3) 用 GRPO 训练 DeepResearch 策略，最大交互轮数 10，每轮最多 5 次工具调用。

本文的技术新颖性体现在三个层面。第一，范式创新：提出将人类偏好「蒸馏」为可复用 rubric 生成器的思路，而非直接用偏好优化模型或手动编写 rubric。这建立了一条「偏好 → rubric → 奖励」的传递链路，使得昂贵的人类标注可以被高效复用。第二，训练信号设计：混合奖励函数 R_total = lambda_pref * R_pref + lambda_llm * R_llm + R_fmt 是一个巧妙的组合——偏好奖励确保 rubric 与人类判断对齐，LLM 质量奖励确保 rubric 本身的结构合理性，格式奖励确保下游系统的可解析性。实验表明，偏好奖励是主导信号（贡献最大的准确率和 Cohen's d 提升），而其他两个信号起到辅助约束作用。第三，下游集成方式：将训练好的 rubric 生成器作为「即插即用」的奖励模块嵌入到 DeepResearch 的 RL 训练流程中，可以同时适用于 ReAct 和 MaMs 两种工作流。与 RLCF（Viswanathan et al., 2025）和 RaR（Gunjal et al., 2025）等使用 checklist 作为奖励的工作相比，本文首次在 DeepResearch 这种不可验证奖励场景中验证了 rubric-guided RL 的有效性。

基于对论文的深入分析，我识别出以下几个弱点及其改进方向。第一，偏好一致性奖励的二值化设计限制了学习信号的精细度。当前 R_pref 只输出 +1 或 -1，无法反映「偏好报告好多少」的程度差异。例如，一个 rubric 让偏好报告得分 6.0 而拒绝报告得分 5.9，与另一个 rubric 让偏好报告得分 9.0 而拒绝报告得分 3.0，获得的奖励相同。改进方向是将二值奖励替换为基于分数差距的连续奖励。第二，LLM-as-a-Judge 评分的可靠性问题。rubric 生成器训练和下游报告评分都依赖 LLM-as-a-Judge，但 LLM 评分本身存在位置偏差、长度偏好等问题，这些偏差会通过奖励信号传导到训练过程中。改进方向是使用多模型集成评分（如同时使用 GPT-5 和 Gemini 评分取平均）或引入人类校准的评分校正机制。第三，MaMs 工作流的评估混淆。论文将 MaMs 作为下游 RL 训练的工作流进行评估，但 Table 2 中 MaMs 和 ReAct 的对比不仅涉及工作流差异，还涉及工具调用次数和交互轮数的巨大差异（MaMs: 39.23 calls, 9.40 turns vs ReAct: 8.10 calls, 3.02 turns）。这意味着观察到的提升可能部分来自更多的信息检索，而非工作流设计本身。改进方向是在相同工具调用预算下对比两种工作流。第四，rubric 质量评估缺乏人工验证。虽然论文用 LLM-as-a-Judge 评估 rubric 质量（R_llm），但没有展示 rubric 生成器产出的 rubric 与人工编写的 rubric 在具体维度上的一致性。改进方向是让人类专家对生成的 rubric 进行盲评，评估其覆盖度、相关性和可操作性。

作者在 Appendix M 中提出了几个未来研究方向。第一，将偏好建模从成对比较扩展到排名或分级评分，以利用更丰富的偏好信号。第二，提高对新颖性、创造性和事实性的评估能力，例如结合更精细的 LLM 评估和有针对性的人类反馈。第三，开发更系统化的方法来减少对 LLM-as-a-Judge 的依赖，例如通过自一致性检查或人机混合验证来增强训练过程的稳定性和可解释性。第四，在学术搜索、领域特定语料库和替代报告格式上进行更广泛的评估，以更好地刻画偏好训练的 rubric 生成器的可迁移性。基于论文成果，我认为还有几个值得延伸的方向。一是将本文的 rubric 学习框架应用到其他需要细粒度评估的生成任务中，如长篇故事生成、技术文档编写、多轮对话系统评估等——核心思路（偏好 → rubric → 奖励）具有任务无关性。二是探索 rubric 生成器的自适应更新机制——随着 DeepResearch 系统能力的提升，最优的评估标准也会变化，如果能在线更新 rubric 生成器以适应策略的改进，可能避免评估标准滞后导致的奖励饱和问题。三是研究 rubric 的可解释性和可干预性——如果用户能直接编辑或约束 rubric 的结构（如强制包含某个评估维度），可以实现更可控的报告生成。

从复现角度来看，本文提供了相对详细的实现信息。训练代码基于开源的 slime 框架（THUDM/slime），使用 Megatron 作为训练后端、SGlang 作为推理后端。论文报告了完整的超参数设置（Table 4 和 Table 5），包括学习率 1e-6、group size 8、KL 系数 0.0、裁剪比率 0.2 等。算力需求方面，rubric 生成器训练使用 8 块 NVIDIA H20 GPU，DeepResearch 代理训练使用 32 块 H20，此外还需要 192 块 GPU 的 vLLM 集群用于推理时的 rubric 评分和 LLM-as-a-Judge。这意味着完整的复现需要约 232 块 H20 GPU，对于大多数研究团队来说是较高的门槛。数据方面，论文构建了包含 5,651 个查询的偏好数据集，但该数据集是否开源尚不明确——论文提到「我们发布中文和英文版本」，但未提供数据集的具体下载链接。基线评估部分引用了 DeepResearch Bench 的官方排行榜，该基准是公开可用的。总体而言，有充足算力的研究者可以基于公开代码和超参数进行复现，但数据集的可获得性是关键不确定因素。