Mind DeepResearch 技术报告：基于 ~30B 参数的高效多 Agent 深度研究框架 Mind DeepResearch Technical Report

完整方法流水线可拆为四步：(1) 数据合成：从百度百科与英文维基百科构建统一知识图谱，按「推理可达性 + 路径必要性 + 结构独立性」三条约束采样子图，用 LLM 把图结构翻译为自然语言多跳 QA 对，再做条件混淆（增加难度）、合理性评估、直答过滤、语义一致性过滤，得到约 35K 高质量多跳查询；SFT 数据另从仿真环境采样约 12K 条 ReAct 轨迹（KG 60% + 真实场景 35% + 人工标注边缘 5%），并按 8K→32K/64K→128K 三阶段做渐进长度泛化；Report-RL 数据从 SFT 轨迹池派生长格式（带完整检索上下文）和短格式（只保留 query + Rubrics + 参考报告）两套。(2) SFT 冷启动：用标准自回归语言建模损失在约 15K 条轨迹上行为克隆，训练终止条件由长上下文格式正确率（64K 与 128K 均低于 2.5%）和政策熵（不低于 60K 步时的 90%）联合触发。(3) Search-RL：每查询采样 G=8 条轨迹，按 GRPO/GSPO 计算组相对优势，总奖励中 PRM 通过字符串匹配验证中间实体是否被覆盖、ORM 用 3 模型多数投票 LLM-as-Judge；同时训练集难度比例根据验证集 ORM 准确率动态调整。(4) Report-RL + Preference Alignment：用 RACE Rubrics 生成参考评分，对 Dense 模型用 DAPO（token 级归一、asymmetric clipping、移除 KL、动态采样过滤），对 MoE 切到 GSPO；附加引用奖励与格式奖励；最后用当前策略自采样的高/低质样本做 DPO（1.8K 时态 + 2.8K 表格修复集）+ Self-SFT（4.3K 高质量报告）。

技术新颖性可从数据、奖励、算法、工程四个层面看。数据层：知识图谱合成不再满足于连通性，而是显式编码三条图结构约束（推理可达性、路径必要性、结构独立性），并用条件混淆动态监测解空间大小来维持答案唯一性，这是对 WebSailor/DeepDive 类工作的精细化升级。奖励层：步级 PRM + 动态权重调度是最大亮点——既有方法要么用 trajectory-level 统一奖励（无信号区分度），要么用 PPO critic（成本高），要么用分支采样（指数复杂度），MindDR 用 KG 预抽取的实体集合做字符串匹配 PRM，把步级精细监督的成本压到接近零；配合阈值触发的权重迁移，把训练从手工分阶段变成自动随能力饱和迁移。算法层：明确把 GSPO 用于 MoE（用序列级重要性比抑制专家路由漂移）、DAPO 用于 Dense Report-RL（token 级梯度 + asymmetric clipping 解决长文生成梯度不平衡），体现了对不同模型架构与不同任务阶段的精细匹配。工程层：自研 Li-veRL 框架相对原生 veRL 实现 2.9× 加速（专家路由优化、异步轨迹生成、异步工具调用），并通过统一工具入口把工具错误率压到 0.1% 以下。这些加在一起，让约 30B 模型在多项基准上跑赢更大参数的开源乃至闭源对手。

独立审视，本文至少有四个明显弱点，每个都对应一条可改进方向。第一，奖励稀疏与归因仍然粗糙：尽管 PRM 用实体匹配做了步级监督，但实体集合是从 KG 中预抽取的，无法覆盖真实任务中可能需要但未被标注为「关键」的中间步骤；对实体提及的检测也只是字符串匹配，会被同义改写轻易绕过；改进方向是引入更强的过程监督——例如对每个 PRM 信号再做一次 LLM 事实校验的二次过滤，或用检索一致性分数（如多查询指向同一文档的比例）作为额外信号。第二，Report-RL 的引用奖励 $R_{\text{cite}}$ 阈值用「引用数 ≥0.7 n_ref + 有效率 ≥0.7」过于启发式，且「有效」靠相关性阈值 τ，难以保证引用真实指向断言而非周边文本；改进方向是引入细粒度的引用断言对齐（assertion-level citation matching），并把引用准确率直接作为硬奖励而非软信号。第三，引用准确率相对 v1.0 略降（82.14% → 80.25%），表明 RL 在 RACE 综合分上的优化方向不完全对齐引用忠实性——这本质是 reward hacking 风险；改进方向是把引用准确率提升到约束级而非软信号，或加一项 KL-constrained 防止与 v1.0 引用分布漂移过大。第四，消融报告（Table 4）显示 GRPO 在 MoE 上会同时压低 Search-RL 收益（BrowseComp-ZH 从 47.1% 降到 29.1%），作者切到 GSPO 才稳定——但这一选择的代价是牺牲了一定探索性（序列级重要性比天然更平滑），改进方向是探索 token-level 与 sequence-level 的混合重要性估计，或对 MoE 路由器加显式约束。

作者明确点出的方向有两点：(1) 长上下文管理——分层记忆、选择性压缩、自适应注意力机制；(2) 评估协议扩展——更细致的人类评估协议以捕捉方法论严谨性、论证新颖性、对不确定结论的适当 hedging。基于成果自然延伸的方向至少还有四条：(a) MindDR Bench 已验证 RACE 与引用准确率、时态错误率等多维信号可以有效驱动训练，可以进一步把更多用户研究行为指标（如「信息覆盖完整度」「关键事实再现率」）纳入评估并嵌入训练奖励；(b) PRM 的实体匹配机制可以推广到多模态——把图片、表格、PDF 段落也作为可检索实体，统一进同一条 PRM 公式，让搜索 Agent 能处理多模态研究任务；(c) 三 Agent 架构目前 Planning Agent 是单实例的，规划质量存在瓶颈，可以引入 Plan-Critique 循环或 Tree-of-Thought 风格的规划器，配合 RL 优化规划本身；(d) 偏好对齐阶段用了静态自采样数据，下一步可以引入在线人类反馈（在线 DPO）或 RLHF 微迭代，把「用户研究过程满意度」变成闭环信号；(e) 把训练阶段从四阶段扩展到更多细粒度阶段，例如拆出「反思能力 RL」或「规划能力 RL」，进一步降低单一阶段的奖励耦合度。

复现评估方面，本文做了相对克制的开源承诺——文中明确列出了 MindDR Bench 的 500 条查询来源（来自 Li Auto 内部产品 Livis 的真实用户交互），并且报告了完整的训练 token 量（约 1.03B）、GPU 卡时（约 6K card-hours）、数据合成流程（KG + LLM 翻译 + 混淆 + 过滤）、奖励公式与训练超参（采样 G=8、KL 系数 β、格式错误率阈值 2.53%、奖励权重初值与三阶段迁移阈值），理论上足以让具备千卡级 GPU 集群的实验室复现。但需要注意：(a) 论文并未承诺开源模型权重或训练代码，附录只给出了 prompt 模板而非完整训练框架；(b) 工具环境涉及内部知识库、外部搜索（Sogou/Bing/Quark）、学术搜索、网页抓取、PDF/表格处理等多个专有或商业 API，普通研究者无法 1:1 复现工具后端；(c) MindDR Bench 公开了 500 条查询但查询评估用的评分模型与人类标注过程细节未完全披露，第三方难以独立运行 MindDR Bench；(d) 基座模型用了 Qwen3-32B 与 Qwen3-30B-A3B，是阿里通义的开源模型，复现基础友好。综合来看，方法论与数据流水线可借鉴复现，但端到端 MindDR 系统的完全开源复现仍受限于模型权重与工具环境。