MiroThinker-1.7与H1：通过验证机制构建重型研究智能体 MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification
通过agentic mid-training和验证推理提升长链推理，BrowseComp达88.2
前置知识
ReAct范式
ReAct（Reasoning and Acting）是一种将推理与行动相结合的智能体交互范式，模型在每个步骤交替进行思考（Thought）、执行动作（Action）和观察结果（Observation）。这种模式使模型能够根据环境反馈动态调整策略，而非一次性生成最终答案。在ReAct中，推理轨迹以 $(T_t, A_t, O_t)$ 三元组形式记录，其中 $T_t$ 是推理思考，$A_t$ 是工具调用动作，$O_t$ 是环境返回的观察结果。MiroThinker在此基础上扩展了上下文管理和工具调用纠正机制。
MiroThinker-1.7的核心架构基于ReAct范式的扩展，理解其基本原理是理解本文方法论的前提。
Agentic Mid-training
Agentic Mid-training是在预训练和监督微调之间插入的训练阶段，专注于增强模型的原子级智能体能力，包括规划（Planning）、推理（Reasoning）、工具调用（Tool Use）和摘要总结（Summarization）。该阶段通过大规模单轮规划数据和交错推理摘要数据进行训练，使模型学会结构化问题分解、上下文条件推理和中间观察聚合。训练目标采用下一token预测，针对单个目标assistant turn进行监督。
这是MiroThinker-1.7的核心创新之一，直接决定了每个交互步骤的可靠性和有效性，是实现有效交互扩展的关键。
DPO（直接偏好优化）
DPO是一种基于人类偏好信号的对齐算法，通过比较优选轨迹和非优选轨迹来优化策略。其损失函数为 L_DPO = -log σ(β[(log π_θ(H+|x) - log π_θ(H-|x)) - (log π_ref(H+|x) - log π_ref(H-|x))])，其中 π_ref 是冻结的参考模型，β 控制偏离参考模型的程度。相比RLHF，DPO无需单独训练奖励模型，直接从偏好数据中优化策略。具体实现时，SFT模型的输出轨迹根据答案正确性被标记为优选或非优选，然后通过最大化优选轨迹相对于参考模型的对数概率比来训练。
MiroThinker在第三阶段采用DPO进行偏好优化，是连接监督学习和强化学习的关键桥梁。
GRPO（群相对策略优化）
GRPO是一种强化学习算法，对每个prompt采样一组G个轨迹，相对于群均值计算优势估计。与PPO不同，GRPO无需单独的价值网络，而是通过群内相对比较来估计基线。其损失函数结合了策略梯度项和KL散度正则化。此外，MiroThinker引入了熵控制机制，对负rollout中的低概率token应用辅助KL惩罚，防止模型持续降低这些token的可能性，维持健康的探索水平。训练采用纯在线方式，每个batch的rollouts仅用于一次策略梯度更新。
MiroThinker在第四阶段采用GRPO进行在线强化学习，引入了熵控制和优先级调度等创新机制，是提升模型泛化能力的最后一步。
滑动窗口过滤
滑动窗口过滤是MiroThinker-1.7的上下文管理策略，选择最近K步的观察结果，对窗口内进行截断，窗口外进行掩码丢弃。关键洞察是模型的决策主要依赖于近期观察，保留远距离输出的收益递减且token成本高。通过保留完整的思考-行动轨迹，模型保持全局推理上下文，同时将观察窗口集中在最近的可行动证据上。实验中设置K=5，即仅保留最近5个观察结果，这一策略在引入可忽略的性能下降的同时，实现了更长更深的智能体轨迹。
滑动窗口过滤是MiroThinker-1.7能够维持长链推理的关键技术，使模型能够在固定token预算内进行更深的交互。
Heavy-duty Reasoning Mode
Heavy-duty Reasoning Mode是MiroThinker-H1引入的验证中心推理模式，在局部和全局两个层面整合验证机制。局部验证（Local Verifier）在推理过程中评估和细化中间步骤，使模型能够重新考虑替代动作并提前纠正潜在错误。全局验证（Global Verifier）审计整体推理轨迹，比较候选解决方案路径，确保最终答案由最连贯、最充分的证据链支持。这种双层验证机制利用了验证往往比生成更容易这一事实，通过生成-验证不对称性提升推理可靠性。
这是MiroThinker-H1区别于基础版本的核心创新，将其从普通研究智能体升级为重型研究系统。
研究动机
当前大语言模型在复杂长链推理任务中面临严重瓶颈。虽然近期智能体框架展示了 promising 的能力，但单纯增加推理轨迹长度并不能可靠地提升性能。当推理步骤不准确或缺乏支撑时，更长的交互轨迹反而会累积噪声、传播错误，最终降低解决方案质量。具体表现为：(1) 中间推理步骤质量低下，如重复内容、畸形工具调用（不正确的工具名或无法解析的参数）、定义不明确的工具调用或错误后不重试等不良行为模式；(2) 在长链交互中，模型容易陷入习惯性思维模式，沿最高概率路径行进而不探索替代方案；(3) 缺乏机制来验证和细化推理轨迹，导致问题解决过程中可能产生产出噪声的步骤。这些问题在科学分析、金融推理和开放式研究等真实世界场景中尤为突出。
本文的目标是本文的核心目标是提升长链推理的有效交互而非简单增加交互长度。具体而言，作者追求两个目标：(1) 通过agentic mid-training强化模型的原子级智能体能力，包括规划、推理、工具使用和摘要总结，使每个交互步骤更可靠、更有信息量，从而改善交互推理的可扩展性和有效性；(2) 引入以验证为中心的推理模式，在推理过程的局部和全局层面整合验证机制，使系统能够评估和细化中间推理决策，并审计整体推理轨迹。最终，MiroThinker-H1在BrowseComp上达到88.2分，在BrowseComp-ZH上达到84.4分，在GAIA上达到88.5分，超越包括GPT-5.4、Gemini-3.1-Pro和Claude-4.6-Opus在内的所有商业和开源研究智能体。
与已有工作不同的是，本文的独特切入角度在于将研究重点从扩展交互长度转向提升交互质量。与现有方法不同，MiroThinker不依赖于固定的手工设计启发式或强制固定的智能体模式来定义偏好，而是以答案正确性作为唯一的排名信号。此外，作者提出有效交互扩展的概念，认为需要同时满足两个关键因素：(1) 每一步具备强原子级能力；(2) 可验证的机制使系统能够验证和细化推理轨迹。这种视角与单纯追求更长上下文或更多工具的方法形成鲜明对比。实验表明，MiroThinker-1.7-mini相比MiroThinker-1.5-30B，平均性能提升16.7%的同时，交互轮数减少约43.0%，其中HLE任务性能提升17.4%、轮数减少61.6%。
核心方法
MiroThinker-1.7的方法论建立在一个核心直觉之上：提升长链推理需要扩展有效交互而非简单增加交互长度。这需要同时强化两个维度：每个步骤的原子级能力，以及验证和细化推理轨迹的机制。技术路线分为两个层次：首先，基于开源Qwen3 MoE模型，通过四阶段训练流程（agentic mid-training、监督微调、偏好优化、强化学习）构建MiroThinker-1.7，大幅提升每个步骤的规划、推理、工具使用和摘要能力。其次，在此基础上引入heavy-duty reasoning mode，通过Local Verifier和Global Verifier在推理过程的局部和全局层面整合验证机制，构建MiroThinker-H1。整个系统采用双循环智能体架构：外层episode循环处理轨迹级重启，内层step循环驱动推理、工具调用和观察，配合滑动窗口过滤和结果截断等上下文管理策略，在固定token预算内维持长链推理。
MiroThinker的核心创新在于两个层面的突破。第一个创新是agentic mid-training，这是连接预训练和监督微调的新型训练阶段，专注于增强模型的原子级智能体能力。与现有方法不同，MiroThinker采用大规模单轮规划数据和交错推理摘要数据，通过冷启动规划、上下文条件推理和中间摘要三种互补形式的监督，使模型学会在每个步骤做出更可靠的推理和动作决策。第二个创新是verification-centric reasoning，即在推理过程中整合局部和全局验证。局部验证对抗模型的概率偏差，鼓励更彻底的搜索而非重复确认模型自身偏好；全局验证利用验证往往比生成更容易这一不对称性，审计整体推理轨迹并确保最终答案由最连贯的证据链支持。这两个创新的本质区别在于：前者提升每个步骤的质量，后者确保整体推理的可靠性，二者结合实现了有效交互扩展。
方法步骤详情
MiroThinker-1.7的方法包含以下完整步骤：(1) Agentic Mid-training：在第一阶段，模型在大规模智能体监督数据上训练，包括单轮规划数据和交错推理摘要数据。训练目标为 L_mid(θ) = -E[log π_θ(y_k|C_{<k})]，其中 y_k 是第k步的目标assistant输出，C_{<k} 是前序上下文。(2) Agentic SFT：构建大规模SFT数据集，每条样本包含任务指令和专家轨迹，采用规则过滤和数据清洗确保质量。训练目标为 L_SFT(θ) = -E Σ log π_θ(T_t, A_t|x, H_{<t})。(3) Agentic Preference Optimization：构建偏好数据集，以答案正确性为唯一排名信号。结合DPO损失和辅助SFT损失：L_PO(θ) = E[L_DPO] + λL_SFT^(+)。(4) Agentic RL：采用GRPO进行在线强化学习，奖励函数 R(x,H) = α_c R_correct(H) - α_f R_format(H)，引入优先级调度和熵控制机制。(5) Heavy-duty Reasoning：MiroThinker-H1引入Local Verifier和Global Verifier，在BrowseComp上达到88.2分。
技术新颖性
MiroThinker在技术新颖性方面有多项突出贡献。首先，agentic mid-training是一种全新的训练范式，将原子级智能体能力训练从SFT阶段分离出来，形成独立的mid-training阶段。这种设计使模型能够在大规模监督下学习规划、推理、工具使用和摘要等基础能力，为后续SFT和RL阶段奠定更坚实的基础。其次，QA合成框架的双管道设计具有创新性：Corpus-based Pipeline专注于主题广度和高吞吐量生成，WebHop Pipeline通过结构化推理图、基于Web的语义扩展和分层可解性验证构建精确校准的多跳问题。WebHop Pipeline的自适应叶子实体混淆机制尤为巧妙，自动替换最可能泄露答案的表面关联实体。第三，Heavy-duty Reasoning Mode是首个系统性地将显式验证整合到长链推理中的方案。第四，GRPO训练中的熵控制机制针对负rollout中的低概率token应用辅助KL惩罚。
实验结果
MiroThinker-H1在多个基准测试上建立了新的state-of-the-art。在BrowseComp上，H1达到88.2分，超越Gemini-3.1-Pro的85.9分和Claude-4.6-Opus的84.0分；在BrowseComp-ZH上，H1达到84.4分，超越Seed-2.0-Pro的82.4分。在GAIA基准上，H1达到88.5分，比之前领先的OpenAI-GPT-5（76.4分）高出12.1个百分点，这是最显著的性能提升。在xbench-DeepSearch上，H1达到72.0分，缩小了与GPT-5（75.0分）的差距。在SEAL-0上，H1达到61.3分，建立了所有评估模型中的最佳结果。在专业领域，H1在FrontierSci-Olympiad上达到79.0分，超越GPT-5.2-high（77.1分）和Gemini-3-Pro（76.1分）；在FinSearchComp上达到73.9分，在MedBrowseComp上达到56.5分。值得注意的是，MiroThinker-1.7-mini仅用3B激活参数就在BrowseComp-ZH（72.3分）和GAIA（80.3分）上超越了GPT-5和DeepSeek-V3.2等强大模型。在有效交互扩展实验中，MiroThinker-1.7-mini相比1.5-30B平均性能提升16.7%同时交互轮数减少43.0%，其中HLE任务性能提升17.4%、轮数减少61.6%，验证了质量优于数量的核心假设。Local Verifier在BrowseComp困难子集上将性能从32.1提升至58.5（+26.4），同时将交互步骤从1185.2降至210.8。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开放网络研究 | BrowseComp准确率 | 88.2 | 85.9 (Gemini-3.1-Pro) | +2.3 |
| 中文网络研究 | BrowseComp-ZH准确率 | 84.4 | 82.4 (Seed-2.0-Pro) | +2.0 |
| 通用智能体基准 | GAIA准确率 | 88.5 | 76.4 (GPT-5) | +12.1 |
| 深度搜索 | xbench-DeepSearch准确率 | 72.0 | 75.0 (GPT-5) | -3.0 |
| 科学推理 | FrontierSci-Olympiad准确率 | 79.0 | 77.1 (GPT-5.2-high) | +1.9 |
| 金融分析 | FinSearchComp准确率(T2/T3) | 73.9 | 70.2 (Seed-2.0-Pro) | +3.7 |
| 医学研究 | MedBrowseComp准确率 | 56.5 | 54.2 (MiroThinker-1.7) | +2.3 |
| 密封测试 | SEAL-0准确率 | 61.3 | 57.4 (Kimi-K2.5) | +3.9 |
局限与改进
尽管MiroThinker-H1取得了显著成果，但仍存在一些局限性。首先，在xbench-DeepSearch基准上，H1（72.0分）仍然落后于GPT-5（75.0分）3个百分点，表明在某些深度搜索场景中仍有改进空间。其次，在SUPERChem化学推理基准上，H1（51.3分）明显落后于Gemini-3-Pro（63.2分），差距达11.9个百分点，说明专业领域知识的深度整合仍是挑战。第三，heavy-duty reasoning mode带来了显著的计算开销：默认16倍计算预算下BrowseComp准确率为85.9，扩展到64倍才达到88.2，这意味着需要4倍的计算资源才能获得2.3个百分点的提升。第四，实验采用固定超参数（温度=1.0，top-p=0.95，上下文长度=256K），未探索这些参数对性能的影响。第五，虽然作者声称通过阻断已知数据泄露来源来防止基准污染，但无法完全保证所有潜在泄露路径都被阻断。最后，论文缺乏对模型失败案例的深入分析，未能说明在哪些具体场景下模型表现不佳。
独立分析的弱点
MiroThinker-1.7存在几个值得深入分析的弱点。首先，滑动窗口过滤机制（K=5）虽然降低了token成本，但可能导致重要历史信息的丢失。在需要长期记忆的任务中，仅保留最近5个观察结果可能不足以支撑复杂推理。改进方向包括：引入自适应窗口大小机制，根据任务复杂度动态调整K值；或开发更智能的记忆检索机制，在需要时召回关键历史信息。其次，episode重启策略（最多5次重试）在某些极端情况下可能导致失败后的重新开始效率低下，因为所有历史信息都被丢弃。可以考虑引入软重启机制，保留部分有价值的中间状态。第三，工具调用的自动纠正机制虽然提高了鲁棒性，但可能掩盖了模型的根本性理解问题，建议增加工具调用失败的反馈学习机制。第四，QA合成框架中的WebHop Pipeline虽然能生成高质量多跳问题，但其成本高昂，限制了训练数据的规模。
未来方向
基于MiroThinker-1.7和H1的成果，未来研究可向多个方向延伸。首先，可以探索agentic mid-training的进一步扩展，引入更多类型的原子级能力训练，如错误恢复、多智能体协作、跨模态推理等。其次，heavy-duty reasoning mode可以向更细粒度发展，例如在单个推理步骤内部引入多个验证点，而非仅在步骤完成后进行验证。第三，可以将MiroThinker架构应用于更多领域，如代码生成、多模态理解、实时决策等，探索通用智能体的潜力。第四，可以研究更高效的验证机制，降低heavy-duty reasoning的计算开销，使其在资源受限场景下也能应用。第五，可以探索主动学习策略，让智能体在推理过程中自动识别需要更多验证的关键步骤，实现计算资源的智能分配。第六，可以研究多智能体协作框架，让多个MiroThinker实例协同解决超大规模研究任务。最后，可以探索将MiroThinker的训练方法迁移到更小的模型上。
复现评估
MiroThinker-1.7和H1的复现评估显示较高的可复现性。在开源方面，作者已发布MiroThinker-1.7和1.7-mini的模型权重，以及MiroThinker和MiroFlow的GitHub代码库，为社区提供了完整的技术实现。数据方面，训练数据的构建流程有详细描述，但部分数据来源未公开，可能影响完全复现。算力要求方面，模型基于Qwen3 MoE架构，具体参数规模未明确说明，但从3B激活参数的1.7-mini版本推断，完整版本可能需要显著的计算资源。此外，heavy-duty reasoning mode在默认16倍计算预算下运行，BrowseComp单问题平均需要约18M tokens，对算力有较高要求。复现难度中等偏高，主要挑战在于训练数据的完整构建需要大量计算和人工审核，GRPO训练需要分布式环境支持，评估基准的部分数据可能受污染。建议复现者从1.7-mini版本开始。
论文图表
