AgentCPM-Report：交替式起草与深化的开放式深度研究框架 AgentCPM-Report: Interleaving Drafting and Deepening for Open-Ended Deep Research
8B参数模型通过WARP策略交替起草与深化，超越闭源深度研究系统
前置知识
深度研究报告生成（Deep Research Report Generation）
深度研究报告生成是指AI系统在给定一个开放式研究问题后，自主进行大规模信息检索、知识综合和分析，最终生成结构化、有洞察力的研究报告的完整流程。与简单的问答不同，深度研究要求系统能够：(1)将复杂问题分解为多个子问题；(2)从多个来源检索相关证据；(3)综合分析形成连贯的论述；(4)在过程中发现和填补知识空白。现有系统如OpenAI Deep Research、Gemini Deep Research等都采用此类范式，但通常依赖闭源大模型。
这是本文要解决的核心任务场景，理解深度研究报告生成的完整流程是理解WARP框架创新点的基础。
计划-写作范式（Plan-then-Write Paradigm）
这是当前深度研究系统的主流方法论。系统首先根据用户查询生成一个完整的报告大纲（包含各级标题和写作意图），然后基于这个固定大纲逐节检索信息并生成内容。代表系统包括WebWeaver等。该范式的核心假设是初始大纲能够覆盖研究主题的全部重要内容，规划和写作是两个独立的阶段。然而，这一假设在开放式研究中往往不成立，因为初始规划阶段缺乏足够的信息来构建全面的大纲。
这是本文要突破的主要范式局限，理解其工作机制和缺陷是理解WARP动机的关键。
WARP（Writing As Reasoning Policy，写作即推理策略）
WARP是本文提出的核心框架，将深度研究重新建模为一个迭代的策略级决策过程。与传统的线性规划-执行流程不同，WARP允许模型在写作过程中动态修订大纲。具体来说，WARP定义了五种原子动作：INITIALIZE（初始化大纲）、SEARCH（检索信息）、WRITE（撰写内容）、EXPAND（深化扩展）和TERMINATE（终止）。系统在证据驱动起草（Evidence-Based Drafting）和推理驱动深化（Reasoning-Driven Deepening）两个宏观状态之间交替运行，形成一个自我完善的闭环。
WARP是本文的核心创新，理解其工作原理是理解整篇论文技术贡献的关键。
轨迹剪枝（Trajectory Pruning）
轨迹剪枝是本文为解决训练数据质量问题提出的策略。教师模型在生成深度研究轨迹时，往往存在'最优停止问题'——要么过度扩展、要么过早终止。轨迹剪枝的解决方案是：强制教师模型递归地'过度扩展'，生成一系列不同粒度的报告草稿 D_1 到 D_N，然后回溯地找到报告质量最高的最优停止点 i*，在该点截断轨迹并将动作重新标记为TERMINATE。这确保了训练数据中的停止决策是基于信息饱和度而非任意模仿。
这是多阶段训练策略中数据准备阶段的关键创新，直接决定了训练信号的质量。
多阶段智能体训练（Multi-Stage Agentic Training）
本文采用的课程式训练策略，包含三个阶段：(1) 冷启动SFT阶段，建立基础的指令遵循和格式规范能力；(2) 原子技能RL阶段，将全局目标分解为规划、检索、写作、决策四种原子能力，分别设计奖励函数进行强化学习；(3) 全流程RL阶段，以最终报告质量（如全面性、洞察力）作为端到端奖励进行优化，使模型能够超越教师轨迹的限制。这种渐进式训练解决了长视野决策和稀疏奖励的问题。
这是本文在训练方法论上的核心贡献，解释了如何将WARP框架有效地迁移到8B参数的小模型上。
洞察天花板（Insight Ceiling）
洞察天花板是指传统计划-写作范式所面临的根本性限制。由于大纲在写作前就已固定，系统无法捕捉在实际写作过程中才浮现的微妙联系、矛盾或新方向。这导致生成的报告虽然结构完整，但缺乏深度和原创性。WARP通过推理驱动深化机制打破这一天花板，使系统能够在写作过程中识别浅层论述并主动触发进一步的研究和扩展。
这是本文论证的核心问题，理解洞察天花板有助于理解为什么需要从范式层面进行改革。
研究动机
当前深度研究系统面临两个相互关联的根本性问题。首先，现有的计划-写作范式存在'洞察天花板'——系统在写作前生成固定大纲，然后严格按照大纲执行，这种规划与写作的刚性分离导致报告虽然结构完整但缺乏深度。以WebWeaver为代表的系统采用先规划后写作的两阶段流程，将下游写作者降格为静态蓝图的执行者，无法捕捉在实际论述过程中才浮现的微妙联系和新兴洞察。其次，由于高质量大纲的生成本身要求强大的推理能力和领域知识，当前的深度研究系统几乎完全依赖闭源或在线大模型（如Gemini-2.5-Pro、GPT-4等）。这种依赖带来实际部署障碍：在线部署难以支持用户本地或私有数据的写作，因为上传此类数据不可避免地引发安全和隐私问题。在三个主流基准测试中，现有的开源小模型（如WebShaper-32B在DeepResearch Bench上Overall仅为34.93）与闭源系统（Gemini-2.5-Pro-deepresearch达到49.71）之间存在巨大性能差距。
本文的目标是本文的具体目标是构建一个完全本地化、高性能的深度研究系统，能够在不依赖外部大模型的情况下生成高质量的研究报告。更具体地说，团队希望：(1) 提出一种新的推理框架，突破传统计划-写作范式的洞察天花板；(2) 设计有效的训练策略，使8B参数的小模型能够掌握复杂的长视野研究决策；(3) 在多个权威基准测试上达到或超越领先的闭源深度研究系统，特别是OpenAI Deep Research和Gemini Deep Research。最终目标是实现安全、隐私保护、完全本地化的深度研究报告生成。
与已有工作不同的是，本文的独特切入角度在于从根本上重新思考深度研究中规划与写作的关系。与现有方法将规划和写作视为两个独立阶段不同，本文提出了'写作即推理'（Writing as Reasoning）的范式转换，认为写作本身就应该是一个推理过程——规划决策应该从写作过程中动态浮现，并根据写作反馈进行适应性调整。这一视角借鉴了认知心理学中Scardamalia和Bereiter（1987）提出的知识转化理论，指出研究者很少能仅凭预存思维执行端到端的刚性计划，相反，写作本身就作为一种推理机制，逐步揭示尚未知晓的内容。这种范式层面的创新使得小模型能够通过更智能的流程设计来弥补参数量的不足，而不是简单地追求模型规模的扩展。
核心方法
AgentCPM-Report的整体方法可以概括为两个核心组成部分：WARP推理框架和多阶段智能体训练策略。WARP的核心直觉是模仿人类研究者的写作过程——人类研究者在撰写报告时，并不会严格按照预先制定的大纲写作，而是在写作过程中不断发现新的问题、修正方向、深化分析。技术路线如下：系统首先根据用户查询生成一个稀疏的高层大纲（仅包含一级标题和简要写作意图），然后在证据驱动起草和推理驱动深化两个状态之间交替运行。在起草阶段，系统根据当前大纲和已有草稿检索相关信息并撰写内容；在深化阶段，系统评估当前草稿的语义密度和逻辑连贯性，识别浅层或不完整的部分，将其分解为更细粒度的子问题并更新大纲。这种设计将规划和写作统一为同一个策略 pi_theta 驱动的状态转移过程，使得大纲调整 O_i 到 O_{i+1} 和内容生成 D_i 到 D_{i+1} 成为等价的操作。配合多阶段课程训练，最终使8B参数的MiniCPM4.1-8B模型具备了深度研究能力。
WARP的核心创新在于将深度研究建模为策略级的迭代精炼过程，与现有方法存在本质区别。传统方法遵循'检索-写作'或'计划-写作'的线性流程，而WARP将研究过程统一为一个迭代的层级决策过程：在每个交互循环 i 中，智能体观察全局状态 S_i = (Q, O_i, D_i, C_i)，包含用户查询 Q、动态大纲 O_i、当前草稿 D_i 和当前循环检索的上下文 C_i。在循环 i 的第 j 步，智能体从动作空间 {INITIALIZE, SEARCH, WRITE, EXPAND, TERMINATE} 中选择动作 A_{i,j}。最关键的区别在于，WARP中的EXPAND（深化）动作是基于当前草稿的语义分析自触发的，而不是预先计划的。在推理驱动深化状态中，智能体自主决定是终止还是继续深化，通过评估当前草稿的语义密度和逻辑连贯性来做出决策。这使得系统能够打破'洞察天花板'，捕捉仅在写作过程中才浮现的微妙联系。
方法步骤详情
WARP框架的具体执行包含以下步骤：(1) 粗到细初始化：从初始状态 S_0 开始，智能体分析查询 Q 生成宽泛的搜索查询 q_0，检索背景上下文 C_0，然后综合生成初始的稀疏一级大纲 O_0 = INITIALIZE(Q, C_0)，仅包含高层标题和简要写作意图。(2) 证据驱动起草：对于大纲 O_i 中的第 k 个章节，智能体首先根据用户查询 Q、章节意图 O_i^k 和已有草稿上下文 D_i 构建检索查询 q_{i,k} = SEARCH(Q, O_i^k, D_i)，确保新信息严格延续前序章节的逻辑流。检索工具获取新内容 C_i^k 后，智能体基于检索到的证据综合生成章节内容 D_i^k = D_i^{k-1} + WRITE(Q, O_i^k, D_i^{k-1}, C_i^k)。(3) 推理驱动深化：当草稿 D_{i+1} 生成后，智能体将其作为新的观察进行推理诊断。如果第 k* 个章节缺乏深度，智能体生成局部子章节来分解主题，更新大纲 O_{i+1} = O_i + EXPAND(k*)(Q, O_i, D_{i+1})。(4) 终止判断：当智能体验证逻辑链完整且内容深度与查询复杂度匹配时，执行 End = TERMINATE(Q, O_i, D_{i+1})。整个流程中，报告结构限制在三个层级，深化步骤限制在12步以内以确保效率。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在框架层面，WARP是首个将深度研究统一建模为策略级迭代决策过程的工作，打破了规划和写作之间的刚性边界。与WebWeaver等冻结大纲的系统不同，WARP中的大纲是一个'活'的文档，会根据写作反馈持续演化。其次，在训练方法层面，多阶段智能体训练策略（SFT到原子技能RL到全流程RL）是首次针对深度研究任务设计的课程学习方案。原子技能RL将全局目标分解为规划、检索、写作、决策四种能力并分别设计奖励函数（见Table 1），解决了长视野任务中奖励稀疏的难题。全流程RL则通过端到端的报告质量优化，使模型能够超越教师轨迹的限制。第三，轨迹剪枝策略通过强制教师过度扩展并回溯找到最优停止点，创造性地解决了'最优停止问题'。第四，从系统设计角度，AgentCPM-Report是首个证明8B参数模型可以匹配甚至超越闭源大模型深度研究能力的系统，为本地化部署开辟了道路。
实验结果
本文在三个权威基准测试上进行了全面评估，得出了三个核心发现。第一，WARP框架在洞察力和全面性指标上表现突出。在DeepResearch Bench上，AgentCPM-Report（Pipeline RL）的Insight得分达到52.64，Comprehensiveness达到50.54，分别超越Gemini-2.5-Pro-deepresearch的49.45和49.51。在DeepResearch Gym上，系统在Depth、Breadth和Insightfulness三个维度均获得满分100.0。在DeepConsult上，平均分达到6.60，胜率57.60%。这些增益直接源于推理驱动深化机制——智能体能够从浓缩的中间草稿中持续提取洞察，并通过回访中间输出识别缺失主题。第二，多阶段训练带来稳定全面的提升：在DeepResearch Bench上，从SFT到Atomic RL再到Pipeline RL，Comprehensiveness从46.24提升到50.54，Insight从48.10提升到52.64，Readability从41.79提升到44.17。在DeepConsult上，平均分从6.04提升到6.60，胜率从54.17%提升到57.60%，败率从35.54%下降到28.68%。第三，小规模智能体系统可以匹敌大规模系统：AgentCPM-Report（Pipeline RL）在DeepResearch Bench上的Overall得分50.11超越Gemini-2.5-Pro-deepresearch的49.71，在DeepResearch Gym上以98.48的平均分达到最优。这些结果表明，深度研究的主要瓶颈不在于模型规模，而在于有效利用模型内在能力的认知和流程设计。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DeepResearch Bench（100个博士级科学任务） | Overall Score | 50.11（Pipeline RL） | Gemini-2.5-Pro-deepresearch: 49.71; OpenAI-deepresearch: 46.45 | 超越Gemini-2.5-Pro-deepresearch +0.40，超越OpenAI-deepresearch +3.66 |
| DeepResearch Bench | Insight Score | 52.64（Pipeline RL） | Gemini-2.5-Pro-deepresearch: 49.45; WebWeaver (Claude-Sonnet-4): 50.02 | 超越Gemini-2.5-Pro-deepresearch +3.19，超越WebWeaver +2.62 |
| DeepResearch Bench | Comprehensiveness | 50.54（Pipeline RL） | Gemini-2.5-Pro-deepresearch: 49.51; WebWeaver (Claude-Sonnet-4): 51.45 | 超越Gemini-2.5-Pro-deepresearch +1.03，接近WebWeaver |
| DeepConsult（102个商业金融分析查询） | Average Score | 6.60（Pipeline RL） | Gemini-2.5-Pro-deepresearch: 6.70; WebWeaver (Claude-Sonnet-4): 6.96 | 接近Gemini-2.5-Pro-deepresearch，超越OpenAI-deepresearch的5.00 |
| DeepConsult | Win Rate | 57.60%（Pipeline RL） | Gemini-2.5-Pro-deepresearch: 61.27%; WebWeaver (Claude-Sonnet-4): 66.86% | 显著超越SFT阶段的54.17%，接近闭源系统水平 |
| DeepResearch Gym（100个通用信息检索任务） | Average Score | 98.48（Pipeline RL） | Gemini-deepresearch: ~96.9; WebWeaver (Claude): ~97.5 | 达到最优，在Depth、Breadth、Insightfulness获得满分100.0 |
局限与改进
尽管本文取得了显著成果，但仍存在多个值得关注的局限性。首先，在报告呈现方面，作者明确承认当前系统（包括他们的系统在内）在表格和图表生成方面表现不佳——表格和图表是与段落级文本内联生成的，而构建表格布局需要与撰写散文根本不同的推理过程，这对模型的结构和格式化能力提出了很高要求。这解释了为什么基于小模型的智能体系统在呈现质量上往往不如大模型。其次，知识来源方面，系统依赖本地部署的文本知识库（如arXiv摘要和网页摘要），虽然确保了稳定性和可复现性，但限制了覆盖范围和时效性。系统缺乏对图像、视频、领域特定语料库和个性化数据的访问能力。第三，在评估方面，当前的可读性评估主要基于文本，无法真实反映渲染报告的视觉结构。第四，从我的观察来看，本文虽然在三个基准上进行了评估，但这些基准都偏向于英语和学术/商业场景，对于其他语言和更广泛的领域（如法律、医学等专业领域）的适用性尚不明确。此外，论文中Readability指标在所有系统中表现相对较弱（Pipeline RL仅44.17），暗示报告的语言流畅性和可读性仍有提升空间。最后，12步深化上限和三级结构限制虽然是效率考虑，但可能限制了系统处理极其复杂主题的能力。
独立分析的弱点
从独立分析的角度来看，本文存在以下几个值得关注的弱点。第一，奖励设计的复杂性：原子技能RL阶段需要为四种不同的原子能力分别设计奖励函数（Table 1中列出了10种不同的评估指标），这使得奖励工程变得非常复杂且难以调优。不同的奖励信号之间可能存在冲突或不平衡，如何确保它们协调工作是一个开放问题。改进方向可以是设计更统一的奖励框架，或者利用自动化的奖励搜索方法。第二，计算效率问题：虽然使用了8B参数模型，但WARP框架需要多次迭代（最多12步深化），每步都涉及检索和生成操作。在DeepResearch Bench上的实际推理时间未被报告，这对于实际部署至关重要。可以考虑引入轻量级的早期终止判断器来减少不必要的深化步骤。第三，轨迹剪枝的可扩展性：当前方法需要教师模型生成'过度扩展'的轨迹并进行评分，这个过程在更复杂的任务上可能非常昂贵。未来可以探索更高效的在线剪枝策略。第四，对检索质量的依赖：WARP的质量高度依赖检索到的证据质量，但论文中对检索失败（如返回不相关内容）的鲁棒性分析不足。可以引入检索质量评估和证据过滤机制。
未来方向
本文在结论部分提出了两个明确的未来研究方向，结合当前成果还可以延伸出更多方向。作者提出的第一方向是'更好的报告呈现'——将报告呈现从内容生成中解耦，分配给专门的渲染智能体，使小模型也能实现与大模型相当甚至更优的布局质量。同时需要开发视觉模态的评估方法来更真实地反映报告的视觉结构。第二方向是'更多信息源'——扩展知识库以支持多模态内容、本地和个性化数据源、以及持续更新，实现更丰富和真实的研究场景。基于当前成果还可以延伸以下方向：(1) 将WARP框架应用于其他生成任务，如论文写作、技术文档编写、商业计划书等；(2) 探索WARP与检索增强生成（RAG）的深度融合，使深化步骤能够触发更智能的多轮检索；(3) 研究如何将WARP的动态大纲策略与人类专家的写作过程进行对比分析，进一步优化深化触发条件；(4) 将多阶段训练策略推广到其他复杂的智能体任务中。
复现评估
从可复现性角度来看，本文提供了较好的条件。代码方面，团队在GitHub上开源了AgentCPM框架（https://github.com/OpenBMB/AgentCPM），模型权重也在HuggingFace上公开（https://huggingface.co/openbmb/AgentCPM-Report和GGUF版本）。基础模型使用的是MiniCPM4.1-8B，这是一个相对可获取的开源模型。评估方面，三个基准测试（DeepResearch Bench、DeepConsult、DeepResearch Gym）都提供了标准化的评估协议和指标，使用Gemini-2.5-Pro、o3-mini和GPT-4.1-mini作为公正评判者。然而，复现仍面临一些挑战：(1) 训练数据的构建过程较为复杂，需要教师模型生成过度扩展轨迹并进行奖励评分；(2) 多阶段RL训练的计算成本可能较高，具体算力需求未在论文中详细说明；(3) 检索环境的配置（使用arXiv摘要和网页摘要作为本地知识库）需要额外的数据准备工作。总体而言，对于有RL训练经验的研究团队，复现本文结果应该是可行的。
论文图表
