基于结构化框架的增量式开放式深度研究 Incremental Open-Ended Deep Research with Structured Harness

完整流程如下：第一步，加载上一版报告的结构化表示 $R_{t-1} = \langle o_{t-1}, s_{t-1}, e_{t-1}\rangle$（若来自普通 OEDR 则先做结构化解析；若来自上一轮 Incremental-OEDR 则证据池直接可用，这也是 LCT 比 SST 更省的原因）。第二步，结构化证据池的旧证据更新：对池中每条证据，批量重新抓取其源 URL，用 Crawl4AI 解析后计算新旧文本的字符级相似度；若相似度 $\ge \tau=0.9$ 判定未变化直接跳过（纯程序操作，无 LLM 开销），若 $< \tau$ 才调用 LLM 做 claim 级 diff 找出具体变了什么。第三步，Researcher Agent 基于结构化检索按需读取旧报告的相关大纲、章节和证据，决定研究计划；对新信息执行搜索（底层走 Tavily，带 end_date 时间限制），新检索到的证据连同 URL、标题、原文、时间戳自动写入证据池（新证据发现）。第四步，Reporter 以结构化生成模式产出 $R_t$：逐章节判断保留、修订还是扩展，未受影响的内容和整体大纲原样继承。第五步，更新后的 $R_t$ 连同刷新过的证据池成为下一轮更新的输入，形成 $R_{t-1} \to R_t \to R_{t+1} \to \cdots$ 的演化链。

技术新颖性体现在四个层面。表示层：$\langle o, s, e \rangle$ 三元组让大纲、章节、证据成为一等公民，报告从「一份文本」升格为「一个可查询、可修改的数据库」，这是后续一切操作的前提。检索层：结构化检索提供的是「对已有研究的定向视图」而非全文塞进上下文，Agent 第 $k$ 步按 $a_k \sim \pi_\theta(\cdot \mid q, c_k)$ 选择的动作可以只携带需要的报告切片。成本层：证据池的相似度门控 $\tau=0.9$ 把昂贵的 LLM diff 分析只花在真正变化的来源上，配合新证据跨轮复用，实测搜索调用从 45.19 次降到 17.85 次（LCT）。评测层：十年时间跨度 + SST/LCT 双任务 + 质量/连续性/成本三维指标是方法论贡献——作者发现同一 OEDR 系统 2016 年的 RACE 分数（47.57）和 2025 年（49.28）相差超过 1.7 分，说明只在「最新信息」上评测会系统性高估或低估系统，这一发现独立于方法本身也有价值。

第一个弱点是变更检测粒度太粗：字符级相似度 $\tau=0.9$ 是全局信号，一个页面上 5% 的关键数字更新（如某模型参数量）可能让相似度仍有 0.95 而被跳过，反之大量无害的排版改版会把相似度打到阈值以下、浪费 LLM diff 调用。改进方向：对证据做 claim 级索引，按 claim 粒度做嵌入相似度比对，或先用轻量分类器判断「变化是否实质」。第二个弱点是连续性与质量的联合优化没有显式建模：系统没有任何机制防止 Agent 为省事而过度保留旧内容，建议在生成阶段引入「时效性约束」——对带时间戳的陈述强制要求证据池中存在不早于 $t$ 的佐证，否则标记为待验证。第三个弱点是评测的裁判可信度：GPT-5.5 评委自身的知识截止于训练数据，评 2016 年的「当时最优报告」时可能用未来知识打分；改进方向是像检索一样给评委也做时间 masking，或用同时期的历史文档做 blind 参照。第四个弱点是单底座依赖：Harness 的工具接口绑定 ms-agent 的文件系统，换到 LangChain-DR 或其他 Agent 框架的成本不明，抽象出一套标准的「研究状态 API」（类似 MCP 之于工具）会大大增强说服力。第五，证据池的存储与一致性没有讨论：九年链式更新后池中证据数量、陈旧证据的淘汰策略、以及多报告共享同一池时的冲突处理都未涉及。

作者明确提出：构建专门的 Incremental-OEDR 基准，包含真实随时间演化的研究场景和明确被更新的信息源（例如用 Wayback Machine 的历史网页快照替代 end_date 模拟），并让网页内容演化可被仿真。在此之上可以延伸出几个方向：一是把相似度门控升级为学习式变更检测器，用「哪些证据最终导致章节修订」做弱监督训练；二是研究更新链上的知识漂移——LCT 跑九年质量反而微升，但更长时间（20 年、50 年）或领域剧变（如金融危机）下结构化继承会不会变成「锚定偏差」，需要专门的失败模式分析；三是多报告协同维护：同一证据池服务一个机构的多份相关报告（AI 行业报告与芯片供应链报告共享证据），可以进一步摊薄搜索成本；四是对话式增量研究：把「报告更新」与「用户反馈」结合，让用户指定关注点，结构化表示恰好是接收这种细粒度指令的理想接口；五是蒸馏：用 IOEDR 的（旧报告，新报告，diff）三元组训练专门的「报告编辑器」小模型，把 33% 的 token 节省进一步放大。

复现条件总体友好但有门槛。有利因素：底层 ms-agent 开源（GitHub: modelscope/ms-agent），DeepResearch Bench 和 DeepConsult 均为公开基准且官方提供评测协议与排行榜，检索端 Tavily、抓取端 Crawl4AI 都是公开服务，论文附录 B 承诺提供实现细节和完整 prompt，且方法本身的设计目标是省算力——OC 配置下每份报告仅 2.5–3M token、约 18 次搜索，跑完 100 题 × 10 时间戳的 SST 大约是 3B token 量级，用开源 Qwen3.5 API 或自托管均可负担，LCT 因共享证据池更省。不利因素：论文未附开源代码链接（仅有项目页 ioedr-project.github.io），Structured Harness 的结构化解析、证据池 schema、diff 分析 prompt 都需要自行实现；PC 配置需要 GPT-5 权限；10 年时间戳 × 每时间戳的 OEDR 初始化报告是隐性的前置成本（基线部分约 45 次搜索/报告）；RACE 评测依赖指定的评委模型（GPT-5.5），评委 API 费用与版本漂移会影响分数可比性。综合估计：一个有 Agent 开发经验的小团队复现 OC 主表约需 1–2 周，主要工作量在证据池与结构化生成的工程细节上。