物理科学深度研究：多智能体框架与综合基准测试 Deep Research in Physical Sciences: A Multi-Agent Framework and Comprehensive Benchmark
提出PhySciBench基准和DelveAgent框架，提升物理科学AI研究能力
前置知识
深度研究智能体(Deep Research Agent)
基于大语言模型(LLM)的自主系统，能够分解复杂问题、灵活调用外部工具、在多步交互中动态合成多样化证据。这类系统超越传统问答范式，向开放式、深度的自主科学推理发展。
理解深度研究智能体的工作机制和局限是读懂本文DelveAgent设计思路的基础，本文正是针对现有研究智能体在物理科学领域的三大缺陷进行架构改进。
分层反思机制(Hierarchical Reflection)
一种双层次验证机制，包括步骤级本地验证器（检查单位、维度、公式、代码执行和工具输出）和轨迹级全局评估器（检查来源依据、科学一致性、格式合规性）。验证失败时触发纠正执行。
这是DelveAgent的核心创新之一，直接针对物理科学任务中31%的执行和响应失败案例，理解其工作原理有助于把握论文的技术贡献。
双粒度记忆(Dual-Granularity Memory)
包含两个互补记忆模块：经验记忆存储成功轨迹、恢复策略和规划模式；知识记忆存储方程、程序和物理常数。两者在规划和执行阶段均可访问，支持知识迁移和经验复用。
直接对应论文发现的23%知识和实现失败问题，是DelveAgent三大核心组件之一，理解其设计能帮助把握架构专业化的重要性。
研究动机
现有通用深度研究智能体在物理科学领域的性能严重不足。即使最强的基线Gemini Deep Research在专家设计的PhySciBench基准上仅达到33.5%准确率，所有基础模型得分均低于30%。通过分析326个验证错误案例，发现三大系统性缺陷：长跨度推理链脆弱性（占46%失败）、跨步骤知识迁移能力有限（占23%失败）、缺乏物理约束的自验证（占31%失败）。这些问题反映在早期错误在任务解释、证据检索或中间合成中传播到下游步骤，导致不完整或不正确的最终解决方案；代码或公式实现不能忠实地实现预期的物理或数学模型；工具链超时、文档或多模态处理失败以及违反要求的输出格式。
本文的目标是本文的具体目标是双重的：首先构建PhySciBench这一首个专门针对物理科学研究能力的综合基准，包含200个专家精心策划的问题，平衡物理和化学各100题，跨越六个任务类别（多模态问答、长上下文问答、结构化信息提取、科学推理、实验设计、代码生成）和三个认知阶段（信息提取、科学理解、应用与创造）；其次开发DelveAgent模块化多智能体框架，通过架构专业化而非单纯规模提升来解决现有系统的三大缺陷，在降低推理成本的同时提升准确性。
与已有工作不同的是，本文的独特切入角度在于强调架构专业化相对于模型规模的重要性。现有领域特定基准不仅稀缺，而且很少解决核心现实世界研究场景，通常评估孤立的单任务，缺乏与外部工具集成的扩展工作流评估。通用科学评估标准如HLE（闭包式）和SGI-Bench、FrontierScience（深度研究导向但仅文本）则无法包含多模态解析、结构化数据提取和代码执行，而这些都是真实科学探究的基础支柱。本文通过PhySciBench全面覆盖三个认知阶段，通过DelveAgent针对物理科学特性设计三大组件，填补了评估和架构两方面的空白。
核心方法
DelveAgent框架采用中央规划器协调五个专业工作者的架构，形成封闭认知循环。规划器接收查询后进行初始任务分解，将子任务分发给专门工作者（搜索、文档、物理、化学、代码），工作者输出通过分层物理 grounded reflection块验证后才组装成最终响应。双粒度记忆在规划器和工作者之间共享，学习器模块从反思块中提取验证成功的轨迹回写到知识记忆中，形成持续改进的闭环。整体设计直觉是：物理科学任务需要动态重新规划、领域知识积累和物理一致性验证，而非单纯扩大模型上下文或参数规模。
核心创新点在于针对物理科学研究特性的三大架构组件，与已有方法形成本质区别。自适应规划循环在中间结果观察后触发计划优化，而非承诺初始分解，解决了46%的规划和推理失败；双粒度记忆支持任务经验和领域知识的复用，解决了23%的知识和实现失败；分层物理 grounded reflection通过本地验证器（单位、维度、公式、代码执行、工具输出）和全局评估器（来源依据、科学一致性、格式合规性）检查中间和最终输出，解决了31%的执行和响应失败。这三个组件形成协同效应，而非简单叠加，移除全部三个组件后准确率仅下降6.5个百分点而非单个组件下降之和8.5个百分点，说明存在部分功能重叠和相互补偿。
方法步骤详情
方法分为四个核心步骤。第一步是自适应规划：规划器从经验记忆检索最相似的三条历史策略作为初始计划参考，制定子任务分配；执行后观察中间结果，若出现工作者失败、意外结果或评估器拒绝则触发重新规划；每三步使用摘要器压缩执行历史防止上下文溢出。第二步是双粒度记忆访问：在规划阶段查询经验记忆获取成功轨迹模板，在执行阶段查询知识记忆获取反应机制、实验协议、方程和物理常数；记忆内容在问题解决过程中从检索的科学论文中逐步构建。第三步是工作者执行：五个专业工作者（搜索、文档、物理、化学、代码）按分配的子任务执行逻辑推理和外部工具调用；每个工作者可在知识记忆中查询相关领域知识。第四步是分层反思：本地验证器在执行级别检查中间工作者输出的基本错误（如质量不平衡、维度不一致），触发局部优化循环；全局评估器在规划级别根据结构化错误分类法评估建议的最终答案，审查来源依据、化学逻辑和格式合规性，验证成功的轨迹反馈到经验记忆中。
技术新颖性
技术新颖性体现在三个方面：首次针对物理科学研究特性设计封闭认知循环架构，而非通用科学基准或单任务评估；双粒度记忆将成功轨迹、恢复策略、规划模式与方程、程序、物理常数的知识分离存储，分别在规划和执行层面发挥作用，同时实现经验迁移和知识复用；分层反思机制将步骤级验证和轨迹级评估分离，前者捕获快速失败避免级联错误，后者确保科学一致性和格式合规性，两者通过纠正执行在最终响应前形成双重保险。消融实验证实记忆和反思各贡献3.0个百分点准确率提升，自适应规划循环贡献2.5个百分点，三者共同产生7.5个百分点总体提升。
实验结果
DelveAgent在PhySciBench上实现41.0%总体准确率，比最强基线Gemini Deep Research的33.5%提升7.5个百分点。在六个任务类别中，结构化信息提取提升最显著（从40.0%到55.0%，+15.0个百分点），代码生成同样提升15.0个百分点（从30.0%到45.0%），多模态问答提升7.7个百分点（从35.9%到43.6%），长上下文问答提升10.0个百分点（从13.3%到23.3%），科学推理达到58.3%与最强基线持平，实验设计保持在17.1%。在三个公共基准上，DelveAgent平均准确率23.62%超过Gemini Deep Research的20.87%，其中SGI-DR提升最大（从13.95%到20.93%，+6.98个百分点），HLE从33.67%提升到34.94%，FS-Research保持15.0%。在三个专家设计的真实世界物理科学任务用户研究中，DelveAgent在任务完成度（8.39 vs 7.50）、科学有效性（8.05 vs 6.39）和幻觉得分（3.02 vs 6.05，越低越好）三个维度上均优于Gemini Deep Research。最关键的是，DelveAgent在四个科学基准上将推理成本降低到Gemini Deep Research的三分之一左右。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PhySciBench-Overall | 准确率(%) | 41.0 | 33.5(Gemini Deep Research) | +7.5pp |
| PhySciBench-结构化信息提取 | 准确率(%) | 55.0 | 40.0(Gemini Deep Research) | +15.0pp |
| PhySciBench-代码生成 | 准确率(%) | 45.0 | 30.0(Gemini Deep Research) | +15.0pp |
| PhySciBench-多模态问答 | 准确率(%) | 43.6 | 35.9(Gemini Deep Research) | +7.7pp |
| PhySciBench-科学推理 | 准确率(%) | 58.3 | 58.3(Gemini Deep Research) | 持平 |
| SGI-DR(Phy/Chem) | 准确率(%) | 20.93 | 13.95(Gemini Deep Research) | +6.98pp |
| HLE(Phy/Chem) | 准确率(%) | 34.94 | 33.67(Gemini Deep Research) | +1.27pp |
| FS-Research(Phy/Chem) | 平均得分(10分制) | 15.00 | 15.00(Gemini Deep Research) | 持平 |
局限与改进
作者承认的主要局限包括：基准规模200个问题虽足够揭示统计显著性能差异，但反映了专家策划的高成本，需要社区驱动扩展以扩大领域和难度覆盖；基准虽然平衡物理和化学，但每个学科内部覆盖是有意深度优先的，集中在最活跃的当代子领域（凝聚态和材料物理、合成有机化学和催化），相邻子领域采样较稀疏，因此总分应代表这些核心区域而非均匀学科广度；通过大语言模型评估扩展科学答案可能无法捕获所有领域细微差别，尽管盲验证研究显示与专家判断强一致（Spearman相关系数等于0.80）；当前视觉语言模型仍是多模态理解的瓶颈，该类别错误率达32%；领域知识库在问题解决过程中从检索的论文中逐步构建，因此不能保证完整性。我观察到的额外局限包括：实验设计类别DelveAgent未超过Gemini Deep Research（均为17.1%），表明该类别需要更专业的领域知识或更复杂的设计策略；虽然架构专业化有效，但41.0%的总体准确率表明物理科学深度研究仍有巨大提升空间；记忆系统依赖问题解决过程中检索的论文构建，可能在冷启动阶段表现受限。
独立分析的弱点
独立分析的弱点包括：实验设计类别性能停滞在17.1%，未超过最强基线，可能需要引入更专业的实验协议模板库或领域专家验证机制；知识库动态构建在冷启动阶段可能知识不足，可考虑预加载核心领域知识或引入知识蒸馏机制；多模态理解仍是瓶颈，该类别32%错误率反映当前视觉语言模型在专业科学图表解释上的局限，需要更专业的科学图像理解模型或图表解析工具；三个组件消融显示部分功能重叠（总和下降8.5pp但同时移除仅下降6.5pp），说明架构仍有优化空间减少冗余；基准仅覆盖凝聚态物理、材料物理、合成有机化学和催化，对其他子领域如高能物理、理论化学、生物化学的覆盖不足；评估协议虽与专家判断强一致，但开放式科学答案的自动评估仍有主观性风险。
未来方向
作者提出的未来方向包括：通过社区贡献扩展PhySciBench，扩大领域和难度覆盖；改进多模态理解以处理专业科学可视化；将此评估框架扩展到其他科学领域如生物化学、材料科学、天文学。基于成果可延伸的方向包括：引入更强的类型化编排和验证门以减少约束满足和形式规范保真度瓶颈；开发专门针对实验设计的子模块或工具链，可能结合实验模拟器或数据库；探索更高效的知识库构建和检索机制，如知识图谱嵌入或主动学习；研究三个组件之间的最优配置和交互策略，减少冗余提升效率；将DelveAgent框架适应其他科学领域或工程任务，测试架构专业化的泛化能力；探索与人类研究者的协同工作模式，建立更可靠的人机协作科学发现流程。
复现评估
论文声明数据和代码公开在https://github.com/yigengjiang/physci-deepresearch，提供了复现所需的核心材料。实验使用统一的gemini-3-flash-preview作为基础模型部署在DelveAgent的规划器和工作者中，生成温度设置为1.0遵循复杂推理任务的官方建议。专业工具执行和评估脚本部署在配备NVIDIA A800 GPU的计算节点上。代码生成和计算任务在具有严格超时限制的隔离Docker沙盒中执行。PhySciBench的构建采用了多阶段流程：专家创建、同行评审、分歧仲裁和自动泄漏筛查，通过迭代优化将失败项目返回早期阶段。盲验证研究使用两个领域专家（一个物理、一个化学）对PhySciBench进行评分，与复合评估管道的Spearman相关系数等于0.80，95%置信区间为0.75到0.85，P值小于10的负10次方，配对项目数为196。复现难度中等，需要访问相同的基础模型API和足够的GPU资源，但架构相对模块化便于部分复现。
论文图表