ScientistOne：通过证据链实现人类水平的自主研究 ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence

方法分为三个主要部分。第一部分是 CoE 标准的定义：论文定义了四种主要主张类型，每种都有所需的证据链形状。引用主张要求引用的作品存在于学术数据库中，并且其内容与论文中的描述一致。数值主张必须从报告的值追溯到记录的输出如执行日志、实验测量或模拟结果。方法论主张必须从方法描述解析到相应的实现。结论主张必须通过可验证的推理从支持主张，数值、方法论或两者推导得出。CoE 是故意架构无关的：它定义可验证制品应该具有什么属性，而不是系统应该如何构建一个。第二部分是 ScientistOne 系统的设计：它采用三阶段架构。阶段 1 文献基础化：Problem Investigator 即 PI 确保系统引用的每篇论文都从学术数据库检索、全文阅读并记录来源原数据。PI 从种子论文开始，通过学术数据库查询构建引用图，每个主题读取多达 100 篇全文 PDF，产生结构化研究简报。简报供给 Ideator，PI 的种子参考参考文献为最终论文中的引用主张提供基础材料。阶段 2 发现：Ideator 基于 PI 简报生成候选方法，在新颖性和可行性上评分，并将排名靠前的提议分配到 Parallel Explore-Exploit 即 PEE 编排器的并行分支。每个分支运行隔离循环：Solver 代理迭代多达 E 个评估版本，每个提交由任务特定评估器评分。每次迭代保留前 K 分支，其余槽位通过从这些顶级执行者派生的新分支填充。阶段 3 论文写作与验证：Paper Writer 通过五阶段主张基础化流水线产生 LATEX。Conceive 读取所有组装的原材料并发出研究表示——每个事实主张都带有内联证据标记将其绑定到特定工作空间制品的 markdown 叙述。Ground 确定性验证每个标记：报告的分数必须匹配发现阶段的最佳运行分数，基线必须可追溯到 PI 简报条目或标记估计，每个引用制品必须存在。Critic 审计确定性检查无法捕捉的内容——差距-方法对齐、内部矛盾、过度声明、缺失比较和基线公平性。Resolve 根据 Ground 标志和 Critic 问题共同重写表示，删除不支持的主张并校准过度声明。Ground-Critic-Resolve 循环迭代直到收敛或平稳。最后 Compose 将基础化的表示一次渲染一个部分到 LATEX。即使基础化后，组合的 LATEX 也可能引入不支持的主张。Claim Verifier 通过检查草稿中每个主张与其声明的证据源来捕捉这些。细化阶段消耗验证者的发现：LLM 重写标记句子以匹配其证据源，删除无法支持的主张，并从最终 LATEX 中剥离所有内联证据注释。只有没有剩余阻止违规的草稿才被提升到最终论文。第三部分是 CoE 完整性审计：适配器统一每个系统的交付物包括 paper.tex、解决方案代码、references.bib 到通用制品包，然后四个检查独立运行，每个针对主张可能失去其基础的具体方式。

技术新颖性体现在多个方面。首先，CoE 框架本身是一个理论创新——它首次系统性地定义了研究可验证性应该是什么样子的。就像 ACID 为数据库事务定义了可靠，CoE 为研究主张定义了可验证。这种抽象使得可验证性成为可设计、可验证和可比较的属性。其次，ScientistOne 的架构创新在于它通过构造维护证据链。现有系统的代码生成和论文写作通常是断开的阶段如 AutoResearchClaw 的 23 阶段瀑布架构，导致论文写作代理发明算法名称并基于实验元数据描述方法，而无法访问求解器的实际逻辑。ScientistOne 的 Ground-Critic-Resolve-Compose 流水线和 Claim Verifier 确保每个主张都有可追溯的来源。第三，CoE 完整性审计的方法论创新在于它提供了法医学的跨系统审计能力。四个完整性检查针对最损害的证据链失败，并且对每个系统应用相同，这使得不同系统可以在同一标准下进行比较。审计的自适应容差机制考虑了评估器噪声，使结果更加可靠。最后，论文进行了大规模系统审计即 75 篇论文来自五个系统跨五个任务，这是首次跨多个自主研究系统的可验证性比较研究，揭示了所有现有系统都存在证据链失败的问题。

独立分析的弱点首先是验证覆盖范围有限，当前 CoE 完整性审计只覆盖四种可自动化验证的主张类型包括数值、引用、方法论、结论。还有许多其他类型的主张如定性观察、理论属性、因果关系需要领域专业知识或更难自动化的主观判断。改进方向是扩展验证覆盖到更多主张类型，例如通过领域专家评审或更先进的 LLM 评审。其次是审计本身的假阴性问题。论文只验证了 I1-I3 标记阳性的真实性，但没有系统边界假阴性率。这意味着可能存在审计未检测到的完整性失败。改进方向是开发更强大的审计检查或进行更全面的手动审计以建立假阴性边界。第三是验证器的过度保守性可能导致被拒论文。ScientistOne 表现出高种子方差如 EPLB 得分为 1、3、8，被拒运行是论文写作生成当前验证覆盖范围未完全捕捉的主张如过度定性框架。改进方向是扩展验证覆盖到定性主张，使被拒运行能够做出与被接收运行相同的校准声明。第四是基线适应的公平性问题。虽然作者试图平等适应所有系统，但没有第三方系统为 ADRS 设计，适应不可避免涉及判断调用。改进方向是与原始系统作者合作进行更深入调优，或开发更系统的适应协议以减少判断调用的空间。最后是方法的扩展性挑战。论文证明了 CoE 在 ADRS 任务上的有效性，但扩展到开放领域如生物学、材料科学、理论 ML 需要领域特定验证逻辑。改进方向是开发领域特定的 CoE 扩展或与领域专家合作定义这些领域的证据链结构。

作者提出的未来工作方向包括：扩展基准覆盖以验证 CoE 的领域无关性。当前实验集中在系统优化任务即 ADRS，其中黄金标准评估器使分数验证和规范违规检测简单明了。开放领域如生物学、材料科学、理论 ML 提出更难挑战：证据链可能涉及湿实验室协议、模拟可复现性或证明草图，每个需要领域特定验证逻辑。扩展 CoE 到这些设置是自然的下一步。完整参考验证：当前的引用验证只检查引用作品是否存在，但真实引用仍然可以用于支持引用论文从未做出的主张。完整引用验证需要段落级自然语言推断对抗引用论文的文本。这是学术 NLI 中的已知开放问题，留给未来工作。扩展验证覆盖：当前 CoE 框架覆盖四种主张类型如引用、数值、方法论、结论，但这些不是详尽的。其他类型如定性观察、理论属性需要领域专业知识或更难自动化的主观判断。扩展到这些类型是自然方向。基于成果可延伸的未来方向包括：实时验证而非事后审计。当前 CoE 完整性审计是法医学的——它在完成论文后运行。另一个方向是在论文生成期间实时验证，在主张产生时就检查其支持，阻止不支持的主张进入草稿。多基准合成和更深实验分析：ADRS 任务将系统研究问题减少到单指标优化。真实系统论文涉及问题制定、工作负载表征、多数据集分析和部署权衡。扩展到多基准合成和更深实验分析——其中系统推理为什么解决方案有效，而不仅仅是它是否得分好——是自然下一步。与人类专家协作的混合系统：ScientistOne 在 ADRS 任务上匹配或超过人类专家性能，但现实世界研究需要人类专家的领域知识和判断。开发与人类专家协作的混合系统，其中 AI 代理处理重复性任务如文献检索、实验执行、论文写作而人类专家提供高层指导和领域专业知识，是有前途的方向。透明度和问责机制：随着 AI 生成的研究论文数量增加，开发透明度和问责机制变得越来越重要。CoE 框架和 CoE 完整性审计已经提供了结构完整性验证，但还需要机制来验证科学新颖性和意义，并建立问责链以确保 AI 生成的研究可以追溯到其源头。

复现评估：论文提供了项目网站即 https://scientist-one.github.io/，但没有在论文中明确说明代码和数据是否开源。CoE 完整性审计本身是可复现的，因为它是法医学的——只使用提交的制品运行，对每个系统应用相同。审计结果的可复现性取决于几个因素：第一，ADRS 评估器的随机性。论文运行每个评估器五次并比较到自适应容差以考虑内在评估器方差。第二，LLM 评审的噪声。论文使用多数投票以减少 LLM 判断噪声。第三，人工验证的可靠性。所有 I1-I3 标记结果由人类评审者手动验证，确保报告的完整性失败是真实的。ScientistOne 系统的复现性取决于其架构的透明性和实现的可用性。论文详细描述了三阶段架构和每个组件的工作原理，但没有提供实现细节。论文还详细描述了基线系统的适应过程，但适应涉及判断调用，完全复现可能需要原始系统作者的输入。算力要求：论文没有明确报告算力要求，但实验涉及运行五个系统各三个种子在五个任务上，每个运行包括代码生成、执行和论文写作。使用 Gemini 3.1 Pro 作为骨干 LLM，这意味着需要大量计算资源进行 LLM API 调用。复现难度：中等。CoE 完整性审计本身相对容易复现，因为它只使用提交的制品。但完整复现实验需要适应所有基线系统到 ADRS 并运行完整 ScientistOne 流水线，这是相当复杂和资源密集的。