AI 科学家产出结果却不进行科学推理 AI scientists produce results without reasoning scientifically
25,000+ 次实验揭示 LLM 智能体执行工作流却不会科学推理
前置知识
语言决策过程 (LDP)
把 LLM 智能体形式化为部分可观察马尔可夫决策过程，状态 =(P, h_t)$ 由提示 $ 和对话历史 $ 组成；总体策略 $\pi_ ext{overall}$ 分解为 $\pi_ ext{LLM}$ 与 $\pi_ ext{scaffold}$。
论文全篇用 LDP 框架把智能体行为归因到基础模型或脚手架，是理解"模型决定 vs 脚手架决定"结论的数学基础。
项目反应理论 (IRT)
一种心理测量学模型，通过对大量二元对错作答的统计建模联合估计题目难度 $b_i$、区分度 $a_i$ 和被试潜在能力 $\theta_j$，满足 $P(Y_{ij}=1)=\sigma(a_i(\theta_j-b_i))$。
作者用 2PL IRT 从领域诊断题库中估计每个模型的潜在"知识能力"$\theta^{(K)}$ 和"推理能力"$\theta^{(R)}$，从而把任务表现拆解为能力与脚手架因素的贡献。
ReAct 与结构化工具调用 (tool-calling)
两种主流智能体编排范式：ReAct 让模型在单一文本流中交替输出思考 (Thought) 与动作 (Action)；结构化工具调用则让 API 直接解析工具名和参数，再把观测拼回历史。
论文对比两种脚手架在 8 个科学领域的实际表现，是评估"脚手架工程是否足够"这一核心问题的关键变量。
认识论操作 (epistemic operations) 与反思维图
作者将智能体每一步轨迹归类为 $H$（假设）、$E$（证据）、$T$（检验）、$J$（判断）、$U$（信念更新）、$C$（承诺）六类操作，并把它们之间的依赖建成有向图。
这是论文最核心的分析对象——通过图拓扑（如 H-T-U 回环、汇聚的 E→H 边）判断智能体是否真的在做科学推理，而不仅仅是产出答案。
研究动机
当前对 LLM 科学智能体（如 AI Scientist、ChemCrow 等）的评估几乎全部基于任务完成度——答对问题、执行完工作流、产出可发表的稿件。这些 outcome-based 指标只揭示"是否成功"，而不揭示"如何成功"或"为什么成功"。论文作者通过 25,000 多次智能体运行的细致分析发现，现有智能体在 68% 的轨迹中忽略已收集的证据、71% 的轨迹中从未更新信念、只有 26% 的轨迹出现基于反驳的信念修正，且多源汇聚证据的发生率低至 7%。这意味着大量"答对"的智能体可能并未展示科学方法所要求的认识论规范，知识的可靠性在新问题上完全不可预期，对 AI 辅助科学构成系统性风险。
本文的目标是论文的核心目标有两个：（1）系统性地把智能体表现归因到"基础模型"与"脚手架"两个组件，建立可量化的方差分解；（2）从认识论结构层面分析智能体的推理轨迹是否具备科学推理的纪律性（discipline），例如是否做假设检验、是否做证伪、是否整合多源证据。最终回答"LLM 智能体是否在科学地推理"，并指出当前 outcome-based 评估为何无法发现这些失败。
与已有工作不同的是，既有工作存在三个空白：其一，方法上多在单一领域或单一任务上评估，缺少跨域、跨脚手架、跨模型的可比对照；其二，分析上以 Pass@k 为主，缺乏对推理过程的细粒度解构；其三，诊断工具局限于"答对/答错"，无法回答"过程是否值得信任"。本文的独特切入角度是同时使用两套互补镜头——"性能镜头"（IRT + 潜因子模型 + 25,000+ 次受控实验）和"行为镜头"（认识论有向图 + 反思维模式分类 + 轨迹干预实验）——并用前者验证后者，最终在 8 个科学域中同时跑通，证明这是模型层的属性而非脚手架的局部问题。
核心方法
作者构建了名为 Corral 的统一评估框架，将 8 个科学领域（覆盖从工作流执行到假设驱动探究的认识论谱系）实现为标准化的环境接口；每个环境暴露 15+ 工具、2-3 个任务范围（scope）和 4 类认知子任务（检索、执行、推理、验证）。然后用三款前沿模型（GPT-4o、Claude Sonnet 4.5、GPT-OSS-120B）× 两种脚手架（ReAct、结构化工具调用）做受控对照实验，总计 25,000+ 次智能体运行；通过两套分析镜头解构行为：性能层面用 IRT 估计每个模型-领域的知识/推理潜能力 $\theta^{(K)}$、$\theta^{(R)}$，再用贝叶斯广义线性模型 M7（PSIS-LOO 选出）做任务成功的方差分解；行为层面把每条轨迹标注为 6 类认识论操作的有向图，统计生产性模式与反思维模式（anti-pattern）的频率。
与已有"做更大智能体或更好脚手架"的研究路线不同，本文的核心创新在于"把智能体拆成基础模型与脚手架两片组件并分别量化贡献"，并提出"推理过程本身必须成为训练目标"。技术上最关键的设计是：（1）把工具描述按 [BRIEF]/[WORKFLOW_INTEGRATION]/[COMPREHENSIVE] 标签分层，使信息量成为可调节变量而任务不变；（2）双层潜因子模型——先用 IRT 估计能力 $\theta^{(K)}, \theta^{(R)}$，再把这些能力作为协变量进入 Binomial GLM（模型 M7 允许知识/推理斜率随环境×范围变化）；（3）轨迹干预实验——直接把成功或失败历史轨迹注入对话历史，比 prompt 工程更极端地测试"上下文能不能救场"。
方法步骤详情
完整方法分五步。第一步是环境构建：在 8 个领域分别实现工具集、任务模板和评分函数；光谱解析与无机定性分析从热力学模拟，无机定性分析自己写热力学平衡引擎，电路推理与 AFM 实验分别通过节点对测量和真实显微镜接口。第二步是受控运行：每个 (模型, 脚手架, 环境, scope, verbosity) 组合至少跑 15 次，固定温度为 0.0，主文本使用 brief 工具描述。第三步是能力估计：作者为每个领域手工设计"知识题"和"推理题"两类诊断题（经两轮专家评审），用 2PL IRT 分别拟合得到 $\theta^{(K)}, \theta^{(R)}$ 并标准化。第四步是预测建模：将标准化能力与脚手架 $\gamma$、verbosity $\xi$、scope $\kappa$ 等一起放入 Binomial GLM，比较 M1–M8 八个候选结构并以 PSIS-LOO 选优，最终以最佳模型 M7 做方差分解。第五步是行为分析：用 Claude 4.5 Sonnet 在 6 类操作和 6 类边类型上自动标注每条轨迹（95.7% 的人-LLM 一致率），统计生产性模式（Popperian 循环、探索→验证转换等）和反思维模式（未检验假设、证据忽略、矛盾未解决等），并配套 trace intervention 和 token-level log-probability 两类补充实验。
技术新颖性
技术新颖性体现在三个层面。第一，框架层面：Corral 把"环境-工具-评分"做成可插拔接口，且为同一领域提供不同 scope，使"任务难度"与"问题广度"可以独立调节——这在以往科学智能体基准中并不常见。第二，分析层面：把认知心理学的 IRT 引入到 LLM 评估中，并串接 GLM 给出"哪个因素对任务成功贡献多少"的定量分解，是少数把 LLM 智能体评估从"百分数"推进到"潜能力+方差分解"的工作。第三，过程评估层面：认识论有向图标注 + 反思维模式分类 + 轨迹干预实验三件套，使"推理是否站得住脚"可被直接测量和报告；论文还公开了人机一致性 92.6%（人-人）和 95.7%（人-LLM）的标注可靠性数据，这在科学智能体评估里相对少见。
实验结果
论文在性能、行为、可靠性三个维度给出了一组强一致的结论。性能上，模型方差远大于脚手架方差：在 IRT 估计的 $\theta^{(R)}$ 上，无机定性分析最强与最弱模型相差 >5.3 个标准单位；最佳潜因子模型 M7 的方差分解显示推理能力贡献 41.4%、环境×scope 贡献 30.1%，而脚手架仅 1.5%、verbosity 仅 0.1%——三个独立分析（原始性能、人工轨迹标注、潜因子建模）均收敛到同一结论。行为上，作者手工定义了 8 类生产性模式和 8 类反思维模式，结果是反思维模式在所有领域组中都更普遍：68% 的轨迹出现证据忽略、71% 的轨迹从未更新信念、53% 的轨迹含未检验假设、只有 26% 的轨迹出现基于反驳的信念修正、汇聚多源证据仅 7%；且这种"一律糟糕"的模式不随任务认识论需求变化——工作流型领域证据忽略率 82%，假设驱动型领域也有 60%。可靠性上，Pass$^k$（k 次独立试验全部成功）随 $k$ 急剧衰减：在光谱解析和无机定性分析中，基线下 $k=4$–$6$ 时即跌破 0.05；轨迹干预实验显示，在平均 log-prob 约 $-0.20$ 的工作流型领域注入 1–2 步成功轨迹就能拉高通过率，而在平均 log-prob 约 $-0.27$ 的假设驱动型领域必须注入几乎完整的成功轨迹（$n-2$ 或 $n-1$ 步）才有效，且失败轨迹的注入几乎不降低通过率——这说明基线模型已经"知道"下一步，只是无法可靠地执行推理过程。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 光谱结构解析（Spectroscopic Structure Elucidation） | 任务平均分（10 个子任务） | 最强配置（Claude Sonnet 4.5 + tool-calling）在窄 scope 接近性能上限，在最宽 scope 下最强模型 <60% | GPT-4o + ReAct 与 GPT-OSS-120B 两种组合 | 最强 vs 最弱模型推理能力差距 5.3+ 个标准单位（无机定性分析），光谱解析与逆合成规划两个领域两个模型几乎无领域知识 |
| 无机定性分析（Inorganic Qualitative Analysis） | 任务平均分（不同候选离子数） | 最强配置在 scope 1（3–5 种离子）表现良好，scope 3（≥15 种含重叠反应性离子）最强模型 <60% | GPT-4o + ReAct 等其它 (模型, 脚手架) 组合 | 模型方差显著大于脚手架方差；性能随 scope 增长下降，证据非吸收率 60% |
| 潜因子模型 M7 解释方差分解 | 解释方差占比 | 推理能力 41.4% + 环境×scope 30.1%，合计 >70% | 脚手架 1.5%、verbosity 0.1% | 推理能力解释力约为脚手架的 27.6 倍，verbosity 的 414 倍 |
| 轨迹干预实验（Pass@k 提升） | 成功轨迹注入 vs 基线的成功率差 | 工作流型域：注入 1–2 步即超基线；假设驱动/战略推理域：必须注入 $n-2$ 或 $n-1$ 步才有效 | 无注入基线 + 失败轨迹注入对照 | 成功干预的有效性在低 log-prob（≈$-0.27$）域几乎不存在；失败干预对通过率影响极小 |
| Pass$^k$（k 次独立试验全部成功） | 累积成功率 | 假设驱动域基线 $k=4$–$6$ 时 Pass$^k<0.05$，早期成功干预下衰减曲线接近基线 | 无干预基线 | 在假设驱动域，重复试验无法获得稳定成功——可靠性极差 |
局限与改进
作者明确承认的局限有四点：（1）分析仅基于三款模型和两种脚手架，更大或更新的模型（如 o 系列、Claude Opus 4 等）是否同样存在类似行为模式尚待检验；（2）认识论标注由 Claude 4.5 Sonnet 自动完成，尽管人机一致性达 95.7%，但仍可能在边缘案例上存在系统性偏差；（3）领域范围虽广但偏向化学/材料科学/电气工程，未覆盖生命科学、地球科学、纯数学等学科；（4）评估是离线的固定任务，不涉及真实实验室中的开放性探索。我自己的观察还有：（a）环境虽然支持 verbosity 调节，但主结论全部基于 brief 工具描述，verbosity 0.1% 的极小贡献是否在 comprehensive 设置下保持稳健值得进一步验证；（b）trace intervention 在结构上其实把"正确答案"暴露给模型，但即便如此仍无法拯救假设驱动任务，说明失败根源可能在模型对自身推理过程的元认知能力；（c）论文没有给出 25,000+ 次运行的计算成本与碳足迹数据，给希望复现的团队带来预算不确定性。
独立分析的弱点
独立分析下，论文存在四处可改进的薄弱点。第一，认识论标注虽一致率高，但 6 类操作 (H, E, T, J, U, C) 的定义仍有重叠——例如 "commitment" 与 "judgment" 在长轨迹中容易混淆，且 6 类边类型 (testing, observing, using, contradicting, competing, updating) 的判定在 4 层分类下可能使"汇聚多源证据"等指标存在 ±2% 误差；改进方向是引入更细粒度的子类别或多标注员独立编码 + 仲裁。第二，trace intervention 注入的是完整工具调用序列，等价于"半监督示范"，与现实生产场景中智能体只能看到自然语言描述的差距较大；改进方向是增加"自然语言提示式干预"作为对照，测试纯文本指导是否同样无效。第三，模型仅 3 款且都偏传统 dense 模型，未覆盖 o1/o3、Claude Opus 4 等"推理增强"模型；改进方向是显式纳入 RLHF/RLVR 训练轨迹的模型以验证"推理作为训练目标"的假设。第四，Pass$^k$ 的衰减曲线虽有力，但作者没有给出按环境或 scope 拆分的完整数据，使得读者无法直接评估"哪个环境最先失稳"；改进方向是公开全量逐 $k$ 表格。
未来方向
作者明确提出的方向是"让推理过程本身成为训练目标"——利用 Corral 的环境+工具+评分函数直接对推理轨迹定义奖励信号，针对 H-T-U 回环、证据汇聚、矛盾解决等反思维模式做针对性训练。基于成果可延伸的方向有四条：（1）把同一框架拓展到非化学/材料领域，如生物实验设计、社会科学因果推断，验证认识论失败模式是否跨域普遍；（2）引入"元认知模块"——例如在 ReAct 框架里增加自检 prompt 强制模型在每步行动前做证据-假设对齐检查；（3）发展 Pass$^k$ 之外的可靠性指标，如"轨迹可解释性分数"或"反思维模式密度"，用于在线监控；（4）把轨迹干预扩展为"轨迹课程学习"，让模型从易到难逐步接触成功轨迹，并显式监督其对反思维模式的避免能力。
复现评估
论文的复现性极好。Corral 框架在 GitHub（github.com/lamalab-org/corral）开源，版本对应稿件在 Zenodo（doi.org/10.5281/zenodo.19659851）归档并打了 DOI；任务定义、智能体轨迹、QA 题库、token-level log-probabilities、25,000+ 次运行的评测报告全部托管在 Hugging Face 集合 jablonkagroup/corral 之下（多个独立 dataset 卡）。算力上，作者使用 OpenAI、Anthropic 和 Blablador 三家 API，温度固定为 0.0，对外部算力依赖低；中等规模复现（约 1,000 次运行覆盖一个领域的三种 scope）只需 API 配额，无需 GPU。复现难度主要不在算力，而在环境依赖：分子动力学需要 LAMMPS、AFM 需要真实显微镜接口、材料结构依赖 Materials Project API——这些都需要申请账号；其余 5 个领域（电路推理、定性分析、光谱解析、逆合成规划、ML 属性预测、吸附表面构建）纯软件即可。整体看，框架、数据、代码、诊断题库"四件套"齐备，是少数完全可复现的 LLM 智能体基准之一。
论文图表
论文附录表 G.8 与 G.9 给出 3 模型 × 2 脚手架 × 8 环境 × 多 scope 的全量任务分数——在分子模拟与表面构造的工作流型 scope 1 上，最佳配置接近性能上限（图中以接近上限的颜色表示），而在无机定性分析与光谱解析最宽 scope 上最强模型跌破 60%。
这是 Figure 2A 热图背后的具体数字表，是需要复现具体实验或设计新模型对照时最直接的参考。
附录 H.14 与 H.15 给出每种生产性模式（Popperian falsification、exploratory-to-confirmatory transition、active learning 等）和反思维模式（untested hypothesis、evidence non-uptake、unresolved contradiction、precommitted hypothesis 等）的形式化图模板与具体例子；表 H.16 把它们聚合为更高层的家族以便统计。
这些表是 Figure 4 反思维模式频率统计的字典，决定了 68%/71%/26%/7% 等关键数字的口径；理解这张表才能判断作者定义是否合理。
附录表 E.6 给出 3 个模型在 8 个领域上的知识题与推理题正确率——知识题每领域约 20–100 题，推理题每领域 20–25 题；模型间差距在光谱解析与逆合成规划上最大（两个模型几乎无领域知识），在 ML 属性预测上最小（0.62 个标准单位）。
这是 IRT 估计 $\theta^{(K)}$、$\theta^{(R)}$ 的原始数据来源，也是 Figure 3B 推理能力差异的事实底座。