SoundnessBench：你的AI科学家真的能区分好的研究想法和坏的吗？

构建首个AI科学家提案方法论合理性评估基准，揭示LLM存在系统乐观偏差

前置知识

Soundness Score

审稿人对论文方法合理性的子分数，范围1-4分。不同于整体评分或接受决定，soundness关注实验设计是否能严谨验证假设。高分表示方法设计合理、基线选择得当、指标匹配；低分则暗示存在数据泄露、不恰当基线或致命设计缺陷。ICLR审稿体系独立评估soundness、重要性、新颖性、呈现质量等维度。

本文用soundness分数作为提案阶段方法论合理性的代理标签，是整个基准的核心ground truth

原子主张审计（Atomic-Claim Audit）

一种验证提取提案忠实度的方法。将每个假设-实验对分解为原子主张，用BM25检索从源论文中找到支持段落，然后用LLM验证每个主张是否在原文中有证据支持。最终计算支持率，只有通过阈值的提案才进入最终数据集。

确保提案提取不引入偏差或误解，每个提取的主张都可以追溯到原文证据

乐观偏差（Optimism Bias）

LLM在评估研究提案时倾向于高估质量的现象。标准提示下，模型将低soundness提案误判为高soundness的比例高达74.0%。这种偏差导致模型作为研究第一道关卡时过于宽松，可能让有致命缺陷的方案通过，浪费后续计算资源。

这是本文的核心发现，揭示了当前AI科学代理的致命弱点

乐观-脆弱性权衡

激进提示虽然能降低假阳性率（从74.0%降至19.9%），但也会显著降低高soundness提案的召回率（从91.8%降至36.1%）。这种权衡说明模型的判断能力严重依赖提示框架，无法稳定地同时识别好坏提案。

表明当前LLM在研究提案评估上的能力限制，仅靠提示工程无法解决根本问题

研究动机

自主AI研究代理（如The AI Scientist、Agent Laboratory）正在快速演进，能自动化生成假设、编写代码、执行实验甚至起草论文。然而，现有基准几乎都聚焦于执行阶段的技能再现（MLE-Bench、PaperBench、InnovatorBench、AIRS-Bench、ResearchGym），忽略了研究流程中最早的决策点：判断一个研究想法和实验设计在方法上是否合理。在人类研究中，这个第一道关卡是防止浪费数月工程时间和大量计算资源的主要防线。如果没有可靠的前置过滤器，自主代理不一定能加速科学发现，反而可能通过自动化追求不合理的假设来放大坏科学。

本文的目标是构建一个大规模、高质量的基准测试SoundnessBench，专门评估LLM在执行实验前能否判断机器学习研究提案的方法论合理性。基准包含1,099个从ICLR投稿重建的提案，使用审稿人的soundness子分数作为标签，排除实验结果等事后信息，只保留提案组件。目标回答核心问题：LLM能否可靠地拒绝有缺陷的研究设计，在执行昂贵实验之前？

与已有工作不同的是，与现有基准的关键区别在于：SoundnessBench聚焦执行前的评估，直接判断方法论合理性，输入仅为提案文本。而其他基准要么评估执行结果（MLE-Bench、PaperBench），要么预测影响或新颖性（Hindsight、RINoBench），要么需要完整论文作为输入。SoundnessBench是首个结合执行前评估、直接方法论判断、仅提案输入三个特性的研究代理基准。

核心方法

SoundnessBench采用五阶段流水线从公开ICLR历史中重建高质量提案数据集。整体思路是：先从大量ICLR投稿中筛选出审稿人意见高度一致的子集，用soundness子分数作为方法论合理性的代理标签，然后用强长上下文模型（Gemini 2.5 Pro）从源论文中逐字提取研究提案（包含摘要、相关工作、风险因素、假设、实验设计），但不包含实验结果和接受线索，最后用检索验证的原子主张审计确保提取忠实度。这种方法保证了每个提案都可以追溯到原文证据，标签反映专家共识，输入符合真实提案场景。

核心创新是将提案阶段的方法论合理性明确界定为从提案文本本身可恢复的信号，而非精确预测完整论文的评审结果。审稿人看到了完整论文和结果，但我们的模型只看到提案，因此SoundnessBench测量的是可恢复的提案阶段合理性。通过原子主张审计（阈值，块大小，重叠，检索深度）确保提取忠实性，66.93%的候选通过此过滤器。这种设计将任务范围限制在AI代理真正需要的第一道关卡能力：在执行前识别可见的致命缺陷。

方法步骤详情

五阶段流水线：（1）数据收集：处理超过35,209份ICLR初始投稿和137,940条专家评审，保留2022-2026年的论文（因早期版本不持续提供soundness分数），排除直接拒稿（可能反映soundness外的因素），仅保留审稿人信心平均至少3且标准化soundness分数标准差小于0.15的高一致性论文；（2）标签分配：使用审稿人soundness子分数而非整体评分或接受决定，mean soundness至少3标记为高合理性，至多2标记为低合理性，排除中间模糊情况以提高类间分离度；（3）提案提取：从过滤后的论文中，用Gemini 2.5 Pro和任务特定提示从源PDF逐字提取研究提案，包括摘要、相关工作、风险因素、假设、实验设计，格式遵循The AI Scientist-v2，明确排除实验结果、直接结果声明和接受线索；（4）验证审计：将每个提取的假设-实验对分解为原子主张，用BM25从源论文块中检索3个支持段落，让LLM验证每个主张是否在证据中，计算支持率，仅保留阈值以上的提案，66.93%候选通过此过滤；（5）最终基准：1,099个提案，458低合理性、641高合理性。

技术新颖性

技术新颖性体现在四个方面：一是首次从真实会议投稿和专家评审构建执行前研究评估基准，而非合成任务或小规模人工标注；二是设计多阶段高质量提纯流水线，包括专家一致性过滤、原子主张审计、结果掩蔽；三是明确界定可恢复提案阶段合理性的任务范围，避免要求模型预测无法从提案本身看到的未来结果；四是系统控制污染、泄露、混淆因素，包括ICLR 2026-only子集（评估训练截止前的模型）、标识符移除、表面特征分析、对抗性内容注入等，这些控制共同强化解释：乐观偏差反映真实模型弱点而非单一数据集假象。

**Figure 1**: SoundnessBench pipeline: (1) collect ICLR papers with reviewer metadata and filter for high reviewer agreement; (2) derive high/low-soundness labels; (3) extract a near-verbatim research proposal without revealing experimental results; (4) audit extraction fidelity with retrieve-then-verify atomic claims; and (5) assemble the final benchmark.

**Figure 2**: SoundnessBench dataset statistics. The benchmark contains 1,099 proposals, including 458 low-soundness and 641 high-soundness instances. (a) The subfield distribution across papers reflects the ICLR corpus composition. (b) Soundness score density shows separation between low-soundness (S 至多 2, mean = 1.77) and high-soundness (S 至少 3, mean = 3.22) groups, supporting the chosen label boundary. (c) Temporal coverage spans ICLR 2022–2026. (d) Low- and high-soundness pair-count statistics in SoundnessBench.

实验结果

在12个前沿LLM上的系统性评估揭示了三个核心发现。第一，存在广泛的乐观偏差：标准提示下，模型频繁将低soundness提案评为高soundness。12个模型中9个对低soundness提案的假阳性率超过70%，LLaMA-3.3-70B和GPT-4o分别将98.0%和94.5%的低soundness提案评为高soundness。平均低soundness召回率仅26.0%（等价于74.0%假阳性率），而高soundness召回率91.8%。这意味着许多默认模型配置表现得像宽容的审稿人，批准大量候选而非一致过滤弱提案。第二，激进提示并不能同时改善两类：主要将错误从假阳性转移到假阴性。低soundness假阳性从74.0%降至19.9%（10/12模型低于30%），但高soundness召回率从91.8%降至36.1%（7/12模型低于40%）。GPT-5.4和GPT-5.4-Mini在激进提示下接近总是判低行为：低soundness假阳性均为0%，但高soundness召回率分别为0.0%和0.2%。平均Macro F1从54.9降至49.3。第三，乐观偏差不是小模型假象：在同一Qwen3.5家族的2B到122B参数范围内，标准提示下高soundness召回率随规模改善（71.8%到92.8%），但低soundness召回率同时下降（31.0%到19.2%）。更大模型对弱提案更宽容。激进提示下规模也无一致恢复，所有六个模型都趋于过度保守。稳健性控制（标签泄露审计、污染和标识符控制、表面特征控制、对抗性内容控制）表明乐观偏差不太可能仅由泄露、记忆、简单风格特征或狭窄主题切片解释。

**Table 1**: Comparison with related research-agent benchmarks. Stage indicates when scientific judgment is made (pre-execution, execution, or post hoc). Benchmark Task indicates what is judged, and Evaluation Input indicates the evidence provided to the evaluator. Most prior benchmarks evaluate execution outcomes or post-hoc signals rather than methodological validity. SoundnessBench is the only benchmark here that combines pre-execution evaluation, direct methodological-soundness judgment, and proposal-only input.

**Table 2**: Summary evaluation metrics across 12 models under standard and aggressive prompting. Low R and High R denote recall on low- and high-soundness proposals. Macro F1 is the unweighted average of per-class F1 scores. Best Macro F1 per condition is bolded. † denotes reasoning model.

**Table 3**: Reduced-contamination-risk check using an ICLR 2026-only split. We evaluate the standard prompt on the subset of models with documented training cutoffs before the ICLR 2026 submission period, then compare their mean predictions on the full dataset and on the ICLR 2026-only split. The main observation is that the optimism bias remains stable under this reduced-contamination-risk setting: low-soundness proposals are still predicted as high soundness at a similar rate on the 2026-only split and the full dataset.

**Figure 3**: Confusion matrices under the standard prompt across 12 evaluated models. Main message: many models are overoptimistic by default. The mean false-positive rate on low-soundness proposals is 74.0% (9/12 models exceed 70%). This pattern appears across model families in this evaluation setting.

**Figure 4**: Confusion matrices across six Qwen3.5 model sizes (2B–122B) under standard (top) and aggressive (bottom) prompting. Under standard prompting, high-soundness recall improves with scale but low-soundness recall degrades. Larger models become more optimistic. Under aggressive prompting, models shift toward over-conservatism with no consistent improvement from scale.

**Figure 5**: Confusion matrices under the aggressive prompt across 12 evaluated models. Main message: optimism bias often shifts toward over-conservatism. The mean false-positive rate on low-soundness proposals drops to 19.9% (10/12 models are below 30%), but recall on high-soundness proposals also drops to 36.1% (7/12 models are below 40%). This illustrates strong prompt sensitivity in proposal-stage soundness judgment for the evaluated models.

查看结构化数据

任务	指标	本文	基线	提升
提案方法论合理性分类（二分类：高/低soundness）	低soundness召回率/ 高soundness召回率/ Macro F1	标准提示：GPT-5.4达到最佳Macro F1=69.7%（Low R=64.6%, High R=74.6%）；激进提示：Gemini-3-Flash最佳Macro F1=67.1%（Low R=76.4%, High R=60.4%）	表面特征启发式（提案长度、实验数、风险因素数）：相反方向，过度拒绝高soundness提案	LLM比表面特征有更好的高soundness识别能力，但存在系统性乐观偏差，激进提示无法稳定改善两类

局限与改进

作者承认的局限包括：ground truth依赖审稿人soundness子分数，这些是专家信号但仍是提案阶段方法有效性的不完美代理，因为审稿人看到了完整论文、结果、呈现质量和框架；基准覆盖从ICLR提取的ML研究有限切片，在对生物学、化学、社会科学等其他科学领域做出科学合理性普遍声明前，扩展到其他会议和领域很重要；源语料库公开，完美污染控制不可能，虽然ICLR 2026-only和标识符移除分析降低此担忧；人工审计是初步的，未建立完整专家人工上限。我自己观察到的局限还包括：仅用两种提示（标准和激进），未探索提示空间的系统优化；仅考虑单个模型判断，未测试多模型集成或LLM-as-a-jury设置；标签基于历史审稿分数，可能包含审稿人本身的主观偏差和时代偏见；原子主张审计用BM25+LLM验证，可能受检索质量和LLM验证能力限制。

独立分析的弱点

论文存在几个可改进的弱点。一是提示工程探索有限，仅测试两种极端提示（标准vs激进），未系统搜索平衡点或使用思维链、反思提示等更精细策略。改进方向可以网格搜索不同保守度阈值，或训练奖励模型学习理想判断。二是标签代理的固有局限性：审稿人看完整论文而模型只看提案，即使排除结果信息，审稿人的soundness判断仍可能受论文呈现质量影响。改进方向可以是人工重新标注仅基于提案的合理性，或设计对照实验测量完整论文信息的增值量。三是数据集规模相对有限（1,099个提案），且只覆盖ML/CS的16个子领域。改进方向可以扩展到NeurIPS、ICML等会议，并定期刷新数据集减少过拟合。四是未测试实际应用场景，如将此评估器集成到AI科学家代理中研究其对资源使用和产出质量的影响。改进方向可以端到端评估包括此评估器的完整研究代理系统。

未来方向

作者提出的未来工作包括：扩展专家重新标注、更广泛的人工审计、私有或持续刷新的测试集、更丰富模态（如代码和日志）、纵向提案到执行研究。基于论文成果可延伸的方向包括：开发专门的训练数据或微调目标来减轻乐观偏差；设计更稳健的评估器架构，如多模型集成、LLM-as-a-jury、或学习理论有界的评估；扩展到其他科学领域（生物学、化学、社会科学）测试领域迁移性；研究评估器提示的对抗性攻击和防御；将SoundnessBench评估器集成到实际AI研究代理中，测量其对计算资源效率和产出的影响；探索评估器的交互式使用，如提供反馈让研究者改进提案而非二分分类。

复现评估

论文复现性评估：数据集和代码已开源（项目页：https://hosytuyen.github.io/projects/SoundnessBench，数据集：https://huggingface.co/datasets/hosytuyen/SoundnessBench），包含完整流水线和评估脚本。数据构建使用Gemini 2.5 Pro进行提案提取，评估涉及12个闭源和开源模型，闭源通过API调用，开源（LLaMA-3.3-70B、Qwen3.5-27B、Qwen3.5-122B-A10B、Kimi-Linear-48B-A3B）用vLLM部署在2×NVIDIA H200 GPU上。评估配置统一：max_tokens=8192，temperature=0.2，其他参数遵循框架/提供方默认。论文详细描述了提示协议和额外分析。总体复现难度中等，主要挑战是闭源模型API访问和开源模型的算力需求，但由于数据集和评估脚本开源，独立复现核心结论是可行的。论文还提供了原子主张审计算法的伪代码和阈值设置，便于验证数据构建过程。

SoundnessBench：你的AI科学家真的能区分好的研究想法和坏的吗？ SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?