IdeaAMBIG：面向研究想法规范中实现关键缺陷的基准测试 IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications
构建660个证据支撑实例，发现LLM定位研究想法中的实现关键缺陷是主要瓶颈
前置知识
Codification Readiness（编码就绪性）
指一份研究方法规范是否包含足够的方法学信息，使一名胜任的实现者或编码智能体无需对核心方法做出无依据假设，就能构建出忠实的初始实现或实验原型。判定标准是：若两个合格实现者会在某个方法定义性选择上做出实质不同且无证据支持哪一种才符合意图的决定，则该规范不就绪。常规超参数、工程细节（随机种子、硬件、文件路径）和明确声明开放的设计选择不在此列。
这是全文的核心概念，论文的三个评测任务、660个实例的构建与配对（NOT_READY 规范 $x^-$ 与解决缺陷后的 READY 规范 $x^+$）都围绕它定义，不理解它就无法理解基准测什么。
规范缺陷三分类（Ambiguity/Incompleteness/Inconsistency）
论文将规范缺陷定义为使某个方法定义性决策欠定的遗漏、歧义或内部不一致，并建立两级分类学：3个 Level-1 类型（歧义、不完整、不一致）与 10 个 Level-2 类别（如歧义程序、缺失方法程序等）。每个实例附带目标缺陷 $d_i = (z^{(1)}_i, z^{(2)}_i, e_i)$，即两个层级标签加一段自然语言缺陷描述。单一缺陷设计隔离了定位能力与开放式的缺陷枚举。
缺陷定位任务要求模型同时输出正确的 Level-1、Level-2 标签和缺陷描述，理解这套分类学才能读懂 Macro DRR 等指标和主结果表。
LLM 科研智能体（AI Research Agents）
指用大模型串联科研全流程的系统：从想法生成、文献综述、实验设计到代码生成与写作（如 AI Scientist 类系统）。其可靠执行隐含一个假设——生成的想法对预期方法的规范足够充分。若方法定义性选择被遗漏或含糊，下游智能体只能要么寻求澄清、要么静默引入无依据假设，做出能跑通但实现了另一个方法的代码。
论文的问题动机正源于此：现有评测要么评上游想法质量、要么评下游产物，而规范本身这一连接环节是盲区，本文正是要填补这一环。
Macro DRR 与 Macro-CAS 指标
Macro Defect Recovery Rate（DRR）要求模型同时恢复被标注的阻塞缺陷和两个层级的分类标签才算命中；Macro Clarification Action Success Rate（CAS）要求澄清动作针对阻塞点、能获得足够信息且不引入无依据假设。此外还有 Reason Grounding Score（RGS）衡量任务1推理是否支持预测标签、识别相关缺陷并忠于原文。
主结果表 Table 1 的三列指标分别对应三个任务，DRR 与 CAS 的巨大落差（9.6% vs 80.6%）正是论文'定位是瓶颈'这一核心结论的量化证据。
研究动机
LLM 正深度介入科研工作流，从想法生成到实验执行与代码生成（如 Lu et al. 2024、Schmidgall et al. 2025 等科研智能体系统）。当这些环节被耦合进科研智能体后，可靠执行隐含了一个未经验证的假设：生成的想法对其预期方法的描述足够充分，可以让编码智能体忠实实现。现实中一个研究想法可能新颖、连贯、科学上可行，但其方法部分却不足以忠实实现——比如一个参数匹配的稠密基线，其'激活参数量'该如何定义、dense FFN 要匹配 MoE 的哪部分门控、top-k 取多少，都可能是欠定的。当方法定义性选择被遗漏、含糊或自相矛盾时，下游智能体要么寻求澄清，要么静默引入无依据假设，产出'能跑通但实现的是另一个方法'的代码，直接导致可复现性失败。现有评测体系存在结构性盲区：想法质量评测（novelty、feasibility、diversity）和产物验证评测（实验设计、代码生成、论文-代码一致性）都默认方法本身已被充分规定，没有任何评测衡量模型能否在编码前评估规范就绪性、定位实现阻塞点并主动获取缺失信息。
本文的目标是本文要形式化并测量'编码前'这一被忽略的环节。具体目标是：(1) 形式化实现导向规范的编码就绪性，定义为三个递进的诊断任务——就绪性评估（给定规范判断 READY/NOT_READY）、缺陷定位（无提示找出唯一的实现关键缺陷并给出两层分类标签和描述）、澄清动作生成（给定规范和已标注缺陷，生成获取缺失信息的具体动作，类型为 CLARIFICATION_QUESTION 问作者或 EVIDENCE_SEEKING 查证据物）；(2) 构建 660 个证据支撑的单缺陷实例，其中 163 个来自真实世界的 GitHub issues 和可复现性报告中的真实缺口，497 个是向编码就绪参考中注入受控合成缺陷的对照实例，每个实例都配有证据支持的解决方案和就绪版对照规范 $x^+$；(3) 用 13 个 LLM 评测，分离'发现阻塞点'与'知道阻塞点后行动'两种能力，量化各自的难度。
与已有工作不同的是，本文的独特切入角度有三点。第一，评测对象是连接科研构思与执行之间的'规范'本身，而非上游想法或下游产物——现有工作（SciConvBench、SpecBench、ClarifyCodeBench、LimitGen 等）要么评对话式任务制定、要么评软件 RFC、要么评代码需求澄清，都不针对科研方法规范的方法学保真性。第二，强调证据支撑：一个缺口只有在其欠定的是方法定义性决策而非常规工程选择时才算阻塞，且其解决方案必须有证据支持（因为预期选择可能分布在论文、代码库、issue 讨论和复现报告中），这与需求工程中只检测缺陷类别的做法有本质区别。第三，通过 DEFECT-GUIDED 与 END-TO-END 的对照实验设计，首次把'发现阻塞点'和'知道阻塞点后生成澄清'两种能力严格分离评测，从而能精确归因失败来源——这是理解模型短板在哪的关键实验设计。
核心方法
IdeaAMBIG 由 660 个证据支撑的单缺陷实例组成：163 个真实世界实例（GitHub issues 121 个、可复现性报告 42 个）与 497 个受控合成实例（报告参考 358 个、AI-Researcher 执行轨迹 139 个）。直觉是：把编码就绪的规范 $x^+$ 删去或模糊化恰好一个方法定义性细节，得到欠定规范 $x^-$，模型能否发现这个洞并补上它？每个实例包含目标缺陷 $d_i = (z^{(1)}_i, z^{(2)}_i, e_i)$（两级分类标签加缺陷描述）和黄金澄清动作 $a_i = ( au_i, q_i, r_i)$。三个递进任务：任务1就绪性评估——独立判断单条规范 READY/NOT_READY，报告 Macro-F1；任务2缺陷定位——只给欠定规范，输出完整诊断，报告 Macro DRR；任务3澄清动作生成——额外提供已标注缺陷，生成问作者（CLARIFICATION_QUESTION）或查证据（EVIDENCE_SEEKING）的动作，报告 Macro-CAS。任务2与任务3的输入差异使定位能力与行动能力可被严格分离评测。
核心创新是'配对的单缺陷、证据锚定实例'设计。与已有工作的本质区别在于三点。其一，真实与合成双轨制：真实缺口来自实现者真实踩坑的记录（GitHub issues 中 4,106 个已关闭 issue、MLRC/ECIR/TMLR 的 396 份复现报告中筛出 174 份），合成缺口通过向已验证成功复现的论文重建的编码就绪参考中注入恰好一个实现关键缺陷构成，提供精确的反事实目标。其二，证据锚定的解决方案：每个缺口的答案不是标注者拍脑袋，而是从 issue 线程、复现报告、最终论文-代码对中挖出的已被验证的修复方式，保证欠定的决策存在唯一正确的解决。其三，把'发现阻塞点'与'响应阻塞点'拆成两个独立任务：任务2只给规范，任务3额外给已标注缺陷，两者分数差直接量化定位瓶颈的大小。此外通过目标唯一性审计和多缺陷消融实验验证了单缺陷抽象的合理性。已有的 SpecBench、ClarifyCodeBench 等都不满足这三个条件。
方法步骤详情
构建流程分三条路径。路径一（可复现性报告）：收集 MLRC、ECIR、TMLR 的 396 份报告，MinerU 转 Markdown 后保留 174 份（单一论文+开源实现）；DeepSeek-V4-Pro 将论文-报告对路由到已解决真实缺口、合成受控、不可用三条轨道。真实缺口轨道提取 210 个候选提及、分解为 233 个原子候选，人工验证保留 42 个实例；合成轨道用 106 对成功复现的论文，仅从论文重建编码就绪参考，每份改动至多 5 个实现关键细节，产出 358 个合成实例（MLRC 192、ECIR 102、TMLR 64）。路径二（GitHub issues）：爬取 50 个顶级仓库的 4,106 个已关闭 issue，预筛 800 个线程，DeepSeek-V4-Pro 分类并分解为至多 3 个原子候选，GPT-5.5 验证后从 152 个已解决候选得到 121 个实例。路径三（执行轨迹）：用 43 个已执行项目（19 个人类想法、24 个 LLM 想法）的论文-代码对重建结构化参考，每项目生成至多 5 个删除单一细节的候选，产出 139 个实例。所有路径共享两阶段人工审查；预裁定一致性达就绪性 92.0%/96.0%（$\kappa$=0.84/0.92）、Level-2 $\kappa$=0.92/0.85。
技术新颖性
新颖性有四层。第一，问题形式化：首次把'规范的编码就绪性'确立为科研构思与执行之间缺失的一环，用 NOT_READY/READY 配对规范 $x^-/x^+$ 的反事实结构把它变成可评测问题。第二，数据构造：三源汇聚（issues、复现报告、执行轨迹）兼顾真实缺口的生态效度与合成缺口的精确可控；合成实例要求'恰好改动一个方法定义性细节、保留全部非目标信息、改动可从源材料恢复'，使 Macro DRR 成为精确的反事实指标；解决方案全部证据锚定（来自 issue 线程、复现报告、论文-代码对），保证欠定决策存在唯一正确的解决。第三，评测设计：DEFECT-GUIDED 与 END-TO-END 严格对照（同模型、同解码、同协议、仅输入差一项），配合源聚类 bootstrap 置信区间，把定位瓶颈从混杂因素中剥离。第四，评估体系：Macro DRR 要求同时恢复阻塞点和两层分类标签，另有 Reason Grounding Score 检查任务1推理是否落地，语义评判用 Claude Opus 4.8 并与人类裁定标注对照验证。已有 SpecBench、ClarifyCodeBench、SciConvBench 等均不满足这些条件。
实验结果
Table 1（13 个 LLM）揭示清晰的'定位瓶颈'模式。任务1就绪性评估：最强的 GPT-5.6-Sol 真实子集仅 67.5 Macro-F1（合成 86.4），Claude Sonnet 5 为 59.3/76.2；它在真实子集误收 31% 欠定规范、误拒 34% 就绪规范，最高 Reason Grounding Score 仅 0.36——67.5% 标签正确但只有 1.5% 既正确且推理完全落地。任务2缺陷定位是崩溃点：GPT-5.6-Sol 真实 Macro DRR 仅 9.6%（合成 12.2%），Gemini 3.1 仅 3.4%，DeepSeek-R1-0528 仅 1.8%；细分看 Level-1 准确率 60.1%、Level-2 25.2%、Loc-Acc 16.0%，66.3% 的实例定位到完全不同的阻塞点；去掉分类学的消融中同阻塞点识别率从 10.0% 升至 40.0%，说明分类学增加了难度但定位本身依然困难，人类评估者大幅超越模型。任务3给定缺陷后相对较强：GPT-5.6-Sol 真实 80.6 Macro-CAS（合成 96.2），No-Assumption 95.7 而 Sufficiency 80.4。关键归因（Table 9）：END-TO-END 切到 DEFECT-GUIDED，Macro-CAS 从 13.6 跃至 80.6（$\Delta$=67.0，95% CI [59.0, 75.2]，$p<0.001$），证明瓶颈是发现阻塞点而非表达澄清。Oracle 研究（Table 2）：提供黄金方案使就绪率从 14% 升至 98%（$p<0.001$）、完整度从 30% 升至 98%；可执行研究中 20 个实例的测试通过率 45%→85%、忠实实现率 30%→90%，说明代码通过测试仍可能实现了错误的方法选择。所有发现在源聚类稳健性分析下保持成立。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 任务1：就绪性评估（Readiness Assessment） | Macro-F1 | GPT-5.6-Sol：真实 67.5，合成 86.4（最佳）；Claude Sonnet 5：59.3/76.2；最高 RGS 仅 0.36（真实） | Gemini 3.1 Pro Preview：真实 45.8；GPT-OSS-120B：30.0（13 模型中最弱之一） | 最佳与最差模型差约 37.5 个百分点，但绝对水平仍不可靠：最强模型误收 31% 欠定规范、误拒 34% 就绪规范 |
| 任务2：缺陷定位（Defect Localization） | Macro Defect Recovery Rate (%) | GPT-5.6-Sol：真实 9.6，合成 12.2（最佳）；Loc-Acc 仅 16.0%，66.3% 的实例定位到完全不同的阻塞点 | Gemini 3.1 Pro：真实 3.4；DeepSeek-R1-0528：真实 1.8（开放式权重推理模型反而最弱） | 无外部基线，与任务3对比构成核心证据：同一模型定位 9.6% vs 给定缺陷后澄清 80.6%，差距 71 个百分点 |
| 任务3：澄清动作生成（Clarification Action Generation） | Macro-CAS (%) | GPT-5.6-Sol：真实 80.6，合成 96.2（最佳）；Claude Sonnet 5：76.8/94.5 | END-TO-END 变体（不给标注缺陷）：同一模型仅 13.6，Sufficiency 8.6 | DEFECT-GUIDED 相对 END-TO-END 提升 67.0 个百分点（95% CI [59.0, 75.2]，p<0.001） |
| Oracle 澄清效用研究（50 个真实实例配对） | READY Rate (%) | 提供黄金解决方案后 READY 率 98%，完整度 98%，缺失细节恢复 98% | DIRECT GENERATION（不给澄清信息）：READY 率 14%，完整度 30%，缺失细节恢复 14% | +84 个百分点（95% CI [72.0, 92.0]，p<0.001）；可执行研究测试通过率 45%→85%，忠实实现率 30%→90% |
局限与改进
作者承认的局限：(1) 实例集中在 AI、NLP 和机器学习，扩展到其他计算科学和自然发生的早期想法才能检验迁移性；(2) 多缺陷消融仅 50 个受控合成对且响应次数不对称，更大规模研究缺失；(3) 澄清只评单轮单一动作，未覆盖多轮澄清、问人与查物之间的选择、冲突证据调和与停止判断；(4) Oracle 研究只测成功澄清的上界效用而非端到端智能体表现；(5) 就绪性在执行前评测，未逐条完整实现验证。我的补充观察：其一，数据构造重度依赖 LLM（DeepSeek-V4-Pro 路由提取、GPT-5.5 验证、Claude Opus 4.8 评判），合成实例的编码就绪参考本身由模型从论文重建，忠实性只能抽样人工验证；其二，真实实例仅 163 个且集中在 CV 与 NLP，Macro DRR 在此规模下置信区间可能较宽；其三，缺陷边界在合成子集稍不稳定（目标缺陷一致性 84.0% vs 真实 87.7%），边界模糊会系统性压低 DRR；其四，真实缺口来自事后已被修复的 issue/报告，天然偏向'事后可解'的缺陷，对科研智能体实际遇到的早期模糊规范外推效度存疑。
独立分析的弱点
独立分析的弱点有四。其一，单缺陷抽象可能扭曲真实失败模式：真实规范往往多缺口并存，缺陷间交互（一个缺陷的解决可能改变另一个的定性）未测，论文自己的多缺陷消融仅 50 对且承认响应预算不对称——改进方向是构建响应预算匹配的多缺陷变体并报告定位率随缺陷数变化的曲线。其二，证据链依赖历史产物：真实缺口来自已踩坑并修复的记录，偏向事后可解的缺陷，而早期想法的缺陷更模糊、更无证据支持——改进方向是前瞻性收集实现者的初始困惑。其三，澄清动作只有问作者、查证据两种类型，且评测时已告知模型针对哪个缺陷行动；真实系统还需决定是否值得问、问谁、何时信息足够，这些元决策完全未测——改进方向是加入动作类型预测与停止条件判断的联合任务。其四，评判模型依赖：Macro-CAS 与 RGS 部分依赖 Claude Opus 4.8 语义评判，被评模型与评判模型同源时可能有风格亲和偏差——改进方向是报告多评判模型 ensemble 下的指标稳定性。另外任务1采用 100 READY/100 NOT_READY 平衡采样，真实部署中就绪率并非 50/50，67.5 Macro-F1 对应的精确率-召回率业务含义需重新解读。
未来方向
作者提出的方向：(1) 把该诊断作为科研智能体的'规范就绪性门控'集成进流水线，直接测量澄清是否减少实现分歧、无依据假设和人工纠错成本，并追踪这些收益是否改善最终科学产出；(2) 扩展到其他计算科学领域和自然发生的早期想法；(3) 开展多轮澄清研究，让系统在提问与查证据之间选择、调和冲突证据并判断何时足够；(4) 用响应预算匹配设计研究多缺陷交互规范。基于本文成果可延伸：第一，把 660 个实例转为训练数据微调'定位优先'的科研智能体——既然给定缺陷后模型能达 80.6 CAS，监督信号价值高，可探索以 DRR 为奖励的强化学习；第二，构建主动澄清的端到端环境（模型可自主向论文、代码库或人类发起查询），把 Macro-CAS 升级为多轮预算下的信息获取效率指标；第三，与论文-代码一致性基准联合，形成'编码前门控+编码后审计'的双层可复现性保障；第四，量化缺陷粒度与定位难度的关系（附录 E.3 已给出方向性证据），为自动规范改写工具提供补细节优先级排序；第五，把 3 个 Level-1、10 个 Level-2 的分类学推广为科研规范缺陷的通用本体，供 idea-to-code 系统生成时自检。
复现评估
复现评估：论文首页给出代码链接，基准包含 660 个实例的欠定规范、就绪对照、两级分类标签、证据解决方案和黄金澄清动作，数据结构完整。有利因素：13 个评测模型的提示词、结构化输出 schema、解码与部署细节在附录 D.1 公开；各指标形式化定义在附录 F；构建协议、验证标准与标注者一致性在附录 E 完整披露。不利因素：其一，数据管线依赖 DeepSeek-V4-Pro（路由提取）、GPT-5.5（验证）、MinerU（PDF 转换）和 Claude Opus 4.8（语义评判），完整复现需多模型 API 访问与费用，且模型版本会退役；其二，人工验证环节（两阶段审查与裁决）无法自动化，163 个真实实例的证据核查需要领域知识；其三，扩展到新领域需重新爬取 issue 与复现报告并重做人工审查；其四，第三方复现者需自行 redo 语义评判与人类标注的对照验证（附录 G.1）以确认评判模型可靠性。总体而言：评测复现难度中等偏低（数据齐备、协议透明），数据构造复现难度中等偏高（多模型管线+人工环节），算力需求以 API 调用为主、无需本地训练。
论文图表
