ResearchStudio-Idea：基于机器学习会议成果的循证研究创意生成技能套件 ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes
从ML会议论文中挖掘15个可重用研究思维模式，构建循证研究创意生成技能套件IdeaSpark
前置知识
创新签名
创新签名是论文策略性特征的结构化表示，包含八个基础字段：创新方法、关键步骤、非直观原因、触发条件、评审者赞扬、评审者关切、接受信号、贡献类型。前四个字段描述论文如何创新，后四个记录评审和结果信号。通过两阶段提取，将前四个字段重写为领域无关的抽象描述，使聚类按研究策略而非应用领域分组。例如，原始方法可能描述为'从图像GAN借用PatchGAN多尺度判别器策略，在多个时间窗口重新实例化它用于音频'，抽象策略则重写为'将一种模态的多尺度判别策略转移到另一种模态，通过在适当的领域特定粒度重新实例化，然后添加条件信号来关闭保真度差距'。这种抽象使得关于扩散模型和图像分类的论文因为使用了相同策略而聚类在一起。
读懂本文需要理解创新签名，因为它是整个模式挖掘pipeline的核心输入。论文通过将创新签名抽象为领域无关描述，才能在嵌入空间中按研究策略而非主题聚类，从而归纳出跨领域适用的思维模式。不理解创新签名的两阶段提取和抽象重写过程，就无法理解为什么聚类结果能够揭示可重用的研究策略，也无法理解IdeaSpark如何使用这些模式卡片指导创意生成。
UMAP+HDBSCAN聚类
UMAP（Uniform Manifold Approximation and Projection）是一种非线性降维技术，能够保持高维数据在低维空间中的局部和全局拓扑结构。本文将3,072维的嵌入向量通过UMAP降至10维，使用参数n_neighbors=15、min_dist=0。HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法，能够自动确定聚类数量并识别噪声点。本文使用HDBSCAN对UMAP降维后的空间进行聚类，min_cluster_size=10时得到31个聚类，轮廓系数为0.584。UMAP+HDBSCAN组合的优势在于：UMAP为基于密度的聚类提供了合适的低维表示，HDBSCAN能够识别不同密度和大小的聚类，同时将不属于任何聚类的点标记为未聚类。本文中47.7%的论文被标记为未聚类，这些论文位于聚类之间的中间区域，往往是因为它们大致均等地执行多个思维模式。
读懂本文需要理解UMAP+HDBSCAN聚类，因为这是从创新签名中挖掘思维模式的技术核心。论文通过这套无监督聚类方法自动发现31个细粒度子模式，然后归纳出15个高层次模式。不理解聚类的技术细节和参数选择，就无法评估归纳结果的有效性和稳定性，也无法理解为什么某些论文被标记为未聚类以及如何处理这些未聚类论文。论文还通过消融实验对比了OpenAI嵌入vs SPECTER2、抽象字段vs基础字段的聚类质量，这需要理解嵌入模型选择和抽象重写对聚类结果的影响。
领域无关抽象重写
领域无关抽象重写是将论文的创新签名从领域特定术语重写为通用描述的过程。例如，原始创新方法可能包含'Transformer'、'diffusion'、'image'等领域名词，导致嵌入向量按主题而非策略聚类。重写过程使用另一个LLM调用，将创新方法、关键步骤、非直观原因、触发条件这四个字段重写为策略对等的版本，替换领域名词为通用占位符，采用祈使语气（'审计...'、'转移...'、'设计...'），保留机制但删除应用细节。这种抽象使关于图像扩散模型和分子扩散模型的论文因为都使用相同的对数概率建模策略而聚类在一起，而不是因为都涉及'diffusion'关键词而聚类。论文的消融实验表明，如果不进行抽象重写，使用基础字段嵌入会导致在min_cluster_size=15-20时退化为2个宏聚类（一个关于深度学习的工程选择，另一个关于形式或分析ML），这些是主题聚类而非推理移动聚类。
读懂本文需要理解领域无关抽象重写，因为这是避免按主题聚类的关键技术。论文的核心目标是挖掘跨领域适用的研究策略，如果嵌入向量按领域术语聚类，就无法实现这一目标。不理解抽象重写的必要性，就无法理解为什么论文能够归纳出15个领域无关的思维模式，也无法理解消融实验中抽象重写对聚类稳定性的贡献。领域无关抽象重写使得IdeaSpark能够将归纳出的模式卡片用于不同的研究领域，而不是仅限于训练语料库中出现的特定领域。
多层次模式卡片
多层次模式卡片是论文归纳的结构化研究策略表示，包含三个层次：15个Level-1思维模式、31个Level-2子模式卡片、以及每个模式卡片中的7个面板。Level-1模式如'Audit and Pivot an Assumption'（审计并转换假设），回答'这是一类什么移动'；Level-2子模式卡片如'Identifiability-Theorem Pivot on the Limiting Assumption'（在限制性假设上的可辨识性定理转换），回答'具体做了哪个移动'。每个模式卡片包含7个面板：定义、操作签名、何时应用、成功条件、失败模式、评审者预期、认知障碍、代表案例。成功条件从Oral论文中归纳，失败模式从Reject论文中归纳，Oral-Reject差距和Oral-HC差距提供了对比性洞察。例如，'Audit and Pivot an Assumption'卡片的成功条件包括：放松的条件在真实设置中成立（在自然数据中测量或通过有界对手证明可达）、放松的上界配对匹配下界/精确等价/不可能性结果以证明转换是真正障碍、审计的假设被替换为严格更弱或结构不同的条件。失败模式包括：将一个强假设替换为另一个同等强假设、未证明放松的条件在现实中成立、松散的扩展而非严格的改进。
读懂本文需要理解多层次模式卡片，因为这是IdeaSpark技能运行的核心证据基础。这些卡片不仅指导Phase 2的模式选择和候选生成，还为Phase 3的审核提供对照参考。不理解卡片的结构和内容，就无法理解IdeaSpark如何将归纳出的模式转化为可执行技能，也无法理解审核步骤如何检查候选创意是否避开已知失败模式。卡片中的成功条件和失败模式来自于对Oral和Reject论文的对比分析，这提供了单一Oral-only归纳无法提供的对比性洞察。理解多层次模式卡片的设计原理，对于理解IdeaSpark的审核机制和真实性问题（faithfulness）至关重要。
质量-新颖性平面评估
质量-新颖性平面评估是论文用于评估生成创意的双轴框架。质量轴由idea-quality技能评分，从三个维度评估：问题定位（攻击的差距是否真实、重要、非显而易见）、方法质量（深度、合理性、可行性）、问题匹配（方法是否真正关闭所述差距）。质量采用列表方式评分，同一问题的四个创意一起盲评，排名1得4分，排名2得3分，排名3得2分，排名4得1分。新颖性轴由scoop-check技能评分，通过实时文献检索找到最接近的先例，将提议的贡献在四个轴上匹配：问题框架、核心机制、关键洞察、应用领域。匹配轴数映射到五级量表，Level 5=无重叠（最新颖），Level 1=四轴都匹配（完全被抄袭）。一个创意的新颖性等级是其所有最接近先例的最小值（最坏情况）。评估发现单一轴具有误导性：GPT-5.5 bare基线在新颖性上得分最高（3.73），但在质量上得分最低（1.00），因为其创意过于模糊，没有精确的先例碰撞。这种'新颖但空洞'的失败模式只有在质量×新颖性平面上才能分辨出来。IdeaSpark在质量上显著领先（3.87/4，88/100种子排名第一），同时保持中等新颖性（2.92/5，集中在L3中等重叠），这是真实且可辩护的新颖性特征。
读懂本文需要理解质量-新颖性平面评估，因为这是论文评估IdeaSpark效果的核心方法。理解评估设计的关键点包括：为什么使用两个自动化技能而非人类评审、为什么质量采用列表排名方式、为什么新颖性采用最坏情况而非平均值、为什么需要双轴评估而非单一轴。不理解这些设计决策，就无法评估论文声称的'IdeaSpark改进生成创意质量'的有效性和局限性。质量-新颖性平面评估还揭示了'新颖但空洞'的失败模式，这对于理解为什么单纯追求新颖性是不可取的、为什么评估必须同时考虑创意的质量和新颖性至关重要。
研究动机
现有LLM研究创意生成系统存在一个核心问题：虽然能够生成看似合理的提议，但难以组织成可重用的技能，该技能能够扎根证据、生成一个可辩护方向、并在实验开始前审核其与先例的距离。具体场景包括：研究者需要将问题扎根于当前文献，识别有意义的瓶颈，与现有解决方案区分，并在承诺实施前评估风险。当前系统在多个方面存在不足：端到端'AI科学家'系统（如AI Scientist、AI-Researcher、Agent Laboratory）自动化整个研究生生命周期，但输出往往被判断为增量式；多智能体和搜索系统（如VirSci、Deep Ideation、Nova、FlowPIE）探索更大的提议空间，但使用学习的新颖性、品味或影响信号过滤候选，缺乏与先例的结构化对照；检索增强方法将假设扎根于相邻文献，但缺乏可操作的策略模式；新颖性工具、基准和模式归纳方法检查先例碰撞或命名重复的研究移动，但缺少将证据、瓶颈、模式、候选方向和审核联系起来的中间层。一个更大问题是当前评估显示LLM生成的创意在专家眼中更新颖但可行性更低，执行后差距更大，HindSight发现被LLM评为更新颖的创意更不可能匹配真实的未来工作。这些结果表明表面新颖性、提议流畅性和事后新颖性评分是有用创意的弱代理。
本文的目标是本文的具体目标是解决研究创意生成的'第一英里'问题：如何将早期研究工作组织成可重用技能，该技能能够扎根证据、生成一个可辩护方向、并在实验开始前审核其与先例的距离。具体包括：第一，挖掘ML会议成果中可重用的策略信号，回答'会议成果能否被挖掘成紧凑但可用的思维模式图'；第二，将挖掘的模式打包成模型无关的技能套件，回答'该模式图能否打包成可执行的创意生成工作流'；第三，构建端到端技能IdeaSpark，将文献扎根、瓶颈诊断、模式引导的候选构建、碰撞检索、审核和创意卡打包组成一个从研究问题到创意卡的工作流；第四，通过自动化评估验证IdeaSpark生成的创意在质量和新颖性上优于无技能和通用技能基线。
与已有工作不同的是，本文的独特切入角度是从会议成果中挖掘对比性、失败感知的模式卡片。与现有工作的区别体现在三个方面：第一，现有端到端系统自动化整个研究生生命周期，而IdeaSpark聚焦于创意阶段，停止于一个评审者面对的创意卡，不尝试预测接受或运行完整研究生命周期；第二，现有搜索系统生成许多候选并用学习信号过滤，而IdeaSpark生成一个候选并用模式卡片和检索到的先例审核，生成和审核的知识是同一个对象（模式卡片）而非两个断连的模型；第三，现有模式归纳方法仅从已接受论文中挖掘结构，而IdeaSpark从Oral、高引用和被拒论文的对比中挖掘模式卡片，每个卡片将已接受工作的成功条件与被拒工作的失败模式配对，提供单一Oral-only归纳无法提供的对比性洞察。这种设计使得IdeaSpark在创意阶段就暴露执行层面的差距，而不是通过表面新颖性掩盖它们。
核心方法
方法整体思路分为数据构建和技能运行两个层次。数据构建层次将1,947篇ICLR、ICML、NeurIPS论文（2021-2025年，包括Oral、高引用和被拒论文）转化为可重用的创意资产：论文被标注结果标签，归一化为策略签名，挖掘出31个子模式，归纳为15个操作化模式卡片。技能运行层次使用这些卡片在推理时进行证据扎根和分阶段推理循环进行瓶颈诊断、模式引导的候选生成、碰撞/审核判定，然后扩展、验证并生成创意卡交付物。数据构建包括四个阶段：收集使用OpenReview API和Semantic Scholar引文信息的论文，标记为Oral、高引用或被拒；提取12字段创新签名，包括8个基础字段和4个重写字段；使用OpenAI text-embedding-3-large嵌入四个抽象字段，UMAP降至10维，HDBSCAN聚类得到31个子模式；归纳15个高层次模式并转化为操作化卡片。技能运行采用两层设计：运行时层包含轻量级技能规范、阶段提示、模式、检索钩子和确定性验证器；证据层包含15个思维模式卡片、31个子模式卡片、领域×模式矩阵、饱和记录和语料库衍生的失败模式清单。
核心创新点是将会议成果转化为对比性、失败感知的非参数模式卡片，同一卡片既用于瓶颈到移动的选择，也用于审核生成的候选。这与搜索候选空间并用学习信号排名创意不同，也与拟合参数化的动机→方法策略不同，后者的生成和检查可能成为分离的过程。这种设计带来三个特性：第一，卡片从Oral、高引用、被拒三重对比中归纳，携带已接受only归纳和概念级知识图没有的显式失败信号；第二，技能停止于一个评审者面对的创意卡而不是运行完整研究生生命周期，这反映前提是创意质量是许多下游失败的上游瓶颈；第三，审核将候选与生成它的模式的语料库衍生的失败模式对照，并检索先例。生成创意的知识和检查它的知识因此是一个对象而非两个断连模型。执行层面的差距被暴露而非被表面新颖性掩盖。
方法步骤详情
方法步骤包括数据构建和技能运行两个流程。数据构建流程：Step 1收集1,947篇ICLR、ICML、NeurIPS论文（2021-2025年）的公开元数据，包括标题、摘要、作者列表、OpenReview id、决策字符串、可用的评审字段、可用的meta评审和Semantic Scholar引文计数，标记为Oral、高引用或被拒。Step 2创新签名提取：使用Claude Sonnet 4.6从标题、可用摘要、可用引言、可用评审和可用meta评审中提取8个基础字段：创新方法、关键步骤、非直观原因、触发条件、评审者赞扬、评审者关切、接受信号、贡献类型；然后进行领域无关重写，将前4个字段重写为策略对等的版本，替换领域名词为通用占位符，采用祈使语气，保留机制但删除应用细节。Step 3无监督模式发现：将四个抽象字段连接成文本，使用OpenAI text-embedding-3-large嵌入（3,072维），L2归一化；UMAP降至10维（n_neighbors=15, min_dist=0, seed=42）；HDBSCAN聚类（min_cluster_size=10, cluster_selection_method=eom）得到31个子模式。Step 4思维模式归纳：使用Claude Opus 4.7从31个聚类构建15个Level-1思维模式分类，然后为每个模式运行第二个Opus 4.7调用，生成包含7个面板的操作化卡片：定义、操作签名、何时应用、成功条件、失败模式、Oral-Reject差距、Oral-HC差距、评审者预期、认知障碍、代表案例。技能运行流程：Phase 0文献扎根：将用户方向转化为搜索查询，查询arXiv（最近0-6个月预印本）、OpenReview（在评审信号）、OpenAlex（广泛已发表论文图）、Semantic Scholar（CS聚焦元数据和短摘要），检索后去重并轻微标记思维模式，获取最相关参考文献的小型全文缓存。Phase 1瓶颈识别：阅读用户方向、检索记录、摘要和缓存全文片段，输出一个文献扎根的瓶颈（具体结构差距而非主题标签），命名最接近的相邻论文，解释每个相邻论文仍留下什么开放，列出Phase 0未关闭的差距，总结主题论文的模式使用。Phase 2模式引导创意：选择一个锚定差距，只保留可以合理形成单篇论文的兄弟差距，阅读15个思维模式卡片并选择能够结构化关闭该差距的模式；对每个选定模式选择一个子模式并读取其战术面板，生成候选创意（核心机制、每差距关闭理由、与最接近相邻工作的区分、计算预算、可证伪预测）。Phase 3质量审核：使用从候选机制和主张派生的术语重新查询文献来源，进行四个语料库锚定检查：差距关闭范围拒绝扫描、配方应用检查、反模式实质性验证、论文指向威胁，返回三个判定之一：advance、revise或abandon。Phase 4扩展、可实现性审核、渲染和验证：将候选扩展为最终创意卡工件包，运行默认启用的可实现性审核，渲染工件（Markdown和LaTeX），然后运行确定性验证器。
技术新颖性
技术新颖性体现在五个方面：第一，对比性模式归纳：首次从Oral、高引用、被拒三重对比中归纳模式卡片，每个卡片将已接受工作的成功条件与被拒工作的失败模式配对，提供单一Oral-only归纳无法提供的对比性洞察。第二，领域无关策略抽象：两阶段创新签名提取，将领域特定术语重写为通用描述，使得聚类按研究策略而非应用领域分组，这是对比纯粹关键词聚类和SPECTER2主题嵌入的显著改进。第三，生成-审核知识统一：同一模式卡片既用于瓶颈到移动的选择，也用于审核生成的候选，这与搜索候选空间并用学习信号排名创意不同，也与拟合参数化的动机→方法策略不同。第四，多层次模式卡片：15个Level-1思维模式×31个Level-2子模式卡片×7个面板的层次化结构，为不同的工作流阶段提供适当粒度的指导，遵循渐进式披露原则。第五，四阶段审核机制：差距关闭范围拒绝扫描、配方应用检查、反模式实质性验证、论文指向威胁四个检查，每个检查需要检索文献、子模式卡片或反模式清单的具体证据，使审核可检查且抵抗橡皮图章。
实验结果
核心发现包括五个方面：第一，归纳的模式空间紧凑但非平凡。从31个细粒度思维子模式中，pipeline归纳出15个高层次思维模式。这个数字不是ML创新的规范本体，而是当前提取、抽象、嵌入、聚类和归纳pipeline产生的操作粒度。因为它来自单一Opus 4.7归纳调用，提示间、种子间和模型间稳定性研究仍然是未来工作，预期可比运行会落在12-18类别且有大量重叠。第二，被拒和已接受论文经常共享相同的高层次模式空间。仅针对被拒论文的重新聚类将每个被拒论文聚类映射回现有的15模式词汇，没有超出分类法的桶。这表明被拒提交最有用的价值是关于弱实例化、失败模式和边界案例的对比性证据，而非作为单独的负面策略类别。第三，多模式组合是常态。单独的论文级多标签传递显示论文通常组合几个思维模式而不是执行单个孤立的移动。在这个语料库中，k=2是Oral、高引用和被拒论文中的模态组合大小，33.6%的尾部在k≥3。这激励技能设计选择生成一到三个模式角色而不是选择单个模式作为配方。第四，思维模式广泛覆盖领域但效果领域条件化。最大的模式出现在许多诱导的研究领域，这支持使用领域无关模式卡片。接受和影响概况因领域×模式单元而异。技能因此将领域统计视为审核上下文而非确定性生成先验。第五，端点创意质量得到自动化评审研究支持，但非人类评审。自动化评审端点评估表明IdeaSpark改进生成创意质量优于无技能和通用技能基线。接受级别主张仍需要盲人类研究。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生成创意质量（idea-quality listwise rank score, 1-4, 越高越好） | 平均质量得分（100个种子每个在3轮盲评后的平均） | 3.87 | Opus-self-gen: 2.57; Opus-4.8 (bare): 2.56; GPT-5.5 (bare): 1.00 | +50.6% vs Opus-self-gen; +51.2% vs Opus-4.8 (bare) |
| 生成创意新颖性（scoop-check level, 1-5, 越高越新颖） | 平均新颖性等级（300个判断：100种子×3轮） | 2.92（集中在L3中等重叠） | GPT-5.5 (bare): 3.73; Opus-self-gen: 2.86; Opus-4.8 (bare): 2.32 | vs GPT-5.5 (bare):降低但在质量×新颖性平面上占据高质量区域；vs Opus-self-gen: +2.1% |
| 获胜种子数（3轮平均排名第一的种子数，100个种子中） | 获胜种子数 | 88/100 | Opus-self-gen: 6/100; Opus-4.8 (bare): 6/100; GPT-5.5 (bare): 0/100 | +1367% vs Opus-self-gen |
局限与改进
局限性包括数据集覆盖有限、评估自动化、评估指标偏见和模式稳定性四个方面。数据集覆盖有限：语料库完全构建自ICLR、ICML、NeurIPS结果及其公开评审，评估种子都是ICLR 2026 Orals，诱导的领域、思维模式和隐含的什么算作强方向因此跟踪主流ML会议研究的分布而非一般科学。在这些会议中代表性不足的领域和场地相应地覆盖不足，生成的创意可能继承这种偏见且不需要转移到其他社区。虽然将模式编写为领域无关以限制主题泄漏，新颖性传递检查与实时文献的重叠，但不强制检索窗口的回溯。跨场地和跨学科语料库、无泄漏前向预测变体的回溯检索、跨骨干评审是测试和扩展外部效度的直接方法。评估自动化：两个轴都由基于LLM的技能评分，因此结果测量与结构化自动化评审的协议而非人类程序委员会判断的协议，评审可能与生成器共享盲点。自动化研究是创意阶段的适当第一阶段；接受级别主张的下一步是盲专家研究。评估指标偏见：idea-quality奖励新颖机制，因此基准、系统和纯测量贡献在其方法深度轴上按结构得分较低；因此在生成系统间读取质量为相对而非研究价值的绝对测量。新颖性只有与质量联合才有意义，因为足够通用的创意可以避免先例碰撞并评价新颖，因此从不单独基于新颖性排名，但报告为质量×新颖性平面的一轴。资源和系统贡献的量表，以及惩罚未承诺创意的特异性感知新颖性指标，将减少两种偏见。模式稳定性：归纳的15模式来自单一Opus 4.7调用，提示间、种子间和模型间稳定性研究仍然是未来工作，预期可比运行会落在12-18类别且有大量重叠。三个模式有小样本（n≤18）：Adapt by Conditioning, Not Retraining (n=18), Characterize a Limit, Then Surpass It (n=15), Design a Property-Targeting Pretext Objective (n=15)，这些是有效算子但接受统计基于稀疏证据，不应作为强推荐先验。
独立分析的弱点
独立分析的弱点包括领域偏见、抽象粗糙性、模式组合不当、评估局限性和可实现性盲区五个方面。领域偏见：语料库仅覆盖ICLR、ICML、NeurIPS三个ML顶会，诱导的模式可能对特定类型的研究（深度学习、理论机器学习）过度拟合，而对其他领域（如计算机视觉、自然语言处理、机器人学、科学计算）的应用价值有限。改进方向：扩展到更多会议和期刊（CVPR、ACL、KDD、AAAI、Nature/Science机器学习论文），构建跨学科语料库，评估模式在不同领域的有效性。抽象粗糙性：虽然进行领域无关抽象重写，但创新签名仍可能遗漏重要的策略细节，导致聚类结果粗糙或包含不相关论文。改进方向：创新细粒度策略表示，包括数学公式、算法步骤、实验设计等多层次特征，开发更敏感的策略相似性度量。模式组合不当：虽然技能生成1-3个模式组合，但组合逻辑可能过于简单，未能捕捉模式间的深层交互。改进方向：研究模式组合的语法和语义，开发更复杂的组合策略，考虑模式间的顺序、优先级和约束关系。评估局限性：自动化评估与人类评审可能存在系统偏差，质量指标可能偏袒理论贡献而轻视系统贡献。改进方向：进行盲专家研究，包括人类评审者偏好、实现成功率和场地外转移评估，开发更多样化的评估指标（如资源贡献、系统贡献）。可实现性盲区：IdeaSpark生成创意但不设计实验矩阵、消融计划、预期图或日历计划，这些取决于技能无法访问的用户上下文。改进方向：集成实验规划技能，基于生成的创意建议数据集、基线、消融设计和评估协议。
未来方向
未来研究方向包括稳定性研究、人类评估、跨领域验证、技能扩展和端到端验证五个方面。稳定性研究：进行提示间、种子间和模型间稳定性研究，量化归纳的模式空间的鲁棒性，预期可比运行会落在12-18类别且有大量重叠。探索自动化稳定性验证方法，如集成多个归纳调用并测量模式重叠。人类评估：进行盲专家研究，评估IdeaSpark生成的创意与人类专家创意的比较，包括人类评审者偏好、接受率预测和实现成功率。研究人类评审者与自动化评审的一致性和分歧。跨领域验证：扩展到更多会议和期刊（CVPR、ACL、KDD、AAAI、Nature/Science机器学习论文），构建跨学科语料库，评估诱导的模式在不同领域的适用性和有效性。开发领域自适应模式，保留领域无关核心但添加领域特定的成功条件和失败模式。技能扩展：扩展ResearchStudio-Idea技能套件，包括实验规划、代码生成、论文写作等后续阶段技能，构建完整的研究自动化pipeline。开发多语言支持，将技能输出扩展到中文等非英语语言。端到端验证：进行端到端验证，评估从生成创意到实现、提交到接受的全流程成功率。研究创意质量与实现成功率之间的相关性，识别高潜力创意的特征。
复现评估
复现评估包括开源情况、数据可用性、算力需求和实现难度四个方面。开源情况：论文声称发布ResearchStudio-Idea的三个技能（Paper-Search、Scoop-Check、IdeaSpark）和语料库数据，但未明确代码许可证和开源平台。数据可用性：1,947篇论文的语料库使用公开元数据和公开评审材料，通过OpenReview API和Semantic Scholar引文信息收集，每个论文保留标题、摘要、作者列表、OpenReview id、决策字符串、可用的评审字段、可用的meta评审和Semantic Scholar引文计数。作者身份保留为论文元数据但不用作模式归纳或推荐的模型特征。算力需求：提取和归纳pipeline使用Claude Sonnet 4.6（签名提取和论文级标记）、Claude Opus 4.7（分类法/领域归纳和模式卡片生成）、OpenAI text-embedding-3-large（策略签名聚类）、Claude Opus 4.8 high（技能运行和端点评估）。具体的API调用次数和算力成本未公开。实现难度：实现难度中等，需要访问LLM API（Claude和OpenAI）、嵌入API和文献检索API（arXiv、OpenReview、OpenAlex、Semantic Scholar）。技能运行pipeline包含多个阶段和验证步骤，需要仔细的提示工程和确定性验证器实现。模式归纳pipeline需要处理1,947篇论文的元数据、评审和引文信息，需要数据清洗和归一化。总体而言，具有中等编程和LLM集成经验的团队可以复现主要结果，但可能需要调整API密钥和检索连接器的具体实现。
论文图表
