AI可以学会科学品味 AI Can Learn Scientific Taste
用大规模社区反馈强化学习训练AI判断和提出高影响力研究想法
前置知识
强化学习从人类反馈（RLHF）
RLHF是一种训练范式，通过收集人类对模型输出的偏好标注来训练奖励模型，然后用这个奖励模型通过强化学习优化策略模型。标准流程是：先用人类标注的偏好对训练一个奖励模型来捕捉人类偏好，再用PPO等算法优化策略模型使其输出更符合人类偏好的结果。这种方法被广泛用于让大语言模型变得更有帮助、更无害。
本文提出的RLCF是对RLHF的改进，用社区反馈信号替代昂贵的人类标注来训练模型，理解RLHF的基本框架有助于理解本文的核心创新。
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，核心思想是对每个输入采样一组输出，然后在组内计算相对优势进行优化。具体来说，对于每个输入x，策略采样G个输出，每个输出获得一个奖励r_i，然后在组内归一化得到优势估计。最后用带KL惩罚的裁剪代理目标更新策略。相比PPO，GRPO不需要单独训练价值模型，更适合大规模训练。
本文使用GRPO算法训练Scientific Judge和Scientific Thinker，这是整个方法的核心优化算法。
生成式奖励模型（Generative Reward Model）
传统奖励模型通常输出一个标量分数，而生成式奖励模型通过生成推理链和预测来进行评估。本文的Scientific Judge就是一个生成式奖励模型：它先生成推理过程（思考两个论文的优劣），然后输出预测结果（A或B更好）。这种方式不仅给出判断，还能解释判断依据，且可以用于下游的强化学习训练。
Scientific Judge作为生成式奖励模型是本文的核心组件，它既能独立用于评估论文，又能作为奖励信号训练Scientific Thinker。
科学品味（Scientific Taste）
本文将科学品味定义为判断和提出具有高潜在影响力研究想法的能力。具体形式化为两个维度：判断能力JudgeCap——模型预测哪篇论文会获得更多引用的准确率；创想能力ThinkerCap——模型提出的研究想法的期望潜在影响力。这两个能力的组合就是科学品味。作者通过引用数来衡量影响力，用匹配的论文对来构建训练数据。
这是本文的核心概念定义，理解科学品味的形式化定义有助于理解整个方法设计和评估框架。
配对比较偏好学习（Pairwise Preference Learning）
配对比较是一种构建偏好数据的方法：给定两个选项，标注哪个更好。本文将绝对的引用数转化为相对的配对比较——将同领域、同年份发表的论文配对，引用数更高的作为正样本。这种方法能缓解不同领域和时间段的引用偏差，使比较更公平。例如，一篇CS论文和一篇物理论文直接比较引用数没有意义，但同一子领域同年发表的两篇CS论文的引用差异就更能反映社区偏好。
配对比较是构建SciJudgeBench数据集的核心方法，也是训练和评估Scientific Judge的基础。
研究动机
当前构建AI科学家的研究主要集中在提升执行能力（如文献检索、自动化实验），但忽略了科学品味——判断和提出高影响力研究方向的能力。人类评估显示，虽然LLM能生成新颖的研究想法，但往往无法可靠地区分真正有潜力的高影响力方向和表面新颖但实际平凡的想法。这种能力差距是当前AI科学家与人类专家之间的关键区别。此外，现有的AI评估方法（如自动审稿）主要将语言模型作为评审流程的组件，而非提升模型内在的科学判断能力；而现有的想法生成方法主要依赖随机启发式或简单头脑风暴策略，缺乏系统性的优化。训练数据方面，RLHF依赖昂贵的人类标注且难以反映社区层面的偏好，RLVR则只适用于有可验证答案的任务（如数学、代码），无法应用于开放式的科学评估。
本文的目标是本文的具体目标是：（1）提出一种利用大规模社区反馈（如引用信号）来训练AI科学品味的训练范式RLCF；（2）训练Scientific Judge模型，在论文对比较任务上超越GPT-5.2、Gemini 3 Pro等SOTA模型；（3）训练Scientific Thinker模型，使其提出的研究想法具有更高的潜在影响力；（4）验证科学品味是可以学习的，而非神秘的人类特质。作者希望通过这些工作为实现人类水平的AI科学家迈出关键一步。
与已有工作不同的是，本文的独特切入角度是将科学品味学习形式化为偏好建模和对齐问题，而非简单的监督学习。与现有工作相比，本文抓住了三个被忽视的关键点：第一，社区反馈（引用）是可以规模化获取的自然信号，比人类标注更便宜且能反映社区层面的共识，而非个人偏好；第二，科学品味不仅是判断能力，还包括创想能力，需要两者结合；第三，通过领域和时间匹配的配对比较，可以将绝对引用数转化为更可靠的学习信号。这种将哲学上关于品味的讨论（休谟的合格评判者的联合裁决、康德的共同感）转化为可操作的机器学习问题的角度非常新颖。
核心方法
本文的方法可以用一个比喻来理解：就像培养一个年轻科学家的品味——先让他看大量有影响力的论文和没有影响力的论文，学会判断哪些想法更好；然后用这个判断能力作为指导，训练他提出好的研究想法。技术路线分三步：第一步，构建社区偏好数据。从210万篇arXiv论文中，按同领域、同年份配对，引用数高的作为正样本，共构建696,758个训练对。第二步，偏好建模。训练Scientific Judge，让它学习判断哪篇论文会有更高引用。使用GRPO算法，奖励信号是二元的——判断对了得1分，错了得0分。第三步，偏好对齐。将训练好的Scientific Judge作为奖励模型，用Comparison-Based GRPO训练Scientific Thinker，让它生成高影响力的研究想法。整个流程的核心洞察是：引用数是社区长期互动中形成的集体裁决，可以作为科学品味的代理信号。
本文最核心的创新点是提出了RLCF（Reinforcement Learning from Community Feedback）训练范式，以及其具体的实现方式——Comparison-Based GRPO。与已有方法的本质区别在于：传统RLHF用个体人类偏好来对齐模型，但个人偏好无法代表社区共识，且标注成本高昂；传统RLVR用可验证的奖励来训练，但科学品味是开放式的，没有标准答案。RLCF的创新在于利用自然涌现的社区信号（引用数）作为监督信号——这些信号不需要额外标注成本，且天然反映社区偏好。更关键的技术创新是Comparison-Based GRPO：对于科学创想这种开放式任务，直接打分很难，但比较两个想法哪个更好更可靠。具体做法是：对每个种子论文采样G个候选想法，然后让Scientific Judge进行G的平方次两两比较，每个想法的奖励是它在组内的胜率。这种锦标赛式的设计巧妙地将开放式评估转化为可操作的配对比较问题。
方法步骤详情
方法分为三个主要步骤。第一步，社区反馈收集与数据构建：从arXiv收集210万篇论文（发表至2024年），获取标题、摘要、发表日期、子类别和引用数。然后在同一子类别和相近发表时间窗口内配对论文，保留满足绝对引用差大于等于8且相对引用差大于等于30%的对，共生成696,758个训练对。第二步，训练Scientific Judge：输入是两篇论文的标题和摘要，模型需要生成推理过程然后预测哪篇会获得更多引用。使用GRPO算法训练，对每个输入采样8个输出，奖励是二元正确性信号。训练超参数包括学习率8e-7、批大小128、KL惩罚系数0.03。第三步，训练Scientific Thinker：给定一篇种子论文的标题和摘要，模型需要提出一个后续研究想法。使用Comparison-Based GRPO：采样G=8个候选想法，让Scientific Judge进行所有两两比较（共28对），每个想法的奖励是其胜率（即该想法在所有比较中获胜的比例）。使用Qwen3-30B-A3B-Thinking-2507和Qwen3-4B-Thinking-2507作为基础策略模型。
技术新颖性
本文的技术新颖性体现在多个层面。首先，RLCF范式本身是新颖的——它填补了RLHF（依赖昂贵人类标注）和RLVR（依赖可验证答案）之间的空白，提出了一种利用自然社区信号的第三条路径。其次，Comparison-Based GRPO的设计非常巧妙：对于科学创想这种本质上开放的任务，传统的标量奖励难以定义，但配对比较更自然可靠。这种方法不仅适用于科学品味学习，理论上可以推广到其他开放式评估任务。第三，将科学品味形式化为判断能力和创想能力的组合，并给出严格的数学定义，这种形式化本身就有学术价值。第四，位置交换一致性评估协议也很有价值——通过交换论文对的顺序进行两次评估，只有两次都正确才算对，这有效缓解了LLM评估中的位置偏差问题。
实验结果
本文的实验结果非常全面且令人信服。在Scientific Judge方面，训练后的模型在SciJudgeBench上取得了显著提升。以Qwen3-30B为例，准确率从基线的66.3%提升到80.6%（+14.3个百分点），在各领域都有大幅提升：CS从73.8%到83.5%，数学从70.5%到78.7%，物理从59.4%到78.7%，其他领域从65.5%到82.3%。更惊人的是，SciJudge-Qwen3-30B超越了所有列出的SOTA模型，包括Gemini-3.0-Pro（75.7%）、GPT-5.2-Thinking（72.7%）、GLM-5（73.6%）。在泛化能力方面，模型展现出三个维度的泛化：时间泛化（在2025年论文上准确率78.2%，比基线提升6.6%）、领域泛化（仅用CS数据训练，在数学上提升11.1%、物理提升8.7%）、指标泛化（在ICLR同行评审偏好预测上准确率达87.7%，比基线提升11.0%）。在Scientific Thinker方面，训练后的模型在域内达到81.5%胜率（30B）和76.5%（4B），域外分别为83.0%和76.0%。更重要的是，SciThinker-30B在与SOTA模型的比较中达到平均54.2%胜率，超越GPT-5.2和GLM-5。消融实验表明，使用训练过的Scientific Judge作为奖励模型比使用未训练的基线模型效果更好（域内81.5% vs 73.0%），证明了奖励模型质量的重要性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SciJudgeBench域内评估（整体） | 成对准确率 | 83.7%（32B）、80.6%（30B） | 75.7%（Gemini-3.0-Pro） | +8.0%（vs SOTA） |
| SciJudgeBench域内评估（CS） | 成对准确率 | 85.4%（32B）、83.5%（30B） | 81.1%（Gemini-3.0-Pro） | +2.4% |
| 时间OOD评估（2025年论文） | 成对准确率 | 78.2%（30B） | 71.6%（基线） | +6.6% |
| 领域OOD评估（仅CS训练） | 成对准确率 | 81.0%（32B）、70.5%（30B） | 62.2%（基线32B） | +18.8% |
| ICLR同行评审偏好 | 成对准确率 | 87.7%（30B） | 76.8%（基线） | +11.0% |
| Scientific Thinker域内创想 | 胜率 | 81.5%（30B）、76.5%（4B） | 基线策略 | vs 未训练策略 |
| Scientific Thinker域外创想 | 胜率 | 83.0%（30B）、76.0%（4B） | 基线策略 | 泛化到未来论文 |
| SciThinker-30B vs SOTA模型 | 平均胜率 | 54.2% | 基线策略30.3% | +23.9% |
局限与改进
论文作者坦诚地指出了几个局限性。首先，科学品味可能不仅仅是判断和创想高影响力想法，还包括评估实验设计的可行性、识别独特多样的研究想法等更广泛的能力。其次，引用数是不完美的社区反馈形式——有些高潜力论文初期引用少但后来变得极具影响力，建模引用动态可能有助于捕捉这种延迟影响模式。此外，论文的领域分类粒度有限，更细粒度的领域聚类可能提升偏好对的质量。第三，创想评估主要依赖强大的LLM评判器，由于提出的想法未经实验验证，评估可能无法完全反映其真实潜力。第四，Scientific Judge主要基于标题和摘要训练，纳入更丰富的论文上下文（如相关工作章节）可能提升判断能力。从我的观察来看，还有一个重要局限：评估使用的是GPT-5.2、GLM-5、Gemini 3 Pro这三个LLM的多数投票，这些模型本身的偏好可能带有系统性偏差，且无法保证这些模型的判断与真实的长期引用趋势一致。
独立分析的弱点
从独立分析来看，本文有几个值得关注的弱点。第一，引用数作为科学品味的代理信号存在根本性缺陷：引用数受到马太效应（高引用论文获得更多引用）、自引、互引圈等因素影响，且不同领域的引用文化差异很大（如CS顶会论文引用数通常比纯数学论文多得多）。虽然作者通过领域匹配来缓解，但这些结构性偏差并未完全消除。改进方向：可以引入引用质量指标（如区分自引和他引）、引用多样性（被多少不同领域引用）、以及引用的时间衰减权重。第二，Scientific Judge的训练数据仅使用标题和摘要，丢失了方法细节、实验结果等重要信息。改进方向：可以设计分层评估——先用摘要快速筛选，再用全文进行精细判断。第三，Comparison-Based GRPO的评估依赖配对比较，但现实中的研究价值评估不是二元的——一个想法可能在某些维度好、另一些维度差。改进方向：可以设计多维度评估（新颖性、可行性、影响力分别打分）再综合。第四，评估使用三个LLM的多数投票，但这些模型可能有共同的偏好偏差（如偏好技术复杂的论文而非简单有效的）。改进方向：加入人类专家评估作为金标准。
未来方向
论文作者提出了几个未来方向，包括探索科学品味的更广泛形式（如评估实验设计可行性）、建模引用动态以捕捉延迟影响力、使用更细粒度的领域分类。基于本文成果，还可以延伸出更多方向：第一，将Scientific Thinker与实际的论文写作流程结合——不仅提出想法，还能帮助规划实验、撰写论文，形成完整的AI辅助研究闭环。第二，将RLCF范式扩展到其他领域——如艺术品味、产品设计品味等，探索品味是否是一个可泛化的能力。第三，引入人类研究员的反馈来进一步微调Scientific Judge，形成社区信号+人类反馈的混合训练范式。第四，研究Scientific Judge学到的品味究竟是什么——通过可解释性分析理解模型关注哪些特征（如方法的新颖性、问题的重要性、作者的声誉等），这可能反过来帮助人类研究者反思自己的品味。第五，将本文方法与自动文献综述结合，让Scientific Thinker在提出想法时能参考更多相关工作，提升想法的可行性。
复现评估
从复现性来看，本文具有较好的可复现性。代码已开源（GitHub仓库：https://github.com/tongjingqi/AI-Can-Learn-Scientific-Taste）。训练数据方面，SciJudgeBench基于公开的arXiv论文元数据构建，作者提供了详细的数据构建流程和筛选标准。算力需求方面，训练Scientific Judge需要较多GPU资源——1.5B模型需要32个GPU，3-7B模型需要64个GPU，14B以上需要128个GPU（均使用H200等效资源）。这对大多数实验室来说是可实现的，但对个人研究者仍有门槛。复现难度方面，作者使用了MS-SWIFT框架进行GRPO训练，提供了详细的超参数配置（学习率、批大小、KL惩罚系数等）。评估代码和提示模板也有提供。主要的复现挑战在于：（1）需要收集最新的arXiv引用数据，这需要定期更新；（2）训练Scientific Thinker需要先有训练好的Scientific Judge作为奖励模型，形成两阶段依赖。总体来说，对于有足够算力的研究团队，复现是可行的。
论文图表
