Sci-CoE：基于几何共识与稀疏监督的科学推理大语言模型协同进化框架 Sci-CoE: Co-evolving Scientific Reasoning LLMs via Geometric Consensus with Sparse Supervision
提出Solver-Verifier协同进化框架，用几何奖励机制在少量标注下提升LLM科学推理能力
前置知识
自进化强化学习（Self-Evolving RL）
自进化强化学习是一种让大语言模型在训练过程中自主改进推理能力的范式。其核心思想是模型同时扮演多个角色（如解题者和验证者），通过角色间的交互反馈来驱动学习，而不需要大量人工标注的数据。DeepSeek-R1提出的Zero RL范式证明了无需监督微调就能激发复杂推理行为，但仍依赖标注数据集计算奖励。自进化方法通过自我博弈（self-play）机制减少对外部监督的依赖，让模型在代码、数学等领域实现自主进化。
Sci-CoE正是建立在这一范式之上，将其从代码/数学领域扩展到科学推理领域，理解自进化RL的基本框架是理解本文创新点的前提。
几何奖励机制（Geometric Reward Mechanism）
这是本文提出的核心创新，将验证策略映射到高维语义空间后，通过几何结构来评估策略质量。具体而言，使用预训练嵌入模型将自然语言验证策略转换为向量表示，然后在该空间中分析三个维度：一致性（consistency）衡量策略对高共识解的通过率；可靠性（reliability）通过策略到聚类中心的欧氏距离衡量，距离越近越可靠；多样性（diversity）通过PCA降维后的极坐标角度分布衡量，鼓励策略在角度空间均匀分布。最终奖励是三者的加权和。
这是本文解决科学推理领域自进化难题的关键技术贡献，理解其数学形式化和几何直觉对于把握论文核心价值至关重要。
PPO（Proximal Policy Optimization）
PPO是OpenAI于2017年提出的策略梯度强化学习算法，是目前大语言模型RLHF训练中最常用的优化算法。其核心思想是通过裁剪（clipping）机制限制策略更新幅度，防止训练崩溃。给定旧策略$\pi_{ heta_{old}}$和新策略$\pi_ heta$，PPO的目标函数为$\mathcal{L}^{CLIP}( heta) = \hat{\mathbb{E}}_t[\min(r_t( heta)\hat{A}_t, ext{clip}(r_t( heta), 1-\epsilon, 1+\epsilon)\hat{A}_t)]$，其中$r_t( heta) = ?rac{\pi_ heta(a_t|s_t)}{\pi_{ heta_{old}}(a_t|s_t)}$是重要性采样比率，$\hat{A}_t$是优势函数估计。PPO在LLM训练中的优势在于稳定性和样本效率的平衡。
Sci-CoE使用PPO作为底层优化算法来联合训练Solver和Verifier，理解PPO的工作原理有助于理解论文中的训练细节，如顺序优化vs联合优化的设计选择。
K-means聚类与PCA降维
K-means是一种经典的无监督聚类算法，通过迭代优化将数据点划分为K个簇，使得每个数据点到其所属簇中心的欧氏距离之和最小。在本文中，K-means用于将验证策略的嵌入向量聚类，识别策略空间中的结构。PCA（主成分分析）是一种线性降维技术，通过找到数据方差最大的方向（主成分）将高维数据投影到低维子空间。本文使用PCA将去中心化后的策略向量投影到2D空间，然后计算极坐标角度来评估策略的多样性分布。
这两种经典机器学习方法是几何奖励机制中可靠性奖励和多样性奖励的技术基础，理解它们的数学原理有助于深入理解奖励函数的设计逻辑。
FTS5全文搜索
FTS5是SQLite的全文搜索引擎扩展，支持对文本数据进行高效的全文检索。它通过构建倒排索引来加速文本查询，支持布尔查询、短语匹配、前缀查询等多种搜索方式。在本文的项目上下文中，FTS5用于论文库的全文搜索功能，与可选的ChromaDB语义搜索配合，提供论文检索能力。
这是项目代码库中使用的搜索技术，与论文内容无直接关系，但理解项目技术栈有助于后续的代码维护和功能扩展。
研究动机
现有的自进化强化学习范式在代码和数学领域取得了显著成功，但在科学推理任务上面临根本性挑战。代码和数学任务可以通过单元测试、真值比较等方式获得清晰的验证信号——例如代码可以直接运行测试用例判断正确性，数学题可以与标准答案精确对比。然而科学推理任务处于开放世界场景，存在多条有效求解路径和异构的验证标准。具体而言，科学推理跨越物理、化学、生物、数学等多个学科，验证需要领域专家评估复杂的中间逻辑而非简单的答案匹配。例如，一个热电偶问题可能需要验证塞贝克效应的适用性、温度依赖关系、单位一致性等多个维度。此外，标注这种专业化监督数据的成本极其高昂，使得大规模数据驱动的训练方法在科学推理领域不切实际。现有方法如R-Zero使用内部一致性作为奖励信号，R-Few引入引导式自我博弈来缓解概念漂移和多样性崩溃，但这些方法主要针对通用推理而非科学推理的特殊需求。
本文的目标是本文的核心目标是回答一个关键问题：能否在有限监督下为科学推理任务开发一个自进化的强化学习框架？具体而言，Sci-CoE旨在实现三个目标：第一，让单一模型同时具备解题能力（Solver）和验证能力（Verifier），无需外部验证器或预定义验证程序；第二，通过几何奖励机制确保验证策略的可靠性和多样性，防止共识崩溃；第三，利用少量标注数据（1%-10%）建立初始锚点，然后在大规模无标注数据上实现无监督协同进化，展现出良好的数据规模扩展性。最终目标是在多个科学推理基准上提升推理准确性和鲁棒性。
与已有工作不同的是，本文的独特切入角度在于将验证策略视为一个结构化的可学习空间，而非简单的二元判断。与现有方法的本质区别是：已有方法要么依赖外部验证器（如单元测试），要么使用简单的共识奖励（容易导致策略同质化），而Sci-CoE通过几何建模在潜在表示空间中同时优化一致性、可靠性和多样性三个维度。这种设计的精妙之处在于：（1）用相对一致性替代绝对正确性作为学习信号，解决了无真值情况下的信号来源问题；（2）通过极坐标角度分布的多样性奖励防止模型退化为生成简单格式检查等同质策略；（3）通过聚类中心距离的可靠性奖励确保验证策略的稳定性。这种几何视角为科学推理的自进化提供了一个全新的数学框架。
核心方法
Sci-CoE的整体思路可以类比为一个学生同时扮演出题者和批改者的角色，在不断交互中共同进步。直觉上，一个好的解题者应该能生成多样且正确的解法，一个好的验证者应该能从多个角度评估解法的正确性——两者相互依赖又相互促进。技术路线上，给定一个科学问题$q$，模型同时生成$N$个候选解$S(q) = \{s_1, ..., s_N\}$和$M$个验证策略$V(q) = \{v_1, ..., v_M\}$。每个解-策略对$(s_i, v_j)$由外部LLM评判模型评估，形成验证矩阵$E \in \{0,1\}^{N imes M}$。训练分两阶段进行：第一阶段（锚定学习）用少量标注数据建立正确性判断的初始锚点；第二阶段（无监督协同进化）在大规模无标注数据上，通过几何奖励机制驱动Solver和Verifier的相互监督。两个角色共享同一模型参数，使用PPO算法联合优化。
Sci-CoE的核心创新是几何奖励机制，其与已有方法的本质区别在于将验证策略从离散的通过/失败判断提升为连续几何空间中的结构化表示。具体而言，已有方法如R-Zero使用内部一致性作为奖励，但容易导致验证策略退化为同质化的简单检查（如只检查答案格式）。Sci-CoE通过三个维度的几何建模解决这个问题：一致性奖励$r_{con}$基于高共识解集$S^+(q)$，鼓励策略正确识别高质量解；可靠性奖励$r_{rel} = 1 - ?rac{d_j}{\max_k d_k + \epsilon}$基于策略到聚类中心的欧氏距离$d_j = \|z_j - \mu_{c(j)}\|_2$，距离中心越近的策略越可靠；多样性奖励$r_{div} = ?rac{1}{|C_k|-1}\sum_{j' eq j}(1 - \cos( heta_j - heta_{j'}))$基于PCA降维后的极坐标角度$ heta_j = ext{atan2}(x_j, y_j)$，鼓励策略在角度空间均匀分布。最终奖励$r_{ver}^j = \alpha r_{con}^j + ?eta r_{rel}^j + \gamma r_{div}^j$，实验中设$\alpha=1.0, ?eta=0.5, \gamma=0.5$。
方法步骤详情
Sci-CoE的完整方法分为两个阶段。第一阶段（锚定学习）：使用1%-10%的标注数据（实验中为4k条），对有真值答案的问题，Solver奖励$r_{sol}^i = G(s_i) \in \{0,1\}$基于答案正确性的二元判断；Verifier奖励$r_{ver}^j = ext{sign}(v_j) \cdot \mathbb{E}_{s \in S^-(q)}[1 - ext{Eval}(s, v_j)]$，其中$ ext{sign}(v_j) = +1$当且仅当策略通过所有正确解，否则为$-1$。采用顺序优化：每个PPO迭代中先用解的数据更新参数，再用策略的数据更新，确保共享参数交替整合求解准确性和策略判别性的反馈信号。第二阶段（无监督协同进化）：在无标注数据上，解的奖励改为相对共识$r_{sol}^i = ?rac{1}{M}\sum_{j=1}^{M} ext{Eval}(s_i, v_j)$，通过率超过阈值$ au=0.8$的解被识别为高共识解。验证策略的奖励通过几何奖励机制计算，包括K-means聚类（$k=1$）获取中心$\{\mu_k\}$，PCA降维到2D子空间计算极坐标角度。与第一阶段不同，第二阶段采用联合优化，解样本和策略样本混合在同一训练批次中。
技术新颖性
Sci-CoE的技术新颖性体现在三个层面。第一，问题定义的创新：首次系统性地探索在有限监督下的通用科学推理自进化，而非局限于代码或数学等有明确验证信号的领域。第二，方法论的创新：将验证策略建模为几何空间中的结构化对象，通过一致性、可靠性、多样性三个正交维度进行评估，这与已有方法使用简单二元奖励或共识奖励形成鲜明对比。具体而言，已有方法如Naive Consensus Reward虽然能提高一致性，但会导致策略点形成高度密集的簇，只覆盖小角度范围，即模型反复生成同质化的简单策略（如只检查格式）。而几何奖励通过惩罚角度冗余，防止模型陷入局部最优，促使Verifier探索正交的验证视角。第三，框架设计的创新：Solver和Verifier共享参数并通过顺序优化（第一阶段）和联合优化（第二阶段）交替训练，形成闭环的协同进化过程——更高质量的解促进学习更具判别性的验证策略，更强的验证策略为解的生成提供更可靠的奖励信号。
实验结果
Sci-CoE在多个科学推理基准上展现出显著且一致的性能提升。在GPQA-Diamond基准上，Qwen3-8B基线模型的准确率为36.87%，经过Sci-CoE训练后提升至40.91%，绝对提升4.04个百分点，这是所有基准中提升幅度最大的。在MMLU-Pro基准上，Qwen3-8B从63.19%提升至64.34%，提升1.15个百分点；Qwen2.5-7B-Instruct从57.39%提升至58.51%，提升1.12个百分点。在UGPhysics基准上，Qwen3-8B从31.76%提升至33.10%，提升1.34个百分点；Qwen2.5-7B-Instruct从20.67%提升至22.64%，提升1.97个百分点。值得注意的是，Sci-CoE在MMLU-Pro的各子学科上均实现了稳定提升，例如Qwen3-8B在生物子集从78.80%提升至80.20%，在数学子集从78.53%提升至79.79%，在物理子集从67.67%提升至68.36%，表明模型学习的是通用的推理和验证模式而非过拟合到特定领域。消融实验证实了各组件的必要性：跳过锚定学习直接进行无监督训练（Index 1）会导致性能低于基线（43.49% vs 43.94%平均准确率），说明即使0.4k标注数据也足以建立有效的初始锚点。几何奖励相比朴素共识奖励在所有基准上都显著提升性能（Index 4 vs Index 3），GPQA-D从37.88%提升至38.89%，MMLU-Pro从63.27%提升至63.53%，UGPhysics从32.07%提升至32.46%。可视化分析进一步揭示，朴素共识奖励虽然能提高一致性分数，但导致策略点在极坐标空间中高度集中，只覆盖小角度范围；而几何奖励使策略点沿极角均匀分布，同时保持较高的可靠性和一致性分数。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GPQA-Diamond（研究生级科学问答） | Overall Accuracy (%) | Qwen3-8B + Sci-CoE (30k): 40.91 | Qwen3-8B Base: 36.87 | +4.04绝对提升，+10.96%相对提升 |
| MMLU-Pro（多任务语言理解） | Overall Accuracy (%) | Qwen3-8B + Sci-CoE (30k): 64.34 | Qwen3-8B Base: 63.19 | +1.15绝对提升，+1.82%相对提升 |
| UGPhysics（本科物理推理） | Overall Accuracy (%) | Qwen3-8B + Sci-CoE (30k): 33.10 | Qwen3-8B Base: 31.76 | +1.34绝对提升，+4.22%相对提升 |
| MMLU-Pro（7B模型） | Overall Accuracy (%) | Qwen2.5-7B + Sci-CoE (30k): 58.51 | Qwen2.5-7B Base: 57.39 | +1.12绝对提升，+1.95%相对提升 |
| GPQA-Diamond Physics子集 | Accuracy (%) | Qwen3-8B + Sci-CoE (30k): 43.02 | Qwen3-8B Base: 39.53 | +3.49绝对提升，+8.83%相对提升 |
| GPQA-Diamond Biology子集 | Accuracy (%) | Qwen3-8B + Sci-CoE (30k): 57.89 | Qwen3-8B Base: 42.11 | +15.78绝对提升，+37.47%相对提升 |
局限与改进
作者明确承认了两个主要局限性。第一，由于计算预算限制，仅训练了最大8B参数的模型，未能验证Sci-CoE在更大规模模型（如70B、700B）上的效果，这限制了对框架可扩展性的全面评估。第二，Sci-CoE目前依赖外部评判模型（实验中使用Qwen3-235B-A22B）来执行验证策略，这引入了额外的计算成本和潜在偏差——如果评判模型本身对某些科学概念理解有误，可能会传递错误的奖励信号。从我的观察来看，还存在以下局限：（1）训练数据的学科覆盖有限，主要集中在物理、化学、生物和数学，对于工程、医学、社会科学等领域的泛化能力未经验证；（2）UGPhysics基准上的表现并非单调提升，某些物理子领域（如力学和热力学）的改进有限（从30.73%到30.51%甚至略有下降），暗示训练数据与特定物理主题之间可能存在分布不匹配；（3）验证策略的质量高度依赖于嵌入模型Qwen3-Embedding-8B的表示能力，对于高度专业化的科学术语，嵌入空间的几何结构可能不够准确；（4）阈值$ au=0.8$的选择缺乏理论依据，不同学科可能需要不同的阈值设置。
独立分析的弱点
经过独立分析，Sci-CoE存在以下弱点和改进方向。第一，验证策略的多样性奖励基于PCA降维到2D空间的角度分布，这种线性降维可能无法捕捉高维嵌入空间中的复杂结构，特别是当验证策略涉及多种不同类型的检查（如逻辑一致性、单位验证、物理约束）时，2D投影可能丢失重要的语义信息。改进方向可以探索非线性降维方法（如t-SNE或UMAP）或多维度的多样性度量。第二，K-means聚类中$k=1$的设置过于简化，假设所有策略形成单一簇，但实际上验证策略可能天然形成多个语义簇（如计算类、逻辑类、单位类）。改进方向是自适应确定聚类数量或使用层次聚类。第三，锚定学习阶段的顺序优化可能导致Solver和Verifier的学习进度不均衡——如果Solver先收敛到一个较优策略，后续的Verifier优化可能被限制在Solver已经固化的解空间中。改进方向可以探索交替优化的频率和早停策略。第四，外部评判模型的引入虽然提供了评估信号，但其自身可能对某些科学领域存在偏见，改进方向是设计多评判模型的集成或引入不确定性估计来降低单一模型偏差的影响。
未来方向
作者提出的未来方向包括：扩大模型规模以验证Sci-CoE在更大模型上的效果，以及减少对外部评判模型的依赖以降低计算成本和潜在偏差。基于本文成果可以延伸出以下研究方向：（1）将Sci-CoE扩展到多模态科学推理，如结合图像、化学结构、实验数据的推理任务，这需要设计新的嵌入空间来统一表示多模态验证策略；（2）探索自适应几何奖励机制，根据训练进度动态调整一致性、可靠性、多样性三个维度的权重$\alpha, ?eta, \gamma$，避免固定权重可能导致的训练后期多样性过度鼓励；（3）将几何奖励思想应用于其他需要软验证信号的领域，如法律推理、医学诊断、政策分析等；（4）研究验证策略的可迁移性，即在一个学科上学到的验证模式能否迁移到其他学科；（5）开发无需外部评判模型的纯自监督版本，通过模型自身的多次采样和交叉验证来替代外部评判。
复现评估
Sci-CoE的复现条件相对友好。代码已在GitHub开源（https://github.com/InternScience/Sci-CoE），提供了完整的训练框架。数据方面，使用的数据集均为公开可用：MegaScience、NuminaMath、ScienceQA、CaseHold，训练数据的组成和规模在论文附录中详细列出（4k/18k/30k三种规模）。算力需求方面，基模型为7B和8B参数量，使用vLLM进行推理加速，训练采用PPO算法，具体配置（学习率$1 imes 10^{-6}$，KL系数0.01，每步采样100个问题，每个问题10个Solver rollout和10个Verifier rollout）在论文中有详细说明。复现的主要挑战在于：（1）需要一个大型评判模型（论文使用235B参数的Qwen3-235B-A22B），这对计算资源要求较高；（2）嵌入模型Qwen3-Embedding-8B的使用增加了额外的推理开销；（3）训练过程涉及多个阶段的超参数调优（如锚定学习的数据量、无监督阶段的阈值$ au$、奖励权重$\alpha, ?eta, \gamma$）。总体而言，对于拥有中等规模GPU集群（如8×A100）的研究团队，复现本文结果是可行的。
论文图表