← 返回 2026-07-02

基于图原生强化学习的可追溯科学假设生成通过概念重组 Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination

Subhadeep Pal, Shashwat Sourav, Tirthankar Ghosal, Markus J. Buehler 📅 2026-07-01 👍 11 2026-07-13 08:37
图推理 强化学习 材料设计 概念重组 科学假设生成
arXiv HuggingFace PDF

通过图原生GRPO训练实现可追溯的科学假设生成

前置知识

强化学习

一种机器学习范式，智能体通过与环境交互并获得奖励或惩罚来学习最优策略。在本文中，使用Group Relative Policy Optimization (GRPO)方法，通过比较一组生成输出的相对表现来优化模型行为，而不是依赖固定目标答案。

本文使用GRPO来优化模型生成结构化、可追溯的推理轨迹，理解RL的基本原理对于把握本文的训练方法至关重要。

图表示学习

将复杂关系表示为图结构（节点和边）的学习方法。在科学推理中，概念作为节点，机制、因果关系、类比等作为边。本文中的graph_json阶段生成机器可读的有向图，其中节点对应实体，边编码类型化关系（如"encodes"、"leads_to"等）。

图结构是本文的核心创新点，它使科学推理可检查、可重用。理解图表示对于把握本文方法与标准文本推理的本质区别至关重要。

语义嵌入

将文本映射到高维向量空间的方法，相似的文本在空间中距离更近。本文使用768维嵌入空间（google/embeddinggemma_300m模型）来分析推理轨迹的语义组织、轨迹方向性和语义多样性。

嵌入分析是本文评估方法有效性的关键工具，用于量化推理轨迹的结构化程度、语义多样性和推理-答案对齐度。

研究动机

标准大语言模型在处理开放性材料设计问题时，往往产生流畅但弱可追溯的响应。例如，在材料科学和力学领域，宏观性质从耦合过程中涌现，涉及分子结构、介观组织、界面、缺陷、加工历史和边界条件等多个尺度。现有LLM的推理主要表达为线性文本，即使使用思维链策略，也缺乏实体、关系、依赖和因果链接的显式表示。这使得难以确定最终答案是否得到连贯中间推理的支持，也无法直接编码哪些概念被连接、连接类型是什么，以及局部机制如何组成高层解释。

本文的目标是开发一个能够生成可追溯、可检查的科学假设的AI系统。具体而言，构建一个图原生推理模型，将神经语言生成与符号关系结构连接起来，使因果连接能够被构建、检查和重用。该模型应该在开放性科学假设生成任务中，在推理质量、深度和可追溯性方面显著优于基线模型。

与已有工作不同的是，本文的独特切入角度在于将图结构作为模型的**原生推理格式**，而不是外部检索底座或后处理表示。现有系统如检索增强生成改进了文档访问，知识图谱显式编码实体和关系，智能体工作流将复杂科学任务分解到专门组件，但它们都没有使模型的中间推理本身成为可评估的图结构。Graph-PRefLexOR通过五个显式推理阶段（、、、、）来组织推理，使用GRPO直接优化模型向高质量推理行为，特别适合存在多个合理假设的开放性科学问题。

核心方法

Graph-PRefLexOR是一个图原生推理模型系列，采用两阶段训练：首先使用ORPO进行冷启动，然后使用Graph-GRPO进行优化。模型在块中生成结构化推理轨迹，包含五个阶段：进行发散探索，生成候选机制和假设；将推理抽象为概念表示，识别核心实体及其因果关系；将抽象形式化为机器可读的有向图；从图中提取高阶规律，如因果链和反馈循环；将这些模式整合成连贯、可测试的假设。这种设计实现了从神经语言生成到符号知识表示的可解释桥梁。

核心创新在于将图结构作为模型的**原生推理格式**，并使用**Group Relative Policy Optimization (GRPO)** 通过**相对比较**来优化模型行为，而非依赖固定目标答案。这与之前的ORPO/EXO风格偏好优化方法有本质区别。GRPO为每个提示采样一组输出，计算复合奖励（包含正确性、图效用、格式、NetworkX有效性、多样性、结构六个组件），并使用组归一化优势来更新策略。这种方法鼓励模型生成的推理轨迹不仅流畅，而且结构化、关系化和可追溯。

方法步骤详情

训练分为两个阶段。第一阶段是ORPO冷启动：对Qwen3-1.7B、Llama-3.2-3B-Instruct和Qwen3-8B基座模型进行一个epoch的ORPO训练，使用教师-蒸馏管道构建的训练语料。语料从fineweb-edu和bio-silk-mech-mix-80K混合语料中采样，GPT-5.1生成优选的图原生推理轨迹（填充完整sentinel模板），GPT-5-nano生成劣选的简短直接回答。ORPO损失函数结合了优选响应的负对数似然和抑制劣选响应的优势比惩罚。第二阶段是Graph-GRPO：从冷启动检查点开始，为每个提示采样G=8个补全，使用复合奖励R评分，计算组归一化优势，使用裁剪的策略梯度目标更新LoRA参数。复合奖励是六个组件的凸组合：正确性（30%）、格式（15%）、图效用（25%）、NetworkX有效性（10%）、多样性（10%）、结构（10%）。图效用是中心信号，要求仅使用发出的graph_json重构答案，然后评分，这是一个信息瓶颈测试。

技术新颖性

技术新颖性体现在三个方面：1) **推理结构创新**：首次将五阶段图原生推理作为LLM的原生推理格式，将机制探索、概念抽象、图构建、模式提取和假设整合显式分离。2) **训练方法创新**：首次使用GRPO优化图原生推理行为，通过组内相对比较而非固定目标，适合开放性科学问题。3) **评估方法创新**：通过嵌入分析、语义回溯、层向隐藏状态分析和测试时图扩展等多维方法，不仅评估最终答案质量，还评估推理可追溯性、语义多样性、推理-答案对齐、表示动态和测试时重组增长。

Scientific discovery often proceeds through iterative hypothesis generation, validation, re-ideation and refinement. Standard LLM responses to scientific queries can be difficult to trace, leading to untraceability, hallucination, or contradiction. Graph-PRefLexOR addresses this limitation by organizing the <think> section into explicit reasoning phases: <brainstorm> for mechanism exploration, <graph> for relation sketching, <graph_json> for canonical graph construction, <patterns> for causal motif extraction, and <synthesis> for assembling the final answer.
Figure 1: Scientific discovery often proceeds through iterative hypothesis generation, validation, re-ideation and refinement. Standard LLM responses to scientific queries can be difficult to trace, leading to untraceability, hallucination, or contradiction. Graph-PRefLexOR addresses this limitation by organizing the <think> section into explicit reasoning phases: <brainstorm> for mechanism exploration, <graph> for relation sketching, <graph_json> for canonical graph construction, <patterns> for causal motif extraction, and <synthesis> for assembling the final answer.
Graph and pattern representation extracted from the Graph-PRefLexOR-8B response. (a) Directed graph linking biological immune-system concepts, multi-agent AI components, and the proposed bridging mechanism. (b) Higher-order reasoning patterns extracted from the graph.
Figure 5: Graph and pattern representation extracted from the Graph-PRefLexOR-8B response. (a) Directed graph linking biological immune-system concepts, multi-agent AI components, and the proposed bridging mechanism. (b) Higher-order reasoning patterns extracted from the graph.
Graph-native ideation loop for test-time graph expansion.
Figure 13: Graph-native ideation loop for test-time graph expansion.
ORPO cold start for all three models.
Figure 18: ORPO cold start for all three models.
Graph-GRPO reward for all three models.
Figure 19: Graph-GRPO reward for all three models.
Graph-GRPO dynamics across the three models.
Figure 20: Graph-GRPO dynamics across the three models.
Workflow for constructing the open-ended scientific reasoning benchmark from research papers.
Figure 21: Workflow for constructing the open-ended scientific reasoning benchmark from research papers.

实验结果

在从材料科学和力学文献衍生的100个开放性问题基准测试上，Graph-PRefLexOR在推理质量、深度和可追溯性上比相应基线模型实现40-65%的提升，可追溯性提升最大。具体而言，Graph-PRefLexOR-8B比Qwen3-8B在推理质量、深度、可追溯性和总体得分上都有显著改进；Graph-PRefLexOR-3B比Llama-3.2-3B-Instruct在所有指标上都有提升；Graph-PRefLexOR-1.7B比Qwen3-1.7B也有改进。无思维基线比较显示，这些提升主要来自显式推理过程而非模型规模或架构。嵌入分析显示，Graph-PRefLexOR推理轨迹占据更广阔、更结构化的语义区域，遵循更连贯的阶段性轨迹，语义多样性比基线高约2×–3×。推理轨迹的相位质心距离在1.7B尺度从0.07增加到0.20（2.9×提升），在8B尺度从0.08增加到0.21（2.6×提升）；最终答案的分块距离在1.7B尺度从0.18增加到0.39（2.2×提升），在3B尺度从0.22增加到0.39（1.8×提升），在8B尺度从0.18增加到0.43（2.4×提升）。语义回溯显示，Qwen3-8B最终答案只有16/100个案例与自身思维轨迹最接近，而Graph-PRefLexOR-8B有92/100个案例与自身推理阶段最接近，主要是阶段（84个案例）。层向隐藏状态分析显示，Qwen3-8B在第7-10层和最终层表现出更大的推理-答案分离，而Graph-PRefLexOR-8B在大多数层保持较低的分离度。

Models used in this study and corresponding Hugging Face identifiers.
Table 3: Models used in this study and corresponding Hugging Face identifiers.
Expansion strategies used for test-time graph expansion.
Table 4: Expansion strategies used for test-time graph expansion.
Evaluation of structured reasoning across model scales on open-ended scientific questions (N = 100), assessed using Claude Opus-4.7. Metrics include Reasoning Quality, Intellectual Depth, Reasoning Traceability, and Overall score (0–10).
Figure 2: Evaluation of structured reasoning across model scales on open-ended scientific questions (N = 100), assessed using Claude Opus-4.7. Metrics include Reasoning Quality, Intellectual Depth, Reasoning Traceability, and Overall score (0–10).
Representative cross-disciplinary hypothesis-generation question used to evaluate Graph-PRefLexOR. The question is derived from Ref. [10] and probes analogical mapping, mechanistic breakdown, and long-horizon adaptive reasoning.
Figure 3: Representative cross-disciplinary hypothesis-generation question used to evaluate Graph-PRefLexOR. The question is derived from Ref. [10] and probes analogical mapping, mechanistic breakdown, and long-horizon adaptive reasoning.
PCA projection of reasoning traces and final answers comparing Graph-PRefLexOR and base models across scales.
Figure 6: PCA projection of reasoning traces and final answers comparing Graph-PRefLexOR and base models across scales.
PCA projection of directed (a) reasoning, and (b) answer trajectories between Graph-PRefLexOR-8B and Qwen3-8B.
Figure 7: PCA projection of directed (a) reasoning, and (b) answer trajectories between Graph-PRefLexOR-8B and Qwen3-8B.
Semantic diversity measured via inter-phase centroid distance for (a) reasoning traces and (b) final answers across model scales.
Figure 8: Semantic diversity measured via inter-phase centroid distance for (a) reasoning traces and (b) final answers across model scales.
Semantic backtracking analysis of final answer alignment for Qwen3-8B and Graph-PRefLexOR 8B across 100 open-ended scientific questions.
Figure 9: Semantic backtracking analysis of final answer alignment for Qwen3-8B and Graph-PRefLexOR 8B across 100 open-ended scientific questions.
Internal semantic backtracking of Graph-PRefLexOR-8B final answers.
Figure 10: Internal semantic backtracking of Graph-PRefLexOR-8B final answers.
Layer-wise hidden-state divergence between reasoning and final-answer representations for Qwen3-8B and Graph-PRefLexOR-8B.
Figure 11: Layer-wise hidden-state divergence between reasoning and final-answer representations for Qwen3-8B and Graph-PRefLexOR-8B.
Backtracking-conditioned layer-wise hidden-state divergence for Qwen3-8B and Graph-PRefLexOR-8B.
Figure 12: Backtracking-conditioned layer-wise hidden-state divergence for Qwen3-8B and Graph-PRefLexOR-8B.
Test-time compute expands a bounded idea space through recombination.
Figure 14: Test-time compute expands a bounded idea space through recombination.
Semantic organization and broker concepts in the leap run.
Figure 15: Semantic organization and broker concepts in the leap run.
Growth dynamics of the leap run.
Figure 16: Growth dynamics of the leap run.
Statistical novelty of mined connections in the leap run.
Figure 17: Statistical novelty of mined connections in the leap run.
查看结构化数据
任务指标本文基线提升
开放性科学推理（100个问题） 推理质量 显著优于基线（具体数值在论文图表中显示） Qwen3-8B / Llama-3.2-3B-Instruct / Qwen3-1.7B 40-65%
开放性科学推理（100个问题） 推理可追溯性 显著优于基线（最大提升） Qwen3-8B / Llama-3.2-3B-Instruct / Qwen3-1.7B 40-65%（最大）
语义多样性（推理轨迹） 相位质心距离（余弦） 0.20 (1.7B) / 0.21 (8B) 0.07 (1.7B) / 0.08 (8B) 2.9× (1.7B) / 2.6× (8B)
语义多样性（最终答案） 分块质心距离（余弦） 0.39 (1.7B) / 0.39 (3B) / 0.43 (8B) 0.18 (1.7B) / 0.22 (3B) / 0.18 (8B) 2.2× (1.7B) / 1.8× (3B) / 2.4× (8B)
推理-答案对齐 与自身推理最接近的比例 92/100 (Graph-PRefLexOR-8B) 16/100 (Qwen3-8B) 5.75×

局限与改进

作者承认的局限性包括：图效用是约束性最强的组件（0.21-0.32），在所有尺度上都是最低的，这表明生成语义足够丰富以重构答案的知识图谱是图原生推理的核心挑战和未来扩展的主要目标。此外，测试时图扩展分析表明，语义领域是有界的，而不是无限扩展的。我自己的观察：模型可能过度依赖预定义的关系词汇，限制了其发现新关系类型的能力；训练数据主要来自材料科学和力学领域，在其他科学领域的泛化能力需要验证；计算成本较高，需要两阶段训练和组采样；奖励函数中的多个组件可能相互竞争，例如多样性和结构项在内部节点和DAG深度方面是相互竞争的。

独立分析的弱点

1) **图效用瓶颈**：图效用分数在所有尺度上都是最低的（0.21-0.32），表明模型生成的图虽然结构良好，但语义信息不足以完全重构最终答案。改进方向：增加图效用奖励的权重，开发更精细的图语义评估指标，或在训练中引入图重构任务。2) **关系词汇限制**：模型使用预定义的关系词汇（如"encodes"、"leads_to"），这可能限制其发现新关系类型或表达复杂机制的能力。改进方向：允许模型生成自由文本关系，或使用更大的、动态扩展的关系词汇表。3) **领域泛化**：训练数据主要来自材料科学和力学，在其他科学领域（如生物、化学、物理）的性能未知。改进方向：扩展训练数据覆盖更多科学领域，或开发领域自适应机制。4) **计算成本**：两阶段训练（ORPO + GRPO）和组采样（G=8）增加了训练和推理成本。改进方向：探索更高效的采样策略，或使用更轻量的GRPO变体。5) **奖励设计复杂性**：六个奖励组件相互竞争，可能需要精细的权重调整。改进方向：开发自适应权重机制，或使用学习的奖励函数。

未来方向

作者提出的未来工作方向：将Graph-PRefLexOR扩展到自主发现工作流，整合文献推理、模拟、实验反馈和跨尺度聚合物、复合材料和多功能材料的闭环设计。基于本文成果的可延伸方向：1) **多模态扩展**：整合文本之外的模态（如数值数据、图像、分子结构）到图表示中，支持更全面的科学推理。2) **协作推理**：多个Graph-PRefLexOR模型协作，每个专注于不同的科学领域或推理阶段，通过图交换实现跨领域假设生成。3) **动态图演化**：在测试时不仅扩展图，还允许图结构演化（节点和边的添加、删除、修改），模拟科学理论的渐进发展。4) **因果推理增强**：整合形式因果推理工具，确保图中的因果关系符合因果推理原则，提高假设的科学有效性。5) **人类-AI协作**：开发交互界面，允许科学家与Graph-PRefLexOR生成的图交互，手动修正或扩展图结构，形成人机协作的假设生成过程。

复现评估

本文提供了较好的复现支持：1) **开源代码**：完整训练和分析代码在GitHub可用（https://github.com/lamm-mit/graph-preflexor-grpo）。2) **模型可用**：训练好的Graph-PRefLexOR模型在Hugging Face可用：8B（lamm-mit/Graph-Preflexor-8b_12292025）、3B（lamm-mit/Graph-Preflexor-3b_08012026）、1.7B（lamm-mit/Graph-Preflexor-1.7b_08012026）。3) **数据可用**：训练数据（https://huggingface.co/datasets/lamm-mit/graph_reasoning_10K）和评估基准（https://huggingface.co/datasets/lamm-mit/graph-preflexor-grpo-benchmark）都公开提供。4) **计算资源**：所有训练使用单个GPU完成，1.7B和8B模型在NVIDIA A100-SXM4-80GB上训练，3B模型在NVIDIA GH200 480GB上训练。ORPO训练约240-500步，Graph-GRPO训练约970-1970步，计算成本相对可接受。5) **评估细节**：论文详细描述了评估方法、指标和统计分析，包括语义回溯、层向隐藏状态分析和测试时图扩展，便于复现和扩展。总体而言，复现难度中等，主要挑战在于两阶段训练的调参和组采样的计算需求。

论文图表

Figure 4: Representative Graph-PRefLexOR-8B reasoning to the benchmark question in Fig. 3. The response is organized into structured reasoning phases, including <brainstorm>, <graph>, <patterns>, and <synthesis>.

Figure 4展示了Graph-PRefLexOR-8B对图3中基准问题的代表性推理。响应被组织成结构化推理阶段，包括<brainstorm>、<graph>、<patterns>和<synthesis>。这种格式暴露了从类比映射到机制差距识别和最终假设生成的中间路径。

这张图对于理解Graph-PRefLexOR的实际推理行为至关重要，它展示了模型如何将复杂推理分解为结构化阶段，使推理轨迹可直接检查，并从概念探索到映射组件和关系，最终合成机制假设。

Table 1: Mean semantic diversity and relative gains of Graph-PRefLexOR over corresponding base models.

Table 1展示了Graph-PRefLexOR相对于相应基线模型的平均语义多样性和相对增益。对于推理轨迹，Graph-PRefLexOR在1.7B尺度上的平均相位间距离为0.20，基线为0.07，绝对增加0.13，增益2.9×；在8B尺度上平均相位间距离为0.21，基线为0.08，绝对增加0.13，增益2.6×。对于最终答案，Graph-PRefLexOR在1.7B尺度上的平均分块距离为0.39，基线为0.18，绝对增加0.21，增益2.2×；在3B尺度上平均分块距离为0.39，基线为0.22，绝对增加0.17，增益1.8×；在8B尺度上平均分块距离为0.43，基线为0.18，绝对增加0.25，增益2.4×。

这个表格对于量化Graph-PRefLexOR的语义多样性改进至关重要，它显示了Graph-PRefLexOR在所有尺度上都比基线模型产生更丰富的语义表示，推理阶段的语义差异比最终答案更大。

Table 2: Training configuration for the Graph-PRefLexOR family.

Table 2展示了Graph-PRefLexOR系列模型的训练配置。所有模型共享§4.1.3中描述的推理轨迹格式和六组件奖励。1.7B模型使用Qwen3-1.7B基座，ORPO阶段学习率5 × 10^−5，批大小1，GRPO阶段学习率5 × 10^−6，组大小G=8，每设备批/梯度累积2/4，1个epoch，最大补全长度8000，LoRA (r, α) = (32, 64)。3B模型使用Llama-3.2-3B-Instruct基座，ORPO阶段学习率1 × 10^−5，批大小1，GRPO阶段学习率5 × 10^−6，组大小G=8，每设备批/梯度累积2/4，1个epoch，最大补全长度8000，LoRA (r, α) = (32, 64)。8B模型使用Qwen3-8B基座，ORPO阶段学习率1 × 10^−5，批大小2，GRPO阶段学习率5 × 10^−6，组大小G=8，每设备批/梯度累积1/8，3个epoch，最大补全长度3500，LoRA (r, α) = (16, 32)。

这个表格对于理解Graph-PRefLexOR的训练设置至关重要，它展示了两个训练阶段的详细配置，以及不同尺度模型之间的差异，便于复现和比较。