EmpiriGraph-Psy：从心理学摘要中提取实证关系图的数据集和LLM管道 EmpiriGraph-Psy: A Dataset and LLM Pipeline for Extracting Empirical Relation Graphs from Psychology Abstracts
提出心理学摘要实证关系图提取任务，构建数据集和分阶段LLM提取管道，实现macro-F1=0.74的图提取性能
前置知识
实证关系图
实证关系图是一种结构化表示方法，用于捕获科学研究中的变量及其相互关系。图中的节点代表标准化变量或构念，边代表实证关系或层次关系。与传统知识图谱不同，实证关系图强调变量间的统计关联、因果机制、调节效应等经验性发现，同时保留抽象层次结构，将高层构念与底层测量维度分开表示。
本文核心任务就是从非结构化的摘要文本中自动构建这种图，理解它对于把握论文的目标和评估方法至关重要。
验证状态标注
验证状态是对实证关系可靠性的元标注，分为三类：validated（已验证）表示关系被研究的实证结果支持；null（无效）表示关系被检验但不显著；hypothesized（假设）表示关系作为假设提出但文本未报告确认或拒绝的实证证据。这种三态标注区分了经验性发现与理论性推测，使知识图谱能够携带证据强度信息。
这是本文标注方案的重要创新之一，理解这个概念对于评估模型的实用性很重要——提取到关系后，用户需要知道这个关系是否被实验证实。
结构优先图对齐
传统的图评估方法要求节点标签完全匹配，但同一科学变量在不同标注者或模型输出中可能使用不同表面形式。结构优先对齐通过最大化类型化边重叠来寻找图间的节点映射，即寻找一个单射部分映射$\phi: V_G \to V_P$，使得对齐的边数量最大化。本质上是在节点标签不完全匹配的情况下，利用图结构特征评估预测图的质量。
这是本文提出的评估框架的核心技术，理解它对于理解论文的实验设计和结果解释至关重要。
分阶段管道
分阶段管道是一种任务分解策略，将复杂的图提取任务分解为顺序执行的子任务。本文的管道包括五个阶段：变量提取、变量归一化和层次构建、证据句子提取、图构建、边验证。每个阶段产生结构化中间输出并传递给下一阶段，通过信息瓶颈和增量验证逐步提高精度，而非一次性完成全部任务。
这是本文的方法核心，理解这种分解策略对于理解为什么分阶段方法比直接提示效果更好至关重要。
研究动机
现有科学关系提取基准主要集中在计算机科学和NLP论文领域，其中科学实体通常是任务、数据集、模型和指标。然而，对于心理学、社会科学和健康研究等以变量为导向的实证领域，知识主要围绕变量及其实证关系组织，包括协变关系、干预效应、机制和情境条件。例如，心理学摘要可能报告领导力与人格的关联、心理干预对患者结局的影响，或家庭环境如何调节遗传风险与行为之间的关系。现有的以实体为中心的提取框架无法有效处理这种变量导向的实证知识结构，导致构建领域特定的知识图谱和大规模证据合成面临重大障碍。
本文的目标是本文的目标是提出和评估一个新的科学信息提取任务——变量中心实证图提取，将实证研究摘要映射到标准化变量上的类型化图，图的节点是归一化的变量，边代表实证和层次关系。为此，本文构建EmpiriGraph-Psy基准数据集，包含210篇心理学摘要的标注数据，并开发基于大语言模型的多阶段提取管道，验证分阶段方法相对于直接提示的性能优势。
与已有工作不同的是，本文的独特切入角度在于从以变量为中心的视角重新审视科学关系提取问题。与现有工作关注任务、方法、数据集等实体类型不同，本文关注的是实证研究中的变量及其统计和因果关系，同时处理多层次的抽象结构。这种视角更贴近心理学、社会科学等实证学科的实际知识组织方式。此外，本文提出的验证状态标注（validated/null/hypothesized）也是对传统二值关系标注的重要扩展，能够捕获实证研究的证据强度信息。
核心方法
本文方法的核心思想是将复杂的图提取任务分解为五个顺序执行的子任务，每个阶段专注于一个明确的子目标，通过中间输出的传递和增量验证逐步构建完整的变量关系图。这种分阶段策略相比直接提示的优势在于：首先，将任务分解使每个子任务更聚焦，降低了每个步骤的复杂性；其次，中间输出提供了上下文和信息瓶颈，例如证据句子提取阶段过滤了无关文本，提高了后续关系提取的精度；最后，边验证阶段作为质量控制和一致性检查，可以纠正可能的错误。
核心创新点是将实证关系图提取问题形式化为一个多阶段的推理管道，而非单一的端到端生成任务。管道的每个阶段都有明确的输入输出和评估标准，这种分解使得模型能够逐步构建图结构，并在每一步进行局部优化。特别是引入层次边明确编码抽象结构，以及验证状态标注区分经验性发现与理论性推测，这些设计使得提取的知识图谱既保留了变量的理论层次，又携带了证据强度的元信息，更适合下游的科学知识合成应用。
方法步骤详情
方法包含五个顺序步骤。步骤1是变量提取：模型从摘要中识别候选变量并提议归一化的变量名称和范围，强调变量识别，因为下游阶段无法恢复从未被提取的变量。步骤2是变量归一化和层次构建：系统构建变量层次并执行规范化，合并近似重复的提及，链接高层和低层变量，并为后续关系提取强制执行一致的变量词汇表。步骤3是证据句子提取：模型选择可能包含关系信息的证据句，参考步骤2生成的变量列表，作为信息瓶颈通过减少分散的上下文提高精度，并强制模型从显式文本证据证明边决策。步骤4是图构建：模型预测和分类变量间的实证关系（关联性、机制性、调节性），生成初始图结构。步骤5是边验证：系统重新验证提取的边和关系属性，纠正可能的假阳性，提高准确性，作为评估前的一致性和质量控制阶段。
技术新颖性
本文的技术新颖性体现在三个方面：一是提出了变量中心实证图提取的新任务形式，定义了四种关系类型（关联性、机制性、调节性、层次性）和三种验证状态（已验证、无效、假设），与现有以实体为中心的关系提取任务有本质区别；二是设计了基于结构优先的图评估框架，通过分支定界算法在部分节点匹配下对齐图，这种评估方法不依赖表面标签匹配，更适合科学变量提取场景；三是系统地证明了分阶段管道相对于直接提示的优势，并分析了不同LLM在不同阶段的最优配置（如GPT-5.4适合步骤1和5，GPT-5.2适合步骤2-4），为后续LLM应用提供了实践经验。
实验结果
实验结果显示，分阶段管道显著优于直接提取方法。最佳配置（GPT-5.4用于步骤1和5，GPT-5.2用于步骤2-4）在完整有向类型图上达到micro-F1=0.72，macro-F1=0.74，接近人工标注者间的一致性水平。分类型分析显示，机制性关系表现最佳（F1=0.769），关联性关系次之（F1=0.711），而调节性关系（F1=0.639）和层次关系（F1=0.662）最具挑战性。直接提示基线的macro-F1仅为0.530，分阶段方法带来了显著提升。不同模型展现不同的错误模式：Gemini 3 Flash召回率最高（0.782）但精度较低，倾向于过度生成关系；DeepSeek V4 Pro和GPT-4o更偏向精度但恢复的正确关系较少。模型在不同期刊上的性能存在差异，F1范围从0.67到0.81，这可能与期刊特定的报告风格有关，而非图复杂性差异。模型在1960-2025年的不同时间段上表现稳定，所有F1分数均高于0.71，表明方法具有良好的时间泛化能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 变量中心实证图提取 | Macro-F1 (完整图) | 0.736 | 0.530 (GPT-5.4直接提示) | +38.9% |
| 机制性关系提取 | Macro-F1 | 0.769 | - | 最优关系类型 |
| 关联性关系提取 | Macro-F1 | 0.711 | - | 次优关系类型 |
| 调节性关系提取 | Macro-F1 | 0.639 | - | 最具挑战性 |
| 层次关系提取 | Macro-F1 | 0.662 | - | 次具挑战性 |
局限与改进
作者承认当前数据集仅限于心理学摘要，虽然涵盖多个心理学子领域和广泛历史时期，但工作流程是否推广到其他学科（如健康科学或生物学）尚不清楚，这些领域的摘要可能遵循不同的写作惯例和报告风格。此外，当前标注方案不包括其他重要的科学组件，如样本、方法、统计程序或任务，这意味着提取的知识图谱是不完整的。错误分析显示，调节性关系和层次关系仍是最具挑战性的案例：调节性关系的类型混淆率最高（15.3%），近六分之一的调节性边被恢复为错误类型（通常是方向性），这反映了调节语言内在的模糊性和模型简化三元交互的倾向；层次关系的假阴性率最高（27.4%），模型错过了超过四分之一的层次边，这需要推断一个构念是另一个构念的组成部分，这种结构推断在摘要中很少显式陈述。
独立分析的弱点
独立分析的第一个弱点是调节性关系的处理能力不足。模型倾向于将调节关系误分类为方向性关系，这表明当前的提示或阶段设计不足以充分捕捉三元交互的复杂性。改进方向可以是专门设计针对调节关系的推理步骤，或者在关系提取阶段引入更细粒度的分类提示。第二个弱点是层次关系的提取准确率较低，27.4%的假阴性率表明模型难以从文本中推断抽象层次结构。改进方向包括在变量归一化阶段更明确地指示模型关注构念-维度-测量的层次性语言线索，或者引入外部领域本体作为先验知识。第三个弱点是跨期刊性能差异较大（F1范围0.67-0.81），这表明模型对特定报告风格的敏感性。改进方向可以是使用期刊自适应的提示工程，或在训练阶段引入风格迁移技术以增强泛化能力。
未来方向
作者提出未来工作可以扩展EmpiriGraph-Knowledge Extraction工作流程到其他领域，以评估所提出管道的跨学科鲁棒性。基于论文成果可以延伸的方向包括：整合现有的基于NLP的科学信息提取方法，构建更完整的科学知识图谱，包括样本、方法、统计程序等组件；探索将提取的变量关系图与大规模文献数据库结合，进行科学理论的纵向历史分析，追踪变量和理论在文献中的出现、稳定、变化或消失；研究如何将验证状态信息整合到知识图谱查询和推理中，例如优先显示经验性发现而非假设性关系；探索自动化质量控制机制，进一步降低边验证阶段的人工参与成本。
复现评估
论文提供了良好的复现支持。数据集标注层和代码已开源（GitHub链接），采用研究兼容的开源许可证（如CC BY 4.0）。数据集包含210篇心理学摘要的完整标注，包括标准化变量、实证关系边、层次边、验证状态和数据集划分。标注不重新分发受版权保护的摘要文本，而是发布元数据标识符和派生标注层，以符合源材料的访问条件。模型实现使用了多个LLM（GPT-5.2、GPT-5.4、Claude Sonnet 4.6、Claude Opus 4.7、DeepSeek V4 Pro、Gemini 3 Flash、GPT-4o），所有模型参数设置为低推理级别和冗长度以控制成本。评估方法提供了详细的算法描述，包括分支定界对齐算法的实现细节和复杂度分析。主要挑战是使用多个LLM的API调用成本较高，且实验需要多次运行不同模型组合。总体而言，复现难度中等到高，主要取决于API访问权限和预算，但论文提供了足够的技术细节和代码支持。
论文图表
