MedConclusion：基于结构化摘要的生物医学结论生成基准

5.7M生物医学结构化摘要的结论生成基准与LLM评测。

前置知识

结构化摘要（Structured Abstract）

PubMed等生物医学数据库中将摘要按 BACKGROUND / METHODS / RESULTS / CONCLUSIONS 等固定章节组织的写作格式，每个字段由作者填入语义明确的内容。这种格式便于机器解析与下游任务建模。

本文的核心输入是结构化摘要，模型需要在已知前序证据的前提下生成结尾的 CONCLUSIONS，没有它就难以理解 evidence-to-conclusion 这条推理链。

LLM-as-a-judge（以大模型作为评判器）

用一个强大的 LLM（如 GPT）替代人工对开放生成结果按多个维度（语义、风格、是否矛盾等）打出 0–100 的分数。优势是低成本、可扩展；缺点是存在 verbosity bias、position bias、对评判者身份敏感等。

论文 Table 2/4/5 几乎全部依赖 LLM-as-a-judge，是它把'结论生成'从可量化任务推进到开放评估的关键工具，也是 Section 4.3 评测敏感性讨论的基础。

SJR（SCImago Journal Rank）

基于 Scopus 引文数据计算得到的期刊学术声望指标，每年给每个期刊一个 0 到若干的分数，越高代表影响力越大。SJR 与学科分类常被一起用作 subfield 与 venue 维度的分层依据。

Figure 2 用 SJR 评估'期刊声望与结论生成难度的关系'，要理解该图必须先知道 SJR 是衡量期刊级别的指标。

ROUGE / BLEU / 嵌入余弦相似度

ROUGE 衡量 n-gram 召回率（ROUGE-1/2/L），BLEU 衡量 n-gram 精度，嵌入余弦相似度用预训练 sentence embedding 衡量语义距离。它们都是基于'参考答案'的 reference-based 指标，与 LLM-as-a-judge 互补。

Table 3 全部基于这些 reference-based 指标，正是论文用来说明'lexical overlap 不足以反映结论质量'的工具。

Evidence-to-conclusion 推理

把一组证据片段（背景、方法、结果）作为输入，要求模型在不引入未提供上下文的前提下，推理得出与原作者一致的科学结论。这是论文把'结论生成'重新定位为'科学推理任务'的语义基础。

这是本文区别于'摘要生成'和'前提-结论对齐'任务的核心定位，理解了它才能明白 Section 4.2 强调的'conclusion ≠ summary'。

研究动机

现有生物医学结论生成资源存在两类明显短板。第一类：范围窄，Shieh et al. (2019) 只覆盖 195.7K 条随机对照试验摘要，Tang et al. (2022) 只覆盖 57.1K 条超声心动图笔记，Tang et al. (2023) 覆盖 200.2K 条临床研究摘要，Bastan et al. (2022) 覆盖 633K 条但缺乏结构化摘要与日志元数据；这些数据要么局限于单一报告格式，要么只是把结论重建当作训练目标或对齐代理（Gao et al., 2024 仅有 17.4K 条），缺乏可复用的基准资源。第二类：评估方法不可靠，参考型指标（ROUGE、BLEU）已被证实对事实性覆盖不全（Maynez et al., 2020），而 LLM-as-a-judge 又显著受 judge identity、grading scale、verbosity bias、position bias 影响（Zheng et al., 2023; Huang et al., 2025）。两个问题叠加导致无法回答一个根本问题：现有 LLM 到底能不能在结构化证据之上推理出科学结论？

本文的目标是构建一个面向生物医学的、大规模、可复用的 evidence-to-conclusion 推理基准 MedConclusion，包含 5,692,839 条 2000–2025 年间来自 3,772 本期刊、覆盖 141 个学科的 PubMed 结构化摘要，每条样本都把非结论章节作为输入、把作者手写结论作为 gold reference，并附带期刊 SJR 分数与学科分类。配套目标是在此基准上对 14 个不同能力档位的 LLM 进行 4 种提示模式下的系统评测，给出基于 hybrid（参考型 + LLM-as-a-judge）的统一比较，并定量刻画 prompt 模式与 judge 身份对结论质量与排名的影响。

与已有工作不同的是，本文的独特切入角度有三：第一，规模与覆盖度同时刷新结论生成领域，5.7M 样本比 Bastan et al. (2022) 的 633K 大约 9 倍，且首次把 journal-level metadata（SJR、学科分类）作为一等公民纳入，方便做 subfield 与 venue 的 subgroup 分析；第二，把'结论生成'从代理训练目标/对齐评价指标升级为独立科学推理任务，并提供 4 种 prompting mode（A 自由结论、B 自由摘要、C 受限结论、D 受限摘要）来隔离写作风格与体裁差异；第三，明确把'judge identity sensitivity'作为一级发现呈现（Section 4.3），让读者同时看到 GPT-5.4-mini 与 Gemini 3 Flash 两个 judge 的绝对分数与排序，量化评估的脆弱性。

核心方法

思路分数据、任务、评估三段。PubMed 是天然'推理题库'：结构化摘要的 BACKGROUND/METHODS/RESULTS 为'证据'、CONCLUSIONS 为'答案'。技术上用 Entrez Direct 拉 2000–2025 年 `hasstructuredabstract` 的 UID 去重、白名单匹配后保留 5,692,839 条样本；从 SCImago 接入 3,772 期刊 141 学科分类与历年 SJR。任务形式化定义 $x$ 为去结论后剩余段、$y^*$ 为作者结论、$\hat{y} = f_\theta(x)$；4 种 prompt A/B/C/D 交叉控制体裁与风格约束，对 30K 子集 14 模型各跑一次。评估用 GPT-5.4-mini 主 judge + Gemini 3 Flash 副 judge 在 5 维（semantic、writing style、non-contradiction、numeric consistency、formality）打 0–100 分，并报告 ROUGE/BLEU/嵌入/长度比/句数比/PPL 共 12 指标。

与已有工作的本质区别在于把'结论生成'重新定位为**带 gold reference 的开放式科学推理基准**。Gao et al. (2024) 把结论重建当成'评估前提-结论对齐'的 proxy（17.4K），Shieh et al. (2019) 与 Tang et al. (2022/2023) 限定在 RCT/超声/临床报告等窄域（57K-200K），Bastan et al. (2022) 把它当训练目标（633K）；这些都缺少可外部复用的统一大表。本文的关键洞察是：结构化摘要按 BACKGROUND/METHODS/RESULTS/CONCLUSION 章节化分布，天然提供'无新事实'的硬约束，让开放式生成能在不被幻觉主导的前提下被多维评估；再叠加日志级 SJR+学科分类，就能从 venue 维度把难度结构化拆开。第二个本质区别是 hybrid evaluation：在同一表格里同时报告 12 个指标，让 ROUGE 高但 judge 低（如 Gemma-2-9B 嵌入 0.78 但语义分低）的矛盾显式可见。

方法步骤详情

四步流程。第一步抓取：EDirect 抓 2000–2025 年所有 `hasstructuredabstract` 的 UID，epost+efetch 批量下载 XML 解析为 JSONL，每条含 (label, nlm category, text) 段与 metadata。第二步清洗：按 PMID/DOI/归一化标题去重，仅保留英文且非空核心字段、≥3 段、≥1 conclusion 的记录；用 curated 的 conclusion 变体白名单（Appendix G）识别结论段。第三步元数据对齐：从 SCImago 拉取 141 学科分类与历年 SJR，得到 3,772 本期刊、5,692,839 条记录。第四步评测：30K 子集上 14 LLM × A/B/C/D 四种 prompt（Appendix B 完整模板），主 judge GPT-5.4-mini 给 5 维 0–100 分（Appendix C），同时算 7 个 reference-based 指标，再以 Gemini 3 Flash 对 A 模式下 3 个模型重打 5 维分数研究 judge 鲁棒性。

技术新颖性

技术新颖性体现在四层。第一，把'可被常识归并的章节化证据'显式建模为无新事实的硬约束，让开放生成任务可避免'生成内容不在源文里'的常见幻觉。第二，把日志级 SJR 序列与学科分类作为一等公民入库，使后续既可做 Pearson/Spearman 相关性分析（Figure 2），又可做 top-5/bottom-5 subfield 雷达图对比（Figure 3），这是先前所有结论生成工作都没有的分析维度。第三，hybrid evaluation 同时跑 ROUGE/BLEU/嵌入相似度/perplexity 与 LLM-as-a-judge，并显式展示指标间解耦（DeepSeek-V3.2 在 ROUGE 上最强却非 judge 第一），把'reference-based 指标不足'量化成可观察证据。第四，把'judge identity'作为第一类自变量（Table 5），揭示结论评估在不同 judge 间的绝对值漂移巨大（语义普遍 +10+）但相对排序大体稳定。

实验结果

四组发现。第一组（Table 2）：GPT-5.4-mini judge 下 GPT-5.4 五维全第一（语义 73.22/风格 71.21/非矛盾 84.61/数值 88.24/正式度 89.80），Gemini 3.1 Pro/Flash、Gemma-3-27B 等挤在 3 分以内，强模型被压成'紧密簇'。第二组（Table 3）：DeepSeek-V3.2 ROUGE-1 0.35/BLEU 0.05 最强、Gemma-2-9B 嵌入余弦 0.78 最高，但 judge 未进第一档，说明 lexical 与语义解耦；DeepSeek-R1 推理长度爆炸，WC Ratio 9.45/SC Ratio 11.17。第三组（Table 4）：A→B 后语义几乎回弹（GPT -1.11、Gemini -0.29）但 writing style 仍低 8+、numeric 崩塌 22.00/28.36，支持'结论 ≠ 摘要'。第四组（Table 5）：换 judge 让语义分被抬约 11 分、非矛盾率从 80+ 升到 96+，writing style 不变，说明带来**绝对刻度漂移**。

**Table 1**: Comparison of MedConclusion with conclusion-centric prior work

**Table 2**: LLM-as-Judge evaluation scores for conclusion generation

**Table 3**: Rule-based evaluation scores for conclusion generation

**Table 4**: LLM-as-Judge evaluation scores across prompt settings and generation modes

**Table 5**: LLM-as-Judge evaluation scores: GPT-5.4-mini vs Gemini 3 Flash as judge

**Figure 2**: Scatter plots of journal-level SJR scores versus evaluation metrics for GPT-5.4

**Figure 3**: Radar chart comparison of top 5 and bottom 5 biomedical categories ranked by both mean Semantic Similarity and mean ROUGE-L

查看结构化数据

任务	指标	本文	基线	提升
生物医学结论生成（conclusion generation）	LLM-as-Judge 5 维分数（0-100）	GPT-5.4: semantic 73.22 / style 71.21 / non-contradiction 84.61 / numeric 88.24 / formality 89.80	Llama-3.2-1B: semantic 54.17 / style 50.69 / non-contradiction 66.14 / numeric 82.69 / formality 78.35	GPT-5.4 相对最小模型 Llama-3.2-1B 在语义、风格、非矛盾、正式度上分别领先 19.05 / 20.52 / 18.47 / 11.45 分
生物医学结论生成（conclusion generation）	ROUGE-1/2/L 与 BLEU	DeepSeek-V3.2: ROUGE-1 0.35 / ROUGE-2 0.11 / ROUGE-L 0.23 / BLEU 0.05	DeepSeek-R1: ROUGE-1 0.15 / ROUGE-2 0.05 / ROUGE-L 0.10 / BLEU 0.01	DeepSeek-V3.2 相对 DeepSeek-R1 在 ROUGE-1 上提升 +0.20，BLEU 提升 +0.04（+400%）
结论 vs 摘要生成对比（A vs B）	LLM-as-Judge numeric consistency	GPT-5.4 模式 A（结论）88.24	GPT-5.4 模式 B（摘要）66.24	在数字一致性维度，结论生成比摘要生成高 22.00 分，差距大于 33%
Judge 鲁棒性（GPT-5.4-mini vs Gemini 3 Flash）	semantic similarity 0-100	GPT-5.4 由 GPT-5.4-mini 打 73.22	GPT-5.4 由 Gemini 3 Flash 打 84.30	换 judge 让同模型绝对分漂移 +11.08；非矛盾率从 84.61 升到 97.51（+12.9）
SJR 与生成质量相关性分析	Pearson r（GPT-5.4，setting A，去离群）	Semantic Sim r=+0.104, Writing Style r=+0.079, Formality r=+0.048（均 p<0.001）	Numeric Cons. r=-0.093, Non-Contradiction r=-0.058（p<0.001）	高 SJR 期刊在 lexical/stylistic 维度更易匹配，但在事实一致性维度反而更难；SJR 总体是弱而非主导预测因子
学科 subfield 难度差异	GPT-5.4 模式下 min-max 归一化分数（0-1）	Software 学科 semantic sim 最低 61.0（归一化后接近 0），同时 numeric consistency 96.4（接近 1）	Experimental and Cognitive Psychology、Endocrine and Autonomic Systems 等临床学科多项指标均接近 1	跨学科雷达图证实单一指标无法刻画难度，Software 等交叉学科是公认最难 subfield

局限与改进

作者承认的局限有四点：(1) 因成本只跑 30K 随机子集，规模相对 5.7M 总体仍偏小，可能漏掉长尾困难样本；(2) prompt 模式仅 4 种 A/B/C/D，未覆盖 chain-of-thought、检索增强、few-shot 等更复杂设置；(3) judge 仅 2 个（GPT-5.4-mini 与 Gemini 3 Flash），无法系统刻画更多 judge backbone 行为；(4) perplexity 用 GPT-2 这一固定外部模型，2026 年强模型分布可能与 GPT-2 错位。隐含风险：DeepSeek-R1 输出长度爆炸（WC Ratio 9.45）可能反映模型对'推理式'与'总结式'指令的混淆而非真实能力；Gemini 3 Flash 把分数普遍拉到 90+ 区间，'judge 趋同'让非矛盾率失去区分度；5.7M 数据集中 2000–2025 年，但 SJR 只到 2024，导致 2025 年样本缺 SJR 标签。

独立分析的弱点

三个相对薄弱的环节。第一，4 种 prompt 都是 single-shot 自由生成，未给 gold conclusion 长度示例或 in-context example，导致 Llama-3.2-1B 等小模型在'WC Ratio 1.82/SC Ratio 1.23'偏短与 numeric 反而高 82.69 之间出现反直觉分布；改进方向是引入 2-3 个 few-shot 示例，让长度比与风格匹配度同时被对齐。第二，评估协议对 reasoning-oriented 模型不够公平：DeepSeek-R1 在没有显式 CoT 触发下走长思维链，semantic 68.93 看似不低但 length ratio 9.45、bleu 0.01 严重异常；改进方向是给 reasoning 模型专门 prompt 模板或 generation budget 限制。第三，judge 鲁棒性只测了 2 个偏向强多模态模型的 backbone，未覆盖开源小 judge（如 Llama-3.1-70B）做三角校验，'+11 分刻度漂移'的结论因此不能完全泛化。

未来方向

可延伸方向有四类。第一，把 MedConclusion 当作训练数据而非评测：5.7M 配对带 gold conclusion，可直接做 SFT 或 DPO 训练，验证 7B 模型微调能否逼近 GPT-5.4 当前的 judge 分数。第二，扩展日志维度：当前只用 SJR 与学科，可加入 JCR 影响因子、出版国、是否 OA、是否双盲审稿，研究不同 venue 治理特征对结论写作风格的影响。第三，多模态扩展：PubMed 中约 20% 摘要配图（流程图、影像），把非文本字段纳入，让模型在 BACKGROUND/METHODS/RESULTS 中既看文本又看图，观察 evidence-to-conclusion 推理路径是否变化。第四，替换 LLM-as-a-judge 为 calibrated reference-based 协议（如 QAGS、FactCC 的生物医学定制版），比较哪种协议对学科 subgroup 分析最稳定。

复现评估

可复现性偏强。代码与数据开源在 https://github.com/Harvard-AI-and-Robotics-Lab/MedConclusion，数据基于 PubMed 公开 XML 与 SCImago 公开 SJR，数据层可重建。5.7M 记录、3,772 本期刊，单条 JSONL 含 abstract 段、关键词、SJR、学科，存储 8-12GB。算力：14 LLM × 30K 样本 × 4 prompt = 1.68M 次生成；闭源（GPT-5.4/5.4-mini/Gemini 3.1 Pro/Flash）走 API 约 4-6 万美元；开源（DeepSeek-V3.2、Kimi-K2、DeepSeek-R1、Gemma-2/3、Llama-3.1/3.2、Qwen2.5/3、Qwen2.5-VL-7B、GLM-4.6V）按 8×A100/H100 可在 1-2 周完成。门槛是 API 预算与 judge API 可访问性；prompt、judge prompt、reference-based 指标都在 Appendix B/C/D，1-2 人月可复现主表。

MedConclusion：基于结构化摘要的生物医学结论生成基准 MedConclusion: A Benchmark for Biomedical Conclusion Generation from Structured Abstracts