← 返回 2026-06-09

SDR：用于放射科报告生成的集合距离奖励 SDR: Set-Distance Rewards for Radiology Report Generation

Halil Ibrahim Gulluk, Max Van Puyvelde, Wim Van Criekinge, Olivier Gevaert 📅 2026-05-30 👍 5 2026-07-13 08:36

医学影像多模态学习奖励设计强化学习报告生成

arXiv HuggingFace PDF

用集合距离奖励解决胸部X光报告生成的顺序无关性问题

前置知识

GRPO (Group Relative Policy Optimization)

一种强化学习算法，不需要显式的偏好和非偏好对，直接通过奖励函数优化策略。相比PPO更简洁，适合大语言模型的微调。它通过计算多个生成样本的相对优势来更新策略，而不是依赖绝对奖励值，减少了噪声影响。

本文使用GRPO进行报告生成模型的后训练，集合距离奖励是传递给GRPO的核心信号。理解GRPO的工作原理有助于理解为什么需要设计连续的、可微的奖励函数。

Sentence Transformer

基于BERT的预训练模型，专门用于将文本句子编码为固定维度的向量表示。这些向量捕获了句子的语义信息，相似句子的向量在嵌入空间中距离更近。本文使用的all-mpnet-base-v2是一个广泛使用的开源模型，约420MB大小。

本文的核心思想是将报告分解为句子嵌入集合，理解句子编码器的工作原理对于理解集合距离的计算至关重要，因为所有距离度量都基于这些嵌入向量。

Set-to-Set Distance

用于衡量两个集合之间相似性的度量，不同于序列距离。Chamfer距离计算每个集合中元素到另一个集合最近元素的平均距离，是一种软覆盖度量。Hausdorff距离取最坏情况的最大距离，更严格。两者都基于底层的元素间距离（本文使用余弦距离）。

这是本文的核心技术贡献。理解集合距离如何从无序的句子嵌入集合中提取连续奖励信号，是理解整个方法的关键。这些距离同时用于训练和推理阶段。

研究动机

现有的强化学习奖励设计无法有效应用于胸部X光报告生成任务。标准奖励函数有两类：精确匹配准确率的二进制奖励和逐步级的过程奖励。精确匹配奖励在放射科报告中失效，因为报告由无序、正交的发现组成，而非因果推理链；一个发现顺序不同但内容相同的报告应该获得相同的奖励。过程奖励模型需要每个推理步骤的标注，这在放射科报告中不可行，而且X光报告中的发现通常是独立的，不形成可解释的思维链。离散的二元奖励会引入噪声，因为部分正确的中间步骤即使最终答案错误也有价值。在ReXGradient和MIMIC-CXR两个数据集上，传统奖励方法无法充分利用模型的生成能力。

本文的目标是本文的目标是为胸部X光报告生成设计一种统一的奖励信号，既适合GRPO后训练，又能用于测试时的最佳选择和剪枝策略。该奖励需要是连续的、排列无关的，能够捕获无序发现的语义相似性，同时避免对步骤级标注的依赖。

与已有工作不同的是，本文的独特切入角度是将放射科报告视为无序的句子嵌入集合，而非序列。从集合视角出发，使用集合到集合的距离作为奖励信号。这与传统方法将报告视为序列或因果链形成本质区别。Chamfer和Hausdorff距离天然满足排列不变性，同时提供了连续的奖励值。此外，本文还将同一套距离度量扩展到推理阶段的候选选择和生成剪枝，实现了训练和推理的统一框架。

核心方法

方法整体分为两个阶段。首先使用监督微调（SFT）在胸部X光报告上训练视觉-语言模型。然后使用GRPO进行后训练，奖励由格式奖励和集合语义奖励组成。格式奖励是二元指示器，确保输出遵循指定的XML标签结构。集合语义奖励将生成的报告和参考报告都分解为句子，用冻结的句子编码器将每个句子编码为嵌入向量，形成两个嵌入集合。然后计算这两个集合之间的Chamfer或Hausdorff距离，将距离转换为相似性作为奖励。同一套距离度量还可以用于推理时的最佳候选选择和动态剪枝。

核心创新点是将放射科报告视为无序的句子嵌入集合，并用集合到集合的距离作为奖励信号。与传统精确匹配或步骤级奖励的本质区别在于：集合奖励是连续的而非二元、排列无关的顺序不影响奖励、基于语义嵌入的而非字符串匹配、不需要步骤级标注。Chamfer距离像软覆盖奖励，鼓励每个生成句子匹配某个参考句子；Hausdorff距离像最坏情况召回奖励，只有当所有相关发现都被提及时才饱和。这两种互补的奖励信号共同驱动GRPO训练。

方法步骤详情

方法包含四个主要步骤。第一步：报告编码。对于每个报告，将其Findings和Impression两个部分分别用标准句子分割器分割成句子，然后用冻结的all-mpnet-base-v2句子编码器将每个句子编码为d维嵌入向量，得到两个嵌入集合。第二步：格式验证。检查生成的报告是否符合指定的XML模板格式，格式奖励为0或1。第三步：集合距离计算。对于生成的报告和参考报告，计算它们的Findings和Impression嵌入集合之间的Chamfer距离或Hausdorff距离。Chamfer距离公式为在两个方向上平均最近邻余弦距离。Hausdorff距离取最坏情况的最大值。第四步：奖励聚合。将距离转换为相似性，然后将两个部分的奖励相加。最终奖励为格式奖励和语义奖励的加权和。

技术新颖性

技术新颖性体现在三个方面：一是将集合距离引入医疗报告生成的奖励设计，这是首次针对放射科报告的无序特性提出的解决方案；二是统一了训练和推理的信号，同一套距离度量既用于GRPO奖励，又用于测试时的候选选择和剪枝；三是提出了基于部分生成的动态剪枝策略，在生成过程中实时计算与训练分布的距离，提前终止低质量候选，节省50%以上的token生成量。相比现有的过程奖励模型需要步骤级标注，或精确匹配奖励忽略语义相似性，本文的方法在实用性、计算效率和效果上都有显著提升。

**Figure 1**: Sentence-level encoding of a chest X-ray report

**Figure 2**: Set distances and inference-time response selection

实验结果

实验在两个数据集上进行了评估：ReXGradient和MIMIC-CXR。使用三个视觉-语言模型作为基座：Qwen3-VL-2B、Qwen3-VL-4B和Gemma3-4B。评估指标包括嵌入指标和临床指标。在ReXGradient数据集上，Chamfer距离奖励在所有指标上表现最佳：平均BERTScore F1从0.329提升到0.353，提升约7.3%；RadGraph F1从0.234提升到0.254，相对提升8.5%；CheXbert F1从0.688提升到0.718，相对提升4.4%。在MIMIC-CXR数据集上，Hausdorff距离奖励表现最佳：平均BERTScore F1从0.316提升到0.336，相对提升6.3%；RadGraph F1从0.202提升到0.219，相对提升8.4%；CheXbert F1从0.495提升到0.515，相对提升4.0%。测试时选择实验显示，对于GPT-4o mini、Gemini 2.5 Flash-Lite、Mistral-Small等闭源通用大语言模型，集合距离引导的最佳选择相比随机选择在BERTScore上平均提升16.4%。对于GRPO微调的Qwen3-VL-4B模型，不同奖励配置下的选择策略也优于随机选择。剪枝实验表明，距离引导的剪枝策略能节省42.1%-60.1%的生成token，同时保持与完整生成相当的质量。在Mistral-Small上，剪枝相比随机选择在BERTScore F1上提升13.5%，在RadGraph F1上提升13.2%，在CheXbert F1上提升15.5%。

**Table 1**: GRPO post-training results on ReXGradient (Findings)

**Table 2**: GRPO post-training results on MIMIC-CXR (Findings)

**Table 3**: Headline results (Findings)

**Table 4**: Distance-guided pruning of generations (Findings)

查看结构化数据

任务	指标	本文	基线	提升
胸部X光报告生成 (ReXGradient - Findings)	BERTScore F1	0.353 (RCham, Qwen3-VL-2B)	0.339 (SFT)	+4.1% 绝对值, +7.3% 相对提升
胸部X光报告生成 (ReXGradient - Findings)	RadGraph F1	0.258 (RHaus, Qwen3-VL-2B)	0.247 (SFT)	+4.5% 绝对值, +4.4% 相对提升
胸部X光报告生成 (MIMIC-CXR - Findings)	BERTScore F1	0.343 (RHaus, Qwen3-VL-4B)	0.308 (SFT)	+11.4% 绝对值, +11.0% 相对提升
胸部X光报告生成 (MIMIC-CXR - Findings)	CheXbert F1	0.522 (RHaus, Qwen3-VL-4B)	0.488 (SFT)	+7.0% 绝对值, +7.0% 相对提升
测试时选择 (GPT-4o mini - Findings)	BERTScore F1	0.286 (距离引导选择)	0.250 (随机选择)	+14.4% 绝对值, +14.3% 相对提升

局限与改进

作者承认的局限性包括：剪枝策略需要在生成过程中额外进行集合距离计算，虽然句子编码器只有420MB大小，但确实增加了计算开销；实验主要在胸部X光报告上验证，尚未扩展到其他医学影像模态如MRI或CT报告；集合距离方法假设报告中的发现是独立的，可能忽略某些潜在的语义关联；方法依赖于冻结的句子编码器，编码器的质量直接影响奖励信号的质量；对于Impression部分的改进相对Findings部分较小，可能需要不同的奖励设计。自己观察的局限性：Hausdorff距离对单个离群值过于敏感，可能导致训练不稳定；Chamfer和Hausdorff距离没有考虑句子的相对重要性，所有句子权重相同；方法不直接处理否定或不确定性表达，这些在放射科报告中很常见；缺乏对生成报告可读性的显式约束。

独立分析的弱点

具体场景的弱点分析：第一，在发现数量差异较大的情况下，Chamfer距离可能给予不恰当的奖励。例如，生成报告遗漏关键发现但生成了很多无关细节时，可能仍获得较高分数，因为每个生成的句子都匹配到了某个参考句子。改进方向可以是引入重要性加权，让关键发现如异常发现的匹配权重更高。第二，Hausdorff距离对单个离群值过于敏感，一个错误句子会主导整个奖励。在临床环境中，某些发现可能确实不重要，不应该如此严重地影响奖励。改进方向可以是使用分位数距离或鲁棒聚合。第三，方法假设所有句子编码器的嵌入空间是各向同性的，但实际上BERT类模型存在各向异性问题，可能影响距离度量的有效性。改进方向可以是对嵌入进行后处理如白化或使用去各向异性技术。第四，当前的奖励设计没有考虑句子的否定和不确定性，而放射科报告中常见不排除、无明显等表达。改进方向可以是引入情感或置信度编码，让奖励区分正面和负面发现。

未来方向

作者提出的未来研究方向包括：将集合距离奖励扩展到其他医学影像模态如MRI、CT和超声报告生成，验证方法的通用性；探索更复杂的集合距离度量，如基于最优传输的部分最优传输距离；研究如何将集合奖励与过程奖励结合，既利用集合奖励的无序特性，又捕捉部分推理结构；将方法应用到多语言医疗报告生成，评估跨语言的有效性。基于成果可延伸的研究方向包括：开发动态重要性加权机制，根据发现的临床重要性调整其在集合距离中的权重；研究端到端训练的句子编码器，使其在特定医学领域产生更好的嵌入空间；探索集合距离与其他奖励的结合，如与专家反馈或图像一致性检查；将剪枝策略扩展到其他文本生成任务，如代码生成或摘要生成；研究如何将集合距离用于模型输出的异常检测，识别与训练分布偏差过大的生成。

复现评估

本文声称代码公开可用，这在方法复现方面是积极信号。数据集MIMIC-CXR是公开的医学影像数据集，但需要申请访问权限。ReXGradient数据集的获取方式文中未详细说明。实验使用三个模型：Qwen3-VL-2B、Qwen3-VL-4B和Gemma3-4B，这些都是开源或可访问的模型。句子编码器all-mpnet-base-v2是Hugging Face上的标准模型，容易获取。从算力需求看，主要的计算开销来自GRPO训练，需要生成多个样本并计算集合距离，但相比大语言模型的前向传播，距离计算的额外开销相对较小。实验报告了5个随机种子的结果，说明进行了充分的统计验证。从复现难度评估，只要能够访问数据集和模型，复现基线结果应该是可行的。但闭源LLM（GPT-4o mini、Gemini等）的测试需要API访问，可能产生额外成本。剪枝实验的实现细节需要参考代码才能完全复现，特别是剪枝阈值和频率的选择。