面向纵向胸片报告的变化感知 best-of-N 采样 Transition-Aware best-of-N sampling for Longitudinal Chest X-ray Reports
利用患者历史检查的变化特征，提升胸部X光报告生成的质量和临床一致性。
前置知识
Best-of-N采样
一种测试时扩展技术，从同一个生成器中采样N个候选输出，然后通过某种评分机制选择最好的一个。这种方法不需要修改生成器本身，只需在输出端增加一个选择器模块，是提升大型语言模型输出的有效方式。
本文的核心框架就是基于best-of-N采样，只是评分空间从传统的报告空间转移到了过渡空间，理解这个概念是把握本文方法的基础。
方向性集合距离
将两个集合映射到一个固定维向量的函数，具有方向性即T(A,B)不等于T(B,A)，能够编码从集合A到集合B的变化。论文提出了四种具体实现：Mean-Shift质心位移、Novelty新内容的平均残差、Dir-Hausdorff最差覆盖点的位移和Cost-OT成本加权最优传输。
这是本文的核心技术贡献，用于将先前当前报告对编码为单一向量，使得能够在过渡空间中进行相似度比较，是整个方法能够运作的关键。
纵向临床实践
在实际医疗场景中，患者的检查不是孤立的，而是系列性的。每次胸部X光检查都需要在患者既往检查的上下文中进行解读，放射科医生的报告很大程度上围绕患者自上次检查以来的变化进行组织，如间隔稳定、新出现的阴影、通气改善等变化性描述。
本文的核心动机就是针对这一真实临床场景，现有的best-of-N方法都孤立地处理每个测试图像，忽略了患者的历史上下文，这是本文要解决的根本问题。
Sentence Transformer
一种将文本句子编码为固定维度向量表示的预训练模型，论文使用的是all-mpnet-base-v2模型，将每个句子映射到768维的向量空间。这些向量能够捕获句子的语义信息，使得语义相近的句子在向量空间中距离较近。
本文将报告表示为句子嵌入的集合，这是后续所有计算的基础，包括过渡向量的计算和候选评分都依赖于这些高质量的句子嵌入。
研究动机
在真实的临床实践中，胸部X光检查几乎都是在患者既往检查的上下文中进行解读的。放射科医生的报告大部分内容都是围绕患者自上次检查以来的变化进行组织，比如间隔稳定、新出现的阴影、通气改善等变化性描述。然而，现有的胸部X光报告生成器以及相应的best-of-N选择管道都将每个测试图像孤立处理，仅仅将候选报告与单幅图像参考报告的分布进行比较。这种方式完全忽略了患者的纵向上下文，导致生成器可能产生一些在单幅图像层面看起来合理、但从患者历史角度却临床不合理的描述，比如静默地遗漏了一个慢性发现或幻觉出一个图像不支持的新发恶化。这种问题在实际临床场景中尤为突出，因为放射科医生的判断高度依赖于对患者疾病进展或稳定性的评估，而孤立处理的方法无法捕捉这种关键的纵向信息。
本文的目标是本文的目标是提出一个训练无关的best-of-N采样框架，使其明确感知患者从先前检查到当前检查的纵向过渡。具体来说，将选择标准从传统的是否像一个真实报告转变为其描述的变化是否符合训练数据中观察到的过渡模式。通过在过渡空间而不是报告空间中进行候选评分，能够惩罚那些描述了临床不合理变化的候选报告，因为它们相对于先前报告的偏离偏离了训练中观察到的位移模式。这种方法不需要修改生成器本身，可以直接应用于任何预训练的胸部X光报告生成器，同时能够在测试时利用患者的纵向上下文来提升报告生成的质量和临床一致性。
与已有工作不同的是，本文的独特切入角度在于将best-of-N的选择阶段从报告空间转移到过渡空间。现有的方法如SDR虽然也使用句子集合距离作为best-of-N选择的评分器，但它们仍然是图像无关的，不编码访视之间的变化。而BioViL-T等工作虽然利用了患者的历史研究，但都是在生成阶段将先验研究注入解码器，需要修改生成器。本文则是第一个在训练无关的best-of-N选择阶段显式条件化患者先验检查的方案，不需要对生成器进行任何修改，可以直接应用于任何预训练的胸部X光报告生成器。这种在选择阶段注入纵向上下文的方式，与在生成阶段注入的方式形成了互补，为解决纵向报告生成问题提供了新的思路。
核心方法
本文方法的整体思路是将每份胸部X光报告分割成句子，通过冻结的句子变换器嵌入为$\mathbb{R}^d$中的无序集合。每个先前当前对通过设计用于编码两者之间变化的方向性集合距离简化为固定维方向向量。候选报告通过将其候选过渡向量到缓存的真实训练过渡向量库的余弦距离进行评分，聚合为min或kNN。直觉上，过渡向量库提供了报告在访视之间如何变化的先验，而不仅仅是单个报告的样子。一个在单幅图像层面看起来合理的候选报告，可能仍然描述了一个相对于患者先验研究在临床不合理的变化，比如静默地遗漏一个慢性发现或幻觉出一个图像不支持的新发恶化。在过渡空间评分正是惩罚这些候选报告，因为它们相对于先验的偏离偏离了训练中观察到的位移。
核心创新点是将best-of-N的评分从报告空间转移到过渡空间。具体体现在三个方面：一是使用方向性而非对称的集合距离$T(A,B)$，能够编码从先验到当前的变化，其向量值输出使得能够在不同的$(A,B)$对之间进行余弦式比较；二是构建训练过渡向量库$B_S^T = \{g_S^t\}_{t=1}^N$，提供报告在访视之间如何变化的先验；三是在测试时将每个候选报告转换为自己的过渡向量$\hat{g}_{S,j}$，并通过余弦距离$D_{S,t}(\hat{y}) = \frac{1}{2}(1 - \frac{\langle \hat{g}_{S,j}, g_S^t \rangle}{\|\hat{g}_{S,j}\|_2 \|g_S^t\|_2})$与训练库进行比较。这使得评分器能够捕捉到这个候选报告描述的变化是否真实的信号，而不仅仅是这个候选报告是否像一个真实报告的信号。
方法步骤详情
方法分为三个步骤。第一步是句子集合报告表示：使用all-mpnet-base-v2将每份报告的Findings和Impression部分嵌入为$\mathbb{R}^d$中的无序集合。第二步是过渡表示：通过四种方向性集合距离之一，如Mean-Shift $T_{ms}(A,B) = \mu(B) - \mu(A)$，将先前当前报告对编码为固定维向量。第三步是过渡感知best-of-N采样：预计算训练过渡向量库，在测试时计算候选过渡向量并通过余弦距离评分，选择最接近训练库的候选。整个过程中，$E_F(r)$和$E_I(r)$分别表示Findings和Impressions的句子嵌入集合，$g_S^{(k)} = T(E_S(r^{(k-1)}), E_S(r^{(k)}))$表示过渡向量，$D(\hat{y}) = D_F(\hat{y}) + D_I(\hat{y})$表示总库距离。
技术新颖性
本文的技术新颖性体现在多个方面：首先是提出了方向性集合距离的概念，与传统的对称标量集合距离不同，$T(A,B)$编码从$A$到$B$的变化，其向量值输出使得能够在不同的$(A,B)$对之间进行余弦式比较；其次是构建了训练过渡向量库作为先验，这使得评分器能够学习到报告在访视之间如何变化的模式；第三是四种方向性集合距离的具体设计，特别是Cost-OT通过成本加权避免了平凡塌陷；第四是在三个视觉语言生成器和三种提示上的全面评估，显示了方法在不同设置下的稳定性。
实验结果
实验结果显示过渡感知best-of-N在所有9个配置中优于随机选择。在Impressions部分，最强配置给出$+8.5\%$ ROUGE-L、$+13.6\%$ RadGraph F1和$+4.4\%$ METEOR。平均来说，所有过渡方法在ROUGE-1上给出$+6.5\%$、在ROUGE-L上$+8.1\%$、在RadGraph上$+11.3\%$的相对提升。在Findings部分，最强结果在BERTScore-F1上给出$+2.5\%$、在RadGraph F1上给出$+4.7\%$。按模型和提示的细分显示，方法在较弱提示上获得最大增益，在Gemini和Mistral生成器上都有一致趋势。Dir-Hausdorff/kNN在Impressions的BLEU-1和METEOR上表现最好，Mean-Shift/min在RadGraph上最强，Cost-OT/min在Findings的BERTScore和RadGraph上领先。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Impressions生成 | ROUGE-L | 0.137 (Dir-Hausdorff/kNN) | 0.126 (Random) | +8.6% |
| Impressions生成 | RadGraph F1 | 0.064 (Mean-Shift/min) | 0.057 (Random) | +13.2% |
| Impressions生成 | METEOR | 0.162 (Dir-Hausdorff/kNN) | 0.155 (Random) | +4.4% |
| Findings生成 | BERTScore-F1 | 0.201 (Cost-OT/min) | 0.196 (Random) | +2.5% |
| Findings生成 | RadGraph F1 | 0.105 (Cost-OT/min) | 0.101 (Random) | +4.7% |
| Findings生成 | CheXbert F-14 | 0.377 (Mean-Shift/kNN) | 0.368 (Random) | +2.2% |
局限与改进
作者承认的局限性包括：方法目前只考虑了单个先验访视，而实际临床实践中患者可能有更长历史的检查记录；候选池的大小$K=5$相对较小，更大的候选池可能提供更多选择但会增加计算开销；方法假设训练报告是可靠的，如果训练数据中存在噪声或错误可能会影响过渡向量库的质量；评估只关注了AP/PA视图，其他视图的行为可能不同。此外，方法依赖于句子分割的质量，方向性集合距离可能不是最优的，在Findings部分的提升相对较小，需要构建和存储训练过渡向量库可能占用较多存储空间。
独立分析的弱点
首先，方法在Findings部分的提升相对较小，可能因为Findings部分包含更多细节描述，变化模式更复杂，简单的方向性集合距离可能无法充分捕获这些细微变化。改进方向可以考虑设计更复杂的过渡表示，比如层次化的过渡向量。其次，方法目前只考虑了单个先验访视，忽略了更长期的历史信息，改进方向是扩展到多历史访视。第三，四种方向性集合距离都是手工设计的，可能不是最优的，可以考虑学习到的方向性编码器。第四，方法在较弱提示上获得最大增益，但在较强提示上增益相对较小，改进方向是研究如何将先验条件的生成与先验条件的选择作为两种互补方式。
未来方向
作者提出的未来方向包括：学习到的方向性编码器训练以最大化与目标临床指标的对齐；更大的候选池$N$；更长历史超越单个先验访视；结合先验条件的生成与先验条件的选择。基于本文成果，可以延伸的方向包括：将过渡感知best-of-N应用到其他医学影像模态；扩展到其他报告部分；研究如何利用过渡向量库进行异常检测；探索如何将过渡感知选择与训练时的目标函数结合；将过渡表示与临床结局关联，研究哪些过渡模式与更好的临床预后相关。
复现评估
论文没有明确提到代码开源情况，这给复现带来一定挑战。数据方面，使用的是从ReXGradient-160K派生的多访视AP/PA队列，这是一个公开可用的胸部X光数据集。具体来说，保留至少两次合格检查的患者，每个患者采样单个视图，为每个连续访视对形成一个过渡，最终得到$22,745$个训练过渡和$1,727$个测试过渡。句子变换器使用的是预训练的all-mpnet-base-v2模型，这是一个公开可用的模型。评估使用了标准NLP重叠指标和临床内容指标，包括BLEU、ROUGE、METEOR、BERTScore、RadGraph和CheXbert-F1。计算方面，主要开销来自句子嵌入的计算和候选过渡向量的计算，对于冻结的句子变换器，这些计算可以相对高效地完成。存储方面，需要缓存训练过渡向量库，存储需求应该是可控的。
论文图表
