RL 何时帮助医学视觉语言模型？分离视觉、监督微调和强化学习的增益 When Does RL Help Medical VLMs? Disentangling Vision, SFT, and RL Gains
RL 主要锐化已有支持，SFT 扩展支持，需先桥接再锐化
前置知识
VLM（Vision-Language Model）
视觉语言模型是一种联合处理图像和文本的多模态模型，通过共享编码器或交叉注意力机制实现图像和语言的语义对齐，能够执行视觉问答、图像描述等任务。医疗 VLM 专门针对医学影像和临床文本进行优化，用于医学诊断辅助、报告生成等场景。
本文研究对象是医学 VLM 的后训练方法，理解 VLM 架构和训练流程是判断 RL 增益来源的基础。
Pass@K 与 Accuracy@1
Pass@K 是在 K 次独立采样中至少有一次正确的概率，衡量模型的潜在能力或支持范围；Accuracy@1 是贪婪解码下单次采样正确的准确率，反映模型默认行为下的表现。两者之间的差距 GK = Pass@K - Acc@1 称为支持差距，指示模型是否存在未利用的潜在能力。
本文核心通过对比这两个指标来诊断 RL 是否扩展支持还是仅改善采样效率，这是理解论文方法论的关键。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，通过在组内相对比较策略输出而不是依赖显式价值函数来优化策略，适用于无需精确奖励信号的场景。一致性感知 GRPO 在此基础上增加了对多个样本输出一致性的约束，以稳定小数据上的优化过程。
本文使用 GRPO 作为 RL 后训练方法，理解其工作机制有助于分析 RL 如何影响模型输出分布。
线性探测（Linear Probing）
线性探测是一种评估表征质量的方法，冻结预训练模型的特征提取器，仅训练一个线性分类器来评估冻结特征的可分性。高准确率表示特征已包含足够的类别信息，低准确率则表示特征本身存在瓶颈。
本文用线性探测评估 VLM 视觉塔的感知能力，判断性能瓶颈是视觉端还是语言端。
支持边界（Support Boundary）
支持边界描述模型在给定任务分布上能够产生正确答案的能力上限。通过 Pass@K 衡量潜在支持，Acc@1 衡量已实现支持，两者差距反映模型是否有未利用的能力。边界视角帮助判断 RL 是扩展能力还是仅重新分配已有能力。
本文提出边界感知训练配方，理解支持边界概念是把握全文框架的核心。
研究动机
医疗视觉语言模型的强化学习后训练在医学领域应用日益广泛，但其效果来源存在根本性不确定。现有文献紧密遵循通用 RLVR 流程：从大规模预训练通用 VLM 出发，在小规模医学数据子集上进行有限的 SFT 和 RL 后训练，由于高质量可验证奖励和 curated 推理数据获取困难，这些方法报告的结果在不同模态和任务上表现不均，跨模态泛化表现不一致。即使是在多种成像类型上训练的模型，也无法保证稳定的跨模性能。这留下了三个根本问题未解答：观察到的改进中多少来自视觉感知而非语言端对齐，多少归因于 SFT 而非 RL，以及在什么条件下 RL 在医学设置中值得其成本。在通用 LLM 文献中，Yue 等人通过 Pass@K 行为质疑 RLVR 本质上创建新推理能力的假设，认为 RL 主要重塑输出分布以更高效采样正确解，且不扩展底层支持。Zhang 等人的受控实验进一步表明后训练增益关键取决于基础模型能力边界以及训练数据如何覆盖该边界。
本文的目标是本文将这些问题带到医学 VLM 领域，目标是三个层面刻画：一是通过模态级感知探测识别感知极限；二是通过对比 Accuracy@1 和 Pass@K 刻画推理能力边界；三是评估 GRPO 风格 RL 何时帮助医学 VLM，测试域内增益和模态内及跨模态转移，在基础模型和 SFT 初始化模型两种条件下进行。基于这些发现，提出一个边界感知配方并验证其在多个医学 VQA 基准上的有效性。
与已有工作不同的是，本文的独特切入角度是将通用 LLM 文献中关于 RL 效果争议的视角引入医学 VLM，通过边界视图结合模态级感知探测来诊断 RL 何时能提供帮助。与标准 SFT→RL 流程不同，本文提出支持优先配方：仅在需要时通过针对性桥接提高 Pass@K，然后将 RL 作为锐化阶段而非假设 RL 普遍有益。这种方法在可控的 MedMNIST-v2 多模态测试平台上分离视觉、SFT 和 RL 的贡献，避免了传统 pipeline 中数据混合、奖励设计和模态覆盖差异带来的混淆因素。
核心方法
方法整体思路首先是通过可控的多模态测试平台 MedMNIST-v2 分离三个因素的效果：视觉感知能力、监督微调和强化学习。在视觉维度，通过线性探测冻结的视觉编码器来识别表征瓶颈；在推理维度，通过对比贪婪解码下的 Accuracy@1 和多采样的 Pass@K 来量化每个模型的潜在支持和已实现行为之间的差距；在 RL 维度，测试域内增益和模态内、跨模态转移，评估在基础模型和 SFT 桥接模型初始化下 GRPO 风格 RL 的效果。基于这些分析，提出边界感知后训练配方：给定目标可靠性阈值 τ，先在小验证集上估计 SK(D) = Pass@K(D) 和 A(D) = Acc@1(D)，如果 SK(D) < τ 则优先桥接以扩展支持，如果 SK(D) ≥ τ 则应用 RL 改善采样效率，同时监控 SK 和 GK 避免过度锐化导致支持崩溃。
核心创新点是引入边界感知视角诊断 RL 在医学 VLM 中的作用机制，发现 RL 最有效的条件是模型已经具有非平凡支持（高 Pass@K），此时 RL 主要通过锐化输出分布改善 Acc@1 和采样效率，而 SFT 扩展支持并使 RL 有效。这与普遍认为 RL 创建新推理能力的假设相反，RL 实际上是在已有支持基础上进行分布重塑而非能力扩展。另一个关键创新是提出支持优先的配方：先桥接弱支持区域，再用 RL 锐化，这解释了为什么从已桥接检查点开始的 RL 后训练可以改善准确率而避免在弱支持基础上的失败模式。
方法步骤详情
方法步骤的完整描述分为分析和实践两个阶段。分析阶段：第一步是视觉感知探测，冻结每个模型的视觉编码器，用 MedMNIST-v2 进行线性探测评估表征质量，识别感知瓶颈；第二步是支持边界刻画，将每个 MedMNIST 任务转换为包含 C 个选项的多选 VLM 提示，要求模型输出选项字母，使用贪婪解码计算 Accuracy@1，使用 K ∈ {1,2,4,8,16} 次独立采样计算 Pass@K，两者对比刻画潜在支持边界；第三步是 RL 效果评估，在每个模态各选择一个任务进行针对性 RL 后训练，分别从基础模型和 SFT 桥接模型初始化，评估域内、模态内和跨模态转移下的 Acc@1 和 Pass@16 变化。实践阶段：在 OctoMed-7B 基础上，从 PMC-VQA 训练集中采样 8000 个平衡的多选题，用 Qwen2.5-VL-32B-Instruct 分类每个问题为常见成像类别（MRI、CT、超声、X 光、显微镜、皮肤科、OCT）和 none 标签，构建模态平衡子集，应用一致性感知 GRPO 风格 RL 进行后训练，最后在六个多模态医学基准上评估。
技术新颖性
技术新颖性体现在三个方面：一是首次将边界视图系统应用于医学 VLM 的后训练诊断，通过 Pass@K 和 Acc@1 的差距量化模型能力边界而非仅关注最终准确率；二是提出支持优先的训练配方，颠覆了默认的 SFT→RL 顺序，强调先扩展支持再锐化，这比直接应用 RL 到弱支持模型更有效；三是使用 MedMNIST-v2 作为可控多模态测试平台进行受控实验，能够分离视觉、SFT 和 RL 的贡献，避免了传统 pipeline 中多种因素混杂导致的分析困难。与通用 LLM 文献相比，本文将边界视角扩展到多模态领域，增加了模态级感知探测，并提出了在真实医学 VQA 任务上的可执行配方。
实验结果
核心发现分为三个层面。在视觉感知层面，线性探测实验显示基础模型在许多 MedMNIST 任务上已经有合理可分的视觉特征，如在 BloodMNIST 上达到 96.19%，在 OCTMNIST 上达到 84.30%；医学 SFT 进一步改进它们，特别是在较弱数据集上，如在 TissueMNIST 上从 48.26% 提升到 51.99%；RL 不一致地改进 ViT 探测准确率，在某些任务上甚至下降，如在 OrganAMNIST 上从 80.95% 降至 75.00%，表明其效果主要在采样/对齐而非视觉表示。几个数据集仍然远低于 MedViT-v2 参考，如 PneumoniaMNIST 上 MSFT 仅 16.51% 而参考达到 97.30%，表明感知瓶颈限制下游增益。在支持边界层面，Accuracy@1 经常远低于 Pass@K，如在 OrganCMNIST 上 MBase 的 Acc@1 为 10.94% 而 Pass@16 达到约 40%，表明贪婪解码未实现的实质潜在支持。医学 SFT 同时提高 Accuracy@1 和 Pass@K，如在 BloodMNIST 上 Acc@1 从 13.16% 提升到 76.00%，Pass@K 也有显著提升，与改进覆盖和对齐一致。相反，RL 后训练基线在 MedMNIST 上不一致地改进 Accuracy@1 且经常减少 Pass@K，表明分布锐化而不扩展支持，有时甚至导致边界变窄。在 RL 有效性层面，RL 主要作为锐化工具：当模型已经具有非平凡支持时，RL 改善 Acc@1 如在 OrganAMNIST 上从基础模型初始化的 RL 提升显著，但当支持弱时（大或跨模态偏移），准确率增益有限且 Pass@K 可能下降，特别是从未桥接基础模型开始。在八个医学基准上的平均性能从 OctoMed 的 62.16% 提升到本文的 64.91%，在 PMC-VQA 上从 55.50% 提升到 59.00%，在 SLAKE 上从 84.00% 提升到 88.00%，验证了边界感知配方的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PMC-VQA | 准确率 | 59.00% | OctoMed-7B (55.50%) | +3.50% |
| MMMU-Med | 准确率 | 62.94% | QoQ-Med-7B (61.18%) | +1.76% |
| MedX-M | 准确率 | 34.50% | MedVLThinker-7B (27.50%) | +7.00% |
| PathVQA | 准确率 | 65.50% | Qwen2.5-VL-7B (65.00%) | +0.50% |
| SLAKE | 准确率 | 88.00% | OctoMed-7B (84.00%) | +4.00% |
| VQA-Rad | 准确率 | 79.00% | OctoMed-7B (79.00%) | 0.00% |
| OrganAMNIST (线性探测) | 准确率 | MSFT (89.01%) | MBase (85.27%) | +3.74% |
| BloodMNIST (Accuracy@1) | 准确率 | MSFT (76.00%) | MBase (13.16%) | +62.84% |
局限与改进
局限性包括作者承认的和分析观察到的。作者承认 MedMNIST 作为测试平台的局限性：虽然它提供可控的多模态评估，但简化了真实临床场景，224×224 的统一输入分辨率和有限的类别数量可能不完全代表复杂医学影像的挑战。此外，本文仅使用 8000 个 PMC-VQA 问题进行 RL 后训练，数据规模相对较小，可能限制模型在更广泛分布上的泛化能力。观察到的局限包括：线性探测和 Pass@K 诊断依赖于假设冻结表征的单调性，实际训练中动态更新可能导致更复杂的交互；边界感知配方中的阈值 τ 需要根据任务和风险承受度手动调优，缺乏自动化选择机制；RL 后训练仅测试了 GRPO 风格算法，其他 RL 方法如 PPO、DPO 可能有不同的支持扩展行为；跨模态转移实验显示了 RL 的局限性，特别是在大模态偏移下增益有限且可能导致支持下降，表明 RL 的效果高度依赖于源和目标分布的相似性。
独立分析的弱点
独立分析的弱点包括五个方面。第一，诊断方法依赖小验证集估计 Pass@K，在小数据场景下估计可能不稳定，特别是在高类别数任务中，多次采样的计算开销随 K 线性增长限制了实际应用中的诊断效率。第二，边界感知配方假设支持和锐化阶段可以清晰分离，实际训练中 SFT 和 RL 可能同时扩展和锐化支持，两者的交互效应需要更精细的控制实验。第三，模态平衡构建依赖另一个大模型进行分类，可能引入分类错误传播问题，且 'none' 标签的处理可能导致模态覆盖不完整。第四，RL 后训练使用 8000 个样本的相对小规模数据，在更复杂任务或更大分布上可能需要更多数据才能实现稳定锐化，小数据上的 RL 训练不稳定性和过拟合风险需要更系统的分析。第五，本文仅测试了 Qwen2.5-VL-7B 作为基础模型，不同架构和规模的 VLM 可能具有不同的初始支持边界和 RL 响应特性，配方的通用性需要更多验证。改进方向包括开发更高效的 Pass@K 估计方法如重要性采样，设计联合优化 SFT 和 RL 的端到端框架，引入主动学习选择最具信息量的桥接样本，扩展到更多基础模型和 RL 算法，以及在更真实和多样化的临床数据上验证边界感知配方。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的。作者提出可以扩展边界视图到更多医学任务和模态，包括 3D 医学影像、时间序列数据和多模态报告，验证支持优先配方在不同临床场景下的有效性。基于成果可延伸的方向包括：一是探索自动化阈值选择机制，通过元学习或贝叶斯优化根据任务风险容忍度动态调整 τ，减少配方应用中的人工调参；二是研究 RL 在扩展支持而非仅锐化方面的潜力，设计奖励函数明确鼓励探索新能力而非仅强化已有解；三是将边界感知配方与数据选择结合，主动学习选择能够最大化支持扩展的样本进行桥接，提高数据效率；四是扩展到连续输出任务如分割和检测，支持边界的概念可能需要扩展到输出空间的连续度量；五是研究长期训练中的支持动态，追踪 SFT 和 RL 阶段中 Pass@K 和 Acc@K 的变化轨迹，理解不同训练阶段的转换条件；六是探索跨任务和跨机构转移中的支持保留机制，设计能够在分布偏移下维护支持的正则化方法。
复现评估
复现评估包括开源情况、数据、算力和难度。项目页面 https://medbridgerl.github.io 提供了论文和代码，测试数据 MedMNIST-v2 和基准数据集 PMC-VQA、MMMU、MedX-M、PathVQA、SLAKE、VQA-Rad 均为公开数据集，易于获取。基础模型 Qwen2.5-VL-7B-Instruct 和 OctoMed-7B 为开源模型，可直接获取。RL 后训练使用 8000 个样本的相对小规模数据，在单个或少量 GPU 上应该可以复现。然而，完整的实验管线包括多个阶段：线性探测、Pass@K 诊断、RL 训练和基准评估，需要仔细实现每个阶段的超参数和数据处理。一致性感知 GRPO 的实现细节在论文中描述有限，需要根据 GRPO 标准实现自行推断一致性机制。整体难度中等，主要挑战在于精确复现实验设置和确保诊断方法与论文一致，特别是 Pass@K 的采样策略和验证集划分。算力需求方面，7B 模型的 RL 后训练在 8000 样本上需要若干 GPU 小时，但远小于大规模预训练的要求。
论文图表