RL 到底改善了视觉推理的什么？一种弗兰肯斯坦式的分析

通过拆解-干预-重组的弗兰肯斯坦框架，揭示 RL 真正改进的是中后层的视觉-推理对齐

前置知识

视觉语言模型 (VLM)

视觉语言模型是一类能够同时处理图像和文本输入的多模态大模型，典型架构包括一个视觉编码器（如 ViT）将图像转换为视觉 token，再与文本 token 一起输入 Transformer 语言骨干网络。代表模型包括 Qwen-VL、LLaVA 等。本文研究的对象正是这类模型在视觉推理任务上的表现。

本文的核心实验对象是基于 Qwen2.5-VL-7B 的 VLM，理解 VLM 的基本架构（视觉编码器 + Transformer 语言骨干）是理解本文层区划分和功能定位的前提。

强化学习后训练 (RL post-training)

在大模型预训练和监督微调之后，使用强化学习算法（如 GRPO）进一步优化模型。RL 利用稀疏奖励反馈和延迟信用分配来激发模型的推理行为。本文关注的两阶段范式是：先用监督微调做初始化（IN），再用 RL 做进一步优化。这种范式在 DeepSeek-R1 等工作中取得了巨大成功，随后被广泛引入视觉推理领域。

本文的核心问题就是「RL 在视觉推理中到底改进了什么」，因此理解 RL 后训练的基本流程和机制是理解全文研究动机的基础。

GRPO (Group Relative Policy Optimization)

GRPO 最早由 DeepSeekMath 提出，后在 DeepSeek-R1 中大规模应用。它是一种基于组内相对排名的策略优化算法，不需要单独训练价值模型，而是通过生成多个候选回答并比较它们的奖励来估计优势函数。由于实现简单、训练稳定，GRPO 成为当前视觉推理 RL 后训练的主流算法。

本文分析的三个训练配方（OpenMMReasoner、MMR1、Revisual）都基于 GRPO，理解该算法有助于理解 RL 训练过程中的参数更新机制。

注意力机制与层功能分区

Transformer 通过多头自注意力机制处理序列信息。在 VLM 中，不同层承担不同功能：早期层主要处理视觉感知（如物体识别），中期层处理高级视觉信息（如 OCR、计数、定位），后期层主要负责推理计算。本文将 28 层 Transformer 按 1/3-1/3-1/3 的比例划分为 Early/Mid/Late 三个区域，作为分析 RL 效应的功能参考框架。

本文的全部分析都建立在层功能分区的基础上，理解这一概念是理解弗兰肯斯坦框架三大组件的关键。

模型合并 (Model Merging)

模型合并是一种将来自不同训练检查点的参数组合在一起的技术。本文采用最简单的方式：直接复制指定层的全部参数（包括自注意力、前馈网络和层归一化参数），不做额外微调或校准。通过在 Early/Mid/Late 三个区域分别选择来自 IN 或 RL 检查点的参数，可以构造 8 种混合模型，从而验证 RL 引入的变化是否具有区域特异性和可迁移性。

模型合并是本文验证 RL 效应可迁移性的核心实验手段，理解其原理有助于理解为什么特定层区的 RL 参数能被移植到 IN 模型中并保持性能提升。

研究动机

近年来，RL 后训练已成为提升视觉语言模型视觉推理能力的标准流程。然而，端到端基准测试的准确率提升掩盖了一个根本性问题：我们并不清楚 RL 到底改善了模型的哪些能力。现有的视觉推理基准（如 MathVista、MathVerse、MathVision、LogicVista）只能报告聚合准确率，无法区分三种可能的改进来源：（1）视觉感知能力的提升（更好的图像理解），（2）语言端推理能力的提升（更强的逻辑推导），或（3）视觉到推理对齐的改善（推理更好地利用视觉证据）。更令人困惑的是，已有研究表明，视觉能力并不能从推理长度的增加中可靠获益，冗长的推理甚至可能通过放大语言先验来加剧视觉错误。本文通过实验证实，从 Base 模型到 IN 模型再到 RL 模型，虽然端到端基准准确率单调提升，但细粒度评估指标（视觉能力、推理能力、视觉-推理对齐）并不呈现单调递增的趋势，这直接质疑了「RL 全面提升了视觉推理」的朴素认知。

本文的目标是本文的目标是回答一个核心问题：在不同训练配方下，RL 到底一致地改进了视觉推理的什么能力？这不是一个可以通过端到端基准回答的问题，因为聚合准确率会混淆多种内部变化。作者希望通过系统化的分析框架，将 RL 的效应定位到 Transformer 的具体功能区域，并验证这些效应是否具有可迁移性和因果必要性。具体来说，他们希望：（1）建立视觉和推理功能在 Transformer 深度上的分区参考框架；（2）刻画 RL 更新在不同功能区域中的几何特征差异；（3）通过模型合并验证 RL 效应的可迁移性；（4）通过参数冻结验证 RL 效应的因果必要性。

与已有工作不同的是，虽然已有大量工作提出了基于 RL 的视觉推理改进方法，但绝大多数研究只关注端到端基准性能的提升，将模型视为黑箱。少数从参数空间角度分析 RL 的工作主要聚焦于纯语言模型，尚未系统地将此类分析扩展到视觉语言模型。本文的独特切入角度在于：（1）提出弗兰肯斯坦式分析框架，通过拆解-干预-重组的方式追踪 RL 对 VLM 的内部改变；（2）引入三个细粒度评估指标，将视觉推理能力分解为视觉感知、视觉-推理对齐和纯推理三个独立维度；（3）在层粒度上验证 RL 效应的可迁移性和因果必要性。这种分析视角揭示了 RL 的真正贡献不在于全面增强视觉感知，而在于系统性地精炼中后层的视觉-推理对齐和推理计算。

核心方法

本文的方法可以用一个形象的比喻来理解：就像弗兰肯斯坦博士将不同来源的部件组装成一个完整的身体一样，作者将 VLM 拆解成不同的功能区域，分别从经过 IN 训练和 RL 训练的模型中提取这些区域的参数，再将它们重新组装成混合模型，以此来测试每个区域对 RL 改进的贡献。整个框架包含三个组件：第一，功能定位（Functional Localization），通过因果探针确定视觉和推理功能在 Transformer 各层中的位置，建立 Early/Mid/Late 的功能分区参考框架；第二，更新刻画（Update Characterization），通过比较 IN 和 RL 训练后各层参数更新的幅度和几何结构，揭示 RL 更新的层间分布特征；第三，迁移性测试（Transferability Test），通过层粒度的模型合并验证 RL 引入的功能改进是否可以从 RL 模型移植到 IN 模型中。最后，作者还通过参数冻结实验验证了 RL 效应的因果必要性。

本文的核心创新点在于揭示了一个违反直觉的发现：RL 在视觉推理中的可靠贡献并非全面增强视觉感知能力，而是系统性地精炼中后层 Transformer 的计算，主要体现在视觉-推理对齐和推理能力的提升上。这与「RL 应该全面提升模型能力」的朴素预期形成鲜明对比。具体而言，作者发现：（1）端到端基准准确率的单调提升掩盖了细粒度能力的非单调变化——视觉能力在 IN 和 RL 阶段都可能出现波动；（2）尽管如此，RL 在不同训练配方下一致地增加了推理 token 对视觉 token 的注意力，且这一效应集中在中后层；（3）在参数层面，RL 更新的能量（Frobenius 范数）集中在中间层，但与 IN 不同的是，RL 更新的多样性（奇异值谱衰减速度）在中后层明显更陡峭，表明优化能量集中在更少的主方向上，是一种更聚焦的、低维度的参数精炼。

方法步骤详情

本文的方法分为以下步骤：首先，功能定位阶段，使用基础模型（Qwen2.5-VL-7B-Instruct，28 层 Transformer）进行因果探针实验。对于视觉功能定位，构建配对图像数据集（每对图像仅在一个视觉属性上不同），在指定层替换视觉 token，通过 Change Rate 指标定位各视觉功能（识别、OCR、计数、定位）所在的层区。对于推理功能定位，采用逐层跳过（layer skipping）策略，将某层的输入直接作为输出，通过在 GSM8K 和 MATH500 上的错误率变化定位推理功能层区。结果表明 Early 层负责简单视觉处理，Mid 层处理高级视觉信息，Late 层负责推理计算。其次，更新刻画阶段，计算 IN 和 RL 训练后的逐层参数更新，通过 Frobenius 范数衡量更新能量，通过奇异值分解的谱衰减速度衡量更新多样性。第三，迁移性测试阶段，将 28 层按 1/3-1/3-1/3 划分为 Early（0-9）、Mid（10-18）、Late（19-27）三个区域，枚举所有 IN/RL 区域组合（共 8 种混合模型），直接复制参数构造混合模型，评估视觉、推理和视觉-推理对齐三个细粒度指标。最后，必要性验证阶段，在 RL 训练过程中冻结一个区域的参数，观察对最终性能的影响。

技术新颖性

本文的技术新颖性体现在多个层面。首先，弗兰肯斯坦式分析框架本身就是一个创新的分析范式——它将模型拆解为功能区域、分别干预、再重组验证，这种「拆解-干预-重组」的分析思路在视觉推理的 RL 分析中是首次系统化应用。其次，三个细粒度评估指标的设计非常巧妙：视觉指标 $M_{vis}$ 要求模型在真实图像下正确但黑图下错误，从而过滤掉不需要视觉就能解决的样本；视觉-推理对齐指标 $M_{v2r}$ 要求模型在图像和文本描述两种输入下都正确，从而检验视觉证据是否被一致地整合到推理中；推理指标 $M_{rea}$ 直接在纯文本数学题上评估，隔离语言端推理能力。这种设计将原本混淆在聚合准确率中的三种能力解耦出来。第三，通过模型合并验证可迁移性的方法也颇具新意——它不仅能验证 RL 效应是否具有模块性，还能精确定位哪些层区的改进是可移植的。

实验结果

本文的核心发现可以总结为三个层面。第一，在行为层面，作者在三个训练配方（OpenMMReasoner、MMR1、Revisual）上验证了端到端基准准确率从 Base 到 IN 到 RL 单调递增的现象，但细粒度评估揭示了截然不同的图景：视觉能力 $M_{vis}$ 和推理能力 $M_{rea}$ 并不单调递增。例如，在 OpenMMReasoner 配方上，视觉能力从 Base 的 38.0 提升到 IN 的 47.0，但在 RL 阶段回落到 42.0；推理能力从 Base 的 63.0 提升到 IN 的 78.0，RL 阶段保持在 78.0。在 MMR1 配方上，视觉能力从 Base 的 38.0 到 IN 的 44.0 再到 RL 的 50.0，推理能力从 Base 的 63.0 到 IN 的 60.0 再到 RL 的 62.0，同样呈现非单调变化。这种非单调变化在多个训练配方中普遍存在，表明基准准确率的提升可能掩盖了内部能力的此消彼长。第二，在注意力层面，作者发现 RL 一致地增加了推理 token 对视觉 token 的注意力质量，且这一效应集中在中后层（约第 15-25 层），而在早期层几乎没有变化。这一模式在三个训练配方中都保持一致，是 RL 最可靠的推理时行为改变。第三，在参数层面，模型合并实验表明，保留 RL 精炼的中后层（尤其是 IN:RL:RL 配置）能一致地保留视觉-推理对齐和推理能力的提升。在 OpenMMReasoner 上，IN:RL:RL 模型的视觉-推理对齐得分达到 59.0（IN 为 55.0，RL 为 61.0），推理得分达到 81.0（IN 为 78.0）。参数冻结实验进一步证实了因果必要性：冻结 Late 层后性能下降，而冻结 Early 层反而获得了更好的性能（视觉 35.0、视觉-推理 31.0、推理 36.0，均优于标准 RL 的 33.0、29.0、34.0）。

查看结构化数据

任务	指标	本文	基线	提升
视觉能力 (Mvis) - OpenMMReasoner	Vision Score	RL 模型 42.0	IN 模型 47.0 / Base 模型 38.0	RL 相比 IN 下降 5.0 点
视觉-推理对齐 (Mv2r) - OpenMMReasoner	Vision-to-Reasoning Score	RL 模型 61.0	IN 模型 55.0 / Base 模型 46.0	RL 相比 IN 提升 6.0 点
推理能力 (Mrea) - OpenMMReasoner	Reasoning Score	RL 模型 78.0	IN 模型 78.0 / Base 模型 63.0	RL 相比 IN 持平
视觉-推理对齐 - 模型合并 IN:RL:RL	Vision-to-Reasoning Score	59.0 (OpenMMReasoner)	IN 模型 55.0	+4.0 点
推理能力 - 模型合并 IN:RL:RL	Reasoning Score	81.0 (OpenMMReasoner)	IN 模型 78.0	+3.0 点
参数冻结 - Frozen Late	Vision-to-Reasoning / Reasoning	V2R: 27.0, R: 34.0	标准 RL: V2R: 29.0, R: 34.0	冻结 Late 层导致 V2R 下降
参数冻结 - Frozen Early	Fine-grained Metrics	V: 35.0, V2R: 31.0, R: 36.0	标准 RL: V: 33.0, V2R: 29.0, R: 34.0	冻结 Early 层反而优于标准 RL

局限与改进

作者在附录中明确承认了三个主要局限。首先，本文聚焦于 IN+RL 两阶段后训练范式，而非从零开始的 RL 训练，因此研究发现可能不能直接推广到其他 RL 训练配方。其次，分析仅限于以改进视觉推理为目标的 VLM，所识别的功能分解可能不适用于其他任务领域或模态。第三，所有实验都在 Qwen 系列模型上进行（包括 OpenMMReasoner、MMR1、Revisual 都基于 Qwen2.5-VL），虽然提出的框架在原则上是模型无关的，但其在不具有清晰可分功能区域的模型上的适用性仍有待探索。从独立观察的角度看，本文的细粒度评估指标设计虽然巧妙，但也存在一定局限：视觉指标 $M_{vis}$ 使用黑图替代可能引入分布外干扰，视觉-推理对齐指标 $M_{v2r}$ 使用文本描述替代图像可能丢失细粒度空间信息。此外，1/3-1/3-1/3 的层区划分是一种粗糙的抽象，实际的功能边界可能更加精细和模糊。

独立分析的弱点

本文存在几个值得深入探讨的弱点。首先，层区划分采用固定的 1/3-1/3-1/3 比例，这是一种人为的、粗糙的划分方式。实际上，视觉和推理功能的边界可能是渐变的，甚至在不同任务上会有不同的分布。一个改进方向是使用自适应的层区划分方法，例如基于功能探针的聚类分析，动态确定最优的功能区域边界。其次，模型合并实验中直接复制参数的方式可能不是最优的——它忽略了不同训练阶段参数之间的协同效应。更精细的合并策略（如加权平均、Task Arithmetic、TIES 等）可能会揭示更丰富的迁移模式。第三，本文的注意力分析仅关注推理 token 对视觉 token 的注意力质量，但 RL 可能还会影响视觉 token 之间的注意力、以及推理 token 之间的注意力，这些变化可能同样重要但未被分析。第四，虽然作者在三个训练配方上验证了结论的一致性，但这三个配方都基于相似的模型架构和训练范式，结论的普适性仍需在更多样化的设置下验证。

未来方向

基于本文的发现，有几个有前景的未来研究方向。首先，可以探索如何利用 RL 的聚焦精炼特性来设计更高效的训练策略——既然 RL 的改进集中在中后层，是否可以只对这些层进行 RL 训练，从而大幅减少计算成本？其次，可以将弗兰肯斯坦式分析框架扩展到其他模态和任务（如纯语言推理、音频理解、视频理解），验证「RL 主要精炼中后层」的发现是否具有跨模态的普适性。第三，可以探索是否可以通过架构设计来增强中后层的功能，例如引入专门的视觉-推理融合模块，或者在中后层使用更大的注意力头。第四，可以研究不同 RL 算法（如 PPO、DPO、DAPO 等）是否会产生不同的层间更新模式，从而为算法选择提供理论依据。最后，可以探索如何将本文的细粒度评估指标整合到 RL 训练的奖励设计中，直接优化视觉-推理对齐能力而非端到端准确率。

复现评估

本文在可复现性方面表现良好。作者使用的三个训练配方（OpenMMReasoner、MMR1、Revisual）都提供了完整的检查点释放，覆盖 Base、IN、RL 三个训练阶段，这在当前视觉推理 RL 研究中是非常少见的——如 Table 4 所示，大量相关工作（如 Visual-RFT、MM-Eureka、Vision-R1 等）都没有提供完整的检查点。代码已在 GitHub 上开源（https://github.com/tianyi-lab/Frankenstein）。硬件需求方面，参数冻结实验使用 2 块 NVIDIA H200-SXM GPU，训练 2000 步，batch size 为 1，对大多数研究机构来说是可以承受的。功能定位实验和模型合并实验只需要推理，对算力要求更低。唯一需要注意的是，细粒度评估需要构建特定的评估数据集（配对图像、文本描述等），这可能需要一些额外的数据准备工作。总体而言，本文的复现难度中等偏低。

RL 到底改善了视觉推理的什么？一种弗兰肯斯坦式的分析 What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis