文本推理能否提升多模态大语言模型在细粒度视觉分类中的性能？

揭示链式思考推理在细粒度视觉分类中的'思考代价'现象，提出ReFine-RFT框架实现最优性能

前置知识

多模态大语言模型（MLLMs）

多模态大语言模型是能够同时处理图像和文本等不同模态信息的大规模语言模型。这类模型通常基于预训练的视觉编码器（如ViT）和语言模型（如LLaMA、Qwen），通过跨模态对齐技术将视觉特征映射到语言模型的嵌入空间。MLLMs能够执行视觉问答、图像描述、视觉推理等多种任务，其核心优势在于利用语言模型的强大推理能力来理解视觉内容。在本文中，MLLMs被应用于细粒度视觉分类任务，需要模型识别图像中物体的具体子类别（如具体的飞机型号、花卉品种或宠物种类）。

本文的核心研究对象就是MLLMs在细粒度视觉分类任务中的表现，理解MLLMs的工作原理是理解全文的基础

链式思考（Chain-of-Thought, CoT）

链式思考是一种提示技术，要求模型在给出最终答案前先展示中间推理步骤。传统CoT通过在提示中添加"让我们一步步思考"等引导语，使模型能够将复杂问题分解为更小的子问题，逐步推导出最终答案。在视觉任务中，CoT通常要求模型先描述图像内容、分析视觉特征，然后基于这些观察得出分类结论。CoT在数学推理、逻辑推理等复杂任务中已被证明能显著提升性能，但在视觉感知任务中的效果存在争议。

本文的核心发现就是CoT在细粒度视觉分类中反而会降低性能，理解CoT的工作机制对于理解'思考代价'现象至关重要

强化微调（Reinforcement Fine-Tuning, RFT）

强化微调是一种结合强化学习和监督微调的训练方法。与传统的监督微调（SFT）直接优化预测概率不同，RFT通过设计奖励函数来引导模型学习。典型流程是：模型生成多个候选响应，每个响应根据预定义的奖励函数获得奖励值，然后使用策略优化算法（如GRPO）更新模型参数。RFT的优势在于能够直接优化任务目标（如准确率），并且可以组合多个奖励信号来引导模型学习多目标优化。在视觉任务中，RFT可以让模型直接优化分类准确率，而不是模仿训练数据的分布。

本文提出的ReFine-RFT框架就是基于RFT的改进，理解RFT的基本原理是理解本文方法创新的前提

组相对策略优化（Group Relative Policy Optimization, GRPO）

GRPO是DeepSeek-R1提出的一种强化学习算法，专门用于优化大语言模型。其核心思想是：对于每个输入问题，模型生成一组（G个）候选响应，计算每个响应的奖励值，然后通过组内归一化计算每个响应的优势值（advantage）。具体公式为：$A_i = \frac{r_i - \text{mean}(r_1, ..., r_G)}{\text{std}(r_1, ..., r_G)}$。这个归一化过程使得模型倾向于生成高奖励的响应，同时抑制低奖励的响应。GRPO的优势在于不需要训练单独的奖励模型，可以直接使用规则化的奖励函数（如准确率、格式正确性等）。

本文的方法基于GRPO算法进行优化，理解GRPO的工作原理有助于理解MRN如何改进奖励归一化过程

细粒度视觉分类（Fine-Grained Visual Classification, FGVC）

细粒度视觉分类是指识别同一基本类别下的子类别，如不同品种的犬类、不同型号的飞机、不同种类的花卉等。与普通图像分类不同，FGVC需要模型捕捉细微的视觉差异，如毛皮纹理、花瓣形状、机翼设计等细节特征。FGVC任务通常具有以下特点：类别间差异小、类内差异大、需要关注局部细节、对视觉定位能力要求高。常见的FGVC数据集包括Stanford Cars（196种车型）、FGVC-Aircraft（102种飞机型号）、Oxford Flowers-102（102种花卉）和Oxford-IIIT Pets（37种宠物）。

本文的研究问题就是MLLMs在FGVC任务中使用CoT推理的效果，理解FGVC的挑战性有助于理解为什么CoT会带来'思考代价'

研究动机

多模态大语言模型在细粒度视觉分类任务中表现不佳，这是一个被广泛观察到但缺乏深入分析的问题。具体来说，当使用链式思考（CoT）提示时，模型的分类准确率反而会下降。例如，在Qwen2-VL-2B模型上，使用Answer-only提示在Aircrafts-102数据集上达到47.5%准确率，而使用CoT提示后准确率下降到45.9%，相对下降3.4%。在Cars-196数据集上，这种下降更为剧烈：从82.6%骤降到56.8%，相对下降31.2%。即使是专门为推理优化的R1-OneVision-7B-RL模型，在CoT设置下也只达到54.8%的平均准确率。先前的研究已经注意到这种现象，但通常只从零样本评估或粗粒度比较的角度进行分析，没有系统地探究为什么CoT会损害视觉感知性能，也没有提出有效的解决方案。

本文的目标是本文的目标是系统性地重新审视文本推理在细粒度视觉分类中的作用，从零样本评估和多种训练范式两个角度进行全面分析。具体目标包括：第一，量化CoT对FGVC性能的具体影响，找出影响性能的关键因素；第二，探究在强化微调（RFT）过程中推理行为如何演变，揭示模型自主学习的推理策略；第三，基于这些发现，设计一种能够约束推理长度同时提升分类准确率的训练框架。最终目标是实现最优的细粒度视觉分类性能，超越现有的Visual-RFT等方法。

与已有工作不同的是，本文的独特切入角度在于，它没有简单地否定CoT在视觉任务中的价值，而是深入分析了推理长度这个关键变量。先前的研究要么完全禁用CoT（如No-Thinking-RFT），要么只进行粗粒度的性能比较。本文发现了"思考代价"（Cost of Thinking）现象：推理长度与分类准确率之间存在显著的负相关关系。更长的推理链会引入更多噪声和幻觉，分散模型对关键视觉特征的注意力。基于这个发现，本文提出了一种全新的视角：问题不在于是否使用推理，而在于如何控制推理的长度和质量。这个视角引导作者设计了能够显式约束推理长度的奖励函数，以及稳定多奖励优化的归一化方法。

核心方法

本文的方法可以类比为"精准指导"而非"放任探索"。传统方法要么让模型自由生成冗长的推理链（CoT），要么完全禁止推理（Answer-only）。ReFine-RFT则像一个有经验的教练，既允许模型进行必要的思考，又严格控制思考的长度和质量。技术路线分为两个核心组件：第一，设计集成奖励（Ensemble Reward），结合规则化奖励和基于模型的奖励，为模型提供多角度、语义感知的反馈信号；第二，提出多奖励归一化（MRN）方法，解决多个异构奖励信号在训练过程中的平衡问题。整体框架基于GRPO算法，通过约束推理长度和优化准确率来训练模型。

本文的核心创新点在于发现了推理长度是影响细粒度视觉分类性能的关键因素，并据此设计了显式的推理长度约束机制。与已有方法的本质区别在于：Visual-RFT虽然也使用RFT，但没有显式约束推理长度，导致模型可能生成冗长的推理链；No-Thinking-RFT虽然禁用了推理，但失去了推理可能带来的微弱收益。ReFine-RFT的关键创新是引入了思考长度奖励 $R_{len}$，当推理长度在预设范围内时给予奖励1，否则为0。这个简单的设计显式地鼓励模型生成简洁的推理。同时，本文提出的MRN方法解决了多奖励优化中的梯度冲突问题：不同奖励的数值范围、收敛速度差异很大，直接相加会导致某些奖励主导优化过程。MRN通过对每个奖励独立进行组归一化，将所有奖励放在可比较的尺度上，然后聚合得到最终的优势值。

方法步骤详情

ReFine-RFT的完整流程包含以下步骤：首先，给定一个问题 $q$ 和图像 $x$，当前策略模型 $\pi_{\theta}$ 生成 $G=8$ 个候选响应 $o_1, o_2, ..., o_G$。每个响应包含推理内容（在 `` 标签中）和最终答案（在 `` 标签中）。然后，对每个响应计算五个奖励：格式奖励 $R_f$ 检查输出格式是否正确（1或0）；分类奖励 $R_{cls}$ 检查答案是否正确（1或0）；思考长度奖励 $R_{len}$ 检查推理长度是否在 $[L_{min}, L_{max}]$ 范围内（本文设置 $L_{min}=0, L_{max}=10$）；MLLM准确率奖励 $R_{mllm}$ 使用Qwen2-VL-7B作为教师模型评估语义相似度（0-1）；嵌入相似度奖励 $R_{emb}$ 使用E5模型计算预测答案与真实答案的余弦相似度（0-1）。接下来，MRN对每个奖励函数独立进行组归一化：$A_i^{(k)} = \frac{r_i^{(k)} - \text{mean}(r_1^{(k)}, ..., r_G^{(k)})}{\text{std}(r_1^{(k)}, ..., r_G^{(k)})}$，然后聚合得到最终优势值 $A_i = \sum_{k=1}^{K} A_i^{(k)}$。最后，使用GRPO算法更新模型参数，优化目标为最大化高优势响应的概率。

技术新颖性

本文的技术新颖性体现在三个层面：第一，在问题发现层面，系统性地揭示了"思考代价"现象，不仅证实了先前观察到的CoT会损害视觉性能的现象，更重要的是发现了推理长度是关键因素，而非推理本身。这个发现挑战了"更多推理=更好性能"的传统假设。第二，在方法设计层面，提出了思考长度奖励这个简单但有效的机制，显式约束推理长度。与完全禁用推理或放任推理相比，这种约束式设计更加精细。第三，在优化技术层面，MRN方法解决了多奖励优化中的梯度冲突问题。传统方法将多个奖励简单相加后归一化，但不同奖励的数值范围和收敛速度差异很大（如格式奖励可能在早期训练就饱和，而分类奖励需要更长时间收敛）。MRN通过对每个奖励独立归一化，使得所有奖励在优化过程中具有可比的权重。

实验结果

本文通过大量实验验证了ReFine-RFT的有效性，核心发现包括：第一，零样本评估中CoT确实会损害FGVC性能。在四个FGVC数据集上，非推理模型使用CoT后平均准确率下降3-6%，即使推理优化模型R1-OneVision也只达到54.8%的平均准确率。第二，在RFT训练过程中，模型会自主学习缩短推理长度，出现"推理崩溃"现象。如图2所示，推理长度从训练初期的100+字符快速下降并稳定在较短范围，最终长度甚至低于零样本设置。第三，显式限制推理长度会进一步提升性能。当强制模型使用更长的推理（如60-80字符）时，准确率明显下降，证明了"思考代价"的存在。第四，ReFine-RFT在所有FGVC基准上都达到了最优性能。具体来说，在Aircrafts-102上达到79.3%（比Visual-RFT提升3.7%），在Flowers-102上达到81.0%（提升6.9%），在Cars-196上达到97.1%（提升1.4%），在Pets-37上达到88.6%（提升2.6%），平均准确率为86.5%（提升3.6%）。更重要的是，ReFine-RFT仅使用2B参数的骨干网络和4-shot训练数据，就显著超越了使用完整数据集训练的Finedefics-8B（82.7% vs 86.5%），证明了方法的高效性和可扩展性。

**Figure 6**: ReFine-RFT在Flowers-102上的奖励曲线

查看结构化数据

任务	指标	本文	基线	提升
Aircrafts-102	准确率	79.3%	Visual-RFT (LoRA): 75.6%	+3.7%
Flowers-102	准确率	81.0%	Visual-RFT (LoRA): 74.1%	+6.9%
Cars-196	准确率	97.1%	Visual-RFT (LoRA): 95.7%	+1.4%
Pets-37	准确率	88.6%	Visual-RFT (LoRA): 86.0%	+2.6%
平均	准确率	86.5%	Visual-RFT (LoRA): 82.9%	+3.6%

局限与改进

尽管ReFine-RFT取得了优异的性能，但仍存在以下局限性：第一，训练效率问题。虽然抑制过长的推理间接提升了训练效率，但整体RFT流程仍然比标准SFT更耗时，因为需要采样多个候选响应并计算多个奖励。第二，推理质量未被充分探索。本文主要关注推理长度的影响，但推理质量（如推理的准确性、逻辑性）在RFT过程中的作用尚未深入研究。可能存在这样的情况：虽然推理很短，但包含错误信息，仍然会影响分类性能。第三，任务泛化性有限。本文的实验主要集中在细粒度视觉分类任务，对于其他视觉任务（如目标检测、视觉定位、开放式视觉问答）是否同样有效还不清楚。第四，奖励设计的启发式性质。思考长度奖励的阈值（$L_{min}=0, L_{max}=10$）是启发式设定的，对于不同任务可能需要不同的阈值。第五，实验规模较小。主要实验基于2B参数的模型，对于更大规模模型（7B、13B）的效果需要进一步验证。

独立分析的弱点

基于对论文的深入分析，我认为存在以下弱点和改进方向：第一，思考长度奖励的设计过于简单。当前的二值奖励（在范围内为1，否则为0）缺乏平滑性，可能导致训练不稳定。改进方向是设计连续的长度奖励函数，例如使用高斯函数或分段线性函数，使奖励随长度平滑变化。第二，MLLM准确率奖励依赖于外部教师模型（Qwen2-VL-7B），这增加了计算开销和潜在的偏差。改进方向是探索自监督的语义相似度度量，或者使用对比学习预训练的视觉-语言嵌入空间。第三，MRN方法虽然解决了梯度冲突，但没有考虑不同奖励的重要性权重。在实际应用中，分类奖励应该比格式奖励更重要。改进方向是引入可学习的奖励权重或基于课程学习的权重调整策略。第四，实验设置较为理想化。使用4-shot数据可能无法反映真实应用场景中数据分布的变化。改进方向是在更多样化的数据设置下验证方法的有效性。

未来方向

本文为未来研究指明了多个有价值的方向：第一，深入探究"思考代价"的机制。作者提到需要进一步研究为什么更长的推理会损害视觉性能，这可能涉及注意力机制、信息流分析等技术。第二，将ReFine-RFT扩展到更广泛的多模态任务。当前工作主要关注细粒度分类，未来可以探索在目标检测、视觉问答、图像描述等任务中的应用。第三，研究推理质量与推理长度的交互作用。可能存在最优的"质量-长度"平衡点，使模型既能进行必要的推理，又不会过度推理。第四，探索自适应推理长度控制。当前方法使用固定的长度阈值，未来可以设计根据任务难度或图像复杂度动态调整推理长度的机制。第五，结合对比学习或知识蒸馏技术，进一步提升特征表示的质量，可能在不增加推理长度的情况下提升分类性能。

复现评估

本文的复现性较好。作者提供了详细的实现细节：使用Qwen2-VL-2B-Instruct作为基础模型，在4块NVIDIA H100 GPU（81G显存）上训练，使用Qwen2-VL-7B作为奖励模型，E5作为嵌入模型。超参数设置明确：LoRA秩 $\gamma=64$，缩放因子 $\alpha=128$，学习率 $2 \times 10^{-5}$，累积批量大小64，生成数量 $G=8$，GRPO参数 $\beta=0.04$。训练步数为200步，所有实验使用固定随机种子确保可复现性。数据集使用公开的4-shot划分，提示模板在论文中有详细说明。然而，复现该工作需要一定的计算资源（H100 GPU），并且需要部署奖励模型（Qwen2-VL-7B），这可能对资源有限的研究者构成挑战。总体而言，只要具备相应的计算资源，按照论文提供的细节应该能够复现主要结果。

文本推理能否提升多模态大语言模型在细粒度视觉分类中的性能？ Can Textual Reasoning Improve the Performance of MLLMs on Fine-grained Visual Classification?