← 返回 2026-02-06

SwimBird：在混合自回归多模态大语言模型中激发可切换推理模式 SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs

Jintao Tong, Shilin Yan, Hongwei Xue, Xiaojun Tang, Kunyu Shi, Guannan Zhang, Ruixuan Li, Yixiong Zou 📅 2026-02-05 👍 10 2026-07-13 08:35

Chain-of-Thought 多模态推理大语言模型自回归生成视觉思维

arXiv HuggingFace PDF

提出可动态切换文本/视觉/交错三种推理模式的混合自回归多模态推理模型

前置知识

Chain-of-Thought (CoT) 推理

链式思维推理是一种让语言模型通过生成中间推理步骤来解决复杂问题的技术。模型不是直接输出最终答案，而是先输出一系列逻辑推理的中间步骤，每一步都基于前一步的结果进行推导。这种方法在数学推理、逻辑分析等任务中显著提升了大语言模型的性能。在多模态场景下，CoT 被扩展为视觉-语言联合推理，但大多数现有方法仅使用文本 token 来描述中间推理过程。

SwimBird 的核心创新在于突破了传统文本 CoT 的限制，提出了视觉思维 token 与文本推理 token 的混合生成范式，因此理解 CoT 是理解本文动机和方法的基础。

隐式视觉推理 (Latent Visual Reasoning)

隐式视觉推理是一种不依赖文本描述中间视觉状态，而是使用连续隐状态嵌入作为"视觉思维"的方法。这些连续嵌入通过视觉重建目标进行监督训练，能够携带比文本更丰富的空间和视觉信息。代表工作包括 Mirage（用隐状态逼近辅助图像）、LVR（重建裁剪图像区域）和 SkiLa（交替生成隐式视觉 token 和离散文本 token）。然而，这些方法对所有输入统一应用相同的推理结构，即使面对纯文本查询也会生成视觉思维 token。

SwimBird 的关键改进在于能够自适应地决定何时使用视觉思维、何时使用文本推理，因此理解隐式视觉推理的现有范式及其局限性对把握本文贡献至关重要。

混合自回归建模 (Hybrid Autoregressive Modeling)

混合自回归建模是 SwimBird 的核心架构设计，它将标准的 next-token prediction（用于离散文本 token）与 next-embedding prediction（用于连续视觉嵌入）统一在一个自回归框架中。文本思维通过交叉熵损失优化，视觉思维通过均方误差损失优化。模型通过特殊分隔符 <|latent_start|> 和 <|latent_end|> 来标记视觉思维区间的起止，实现可控的模态切换。

这是 SwimBird 区别于所有先前工作的最核心技术设计，理解它才能理解模型如何在一个统一接口中同时处理离散和连续两种生成范式。

pass@8 评估策略

pass@k 是一种评估模型在 k 次采样中至少有一次答对某问题的概率的指标。在本文中，作者用 pass@8 策略来对训练数据进行推理模式标注：对每个样本分别计算仅使用原始图像时的 pass_base 和额外提供中间思考图像时的 pass_hint，通过比较这两个分数来判断样本应该被标注为视觉优先模式还是文本-视觉交错模式。这一策略确保了标注质量与模型实际能力相匹配。

pass@8 策略是构建 SwimBird-SFT-92K 数据集的关键创新之一，理解这个评估策略才能理解训练数据是如何被系统性地标注和筛选的。

动态隐式 Token 预算

SwimBird 的动态隐式 token 预算机制允许模型根据输入图像的分辨率和问题复杂度自适应地分配视觉思维 token 的数量。不同于先前方法使用固定长度的隐式 token 或固定池化策略，SwimBird 利用 Qwen ViT 的原生分辨率特性，为问题图像和中间思考图像分配不同的最大像素预算，控制视觉编码器输出的 token 数量范围 [N_min, N_max]。在推理时，模型持续生成隐式嵌入直到决定输出终止符，实现真正的动态分配。

这一机制解决了先前方法中固定预算导致的计算浪费或容量不足问题，是 SwimBird 能够在不同视觉复杂度任务间灵活调整的关键。

研究动机

现有多模态大语言模型（MLLMs）在推理过程中主要依赖文本 Chain-of-Thought（CoT），这种方法在逻辑密集型任务（如数学计算、符号推理）上表现良好，但在视觉密集型任务（如迷宫求解、细粒度视觉搜索、空间导航）上存在根本性瓶颈。当核心挑战在于密集感知和空间推理而非逻辑结构时，纯文本 CoT 是一种"不适定接口"——模型被迫用语言描述中间视觉证据，即使语言并不是忠实的信息载体，导致推理脆弱和错误累积。具体而言，Qwen3-VL-Thinking 在视觉感知任务上的表现甚至比 Qwen3-VL-Instruct 更差，直接证明了推理模式与任务需求不匹配会损害性能。近期的隐式视觉推理方法（如 Mirage、LVR、SkiLa）通过注入连续隐状态作为视觉思维来改善视觉性能，但它们采用固定的推理模式模板：对所有输入统一生成视觉思维 token，即使是纯文本查询也会产生冗余的视觉推理步骤，这反而干扰了离散符号推理能力。

本文的目标是本文的核心目标是设计一个能够根据输入查询自适应选择最优推理模态的多模态推理模型。具体来说，模型需要能够动态切换三种推理模式：（1）纯文本推理——适用于以逻辑和符号操作为主的问题；（2）纯视觉推理——适用于需要密集视觉感知的问题，使用连续隐状态作为视觉思维；（3）交错视觉-文本推理——适用于既需要视觉定位又需要文本推导的复杂问题。同时，模型还需要根据问题的感知复杂度自适应分配视觉思维 token 的数量，避免固定预算导致的计算浪费或容量不足。

与已有工作不同的是，本文的独特切入角度在于将推理模式选择视为一个条件决策问题，而非预设模板问题。先前方法假设单一静态推理模板可以泛化到所有多模态查询，但本文指出不同问题需要不同的内部计算格式：有些仅需离散符号步骤，有些仅需隐式视觉转换，有些需要视觉定位与文本推导的紧密交替。SwimBird 的创新在于将这种动态选择能力内化到模型本身——通过特殊分隔符学习何时进入视觉思维阶段、何时保持纯文本推理、何时在两种模态间交替。这种"模型自决策"的范式与依赖外部工具或固定工作流的多模态代理模型（如 DeepEyes、Pixel Reasoner、Thyme）形成了根本区别，避免了复杂工具管线的额外开销。

核心方法

SwimBird 的整体方法路线可以概括为"混合自回归生成 + 自适应模式选择 + 系统化数据构建"三部曲。直觉上，人类在面对不同类型问题时会自然切换思考方式：面对算术题直接用语言推理，面对空间想象题在脑海中构造视觉表象，面对复杂视觉问答则交替使用视觉聚焦和语言分析。SwimBird 将这种能力赋予模型。技术路线上，首先设计混合自回归架构，将离散文本 token 生成（next-token prediction，交叉熵损失）和连续视觉嵌入生成（next-embedding prediction，MSE 损失）统一在同一个自回归框架中，通过 <|latent_start|> 和 <|latent_end|> 分隔符标记视觉思维区间。然后构建涵盖三种推理模式的 SFT 数据集 SwimBird-SFT-92K，通过 pass@8 策略系统性地标注每个样本的最优推理模式。最后在 Qwen3-VL 8B 基础模型上进行监督微调，使模型学会根据输入条件自适应地选择推理模式和分配视觉思维预算。

SwimBird 的核心创新在于将推理模态选择从"设计时预设"转变为"推理时自适应"。与先前方法的本质区别体现在三个层面：第一，在生成范式上，先前的隐式视觉推理方法（如 LVR、SkiLa）虽然也使用连续嵌入，但它们的训练目标和推理流程是固定的，模型无法根据输入选择不同的推理路径。SwimBird 通过特殊分隔符让模型自主决定何时切换到视觉推理模式，使模式选择成为生成过程的一部分。第二，在视觉思维预算上，先前方法使用固定的隐式 token 数量或固定池化策略，而 SwimBird 利用 Qwen ViT 的原生分辨率特性，为不同类型的图像分配不同的像素预算，允许视觉编码器输出可变数量的视觉 token，并在推理时动态决定何时终止视觉思维（输出终止符）。第三，在训练数据上，作者设计了基于 pass@8 的推理模式标注策略，不是简单地按照任务类型分类，而是根据每个样本的实际视觉依赖程度和推理特性进行精细标注，确保训练数据的模式分布与模型能力相匹配。

方法步骤详情

SwimBird 的方法分为训练数据构建和模型训练两个主要阶段。训练数据构建（SwimBird-SFT-92K）包含三个步骤：第一步是候选收集和简单实例过滤，从 Zebra-CoT（26.3K 样本）、ThinkMorph（7.1K 样本）和 MathCanvas-Instruct（8.9K 样本）三个数据源收集原始图文交错 CoT 数据，每个样本包含中间思考图像，然后用 Qwen3VL-8B 评估问题和原始图像，过滤掉已经能直接回答正确的简单实例。第二步是基于 pass@8 的推理模式标注，对每个剩余样本计算 pass_base（仅用原始图像）和 pass_hint（额外提供中间思考图像），保留 pass_hint >= pass_base 的样本，其中 pass_hint >= 0.75 的标注为纯视觉模式（图像足够解决问题），其余标注为交错模式（图像有帮助但仍需文本推理），此步骤产出 42K 高质量样本。第三步是从 OpenMMReasoner 数据集采样 50K 纯文本 CoT 实例，与第二步的 42K 样本合并，形成覆盖三种模式的 SwimBird-SFT-92K 数据集。模型训练阶段采用 Qwen3-VL 8B 作为基础模型，在 A100-80G GPU 上进行监督微调，全局 batch size 为 128，视觉编码器和多模态投影器冻结不更新，仅更新 LLM 参数，使用余弦学习率调度器，初始学习率为 $1 imes 10^{-5}$。

技术新颖性

SwimBird 的技术新颖性体现在多个维度。首先，混合自回归建模框架将离散 token 生成和连续嵌入生成统一在一个自回归过程中，训练目标为 $\mathcal{L} = \lambda_{\text{text}} \mathcal{L}_{\text{text}} + \lambda_{\text{vis}} \mathcal{L}_{\text{vis}}$，其中 $\mathcal{L}_{\text{text}}$ 是文本区间的交叉熵损失，$\mathcal{L}_{\text{vis}}$ 是视觉区间的 MSE 损失，每个样本仅对其包含的模式贡献损失，这种设计使得单一模型能够学习所有三种推理模式而不会产生不必要的监督干扰。其次，通过特殊分隔符实现可学习的模式切换，模型在推理时自回归地生成分隔符 token，使模式选择完全由输入条件驱动，而非人工规则。第三，动态隐式 token 预算机制利用 Qwen ViT 的原生分辨率特性，为问题图像和中间思考图像分配独立的像素预算范围 $[N_{\min}, N_{\max}]$，避免了激进池化丢失空间细节或固定预算浪费计算的问题。第四，基于 pass@8 的推理模式标注策略是一种数据驱动的标注方法，相比人工分类更具客观性和可扩展性。

**Figure 2**: SwimBird adopts a hybrid autoregressive formulation that performs next-token prediction for textual thoughts and switches to next-embedding prediction for visual thoughts

**Figure 3**: Resolution-aware, dynamic latent tokens budget

**Figure 5**: Analysis of Different Reasoning-Mode Case

实验结果

SwimBird 在两类基准测试上均取得了最优性能。在细粒度视觉理解方面，SwimBird 在 V* Bench 上达到 85.5，HR-Bench 4K 上达到 79.0，HR-Bench 8K 上达到 74.9，MME-RealWorld 上达到 65.3，平均 76.2，全面超越文本推理基线（Qwen3-VL-8B-Instruct 平均 73.4）和多模态代理模型（DeepEyesV2 平均 74.6，Thyme 平均 74.0）。值得注意的是，Qwen3-VL-Thinking 在视觉感知任务上的表现比 Qwen3-VL-Instruct 更差，直接证明了推理模式与任务需求不匹配会损害性能。在通用 VQA 和多模态推理方面，SwimBird 在 MMStar 上达到 71.2，RealWorldQA 上达到 73.1，WeMath 上达到 49.5，DynaMath 上达到 67.2，MathVerse_MINI 上达到 65.8，不仅超越了强开源方法，还在 MMStar 上超越了参数量更大的 Qwen2.5-VL-32B-Instruct（70.3）。消融实验表明，最大隐式 token 预算 $N_{\max} = 32$ 提供了最佳权衡，从 16 增加到 32 时视觉密集任务有明显增益，但进一步增加到 64 或 128 反而导致性能下降。MSE 损失权重 $\lambda_{\text{vis}} = 0.2$ 在所有基准上取得了最平衡的性能。

**Table 1**: Detailed statistics of SwimBird-SFT-92K

**Table 2**: Performance on fine-grained visual understanding benchmarks

**Table 3**: Performance on general vqa and multimodal reasoning tasks

**Table 4**: Impact of maximum latent tokens budget

**Figure 4**: Distribution of reasoning mode across different benchmarks for SwimBird

查看结构化数据

任务	指标	本文	基线	提升
细粒度视觉理解（V* Bench）	准确率	85.5	Qwen3-VL-8B-Instruct 83.8, Thyme 82.2, DeepEyesV2 81.8	较最强基线 Qwen3-VL-8B-Instruct 提升 1.7 个百分点
高分辨率视觉理解（HR-Bench 4K）	准确率	79.0	Qwen3-VL-8B-Instruct 76.5, DeepEyesV2 77.9, Thyme 77.0	较最强基线 DeepEyesV2 提升 1.1 个百分点
高分辨率视觉理解（HR-Bench 8K）	准确率	74.9	Qwen3-VL-8B-Instruct 71.3, DeepEyesV2 73.8, Thyme 72.0	较最强基线 DeepEyesV2 提升 1.1 个百分点
真实世界视觉问答（MME-RealWorld）	准确率	65.3	Qwen3-VL-8B-Instruct 61.9, DeepEyesV2 64.9, Thyme 64.8	较最强基线 DeepEyesV2 提升 0.4 个百分点
综合视觉理解（平均）	平均准确率	76.2	Qwen3-VL-8B-Instruct 73.4, DeepEyesV2 74.6, Thyme 74.0	较最强基线 DeepEyesV2 提升 1.6 个百分点
多模态推理（MMStar）	准确率	71.2	Qwen2.5-VL-32B-Instruct 70.3, Qwen3-VL-8B-Instruct 64.7	较 Qwen2.5-VL-32B-Instruct 提升 0.9 个百分点，较基座模型提升 6.5 个百分点
数学推理（DynaMath）	准确率	67.2	Qwen3-VL-8B-Instruct 65.3, DeepEyesV2 57.2	较基座模型提升 1.9 个百分点
数学推理（MathVerse_MINI）	准确率	65.8	Qwen3-VL-8B-Instruct 61.3, DeepEyesV2 52.7	较基座模型提升 4.5 个百分点
数学推理（WeMath）	准确率	49.5	Qwen3-VL-8B-Instruct 38.8, DeepEyesV2 38.1	较基座模型提升 10.7 个百分点

局限与改进

尽管 SwimBird 取得了显著成果，但仍存在多方面局限性。首先，模型的推理模式切换依赖于训练数据中的模式分布，如果某个领域的数据主要集中在某一种模式上，模型可能在该领域缺乏灵活切换的能力。当前训练数据中纯文本模式占 50K（约 54%），视觉优先模式仅占 8.8K（约 9.5%），这种不均衡可能导致模型在某些边缘视觉任务上倾向于使用交错模式而非纯视觉模式。其次，虽然模型能够动态分配隐式 token 数量，但最大预算 $N_{\max} = 32$ 的上限仍然可能不足以处理某些极端高分辨率或极其复杂的视觉推理任务。第三，作者仅在 Qwen3-VL 8B 这一基础模型上验证了方法的有效性，未探索在更大规模模型（如 32B、72B）上的效果，方法的可扩展性尚不明确。第四，SwimBird-SFT-92K 数据集的构建依赖于 Qwen3VL-8B 的 pass@8 评估，这意味着数据标注质量受限于该模型的能力上限，可能存在系统性偏差。第五，论文未提供推理效率的详细分析，动态模式切换和可变长度隐式 token 生成可能带来额外的推理延迟和计算开销。

独立分析的弱点

SwimBird 存在几个值得关注的弱点。第一，训练数据的模式分布不均衡问题：纯文本数据占 54%，视觉优先数据仅占 9.5%，这可能导致模型在面对纯视觉任务时倾向于回退到交错模式，改进方向是增加高质量的纯视觉推理样本，或设计数据增强策略来平衡模式分布。第二，推理模式选择的可解释性不足：虽然 Figure 4 展示了不同基准上的模式分布，但模型内部的决策过程仍是一个黑盒，可以考虑引入注意力分析或模式选择的解释机制。第三，视觉编码器和投影器在训练过程中保持冻结，这意味着视觉表征没有针对混合推理任务进行优化，解冻这些组件或引入渐进式微调可能进一步提升性能。第四，MSE 损失权重 $\lambda_{\text{vis}} = 0.2$ 是通过网格搜索确定的全局最优值，但不同样本可能需要不同的权重，引入自适应损失权重机制可能带来改进。第五，模型仅支持单张图像输入，对于需要多张中间思考图像的复杂推理场景，扩展到多图像输入能力将是有价值的改进。

未来方向

SwimBird 开辟了多个有前景的研究方向。作者提出的自适应推理模式选择范式可以扩展到更多模态（如音频、3D 点云），实现真正的多模态思维切换。在数据构建方面，pass@8 标注策略可以进一步发展为在线学习方案，让模型在推理过程中动态更新其对不同样本最优推理模式的认知。动态隐式 token 预算机制可以与稀疏注意力机制结合，在保持长序列视觉思维的同时控制计算复杂度。基于 SwimBird 的框架，可以探索更细粒度的模式切换，例如在一次推理过程中多次切换模态，或在同一模态内切换不同的推理策略。此外，将 SwimBird 与强化学习结合，通过奖励信号引导模型学习更优的模式选择策略，也是一个值得探索的方向。最后，将 SwimBird 的可切换推理能力应用于具身智能、机器人规划等需要持续视觉-语言交互的场景，可能带来新的突破。

复现评估

SwimBird 的复现条件相对良好。作者开源了代码（GitHub: https://github.com/Accio-Lab/SwimBird）和数据集（HuggingFace: https://huggingface.co/datasets/Accio-Lab/SwimBird-SFT-92K），并提供了项目主页（https://accio-lab.github.io/SwimBird）。训练细节充分：使用 Qwen3-VL 8B 作为基础模型，在 A100-80G GPU 上训练，全局 batch size 128，初始学习率 $1 \times 10^{-5}$，余弦学习率调度器，视觉编码器和投影器冻结。数据集包含 92.3K 样本，覆盖三种推理模式。然而，复现面临的主要挑战包括：需要 A100 级别的 GPU 资源；数据集构建依赖 Qwen3VL-8B 的 pass@8 评估，需要额外的推理成本；部分基线结果由作者自行复现（标记为 *），可能与原始论文有差异。总体而言，复现难度中等，主要瓶颈在于计算资源。

论文图表

**Figure 1**: SwimBird enables query-adaptive multimodal reasoning by dynamically switching among text-only, vision-only, and interleaved vision\u2013text modes
该图通过三个具体案例展示了 SwimBird 的三种推理模式切换能力。案例1（矩形周长计算）展示了纯文本推理模式，避免了冗余的隐式视觉步骤，正确计算周长为 6 码；案例2（迷宫求解）展示了纯视觉推理模式，使用隐式视觉思维准确定位路径步数为 4 步；案例3（房间角落物体识别）展示了交错视觉-文本推理模式，先用视觉定位聚焦电视，再用文本推理得出最终答案。每个案例都对比了传统文本 CoT（产生模态不匹配错误）、统一 CoT（产生模态冗余错误）和 SwimBird（正确回答）三种方法。

这张图是理解论文核心动机的关键，直观展示了固定推理模式导致的两类问题（模态不匹配和模态冗余），以及 SwimBird 的自适应切换如何解决这些问题。

Figure 6: System prompt used for SwimBird

该图展示了 SwimBird 使用的系统提示词，定义了两种思维模式的标签：<reason> 标签用于文本推理（逻辑分析、规划和语言思维），<|latent_start|> 标签用于视觉推理（心理可视化、想象和模拟）。输出规则允许模型根据问题选择纯文本推理、纯视觉推理或两者交替使用，并在所有思维完成后将最终答案放在 <answer> 标签中。

这张图展示了指导 SwimBird 推理模式选择的系统提示设计，是理解模型如何被引导进行自适应推理的重要细节。

Table 5: Impact of MSE loss weight coefficients

该表展示了 MSE 损失权重 $\lambda_{\text{vis}}$ 对性能的影响。$\lambda_{\text{vis}} = 0.1$ 时视觉密集任务下降明显（HRBench8K: 71.8）；$\lambda_{\text{vis}} = 0.2$ 取得最平衡的性能（HRBench4K: 79.0, HRBench8K: 74.9, RealWorldQA: 73.1）；$\lambda_{\text{vis}} = 0.5$ 改善了 HRBench8K（75.9）但降低了 RealWorldQA（72.0）；$\lambda_{\text{vis}} = 1.0$ 时性能不稳定。最终选择 $\lambda_{\text{vis}} = 0.2$ 作为默认值。

这个消融实验确定了视觉损失权重的最佳值，展示了视觉重建与文本推理之间的权衡关系。