HopChain：用于通用视觉语言推理的多跳数据合成框架 HopChain: Multi-Hop Data Synthesis for Generalizable Vision-Language Reasoning
通过合成多跳视觉-语言推理数据训练VLM，提升长链思维推理的泛化能力
前置知识
视觉语言模型（VLM）
VLM是将视觉编码器（如ViT）与大型语言模型结合的多模态架构，能够同时理解图像和文本。典型的VLM如Qwen-VL、LLaVA等，通过将视觉特征投影到语言模型的嵌入空间，实现了图文联合理解。VLM的推理能力依赖于准确的视觉感知——模型必须能够定位、识别并推理图像中的对象及其关系。
本文的核心研究对象就是VLM，理解VLM的基本架构和工作原理是理解本文动机和方法的前提。
强化学习与可验证奖励（RLVR）
RLVR是一种训练框架，不需要学习奖励模型，而是使用可编程验证的答案作为奖励信号。给定图像I、文本查询q和真实答案a，模型生成包含链式思维的响应o，如果o的答案与a等价则奖励为1，否则为0。这种框架特别适合有客观正确答案的推理任务，如数学、逻辑等。
本文提出的多跳数据就是为RLVR训练设计的，理解RLVR的工作原理有助于理解为什么数据需要以特定方式构建。
链式思维（Chain-of-Thought, CoT）推理
CoT是一种让模型生成逐步推理过程的方法，而非直接输出最终答案。在视觉语言任务中，长链CoT要求模型反复回到图像中寻找视觉证据，每一步都基于前一步的结果进行推理。这比单步推理更加脆弱，因为任何中间步骤的错误都可能在后续步骤中累积放大。
本文发现长链CoT中的错误累积是VLM推理的主要瓶颈，多跳数据的设计正是为了解决这个问题。
实例分割与SAM3
实例分割是计算机视觉任务，目标是为图像中的每个对象实例生成精确的分割掩码和边界框。SAM3（Segment Anything Model 3）是Meta开发的通用分割模型，能够为任意类别的对象生成高质量的分割结果。在本文中，SAM3用于将VLM识别的语义类别转化为具体的、可定位的对象实例。
实例分割是HopChain数据合成流程的第二阶段，为后续的多跳查询生成提供空间定位信息。
感知级别跳转与实例链跳转
这是本文定义的两种多跳推理维度。感知级别跳转指在单对象感知（Level 1：读取文本、识别颜色等）和多对象关系感知（Level 2：比较大小、计数满足条件的对象等）之间切换。实例链跳转指沿着显式依赖链移动（如实例A->B->C），下一个实例只能通过前序实例建立的信息来定位。这两种跳转维度的组合创造了真正的多跳推理。
这两种跳转类型的定义是本文的核心创新，理解它们有助于理解多跳查询的结构设计。
软自适应策略优化（SAPO）
SAPO是本文使用的RLVR优化算法，它用温度控制的软门替代了传统PPO/GRPO中的硬裁剪。具体来说，对于正向token使用温度tau_pos，对于负向token使用温度tau_neg，通过sigmoid函数实现软门控。这种方式提高了训练的稳定性和效率，避免了硬裁剪导致的梯度不稳定问题。
SAPO是本文实验中使用的优化算法，理解其基本思想有助于复现实验。
研究动机
视觉语言模型（VLM）在长链思维（long-CoT）推理中表现出多种且会累积放大的失败模式。作者对Qwen3.5-397B-A17B在多个基准测试上的错误响应进行了人工分析，发现失败类型主要包括：感知错误（最大的类别，如误数瓢虫的点数、误判抓手与裙子肩带的接触关系、误读路牌形状）、推理错误（正确感知了位置但逻辑上将停车误判为驶出）、知识错误和幻觉错误。关键问题是这些错误不是孤立的——一个错误的中间步骤会被后续推理步骤继承，导致整个推理链看起来连贯但最终答案错误。例如在天文学图表中，模型错误地跟随了错误的弧线，导致最终答案完全错误。这种错误累积的根源在于：现有的大多数视觉语言RLVR训练数据并不包含需要在整个推理过程中依赖视觉证据的复杂推理链，导致这些长链推理弱点在训练中未被充分暴露。
本文的目标是本文的具体目标是构建一个可扩展的多跳视觉语言推理数据合成框架HopChain，生成专门用于RLVR训练的数据。该数据需要满足以下设计目标：（1）每个多跳查询形成逻辑依赖的实例定位跳转链，前序跳转建立后序跳转所需的实例、集合或条件；（2）最终答案是具体、明确的数值，适合RLVR的可验证奖励机制；（3）数据不针对任何特定基准测试，而是增强通用视觉语言推理能力；（4）能够应用于广泛的图像集合，只要有足够可检测的实例。最终目标是通过这种数据合成方法，训练出在24个跨领域基准测试上都能获得提升的VLM。
与已有工作不同的是，本文的独特切入角度在于：不是简单地扩大现有RLVR数据的规模，而是通过数据结构的设计来强制模型在长链推理的每一步都寻求视觉证据。现有工作的局限在于：（1）大多数RLVR数据不包含复杂推理链；（2）即使包含多步推理，子步骤之间也往往是松散连接的，可以通过浅层捷径绕过；（3）现有视觉推理数据集（如CLEVR、GQA）主要是合成的诊断数据集，不适用于大规模真实图像训练。HopChain的创新在于将多跳推理形式化为两个互补维度（感知级别跳转和实例链跳转），并构建了一个完整的四阶段合成流程，能够从原始图像生成高质量的多跳训练数据。这种数据结构迫使模型在每个推理步骤都进行视觉证据的重新定位，从而减少错误累积。
核心方法
HopChain的整体思路可以这样理解：想象你在给一个学生出一道复杂的观察题，比如'找出图片中最左边的动物，数它有几只眼睛，然后找到它右边第一个玩具，比较这两个对象的眼睛数量差，最后将差值乘以图片中玩具的总数'。这道题要求学生反复回到图片中寻找新证据，每一步都依赖前一步的结果。HopChain就是系统化地生成这类'需要反复观察、层层推理'的题目。技术路线上，HopChain采用四阶段流水线：首先用VLM识别图片中的语义类别（如'sheep'、'doll'），然后用SAM3实例分割获取每个对象的空间定位，接着用VLM基于3-6个实例组合生成多跳查询，最后通过人工验证和难度校准筛选出高质量样本。每个多跳查询必须包含感知级别跳转（在单对象感知和多对象关系感知之间切换）和实例链跳转（沿依赖链A->B->C移动），并以特定数值答案结束。
HopChain的核心创新在于将视觉语言推理中的'多跳'概念形式化为两个正交维度，并设计了对应的数据合成策略。与已有方法的本质区别体现在三个方面：第一，现有RLVR数据大多不涉及贯穿视觉证据的复杂推理链，而HopChain强制要求每个跳转都需要基于前序跳转建立的实例信息进行新的视觉定位；第二，现有视觉推理数据集（如CLEVR）是合成诊断数据，而HopChain在真实图像上大规模合成，桥接了合成诊断和人工标注基准之间的差距；第三，现有多跳问答（如HotpotQA）主要在文本域进行跨段落证据链接，而HopChain将多跳推理扩展到视觉域，要求模型在图像中进行实例级别的证据链接。此外，每个多跳查询的逻辑依赖性意味着：获得正确最终数值通常也要求中间推理步骤正确，这为RLVR提供了天然的验证信号。
方法步骤详情
HopChain的数据合成流程包含四个阶段。Stage 1（类别识别）：给定输入图像，使用Qwen3-VL-235B-A22B-Thinking识别图像中存在的语义类别，生成类别列表（如'sheep'、'doll'、'paper'），不包含空间定位。Stage 2（实例分割）：对每个识别出的语义类别，使用SAM3生成候选实例的分割掩码和边界框，将类别解析为具体的空间定位实例。Stage 3（多跳查询生成）：从检测到的实例中选取3-6个实例的组合，使用Qwen3-VL-235B-A22B-Thinking为每个组合生成多跳查询。模型接收原始图像加每个实例的裁剪补丁（补丁仅在设计时使用），生成包含感知级别跳转和实例链跳转的查询。生成时强制要求：涉及尽可能多的实例、仅通过空间/上下文/视觉属性描述对象、以特定数值答案结束、避免引用分割掩码或边界框。Stage 4（人工验证与难度校准）：四名标注员独立解答每个查询，丢弃存在歧义引用的查询，保留四人答案一致的查询。然后在较弱模型上评估保留的查询（每个查询采样8个响应），移除准确率100%的过易查询，剩余查询形成最终数据集。通过图像筛选和过滤，最终为每个模型生成约6k-8k个多跳RLVR样本。
技术新颖性
HopChain的技术新颖性体现在多个层面。首先，在推理结构定义上，本文首次将视觉语言多跳推理形式化为两个正交维度：感知级别跳转（在Level 1单对象感知和Level 2多对象关系感知之间切换）和实例链跳转（沿显式依赖链A->B->C移动）。这比现有工作将多跳推理视为单一链条更加精细和严格。其次，在数据合成方法上，HopChain采用VLM+SAM3的组合策略，其中VLM负责高层语义理解，SAM3负责底层空间定位，两者结合实现了从原始图像到结构化多跳查询的自动化合成。这比手工标注（如GQA）或纯程序化生成（如CLEVR）更加灵活和可扩展。第三，在数据质量控制上，本文采用'人工验证+模型过滤'的双层机制：人工验证确保答案正确性，模型过滤确保适当的难度。第四，在训练策略上，将多跳数据作为原始RLVR数据的补充源，而非替代，使得数据能够以'即插即用'的方式提升模型能力。最后，本文的深度分析（错误类型分析、推理长度分析、难度覆盖分析）为多跳数据的有效性提供了系统性的实验证据。
实验结果
本文在Qwen3.5-35B-A3B和Qwen3.5-397B-A17B两个模型上进行了全面实验，核心发现如下：（1）广泛提升：在24个基准测试中，两个模型各有20个基准获得提升，覆盖STEM与谜题推理、通用VQA、文本识别与文档理解、视频理解四个类别。例如，Qwen3.5-35B-A3B在EMMA上从53.00提升到58.00，CharXiv从69.00提升到73.10；Qwen3.5-397B-A17B在BabyVision上从28.61提升到32.22，ZEROBench从4提升到8。（2）结构重要性：消融实验表明，完整多跳查询在5个代表性基准上的平均分为70.4，半多跳（只保留后半跳）降至66.7，单跳降至64.3，证明保留完整多跳结构是关键。（3）长链推理增益：在Qwen3.5-397B-A17B上，多跳训练的优势在超长响应区间最为显著，准确率提升超过50个百分点。（4）难度覆盖：对每个查询独立采样8个响应，两个模型都有超过一半的查询处于部分正确状态，且分布相对均匀，表明数据覆盖了广泛的难度范围。（5）错误类型广谱修复：多跳数据纠正的错误类型分布与基线错误分布高度相似，感知错误仍是最大类别，推理错误其次，知识、幻觉等错误也有覆盖，表明增益是广谱的而非针对单一错误类型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| STEM与谜题推理 | MathVision | 76.05 / 83.71 | 73.71 / 81.68 | +2.34 / +2.03 |
| STEM与谜题推理 | MMMU Pro | 70.64 / 76.47 | 69.25 / 75.06 | +1.39 / +1.41 |
| STEM与谜题推理 | EMMA(mini) | 58.00 / 69.00 | 53.00 / 66.25 | +5.00 / +2.75 |
| STEM与谜题推理 | BabyVision | 22.68 / 32.22 | 21.91 / 28.61 | +0.77 / +3.61 |
| 通用VQA | RealWorldQA | 79.35 / 81.70 | 78.17 / 79.87 | +1.18 / +1.83 |
| 通用VQA | ERQA | 51.38 / 60.00 | 48.25 / 60.50 | +3.13 / -0.50 |
| 文本与文档理解 | CharXiv | 73.10 / 77.20 | 69.00 / 74.60 | +4.10 / +2.60 |
| 文本与文档理解 | InfoVQA_VAL | 90.17 / 92.20 | 87.44 / 90.83 | +2.73 / +1.37 |
| 视频理解 | VideoMMMU | 74.78 / 80.00 | 73.33 / 78.89 | +1.45 / +1.11 |
| 视频理解 | MMVUCOT | 68.90 / 72.50 | 65.80 / 72.30 | +3.10 / +0.20 |
| 消融实验 | 5基准平均分 | 70.4 | 66.7(半多跳) / 64.3(单跳) | +3.7 / +6.1 |
局限与改进
尽管HopChain取得了显著成效，但仍存在以下局限性：（1）依赖实例分割：当前流程依赖SAM3的成功分割，对于没有可检测对象的图像（如抽象艺术、纯纹理、密集无边界的场景）无法处理，这些图像被排除在合成工作流之外。（2）查询类型限制：多跳查询的设计目前主要围绕计数、比较、空间关系等感知推理任务，对于需要高级抽象推理（如因果推理、反事实推理）或领域专业知识的任务覆盖不足。（3）人工标注成本：虽然流程整体可扩展，但Stage 4仍需要四名标注员独立验证每个查询，这在大规模数据合成时会成为瓶颈。（4）数值答案约束：为了适配RLVR的验证机制，所有查询必须以数值答案结束，这限制了可以生成的查询类型，某些有趣的推理任务可能无法转化为数值答案形式。（5）数据规模与多样性：最终每个模型只有6k-8k个多跳样本，虽然效果显著，但相对于原始RLVR数据规模仍然较小，数据的多样性和覆盖面可能仍有提升空间。（6）视频领域的间接提升：虽然多跳数据在视频理解基准上也有提升，但数据本身是从图像合成的，对于视频特有的时序推理能力的提升可能有限。（7）可解释性不足：论文分析了错误类型的宏观分布，但对于模型具体如何从多跳训练中受益的微观机制（如注意力分布变化、中间表征变化）缺乏深入分析。
独立分析的弱点
基于独立分析，HopChain存在以下弱点和改进方向：（1）实例分割依赖性：对于无可分割对象的图像，当前流程完全无法处理。改进方向：可以引入互补的数据构建路线，例如基于图像全局特征的抽象推理任务，或使用VLM直接生成不依赖实例分割的多跳查询，保持链式视觉定位的核心设计原则。（2）查询生成的可控性：当前使用VLM生成多跳查询，生成的查询质量和难度分布不够可控。改进方向：可以设计更精细的提示工程，或引入强化学习来优化查询生成过程，使生成的查询更好地覆盖目标难度分布。（3）跳转类型的覆盖：当前主要关注感知级别和实例链两种跳转，对于因果链、时间序列等其他推理维度的跳转类型未充分探索。改进方向：可以扩展跳转类型的定义，引入因果跳转、时间跳转等新维度。（4）数据量与效率的平衡：6k-8k个样本相对于大规模训练来说仍然较少。改进方向：可以研究如何更高效地利用多跳数据，例如通过课程学习（从简单到复杂逐步引入多跳数据）或数据增强策略。（5）跨模态验证：虽然视频基准有提升，但未验证多跳数据在音频-视频-文本等更复杂多模态场景中的效果。改进方向：可以将HopChain框架扩展到多模态推理场景。
未来方向
作者提出和基于成果可延伸的未来研究方向包括：（1）减少对实例分割的依赖：为没有可分割对象的图像引入互补的数据构建路线，保持链式视觉定位的核心设计原则。（2）扩展到更多模态：将多跳推理框架扩展到音频、视频、3D等模态，构建跨模态的多跳推理数据。（3）优化数据合成效率：研究如何减少人工验证的成本，例如使用更强的VLM进行自动验证，或设计更智能的采样策略来选择最有价值的训练样本。（4）深入理解机制：通过注意力分析、表征分析等方法，深入理解多跳训练如何改变模型的推理行为，特别是视觉-推理对齐的中后期层如何被影响。（5）与课程学习结合：研究多跳数据的最优引入策略，是否应该在训练的不同阶段使用不同难度的多跳数据。（6）扩展应用领域：将HopChain应用于专业领域（如医学图像、遥感图像、工业检测）的VLM训练，测试其在特定领域的泛化能力。（7）与人类学习类比：借鉴认知科学中关于人类如何进行多步推理的研究，进一步优化多跳查询的设计，使其更接近人类推理的认知过程。
复现评估
从复现角度来看，HopChain的复现难度中等。有利因素包括：（1）论文提供了完整的数据合成提示（Appendix A和B），包括多跳查询生成和图像筛选的详细指令；（2）使用的基础模型（Qwen3-VL-235B-A22B-Thinking、SAM3）都是公开可用的；（3）训练算法SAPO有公开的原始论文；（4）评估的24个基准测试都是广泛使用的公开基准。不利因素包括：（1）论文使用的SFT数据和原始RLVR数据是'预最终内部版本'，不是Qwen3.5的官方数据配方，这可能影响精确复现；（2）Stage 4的人工验证需要四名标注员，增加了复现成本；（3）论文未公开合成的多跳数据集本身；（4）大规模实验需要显著的算力（Qwen3.5-397B-A17B的训练）。算力方面，35B模型使用16个响应x256个查询的mini-batch为64，训练1000步；397B模型使用128的mini-batch，训练800步。建议复现时先从较小的模型和数据规模开始验证核心思想。
论文图表
