← 返回 2026-03-24

Insight-V++：面向多模态大语言模型的高级长链视觉推理 Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models

Yuhao Dong, Zuyan Liu, Shulin Tian, Yongming Rao, Ziwei Liu 📅 2026-03-18 👍 12 2026-07-13 08:36
双智能体系统 多模态推理 强化学习 自进化 长链推理
arXiv HuggingFace PDF

提出双智能体自进化架构，通过GRPO强化学习提升MLLM长链视觉推理能力

前置知识

多模态大语言模型

能够同时处理图像、视频等视觉信息与文本信息的深度学习模型，通过视觉编码器将图像转换为特征表示，再与语言模型结合实现跨模态理解和推理。模型需要学习图像-文本对齐和跨模态语义关联，通过注意力机制融合不同模态的特征表示，最终生成跨模态的输出。

本文的核心工作是在多模态大语言模型框架下增强长链视觉推理能力，需要理解MLLM如何融合视觉和语言信息以及面临的主要挑战。

Chain-of-Thought推理

一种 prompting 技术，要求模型逐步展示推理过程而非直接给出答案。通过分解问题为多个中间步骤，模型可以展示其推理链路，提高复杂问题的求解准确性和可解释性。在数学形式上，可以将推理过程建模为条件概率的乘积，每个步骤都依赖于前面的步骤和原始问题，这种显式的步骤分解使模型能够处理更复杂的推理任务。

本文的核心创新是长链视觉推理，是对传统CoT在视觉领域的扩展和深化，需要理解CoT的基本原理、优势以及在多模态场景下面临的挑战。

Group Relative Policy Optimization

一种无需单独批评模型的强化学习算法，通过群体统计估计基线来简化训练过程。对每个输入采样多个输出并计算每个输出的奖励，然后通过标准化公式计算优势值。这种标准化方法使高于平均水平的输出获得正向优势，低于平均水平的输出获得负向优势，从而无需训练额外的批评网络。GRPO在数学上通过重要性采样比率进行策略更新，并使用裁剪机制防止过大的策略更新。

本文提出的ST-GRPO和J-GRPO是GRPO的改进版本，专门用于训练推理智能体和总结智能体，理解GRPO的基本原理和优势是掌握本文方法的关键。

多智能体系统

由多个相互协作的智能体组成的系统，每个智能体承担不同角色和功能并通过特定机制进行交互。智能体之间可以通过通信交换信息、通过反馈进行改进、通过协作完成复杂任务。在本文中，推理智能体专注于生成详细的推理路径和逐步分析，而总结智能体专门学习评估推理质量、识别潜在错误并提取关键信息来给出最终答案。这种角色专业化使每个智能体都能在其专长领域达到更高性能。

本文的核心架构是双智能体系统，理解多智能体协作机制、角色分工和交互方式对于掌握方法创新和训练策略至关重要。

Direct Preference Optimization

一种直接优化人类偏好的方法，无需训练显式的奖励模型，直接通过对比损失优化模型参数。给定偏好对，其中yw优于yl，DPO利用Bradley-Terry模型建模偏好分布，将奖励函数的参数直接编码到策略中，避免了训练奖励模型的不稳定性和计算开销。DPO的关键优势在于它将强化学习的策略优化问题转化为监督学习的对比学习问题，简化了训练流程并提高了训练稳定性。

Insight-V使用迭代DPO训练推理智能体，而Insight-V++进一步用GRPO替代DPO以克服其off-policy的局限性，理解DPO有助于理解方法演进和改进动机。

研究动机

多模态大语言模型在长链视觉推理方面面临严峻挑战。首先，缺乏大规模高质量的长链推理数据，视觉推理数据不仅比纯文本数据昂贵，还需要大量人工进行详细标注和验证，因为判断一个推理过程的质量比判断最终答案正确与否要复杂得多。其次，现有的训练方法对增强CoT推理效果有限，模型难以利用视觉线索进行精确的逐步问题求解，往往只能进行浅层的视觉描述而无法进行深度的逻辑推理。更关键的是，从静态图像理解扩展到动态视频推理引入了更高复杂度，视频推理需要跟踪变化物体、理解复杂动作序列，并在多个帧间保持空间-时间一致性，这对模型的长期记忆和时序推理能力提出了极高要求。最后，静态、非自适应的训练范式限制了通用推理能力的提升，模型缺乏持续自我进化的能力，一旦训练完成就难以进一步改进。

本文的目标是本文旨在构建一个统一的多智能体视觉推理框架，系统性地从图像中心模型Insight-V演变为通用空间-时间架构Insight-V++。具体目标包括：设计可扩展的渐进式数据生成管道，无需人工干预即可自主合成图像和视频领域的结构化复杂推理轨迹；开发双智能体架构，将推理和总结分解为两个专门步骤，提升推理质量和答案准确性；引入稳定的强化学习算法，增强推理智能体的空间-时间对齐能力和总结智能体的评估鲁棒性；建立自进化训练策略，通过内部反馈实现系统的持续自我改进，从而在保持原有感知能力的同时显著提升推理能力。

与已有工作不同的是，本文的独特切入角度是从系统架构层面重新设计多模态推理流程，而非仅在数据或推理技巧层面进行改进。与现有工作相比，本文的关键创新在于：将推理和总结明确解耦为两个独立的智能体，使每个智能体专注于其核心功能而不是要求单一模型同时处理所有任务；提出针对视觉推理的定制化强化学习算法，解决DPO等off-policy方法在长链推理中的局限性；引入自进化闭环训练机制，使系统能够利用内部反馈持续改进，摆脱对固定人工标注数据集的依赖；统一图像和视频域，构建通用的空间-时间推理架构。这种系统级的创新使模型能够真正实现长期渐进式的能力提升，而非一次性优化，这是对现有方法的本质性突破。

核心方法

Insight-V系列的整体思路是构建一个能够持续自我进化的多智能体视觉推理系统。方法分为三个核心组件：结构化数据生成管道、双智能体架构设计和渐进式训练策略。在数据层面，采用渐进式生成策略产生长链推理轨迹，通过多粒度评估系统确保数据质量，同时保持推理路径的多样性。在模型层面，双智能体系统将复杂推理任务分解为推理智能体和总结智能体，推理智能体负责生成详细的逐步推理过程，总结智能体负责评估推理过程并提取最终答案。在训练层面，采用监督微调、偏好优化和强化学习相结合的策略，并通过自进化机制实现系统的持续改进。Insight-V++进一步将这一框架扩展到视频域，引入ST-GRPO和J-GRPO等定制化强化学习算法，实现真正的空间-时间推理能力，最终形成一个能够不断自我完善的智能系统。

核心创新点是双智能体自进化架构与定制化强化学习的深度结合。与单模型或多轮对话方法不同，本文明确将推理和总结分离为两个独立但紧密协作的智能体，使推理智能体专注于生成详细的逐步推理过程，而总结智能体专门学习评估推理质量并提取关键信息。这种解耦设计避免了单模型同时处理推理和问答的复杂性，降低了错误传播风险，使每个智能体都能在其专长领域达到最优性能。更重要的是，Insight-V++引入了两个定制化的GRPO强化学习算法：ST-GRPO通过复合奖励设计强制推理智能体掌握空间-时间逻辑，J-GRPO通过路径质量评分和答案验证训练总结智能体的评估鲁棒性。这些算法与自进化机制结合，形成了独特的推理生成、评估反馈、改进重训的闭环，使系统能够持续提升推理能力而无需外部人工干预。

方法步骤详情

数据生成阶段采用渐进式策略，对于每个输入查询，首先使用推理生成器以JSON格式生成结构化推理过程，每步包含当前步骤摘要、详细推理响应和下一步动作。如果动作是continue，继续下一轮推理；如果是summary，基于完整推理过程生成最终摘要和答案。重复此过程多次采样多个结构化响应，然后进行多粒度评估：先使用强语言模型进行直接答案过滤，排除答案错误的响应；再用高级多模态模型对剩余推理路径打分。对于视频数据，额外引入基于上下文示例的评估策略，使用先进模型创建高质量黄金集，引导评估模型理解高质量视频推理特征。模型设计阶段从基础多模态大语言模型初始化两个智能体，推理智能体使用最高分推理路径训练，总结智能体使用包含最优和缺陷推理路径的混合数据训练，增强其对不准确推理的鲁棒性。训练阶段采用三步策略：监督微调使各智能体掌握基本功能；迭代偏好优化或强化学习优化推理能力；自进化循环利用总结智能体反馈生成改进数据，重新训练整个系统。自进化阶段推理智能体生成初始推理轨迹，总结智能体审查并提供反馈，推理智能体基于反馈修正路径，最多迭代三次，生成的高质量轨迹经过筛选后用于重新训练两个智能体，形成持续改进循环。

技术新颖性

技术新颖性体现在多个方面。首先，双智能体解耦架构在多模态推理中是首次系统应用，与现有的单模型思维链、多轮对话或简单的验证器辅助方法有本质区别。推理智能体和总结智能体的明确分工使系统能够同时深度推理和鲁棒评估，避免了单模型的固有局限性。其次，ST-GRPO和J-GRPO是首次针对多模态推理智能体设计的强化学习算法，通过复合奖励设计和课程学习策略，针对不同智能体的需求进行定制化优化，解决了传统强化学习在视觉推理中的稳定性问题。第三，自进化机制超越了传统的静态训练范式，通过内部反馈信号实现真正的持续改进，而非依赖外部人工标注数据的迭代更新，这种内生的改进能力是现有方法所不具备的。第四，统一的空间-时间数据管道首次将图像和视频推理数据生成整合到同一框架中，通过上下文示例评分策略解决了视频推理轨迹评估的挑战，实现了真正的跨模态统一。最后，Visual Jigsaw辅助任务是增强时间感知的巧妙设计，为强化学习提供了额外的训练信号，这是对视频理解任务的重要创新。

Illustration and Performance of Insight-V and Insight-V++. Insight-V employs a dual-agent architecture, comprising dedicated reasoning and summarization modules to achieve significant performance gains across various image reasoning benchmarks. Building upon this foundation, Insight-V++ introduces a novel self-evolving training paradigm. By utilizing an iterative loop of Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) to continuously refine its visual reasoning capabilities, Insight-V++ yields superior results on both image and video benchmarks.
Figure 1: Illustration and Performance of Insight-V and Insight-V++. Insight-V employs a dual-agent architecture, comprising dedicated reasoning and summarization modules to achieve significant performance gains across various image reasoning benchmarks. Building upon this foundation, Insight-V++ introduces a novel self-evolving training paradigm. By utilizing an iterative loop of Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) to continuously refine its visual reasoning capabilities, Insight-V++ yields superior results on both image and video benchmarks.
Data Generation Pipeline of Insight-V Series. The reasoning processes are generated progressively through a reasoning generator, and then fed into a multi-granularity assessment system to ensure high-quality reasoning.
Figure 2: Data Generation Pipeline of Insight-V Series. The reasoning processes are generated progressively through a reasoning generator, and then fed into a multi-granularity assessment system to ensure high-quality reasoning.
Overview of Insight-V and Insight-V++ Model Design. In Insight-V, we derive a multi-agent system from a single base model. By decomposing the task into reasoning and summarization, these two agents collaborate to enhance overall performance. For Insight-V++, we further introduce ST-GRPO and J-GRPO, which are tailored specifically to each agent. Coupled with a self-evolving strategy, this training loop consisting of SFT and customized RL drives the multi-agent system to excel at visual reasoning.
Figure 3: Overview of Insight-V and Insight-V++ Model Design. In Insight-V, we derive a multi-agent system from a single base model. By decomposing the task into reasoning and summarization, these two agents collaborate to enhance overall performance. For Insight-V++, we further introduce ST-GRPO and J-GRPO, which are tailored specifically to each agent. Coupled with a self-evolving strategy, this training loop consisting of SFT and customized RL drives the multi-agent system to excel at visual reasoning.

实验结果

实验结果充分验证了Insight-V系列的有效性。在通用图像推理和理解任务上，当Insight-V与LLaVA-NeXT-LLaMA3集成时，将平均推理性能从46.8%提升到54.9%，提升了8.1个百分点，感知能力从65.5%提升到72.3%，提升了6.8个百分点。在更先进的Qwen2.5-VL基础上，Insight-V++将平均推理分数从66.3%进一步提升到71.1%，提升了4.8个百分点，在复杂推理基准上达到53.9%的平均分数。具体来看，Insight-V++在专家级多学科推理基准上达到64.8%，在更具挑战性的基准上达到45.6%，超过了强化学习多智能体基线和先前的最先进方法。在高级图像推理基准上，Insight-V++在数学视觉推理测试集上达到48.6%，在数学视觉推理基准上达到62.4%，在数学推理宽松评估上达到78.8%，在逻辑视觉推理测试集上达到52.9%，在动态数学推理最差情况上达到33.6%，在科学图表推理上达到46.8%，平均53.9%，显著超过其他强基线方法。在视频推理任务上，Insight-V++在视频多模态评估上达到67.8%，在视频多学科推理上达到57.6%，在多模态视频理解上达到65.0%，在视频多学科大规模评估上达到48.4%，在视频演绎推理上达到40.2%，在视频思维测试上达到46.8%，平均54.2%。相比Qwen2.5-VL基线的47.3%，平均提升6.9个百分点。特别是在需要识别动态展示的公式并执行科学推理的视频多学科大规模评估上，从37.5%提升到48.4%，提升了10.9个百分点，接近GPT-4o的49.4%。

Results on General Image Reasoning and Understanding Tasks. We evaluate 10 benchmarks covering both visual reasoning and perception. Average scores are computed separately for the Reasoning and Perception groups with normalized scales for fair comparison. Insight-V significantly improves reasoning while maintaining strong perception, and Insight-V++ further advances performance on stronger base models.
Table 1: Results on General Image Reasoning and Understanding Tasks. We evaluate 10 benchmarks covering both visual reasoning and perception. Average scores are computed separately for the Reasoning and Perception groups with normalized scales for fair comparison. Insight-V significantly improves reasoning while maintaining strong perception, and Insight-V++ further advances performance on stronger base models.
Results on Advanced Image Reasoning Tasks. We conduct evaluation experiments across 6 visual reasoning benchmarks, covering mathematical, logical, and chart-based advanced reasoning assessments. Insight-V++ achieves the highest average score, outperforming other strong RL-based methods.
Table 2: Results on Advanced Image Reasoning Tasks. We conduct evaluation experiments across 6 visual reasoning benchmarks, covering mathematical, logical, and chart-based advanced reasoning assessments. Insight-V++ achieves the highest average score, outperforming other strong RL-based methods.
Results on Video Reasoning Tasks. We conduct evaluation experiments across 6 video benchmarks, covering both general video understanding and task-specific video reasoning assessments. Insight-V++ demonstrates strong effectiveness and generalizability in video domain as well, achieving consistent improvements across all benchmarks and surpassing competitive open-source video MLLMs at the similar scale by a notable margin.
Table 3: Results on Video Reasoning Tasks. We conduct evaluation experiments across 6 video benchmarks, covering both general video understanding and task-specific video reasoning assessments. Insight-V++ demonstrates strong effectiveness and generalizability in video domain as well, achieving consistent improvements across all benchmarks and surpassing competitive open-source video MLLMs at the similar scale by a notable margin.
Ablations on the Design Choice of Insight-V Series. The multi-agent design outperforms other configurations, highlighting the critical role of reasoning and summarization decomposition.
Table 4: Ablations on the Design Choice of Insight-V Series. The multi-agent design outperforms other configurations, highlighting the critical role of reasoning and summarization decomposition.
Ablations on the DPO training strategy. Iterative DPO progressively enhances the model's reasoning capabilities, leading to improved performance.
Table 5: Ablations on the DPO training strategy. Iterative DPO progressively enhances the model's reasoning capabilities, leading to improved performance.
Ablations on the amount of training data. The reasoning agent benefits from data scaling, providing more valuable insights for the summary agent.
Figure 4: Ablations on the amount of training data. The reasoning agent benefits from data scaling, providing more valuable insights for the summary agent.
Qualitative Results of Insight-V Series. We present qualitative comparisons of Insight-V with Chain-of-Thought and learning Insight-V with direct SFT (Vanilla). For the Insight-V system, the reasoning agent delivers a more coherent and structured reasoning process, guiding the summary agent toward the correct answer, whereas other methods struggle with complex reasoning tasks and fail to solve such challenging problems.
Figure 5: Qualitative Results of Insight-V Series. We present qualitative comparisons of Insight-V with Chain-of-Thought and learning Insight-V with direct SFT (Vanilla). For the Insight-V system, the reasoning agent delivers a more coherent and structured reasoning process, guiding the summary agent toward the correct answer, whereas other methods struggle with complex reasoning tasks and fail to solve such challenging problems.
查看结构化数据
任务指标本文基线提升
通用图像推理（多学科推理、图表问答、数学视觉、多星平均） 平均准确率 71.1% 66.3% (Qwen2.5-VL) +4.8%
高级图像推理（6个基准平均） 平均准确率 53.9% 52.9% (OpenMMReasoner) +1.0%
视频推理（6个基准平均） 平均准确率 54.2% 47.3% (Qwen2.5-VL) +6.9%
专家级知识推理（多学科推理） 准确率 64.8% 58.6% (Qwen2.5-VL) +6.2%
科学视频推理（视频多学科大规模评估） 准确率 48.4% 37.5% (Qwen2.5-VL) +10.9%
专业级视频理解（视频多学科推理） 准确率 57.6% 47.4% (Qwen2.5-VL) +10.2%

局限与改进

作者承认了一些局限性。首先，自进化机制的计算成本较高，需要多轮迭代训练和大量数据生成评估，在大规模部署时可能面临资源限制。其次，双智能体架构在推理时增加了计算开销，尽管通过并行化可以部分缓解，但在实时应用场景中可能不够高效。第三，当前的评估主要集中在学术基准上，在真实复杂场景中的泛化能力需要进一步验证，特别是面对噪声数据、分布外样本和长期依赖时。作者还指出，视频推理的长上下文处理仍然受到硬件限制，超长视频的推理能力有待提升。此外，我观察到一些额外局限性：数据生成依赖强模型作为评估者，这些模型可能存在的偏见会传递到训练数据中，影响模型的公平性和鲁棒性；多智能体系统增加了系统复杂度和调参难度，如强化学习算法的奖励权重、课程学习阶段划分等超参数需要仔细调节；当前方法主要优化推理质量，对推理效率的考虑相对不足，长链推理产生大量中间token；自进化机制可能存在性能上限，当总结智能体本身存在局限时，反馈的改进空间也会受限。

独立分析的弱点

首先，计算效率有待提升。双智能体架构需要两次前向传播，自进化训练需要多轮迭代，在资源受限场景下部署困难。改进方向包括研究智能体参数共享、知识蒸馏或轻量化变体，将双智能体能力压缩到单一模型中，或开发更高效的自进化策略减少迭代轮数。其次，数据生成管道的评估依赖可能引入偏差。当前依赖闭源模型创建黄金集，这些模型的偏见和错误会传递到训练数据。改进方向包括开发开源的高质量视频推理评估模型，或引入多评估者集成策略减少单一模型偏见，同时探索无监督或自监督的质量评估方法。第三，当前方法专注于推理质量提升，对推理效率的优化不足。长链推理产生大量中间token，在实际应用中可能不切实际。改进方向包括研究自适应推理深度机制，根据问题复杂度动态调整推理链长度，或开发推理路径压缩技术，将详细推理转化为简洁表示。第四，视频推理的帧数限制处理超长视频能力有限。改进方向包括引入层次化视频理解机制，先进行粗粒度时序分割，再对关键片段进行细粒度推理，或开发记忆增强机制处理更长的时间跨度。第五，自进化机制的稳定性需要进一步研究。当总结智能体评估能力存在局限时，反馈信号可能误导推理智能体，导致性能退化。改进方向包括引入外部验证机制或定期人工监督，确保进化方向的正确性，或设计更鲁棒的反馈聚合策略。

未来方向

作者提出了一些未来研究方向：将自进化机制扩展到更多模态，构建真正的多模态通用推理系统；研究更复杂的多智能体协作模式，如引入专门的规划智能体、验证智能体或工具使用智能体；探索更低成本的自进化机制，减少对大规模计算资源的依赖；在真实世界应用场景中验证方法的鲁棒性和实用性。基于本文成果，可以延伸以下方向：研究跨模态知识迁移，使图像推理能力能够有效迁移到视频、三维等新模态；开发开放式的推理评估框架，不仅评估答案正确性，还评估推理逻辑的合理性、创新性和可解释性；探索人机协作的自进化机制，让人类专家能够参与到进化过程中，提供更高层次的反馈和指导；研究推理链的压缩和优化技术，将长链推理转化为高效的计算图或程序，提升推理效率；探索元学习能力，使系统能够快速适应新的推理任务和领域，减少对大量任务特定数据的依赖；研究可解释性和可信度评估，使模型能够解释其推理过程并评估自身输出的可信度。

复现评估

论文的复现性评估如下：开源情况方面，作者提到使用了LLaVA-NeXT和Qwen2.5-VL作为基础模型，这些都是开源的，但未明确说明是否开源训练代码、数据生成管道和训练后的模型权重。数据方面，论文描述了详细的数据构建过程，包括使用的数据集和数据量，但未公开生成的推理数据集，这增加了复现难度。算力需求方面，训练需要显著计算资源，特别是支持长视频输入和自进化多轮训练，但论文未提供具体的计算资源需求和训练时间。实现细节方面，论文提供了超参数设置和训练轮数，但一些关键实现细节可能需要额外补充。总体来说，论文在方法论描述上较为详细，但由于缺乏完整的代码和数据开源，复现难度中等偏高，需要较强的工程能力和计算资源。

论文图表

Table 6: Ablations on the design choices of Insight-V++. The multi-agent system significantly benefits from the integration of the enhanced GRPO-based RL strategy and the proposed self-evolving mechanism.

表6展示了Insight-V++设计选择的消融实验结果。比较了不同配置在多学科推理、数学视觉、视频多模态评估、视频多学科推理上的性能。Insight-V++多智能体基线在图像和视频上分别为59.2%和49.6%。加入空间-时间分组相对策略优化后性能提升。同时加入空间-时间分组相对策略优化和判断分组相对策略优化后性能进一步提升。协作推理进一步提升性能。自进化达到最佳性能。结果显示空间-时间分组相对策略优化贡献最大，判断分组相对策略优化进一步提升了性能，而自进化机制带来了最显著的提升。

这个表格对验证Insight-V++的核心创新至关重要。它清晰地展示了定制化强化学习算法和自进化机制的独立贡献和组合效果。结果显示空间-时间分组相对策略优化是最大的性能提升来源，证明了针对空间-时间推理的定制化强化学习的有效性。判断分组相对策略优化的进一步提升证明了总结智能体评估能力的重要性，而自进化机制的最终提升验证了闭环自我优化的价值。