Visual Para-Thinker++：用于视觉推理的单策略多智能体框架 Visual Para-Thinker++: A Single-Policy Multi-Agent Framework for Visual Reasoning
提出单策略多智能体框架，通过角色解耦优化和KV缓存重用，在视觉推理任务上显著减少幻觉并提升推理效率
前置知识
单策略多智能体
传统的多智能体系统使用多个独立训练的模型，计算成本高昂且难以端到端优化。单策略多智能体通过共享同一组模型权重，仅通过角色令牌和可见上下文来区分不同智能体，使得整个系统可以在统一的优化框架下训练。本文中，一个共享的 MLLM 策略通过角色条件化被实例化为 Main Agent、Worker Agents 和 Summary Agent 三个角色，所有角色共享 Transformer 权重，但根据不同的角色令牌和可见上下文来执行不同的任务。
这是本文的核心设计理念，区别于现有的多智能体辩论或角色扮演系统，理解这个概念才能明白作者如何实现高效的多智能体协作和端到端优化
角色解耦多智能体优化
在多智能体强化学习中，不同角色往往有相互冲突的目标。Worker Agents 关注局部证据收集，Summary Agent 关注全局结果综合，如果使用单一的轨迹级奖励广播到每个 token，会导致梯度耦合。角色解耦优化通过为每个角色分配独立的奖励信号，并在各自的 on-policy 组内归一化，得到角色特定的优势，用于 Main 和 Summary，用于 Worker i，然后通过组合应用到对应的 token 片段，从而实现梯度的解耦。
这是本文的核心技术创新，理解这个机制才能明白作者如何解决多智能体协作中的梯度冲突问题
KV 缓存重用
在大模型推理中，KV cache 存储了注意力机制的键值对，避免了重复计算。在多智能体场景下，不同的 Agent 需要处理相同的视觉前缀（图像和问题）。传统的做法是每个 Agent 都重新填充前缀，导致重复计算。本文的推理引擎通过 vLLM 的 PagedAttention Copy-on-Write 机制，在父 SequenceGroup 中存储共享的 KV 页面，在角色触发令牌处 fork 出多个 Worker 序列，并行解码，最后在 Summary 段合并 KV 页面，使得 Worker Agents 共享视觉前缀，Summary Agent 重用父级和 Worker 的 KV 页面。
这是本文实现高效推理的关键技术，理解这个机制才能明白作者如何在多智能体协作中保持推理效率
上下文隔离
在多智能体推理中，如果 Worker Agents 能够看到彼此的推理轨迹，它们会倾向于复制而不是探索互补的证据。上下文隔离通过在打包的轨迹上应用掩码，确保每个 Worker Agent 只能看到图像、问题、Main 输出以及它自己的后缀，而看不到其他 Workers 的 tokens。同时，Summary Agent 保持对所有 Worker 轨迹的完全可见性，这使得 Summary Agent 能够进行轨迹级别的证据协调。
这是实现真正并行推理的关键，没有上下文隔离，并行推理就会退化为复制行为
研究动机
视觉推理需要在图像的不同区域、属性和关系之间整合分散的证据，这与文本主导的任务有本质区别。在文本任务中，证据通常集中在单一的语言论证中，可以通过延长单条思维链来有效增强推理能力。但在视觉推理中，证据分布在图像的各个部分，单轨迹推理容易在早期就做出错误的感知承诺，一旦选择了错误的解释，延长的链条只会加深这个错误而不是纠正它。例如，在计数任务中，单方向扫描可能导致重复计数或漏计数；在幻觉敏感的任务如 HallusionBench 中，早期错误地将图像中的某个区域识别为不存在的物体，后续推理就会为这个幻觉寻找证据而不是纠正它。现有的方法如自一致性采样 K 条独立链并多数投票，本质上仍然来自同一个单角色分布，每条链都继承了相同的单智能体偏见，系统只在最终答案级别聚合，无法在推理过程中纠正错误。
本文的目标是本文的目标是提出一个单策略多智能体框架 Visual Para-Thinker++，通过将推理任务分解为多个互补的子任务并分配给不同角色的 Agent 协作完成，来克服单轨迹推理的早期感知承诺问题。具体来说，Main Agent 负责将视觉任务分解为子任务，Worker Agents 在上下文隔离下并行推理收集局部证据，Summary Agent 在轨迹级别协调所有 Worker 的推理结果，而不是简单地对最终标签进行多数投票。通过这种方式，系统能够探索多个视觉假设，在产生最终答案之前进行充分的证据验证，从而减少幻觉并提升推理准确性。
与已有工作不同的是，本文的独特切入角度在于，它不是简单地让多个 Agent 在推理时并行工作，而是学习角色条件化的 Agent 到一个单一的共享策略中，并通过角色解耦的强化学习优化整个系统。与现有的多智能体辩论或角色扮演系统不同，这些系统通常使用多个独立的模型或不同的提示词来鼓励角色分离，主要成本是 K 倍的异构模型推理，且梯度很少流经整个团队。而 Visual Para-Thinker++ 将 K 个模型折叠为一组共享的权重，使角色身份成为角色令牌和可见上下文的函数，而不是独立模型的函数，从而允许在统一的 RL 阶段中进行端到端优化。此外，与 Para-Thinker 等并行思维方法不同，这些方法在文本-only 设置中探索共享前缀和发散后缀，而本文专门针对视觉推理设计，引入了视觉特定的任务分配模式（块基和扫描顺序）和轨迹级别的证据协调。
核心方法
Visual Para-Thinker++ 的整体思路是将视觉推理建模为一个多角色协作过程，而不是单条延长链。直觉上，就像人类团队解决复杂视觉任务时会分工合作一样，有的成员负责分解任务，有的成员负责收集局部证据，有的成员负责整合所有信息做出最终决策。技术路线上，框架使用一个共享的 MLLM 策略，通过角色令牌和可见上下文的差异，将同一策略实例化为三种不同角色的 Agent：Main Agent 接收图像和问题，按照固定的任务分配模式将视觉任务分解为 K 个子问题；Worker Agents 接收各自的子任务，在上下文隔离下并行推理，收集局部证据；Summary Agent 接收完整的 Worker 推理轨迹，通过轨迹级别的证据协调产生最终答案。训练分为两个阶段：第一阶段 Multi-Agent Capability Injection 通过 SFT 教导共享策略实例化不同角色；第二阶段 Role-Decoupled Multi-Agent Optimization 通过角色解耦的 RL 优化策略，为每个角色分配独立的奖励信号和优势，减少梯度冲突。
核心创新点在于将多智能体协作和端到端优化结合到一个统一的框架中。与现有方法的本质区别在于：(1) 单策略设计：使用共享的 MLLM 策略而不是多个独立模型，所有角色共享 Transformer 权重，仅通过角色令牌和可见上下文区分，这使得整个系统可以在统一的优化框架下训练，而不是多个模型拼接在一起。(2) 角色解耦优化：为不同角色分配独立的奖励信号和优势，Worker 的奖励评估局部证据和子任务准确性，通过跨 Worker 多数投票启发式实现；Summary 的奖励评估最终输出。这些信号在各自的 on-policy 组内归一化，得到角色特定的优势和，然后组合应用：Main 和 Summary tokens 接收，Worker i 的 tokens 接收。这种设计解决了多智能体协作中的梯度冲突问题，Worker 的错误不会污染 Summary 的梯度，Summary 的错误也不会过度惩罚 Worker。(3) 原生推理引擎：通过 KV 缓存重用实现高效的多智能体推理，Worker Agents 共享视觉前缀，Summary Agent 重用父级和 Worker 的 KV 页面，避免了重复的前缀填充。
方法步骤详情
方法步骤包括：(1) 多智能体轨迹建模：给定图像和问题，多智能体轨迹被分解为 K+2 个角色片段，其中 Main 片段条件化为图像、问题、Main 角色令牌，每个 Worker 片段条件化为图像、问题、Main 输出、Worker i 角色令牌，Summary 片段条件化为图像、问题、Main 输出、所有 Worker 输出、Summary 角色令牌。Main Agent 使用两种固定的任务分配模式之一：块基分配将图像划分为 K 个不相交区域，每个 Worker Agent 收集局部证据；扫描顺序分配为每个 Worker Agent 分配一个不同的全局扫描轨迹，同时保持完整的感受野，适用于计数和全局验证任务。(2) Multi-Agent Capability Injection：给定由更强的 MLLM 教师生成的样本，最小化损失函数，对 Main、Worker 和 Summary 片段的负对数似然求和。应用上下文隔离掩码确保每个 Worker Agent 只能看到自己的后缀。(3) Role-Decoupled Multi-Agent Optimization：使用组归一化的 DAPO 算法，为每个角色分配独立的奖励信号。Worker Agent i 接收 worker 级奖励评估其局部推理轨迹；团队级结果奖励评估 Summary Agent 的最终答案。组归一化各自的奖励源得到优势，然后组合：Main 和 Summary 片段接收，Worker i 的片段接收，其中 lambda 等于 0.5。将这些优势应用到剪裁的 DAPO 损失中更新共享策略。(4) 原生多智能体推理引擎：基于 vLLM 实现，通过 PagedAttention Copy-on-Write 机制，在父 SequenceGroup 中存储共享的 KV 页面，在角色触发令牌处 fork 出 K 个 Worker 序列，并行解码，然后在 Summary 段合并 KV 页面。Worker Agents 共享视觉前缀，Summary Agent 重用父级和 Worker 的 KV 页面，避免重复填充。
技术新颖性
技术新颖性体现在三个方面：(1) 训练策略创新：Multi-Agent Capability Injection 通过角色令牌和上下文隔离，使得一个共享策略能够学习实例化多个不同的角色，这是首次在视觉推理领域实现单策略多智能体的端到端训练。(2) 优化方法创新：Role-Decoupled Multi-Agent Optimization 提出了角色解耦的优势组合方法，将角色特定的奖励信号映射到对应的 token 片段，解决了多智能体协作中的梯度冲突问题。与简单的求和或条件求和相比，这种方法在每个角色的 on-policy 组内归一化奖励，然后组合优势，避免了梯度耦合。(3) 推理引擎创新：原生多智能体推理引擎通过 KV 缓存重用实现了高效的多智能体推理，在 V* 基准上将吞吐量从 58 token/s 提升到 123 token/s，推理时间从 366 秒降低到 312 秒，同时保持了推理准确性。与传统的 1+K+1 次解码调用相比，这种方法显著减少了重复的前缀填充和 KV 缓存开销。
实验结果
在六个视觉基准测试上的实验结果表明，Visual Para-Thinker++ 在 3B 规模上显著提升了感知和幻觉任务的平均性能，从 Qwen2.5-VL-3B 骨干网络的 57.7 提升到 71.2（+13.5），在所有同规模基线中表现最佳。具体来看，在 Pixmo-test 上从 51.6 提升到 69.5（+17.9），在 V* 上从 57.0 提升到 68.3（+11.3），在 HallusionBench 上从 56.1 提升到 64.0（+7.9），在 CountBench 上从 63.3 提升到 74.8（+11.5），在 MMVP 上从 59.2 提升到 69.5（+10.3），在 Pixmo-val 上从 50.1 提升到 60.7（+10.6）。与最接近的基线 Para-Thinker（没有角色分离的并行思维）相比，Visual Para-Thinker++ 在计数和幻觉平均上分别额外提升了 +7.6 和 +4.0，验证了角色特定优化的贡献。在 RefCOCO 家族上的 referring expression grounding 准确率（Acc@0.5）从 84.8 提升到 90.8（+6.0），在所有九个 split 上都优于 Qwen2.5-VL-3B 骨干网络和 SFT 对齐的 Visual Para-Thinker，最大的提升出现在更难的 RefCOCO+ splits 上（val +3.6，testB +3.9）。效率分析显示，通过 KV 缓存重用，Visual Para-Thinker++ 在 V* 基准上的推理时间接近基础 Qwen2.5-VL-3B 模型（312 秒 vs 266 秒），而吞吐量显著优于序列（53 token/s）和多数投票并行基线（49 token/s），达到 123 token/s。Ablation 研究表明，奖励组合方法中，角色解耦优势在 CountBench、V*、MMVP 和 HallusionBench 上分别达到 66.2、72.8、68.7 和 59.0，优于朴素求和的 58.7、66.4、61.3 和 50.9，以及条件求和的 62.9、69.8、65.1 和 55.2。Worker 奖励和角色解耦优势的因子消融显示，同时启用两者在所有四个基准上表现最佳（66.2、72.8、68.7、59.0），仅启用角色解耦优势次之（64.7、71.2、66.8、56.9），仅启用 Worker 奖励再次（63.5、70.6、65.9、55.8），两者都不启用最差（60.4、68.1、62.7、52.7），验证了两个设计的互补性。Worker 优势权重的敏感性分析显示，lambda 等于 0.5 是最佳选择，将 lambda 从 0 增加到 0.5 在 V*、CountBench 和 HallusionBench 上单调提升，但推高到 1.0 或 2.0 会过度加权噪声的 Worker 奖励并部分抵消增益。Worker Agents 数量 K 的研究表明，将 K 从 4 减少到 2 会降低 V* 2.7 个点和 CountBench 3.1 个点，将 K 增加到 8 收益可忽略（平均 +0.3），但推理成本几乎翻倍，确认 K 等于 4 是准确性和效率的平衡点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 计数 | 准确率 (%) | 74.8 (CountBench), 69.5 (Pixmo-val), 69.5 (Pixmo-test) | 63.3 (Qwen2.5-VL-3B), 54.4 (Para-Thinker 3B) | +11.5 vs 骨干网络, +15.1 vs Para-Thinker (CountBench); +10.6 vs 骨干网络, +15.1 vs Para-Thinker (Pixmo-val); +17.9 vs 骨干网络, +15.1 vs Para-Thinker (Pixmo-test) |
| 视觉搜索 | 准确率 (%) | 68.3 (V*) | 57.0 (Qwen2.5-VL-3B), 60.7 (Para-Thinker 3B) | +11.3 vs 骨干网络, +7.6 vs Para-Thinker |
| 精细感知 | 准确率 (%) | 69.5 (MMVP) | 59.2 (Qwen2.5-VL-3B), 63.6 (Para-Thinker 3B) | +10.3 vs 骨干网络, +5.9 vs Para-Thinker |
| 幻觉检测 | 准确率 (%) | 64.0 (HallusionBench) | 56.1 (Qwen2.5-VL-3B), 62.2 (Para-Thinker 3B) | +7.9 vs 骨干网络, +1.8 vs Para-Thinker |
| 指代表达式定位 | Acc@0.5 (%) | 90.8 (RefCOCO Avg) | 84.8 (Qwen2.5-VL-3B), 88.5 (Visual Para-Thinker 3B) | +6.0 vs 骨干网络, +2.3 vs Visual Para-Thinker |
| 推理效率 | 吞吐量 (token/s) | 123 (Ours w/ reuse) | 58 (Qwen2.5-VL-3B), 53 (Sequential), 49 (Majority Voting) | +112 vs 骨干网络, +132 vs Sequential, +151 vs Majority Voting |
局限与改进
作者承认的局限性包括：(1) 主要实验在 Qwen2.5-VL-3B 骨干网络上进行，补充报告了 7B 运行，但在更大规模骨干网络如 30B 以上参数模型以及替代角色组织上的扩展行为仍有待表征。(2) 实证研究覆盖了六个强调视觉搜索、计数、精细感知、定位和幻觉检测的基准，但尚未检查更广泛的多模态设置，如文档理解、图表推理或基于视频的决策制定。(3) 当前的 Main Agent 使用固定的任务分配协议，有两种任务相关的模式（块基和扫描顺序），但不建模 Main Agent 为自由形式的开放式规划器。自适应任务分配，包括何时切换模式、何时变化并行 Worker 推理路径数量以及如何组成更细粒度的 Worker 角色，是未来工作的重要方向。(4) 原生多智能体推理引擎减少了冗余的前缀填充和 KV 缓存开销，但水平扩展仍然增加整体解码成本，因为引入了额外的 Worker 推理路径。在 3B 实验中，四路径配置提供了最佳准确性-成本权衡，但对于更大骨干网络，这种权衡可能会转移。(5) Worker 奖励目前由协议驱动的多数投票启发式实例化，当大多数 Worker 推理路径共享相同幻觉时可能会脆弱。Summary 奖励目前由最终答案结果奖励实例化，尚未明确监督 Summary Agent 的协调的忠实性。更强的 Worker 和 Summary 角色的过程监督是自然延伸。(6) 尚未通过专门的消融隔离 Summary Agent 的决策策略；未来的工作应该分离轨迹读取的贡献和证据协调的贡献。我自己的观察还包括：(1) 上下文隔离虽然有助于并行探索，但也限制了 Worker Agents 之间的信息交流，在某些需要跨区域推理的任务中可能会限制性能。(2) 固定的任务分配模式（块基和扫描顺序）虽然简单有效，但可能不适用于所有类型的视觉推理任务，特别是那些需要自适应注意模式的任务。(3) 多数投票启发式的 Worker 奖励可能在某些场景下不稳定，特别是当大多数 Workers 都出错时，正确的少数派会被错误地惩罚。(4) 方法增加了总的生成 tokens 量，即使在推理优化时也是如此，这有计算和环境成本，作者在伦理声明中承认了这一点。
独立分析的弱点
独立分析的弱点包括：(1) 固定的任务分配协议限制了灵活性：Main Agent 只能选择两种预定义的分配模式（块基或扫描顺序），这对于复杂的视觉推理任务可能不够灵活。改进方向可以是学习自适应的任务分配策略，让 Main Agent 根据任务类型动态决定如何分解任务，甚至可以学习何时增加或减少 Worker Agents 的数量。(2) 上下文隔离限制了信息交流：虽然上下文隔离有助于并行探索，但也阻止了 Worker Agents 之间的信息交流，这在某些需要跨区域推理的任务中可能会限制性能。改进方向可以是引入受控的信息交流机制，例如允许 Workers 在特定阶段交换关键发现，或者通过 Summary Agent 的反馈来引导后续 Workers 的推理。(3) 多数投票启发式的 Worker 奖励不够鲁棒：当大多数 Workers 共享相同的幻觉或错误时，正确的少数派会被错误地惩罚，这可能导致系统强化错误的推理模式。改进方向可以是引入更鲁棒的 Worker 奖励机制，例如使用更高级的一致性检查、基于外部验证器的奖励，或者引入对抗性的 Workers 来挑战多数派。(4) Summary Agent 的协调策略不够透明：虽然 Summary Agent 能够协调 Worker 的推理轨迹，但其具体的协调策略是一个黑箱，难以理解和调试。改进方向可以是引入更透明和可控的协调策略，例如显式建模协调规则或引入可解释的协调机制。(5) 计算成本仍然较高：虽然有 KV 缓存重用，但多智能体推理仍然需要生成更多的 tokens，这在资源受限的场景下可能不可行。改进方向可以是进一步优化推理效率，例如引入更智能的 early stopping 机制、动态调整 Worker 的推理深度，或者使用蒸馏技术将多智能体系统压缩为单智能体模型。
未来方向
作者提出的未来工作方向包括：(1) 自适应 Main Agent 任务分配：研究何时切换模式、何时变化并行 Worker 推理路径数量以及如何组成更细粒度的 Worker 角色。(2) 更强的过程监督：为 Worker 和 Summary 角色引入更强的过程监督，例如使用更高级的一致性检查、基于外部验证器的奖励，或者引入对抗性的 Workers 来挑战多数派。(3) Summary Agent 决策策略消融：通过专门的消融研究来分离轨迹读取的贡献和证据协调的贡献，甚至可以用非学习的多数投票替换训练的 Summary 段来研究其贡献。(4) 更广泛的多模态设置：将方法扩展到文档理解、图表推理或基于视频的决策制定等更广泛的多模态领域。(5) 更大骨干网络的扩展：研究方法在更大规模骨干网络如 30B 以上参数模型上的扩展行为，以及替代角色组织的效果。基于成果可延伸的额外方向包括：(1) 多模态一致性验证：引入跨模态的一致性验证机制，例如通过文本和图像之间的交叉验证来减少幻觉。(2) 对抗性训练：引入对抗性的 Workers 来挑战多数派，提高系统的鲁棒性。(3) 元学习：使用元学习来快速适应新的视觉推理任务，减少训练成本。(4) 人机协作：将多智能体系统与人类反馈结合，在关键决策点引入人类验证，提高系统的可靠性。(5) 轻量级变体：研究轻量级的多智能体变体，例如使用更小的 Workers 或动态调整 Worker 的数量，以适应资源受限的场景。
复现评估
论文提供了详细的实现描述，包括两阶段训练的具体步骤、超参数设置和推理引擎的设计。骨干网络使用开源的 Qwen2.5-VL-3B，训练数据由更强的 MLLM 教师生成，但论文没有明确说明使用的是哪个教师模型。实验在六个公开基准测试上进行，包括 V*、CountBench、Pixmo、MMVP、RefCOCO 家族和 HallusionBench，所有这些基准都是公开可用的。论文报告了详细的超参数，包括 Worker 优势权重 lambda 等于 0.5、Worker Agents 数量 K 等于 4、DAPO 的具体设置等。然而，论文没有明确说明代码是否开源，也没有提供训练数据的具体细节，这可能会影响复现的难度。计算资源方面，论文报告了在 V* 基准上的推理时间（312 秒）和吞吐量（123 token/s），但没有明确说明训练所需的计算资源。考虑到 MLLM 的规模和两阶段训练的复杂性，训练可能需要大量的 GPU 资源。总体而言，论文提供了足够的实现细节来理解方法，但如果没有开源代码和训练数据，完整复现可能会有一定难度。
论文图表
