视觉虫洞：异构多智能体系统中的潜空间通信 The Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems
利用VLM视觉接口实现异构多智能体间无文本潜空间通信
前置知识
多智能体系统（MAS）
由多个大语言模型（LLM）或视觉语言模型（VLM）组成的协作系统，每个智能体承担特定角色（如规划者、批评者、优化者、评判者），通过分工协作完成复杂任务。传统MAS依赖文本消息进行智能体间通信，这会产生运行时开销和信息量化损失。
本文的核心贡献是改进异构MAS的通信接口，理解MAS的基本架构和通信瓶颈是理解本文动机的基础。
视觉语言模型（VLM）
能够同时处理图像和文本的多模态模型，如Qwen-VL、Gemma、SmolVLM2等。VLM通过视觉编码器将图像转换为连续的视觉token嵌入，这些嵌入与文本token拼接后输入语言模型。关键特性是VLM天然支持处理连续、稠密的向量输入。
本文创新性地将VLM的视觉接口重新定义为智能体间的连续通信通道，利用了VLM处理连续向量的原生能力。
潜空间通信
与传统的离散文本通信不同，潜空间通信直接传输模型的内部状态（如隐藏激活、KV缓存等连续表示），避免了将高维状态解码为token的运行时开销和量化误差。这种方法可以保留更丰富的中间信息。
本文提出的Vision Wormhole是一种新型潜空间通信方法，但与现有方法不同，它通过视觉接口而非直接传输隐藏状态来实现。
流形失配问题（Off-Manifold Problem）
当异构模型（如Qwen与Llama）的隐藏空间维度和语义几何不兼容时，直接注入映射后的连续向量会导致模型生成不稳定甚至崩溃。这是因为文本LLM只在离散token嵌入上训练，从未见过任意连续向量，输入偏离了模型的有效数据分布。
这是本文要解决的核心技术挑战之一，理解这个问题有助于理解为什么需要通过视觉接口而非直接传输隐藏状态。
Perceiver重采样器
一种交叉注意力架构，使用少量学习到的查询（queries）从可变长度的输入序列中提取固定数量的特征表示。查询通过多层交叉注意力块与键值对交互，最终输出固定维度的表示。
Vision Wormhole的编码器使用Perceiver风格的重采样器将潜空间轨迹压缩为固定数量的通用token，这是实现有界通信成本的关键组件。
研究动机
当前基于LLM的多智能体系统严重依赖离散文本通信，这带来了三个核心问题。首先，文本通信存在严重的运行时瓶颈：智能体需要将高维内部状态解码为token序列，这个过程产生大量运行时开销和量化误差。其次，对于异构模型家族（如Qwen-VL、Gemma、SmolVLM2等），它们的隐藏空间维度和语义几何完全不兼容，存在'流形外'不兼容性问题——直接注入映射后的连续向量会导致生成崩溃。第三，现有方法如Cache-to-Cache需要训练N(N-1)个配对适配器，存在O(N²)的可扩展性陷阱，且需要大量监督数据（如50万样本）。
本文的目标是本文的目标是设计一种能够在异构VLM智能体之间实现高效、模块化、可扩展的潜空间通信框架。具体而言，该框架应满足三个关键属性：（1）轻量级——每个模型家族的编解码器远小于配对翻译器（如Qwen3-0.6B→Qwen2.5-0.5B的适配器仅818MB）；（2）模块化——新VLM家族只需训练一个编解码器即可加入系统，无需N个配对适配器；（3）有界——通过映射到固定大小的视觉token空间，限制消息带宽和推理步数。
与已有工作不同的是，本文的独特切入角度在于重新利用VLM的视觉接口作为连续通信通道。与现有工作不同，作者观察到VLM的图像token输入空间本质上是一个连续的嵌入流形，模型已被训练为将其解释为有意义的语义上下文。这与文本LLM形成鲜明对比——文本LLM只在离散token嵌入上训练，对任意连续向量输入脆弱。通过将推理轨迹写入接收方的视觉token区间，Vision Wormhole绕过了离散token的瓶颈，同时避免了流形外问题，因为VLM原生支持处理连续的视觉嵌入。
核心方法
Vision Wormhole的核心思想可以用'虫洞'来类比：就像虫洞在时空中创造捷径连接遥远区域，Vision Wormhole在不同VLM家族的潜空间中创建连续通道，让异构智能体无需通过离散文本就能交换密集的推理信息。技术路线是：每个智能体配备一个轻量级视觉编解码器（训练一次后冻结），该编解码器（i）从智能体内部提取潜空间轨迹作为'潜空间展开'，（ii）将其压缩为固定数量的通用token，（iii）通过仿射对齐映射到共享参考空间，（iv）将接收到的通用token解码为扰动注入接收方的视觉token区间。所有VLM骨干参数保持冻结。
本文最核心的创新是将VLM的视觉接口重新概念化为连续通信接口，而非其原本设计的感知通道。具体而言，作者识别出不同VLM家族的视觉token输入空间都接纳连续的稠密向量，且模型被训练为将其解释为有效语义上下文。这与文本LLM形成本质区别——文本LLM只见过离散token嵌入，对任意连续向量输入会崩溃。通过将推理轨迹写入图像token区间，Vision Wormhole利用了VLM原生处理连续信号的能力，绕过了离散token瓶颈。此外，采用hub-and-spoke拓扑结构，每个模型只需学习到/从一个参考通用空间的仿射映射，将对齐复杂度从O(N²)降至O(N)。
方法步骤详情
Vision Wormhole的完整流程包括四个阶段。第一阶段是发送方消息提取：给定提示词，VLM骨干产生边界隐藏状态h₀，然后通过潜空间展开生成长度为T的轨迹H=[x₀,...,x_{T-1}]，其中x_t是经过NormMatch归一化的伪token嵌入，确保在模型的嵌入范数流形上。第二阶段是通用token编码：使用Perceiver风格的重采样器将H压缩为K_u个通用token U=E(H)∈R^{K_u×D}，包含K个语义token、一个全局token和一个风格token。第三阶段是通用到视觉解码和门控注入：解码器D将通用token映射为视觉区间扰动∆和标量门g，残差注入公式为X_img = X̄_img + g·Resample(∆; L_img)，其中X̄_img是固定虚拟图像的基线嵌入。第四阶段是无标签蒸馏目标：文本通道作为教师，视觉虫洞作为学生，通过隐藏状态MSE、KL散度和注入统计正则化三项损失进行训练。
技术新颖性
Vision Wormhole的技术新颖性体现在三个层面。首先，在概念层面，它首次将VLM的视觉接口重新定义为连续通信通道，而非感知通道，这是一个根本性的视角转变。其次，在架构层面，它设计了hub-and-spoke拓扑结构和通用潜在空间，使得每个新VLM家族只需训练一个编解码器即可加入系统，维护成本从O(N²)降至O(N)。第三，在训练方法上，它采用无标签自蒸馏，文本通道作为教师、视觉虫洞作为学生，无需平行隐藏状态监督或人工标注。与Cache-to-Cache等需要50万样本的方法相比，本文的默认设置仅使用3000个锚文本，弱监督设置更少至90个。
实验结果
本文在四个VLM家族（Qwen-VL、Gemma、SmolVLM2、LFM2.5-VL）和九个推理基准上进行了广泛实验。核心发现包括：（1）在主异构MAS设置中，Vision Wormhole在大多数配置下减少了端到端运行时间，并产生正的宏平均∆准确率，增益集中在代码生成任务（MBPP-Plus和HumanEval-Plus）。例如，在SmolVLM2-2.2B/Qwen3-VL-2B配置下，MBPP-Plus准确率提升23.0pp（从44.7%到67.7%），HumanEval-Plus提升26.2pp（从32.9%到59.1%）。（2）在速度方面，AIME 2024/2025等数学推理任务上加速最为显著，最高达5.47倍（SmolVLM2-2.2B/Gemma-3-4B配置在AIME 2024上）。（3）弱监督编解码器变体（仅90个锚文本）保持了运行时间增益，准确率增益取决于配置——SmolVLM2/Qwen设置广泛提升，而Gemma/Qwen设置在某些任务上为速度牺牲了准确率。（4）与单智能体基线相比，Vision Wormhole比TextMAS更接近强模型的单智能体性能，同时保留了弱模型的协作增益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K数学推理 | 准确率(%) | 76.2%（Gemma/Qwen配置） | 80.8%（TextMAS） | -4.6pp但速度提升1.02倍 |
| MBPP-Plus代码生成 | 准确率(%) | 67.7%（SmolVLM2/Qwen配置） | 44.7%（TextMAS） | +23.0pp |
| HumanEval-Plus代码生成 | 准确率(%) | 59.1%（SmolVLM2/Qwen配置） | 32.9%（TextMAS） | +26.2pp |
| AIME 2024数学竞赛 | 准确率(%) | 36.7%（SmolVLM2/Gemma配置） | 23.3%（TextMAS） | +13.4pp且速度提升3.41倍 |
| GPQA研究生级问答 | 准确率(%) | 39.9%（Gemma/Qwen配置） | 29.8%（TextMAS） | +10.1pp且速度提升2.00倍 |
局限与改进
本文的局限性主要体现在以下几个方面。首先，Vision Wormhole仅适用于基于VLM的智能体，因为它依赖视觉语言模型的视觉接口，无法直接应用于纯文本LLM。其次，实验仅在公开发布的模型检查点上进行，未涵盖闭源模型或更大规模的模型（如70B+参数）。第三，虽然框架设计为模块化，但每个新VLM家族仍需单独训练编解码器，这需要一定的计算资源和数据。第四，当前评估使用固定的顺序工作流（Planner→Critic→Refiner→Judger），未测试更复杂的动态路由或自适应协作模式。第五，作者承认在某些配置下（如Gemma/Qwen），Vision Wormhole会为速度牺牲准确率，表明在不同任务和模型组合间的权衡仍需进一步研究。
独立分析的弱点
从独立分析角度看，Vision Wormhole存在几个值得关注的弱点。首先，在某些强模型配置下（如Gemma-3-4B作为规划/评判者），Vision Wormhole的准确率低于TextMAS（如GSM8K上-4.6pp），这表明潜空间通信可能在需要精确文本理解的任务中丢失某些细节信息，建议未来研究可以设计混合通信策略，在不同任务类型间动态选择文本或潜空间通道。其次，当前框架的通用token维度D=512和数量K_u=1024是固定超参数，未研究这些参数对不同任务复杂度的适应性，可以探索自适应带宽分配机制。第三，编解码器训练使用的锚文本来自特定数据集（cos_e、OpenCodeReasoning、PRM800K），可能无法覆盖所有领域，建议研究无监督或自监督的锚文本选择策略。
未来方向
基于本文成果，未来研究可以在多个方向延伸。首先，可以探索将Vision Wormhole扩展到纯文本LLM，通过引入轻量级视觉适配器来桥接文本和视觉模态。其次，当前框架假设固定的顺序工作流，未来可以研究动态角色分配和自适应协作模式下的潜空间通信。第三，可以探索更高效的编解码器架构，如使用稀疏注意力或线性注意力来进一步减少计算开销。第四，可以研究Vision Wormhole在更大规模模型（如70B+参数）和更多样化任务（如多模态推理、工具使用）上的表现。第五，可以探索将该框架与强化学习结合，实现端到端的通信策略优化。作者在结论中提到，弱监督编解码器变体保留了运行时间特征，这表明视觉通道是数据高效的潜空间传输途径，值得进一步探索。
复现评估
从复现评估角度看，本文具有较好的可复现性。首先，所有实验使用公开发布的模型检查点（Qwen3-VL-2B、Gemma-3-4B、SmolVLM2-2.2B、LFM2.5-VL-1.6B），无需访问私有模型。其次，评估基准（GSM8K、ARC-Easy/Challenge、GPQA、MedQA、MBPP-Plus、HumanEval-Plus、AIME 2024/2025）均为公开数据集。第三，硬件需求相对适中——所有实验在NVIDIA A6000 GPU上进行，双骨干配置可在单GPU上运行，四骨干配置使用两GPU。第四，编解码器训练数据来自公开来源（cos_e、OpenCodeReasoning、PRM800K），默认设置仅需3000个锚文本。第五，训练成本较低——每个模型仅需400个优化步骤，batch size为2，在标准硬件上可在合理时间内完成。然而，论文未明确说明是否开源代码，这是复现的一个潜在障碍。
论文图表
该图展示了LatentMAS-Hybrid方法在GSM8K上的失败模式扫描。绘制了三个外部评判模型（Llama-3.1-8B、Qwen3-8B、Gemma）对生成答案的困惑度，以及它们的简单平均值。结果显示Qwen3-VL-2B + Gemma-3-4B配置在整个扫描范围内都不稳定（准确率0-0.5%，评判困惑度高达10⁵-10⁸），而Qwen3-VL-2B + LFM2.5-VL-1.6B配置在约192步内保持稳定，之后急剧恶化。
这张图提供了为什么在异构设置中选择TextMAS作为基线而非直接使用现有潜空间方法的实证依据，展示了跨空间展开的不稳定性问题。