TwinBrainVLA：通过非对称混合 Transformer 释放通用视觉语言模型在具身任务中的潜力

双脑架构冻结左脑保通用、训练右脑做控制，用 AsyMoT 机制融合语义与动作

前置知识

Vision-Language-Action (VLA) 模型

VLA 是一类将预训练视觉语言模型（VLM）与机器人控制头结合的架构，旨在利用 VLM 从互联网规模数据中学到的丰富语义推理和开放世界泛化能力来实现通用机器人控制。典型流程是：给定视觉观察图像和语言指令，模型输出低层控制信号（如关节角度或末端执行器位姿）。代表工作包括 OpenVLA、π0、π0.5 等。VLA 的核心假设是预训练 VLM 的通用语义能力可以直接迁移为机器人的操控能力。

本文的核心创新正是围绕 VLA 训练范式中的根本矛盾展开的，理解 VLA 的基本架构和训练流程是读懂本文的前提。

灾难性遗忘 (Catastrophic Forgetting)

当神经网络在新任务上进行微调时，会严重覆盖之前学到的知识，导致在旧任务上的性能急剧下降。在 VLA 语境下，当预训练 VLM 在机器人操作数据上微调时，模型为了最小化动作预测误差而大幅更新参数，导致其原本具备的通用视觉理解能力（如视觉问答、物体识别）严重退化。本文通过实验证明，即使采用混合通用数据的 Co-Training 策略，POPE 分数仍会从 88.87% 降至近零。

灾难性遗忘是本文要解决的核心问题，作者通过实验量化了这一现象的严重程度，证明了现有方法不足以解决该问题。

Mixture-of-Transformers (MoT)

MoT 是一种通过在每一层通过联合注意力（joint attention）连接两个独立 Transformer 网络来实现前向传播的模型架构。其优势在于能够在多个模态之间实现信息交互，同时保持各自独立的计算流。在本文中，作者受 MoT 启发提出了非对称版本 AsyMoT，让可训练的右脑能查询冻结左脑的语义特征。

AsyMoT 是本文的核心技术机制，理解原始 MoT 的工作原理有助于理解非对称设计的创新之处。

Flow Matching (流匹配)

流匹配是一种生成模型训练方法，通过学习从噪声分布到目标分布的向量场来生成数据。在动作生成场景中，给定高斯噪声 $a_0$ 和真实动作 $a_1$，模型学习预测向量 $v_\psi(a_t, t, H_R) \approx a_1 - a_0$，其中 $t$ 是时间步。本文使用基于 Diffusion Transformer (DiT) 的流匹配动作专家，以右脑的表征 $H_R$ 作为条件来合成连续动作轨迹。

流匹配动作专家是本文架构的关键组成部分，负责将高层语义表征转化为精确的连续控制信号。

异构双流架构 (Asymmetric Dual-Stream)

本文提出的核心架构设计：使用两个同构但角色不同的 VLM 路径——冻结的左脑（通用能力库）负责保留预训练的视觉语言理解能力，可训练的右脑（专家控制器）负责处理本体感知状态并生成动作。两个流通过非对称联合注意力机制交互：右脑可以查询左脑的 Key-Value 对，但左脑不受右脑影响，从而实现信息的单向流动。

这是本文最核心的架构创新，直接解决了灾难性遗忘问题，理解双流的对称与非对称特性对把握论文精髓至关重要。

研究动机

当前 VLA 模型存在一个根本性的悖论：为了将预训练 VLM 适配到精确的传感器运动控制，模型需要在机器人数据集 $D_{robot}$ 上进行微调，但这种针对低层动作预测的激进优化不可避免地会破坏预训练的特征空间，引发灾难性遗忘。作者通过实验定量证明了这一问题的严重程度：以 Qwen3-VL-4B-Instruct 为例，在仅使用机器人数据进行 VLA 训练后，POPE 分数从 88.87% 暴跌至 0.04%，ScienceQA 从 94.65% 降至 1.88%，MME 认知分数从 643.93 降至 26.07。更关键的是，即使是被认为可以缓解遗忘的 Co-Training 策略（以 1:1 比例混合通用视觉问答数据），也无法阻止这种退化。这些数据表明，现有 VLA 训练范式实际上在部署前就抹除了 VLM 的通用语义推理能力，从根本上违背了利用预训练通用知识的初始设计哲学。

本文的目标是本文的核心目标是构建一个能够有效利用 VLM 未被破坏的通用视觉理解能力来增强机器人操控性能的 VLA 框架。具体而言，作者希望实现三个子目标：第一，定量分析 VLA 训练对 VLM 通用能力的损伤程度；第二，提出一种结构性解耦方案，将语义理解与具身控制分离，使得系统能够在不干扰通用能力的前提下学习操控技能；第三，设计一种高效的信息交互机制，让控制策略能够查询并利用冻结的通用知识来做出决策。

与已有工作不同的是，本文的独特切入角度源于对生物大脑半球侧化原理的借鉴。与现有方法（如 Co-Training 混合数据、Chain-of-Thought 推理增强）从数据工程或训练策略角度试图缓解遗忘不同，作者从架构层面提出了结构性解决方案：通过维护一个完全冻结的左脑作为语义锚点，与一个可训练的右脑作为运动控制器，实现了通用能力保留与专业化学习的物理分离。这种设计确保了动作专家能够基于未被破坏的通用知识进行条件化决策，让机器人能够用通用大脑思考、用专家身体行动。与 Cross-Attention 的关键区别在于，AsyMoT 允许右脑同时关注左脑和自身的表征，而 Cross-Attention 则禁止关注自身，这种非对称设计是本文的核心技术贡献。

核心方法

TwinBrainVLA 的整体思路可以类比为人类大脑的功能分工：左脑负责语义理解和推理（通用能力），右脑负责运动控制和执行（专业能力），两者通过胼胝体（corpus callosum）进行信息交互。在技术实现上，模型包含两个并行的 VLM 路径：冻结的左脑 $M_L$ 和可训练的右脑 $M_R$，两者从相同的预训练权重初始化（如 Qwen3-VL 系列）。左脑处理视觉观察 $I$ 和语言指令 $T$ 生成语义表征 $H_L^0 = [\mathcal{V}(I); \mathcal{T}(T)]$，右脑在此基础上额外接入本体感知状态编码 $\phi(s)$ 生成 $H_R^0 = [\mathcal{V}(I); \mathcal{T}(T); \phi(s)]$。在每一层 Transformer 中，右脑通过非对称联合注意力机制查询左脑的 Key-Value 对，实现从通用语义到专业控制的知识迁移。最终，右脑的输出表征 $H_R$ 作为条件输入到基于流匹配的动作专家中，合成精确的连续控制动作。

本文的核心创新是 Asymmetric Mixture-of-Transformers (AsyMoT) 机制，其本质区别在于建立了从冻结左脑到可训练右脑的单向信息桥梁。具体而言，在每一层注意力计算中，右脑的 Query $Q_R^l$ 不仅关注自身的 Key 和 Value，还关注左脑的 Key 和 Value：$K_{joint} = [sg(K_L^l); K_R^l]$，$V_{joint} = [sg(V_L^l); V_R^l]$，其中 $sg(\cdot)$ 表示停止梯度操作。这种设计与 Cross-Attention 的关键区别在于：Cross-Attention 只允许一个模态的 Query 关注另一个模态的 Key-Value，但不关注自身；而 AsyMoT 允许右脑同时关注左脑和自身的表征，从而在保留自注意力优势的同时实现了跨流信息融合。另一个关键设计是非对称冻结策略：左脑始终保持冻结以保留通用能力，而右脑可自由专业化于控制动力学，这种结构化的解耦使得模型天然免疫于灾难性遗忘。

方法步骤详情

TwinBrainVLA 的工作流程包含以下步骤：第一步，双流初始化——将预训练 VLM 的权重同时复制到左脑 $M_L$ 和右脑 $M_R$，确保两者特征空间对齐。第二步，左脑前向传播——冻结的左脑独立处理视觉观察 $I$ 和语言指令 $T$，生成语义表征 $H_L^0 = [\mathcal{V}(I); \mathcal{T}(T)]$，并通过标准自注意力计算 $H_L^{l+1} = Attn(Q_L^l, K_L^l, V_L^l) + FFN(H_L^l)$ 逐层传播。第三步，右脑前向传播与 AsyMoT 融合——可训练的右脑处理视觉、语言和本体感知状态 $\phi(s)$，在每一层通过联合注意力机制查询左脑的 Key-Value 对，实现语义知识的动态融合。第四步，动作生成——右脑最终输出表征 $H_R$ 作为条件输入到基于 DiT 的流匹配动作专家 $v_\psi$ 中，通过向量场回归损失 $L_{action}(\psi) = \mathbb{E}_{t,a_0,a_1}[\|v_\psi(a_t, t, H_R) - (a_1 - a_0)\|^2]$ 训练动作专家从噪声 $a_0$ 去噪生成真实动作 $a_1$。第五步，端到端训练——仅使用动作损失 $L_{total} = L_{action}(\theta_R, \psi, \phi; D_{robot})$ 优化右脑参数 $\theta_R$、动作专家 $\psi$ 和状态编码器 $\phi$，左脑参数完全不更新。

技术新颖性

TwinBrainVLA 的技术新颖性体现在三个层面。首先，在架构层面，这是首次将非对称双流 VLM 设计引入 VLA 领域，与 ChatVLA 等采用混合数据 Co-Training 的方法本质不同——后者仍使用单一模型，无法从根本上解决遗忘问题；而本文通过物理分离通用能力和专业能力，从结构上杜绝了知识退化的可能。其次，在机制层面，AsyMoT 相比标准 Cross-Attention 实现了更灵活的跨流信息融合：右脑可以同时查询左脑和自身的表征，而非仅能查询另一流的信息。消融实验表明，逐层联合注意力（间隔 $k=0$）效果最佳，稀疏连接会导致性能下降。第三，在训练策略层面，本文证明了仅使用动作损失进行训练在双流架构下是可行且最优的——冻结的左脑隐式保护了语义先验，右脑可以自由专注于控制动力学的学习，无需复杂的多任务损失平衡。

**Figure 1**: Vanilla VLA 与 TwinBrainVLA 的架构对比

实验结果

TwinBrainVLA 在多个仿真和真实机器人基准上进行了全面评估。在 SimplerEnv（域外评估）上，Qwen3-VL-4B-Instruct 变体达到 64.5% 的平均成功率，超越最强基线 Isaac-GR00T-N1.6（57.1%）7.4 个百分点；Qwen2.5-VL-3B-Instruct 变体达到 58.4%，同样表现出色。在 RoboCasa 桌面操作基准上（24 个任务），TwinBrainVLA 在所有任务上均取得最佳性能，Qwen3-VL-4B 变体平均成功率 54.6%，超越 Isaac-GR00T-N1.6（47.6%）7.0 个百分点。在 LIBERO 基准上，TwinBrainVLA 达到 97.6% 的平均成功率，超越 π0.5（96.9%）。在真实机器人实验中，使用 Franka Research 3 机械臂进行拾取放置任务，TwinBrainVLA 在域内评估达到 28/30 的成功率（与 π0.5 持平），在域外评估达到 15/30（超越 π0.5 的 13/30），在长时程 Pick-All 任务上达到 3/30。消融实验表明：取消冻结策略（No Freezing）导致 Qwen3-VL-4B 在 SimplerEnv 上从 64.5% 降至 58.8%（下降 5.7%），验证了冻结左脑的必要性；移除左脑和注意力连接（退化为 Vanilla VLA）导致性能下降约 7 个百分点。

**Table 1**: SimplerEnv 仿真环境中 WidowX 机器人 VLA 模型评估结果

**Table 2**: RoboCasa 桌面仿真环境中 GR1 机器人 VLA 模型评估结果

查看结构化数据

任务	指标	本文	基线	提升
SimplerEnv WidowX 机器人桌面操作（域外评估，4个任务，480次试验）	平均成功率 (%)	TwinBrainVLA + Qwen3-VL-4B: 64.5%	Isaac-GR00T-N1.6: 57.1%, π0.5: 57.1%	+7.4%（超越最强基线）
RoboCasa GR1 人形机器人桌面操作（24个任务，每任务50次试验）	平均成功率 (%)	TwinBrainVLA + Qwen3-VL-4B: 54.6%	Isaac-GR00T-N1.6: 47.6%, QwenGR00T: 47.8%	+7.0%（超越 N1.6）, +6.8%（超越 QwenGR00T）
LIBERO 基准（Spatial/Object/Goal/Long 四个任务套件联合评估）	平均成功率 (%)	TwinBrainVLA: 97.6%	π0.5: 96.9%, π0: 94.1%	+0.7%（超越 π0.5）
真实机器人拾取放置（Franka Research 3，域内评估，30次试验）	成功率 (%)	TwinBrainVLA: 28/30 (93.3%)	π0.5: 28/30, Vanilla VLA: 22/30	与 π0.5 持平，超越 Vanilla VLA +20%
真实机器人拾取放置（Franka Research 3，域外评估，30次试验）	成功率 (%)	TwinBrainVLA: 15/30 (50%)	π0.5: 13/30, π0: 9/30	+2/30（超越 π0.5）
消融：冻结策略对 SimplerEnv 性能的影响（Qwen3-VL-4B）	平均成功率 (%)	TwinBrainVLA（冻结左脑）: 64.5%	No Freezing（不冻结）: 58.8%	+5.7%（冻结策略的贡献）

局限与改进

尽管 TwinBrainVLA 取得了显著的性能提升，但仍存在以下局限性。首先，双流架构不可避免地引入了额外的计算开销——在部署时需要运行两个 VLM 前向传播，这在资源受限的机器人平台上可能构成挑战。作者在讨论中也承认了这一点，并初步探索了通过知识蒸馏将双流能力内化到单流架构的可行性，但目前结果仅为初步验证。其次，当前实验主要在相对受限的操作任务上进行评估（拾取放置、桌面操作），尚未涉及更复杂的长时程规划、多步推理或动态环境适应等场景。第三，作者使用的预训练数据规模（20 个 OXE 子集）远小于 π0.5 等商业模型的预训练规模，在更大规模数据下该架构的优势是否能进一步放大仍需验证。第四，论文中 LIBERO 基准的评估方式（四个任务套件联合训练后联合评估）与标准评估协议不同，可能影响与其他方法的公平比较。第五，真实机器人实验的规模相对较小（每种设置仅 30 次试验），统计置信度有限。

独立分析的弱点

TwinBrainVLA 的主要弱点包括以下几点。第一，计算效率问题：双流架构在推理时需要同时运行两个完整 VLM 的前向传播，相比单流 VLA 大约增加一倍的计算量和显存占用。改进方向可以探索更高效的跨流交互机制（如仅在关键层进行联合注意力、使用轻量级适配器替代完整左脑）、模型剪枝或量化技术，以及作者提到的知识蒸馏方案的深化。第二，信息交互的单向性限制：当前 AsyMoT 仅允许右脑查询左脑，但左脑无法从右脑获取任务特定信息，这可能限制了在需要更深层次语义理解的任务（如需要理解物理约束的语言指令）上的表现。可以探索双向但不对称的交互设计，或引入任务感知的门控机制。第三，状态编码器的设计相对简单：仅将本体感知状态（如关节角度）编码为嵌入向量，未充分利用视觉几何信息（如点云、深度图），在需要精细空间推理的任务中可能成为瓶颈。第四，缺乏对长时程任务的系统评估：Pick-All 任务仅 3/30 的成功率表明在多步推理和长期规划方面仍有较大提升空间。

未来方向

作者提出了几个有前景的研究方向。首先，知识蒸馏是明确的下一步——作者已经进行了初步的 Twin-to-One 蒸馏实验，发现将右脑特征作为监督信号重新训练 Vanilla VLA 可以带来性能提升，这表明双流架构的融合知识确实可以被内化到更简单的架构中。未来可以探索更精细的蒸馏策略，如逐层蒸馏、注意力分布匹配等。其次，作者提到需要在更大规模的仿真基准和真实机器人上进行更全面的评估，这意味着该架构的可扩展性仍待验证。基于现有成果，还可以延伸以下方向：将 AsyMoT 机制扩展到多模态（如触觉、力觉）和多智能体场景；探索自适应冻结策略——在训练过程中逐步解冻左脑的部分层以实现更灵活的知识迁移；将该架构应用于更复杂的任务如长时程厨房操作、户外导航等；结合 Chain-of-Thought 推理能力，让左脑不仅提供语义知识还提供推理链，增强右脑的决策可解释性。

复现评估

从复现角度来看，本文提供了相对良好的条件。代码已在 GitHub 开源（https://github.com/ZGC-EmbodyAI/TwinBrainVLA），训练流程基于 starVLA 框架构建，遵循其默认训练协议。训练使用 16 块 NVIDIA H100 GPU，这对大多数研究团队来说是较高的硬件门槛，但与当前主流 VLA 研究的算力需求相当。训练数据使用 Open X-Embodiment 数据集的子集（Bridge-V2 和 Fractal），这些数据是公开可获取的。模型基于 Qwen2.5-VL 和 Qwen3-VL 系列开源权重初始化。评估使用 SimplerEnv 和 RoboCasa 的标准评估脚本，确保了结果的可比性。总体而言，具备足够算力的研究团队应该能够复现本文的主要结果，但真实机器人实验需要硬件设备支持。

TwinBrainVLA：通过非对称混合 Transformer 释放通用视觉语言模型在具身任务中的潜力 TwinBrainVLA: Unleashing the Potential of Generalist VLMs for Embodied Tasks via Asymmetric Mixture-of-Transformers