FRAPPE：通过多重未来表征对齐将世界建模注入通用机器人策略 FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment
通过两阶段微调和多视觉基础模型并行对齐，为VLA模型注入隐式世界建模能力
前置知识
Vision-Language-Action Model (VLA)
VLA是一类将视觉感知、语言理解和动作生成统一在单一模型中的通用机器人策略架构。这类模型通常基于预训练的视觉-语言模型（如SigLIP、T5），通过微调使其能够根据当前视觉观测和语言指令生成机器人动作序列。典型的VLA模型如RT-2、π0等，它们利用大规模预训练获得的视觉和语言理解能力，迁移到机器人控制任务中。VLA的核心优势在于能够处理多模态输入，并利用互联网规模的预训练知识来提升泛化能力。
FRAPPE是在RDT（一种基于扩散Transformer的VLA模型）基础上进行改进的，理解VLA的基本架构和训练范式是理解本文方法的前提
Diffusion Policy
扩散策略是一种利用扩散模型（Diffusion Model）来建模机器人动作分布的方法。其核心思想是将动作生成过程视为一个去噪过程：从高斯噪声开始，通过迭代去噪逐步生成目标动作序列。具体来说，给定当前观测 $o_t$ 和语言指令 $l$，模型学习预测干净的动作序列 $a_t$，训练目标是最小化均方误差损失 $$\mathcal{L}_{action} = \text{MSE}(a_t, f_\theta(l, o_t, \tilde{a}_t, k))$$，其中 $\tilde{a}_t$ 是加噪后的动作，$k$ 是扩散时间步。这种方法能够捕捉多模态动作分布，适合处理机器人任务中的不确定性。
FRAPPE的基础模型RDT就是基于扩散Transformer（DiT）的策略模型，理解扩散策略的工作原理对于理解论文中的动作生成过程和训练目标至关重要
World Model in Robotics
机器人世界模型是指能够预测环境未来状态的模型，它学习了动作与环境变化之间的因果关系。世界模型可以帮助机器人进行推理和规划，而不仅仅依赖于反应式的策略。在VLA的语境下，世界建模通常表现为预测未来观测（如未来图像），使模型能够理解场景动态。然而，直接生成像素级的未来图像计算成本高且容易导致模型过度关注冗余的视觉细节，而非任务相关的语义信息。
本文的核心创新就是通过表征对齐而非像素生成来实现世界建模，理解传统世界模型的局限性有助于理解FRAPPE的设计动机
Low-Rank Adaptation (LoRA)
LoRA是一种参数高效的微调方法，其核心思想是冻结预训练模型的原始权重，仅在每个Transformer层中添加一对低秩矩阵 $\Delta W = BA$ 进行训练，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times d}$，秩 $r \ll d$。这样可以大幅减少可训练参数数量（通常仅为原始参数的0.1%-1%），同时保持接近全参数微调的性能。LoRA在大语言模型和视觉模型的微调中被广泛使用。
FRAPPE在后训练阶段使用LoRA进行参数高效微调，这是其并行扩展架构的关键组成部分，也是实现训练效率的重要技术
Visual Foundation Model (VFM)
视觉基础模型是在大规模图像数据上预训练的视觉编码器，能够提取丰富的视觉表征。常见的VFM包括CLIP（400M参数，通过对比学习训练，擅长语义理解）、DINOv2（142M参数，通过自监督学习训练，擅长空间和结构理解）、以及标准ViT（300M参数，通过监督学习训练）。不同的VFM由于训练目标和数据的差异，会学到不同方面的视觉知识，形成互补的表征空间。
FRAPPE的核心创新之一就是同时利用多个VFM的表征作为对齐目标，理解不同VFM的特性有助于理解为什么多表征对齐能带来性能提升
Prefix Tuning
前缀调优是一种参数高效的微调技术，它在模型输入序列前添加一组可学习的连续向量（称为前缀或prefix），这些前缀向量会在注意力机制中被模型处理，从而引导模型行为。与直接修改模型权重不同，前缀调优只学习这些额外的输入向量，不改变原始模型参数。在FRAPPE中，这些前缀用于编码未来观测的隐式表征，模型需要学习将这些前缀与实际的未来状态对齐。
FRAPPE使用可学习的前缀token作为未来表征的载体，这是其架构设计的核心组成部分，与LoRA一起构成了Mixture-of-Prefix-and-LoRA（MiPA）架构
研究动机
当前基于扩散的VLA模型在集成世界建模能力时面临两个关键限制。首先，显式世界建模策略要求模型生成像素级的未来图像，这导致模型将大量计算资源用于拟合冗余的像素信息，而非关注任务相关的物体视觉信息。实验表明，这种方法在分布外（OOD）场景中的生成质量较差。其次，在推理阶段依赖显式预测的观测进行动作生成，容易导致误差累积。例如，在RoboTwin Hard设置下，基线RDT模型的平均成功率仅为15.1%，而π0也只有14.1%，说明现有方法在面对场景杂乱、背景纹理多样、光照变化和桌面高度变化等挑战时泛化能力不足。另一些工作尝试通过表征对齐将隐式世界模型/知识嵌入网络，但从单一视觉任务学习的表征本身就带有归纳偏置，不一定适合所有任务场景。
本文的目标是本文旨在设计一种高效的训练范式，通过隐式世界建模增强VLA模型的性能，同时避免显式像素生成的计算开销和误差累积问题。具体目标包括：在训练阶段通过表征对齐构建隐式世界模型；通过并行扩展计算工作量提升生成能力；减少对动作标注数据的依赖，能够利用无动作标注的人类自我中心视频进行训练；在仿真和真实世界环境中超越现有最先进方法。
与已有工作不同的是，FRAPPE的独特切入角度在于三个层面的创新。第一，不同于显式生成未来像素，FRAPPE通过与多个预训练视觉基础模型（VFM）的表征进行对齐来构建隐式世界模型，避免了像素级重建的冗余计算。第二，不同于单一表征学习，FRAPPE同时对齐CLIP、DINOv2和ViT三个不同VFM的表征空间，利用它们各自的归纳偏置来获得更全面的世界知识。第三，不同于直接进行并行扩展训练，FRAPPE提出两阶段训练策略——中间训练阶段先用单流全参数微调适应世界建模目标，后训练阶段再引入前缀和LoRA的并行扩展，解决了直接并行训练收敛慢的问题。这种方法将计算扩展和隐式世界建模结合在统一框架中。
核心方法
FRAPPE的整体思路可以概括为：通过多视觉基础模型的表征对齐来注入世界建模能力，并通过并行扩展计算来增强模型的生成能力。直觉上，如果模型能够预测未来的环境状态，它就能更好地理解动作与环境变化之间的因果关系，从而生成更准确的动作。然而，直接生成未来像素既昂贵又低效，因此FRAPPE选择让模型学习预测未来观测的隐式表征——这些表征由预训练的视觉基础模型提供。技术路线分为两个阶段：中间训练阶段使用单流架构进行全参数微调，让模型适应世界建模目标；后训练阶段引入Mixture-of-Prefix-and-LoRA（MiPA）架构，通过多个并行的专家网络分别对齐不同VFM的表征空间，实现计算扩展。推理时保留相同的并行计算图，但不需要VFM进行监督，从而获得多表征对齐和多流前向传播的扩展优势。
FRAPPE的核心创新在于Mixture-of-Prefix-and-LoRA（MiPA）架构和两阶段训练策略。与已有方法的本质区别体现在：（1）与FLARE等单一表征对齐方法不同，FRAPPE同时对齐多个VFM的表征空间，避免了单一表征的归纳偏置；（2）与UVA、PAD等显式生成方法不同，FRAPPE通过隐式表征对齐实现世界建模，不需要像素级重建；（3）与直接并行扩展训练不同，FRAPPE通过两阶段渐进式扩展，先用单流全参数微调适应新目标，再用前缀+LoRA并行扩展，解决了直接并行训练收敛困难的问题。具体来说，模型共享一个冻结的RDT骨干网络，每个专家有自己的可learnable token和LoRA模块，通过可学习的路由器聚合各专家的输出。训练时使用余弦相似度损失 $$\mathcal{L}_\Phi = \cos(p_t, \text{sg}(e))$$ 对齐前缀表征 $p_t$ 与VFM编码的未来观测表征 $e$，其中 $\text{sg}(\cdot)$ 是停止梯度算子。
方法步骤详情
FRAPPE的方法分为三个主要阶段。第一阶段是中间训练（Mid-Training）：使用Theia蒸馏的86M编码器作为教师，对模型进行全参数微调15,000步。输入包括本体感觉 $z_t$、加噪动作 $\tilde{a}_t$、控制频率 $c$ 和扩散时间步 $k$，模型需要同时预测动作和未来前缀。这一阶段的目的是让模型适应世界建模目标，获得后训练的强初始化。第二阶段是后训练（Post-Training）：引入MiPA架构，构建3组并行的前缀和LoRA模块，分别与CLIP（400M）、DINOv2（142M）和ViT（300M）三个VFM对齐，训练5,000步。总损失为 $$\mathcal{L}_{total} = \mathcal{L}_{action} + \lambda_1 \mathcal{L}_{align} + \lambda_2 \mathcal{L}_{balance}$$，其中 $\mathcal{L}_{align}$ 是所有VFM对齐损失的和，$\mathcal{L}_{balance}$ 是负载均衡损失防止模式崩溃。路由器使用标签平滑确保每个专家获得最小非零权重。第三阶段是推理：保留并行计算图，通过路由器聚合各专家的动作输出，使用共享MLP头生成最终动作。
技术新颖性
FRAPPE的技术新颖性体现在多个层面。首先，MiPA架构将前缀调优和LoRA结合在并行扩展框架中，这是一种新的参数高效微调范式。每个专家共享冻结的骨干网络但有独立的可学习前缀和LoRA模块，既保持了参数效率又实现了多样化的表征学习。其次，多VFM表征对齐策略是独特的——通过同时利用CLIP的语义理解、DINOv2的空间结构理解和ViT的通用视觉能力，模型能够学习到更全面的环境动态。这种设计的理论基础是不同VFM由于训练目标和数据的差异会学到互补的归纳偏置。第三，两阶段渐进式训练策略解决了直接并行训练的收敛问题。实验表明，直接在基础模型上进行后训练的效果甚至低于RDT基线（14.5% vs 39.8%），而经过中间训练适应后再进行并行扩展则能达到52.3%的平均成功率。第四，负载均衡机制（包括负载均衡损失和标签平滑）有效防止了模式崩溃，确保所有专家都能得到充分利用。
实验结果
FRAPPE在仿真和真实世界实验中均展现出显著优势。在RoboTwin 2.0基准测试中，FRAPPE在Easy设置下达到57.5%的平均成功率，与π0持平；在Hard设置下达到25.5%，超越π0的14.1%和π0.5的13.3%。在具体任务上，FRAPPE在Pick Dual Bottles任务上达到67.0%（Easy）和28.0%（Hard），相比RDT基线的45.0%和14.0%分别提升了22和14个百分点。在Handover Block任务上，Hard设置下从14.0%提升到18.0%。训练范式对比实验表明，中间训练是必要的——直接进行后训练的效果仅为14.5%，远低于基线的39.8%；而经过中间训练后再后训练，平均成功率从45.3%提升到52.3%。在130M参数的小模型上，FRAPPE同样有效，经过优化的小模型性能与RDT-1B基线相当。真实世界实验中，FRAPPE在长时程任务上实现了20%的成功率，而基线RDT完全失败。人类自我中心数据的联合训练实验表明，在极少遥操作数据（5条轨迹）的情况下，结合大规模人类视频可将性能提升10-15%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 Easy (8任务平均) | Success Rate (%) | 57.5 | RDT: 47.4, π0: 57.1, π0.5: 45.4 | 相比RDT提升10.1个百分点，与π0持平 |
| RoboTwin 2.0 Hard (8任务平均) | Success Rate (%) | 25.5 | RDT: 15.1, π0: 14.1, π0.5: 13.3 | 相比RDT提升10.4个百分点，超越π0约11个百分点 |
| Pick Dual Bottles (Easy) | Success Rate (%) | 67.0 | RDT: 45.0, π0: 57.0 | 相比RDT提升22个百分点 |
| Stack Bowls Two (Easy) | Success Rate (%) | 80.0 | RDT: 74.0, π0: 91.0 | 相比RDT提升6个百分点 |
| 长时程任务 (真实世界) | Success Rate (%) | 20.0 | RDT: 0.0 | 从0%提升到20%，基线完全失败 |
| 训练范式对比 (平均) | Success Rate (%) | 52.3 (mid+post) | RDT: 39.8, mid-train only: 45.3 | 相比单独中间训练提升7个百分点 |
局限与改进
尽管FRAPPE取得了显著成果，但仍存在一些局限性。首先，推理时内存占用增加到8.0GB（相比基线的3.7GB），虽然仍在常见推理GPU的容量范围内，但对于资源受限的部署场景可能构成挑战。其次，当去噪步数从5减少到3以降低延迟时，性能从52.3%下降到48.5%，表明并行扩展架构对推理计算量有一定依赖。第三，虽然FRAPPE能够利用人类自我中心数据，但这些数据的采集仍需要特定的相机设置（固定第三人称视角），不能直接使用头戴式相机如GoPro或VR设备。第四，论文仅在双臂操作任务上进行了验证，尚未在单臂、移动机器人或导航任务上测试其泛化能力。第五，中间训练阶段需要全参数微调，计算成本较高（15,000步），而后训练阶段虽然只用LoRA但仍有额外的前缀参数和路由器需要训练。第六，论文中使用的VFM（CLIP、DINOv2、ViT）是固定的，是否可以通过学习选择最优VFM组合来进一步提升性能尚未探索。
独立分析的弱点
从独立分析的角度，FRAPPE存在以下几个可以改进的弱点。第一，路由器的设计相对简单——当前使用线性层计算门控权重并应用标签平滑，但这种静态路由可能无法根据任务或场景动态调整专家权重。改进方向是设计基于任务条件或视觉内容的动态路由机制，例如根据语言指令或当前观测自适应地调整专家的贡献比例。第二，负载均衡损失 $\mathcal{L}_{balance}$ 的设计借鉴了Switch Transformer，但在机器人控制场景中，不同的动作维度可能确实需要不同的专家组合，强制均衡可能不是最优的。可以考虑设计任务感知的负载均衡策略。第三，对齐损失使用余弦相似度，这是一种相对粗糙的度量方式，可能无法捕捉表征空间中的复杂结构关系。可以探索更精细的对齐目标，如对比学习损失或最优传输损失。第四，论文中VFM的选择（CLIP、DINOv2、ViT）缺乏系统性的消融研究来证明这一组合的最优性，可能存在更好的VFM组合。
未来方向
基于FRAPPE的成果，可以延伸出多个有前景的研究方向。首先，可以探索自适应VFM选择——让模型根据任务特性自动选择最适合的VFM组合，而不是使用固定的三个VFM。这可以通过在路由器中加入VFM选择机制来实现。其次，可以将FRAPPE扩展到更多样的机器人任务，如单臂操作、移动操控、导航等，验证其通用性。第三，可以进一步探索大规模人类视频数据的利用——论文已经展示了TASTE-Rob数据集的效果，但互联网上还有海量的自我中心视频可以利用，如何高效地筛选和利用这些数据是值得研究的方向。第四，可以将中间训练阶段的Theia蒸馏编码器替换为更强的教师模型，或者设计更高效的蒸馏策略。第五，可以研究如何将FRAPPE的并行扩展思想应用到其他类型的策略模型中，如流匹配模型或自回归模型。第六，可以探索FRAPPE与强化学习的结合——当前方法仅使用监督学习，如果引入在线强化学习微调，可能进一步提升性能。
复现评估
FRAPPE的复现条件相对友好。代码已在GitHub开源（https://github.com/Jbo-Wang/frappe），模型权重在HuggingFace上发布（https://huggingface.co/collections/hhhJB/frappe），这大大降低了复现门槛。基础模型RDT-1B有官方预训练权重，训练数据仅需50条任务特定轨迹，数据需求较低。训练硬件要求为2块NVIDIA H100 GPU，训练20,000步（15k中间训练+5k后训练），对于前沿研究来说算力要求适中。推理时单卡H100即可运行，内存占用约8GB。然而，完整复现仍有一些挑战：需要正确配置RDT的代码库和预训练权重；需要获取RoboTwin仿真环境；人类自我中心数据的收集和处理需要额外工作。论文提供了详细的超参数设置（λ₁=0.05，对齐深度为第21层，未来时间步h=8），这有助于精确复现。总体而言，在有适当硬件资源的情况下，复现难度中等。
论文图表
图1展示了两个主要部分。左侧展示了真实世界实验中的四类任务变体：光照变化、高度变化、姿态变化和目标变化，以及一个长时程任务的示例。右侧展示了训练数据金字塔的层次结构：顶层是带有动作标签的任务特定机器人数据（120条轨迹/小时，由遥操作收集）；中层是任务特定的无动作标签人类自我中心数据（360条轨迹/小时，由非专家收集）；底层是大规模无动作标签的互联网自我中心视频数据（1000+小时）。
这张图直观地展示了FRAPPE的两个核心优势：在多种真实世界挑战场景下的泛化能力，以及利用不同层次训练数据的能力。数据金字塔的概念是理解FRAPPE如何减少对昂贵遥操作数据依赖的关键。
图4展示了在4个真实世界任务上的实验结果，每个任务测试不同的泛化维度：堆叠玻璃杯（光照变化）、放置方块到盘子（高度变化）、抓取胡萝卜或辣椒（姿态变化）、抓取特定蔬菜（目标物体变化）。每个任务分为Seen（训练数据中包含的设置）和Unseen（模型未见过的新设置）两种场景。柱状图对比了FRAPPE与Diffusion Policy、RDT、π0和π0.5的性能。FRAPPE在所有任务上都表现出色，尤其是在Unseen场景中优势明显。
这张图直接证明了FRAPPE在真实世界中的泛化能力，特别是对未见场景的鲁棒性，这是衡量世界建模能力是否真正被注入的关键指标。
表格展示了在RDT-1B的28层DiT中，选择不同深度（第7、14、21、28层）的前缀输出进行未来监督时的性能。结果显示第21层（约四分之三深度）效果最佳（23.5%），这与已有研究的发现一致。
对齐深度的选择是一个重要的设计决策，这张表提供了经验证据支持选择约3/4深度的层进行监督。
表格展示了不同未来时间步h（8、16、32）对应的性能。h=8时性能最优（35.3%），随h增大性能下降，说明过长的预测时间步会降低对齐效果。
未来预测时间步是另一个关键超参数，这张表帮助确定了最优配置，并揭示了预测时间步与性能的关系。