EmbodiedMidtrain:通过中训练弥合视觉-语言模型与视觉-语言-动作模型之间的鸿沟 EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training
用近邻度估计器从VLM数据中筛VLA对齐样本,中训练弥合分布差。
前置知识
Vision-Language-Action Model (VLA)
在单一模型内统一视觉感知、语言理解与连续动作生成的具身基础模型,常以VLM为骨干并接动作解码头,通过在机器人轨迹数据上微调获得操控能力。代表工作有OpenVLA、π0、GR00T N1。
论文核心讨论VLA继承自VLM时的分布错配问题,不熟悉VLA的训练流程(骨干冻结→轨迹微调)就无法理解"中训练"这一步为什么能直接惠及下游VLA微调。
Vision-Language Model (VLM) 中训练 (Mid-training)
在多模态预训练与指令微调之间插入的额外训练阶段,目的是让模型在某一目标域(如具身、代码、数学)上预先对齐,常被类比LLM领域里的mid-training,目标是为最终post-training或任务微调提供更好的初始化。
EmbodiedMidtrain的工作正落在VLM中训练阶段,理解它与预训练、监督微调(SFT)的区别是看懂作者"为什么要插这一步"的前提。
Maximum Mean Discrepancy (MMD)
用RKHS中核函数均值差度量两个分布距离的统计量,本文用高斯RBF核 $\sigma$ 由median heuristic设定,通过MMD矩阵量化VLM与VLA数据集两两之间的分布差异。
论文用它量化VLM与VLA数据集两两之间的分布距离,以此证明"VLM-VLA分布差"是一个可观测、可量化的现象,而不是直觉判断。
密度比估计与分类器等价 (Goodfellow et al., 2014)
经典结论:在两类样本上训练的最优分类器 $s^*(x)=p_{\text{VLA}}/(p_{\text{VLA}}+p_{\text{VLM}})$ 单调正比于密度比,因此用分类器分数排序等价于按密度比排序,是本文数据引擎的数学基石。
这是EmbodiedMidtrain数据引擎的数学基石:不需要直接估计高维密度比,只需要学一个轻量分类器,排序结果就等价于按密度比排序,是"可学习近邻度"得名的来源。
LLaMA-Factory / VLM4VLA 微调框架
LLaMA-Factory是统一VLM/LLM微调框架,本文用于中训练;VLM4VLA是两分支MLP action head的VLA微调流水线,保证不同骨干VLM之间训练流程一致、对比公平。
理解EmbodiedMidtrain的实验必须在同一微调框架下比较才能说明"收益来自中训练而非微调配方差异",VLM4VLA提供了通用action head;LLaMA-Factory保证了不同骨干VLM之间训练流程一致。
研究动机
近年来视觉-语言-动作模型(VLA)在通用机器人操控中取得显著进展,如OpenVLA、π0、GR00T N1等均以VLM为骨干并在机器人轨迹数据上微调。然而现有VLA普遍以"开箱即用"的通用VLM直接初始化:这些VLM的预训练语料覆盖CC-12M、LAION-400M等图文配对、LLaVA-Instruct等指令数据以及VCR等视觉推理任务,目标是广义的图文理解,而VLA的微调数据则是LIBERO、Bridge-V2、Calvin等紧凑的机械臂轨迹。两者在表征空间里几乎不重叠,呈现典型的分布鸿沟。论文第3节用MMD距离矩阵(图2a)量化了这一现象:同一类内(VLM内部或VLA内部)的MMD值明显小于跨类(VLM↔VLA)的MMD值,t-SNE可视化(图2b)也显示VLA数据聚成紧凑的、几乎脱离VLM云团的簇。更棘手的是,Zhang et al. (2026) 先前工作表明,简单在具身数据上对VLM做监督微调并不能可靠转化为下游VLA性能提升,意味着仅靠"再多一点具身微调"解决不了这个问题;类似地,Yang et al. (2025) 的Vlaser把机器人轨迹转成VQA对来fine-tune VLM,需要大量域内数据。因此,VLM的"初始化质量"成为制约VLA性能的关键瓶颈,而现有方法都没能系统性地从数据分布层面解决这一鸿沟。
本文的目标是本文的具体目标是提出EmbodiedMidtrain:一个数据驱动的中训练管线,在VLM完成通用多模态预训练之后、进入VLA轨迹微调之前,先用一个轻量级"近邻度估计器"对VLM候选样本打分,筛选出与VLA分布最对齐的子集,在其上做中训练以重塑VLM表征,使下游VLA微调从一个"已向具身域偏移"的初始化点起步。目标是定量的:在Calvin ABC-D(1.0M样本预算)、SimplerEnv-Bridge(4.1M)和Libero-10(4.1M)三个基准上,1.1B参数的中训练后InternVL3.5-1B要超过或追平π0(3.1B,Paligemma-1)、Qwen2.5VL-7B(8.3B)、Qwen3VL-8B(8.8B)等3-8倍规模的基线,同时训练预算仅是它们的~13%(1.0M vs 7.7M)。
与已有工作不同的是，现有工作可分为两条路线,均存在盲点:其一是"在VLM侧做具身化",代表如RoboPoint、RefSpatial、Robo2VLM、EmbSpatial-Bench,通过构造具身VQA数据集或对VLM做具身指令微调提升VLM本身的具身评测分数,但Zhang et al. (2026) 已证明这种VLM侧的提升并不稳定地转化为VLA动作质量;其二是"在VLA侧用大量轨迹数据fine-tune",如Vlaser直接把in-domain机器人轨迹转VQA对做训练,代价是需要大量真实机器人数据。作者的独特切入角度是"既不在VLM侧、也不在VLA侧,而是落在中间的中训练阶段,且改造对象是VLM预训练语料的混合比例而非模型架构"——通过可学习的近邻度评分器,把通用VLM数据池裁剪成VLA对齐的紧凑分布,既保留了VLM的多样性,又弥合了到VLA的表征gap。这种"数据选择→中训练"的组合在VLA文献中是首次系统化提出的。
核心方法
EmbodiedMidtrain的整体思路可以一句话概括为"学一个二分类器打分,选top-K做中训练"。直觉上,既然VLM数据池里有相当一部分样本与VLA分布距离远(如图2所示),那么把这些远点也一起喂给VLM做中训练就相当于让模型"分心"了;反之,如果只让模型看到那些与VLA分布相近的样本,中训练后的表征就会更"贴"VLA。作者把这个直觉形式化为一个数学问题:在VLM候选池 $\mathcal{D}_{\text{VLM}}$ 中选一个大小为 $K$ 的子集 $\mathcal{D}'_{\text{VLM}}$,使其分布 $P_{\mathcal{D}'}$ 与VLA分布 $P_{\text{VLA}}$ 的某个散度 $d$ 最小,即 $\mathcal{D}^*_{\text{VLM}}=\arg\min_{\mathcal{D}'\subseteq\mathcal{D}_{\text{VLM}},|\mathcal{D}'|=K} d(P_{\mathcal{D}'}, P_{\text{VLA}})$。由于直接优化集合的分布距离不可微且组合爆炸,作者把它"松弛"为按样本打分后取top-K: $\mathcal{D}^*_{\text{VLM}}=\text{top-}K_{x_i\in\mathcal{D}_{\text{VLM}}} s(x_i)$。技术路线上分两步:第一步训练近邻度估计器$f$——一个放在frozen VLM特征 $\phi(x)$ 之上的小型可学习打分头,以VLA样本为正、VLM样本为负,用BCE损失 $\mathcal{L}_{\text{cls}}=-\mathbb{E}_{y\sim\mathcal{D}_{\text{VLA}}}[\log s(y)]-\mathbb{E}_{x\sim\mathcal{D}_{\text{VLM}}}[\log(1-s(x))]$ 训练,90%验证准确率早停;第二步在排序后的VLM数据上,以LLaMA-Factory为框架、global batch 256、5000步对VLM全参数做中训练,之后沿用VLM4VLA的VLA微调流水线(action head为两分支MLP)。
核心创新点是用一个"可学习密度比近似器"取代手工设计的"对VLA近邻"度量,具体来说是借助Goodfellow等人关于"二分类器最优解等价于密度比"的经典结果:当分类器收敛到贝叶斯最优时,其sigmoid输出 $s^*(x)=p_{\text{VLA}}(x)/[p_{\text{VLA}}(x)+p_{\text{VLM}}(x)]$ 单调正比于密度比 $p_{\text{VLA}}(x)/p_{\text{VLM}}(x)$,因此用分类器分数排序与用密度比排序在极限情况下完全等价。这一步把"分布选择"这个原本需要估计高维密度比的问题转化为"区分VLA vs VLM"这个标准监督学习问题,与已有方法存在三点本质区别:第一,区别于Vlaser/RefSpatial等"在VLM数据上加更多具身内容",作者是"减少无关VLM样本"而非"增加具身样本",数据量更轻;第二,区别于feature-space distance、perplexity、delta-perplexity等手工近邻度度量(第6.1节消融显示均劣于学习估计器),作者让模型自己学"什么算VLA-aligned",这能捕捉到人工特征无法表达的高阶语义;第三,关键的是"VLM特征保持冻结",只有打分头$f$可学,这意味着打分器本身极轻量、训练成本低,且近邻度信号独立于中训练目标,既不会污染中训练梯度也不会随训练漂移。
方法步骤详情
完整管线可分为六个步骤。第一步是构建VLM候选池 $\mathcal{D}_{\text{VLM}}$:涵盖通用VLM语料(LAION-400M子集、CC-12M配BLIP重打标、LLaVA-Instruct-665k、VCR)与具身导向VLM语料(RefSpatial、EmbSpatial-Bench、Robo2VLM、RoboPoint)。第二步是抽取表征:用InternVL3.5-1B(或Qwen3VL-2B)的最后隐藏层作为 $\phi(x)$,VLM参数冻结。第三步是构造VLA正样本 $\mathcal{D}_{\text{VLA}}$:取Calvin/SimplerEnv/Libero训练轨迹的平衡混合,作为分类器的正例集。第四步是训练近邻度估计器:在 $\phi(x)$ 上接一个小MLP打分头 $f$,输出经sigmoid得到 $s(x)=\sigma(f(\phi(x)))$,用BCE损失训练,以90%验证准确率为早停准则。第五步是样本选择与中训练:对 $\mathcal{D}_{\text{VLM}}$ 中每个样本计算 $s(x)$ 并按分数排序,保留top-K(论文选约1.0M规模)组成 $\mathcal{D}^*_{\text{VLM}}$,用LLaMA-Factory框架以global batch 256、5000步、AdamW对InternVL3.5-1B/Qwen3VL-2B做全参数中训练。第六步是VLA微调:沿用VLM4VLA的两分支MLP action head(连续臂动作+二元夹爪),在Calvin/SimplerEnv/Libero上以与VLM4VLA原文完全相同的训练预算(分别为1.0M / 4.1M / 4.1M样本)做下游微调与评测。需要注意的是:近邻度估计器是用InternVL3.5-1B的特征训练的,但同一筛选出的数据被直接用于Qwen3VL-2B中训练(跨骨干迁移实验)。
技术新颖性
技术新颖性可从四个维度评估。首先,数学形式化层面,把"为下游任务选数据"这件事从数据集级(如RoboPoint vs VCR二选一)细化到样本级,并严格形式化为带分布散度的组合优化问题,再通过Goodfellow密度比-分类器等价性给出可微松弛,这套推导在VLA数据选择文献里没有先例。其次,工程实践层面,作者把"frozen VLM + 小分类器"做成一个可插拔模块,与中训练、VLA微调完全解耦,意味着同一打分器产出的数据集可以零成本迁移到不同骨干VLM(论文显示用InternVL3.5-1B特征选的数据也能提升Qwen3VL-2B),这种"数据可迁移性"是过去工作未展示的。第三,分析层面,作者不只是报告最终数字,还做了三类消融:(a)随机选择vs学习选择(差1.0以上Calvin Avg Len)、(b)三种手工近邻度度量均不如学习估计器、(c)训练动力学曲线显示中训练模型的领先优势从最早的checkpoint就出现并随训练扩大,这些实验同时回答了"为什么选top-K"和"为什么中训练比直接微调好"两个核心质疑。最后,作者对选中样本做了per-dataset violin plot(图4a)和高/低分样本可视化(图4b/c),发现RefSpatial获得最高均分而VCR最低、高分样本多涉及空间指代而低分样本多为文本VQA,直观说明了近邻度估计器学到了符合具身直觉的偏好,这一可视化解释也让方法具有更好的可解释性。
实验结果
核心实验结果集中在表1,涵盖Calvin ABC-D(以平均任务完成链长Avg Len、5步成功率衡量)、SimplerEnv-Bridge(平均成功率%)、Libero-10(50次/任务的平均成功率%)。在中训练的InternVL3.5-1B(1.1B参数,1.0M训练样本)上,Avg Len从3.173提升到3.714(+0.541)、Simpler从36.5%跃升到56.3%(+19.8)、Libero从39.0%提升到54.2%(+15.2);在中训练的Qwen3VL-2B(2.1B,1.0M)上,Avg Len从3.205提升到3.584(+0.379)、Simpler从38.5%提升到45.8%(+7.3)、Libero从33.8%提升到40.2%(+6.4)。与专家VLA基线相比:中训练InternVL3.5-1B在Calvin上以3.714超过OpenVLA的2.548(基于Llama-2-7B,DINOv2+SigLIP,7.7M样本)以及π0的3.509(基于Paligemma-1,7.7M样本);Simpler 56.3%与Libero 54.2%也分别超过了Qwen2.5VL-7B(8.3B,Simpler 46.8%、Libero 45.0%)、Qwen3VL-8B(8.8B,Simpler 58.3%、Libero 46.2%)、Paligemma-1/2、KosMos-2等3-8倍规模的off-the-shelf基线,而训练预算仅为基线的~13%。消融实验(表2)显示三件事:(1)随机选择vs学习选择,Calvin从3.398退到3.714(差+0.316),Simpler 43.8%退到56.3%(差+12.5),Libero 48.4%退到54.2%(差+5.8);(2)三种手工近邻度中,feature-space平均距离得到3.126/53.1%/51.2%,VLA-cond. perplexity得到3.527/55.2%/48.0%,delta perplexity得到3.159/39.6%/54.2%,均不如学习估计器的3.714/56.3%/54.2%;(3)训练动力学(图3)显示中训练模型在最早的checkpoint就已经领先,优势随训练扩大而不是收敛。跨骨干迁移实验中,InternVL3.5-1B特征选出的top-K子集直接给Qwen3VL-2B做中训练也带来了一致的提升,说明近邻度信号捕获的是跨模型共享的VLA对齐属性,而非InternVL独有的特征。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Calvin ABC-D 长程操控 | Avg Len (5子任务平均完成链长, 越高越好) | InternVL3.5-1B+EmbodiedMidtrain: 3.714; Qwen3VL-2B+EmbodiedMidtrain: 3.584 | InternVL3.5-1B 3.173, Qwen3VL-2B 3.205, π0 3.509, OpenVLA 2.548, Qwen3VL-8B 4.035, Qwen2.5VL-7B 4.057 | vs 原始InternVL3.5-1B +0.541; vs Qwen3VL-2B 原始 +0.379; vs π0 (3.1B, 7.7M样本) +0.205, 且训练预算仅为其13% |
| SimplerEnv-Bridge 真实到仿真操控 | 平均成功率(%) | InternVL3.5-1B+EmbodiedMidtrain: 56.3%; Qwen3VL-2B+EmbodiedMidtrain: 45.8% | InternVL3.5-1B 36.5%, Qwen3VL-2B 38.5%, π0 60.4%, OpenVLA 4.2%, Qwen3VL-8B 58.3%, Qwen2.5VL-7B 46.8%, Paligemma-2 57.3%, KosMos-2 60.4% | vs 原始InternVL3.5-1B +19.8pp; vs 原始Qwen3VL-2B +7.3pp; 与3-8倍规模Qwen2.5VL-7B/8B同档 |
| Libero-10 长程操控 | 平均成功率(%) | InternVL3.5-1B+EmbodiedMidtrain: 54.2%; Qwen3VL-2B+EmbodiedMidtrain: 40.2% | InternVL3.5-1B 39.0%, Qwen3VL-2B 33.8%, π0 46.0%, OpenVLA 53.7%, Qwen2.5VL-7B 45.0%, Qwen3VL-8B 46.2%, Paligemma-2 46.2%, KosMos-2 55.0% | vs 原始InternVL3.5-1B +15.2pp; vs 原始Qwen3VL-2B +6.4pp; 1.1B规模下已超过Qwen3VL-4B(44.4%)与Paligemma-2(46.2%)等更大模型 |
| 消融-随机选择 vs 学习选择 | Calvin Avg Len / Simpler(%) / Libero(%) | 学习选择: 3.714 / 56.3 / 54.2 | 随机选择: 3.398 / 43.8 / 48.4 | Calvin +0.316, Simpler +12.5pp, Libero +5.8pp, 证明"选择"本身是中训练增益的主要来源 |
| 消融-不同近邻度度量 | Calvin Avg Len / Simpler(%) / Libero(%) | 学习估计器(ours): 3.714 / 56.3 / 54.2 | Feature-space Avg Dist 3.126/53.1/51.2; VLA-cond. Perplexity 3.527/55.2/48.0; Delta Perplexity 3.159/39.6/54.2 | 学习估计器在Calvin与Libero上均最优,Simpler上略低于VLA-cond. perplexity(差-1.1pp),但其他两个指标领先说明总体最稳健 |
| 跨骨干迁移性 | Calvin / Simpler / Libero (InternVL3.5-1B → Qwen3VL-2B) | Qwen3VL-2B 中训练后 3.584 / 45.8 / 40.2 | Qwen3VL-2B 原始 3.205 / 38.5 / 33.8 | Calvin +0.379, Simpler +7.3pp, Libero +6.4pp; 数据选择信号在不同骨干VLM之间可迁移 |
局限与改进
作者在文中相对坦诚地指出了几点局限。第一,实验中VLA微调沿用VLM4VLA的两分支MLP action head与对应训练协议,并未联合训练backbone与新型action head,因此文中观察到的"中训练增益"不能直接外推到不同action head(如扩散、flow matching)的VLA架构;不同action head是否对中训练数据分布敏感仍待验证。第二,虽然InternVL3.5-1B的近邻度选择信号能迁移到Qwen3VL-2B,但论文只展示了一个跨骨干case,且两个骨干都属于InternVL/Qwen系列,是否对Eagle-2、PaliGemma等差异更大的VLM骨干同样可迁移尚不明确。第三,近邻度估计器训练需要VLA正样本,即依赖下游任务的轨迹数据,这意味着数据引擎并不是完全"无监督"的——若要在新下游任务上迁移整套管线,需要重新准备对应任务的轨迹做正样本,这是工程上的一个非平凡门槛。第四,论文聚焦在单臂桌面操控(机械臂+夹爪)类VLA任务,所选的VLM候选池也以英文图文+空间推理为主,向双手机器人、移动操控、人形机器人等更复杂具身场景的可推广性未被验证;同时未讨论语言多样性(中文指令、低资源语言)在数据选择中的影响。我自己的额外观察是:文章展示的"训练损失几乎相同但下游性能差距巨大"这一现象(图3右侧)很值得深究——这暗示中训练带来的不是"损失景观更平滑"而是"表征几何更适合action生成",这种几何变化的具体机制(是对齐到manipulation的视觉流形?是统一了spatial reference的表达?)作者并未进一步打开,这也限制了读者对方法何时会失效的判断。
独立分析的弱点
独立审视论文,可以列出几个相对突出的弱点。第一个是"中训练+微调"管线在工程上有较高门槛:近邻度估计器需要下游任务的VLA轨迹作为正样本,中训练需要1.0M级精选VLM数据与5000步全参数优化,任何一步都需要非平凡算力,这与论文宣称的"lightweight"形成轻微落差,对于计算资源有限的小实验室复现并不可达。第二个弱点是评估广度不足:仅3个仿真基准(均为单臂桌面操控)、仅2个骨干VLM、仅1种action head,缺少对真实机器人(real-world rollout)、不同action head(diffusion/flow matching)、不同任务类别(移动操控、双手机)的覆盖,使得"EmbodiedMidtrain在任何VLA上都work"的结论显得不够扎实。第三个弱点是数据选择器本身的偏差来源未被深究:近邻度估计器用单一VLA任务混合作为正样本,这相当于把"VLA分布"压缩到一个平均化的代理,可能导致选择出的子集对单一VLA任务过对齐、对其它VLA任务欠对齐;论文也没讨论正样本中各VLA数据集比例、训练epoch等对最终打分器bias的敏感性。第四个是缺失负样本对照的近邻度质量评估:论文只展示了选中样本的可视化和打分分布,没有定量比较"选中子集"与"完整VLM池"在多样性、模态覆盖、长尾概念上的差异,所谓"保留VLM多样性"目前更接近论文主张而非被严格证实的结论。第五,Table 1的Expert VLA基线栏用星号标注"结果由VLM4VLA复现"——这虽然确保了对比公平,但作者并未提供与OpenVLA-OFT、GR00T N1等更新、更强的VLA基线的比较,削弱了"competitive with expert VLAs"的论断强度。改进方向上,可以(1)把近邻度估计器与人类偏好或具身子任务标签联合训练以丰富监督信号,(2)扩展到更多action head与真实机器人评测,(3)对选中子集做严格的diversity/catastrophic forgetting评估,(4)在更大规模VLM数据池(>10M)上验证方法scalability。
未来方向
作者在结论部分勾勒了几条值得延伸的方向:第一,数据引擎的跨模态扩展——目前打分器基于单一VLM特征空间,可以拓展到多VLM ensemble或跨模态(图像+深度+轨迹)联合打分,得到更鲁棒的近邻度信号;第二,中训练阶段的目标函数创新——本文中训练采用通用next-token/视觉对齐损失,可以尝试把"近邻度分数"本身作为加权项嵌入中训练loss(如reweight或curriculum),让模型在中训练阶段就显式"看"VLA对齐度;第三,迭代式选择——固定打分器一次选完后即固定数据,可以探索"中训练→在训练好的VLM上重打分→再中训练"的迭代流程,以应对分布漂移。基于作者已经展示的"中训练带来几何级而非损失级差异"这一关键观察,我认为还有几条值得追踪的方向:(a)把中训练后的VLM的中间层表征(attention map、token embedding)在具身VQA与通用VQA上的可分性差异作为更细粒度的分析对象,理解"近邻度"在每一层具体改变了什么;(b)把EmbodiedMidtrain与数据合成/数据增强管线结合,用VLA rollout + 失败案例重打分,以持续扩充训练池;(c)研究"近邻度"在多任务、multi-embodiment场景下的定义——目前用单一VLA轨迹作正样本过于狭窄,真正通用方案需要把"具身"拆解为多个子能力(spatial reasoning、object permanence、tool use等)分别打分;(d)拓展到视频驱动的VLM或LWM,因为中训练可能对时序建模产生更大影响。
复现评估
复现难度整体中等偏上。作者在正文与脚注明确承诺会"release all code, data and models"(项目页 adu2021.github.io/blog/EmbodiedMidtrain/),因此代码、训练好的近邻度估计器、选中的1.0M数据子集以及最终的中训练VLM检查点都有望公开,这对资源受限的复现者非常友好。数据层面,管线依赖的VLM候选池(LAION-400M子集、CC-12M、LLaVA-Instruct-665k、VCR、RefSpatial、Robo2VLM、RoboPoint、EmbSpatial-Bench)以及VLA正样本(混合Calvin/SimplerEnv/Libero轨迹)均来自已公开的学术数据集,合法获取门槛低。算力层面,中训练采用global batch 256、5000步对InternVL3.5-1B(1.1B)与Qwen3VL-2B(2.1B)做全参数优化,根据业内经验估计至少需要8-32张A100/H100级别GPU数日,VLA微调阶段(1.0M-4.1M样本)也需要相当规模算力,这对学术实验室仍是显著门槛。框架层面,作者明确使用LLaMA-Factory(开源)与VLM4VLA(开源)的训练流水线,降低了工程复现难度。超参透明度方面,附录A.1-A.2承诺提供实现细节,但目前正文仅给出global batch 256与5000步等关键设置,完整学习率、warmup、optimizer细节需等代码发布。整体而言,论文的算法可复现性较好,主要瓶颈在于(1)完整VLA微调所需的算力,(2)近邻度估计器训练阶段对VLA轨迹的访问权限——这意味着若想在自有VLA任务上复用,需自己准备轨迹数据并重训打分器。
论文图表
由四个子图组成:(a)VLM-VLA数据分布gap示意,显示VLA数据密度集中在VLM分布之外的紧凑区域;(b)VLM数据分布shift,展示通过近邻度选择可把VLM数据分布重塑为更接近VLA;(c)VLM中训练过程示意,展示 $\theta_{\text{base}}$ 经数据选择与中训练得到 $\theta_{\text{mid}}$;(d)下游VLA收益,在Calvin、Simpler、Libero三基准上展示InternVL3.5-1B中训练前后从48/3.7/39.0提升到54/3.7/54.2等具体数值。
这是全文的'封面图',一次性把问题(分布gap)、方法(数据选择+中训练)、结果(下游增益)四要素呈现给读者,是理解EmbodiedMidtrain整体定位最关键的图。
(a)9个数据集(CC-12M、LAION-400M、LLaVA-Instruct-665k、RefSpatial、VCR、RoboPoint、LIBERO、Bridge-V2、Calvin)两两之间的全局归一化MMD距离矩阵,可见VLM组内与VLA组内的MMD普遍小于跨组的MMD;(b)t-SNE可视化把9个数据集的视觉特征投影到2D,显示LIBERO/Bridge-V2/Calvin三个VLA数据集形成紧凑且与VLM云团分离的簇,只有一小部分VLM样本靠近VLA。
直接提供'VLM-VLA分布gap存在且可量化'的经验证据,是论文motivation部分的核心实证支撑,也是后续设计近邻度估计器的依据。