FrameSkip：在VLA训练中以更少但更具信息量的帧学习 FrameSkip: Learning from Fewer but More Informative Frames in VLA Training
将VLA训练中的帧采样重新定位为时序监督再分配问题
前置知识
视觉-语言-动作模型（VLA）
VLA（Vision-Language-Action）模型是近年兴起的机器人操作范式，将视觉感知、语言指令条件化与动作预测统一在单一策略模型中，典型代表包括 OpenVLA、π0、GR00T 等。VLA 通常以预训练 VLM（如 Qwen3-VL）作为理解专家，并以扩散 Transformer（DiT）或 flow-matching 作为动作专家，从演示轨迹 $\tau = \{(o_t, a_t, l)\}_{t=1}^T$ 中学习把观测 $o_t$ 和语言指令 $l$ 映射为连续动作 $a_t$。
本文的所有设计与实验都建立在 VLA 训练范式之上，需要先理解 VLA 是什么、如何由 VLM + 动作头组成，才能准确把握 FrameSkip 在 dataloader 层做帧选择的动机与影响
演示轨迹的时序冗余与监督不均衡
机器人示教轨迹由遥操作密集采集，每条轨迹约 100-1000 帧不等。轨迹中通常存在大段低变化片段（接近、保持抓取、平稳运送）以及稀疏的关键交互瞬间（对齐、接触、抓取闭合、释放）。在固定优化预算下，如果对所有帧等权采样，关键转换帧会被淹没在大量低信息量帧中，造成全局适应、局部欠监督的时序监督不均衡问题。
这是本文的核心诊断——现有 VLA 训练把每帧视为同等贡献，但操作轨迹的时间结构严重不均匀，把握这一点是理解 FrameSkip 切入角度的前提
Flow-matching 动作头与扩散策略
Flow-matching（如 Chi 等的 Diffusion Policy）将动作生成建模为从噪声到干净动作的速度场 $u = a_1 - a_0$ 的回归问题，训练目标为 $\mathcal{L}_{\text{fm}} = \mathbb{E}_{t, a_0, a_1}\|v_\theta(a_t, t) - (a_1 - a_0)\|_2^2$，推理时通过数值积分（如 Euler 或 RK4）将高斯噪声积分到目标动作。本文的 VLA 框架 StarVLA 采用的就是 flow-matching 动作专家。
FrameSkip 不修改动作头、损失或推理过程，因此理解 flow-matching 是为了看清哪些被本文刻意保留、哪些被数据层替换
DINOv2 视觉特征
DINOv2 是 Meta 提出的自监督视觉 Transformer 预训练模型，可为任意图像输出具有强语义与结构信息的 patch 级或 [CLS] 级特征向量 $v_t \in \mathbb{R}^{d}$。FrameSkip 利用 DINOv2 抽取视频帧的视觉特征以计算视觉-动作一致性，避免引入额外的可学习网络。
VAC 指标直接依赖 DINOv2 特征，因此必须先理解 DINOv2 输出是什么、为什么它适合作为轻量、冻结的环境状态描述符
高斯混合模型（GMM）作为任务进度先验
GMM 将一维变量（如轨迹的归一化进度 $p_t = (t-1)/(T-1) \in [0,1]$）的分布建模为 $M$ 个高斯分量的加权和 $q(p) = \sum_{m=1}^M \pi_m \mathcal{N}(p; \mu_m, \sigma_m^2)$，每个分量的均值 $\mu_m$ 反映典型阶段中心位置（对齐、抓取、释放等）。GMM 的密度值 $q(p_t)$ 即可作为该时刻是否处于关键阶段的软证据。
TPI 指标依赖 GMM 进度先验，必须理解如何从少量标注的阶段中心拟合进度分布，以及为什么 GMM 比硬编码的阶段边界更鲁棒
研究动机
现有的 VLA 训练范式普遍采用全帧采样：把示教轨迹 $\tau = \{(o_t, a_t, l)\}_{t=1}^T$ 中的每一帧都作为同等价值的监督信号训练策略网络。这种做法与操作轨迹的真实时间结构严重错配。如 Figure 2 所示，演示轨迹通常包含大段冗余的低变化段（接近、保持、运送）以及稀疏的关键转换段（对齐、接触、抓取闭合、释放）。作者在 RoboCasa-GR1 任务上统计了分阶段失败率：接近 0%、对齐 16.5%、抓取 31.0%、运送 4.5%、释放 48.5%、归位 0%，即失败高度集中在稀疏的操作关键转换阶段。换言之，VLA 策略能很好地适应主导性的平滑运动，却在稀有的决策关键转换处表现脆弱——作者把这种模式概括为全局适应、局部欠监督。在固定优化预算下，每帧等权采样会让大量弱信息帧稀释稀有但关键的转换帧的梯度贡献。现有的 VLA 改进路线几乎都聚焦在模型架构、动作表征、数据配比与优化策略上（参见 OpenVLA、π0、π0.5、GR00T N1.5/N1.6），鲜有工作研究轨迹内帧间的监督分布这一基础但被忽视的问题。
本文的目标是本文的具体目标是把帧选择从数据压缩技巧提升为时序监督再分配机制，并系统回答在 VLA 训练中，监督应如何在轨迹帧间分配这一基础问题。具体目标包括三方面：（1）设计一个架构无关的数据层框架 FrameSkip，仅通过修改 dataloader 就能把训练监督集中到操作关键帧上，同时保持 VLA 架构、动作头、损失函数与推理流程不变；（2）证明在显著压缩轨迹（主实验中仅保留 20% 唯一帧）的情况下，VLA 策略仍能获得比全帧训练更优的成功率-保留率权衡；（3）通过控制变量实验，分别量化保留率、重要性指标构成与全帧 warmup 长度对最终性能的影响，明确各设计选择的贡献。
与已有工作不同的是，本文的独特切入角度是把帧采样重新定位为时序监督再分配，而非单纯的降采样或关键帧提取。已有数据筛选方法（如 Hejna 等的 REMIX、Hejna 等的互信息估计器）大多在轨迹级别做粗粒度重加权或过滤，对轨迹内帧一视同仁；Scizor 通过学习到的任务进度预测器筛选整段转换，质量判定粒度仍在轨迹/转换级；TGM-VLA 解决 3D 操作的关键帧过采样问题，但仅适用于带 keyframe 结构的专用架构。FrameSkip 的差异在于：它不学习辅助的过渡质量模型或帧删除策略，而是用动作变化、视觉-动作一致性、任务进度先验、夹爪转换保留四种轻量轨迹线索直接为每一帧打分；不改变 VLA 架构、动作头或推理流程；并支持可控的保留率 $r \in (0,1]$。把帧重要性作为一类对象来研究，是本文区别于现有方法的核心视角。
核心方法
FrameSkip 是一个训练时的数据层框架，整体思路遵循先打分、再裁剪、最后通过 dataloader 索引重映射注入训练的三段式流程。直觉上，轨迹帧不应被等价对待——包含大动作变化、显著视觉-动作耦合、落在任务关键阶段、且对应夹爪/末端执行器状态转换的帧对策略学习价值更高。因此 FrameSkip 对每条轨迹计算每个帧的复合重要性分数 $I(t)$，在给定目标保留率 $r$ 时按分位数阈值选出前 $K_r = \max(K_{\min}, \lfloor rT \rfloor)$ 帧并显式保留首末帧、夹爪转换帧以及动作变化处于轨迹前 10% 分位的必须保留帧，再把结果按多种保留率预先缓存到索引文件中；训练时 dataloader 通过二分查找把请求的原始时间步映射到缓存中最近的不早于请求的保留时间步，原始轨迹索引空间保持不变，从而做到架构无关、与已有数据集配比和采样权重兼容。训练调度采用两阶段策略：先在 $N_{\text{warm}}$ 步用全帧视图（$r=1.0$）让策略获得稳定的密集监督初始化，再切换到 5 个压缩视图 mini-batch + 1 个全帧锚点 mini-batch 的混合采样，让压缩视图集中监督高重要性帧、全帧 mini-batch 周期性刷新全局上下文。
FrameSkip 的核心创新是把帧选择从启发式降采样提升为时序监督再分配原则，并通过四种互补的轻量信号构造可解释的复合重要性分数，与已有方法在机制上形成本质区别。相对全帧训练的等价采样，FrameSkip 把优化预算集中到操作关键帧；相对随机裁剪（消融中 47.67% RoboCasa-GR1 vs 76.15% FrameSkip Full），FrameSkip 用轨迹统计驱动而非随机；相对 Scizor 等需要学习辅助转换质量模型的方法，FrameSkip 仅用冻结的 DINOv2 特征和简单统计量，无需引入新可学习模块；相对 TGM-VLA 强依赖于 keyframe 架构，FrameSkip 在原始密集帧上工作；相对 CoT-VLA、SpatialVLA 等通过改进模型来提升性能，FrameSkip 强调数据层干预也可以改变监督信号这一正交视角。
方法步骤详情
FrameSkip 的完整方法可拆为五步。第一步（重要性估计）：对每条轨迹为每帧计算四个互补信号。动作变化重要性 $\text{AVI}(t) = \|a_t - a_{t-1}\|_2 + \lambda \text{MeanVar}(a_{t+1:t+k})$，捕捉局部动作动力学（$k=3$, $\lambda=0.1$），轨迹边界处窗口被截断、起点 padding 用首个可用动作差；视觉-动作一致性 $\text{VAC}(t) = \|v_t - v_{t-1}\|_2 / (\|a_t - a_{t-1}\|_2 + \epsilon)$，其中 $v_t$ 是 DINOv2 抽出的视觉特征，先稀疏采样至多 16 帧/轨迹再插值回动作序列长度，95% 分位截断以抗极端值；任务进度重要性 $\text{TPI}(t)$，主实验用 1D GMM 进度先验 $q(p) = \sum_{m=1}^M \pi_m \mathcal{N}(p; \mu_m, \sigma_m^2)$ 拟合 5% 训练轨迹的阶段中心归一化进度位置，再取 $\text{TPI}(t) = q(p_t) / \max_s q(p_s)$，无标注时退化为高斯 $\exp(-(p_t-0.5)^2/\sigma^2)$, $\sigma^2=0.2$；夹爪/末端执行器转换保留则是当动作 schema 中含夹爪维度时对 $I(t)$ 施加放大因子。第二步（分数合成与归一化）：各分量先在轨迹内做 min-max 归一化，常数分量退化为均匀分以避免虚假偏好，再线性组合 $I(t) = \alpha\widetilde{\text{AVI}}(t) + \beta\widetilde{\text{VAC}}(t) + \gamma\widetilde{\text{TPI}}(t)$，默认 $\alpha=0.6$, $\beta=\gamma=0.2$。第三步（按比例裁剪）：给定 $r$，先按 $(1-r)$-分位阈值 $\theta_r$ 选候选集 $S_r = \{t \mid I(t) \geq \theta_r\}$；再显式保留首末帧、夹爪转换帧、前 10% 动作变化帧；若数量不达 $K_r$ 则按降序补足；可选的时间一致性约束可填补过大间隔避免轨迹过碎；最后把所有配置的保留索引缓存到文件，多个 $r$ 共用同一份打分。第四步（采样调度）：前 $N_{\text{warm}}$ 步使用 $r=1.0$ 全帧视图；之后以 5:1 比例在 $r=0.2$ 压缩视图与 $r=1.0$ 全帧视图之间交替，压缩 mini-batch 主导梯度信号，全帧 mini-batch 起上下文锚点作用。第五步（dataloader 集成）：原始轨迹索引空间不变，每个采样步先在 LeRobot 数据集上查 (轨迹, 原始时间步)，再在缓存中对当前 $r$ 的保留索引用二分查找映射到首个不早于请求的保留步；该步通过原始数据访问函数加载、经过标准 transform/collation，输出样本同时记录活跃 $r$、原始时间步、重映射时间步，便于日志分析。
技术新颖性
本文的技术新颖性体现在五个层面。第一，首次把帧级监督再分配作为 VLA 训练的核心原则，把帧重要性作为一类一等公民来研究，识别并命名了时序监督不均衡这一被忽视的现象。第二，构造了由 AVI、VAC、TPI、夹爪保留四信号组合的可解释复合重要性分数 $I(t) = \alpha\widetilde{\text{AVI}} + \beta\widetilde{\text{VAC}} + \gamma\widetilde{\text{TPI}}$，其中 DINOv2 抽 VAC 特征、GMM 拟合进度先验都属轻量、冻结、离线完成，无新增可训练参数。第三，引入按比例缓存 + dataloader 索引重映射的设计，使同一份打分可复用于多个 $r$ 的实验，训练时仅靠索引重映射切换视图，原始数据集和采样权重不变，做到架构无关、训练器逻辑零侵入。第四，提出 warmup + 压缩视图主导 + 周期性全帧锚点的两阶段调度，把监督集中与全局上下文刷新统一在固定优化预算内。第五，通过匹配控制下的消融（保留率、指标组合、warmup 长度）定量验证了收益来自监督重新分配而非少看几帧，其中随机裁剪仅 66.83% vs 完整 FrameSkip 76.15% 的 9.32 个百分点差距最具说服力。
实验结果
实验在 RoboCasa-GR1（24 个桌面任务）、SimplerEnv（4 个 WidowX 任务）、LIBERO（4 个任务套件）三个仿真基准上系统验证了 FrameSkip 的有效性，每个基准都使用专属训练数据与训练步数（RoboCasa-GR1 100K、SimplerEnv 60K、LIBERO 30K），全局 batch size 统一为 128，8 卡 H100 + DeepSpeed ZeRO-2，VLA 架构为 StarVLA 框架下 Qwen3-VL-4B + 随机初始化 DiT flow-matching 动作头。在主设置（$r=0.2$、5:1 调度）下，FrameSkip 把三个基准的宏平均成功率从全帧训练的 66.50% 提升至 76.15%。具体而言，RoboCasa-GR1 的 24 任务平均从 47.8% 提升至 59.5%（Table 1），主表 4 个代表性 PnP 任务从 57.0% 提升至 65.0%；SimplerEnv 4 任务从 55.20% 提升至 71.55%（Table 2），其中 Put Spoon 28.3、Stack Block 41.6 个百分点的单项最大涨幅非常显著；LIBERO 4 套件平均从 96.5% 提升至 97.4%（Table 3），已接近当前最强 $\pi_0.5$/GR00T N1.6 水平。Table 7 给出 RoboCasa-GR1 全部 24 任务的逐项结果，FrameSkip 在 PnP Wine To Cabinet、PnP Can To Drawer 等多个任务上超过此前的 TwinBrainVLA/PhysBrain/LangForce/ABot-M0 等方法。Table 4 的保留率消融（$r \in \{10,20,30,40,50,60,100\}\%$）显示所有压缩设置均优于全帧训练（55.00-59.75% vs 47.80%），$r=50\%$ 取最高 59.75%，$r=20\%$-30% 也取得 59.5%，证明重新分配监督是真正的收益来源。Table 5 的指标消融按 Random → AVI → AVI+TPI → AVI+VAC → AVI+VAC+TPI → FrameSkip Full 顺序平均成功率分别为 66.83% / 69.53% / 71.44% / 73.66% / 74.51% / 76.15%，每个分量都贡献正向收益。Table 6 的 warmup 消融在 2500-15000 步范围内仅带来 58.25-59.50% 的小幅波动，最优 5000 步，提示该超参对结果不敏感。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboCasa-GR1（24 任务平均） | 平均成功率（%） | 59.5 | 全帧训练 47.8 | +11.7 个百分点 |
| SimplerEnv（4 任务平均） | 平均成功率（%） | 71.55 | 全帧训练 55.20 | +16.35 个百分点 |
| LIBERO（4 套件平均） | 平均成功率（%） | 97.4 | 全帧训练 96.5 | +0.9 个百分点 |
| 三基准宏平均（主指标） | 宏平均成功率（%） | 76.15 | 全帧训练 66.50 | +9.65 个百分点 |
| 随机裁剪 vs FrameSkip Full | 三基准宏平均（%） | 76.15 | 随机裁剪 66.83 | +9.32 个百分点 |
局限与改进
作者在论文中明确了几点限制与设计取舍。第一，VAC 计算需要预先对每条轨迹稀疏采样视频帧并跑 DINOv2 推理，再插值回动作序列长度，因此 FrameSkip 引入了一次性的离线预处理开销，对特别长的视频/轨迹来说预处理时间与显存开销不可忽略。第二，GMM 进度先验依赖少量人工标注的阶段中心（5% 训练轨迹），虽然退化为高斯先验可以做到无标注，但与基于真实阶段标注的 GMM 相比在任务相关先验上偏弱；作者并未直接对比 GMM-TPI 与高斯-TPI 的差距有多大。第三，FrameSkip 仅在仿真基准（RoboCasa-GR1、SimplerEnv、LIBERO）上验证，未涉及真实机器人数据或更复杂的双臂灵巧手任务，真实环境中的视觉噪声、光照变化、动作执行抖动等是否会进一步放大或缩小收益尚待验证。第四，主实验中保留率固定为 20%、调度固定为 5:1，作者虽做了 ablations 但未提出自动化的保留率选择策略；不同任务的最优保留率可能差异较大（RoboCasa-GR1 在 50% 取得峰值 59.75%）。从我的视角看，FrameSkip 是数据层干预，对动作空间、相机视角、机器人本体（embodiment）变化的鲁棒性仍未充分探索；同时 DINOv2 特征在视觉变化由物体运动引起与视觉变化由相机运动/光照引起两种情形下难以区分，可能在受相机运动影响大的任务上引入偏差。
独立分析的弱点
独立分析可见若干可改进点。第一，DINOv2 特征本身对显著视觉变化并不区分来源——是物体运动（与动作相关）还是相机抖动/光照突变（与动作无关）。在相机非固定的任务（如头戴视角、移动底座）中，VAC 可能被非策略相关的视觉变化驱动而错配重要性。建议未来在 VAC 计算前先做相机运动补偿或显式建模视觉变化归因。第二，GMM 进度先验依赖 5% 训练轨迹的阶段中心标注，存在标注成本和标注一致性问题；论文给出高斯先验 fallback 但未量化两者的差距。建议建立自动阶段发现流程（无需人工标注），例如用无监督动作分段或自监督关键点检测来定位阶段中心。第三，$r$ 的选择仍是手工设定。RoboCasa-GR1 的消融显示 50% 比 20% 略好（59.75 vs 59.50），SimplerEnv 与 LIBERO 上的最优 $r$ 未给出系统的扫描；且不同任务、机器人本体、动作空间下最优 $r$ 很可能不同。引入任务自适应的保留率（如基于验证集性能搜索或基于动作分布熵的自动化规则）会显著提升实用价值。第四，5:1 调度是经验选择，作者的 warmup 消融显示 2500-15000 步范围不敏感，但调度比与保留率的联合敏感性、以及先全帧再压缩是否在所有阶段都最优（例如可否用 cosine 退火的保留率调度）仍未探讨。第五，可解释性方面，复合分数 $I(t) = \alpha\widetilde{\text{AVI}} + \beta\widetilde{\text{VAC}} + \gamma\widetilde{\text{TPI}}$ 中各分量的相对贡献虽通过消融证明有效，但缺乏对单条轨迹的 case study 来直观展示 FrameSkip 到底选了哪些帧、跳过了哪些帧以及这些帧对最终动作预测的影响，缺少 attention rollout 或帧级归因分析。
未来方向
作者明确指出未来工作方向：把帧重要性做成具身多模态学习的一类一等公民研究对象。具体的可延伸方向包括：（1）把 FrameSkip 拓展到真实机器人数据与跨 embodiment 场景，验证在视觉噪声、动作执行抖动、相机抖动下的鲁棒性；（2）把 AVI/VAC/TPI 与任务进度预测器（类似 Scizor 思路）联合学习，让重要性分数具备任务自适应能力，但保持打分无新可训练参数的轻量优势；（3）探索自适应保留率，例如基于训练损失曲线动态调整 $r$，或基于验证集性能搜索最优 $r$；（4）从纯 frame 粒度拓展到 segment 粒度的混合粒度选择——对低变化段随机抽几帧、对关键段密集保留所有帧，并设计混合粒度索引重映射；（5）把 FrameSkip 思路与 CoT-VLA、SpatialVLA 等改进 VLM 推理能力的方法正交结合，看数据层重新分配与模型层更强推理是否能叠加收益；（6）把帧重要性分数做成可解释工具，对外发布为离线分析模块，帮助研究者发现哪些子任务、哪些阶段最欠监督，从而支持更精细的数据采集与课程设计。
复现评估
作者明确承诺公开训练代码、帧选择 pipeline 与模型检查点，仓库在 GitHub 与 Hugging Face 上发布。代码框架使用 StarVLA 框架（GitHub 开源），模型架构为 Qwen3-VL-4B + 随机初始化 DiT action expert；数据上，RoboCasa-GR1 用 NVIDIA 公开的 24K 仿真遥操作数据，SimplerEnv 用 BridgeV2 真实数据 + 仿真评估，LIBERO 用官方专家演示。实现细节方面：VAC 用 DINOv2 抽至多 16 帧/轨迹并插值，95% 分位截断；GMM 进度先验用 5% 训练轨迹拟合 3 个 1D 高斯分量；warmup 默认 5000 步；5:1 调度；$r=0.2$；全局 batch 128；8 卡 H100 + DeepSpeed ZeRO-2。Appendix A 还提供了 Pruning Cache、Frame-Score Preprocessing、Main Training Schedule 等实现说明。总体而言复现难度中等偏低：算力门槛是 8 卡 H100（主流研究组可达），数据全部公开，配置与超参在论文与附录中描述充分；唯一需要本地搭建的是 DINOv2 特征抽取与 GMM 拟合的离线预处理流程，但作者表示会发布完整 pipeline。
论文图表
示意图对比 (a) Original Training 与 (b) FrameSkip 两条训练流，(a) 展示从单条机器人轨迹中取所有帧训练 VLA，(b) 展示 FrameSkip 在训练前对轨迹做帧剪枝（用 2026 年 5 月的轨迹示例），保留重要帧后送入 VLA，从而把冗余低变化段暴露减少、把操作关键转换暴露增加。
这张图用一图把全帧训练和 FrameSkip 训练的根本差异可视化，直观传达时序监督再分配这一核心概念，是论文的招牌图。
把一条典型操作轨迹切成 6 个阶段（Approach 对齐 0%、Align 16.5%、Grasp 31%、Transport 4.5%、Release 48.5%、Return 0%），并在下方展示各阶段的失败率柱状条，直观体现失败并非均匀分布、而是高度集中在对齐/抓取/释放等稀疏交互阶段。
这张图给出 FrameSkip 全部论证的经验基础——分阶段失败率直接证明全局适应、局部欠监督是真实存在的现象，是 motivation 章节的关键证据。