TILDE:来自具身基础模型的教师在环蒸馏 TILDE: Teacher-in-the-Loop Distillation from Embodied Foundation Models
奖励模型自动监视并触发教师接管收集恢复轨迹,联合三分布蒸馏迁移基础模型能力,较BC最高提升4.1倍
前置知识
行为克隆(Behavior Cloning, BC)
模仿学习的最简形式:把专家演示中的「观测-动作」对当作监督样本,让策略网络直接回归专家动作。对动作分块策略而言,即给定观测与语言指令一次预测未来 H 步动作序列。BC 只在演示覆盖的状态分布上有效,一旦执行误差把机器人带入演示中没出现过的状态,误差会逐步累积,形成「复合误差」并引发分布偏移。
TILDE 的所有对比方法(BC、离线蒸馏、Recovery BC 等)都建立在 BC 之上,理解其分布偏移缺陷,才能看懂论文为什么要引入学生 rollout 与教师恢复轨迹这两类额外数据。
DAgger 与分布偏移
DAgger(Ross et al., 2011)针对 BC 的分布偏移:让学习者在环境中真实执行,把「学习者遇到的状态 + 专家在该状态下的正确动作」不断聚合进训练集再重训。HG-DAgger 是其在真实机器人上的人机协同版本,由人类持续监视执行、必要时接管遥操作提供纠正动作。核心洞见是监督应发生在学习者自身诱导的状态分布上。
TILDE 的 AutoDAgger 本质是把 HG-DAgger 中「人类监视」和「人类接管」两个环节分别替换为奖励模型监视与教师策略自动接管,不读懂 DAgger 就无法理解这条改进主线。
在环蒸馏(On-Policy Distillation, OPD)
知识蒸馏用大教师模型的预测作为软目标训练小学生。OPD(如 GKD 系列)进一步让学生在环境中滚动,在学生实际访问到的状态上查询教师的动作预测作为蒸馏目标,而非只在固定离线数据集上对齐。它扩大了监督覆盖的状态范围,但被查询的教师动作并不真正执行,因此观察不到「执行教师纠正之后环境如何演化」。
TILDE 相对 OPD 的关键增量正是「把教师的纠正动作真正执行掉」,从而多出恢复轨迹这一数据分布;这是全文最重要的对比线,消融实验直接围绕它展开。
VLA / 具身基础模型与动作预训练
具身基础模型(EFM)如 π0.5 是视觉-语言-动作(VLA)模型:PaliGemma 式 VLM 骨干加动作专家,经流匹配生成动作块,在 Open X-Embodiment、DROID 等海量跨具身机器人数据上做动作预训练后才获得泛化与闭环鲁棒性。从头复现这种预训练需要巨量数据与算力。
论文的教师是预训练 π0.5 微调而来,学生刻意去掉动作预训练(VLM 初始化、动作专家从头训练),整篇文章围绕「不重做预训练如何迁移教师能力」这一问题。
机器人奖励模型(Robometer)
通用的机器人奖励模型:输入少量观测帧序列与语言指令,为每帧输出任务进度 p 与成功概率 q(均截断到 [0,1]),无需任务特定微调即可跨任务评估执行进展。文中以至少 1 秒的间隔异步查询,配合容量 8 帧的视觉历史缓冲使用。
它替代人类的眼睛充当 AutoDAgger 的任务监视器:失败触发阈值 θ_s=0.5、进度停滞判定、成功确认等所有机制都建立在其两个输出信号之上,是整条自动化流水线的感知基础。
研究动机
大规模动作预训练是当前具身基础模型(EFM)能力的来源:π0.5、X-VLA 等模型在 Open X-Embodiment、DROID、BridgeData 等海量机器人数据上预训练后才具备泛化与闭环鲁棒性,但复现这一过程需要极其昂贵的数据与算力。作者的先导实验(Figure 1)揭示了一个被基准分数掩盖的问题:不做动作预训练的学生策略(VLM 骨干初始化、动作专家从头训练,如 π0.5 w/o PT 与 VLA-Adapter-Pro)在 LIBERO-Spatial、LIBERO-Object 这类标准基准上与完整预训练模型几乎打平,可在更苛刻的设定下差距急剧放大——长时序的 LIBERO-10、施加背景与机器人初始位姿扰动的 LIBERO-Plus(Background 与 Robot 设置分别含 1,076 与 1,550 个任务实例),以及真实世界的 Pick Beverage 任务上,教师可得 79.2 分而 BC 学生仅 16.7 分。这说明动作预训练的价值主要体现为分布外状态下的闭环纠错能力。而想用蒸馏弥补时,现有三种范式各有结构性缺陷:离线蒸馏的监督局限于演示分布,学生执行偏离后无信号可依;在环蒸馏(OPD)虽在学生诱导状态上查询教师动作,但查询结果并不被执行,永远观察不到纠正之后的后续状态;HG-DAgger 类人在环方法能收集恢复轨迹,却依赖人类全程监视与遥操作接管,单次恢复平均耗时 54.4 秒,数据吞吐被人 SEM 带宽卡死。
本文的目标是论文的目标是把预训练 EFM 的任务能力高效迁移给不做动作预训练的学生策略,同时不牺牲恢复数据收集的可扩展性。具体拆成三件事:其一,从分布视角重新形式化策略蒸馏,把训练数据从单一的演示分布 D_demo 扩展为「离线演示 + 学生诱导 rollout D_roll + 教师执行恢复轨迹 D_rec」三分布联合,使监督既覆盖专家行为、学生易错状态,也覆盖执行纠正之后的后续状态;其二,设计 AutoDAgger 自动数据聚合流水线,用现成的机器人奖励模型替代人类监视、用教师策略直接接管替代人类遥操作,把恢复数据收集效率提升 2 倍以上;其三,蒸馏只在共同动作空间进行、不要求对齐内部表征,使框架能跨异构架构(如 π0.5 到 SmolVLA)迁移。最终在三个真实操作任务上量化验证:相对 BC 最高提升 4.1 倍,并通过标准化恢复评测证明学生确实获得了教师的闭环纠错能力。
与已有工作不同的是,论文的独特切入角度是把「策略蒸馏」拆解为『在哪些状态分布上、用谁的行为做什么监督』的问题,并指出每种现有方法都缺一块分布拼图:离线蒸馏缺学生诱导状态,OPD 缺纠正动作执行后的后续状态,人在环 DAgger 虽有恢复分布却受人力带宽限制。在此视角下有三点组合式创新。第一,机制上把交互式模仿学习的「接管执行」引入蒸馏循环:教师的纠正动作被真实执行,由此收获 OPD 拿不到的恢复状态分布,这是与 OPD 的本质区别。第二,用与策略无关的通用奖励模型 Robometer 的进度/成功概率双信号自动判定失败并触发接管,不同于以往依赖策略集成不确定性的 EnsembleDAgger、ThriftyDAgger 等触发准则,监视器与被监控策略完全解耦,也把 HG-DAgger 中最贵的人力环节全部自动化。第三,蒸馏直接在动作空间进行(同架构时匹配流匹配速度场,异构时以教师全去噪动作为目标),不要求师生共享结构或中间表征,让「预训练 EFM 作为可复用教师」成为一种可行的产业分工。
核心方法
整体思路是「三源数据、按源施督」。先搭建师生:教师取预训练 π0.5 在每个任务的人类演示集(Fold Dishcloth 200 条、Pick Pen 与 Pick Beverage 各 100 条)上微调后冻结;学生采用与 π0.5 相同架构但不做动作预训练——VLM 骨干从 PaliGemma 初始化、动作专家从头训练,先在演示集上用标准 BC 训出初始策略。随后进入两阶段流程。阶段一为 AutoDAgger 数据收集:学生执行任务,任务监视器(Robometer)每隔至少 1 秒从不超过 8 帧的视觉历史缓冲异步预测任务进度 p_t 与成功概率 q_t;执行管理器据此判断执行是否停滞,一旦检测失败立即停掉学生并清空动作缓冲,由教师接管执行恢复;只有恢复成功的 episode 才把「学生 rollout + 教师恢复段」作为合并轨迹存入聚合数据集,教师恢复失败或学生自己成功的 episode 均丢弃。每任务收集 30 条成功恢复 episode 供主实验共享。阶段二为动作蒸馏:训练时按样本来源选择损失——演示与恢复样本同时做 BC(回归实际执行动作 A_E)与蒸馏(回归教师预测 A_T),学生 rollout 样本只做蒸馏。全部训练在 8 张 A800 80GB 上完成,π0.5 约需 1–2 天,其余模型不到 1 天。
核心创新是把教师的纠正动作「执行到底」,从而收获 OPD 拿不到的恢复分布。直觉是:学生出错后的状态既不在演示分布里,其正确动作又与演示动作截然不同——只有知道「从这个烂摊子出发怎么挽回」,学生才学得会闭环纠错。技术上有两个关键机制。一是自动失败检测:为避免把进度的微小波动误判为前进,维护参考进度 p̄_t,仅当 p_t 超过参考值加余量时才更新,有意义进展指示为 g_t = 𝟙[p_t > p̄_t-1 + ε_p](ε_p = 0.05);当最近一次「有效执行」(有意义进展或 q_t > θ_s)距今超过 T_fail 且 q_t ≤ θ_s 时判定失败,即 F_t = 𝟙[Δt ≥ T_fail ∧ q_t ≤ θ_s],θ_s = 0.5。二是差异化超时设计:学生 T_fail 短(2–6 秒)以便尽早触发接管,教师 T_fail 长(6–14 秒)给它从离群状态恢复的时间;任务成功需 q_t > θ_s 连续保持 T_succ 秒(4–5 秒)以防瞬时误报。与已有方法的本质区别:OPD 只查询不执行,HG-DAgger 靠人执行,TILDE 让教师自己执行纠正,并用与策略无关的奖励模型完成监视闭环,全程无人参与。
方法步骤详情
完整流程五步。第一步,教师准备:预训练 π0.5 在各任务演示集上微调(真机预测时域 H=50、相对关节空间、30FPS 遥操作采集、batch 128、50k 步、AdamW、学习率 2.5e-5 余弦退火),随后冻结。第二步,学生 BC:VLM 从 PaliGemma 初始化、动作专家从头训练,仅在演示集上做 BC 作为收集用初始策略。第三步,AutoDAgger 收集:每个 episode 开始时清空缓冲与计时状态;策略推理请求到来时观测入缓冲(超过 N_frame=8 帧则等距下采样),监视请求至少间隔 τ_mon=1 秒且异步提交不阻塞推理;按 p̄_t、g_t、有效执行时间戳与 F_t 公式监视学生,检测失败即停机、清空待执行动作、切换教师并为教师重置监视状态;成功确认条件为连续 q_t > θ_s 达 T_succ 秒(任务相关,4–5 秒),教师恢复失败弃episode,成功则保留「rollout+恢复」合并轨迹,学生自己成功的 episode 也丢弃。第四步,聚合训练:损失按样本来源选择——对 D_demo ∪ D_rec 用 L_exec = ℓ_S(s,l; A_E) + λ_KD·L_KD,对 D_roll 只用 L_roll = λ_KD·L_KD,其中 L_KD(s,l) = ℓ_S(s,l; sg[A_T])、A_T = π_T(s,l) 为冻结教师预测的动作块,λ_KD = 1;同架构时用共享噪声直接匹配流匹配速度预测,跨架构(SmolVLA)时以教师全去噪动作为模仿目标。第五步,部署:单张 RTX 4090,π0.5 推理延迟 80.0±1.6ms、监视器 266.9±0.5ms,ROS 30Hz 控制配合异步推理与时序集成。
技术新颖性
技术新颖性可从四个维度评估。其一,与 OPD(GKD 系列)相比:TILDE 把交互式模仿学习的「接管执行」引入蒸馏循环,恢复轨迹 D_rec 是全新数据分布;消融显示在 OPD 之上再加恢复蒸馏能把三任务评分从 43.1/58.3/40.0 提到 63.9/80.6/69.2。其二,与 HG-DAgger 等人在环方法相比:触发机制从策略不确定性(EnsembleDAgger、LazyDAgger)或人力判断改为策略无关的通用奖励模型,接管从人类遥操作改为教师自执行,单次恢复耗时降为 21.5/13.2/12.4 秒(相对 HG-DAgger 加速 2.53/2.23/2.60 倍),且恢复成功率基本持平(76.7/76.7/90.0% 对 73.3/66.7/90.0%),证明自动化没有以质量换速度。其三,与模型级对齐蒸馏(对齐中间特征或注意力)相比:纯动作空间监督省去表征对齐,使 π0.5 到 SmolVLA 的异构迁移成为可能,LIBERO 四套件平均从 81.2 提至 89.6。其四,框架层面把行为克隆与知识蒸馏统一在一个按样本来源切换的损失里,形式简洁、即插即用。局限在于奖励模型与教师可恢复性构成两个外部依赖,且差异化超时阈值需按任务手工设定,这是后续工作的空间。
实验结果
真实世界主实验(Figure 3,每任务固定配置评测 12/27/30 次):TILDE 在 Fold Dishcloth、Pick Pen、Pick Beverage 上得分 63.9、80.6、69.2,全面超过 BC(20.8/37.0/16.7)、离线蒸馏(27.8/45.4/26.7)与 OPD(43.1/58.3/40.0),分别约为 BC 的 3.07、2.18、4.14 倍,而教师微调后为 87.5/87.0/79.2。消融一(Figure 4 左,以离线蒸馏为共同基线):叠加学生 rollout 监督(+OPD)提至 43.1/58.3/40.0,叠加恢复蒸馏提至 54.2/72.2/68.3,两者相加(TILDE)在三任务全部最高,证明两源数据互补。消融二(Figure 4 右):Recovery BC(BC 加模仿恢复动作)已达 48.6/63.0/50.0,Recovery Distill(再对演示与恢复样本加蒸馏)进一步到 54.2/72.2/68.3。标准化恢复评测(Table 1,Fold Dishcloth 12 个预设错误状态):BC 4/12、离线蒸馏与 OPD 各 5/12、TILDE 8/12、教师 9/12,直接证明恢复能力被迁移。数据规模化(Table 2):0/30/60/90 条 AutoDAgger episode 对应 27.8/63.9/65.3/77.8 分(SR 从 25.0% 升至 75.0%),90 条时逼近教师 87.5。数据质量(Table 3):同样追加 30 条数据,AutoDAgger 在有无蒸馏设定下全面优于追加人类演示,蒸馏下三任务 63.9/80.6/69.2 对追加演示的 29.2/54.6/48.3。效率(Table 4):AutoDAgger 恢复耗时 21.5/13.2/12.4 秒,对 HG-DAgger 的 54.4/29.4/32.2 秒加速 2.53/2.23/2.60 倍,恢复成功率相当(Fold Dishcloth 60 条 AutoDAgger 数据即可追平 HG-DAgger 30 条的 65.3 分)。跨架构(Table 5):以 SmolVLA 为学生在 LIBERO 四套件从 81.2(离线蒸馏 83.5)提至 89.6,长时序 LIBERO-10 从 64.6 跃至 79.6。监视器验证(Table 6 与 Table 11):LIBERO 上 F1 为 0.920/0.994/0.930/0.873;真实世界 20 条 rollout 上准确率 85%、precision 88.9%、recall 80.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Fold Dishcloth(真实世界,12 次评测) | 分阶段细粒度评分(0–100) | TILDE 63.9 | BC 20.8,离线蒸馏 27.8,OPD 43.1,教师 87.5 | 为 BC 的 3.07 倍,较 OPD +20.8 分 |
| Pick Pen(真实世界,27 次评测) | 分阶段细粒度评分(0–100) | TILDE 80.6 | BC 37.0,离线蒸馏 45.4,OPD 58.3,教师 87.0 | 为 BC 的 2.18 倍,较 OPD +22.3 分 |
| Pick Beverage(真实世界,30 次评测) | 分阶段细粒度评分(0–100) | TILDE 69.2 | BC 16.7,离线蒸馏 26.7,OPD 40.0,教师 79.2 | 为 BC 的 4.14 倍(全文最高倍数) |
| 标准化恢复评测(Fold Dishcloth 12 个预设错误状态) | 恢复成功率 | TILDE 8/12 | BC 4/12,离线蒸馏 5/12,OPD 5/12,教师 9/12 | 较 OPD 多恢复 3 个错误状态,接近教师水平 |
| LIBERO-10(跨架构,SmolVLA 学生 + π0.5 教师) | 成功率(%) | TILDE 79.6 | SmolVLA 原始 64.6,离线蒸馏 63.8 | +15.0 个百分点(长时序任务提升最大) |
| LIBERO 四套件平均(跨架构) | 成功率(%) | TILDE 89.6 | SmolVLA 81.2,离线蒸馏 83.5 | 较原始学生 +8.4,较离线蒸馏 +6.1 |
| 恢复数据收集效率(三任务,各 30 次额外试验) | 单次恢复耗时 | AutoDAgger 21.5 / 13.2 / 12.4 秒 | HG-DAgger 54.4 / 29.4 / 32.2 秒 | 加速 2.53 / 2.23 / 2.60 倍,恢复成功率持平 |
| 数据来源对比(同加 30 条数据,含蒸馏,Fold Dishcloth) | 细粒度评分(0–100) | +AutoDAgger 63.9 | +额外人类演示 29.2 | +34.7 分,恢复数据信息价值远高于普通演示 |
局限与改进
作者承认的局限有三:只做了单轮 AutoDAgger 收集而非迭代式聚合;框架质量依赖任务监视器的准确性与教师策略的可恢复性,误判或教师救不回的失败态会降低数据质量与效率;实验仅覆盖有限的真实任务、仿真基准与师生架构组合。我自己的观察:第一,统计功效偏弱——每任务仅 12/27/30 次评测,96% bootstrap 置信区间很宽(Table 12 中 TILDE 在 Fold Dishcloth 为 38.9–87.5,与 OPD 的 16.7–69.4 大面积重叠),部分结论需更大样本支撑;第二,AutoDAgger 在 Pick Pen 上的恢复成功率 66.7% 低于 HG-DAgger 的 76.7%,说明教师接管并非无条件优于熟练人类;第三,教师恢复失败时整条 episode 连同其中的学生 rollout 一并丢弃,浪费了「教师也失败」蕴含的负样本信息;第四,T_fail、T_succ 等阈值按任务手工整定(2–14 秒),迁移到新任务需重新调参;第五,学生与教师仍有明显差距(63.9 对 87.5),且 Robometer 在更难的 LIBERO-10 上 recall 降至 0.841、真实世界 recall 仅 80.0%,监视器可靠性是瓶颈;第六,任务均为短时序桌面操作,未验证移动操作、双臂强协调或高动态接触场景。
独立分析的弱点
独立分析几个弱点并给出改进方向。第一,监视器单点故障:AutoDAgger 的失败检测完全押注 Robometer,若其对某类任务(如接触密集的布料折叠)的进度估计存在系统性偏差,会漏触发(数据质量下降)或频繁误触发(吞吐下降);改进方向是集成多个奖励模型或引入策略不确定性作为互补信号,并用少量任务内数据校准。第二,丢弃失败恢复:教师救不回时整条轨迹被扔掉,但这类轨迹蕴含任务难度与高危状态信息;可用在线强化学习或偏好学习从失败中提取信号,而非纯丢弃。第三,非迭代流程:论文只做一轮「收集-重训」,学生能力提升后其失败分布已经变化,旧 rollout 数据逐渐失效;应做交替式 DAgger 迭代并研究新旧数据的混合比例。第四,阈值手工化:ε_p、θ_s、T_fail、T_succ 均按任务手调,可学习化或随执行自适应调整。第五,评测方差大:小样本下 4.1 倍这类倍数指标波动剧烈,建议增加 trial 数并同时报告成功率与置信区间。第六,恢复成功率天花板:部分失败态本质上难以恢复(教师也只有 9/12),可设计混合流水线,在教师连续失败若干次后转人工兜底,保证数据不中断。
未来方向
作者提出的方向:把 TILDE 扩展为「策略更新-再收集」交替的迭代式聚合,让学生逐步暴露于愈发相关的失败-恢复状态;研究更鲁棒的任务监视与自适应干预策略,降低对监视器准确性和教师可恢复性的依赖;推广到更广的任务、具身体与异构策略家族,并探究持续自主聚合能让学生多接近预训练 EFM。基于成果还可延伸:其一,把恢复数据与在线强化学习结合,从「仅利用成功恢复」扩展到利用失败轨迹的负信号;其二,用世界模型在仿真中批量合成恢复轨迹、再以真实 AutoDAgger 数据校准,进一步压缩真机数据需求;其三,训练跨任务共享的通用进度/成功监视器并研究其规模化规律,使 AutoDAgger 逐步免调阈值;其四,多教师集成蒸馏——不同 EFM 各有所长,可按失败类型把接管请求路由给最擅长恢复的教师;其五,把框架搬到移动操作、双臂长时序家务等高失败率场景,那里恢复数据的边际价值最大;其六,探索恢复数据量与师生差距之间的缩放定律,回答「多少恢复数据能让追平预训练教师」。
复现评估
复现条件总体友好。开源基础扎实:π0.5 基于 Physical Intelligence 的 openpi,X-VLA、VLA-Adapter、SmolVLA(LeRobot)均用官方代码库训练;LIBERO 数据用公开的 openvla/modified_libero_rlds 与 2toINF/Libero-XVLA-format;任务监视器直接用现成 Robometer,无需任务微调;项目页为 hku-sail.github.io/TILDE。仿真部分(SmolVLA + LIBERO 蒸馏)最容易复现,数据全部公开。真机部分门槛较高:需要 AgileX PiperX 四臂 leader-follower 平台(ALOHA 式,7-DoF)加 1 台 D455 前置相机与 2 台 D435 腕部相机,并遥操作采集 200+100+100 条演示;论文未说明是否放出真机数据与 AutoDAgger 执行管理器代码。算力需求明确:训练用 8×A800 80GB,π0.5 约 1–2 天、其余模型不到 1 天;部署单张 RTX 4090 即可(π0.5 延迟 80.0±1.6ms、监视器 266.9±0.5ms、ROS 30Hz)。难度评估:仿真复现为入门到进阶;完整真机复现为进阶到前沿,主要成本在硬件与演示采集;方法超参已全部给出(ε_p=0.05、θ_s=0.5、τ_mon=1s、N_frame=8 及各任务 T_fail/T_succ 阈值表),照表执行即可。
论文图表
左图为先导实验柱状图:有/无大规模动作预训练的策略在 LIBERO-Spatial、LIBERO-Object 上几乎持平,但在长时序 LIBERO-10、扰动基准 LIBERO-Plus(Background/Robot 两个设置)以及真实 Pick Beverage 任务上差距显著拉大。右图用四联示意对比四种范式的数据覆盖:(a) 离线蒸馏局限于演示分布导致执行时分布失配,(b) OPD 在学生诱导状态查询教师但不执行纠正动作,(c) 人在环方法靠人力监视与遥操作接管、带宽受限,(d) TILDE 同时覆盖演示、学生 rollout 与教师恢复三个分布,由 AutoDAgger 自动完成监视与接管。
一张图同时给出全文的动机证据与方法定位:既展示了「标准基准分数持平是假象」,又把四种蒸馏范式的数据分布差异可视化,是理解为什么需要 TILDE 的入口。
从 12 个预设错误状态出发的标准化恢复成功率:教师 9/12,BC 4/12,离线蒸馏 5/12,OPD 5/12,TILDE 8/12。
全文唯一直接度量「恢复能力是否被迁移」的标准化评测,比端到端成功率更能支撑 TILDE 的核心主张。
每套件 200 条 SmolVLA rollout 上评估 Robometer 的成败预测:precision 0.907/0.988/0.930/0.908,recall 0.934/1.000/0.930/0.841(LIBERO-10 降至 0.841),F1 0.920/0.994/0.930/0.873。
验证现成的 Robometer 无需任务微调即可胜任 AutoDAgger 的任务监视器角色,是整条自动化流水线可行性的前提证据。