面向机器人世界模型的骨架锚定潜在动作模型 Skeleton-Grounded Latent Action Model for Robot World Models
用骨架监督把潜在动作分解为运动与残差分量，动作可控性与保真度双提升
前置知识
机器人世界模型
接收当前观测和机器人动作序列、预测环境（含机器人自身）未来视觉演化的生成模型，形式为 $p(o_{t+1:t+H} \mid o_t, a_{t:t+H-1})$，通常用视频扩散 Transformer 实现，可支持策略评估与基于模型的规划。
全文的目标系统就是一个动作可控的世界模型，所有方法设计与实验指标（ADE、LPIPS、策略成功率一致性）都围绕它展开，不理解这一设定就无法评估各项贡献。
潜在动作模型
从无动作标注的视频中学习代理动作：把相邻帧对的视觉变化 $(o_t, o_{t+1})$ 编码为潜变量 $z_t$，通过『用当前帧与 $z_t$ 重建未来帧』的自监督目标训练，使世界模型能从海量视频获得动力学先验。
SkeLAM 是对潜在动作的结构化改造——运动/残差分解、骨架锚定、交换重建全都建立在重建驱动的潜在动作范式之上，必须先理解其训练方式才能看出问题与改进点。
条件变分自编码器（CVAE）
编码器输出高斯后验 $q(z \mid x)$ 的均值与方差，采样潜变量交给解码器重建输入，并用 KL 散度把后验拉向标准正态先验，系数 $\beta$ 权衡重建质量与正则强度；后验均值常被用作确定性潜变量。
SkeLAM 的三个潜变量（RGB 运动、RGB 残差、骨架运动）都是 Transformer-VAE 的后验，式 (2)(6) 的 KL 项、以后验均值作为适配回归目标、离线标准化缓存等设计全部依赖 VAE 框架。
机器人骨架与运动学渲染
把机器人关节状态经前向运动学与投影光栅化渲染成的图像（本文沿用 OSCAR 协议预渲染），只保留连杆与夹爪的几何构型、位置和运动，剥离纹理、光照与场景外观，是干净的运动监督信号。
骨架图像是 SkeLAM 唯一的运动监督来源：grounding 用骨架解码器、swap 用骨架潜变量、零样本迁移依赖其具身无关性，理解骨架的性质才能理解锚定为什么有效。
扩散 Transformer 视频骨干
以迭代去噪生成视频的大型 Transformer（DiT）。本文以 NVIDIA 开源的 Cosmos-Predict2.5-2B 为世界模型骨干，把条件潜变量经 MLP 投影后注入网络，实现动作条件下的未来帧生成。
Stage 2/3 的投影器预热、全 DiT 微调、分支 dropout 与推理采样器设置全部发生在该骨干上，理解条件注入机制是读懂训练流程的前提。
末端执行器与状态增量动作
末端执行器指机械臂腕部夹爪。本文动作接口为 $a_k = [p_{k+1}-p_k;\ \Delta\omega_k;\ g_{k+1}] \in \mathbb{R}^7$：基坐标系下的位置增量、相对 SO(3) 旋转向量与目标开合度；DROID 从 60FPS 视频每 4 帧取样得到 15FPS 序列。
动作适配器把这个 7 维控制量映射到 32 维运动潜空间，是部署接口的核心；ADE、F1dir 等评测指标也全部基于末端执行器的 2D 图像轨迹。
研究动机
现有潜在动作模型（Genie、LAPO、DreamDojo 等）通过『用当前帧和代理动作重建未来帧』从无标注视频学习动力学，但重建目标会让代理动作编码画面里的一切变化：机器人手臂怎么动、被推的物体如何响应、光影与其他干扰物的变化全部混进同一个潜向量。Nikulin 等（2025）与 Zhang 等（2025）已证明这种重建驱动的潜在动作对干扰动态敏感、动作对应关系含糊。真正的问题在部署适配时爆发：世界模型需要把机器人真实控制量 $a_t$ 回归到潜在动作空间，而同一个末端执行器运动在不同接触状态下会引起完全不同的物体响应，导致适配目标里混杂了无法从纯控制量预测的场景相关变化。实测后果是动作条件预测的运动精度差：DreamDojo 这类最强潜在动作世界模型在 DROID 上末端执行器 ADE 仍高达 51.11 px、LPIPS 0.1473；直接动作条件的 Ctrl-World 运动尚可（ADE 42.96）但视觉保真崩坏（LPIPS 0.4029）。
本文的目标是本文目标是构建一个能用机器人动作精确控制的机器人世界模型：在保留『从视频学习动力学』这一扩展性优势的同时，把潜在动作显式分解成两个互补分量——（1）运动分量 $z^{kin}$：由配对机器人骨架图像监督锚定到机器人构型与运动上，作为动作适配的专属回归目标；（2）残差分量 $z^{res}$：自由保留物体响应等互补视觉动态，继续服务于动力学学习与 RGB 重建。世界模型经两条独立条件通路消费两个分量，并通过分支 dropout 学会在残差缺失时退化运行；部署时一个轻量 MLP 适配器把 7 维机器人动作映射到 32 维运动潜空间，再经全骨干微调适配这些预测条件。量化目标是在 DROID 上同时改进运动精度（末端执行器 ADE、方向 F1、幅值相关性）与视觉保真（PSNR、SSIM、LPIPS），并让开环 rollout 预测的策略成功率排序与真实机器人执行一致。
与已有工作不同的是，已有工作的切入角度分两类，各有取舍：一是把骨架序列或运动学渲染直接当作生成条件（RoboVIP、OSCAR、SkeleWAM、Skel-WAM 等），控制精确但放弃了从纯视频扩展的路线，且部署时必须提供骨架；二是用单一辅助信号正则化整个潜在动作——LAOF 用智能体光流、Olaf-World 用冻结特征的时序差分、UniLACT/GALA 用几何与深度——这些方法约束的是『整体』潜变量，没有回答『动作适配到底需要哪些维度、动力学学习又需要哪些维度』这一分配问题。SkeLAM 的独特之处在于『分解而非替换』：骨架只监督一半潜维度（$d_{kin}=32$），另一半（$d_{res}=32$）保留自由度给场景动态；监督不止于潜空间对齐，而是通过跨模态交换重建把骨架约束推进到 RGB 解码器的生成层面；再配合整分支 dropout 解决『预训练需要残差、部署只有动作』的训练-推理错位。
核心方法
直觉上，SkeLAM 把『画面里变了什么』拆成『机器人怎么动』和『场景因此怎么变』两个通道：前者由骨架图像当老师教会，专供动作适配；后者自由学习，专供补全场景细节。技术上分两个阶段。第一阶段（潜在动作学习，Stage 1A/1B/1C）：Transformer-VAE 把 RGB 帧对 $(o_t, o_{t+1})$ 编码成 32 维运动潜变量 $z^{kin}_{rgb}$ 与 32 维残差潜变量 $z^{res}_{rgb}$，骨架编码器把对应骨架帧对编码成 32 维骨架运动潜变量；先做双模态条件重建初始化（1A），再冻结骨架分支，用冻结骨架解码器从 RGB 运动后验均值重建骨架并做 $\ell_2$ 对齐（1B），最后加跨模态交换重建（1C）。第二阶段（世界模型，Stage 2/3）：冻结 RGB 编码器，两个分量经独立 MLP 投影注入 Cosmos-Predict2.5-2B 扩散骨干，整分支 dropout 覆盖 keep/partial/null 四种模式；随后 MLP 动作适配器回归运动后验均值（3A），最后全骨干微调适配动作条件并做残差课程退火（3B）；推理时只用当前帧、动作序列和零残差生成 12 帧未来视频。
核心创新是『骨架锚定的潜在动作分解 + 跨模态交换重建』。与 DreamDojo/CD-LAM 把 64 维潜在动作当作无结构整体不同，SkeLAM 用配对的 RGB-骨架帧把一半潜维度锚定在机器人运动学上：RGB 运动后验均值 $\mu^{kin}_{rgb}$ 必须通过冻结骨架解码器重建出骨架图（$\mathcal{L}_{ground}$），并与骨架运动表示做余弦对齐（$\mathcal{L}_{align}$），梯度只流向 RGB 分支。真正新颖的是交换重建：把 RGB 解码器的运动输入替换成配对骨架潜变量（stop-gradient）、残差保持不变，要求『等价运动 + 同一残差』重建出同样的未来帧，把骨架监督从潜空间对齐升级到生成层面的运动条件兼容性——消融显示去掉交换重建 ADE 从 41.15 恶化到 66.74，比去掉骨架监督本身（64.59）还严重，说明生成层面的约束是关键。本质区别：骨架在这里是老师而非部署输入，接口仍是纯视觉 + 控制量。
方法步骤详情
流程分五步。① Stage 1A（60K 步，240×320）：RGB 与骨架 Transformer-VAE（16×16 patch、宽度 1024）分别把帧对编码成 32 维运动/残差潜变量与 32 维骨架运动潜变量，双模态条件重建 $\hat{o}_{t+1}$、$\hat{s}_{t+1}$，损失为 MSE 加 $\beta=2\times10^{-4}$ 的双 KL 项。② Stage 1B（20K 步）：冻结骨架分支，加 $\mathcal{L}_{ground}$（RGB 运动均值过冻结骨架解码器重建骨架，掩码加权损失 $\ell^{ske}$）与 $\mathcal{L}_{align}$（$\ell_2$ 归一化均值余弦距离、骨架侧 stop-gradient），及 0.1 权重的方差/跨协方差正则。③ Stage 1C（5K 步）：加 $\mathcal{L}_{swap}$——用配对骨架均值（stop-gradient）+ 同一 RGB 残差样本重建同一未来帧的 MAE，权重 0.5→1.0。④ Stage 2A/2B：离线缓存后验均值并标准化，$P_{kin}/P_{res}$ 投影把两个 32 维向量加两个 presence mask 注入 Cosmos-Predict2.5-2B；整分支 dropout 按 keep/null/drop-kin/drop-res = 0.80/0.10/0.05/0.05（1K 步后 0.50/0.10/0.05/0.35）逐 clip 采样；先训投影 5K 步再全 DiT 微调 20K 步。⑤ Stage 3A/3B：适配器 7→256→256→32 以 MSE 回归运动均值 2K 步；30K 步全骨干微调，残差保留概率 0.5 线性退火到 0；推理 35 步采样、g=0、零残差生成 12 帧 480×640。
技术新颖性
新颖性有四个层面。（1）表示层面：在重建驱动的潜在动作范式内把潜变量显式拆成骨架锚定的运动分量与自由残差分量（各 32 维），用两个独立后验边际实现，并以 0.1 权重的跨分量协方差惩罚抑制线性冗余而不强制统计独立，兼顾『适配目标纯净』与『重建信息完整』。（2）监督层面：跨模态交换重建是新的训练信号——不同于 LAOF 的光流约束或 Olaf-World 的特征差对齐，它在解码器输入端做模态替换并要求生成结果一致，把跨模态对应从潜空间推广到重建层面；干预实验（正确交换仅 +0.53% MAE、错误交换 +11.67%）直接验证了这种兼容性。（3）条件层面：整分支 dropout（四种模式、逐 clip 共享掩码）配合 Stage 3B 残差保留概率线性退火，干净地解决了『预训练要残差、部署只有动作』的训练-推理错位，这是以往工作忽略的工程-理论结合点。（4）分析层面：运动线性探测与潜变量干预协议提供了可复用的表示诊断方法，证明 32 维运动分量以一半维度逼近 64 维全表示的探测性能（EEF $R^2$ = 0.3200 vs 0.3277）。
实验结果
这组实验回答四个问题：分解能否同时提升运动精度与保真、各组件是否必要、运动子空间是否真实存在、收益能否传导到下游。①主实验（Table 1，DROID 400 段、1 条件帧+12 未来帧）：SkeLAM 在 8 项指标中 7 项第一——PSNR 19.35、SSIM 0.8340、LPIPS 0.1310、ADE 41.15 px、rmag 0.5277；较 DreamDojo ADE 降 19.5%（51.11→41.15）、LPIPS 降 11.1%，较 CD-LAM 分别降 23.7% 与 17.4%；对直接动作条件的 Ctrl-World（ADE 42.96、LPIPS 0.4029）运动与保真同时大幅领先，仅方向 F1 略低于 Ctrl-World/OSCAR。②消融（Table 2）：去骨架监督 ADE→64.59、去交换重建 ADE→66.74 且 LPIPS→0.1436、去残差 ADE→43.37、去动作适配 ADE→65.84——四组件缺一不可，且生成层面的交换约束比潜空间监督更关键。③运动探测（Table 3）：32 维运动分量 EEF MAE 5.99×10⁻³、R²=0.3200、幅值 F1 0.7467，远超 DreamDojo 64 维的 R²=0.0078，骨架老师 R²=0.4312 为上限，拼接残差仅提至 0.3277，证明运动子空间确实存在。④潜变量干预（Figure 4）：错误骨架交换 MAE +11.67%、正确配对仅 +0.53%、置零运动 +5.78% vs 置零残差 +0.61%，解码器确实按运动对应关系使用运动分量。⑤下游：零样本人→机器人迁移（Figure 5）中 SkeLAM 跟随人类提示做出下压/上提动作而 DreamDojo 几乎不动；开环策略评估（Table 4，7 策略 105 回合）BA 63.02% vs 48.44%、成功率召回 33.33% vs 0%、ΔSR 4.76 vs 7.62 pp、ρ=0.5347，策略排序能力从无到有。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 动作条件视频预测（DROID，400 段） | 末端执行器 ADE (px, ↓) | 41.15 | DreamDojo 51.11 / CD-LAM 53.90 / Ctrl-World 42.96 | 较 DreamDojo 降 19.5%，较 CD-LAM 降 23.7%，为全部动作条件方法最佳 |
| 动作条件视频预测（DROID，400 段） | LPIPS (↓) | 0.1310 | DreamDojo 0.1473 / CD-LAM 0.1586 / Ctrl-World 0.4029 | 较 DreamDojo 降 11.1%，较 CD-LAM 降 17.4% |
| 动作条件视频预测（DROID，400 段） | PSNR / SSIM (↑) | 19.35 dB / 0.8340 | DreamDojo 18.91 dB / 0.8057 | +0.44 dB / +0.0283 |
| 运动线性探测（冻结表示） | EEF 位移 MAE (↓) / R² (↑) | 5.99×10⁻³ / 0.3200（仅 32 维运动分量） | DreamDojo 0.01620 / 0.0078（64 维） | MAE 约低 2.7 倍，R² 高出约 40 倍 |
| 开环策略评估（RoboArena，7 策略 105 回合） | 成功率 MAE ΔSR (pp, ↓) | 4.76 | Cosmos-Predict2.5 7.62 | 降低 2.86 个百分点 |
| 开环策略评估（RoboArena，7 策略 105 回合） | 平衡准确率 BA (%, ↑) | 63.02（召回 33.33%，MCC 0.2483） | Cosmos-Predict2.5 48.44（召回 0.00%，MCC -0.0525） | +14.58 pp，且从无排序能力变为 ρ=0.5347 |
局限与改进
作者承认的局限：开环动作重放而非闭环评估，长时域交互中预测误差对策略决策的传播未研究（结论中明确列为未来工作）；策略评估成功率召回仅 33.33%，『复现成功结局仍然困难』；评测仅 7 个策略、9 个真实成功样本，排序证据有限；人→机器人迁移只有两例定性展示，作者注明『不评估任务完成或跨视角/具身的可靠迁移』；方向 F1 输给 Ctrl-World（0.5465 vs 0.5888），时间一致性 tLPIPS 输给 OSCAR（0.0222 vs 0.0174）。我自己的观察：跨数据集泛化并不成立——Table 7/8 显示在 AgiBot 上 SkeLAM 的 LPIPS 0.1049 差于 DreamDojo 的 0.0889、ADE 21.10 差于 19.55、方向 F1 0.2824 远差于 DreamDojo 的 0.5720，说明骨架锚定的收益高度依赖 DROID 数据分布与 OSCAR 骨架渲染协议；2D 像素 ADE 依赖有效轨迹筛选且各方法有效子集不同（325-330/400），可比性打折；12 帧 0.8 秒的预测窗口对长程任务太短；残差推理时置零意味着物体响应全靠模型先验外推，接触密集场景的失败模式未被量化。
独立分析的弱点
（1）骨架监督的具身依赖：训练需要按 OSCAR 协议预渲染的骨架图像，面对无精确 URDF/运动学标定的新机器人、人手或软体臂无法直接迁移；改进方向是用可微渲染或现成姿态估计器从普通视频提取伪骨架做弱监督。（2）运动-残差只防线性冗余：协方差惩罚不保证真正解耦，论文也承认干预实验『支持运动专门化但未确立完全解耦』，残差中可能残留运动信息导致适配歧义；可引入互信息最小化或对抗性解耦目标。（3）残差通路的部署空洞：残差由未来帧导出、推理时置零，物体响应完全依赖模型先验，接触状态变化剧烈的场景（插孔、柔性物体）的失败模式未被量化；可让残差部分条件化于可观测的物体状态估计。（4）评测口径偏弱：2D ADE 对相机外参与遮挡敏感、评测规模小（400 段）、策略评估仅 9 个真实成功正样本，统计功效不足；应引入 3D 轨迹指标并扩大多会话评测。（5）成本与复杂度：8×A100 约 2 天、七个子阶段加离线缓存管线，工程门槛高；可探索投影器/适配器-only 的高效微调或 LoRA 化的 DiT 更新来降低复现成本。
未来方向
作者提出的方向：把录制动作重放扩展到闭环策略评估，研究预测误差如何在长时域交互中影响后续策略决策与任务结局——这是世界模型作为『策略试验场』的关键缺口。基于本文成果可延伸：（1）统一人-机器人骨架：把锚定信号从机械臂骨架推广到人手骨架（呼应 Skel-WAM），在人类与机器人视频上联合训练运动潜空间，扩大数据来源；（2）残差的可控化：给残差通路加语言或物体级条件，实现『同一动作、不同场景响应』的反事实模拟，服务安全探索与数据增广；（3）反向复用运动潜空间：把 32 维运动潜变量当作策略的动作嵌入，让策略直接在骨架锚定空间中输出，闭环对齐生成与控制；（4）更长视窗与误差累积分析：检验分支 dropout 设计在 24 帧以上 rollout 中的漂移，并结合 RoboArena 类基准系统研究『预测质量—策略排序保真』的标度关系；（5）把干预协议（正确/错误交换、置零）发展成潜在动作模型的标准化诊断基准，推动该子领域的表示评估规范化。
复现评估
复现条件非常好。附录给出罕见的实现细节：数据划分（DROID 60,000/45,358 clips 分阶段）、预处理 letterbox 公式、全部损失权重（$\beta=2\times10^{-4}$、$\lambda_{swap}$ 0.5→1.0）、各阶段学习率与调度、分支 dropout 概率表、推理采样器（FlowUniPCMultistepScheduler、35 步、shift 5、g=0）乃至逐 clip 随机种子（20260823+p）。骨架观测来自公开 OSCAR 子集的预渲染协议；骨干 Cosmos-Predict2.5-2B 与数据 DROID/AgiBot/UniSkill/RoboArena 均公开；项目页 aopolin-lv.github.io/SkeLAM（代码权重放出情况需确认）。算力：8×A100 80GB、约 2 天一个完整 run，七个子阶段（60K/20K/5K/5K/20K/2K/30K 步）加离线潜变量缓存。主要门槛是复现 OSCAR 骨架渲染管线与 FSDP 八卡环境；有同等算力的实验室难度中等，只做 Stage 3 动作适配（基于缓存教师潜变量）则便宜得多。值得注意的是，作者披露了 AIGC 仅用于语言润色、全部 400 条生成均完成且逐 clip 记录随机种子，这种实验透明度在同类工作中少见，也侧面提高了结果可信度。
论文图表
用 UniSkill 人类视频（推蓝毛巾/抽纸）提取的潜变量直接条件化 SkeLAM，机器人初始场景固定、所有参数冻结：SkeLAM 产生对应的向下够取与向上移动的末端轨迹，DreamDojo 则位移极小、卡住不动。
展示运动潜空间的具身无关性，是从纯机器人交互视频学到的表示能跨具身迁移的定性证据。
厨房场景的补充对比网格，列与时间步设置同 Figure 8，标记与箭头突出末帧末端执行器运动。
第三个场景的定性证据，说明运动-保真优势不局限于单一环境类型。