WING：交互中心的谱潜空间引导世界动作学习 World Action Learning via Interaction-Centric Spectral Latent Guidance

第一步，运动分解监督构造：对帧对 $(o_t^{\text{ego}}, o_{t+\delta}^{\text{ego}})$ 用离线点跟踪器得到点对应 $p_{t,i}, p_{t+\delta,i} \in \mathbb{R}^2$，训练期用区域掩码区分背景点迹与手-物交互点迹；由背景点迹估计可逆全局图像扭曲 $W_{t \to t+\delta}$ 作为观察者运动目标，逐点残差 $r_{t,i} = W^{-1}_{t \to t+\delta}(p_{t+\delta,i}) - p_{t,i}$ 作为交互运动目标。第二步，教师训练：双分支编码器输出相机潜变量 $z_{t,cam}^T \in \mathbb{R}^{D_c}$ 与交互潜变量 $z_{t,int}^T \in \mathbb{R}^{D_i}$，分别解码预测全局扭曲与残差位移，二者联合重建第二帧中被跟踪点位；再做相机干预（保持交互不变、改变相机位形）并施加潜一致性约束，抑制观察者线索向交互潜变量泄漏。第三步，交互蒸馏：对第二帧施加相机式全局扭曲得到增强帧 $\tilde o_{t+\delta}^{\text{ego}}$，学员 $S_\phi$ 分别编码原始与增强帧对得 $z_t^{\text{nat}}, z_t^{\text{aug}}$，按 $\mathcal{L}_{\text{distill}} = \frac{1}{2D_i}\sum_{v}\|z_t^v - z_{t,int}^T\|_2^2 + \frac{\lambda_{\text{view}}}{D_i}\|z_t^{\text{nat}} - z_t^{\text{aug}}\|_2^2$ 优化。第四步，谱引导目标：$Z_t = [z_t, \dots, z_{t+H-1}]^\top \in \mathbb{R}^{H \times D_i}$，沿时间维做正交 DCT，保留最低 $K$（最优 4）个分量 $g_t^{\text{low}}$，未来帧只用于构造训练目标。第五步，引导预测：$\hat g_t^{\text{low}} = P_\psi(c_t)$，以 $\mathcal{L}_{\text{pred}} = \frac{1}{KD_i}\|\hat g_t^{\text{low}} - g_t^{\text{low}}\|_F^2$（Frobenius 范数 MSE）监督。第六步，动作条件化：$\hat g_t^{\text{low}}$ 投影为 $K \times D_{hid}$ 的引导 token $U_t$，每个频率向量经投影、LayerNorm 并加可学习频率嵌入，再通过门控残差更新 $H_a^{(l)} \leftarrow H_a^{(l)} + \gamma_l\,\mathrm{Attn}(Q=\mathrm{LN}(H_a^{(l)}), K=U_t, V=U_t)$ 注入动作模型第 $l$ 层，标量 $\gamma_l$ 可学习。第七步，两阶段训练：先在 200 小时第一人称视频上预训练 Wan2.2 视频专家（未来帧生成）与引导预测器，随后迁移预训练主干和 $P_\psi$ 与动作专家在机器人演示上联合训练，WING-LAM 冻结。

技术新颖性体现在三点：1) 运动路由的特权学习——用点跟踪与图像扭曲构造"哪些变化来自相机、哪些来自交互"的显式监督信号，这是潜动作学习文献中少见的监督式分解，并通过相机干预 + 蒸馏把特权信息转化为部署可用的 RGB-only 编码器；探针实验证明其潜空间相机运动可解码性大幅低于 DreamDojo 与 CD-LAM，而交互运动信息基本无损（教师 $R^2$ 约 55.47% vs DreamDojo 53.44%）。2) 频域对应性分析——首次系统度量人-机器人潜动作轨迹在各频段的语义匹配相似度，把"低频即可迁移"从直觉变成可量化的实证发现（匹配对 0.58 vs 失配 0.44 的分离度最大）。3) 引导式而非替代式迁移——人类知识只以 $K \times D_i$ 的低频先验（$K=4$）经门控 $\gamma_l$ 条件化动作生成，机器人策略保留完整动作预测目标，这解释了其相对 LA-P（直接潜动作预测，LAPA 式）与 HP-P（手部姿态监督）预训练的稳定优势。

独立弱点分析：1) 全局仿射扭曲假设相机引起的图像运动整体一致，但手持第一人称视频中的透视变化、深度不连续与非刚性身体运动不满足该假设，强视差场景下残差位移会把相机运动误归为交互——改进方向是用深度感知的多平面分解或稠密光流场替代单一 warp。2) 特权监督依赖离线点跟踪与预定义掩码，数据管线重且难以扩展到互联网级视频——可探索自监督运动分组（如运动一致性聚类或分割一切模型自动划分前景背景）实现免掩码训练。3) 谱引导只用 DCT 低频，隐含信号平稳假设，撞击、抛掷等瞬态交互的关键信息可能落在高频——可学习频带加权或改用小波等局部化基。4) 引导预测器 $P_\psi$ 与动作模型联合训练，机器人数据稀少时 $P_\psi$ 可能欠拟合，先验质量无法保证——可引入不确定性加权或在预训练阶段更充分地训练预测器。5) 真机泛化设定成功率约 45%，说明低频先验对分布偏移的鲁棒性有限——可结合域随机化、语言条件化的引导调制，或在推理时用失败检测回退到无引导模式。6) 蒸馏后学员表示略弱于教师且有超参敏感性——可用在线蒸馏保留更多交互细节。

作者在局限性一节提出两个方向：更自包含、深度感知的运动建模（摆脱外部点跟踪器与仿射近似），以及更高效的引导机制以降低训练成本与流水线复杂度。基于本文成果还可延伸：1) 把频域对应性分析推广到其他跨本体迁移问题（人形-夹爪、四足-机械臂），验证"低频可迁移"是否是普适规律；2) 将谱引导扩展到互联网级第三人称视频，或引入音频、语言等多模态先验共同构造引导目标；3) 把被抑制的观察者运动单独建模为主动感知信号，服务移动操作与视觉探索；4) 探索自适应 $K$ 或按任务难度动态选择谱带宽，替代固定 $K=4$；5) 与世界模型结合：目前 Wan2.2 专家负责未来帧生成，可进一步用谱引导反哺视频预测，构建"想象-执行"闭环；6) 理论层面刻画 DCT 低频与慢特征分析（slowness principle）的内在联系，为跨本体迁移提供更普适的原则。

复现评估：论文提供项目页 https://mikuz12.github.io/wing/，但文中未见明确的代码与权重开源声明，复现者需关注项目页后续发布。有利条件：评测基准 LIBERO、RoboTwin 2.0、RoboCasa–GR1 均为公开仿真环境，对比方法（$\pi_0$、$\pi_{0.5}$、LaWAM、Fast-WAM、LingBot-VA 等）大都有公开实现，其中 RoboCasa 的 FastWAM 基线为作者自复现。主要障碍：需要约 200 小时精选第一人称视频（论文称"curated"，构建与掩码工程量大、来源未完全公开）；特权监督依赖离线点跟踪器逐帧生成对应点；预训练基座为 Wan2.2 大型视频生成模型，算力需求高；两阶段训练加 $K$/$H$/$\lambda_{\text{view}}$ 超参搜索使完整复现门槛较高。若只复现机器人微调阶段（假设潜编码器与引导预测器已训好）则相对容易，建议先在 LIBERO 上小规模验证谱引导模块的贡献。