模仿意图而非轨迹：基于频域解耦的机器人操作策略学习

通过多尺度频域标记化显式解耦行为意图与执行细节，提升机器人操作泛化与迁移能力

前置知识

Discrete Cosine Transform (DCT)

离散余弦变换是一种将信号从时域转换到频域的线性变换，类似于傅里叶变换但使用实数系数。对于长度为H的信号序列，DCT系数通过公式计算得到。低频系数代表信号的慢变化趋势，高频系数代表信号的快速变化细节。在机器人轨迹分析中，低频成分对应整体运动趋势和全局结构，高频成分对应精细执行细节和反应性调整。

本文使用DCT将动作轨迹分解为不同频率成分，这是实现意图与执行解耦的核心数学工具。只有理解DCT如何分离低频和高频信息，才能理解为什么最粗尺度token能够捕获全局意图。

Vector Quantization (VQ)

向量量化是一种将连续向量映射到离散代码本中最近邻向量的技术。给定代码本包含多个码向量，对于输入向量，量化结果为代码本中欧氏距离最近的码向量。VQ-VAE结合VQ与变分自编码器，学习离散潜在表示。多尺度残差量化采用渐进式量化，每层只量化前层未解释的残差信息，逐步提高表示精度。

本文的SDAT使用多尺度VQ-VAE架构将连续轨迹编码为离散token。理解残差量化的渐进式原理，是掌握尺度间信息分配机制的基础。

Next-Scale Autoregression

下一尺度自回归是一种跨越多个抽象尺度的自回归生成模式。对于K个尺度的token序列，建模联合分布为各尺度条件分布的乘积。与传统时间步自回归不同，这里在每个尺度内并行预测所有token，但预测当前尺度时需要依赖所有更粗尺度的token。这种结构强制模型先预测全局意图，再逐步细化执行细节。

本文的策略学习采用next-scale自回归，这创造了从意图到执行的渐进推理过程。理解这种跨尺度依赖结构，是理解MINT如何提升样本效率和长视野生成稳定性的关键。

Vision-Language-Action (VLA) Models

视觉-语言-动作模型将视觉观测和语言指令映射到连续控制命令的端到端模型。典型架构包括视觉编码器处理RGB图像、语言编码器处理指令文本和动作头输出关节位置或末端执行器轨迹。VLA通过在大规模机器人数据集上预训练，实现跨任务的泛化能力。代表性工作包括RT-2、OpenVLA、π0系列等。

VLA是当前机器人操作的主导范式，也是本文的对比基线。理解VLA的工作原理和局限性，是理解为什么需要显式解耦意图的基础。

研究动机

现有VLA模型虽然在封闭场景下表现优异，但在环境变化和新任务实例面前泛化能力严重不足。以π0.5在LIBERO-Plus基准上的表现为例，面对相机视角变化时成功率仅为53.0%，背景纹理变化时为77.3%，传感器噪声下甚至降至53.2%。这些模型学习的是对原始轨迹信号的模仿，过度拟合演示中的表面层相关性，而非捕获支配任务执行的行为意图。这导致当场景布局改变、物体位置偏移或光照条件变化时，策略会失效。同样，在技能迁移方面，现有方法需要大量重新训练，难以实现从单个演示中快速学习新技能。

本文的目标是本文的目标是构建一个模仿学习框架，显式地将高层行为意图从底层执行细节中解耦出来。具体而言，希望学到一种表征，其中低频分量表征全局运动趋势和长视野结构，高频分量编码精细执行细节和反应性调整。这种解耦应该带来三个关键收益。一是提升策略对环境扰动的鲁棒性，因为意图是更抽象、更稳定的任务规范。二是实现从单个演示中one-shot技能迁移，因为意图token可以作为紧凑的任务规范。三是提高学习效率和长视野生成的稳定性，因为从粗到细的渐进推理过程自然引导了意图到执行的推理链条。

与已有工作不同的是，本文的独特切入角度是在频域中显式约束多尺度动作标记化，从而实现意图与执行的原理性解耦。现有工作如FAST或BEAST使用数学方法进行结构化离散化，但缺乏对意图的显式约束。基于学习的VQ-VAE变体自动学习token，但往往保留低层运动学而非意图。即使采用多尺度或层次化标记化，其语义仍然不受约束，依赖启发式或事后解释。相比之下，本文引入频谱解码器和尺度级频域重建目标，强制模型用仅S1、S1加S2、S1加S2加S3等逐步重建频域轨迹。这种结构强制S1捕获主导低频成分，而更细token专攻高频残差。这不是事后解释，而是通过学习目标设计的有意图的解耦。

核心方法

MINT采用两阶段框架。首先训练Spectrally Disentangled Action Tokenizer从演示轨迹中学习多尺度离散动作表征。然后训练MINT策略通过next-scale自回归在学到的token空间中进行意图到执行的推理。直观理解是，轨迹可以看作不同频率信号的叠加。低频成分描述行为整体轮廓，高频成分描述细微调整。SDAT通过DCT将动作块从时域转换到频域，然后用多尺度VQ-VAE学习离散表征，关键创新是尺度级频域重建损失，强制用不同尺度的部分重建逼近原始频域轨迹。最粗尺度S1必须解释低频主导成分以最小化重建误差，因此它学到的是全局意图。训练好后，策略网络接收视觉观测、语言指令和机器人本体状态，通过next-scale自回归预测动作token，先预测S1意图，再预测S2到SK执行细节，最后解码器将token解码为连续轨迹执行。

核心创新点是尺度级频域重建约束，通过频域的渐进式监督实现意图与执行的原理性解耦。具体而言，设原始动作A的频域表示为F，用前K个尺度重建的频域表示为F的K次估计，损失函数为各尺度频域重建误差的加权和。这个损失强制早期尺度解释低频主导成分。如果S1不捕获低频信息，就无法在仅用S1重建时逼近F的低频部分，损失会很大。同时，后期尺度只能重建高频残差，因为低频已经被粗尺度解释。与现有方法的本质区别是，现有方法的token学习目标是压缩率或时域重建精度，不约束token的语义。本文通过频域损失强制S1专攻低频，S2到SK专攻高频，因此S1天然成为意图token。这种方法的优势是解耦不是事后解释，而是通过损失设计嵌入学习过程。

方法步骤详情

方法分为两个训练阶段。第一阶段训练SDAT。首先将演示轨迹分割为重叠的动作块，每个块用滑动窗口提取，horizon为H帧。然后对每个动作块A，通过动作编码器E压缩为潜在特征f。接着对f应用多尺度残差量化，从初始特征开始，对每个尺度进行插值、量化、查表、投影和残差计算。然后对每个累积特征，用频谱解码器解码并计算DCT得到频域表示。最后优化包含频域损失、codebook损失、commitment损失和辅助L1重建损失的总损失。第二阶段训练MINT策略。策略接收视觉观测、语言指令和本体状态，通过FiLM层融合。动作专家通过next-scale自回归预测多尺度token，每层内用混合注意力机制并行预测token。预测的token通过解码器解码为连续轨迹。对于one-shot迁移场景，从单个演示中提取S1意图token并固定，策略只预测S2到SK执行token。推理时使用Intent-based Action Ensemble，通过意图相似度加权融合多个重叠预测，得到最终执行动作。

技术新颖性

技术新颖性体现在三个方面。一是首次在频域中显式约束多尺度动作标记化，通过尺度级频域重建目标实现意图与执行的原理性解耦，这不同于现有方法的时域压缩或启发式分解。二是next-scale自回归策略学习，将跨尺度依赖与尺度内并行生成结合，创造出意图到执行的渐进推理过程，提升样本效率和长视野稳定性。三是基于意图token的one-shot技能迁移和集成方法，意图token成为比语言指令更紧凑、更可复用的任务规范，仅从单个演示提取意图token就能在新环境、新任务、扩展视野下有效迁移。此外，本文还揭示了频域分解与行为语义的内在关联，低频自然对应全局意图，高频自然对应执行细节，这为理解机器人行为提供了新的分析框架。

**Fig. 1**: Left: We propose Spectrally Disentangled Action Tokenizer, which encodes action chunks into multi-scale tokens via scale-wise frequency domain reconstruction constraints, where the coarsest scale captures global intent and finer scales encode execution residuals. Right: The T-SNE visualization of the S1 token space demonstrates that the learned S1 tokens form distinct clusters corresponding to semantically consistent behaviors (e.g., "Pick up", "Move forward" and "Clockwise Rotation")

**Fig. 2**: MINT Policy Overview. (a) MINT autoregressively predicts action tokens across K temporal scales—moving from a global intent token to high-frequency execution tokens—which are subsequently mapped to continuous trajectories via the decoder. (b) Intent-based action ensemble ensures temporal consistency and smooth behavioral transitions, enhancing stability in long-horizon tasks.

**Fig. 6**: Visualization of the Intent Latent Space. t-SNE of action chunks colored by s1 tokens (RGB from top-3 PCs). (a) Standard time-domain reconstruction is fragmented. (b) Our SDAT produces coherent chromatic clusters aligned with action sequences structures.

实验结果

核心发现包括多个方面。在标准基准上的性能方面，MINT-30M在LIBERO基准上平均成功率达到97.1%，在LIBERO-90上达到97.4%，远超预训练模型OpenVLA的76.5%和π0的86.0%。MINT-4B在LIBERO上达到98.3%，在MetaWorld上平均67.2%，在Very Hard任务上达到56.0%，几乎是π0基线20.0%的三倍。在CALVIN ABCD到D基准上，MINT-4B平均完成4.58个任务，优于π0.5的4.15和RoboVLMs的4.49。在LIBERO-Plus鲁棒性评估上，MINT-4B在相机视角变化下达到72.2%，优于π0.5的53.0%，在传感器噪声下达到90.1%，优于π0.5的53.2%，平均80.1%的成功率比OpenVLA-OFT的71.4%提升约15%。学习效率方面，MINT-30M在2k次迭代后达到0.74，5k次后0.87，而ACT在5k次后仅为0.53。One-shot迁移方面，意图注入方法平均0.77，微调方法仅0.17。

**Table IX**: Performance comparison across LIBERO, CALVIN, and MetaWorld benchmarks

**Table II**: Generalization comparison on LIBERO-PLUS

**Table III**: One-shot transfer performance comparison

**Table IV**: Ablation of training objectives and ensembling

**Table VII**: Learning efficiency comparison measured by success rate at different training iterations

**Table VIII**: Ablation study on the number of scales and action chunk horizon

**Fig. 3**: One-shot transfer evaluation on OOD tasks in simulation. We evaluate generalization across three compositional shifts: New Layout, New Task, and Extended Horizon.

查看结构化数据

任务	指标	本文	基线	提升
LIBERO-Spatial/Object/Goal/Long	平均成功率(%)	97.1	π0.5 96.9, OpenVLA-OFT 95.4, π0 86.0	比π0.5提升0.2%，比OpenVLA-OFT提升1.7%，比π0提升11.1%
LIBERO-90	成功率(%)	97.4	OpenVLA-OFT 95.4, π0-FAST 85.5	比OpenVLA-OFT提升2.0%，比π0-FAST提升11.9%
CALVIN ABCD到D	平均任务完成数	4.58	π0.5 4.15, RoboVLMs 4.49, UniVLA 4.24	比π0.5提升0.43任务，比RoboVLMs提升0.09任务
MetaWorld (Very Hard)	成功率(%)	56.0	π0 20.0, TinyVLA 15.8	比π0提升180%，几乎三倍
LIBERO-Plus (平均)	成功率(%)	80.1	OpenVLA-OFT 71.4, π0.5 65.0	比OpenVLA-OFT提升8.7%，比π0.5提升15.1%
LIBERO-Plus (相机视角)	成功率(%)	72.2	π0.5 53.0, OpenVLA-OFT 56.4	比π0.5提升19.2%，比OpenVLA-OFT提升15.8%
One-shot迁移 (平均)	成功率	0.77 (意图注入)	0.17 (微调)	比微调方法提升353%
Real-world (Stack Blocks)	成功率(%)	MINT-4B显著优于π0.5星号	π0.5星号	在高精度轴对齐任务上表现显著更优

局限与改进

作者承认的局限性包括，MINT依赖轨迹演示来学习意图，这限制了意图的多样性只能覆盖可用数据集的范围。作者建议未来可以探索从网络视频中学习更丰富的行为库。另外，意图空间的可解释性虽然通过T-SNE聚类得到验证，但尚未实现直接的语义标签映射或人类可读的意图描述。我观察到的其他局限包括，DCT变换假设信号在时域是平稳的，而机器人轨迹可能包含非平稳的瞬态行为，这种情况下频域分解可能不够精确。多尺度量化的尺度数量和分辨率需要手动调参，不同任务可能需要不同配置。频谱重建损失在频谱不平滑的动作上可能效果下降，因为高频分量贡献过大。方法需要预训练tokenizer再训练策略，两阶段流程增加了训练复杂度和时间成本。在极端分布外场景，意图迁移仍可能失败，因为S1 token编码的语义可能不适用新场景。

独立分析的弱点

频域分解对非平稳信号的局限性方面，DCT适用于平稳信号，但机器人轨迹经常包含突发动作。改进方向是采用时频分析方法，如小波变换或短时傅里叶变换，既能捕获频率信息又能保持时域定位能力。尺度配置的刚性方面，当前方法使用固定尺度和分辨率，无法自适应不同任务复杂度。改进方向是引入自适应尺度选择机制，根据轨迹的频谱熵或复杂度动态确定尺度和分辨率。意图空间的语义缺失方面，S1 token形成聚类但缺乏人类可读的语义标签。改进方向是引入语义监督，通过对比学习将S1 token与显式语义对齐。频谱重建损失对高保真轨迹的敏感度不足方面，当高频细节对任务成功至关重要时，频域损失可能过度压缩高频。改进方向是加入任务相关的高频增强损失。两阶段训练的效率问题方面，改进方向是探索端到端联合训练，或利用冻结的预训练tokenizer实现快速策略适应。

未来方向

作者提出的方向是探索大规模网络视频数据以获取更丰富的行为库，并通过重组离散意图token零shot合成新颖的长视野行为。基于论文成果可延伸的方向包括，层次化意图推理方面，当前方法只有一层意图，可以扩展为多层意图，构建更深的行为抽象层次。跨模态意图对齐方面，将视觉、语言、本体感知等多种模态的信息与意图空间对齐，实现多模态意图推理。主动意图学习方面，让机器人主动探索和发现新意图，而非被动从演示中学习。意图共享与协作方面，在多机器人场景中，通过共享意图token实现高效协作。因果意图建模方面，引入因果推理明确建模为什么执行某个动作，提升策略的可解释性和鲁棒性。在线意图适应方面，让策略在执行过程中根据环境反馈动态调整意图，自动切换到备用意图或分解为子意图。

复现评估

复现评估方面，论文提供了详细的实现细节和超参数设置，包括代码本大小、动作horizon、尺度配置、优化器、学习率、批大小等关键参数。训练使用多个NVIDIA H200 GPU分布式训练，计算资源要求较高但可接受。论文项目页面承诺提供代码。数据方面，LIBERO、CALVIN、MetaWorld都是公开基准数据集，BridgeDataV2也是开放数据集，便于复现。论文提供了消融研究和可视化，这些都有助于验证和复现。主要挑战是计算资源需求和训练时间，以及超参数调优的复杂性。总体而言，论文提供了足够的技术细节，复现难度中等偏高，主要瓶颈是GPU资源和训练时间。

模仿意图而非轨迹：基于频域解耦的机器人操作策略学习 Mimic Intent, Not Just Trajectories