8个Token实现规划：面向隐式世界模型的紧凑离散分词器

将每张图像压缩至8个离散token，使世界模型规划速度提升40倍且精度不降

前置知识

世界模型（World Model）

世界模型是一类神经网络，它学习环境的动力学规律，能够根据当前状态和动作预测未来状态。在强化学习中，世界模型让智能体在内部模拟经验，从而减少与真实环境的交互次数。形式上，世界模型学习条件分布 $p(o_{t+1} | o_t, a_t)$，其中 $o_t$ 为观测，$a_t$ 为动作。常见架构包括循环状态空间模型（如Dreamer系列）和基于Transformer的序列模型。

本文的核心目标就是提升世界模型的规划效率。理解世界模型的基本定义和工作方式，是理解本文为什么需要压缩token以及压缩后如何用于规划的前提。

模型预测控制（Model Predictive Control, MPC）

MPC是一类在线规划算法，在每个决策时刻通过反复前向模拟（rollout）来搜索最优动作序列。具体做法是：先采样一批候选动作序列，用世界模型逐步预测未来状态，根据最终状态与目标的差距评估每条轨迹的成本，然后选择最优动作执行。在本文中采用的MPC变体是交叉熵方法（CEM），它通过迭代更新动作分布来高效搜索。

MPC的计算瓶颈在于需要对世界模型进行大量前向模拟（论文中一次规划需要约1920次前向传递），而每次前向传递的成本与latent token数量呈二次关系。本文的核心贡献正是将token数从784压缩到8-16，从而大幅降低MPC的计算开销。

有限标量量化（Finite Scalar Quantization, FSQ）

FSQ是一种将连续向量映射到离散码本的量化方法，每维独立量化到等间距的离散级别。例如级别配置 $[8, 8, 8, 5, 5, 5]$ 表示6维向量中每维分别量化为8/8/8/5/5/5个级别，码本大小为 $8 imes 8 \times 8 \times 5 \times 5 \times 5 = 64000$ 个码。与传统向量量化（VQ）不同，FSQ不需要码本学习，避免了码本坍缩问题，且其离散索引保留了连续空间的几何结构——可通过逆映射 $FSQ^{-1}$ 将离散索引转换回连续值，便于在离散空间中计算距离。

CompACT使用FSQ对latent resampler的输出进行离散化，这是实现8-16 token极端压缩的关键步骤。FSQ的几何保留特性使得可以在离散latent空间直接计算规划代价（无需解码到像素空间），带来额外的计算加速。

遮盖生成模型（Masked Generative Model）

这是一类非自回归的生成范式，以MaskGIT为代表。其核心思想是：训练时随机遮盖输入序列的一部分token，训练模型恢复被遮盖的部分；推理时从全遮盖序列出发，迭代地取消遮盖置信度最高的token，直到所有token被生成。与自回归模型（逐个生成token）和扩散模型（需多步去噪）不同，遮盖生成模型可以在单步中同时预测多个token，生成效率更高。

CompACT的生成解码器 $D_{compact}$ 采用遮盖生成建模来从8个压缩token预测目标tokenizer的数百个token，这比基于扩散的方法快得多。同时，世界模型本身的训练也采用遮盖生成目标来建模状态转移分布。

视觉基础模型（Vision Foundation Model）

视觉基础模型（如DINOv3、SigLIP-2、MAE）是在大规模数据上预训练的视觉编码器，其特征天然偏向语义理解而非像素重建。这些模型的中间特征编码了物体身份、空间布局、场景结构等高层语义信息，而自动忽略纹理、光照等低层细节。DINOv3通过自蒸馏训练获得物体级（object-centric）的特征表示。

CompACT的核心设计正是利用冻结的视觉基础模型作为语义编码器——它天然抽象掉了规划不需要的低层细节，使得8个token就能保留足够的规划关键信息。实验证明，冻结DINOv3（而非微调或从头训练）是实现极端压缩的关键。

研究动机

当前基于世界模型的规划面临一个严重的计算瓶颈：token数量过多导致规划速度慢到无法实时使用。以导航领域的SOTA方法NWM为例，它使用SD-VAE将每张图像编码为784个连续token（28×28的空间网格）。由于NWM基于Transformer架构，注意力机制的计算复杂度随token数呈二次增长，在MPC规划中需要进行约1920次世界模型的前向传递，单条轨迹优化需要约3分钟（在单块RTX 6000 ADA GPU上）。这个延迟使得世界模型无法用于需要实时响应的真实场景。更根本的问题在于，现有tokenizer（如SD-VAE、VQGAN）是为了图像生成设计的，它们追求像素级重建保真度，需要编码大量的纹理、光照、阴影等高频细节——而这些信息对于规划来说是冗余的。这种为生成而非规划的设计理念，导致了token数量和规划需求之间的根本性错配。

本文的目标是本文的目标是设计一种极端紧凑的图像tokenizer，将每张图像压缩到尽可能少的离散token（目标是8-16个），同时保留规划所需的关键信息（物体身份、空间关系、场景结构），使得基于世界模型的MPC规划能够达到实时级别。具体来说，作者希望在规划精度上与使用784个token的基线方法持平甚至超越的同时，将规划延迟降低一个数量级以上。这是一个极具挑战性的目标：8个16bit token仅128位信息——不到20个字节就要编码一整张图像中所有规划相关的信息。

与已有工作不同的是，本文的独特切入角度在于一个反直觉的假设：不是增加token数量来提高表示保真度，而是通过极端压缩迫使世界模型学习更抽象、更与动作相关的表示。与现有的1D tokenizer（如FlexTok）追求灵活token长度但仍以重建质量为目标不同，CompACT从根本上放弃了像素级重建——它只保留规划所需的信息。实现这一点的关键洞察是：利用冻结的视觉基础模型（DINOv3）作为编码器，因为它天然地将语义信息从低层感知细节中分离出来。现有的利用预训练视觉编码器的tokenizer虽然有架构上的相似性，但其动机是提升生成建模的可行性而非实现极端压缩。CompACT是第一个明确以规划充分性为设计目标、将压缩推到极致（每帧仅128位）的tokenizer。

核心方法

CompACT的整体思路可以用一个类比来理解：人类在导航时不会记住沿途每棵树的每片叶子（像素级重建），而是记住「前方路口左转有一栋红色建筑」这种抽象语义信息。CompACT就是模仿这种机制——它只保留决策所需的高层语义，丢弃所有无关的感知细节。技术路线分为三个阶段：(1) 训练一个基于冻结DINOv3的语义编码器，将图像压缩为8-16个离散token；(2) 训练一个生成解码器，从这些紧凑token恢复出可用于评估的图像表示；(3) 在这个紧凑latent空间中训练动作条件世界模型，并用MPC进行规划。整个系统在ImageNet-1K上预训练tokenizer，在RECON/SCAND/HuRoN/RoboNet上训练世界模型。总参数量约10亿（tokenizer 775M + 世界模型 243M）。

CompACT的核心创新在于两个相互配合的设计，共同实现了只保留规划信息的目标。第一个是语义编码（Semantic Encoding）：利用冻结的DINOv3作为视觉编码器，其输出特征天然偏向语义理解而非像素重建。紧凑latent token通过cross-attention机制从这些冻结特征中蒸馏高层语义信息——每个token学习关注图像中语义连贯的区域（如单个物体或建筑组件），而不是均匀分布信息。由于DINOv3已经抽象掉了纹理、光照等低层细节，cross-attention自然只能聚焦于规划相关的语义信息。第二个是生成解码（Generative Decoding）：直接从8个token重建图像是一个ill-posed问题，CompACT不直接重建像素，而是将8个token作为条件，用遮盖生成模型从VQGAN的目标latent中恢复出数百个感知token，再由VQGAN解码到像素空间。这把一个不可行的解压问题转化为一个可行的条件生成任务——语义token提供高层指导，生成模型负责合成合理的细节。

方法步骤详情

CompACT的完整流程如下。首先，编码器 $E_{compact}$ 处理输入图像：(a) 将图像切分为patch并由冻结的DINOv3-B编码，获得语义patch特征；(b) 8个可学习的latent token作为query，通过基于cross-attention的latent resampler（5层Transformer decoder）从DINOv3特征中蒸馏语义信息；(c) 输出通过FSQ量化为离散token（级别配置 $[8,8,8,5,5,5]$，码本大小约64000），得到 $z \in \{1,\ldots,K\}^8$。其次，生成解码器 $D_{compact}$ 将8个latent token映射到目标VQGAN的196个latent token：训练时随机遮盖目标token的一部分，$D_{compact}$（基于MM-DiT的16层Transformer）学习利用8个compact token作为条件恢复被遮盖的token；推理时从全遮盖序列开始迭代取消遮盖。最后，目标tokenizer $D_\psi$ 将196个token解码为像素图像。世界模型 $f_\phi$ 在8-token离散latent空间中训练，学习 $p(z_{t+1} | z_t, a_t)$，规划时用CEM优化动作序列以最小化最终预测状态与目标的差距。

技术新颖性

CompACT的技术新颖性体现在三个方面。第一，与所有现有tokenizer不同，CompACT是第一个明确以规划充分性（planning sufficiency）而非重建保真度为设计目标的tokenizer。论文从信息论角度给出了规划充分表示的最小描述长度下界：$H(z) \geq I(o; a^*)$，即latent表示的熵只需大于观测与最优动作之间的互信息——这远小于观测本身的熵。CompACT的128-256 bits/帧远超这个下界，理论上有足够的规划信息。第二，将冻结的视觉基础模型作为语义编码骨干，并通过latent resampler进行语义蒸馏，这与现有的端到端训练tokenizer形成了根本区别——端到端训练会将编码器推向重建目标，而冻结的DINOv3天然保持语义偏向。第三，生成解码策略将8个token的不可行解压问题转化为条件生成任务，巧妙地绕过了信息瓶颈的限制。这三者共同使得极端压缩（784到8 token，压缩率99%）成为可能且有效。

**Figure 1**: Overview of the proposed latent world model formulation

**Figure 2**: CompACT tokenizer architecture detail

**Figure 3**: CompACT encoder architecture variation

**Figure 4**: Attention visualization for compact latent token in latent resampler

**Figure 9**: Inverse Dynamics Model (IDM) architecture

实验结果

CompACT在多个维度上验证了其有效性。在ImageNet重建质量方面，CompACT 16-token达到rFID 2.40、IS 209.0，与使用256 token的MaskGIT-VQGAN（rFID 1.83）相比仅略有下降，且显著优于FlexTok 16-token（rFID 5.60）。值得注意的是，CompACT的IS甚至高于MaskGIT-VQGAN，表明其语义编码器更好地保留了感知相关特征。在导航规划方面，CompACT 16-token在RECON上达到ATE 1.330、RPE 0.390，与SD-VAE 784-token基线（ATE 1.262、RPE 0.354）相当，同时规划延迟从178.78秒降至5.78秒——约31倍加速。CompACT 8-token进一步将延迟降至4.83秒（约37倍加速），ATE仅增至1.373。令人意外的是，CompACT 16-token显著优于FlexTok 64-token（ATE 1.484）和FlexTok 16-token（ATE 1.625），证明精心设计的极端压缩不仅更高效，还能带来更好的规划性能。在逆动力学模型实验中，CompACT latent训练的IDM在末端执行器位置预测上达到R² 0.716、L1误差0.091，均优于256-token基线（R² 0.684，L1 0.093），证明紧凑token更好地保留了动作相关信息。在RoboNet动作条件视频预测方面，CompACT将动作预测误差（APE）从0.3383降至0.1122（3倍改善），生成延迟从3.826秒降至0.740秒（5.2倍加速）。消融实验进一步确认：(1) 冻结DINOv3是关键（微调后rFID从2.40退化到5.22）；(2) 生成解码不可或缺（去掉后rFID从2.40退化到28.80）；(3) 历史遮盖改善规划精度（ATE从1.480降至1.330）。跨骨干实验表明，SigLIP-2（rFID 2.09）和MAE（rFID 3.43）均能有效工作，验证了方法不依赖于特定基础模型。此外，将世界模型扩大到750M参数后，在RECON上ATE进一步提升到1.305，延迟仍仅为SD-VAE的7倍（24.7s vs 178.78s），展示了token效率提升为模型规模化打开的空间。

**Table 1**: Reconstruction performance of CompACT on ImageNet validation split

**Table 2**: Ablation on CompACT tokenizer

**Table 3**: Performance of Inverse Dynamics Model trained with different tokenizers on RoboNet

**Table 4**: Planning performance of NWM on RECON benchmark with different tokenizers

**Table 5**: Effect of design choices in terms of planning accuracy on RECON

**Table 6**: Action-conditioned video prediction results on RoboNet

**Figure 5**: Qualitative results of planning with the proposed CompACT

**Figure 6**: Qualitative results of action-conditioned video generation

**Figure 14**: Plot for ATE, planning latency, and memory peak usage on RECON

**Figure 7**: Planning latency breakdown

查看结构化数据

任务	指标	本文	基线	提升
ImageNet重建质量	rFID ↓	2.40（16 token）/ 3.21（8 token）	SD-VAE: 0.64（784 token）; MaskGIT-VQGAN: 1.83（256 token）; FlexTok: 5.60（16 token）	比FlexTok 16-token提升57%（2.40 vs 5.60），与MaskGIT-VQGAN仅差0.57
RECON导航规划	ATE ↓ / 延迟	ATE 1.330，延迟5.78s（16 token）	SD-VAE: ATE 1.262，延迟178.78s; FlexTok 64-token: ATE 1.484，延迟16.68s	延迟降低约31倍（178.78到5.78s），ATE与SOTA持平且优于FlexTok
SCAND导航规划	ATE ↓ / RPE ↓	ATE 1.358 / RPE 0.336（16 token）	SD-VAE: ATE 1.065 / RPE 0.291; FlexTok 64-token: ATE 1.578 / RPE 0.378	优于FlexTok 64-token（ATE 1.358 vs 1.578），延迟5.78s vs 16.68s
RoboNet动作条件视频预测	APE ↓ / 延迟	APE 0.1122，延迟0.740s（16 token）	Target tokenizer: APE 0.3383，延迟3.826s	APE降低3倍（0.1122 vs 0.3383），延迟降低5.2倍
IDM末端执行器预测（RoboNet）	R² ↑ / L1 ↓	R² 0.716 / L1 0.091（16 token）	MaskGIT-VQGAN: R² 0.684 / L1 0.093（256 token）	R²提升4.7%（0.716 vs 0.684），token数仅1/16
RoboMimic Lift闭环操作	成功率 / 平均步数	56% SR / 55.1 steps（16 token）	Target tokenizer: 56% SR / 66.8 steps	成功率持平，步骤减少17.5%（55.1 vs 66.8）

局限与改进

CompACT存在若干值得注意的局限性。首先，极端压缩不可避免地丢失高频视觉细节。论文的定性结果清晰显示，CompACT生成的重建图像在纹理、阴影、细粒度物体细节上与原图有明显差距——这些细节对于需要精细视觉反馈的任务（如精密装配、物体识别）可能是关键的。其次，CompACT的规划性能在SCAND数据集上仍落后于SD-VAE基线（ATE 1.358 vs 1.065），这表明在某些场景（如社会导航中的复杂人群交互）中，8个token的信息容量可能不足。第三，生成解码器的推理成本高于单步解码（3.87秒 vs 0.65秒），虽然这只占规划总时间的小部分，但如果需要频繁解码（如实时渲染场景），这一开销可能变得显著。第四，论文仅在相对简单的导航任务（直线轨迹假设、仅优化终点和偏航角）和受限的机器人操作任务上进行了验证，对于需要复杂轨迹优化或多目标规划的场景，效果尚不明确。第五，CompACT的tokenizer本身拥有775M参数（加上243M的世界模型），总参数量超过10亿，这对部署在资源受限设备上仍是挑战——尽管规划速度快了，但模型本身的存储和加载开销不可忽视。

独立分析的弱点

从独立分析的角度来看，CompACT有几个值得改进的弱点。第一，论文假设规划只需要低频语义信息，但在实际机器人操作中，物体的精确形状、表面纹理（区分金属和橡胶）等信息对抓取策略至关重要。改进方向是引入自适应压缩——根据任务复杂度动态调整token数量，简单导航用8 token，精细操作用更多token。第二，CEM规划假设轨迹为直线、仅优化终点位置和偏航角，这大大简化了规划空间。对于需要非直线路径（如绕过障碍物）的场景，这种假设会导致规划失败。可以探索在latent空间中使用更灵活的轨迹参数化或基于梯度的优化方法。第三，CompACT的训练依赖ImageNet-1K预训练，但真实机器人数据（如RoboNet）存在显著域差距，需要额外的微调步骤。可以探索在线自适应或更强的数据增强策略来减少域适应成本。第四，生成解码器在推理时需要16步迭代取消遮盖，这限制了实时性。可以探索蒸馏技术或单步生成方法来加速解码。

未来方向

论文在结论和补充材料中暗示了几个研究方向，基于CompACT的成果还可以延伸出更多。首先是扩展到更大规模和更复杂的规划任务——补充材料中展示了将世界模型扩大到750M参数后在RECON上ATE从1.330提升到1.305（延迟仍为SD-VAE的7倍），这表明token效率的提升为模型规模化打开了空间。其次是将CompACT latent空间与强化学习结合，不仅用于在线MPC规划，还可以用于策略学习中的想象训练（imagination-based training），类似于Dreamer系列方法。第三是探索多模态扩展——将语言指令、触觉信号等模态也压缩到同一个紧凑latent空间中，实现多模态条件规划。第四是应用到自动驾驶领域，那里对实时世界模型的需求最为迫切。最后，理论上的规划充分性下界 $H(z) \geq I(o; a^*)$ 可以启发新的信息论框架来指导tokenizer的设计——例如，根据任务最优动作的信息量自适应确定token数量。

复现评估

CompACT的复现条件整体较好。代码和预训练模型已公开在项目主页。核心组件（DINOv3、VQGAN/MaskGIT、FSQ）均有成熟的开源实现。训练分三个阶段：ImageNet预训练500K步（batch 512）、RoboNet微调100K步（batch 128）、世界模型训练100-200K步（batch 128），使用AdamW优化器、1e-4学习率。论文提供了详细的超参数表格。然而，复现的算力门槛较高：DINOv3-B骨干+775M tokenizer+243M世界模型，总参数超过10亿，ImageNet预训练需要多GPU设置。论文中明确指出实验使用单块RTX 6000 ADA GPU测量延迟。数据集方面，ImageNet-1K和RoboNet为公开数据集，RECON、SCAND、HuRoN也是公开的导航数据集。总体而言，对于有充足GPU资源的研究组，复现难度为中等。