离散 WAM：用于世界-策略学习的统一离散视觉-动作标记编辑框架 Discrete-WAM: Unified Discrete Vision-Action Token Editing for World-Policy Learning

方法分为四个主要步骤。第一步是视觉标记化：使用预训练的 VQ-VAE tokenizer 将前视相机图像编码为离散视觉 token。每个输入图像被分割为非重叠 patches，通过量化器编码为离散 token 序列，codebook 大小为 K_V。第二步是动作标记化：给定未来轨迹 H 步，首先用三次样条拟合得到平滑连续曲线，然后计算 ego-centric 2D 加速度，其中 a_x 和 a_y 分别是纵向和横向加速度。构建均匀分布的 2D 加速度词汇表，独立划分 a_x 和 a_y 的有效范围到 N_x 和 N_y 个 bin，形成大小为 N_x 乘 N_y 的网格结构。为避免硬量化的确定性误差，将连续加速度表示为相邻四个词汇条目的软目标。训练时使用交叉熵优化，推理时通过加权平均恢复连续加速度。第三步是统一世界-策略建模：在共享 Transformer 骨干上通过三种训练模式联合学习。世界建模：给定上下文和未来动作预测未来视觉。策略建模：先预测决策再预测动作。世界-策略建模：联合预测动作和视觉，其中是动作和视觉的交错序列。第四步是推理：采用基于置信度的并行离散扩散。通过 r 轮迭代生成轨迹。每轮只接受置信度超过阈值的 token，其余保留给后续轮次精细化。高置信度 token 在连续轮次中保持稳定后可被冻结，不再更新。

技术新颖性体现在四个方面。第一，软标签动作插值。传统离散化使用硬赋值引入确定性误差，论文提出将连续加速度表示为相邻四个词汇条目的软目标，在网格内提供精确插值表示。理论分析显示在完美恢复软目标分布时，连续加速度可以精确重建为相邻原型的加权和，从而消除硬赋值量化误差。第二，统一的多任务预训练框架。通过任务特定的注意力 mask，同一 Transformer 骨干可以同时支持世界建模、策略建模和世界-策略建模，视觉 token 和动作 token 在同一空间中被联合建模和编辑。第三，分层决策建模的理论分析。论文推导了决策条件下的剩余依赖关系 TC(A_U | C_t, D_t) = TC(A_U | C_t) - R_D(U | C_t)，并给出有效决策骨架的充分条件：当决策骨架解释了比剩余骨架条件局部依赖更强的群组级低频依赖时，它可以减少剩余总相关。这为为什么需要决策 token 提供了理论基础。第四，置信度调度的并行离散扩散。论文提出多种调度策略，并分析计算-性能权衡。实验显示在 H20 GPU 上，10 轮离散扩散延迟仍低于自回归解码，证明并行编辑的计算优势。

独立分析的弱点包括：第一，天空区域注意力占用过多注意力质量。虽然消融实验显示天空可能作为隐式全局锚点，但这也意味着模型没有充分利用图像下半部分（道路、车辆）的语义。改进方向是引入显式的 CLS token 或 learnable register token 来吸收全局上下文，让注意力更聚焦于驾驶相关语义。第二，模式平均问题。论文采用模式感知解码（拟合 GMM 并 top-p 采样）来避免连续重构损失平均不兼容模式，但这引入额外近似。改进方向是直接在离散空间优化多模态策略，避免回退到连续空间的模式选择。第三，调度策略的启发式性质。置信度阈值、JS 熵阈值、冻结轮数都是超参数，需要根据场景调优。改进方向是学习调度策略，根据输入复杂度自适应调整编辑轮次和接受标准。第四，RL 后训练的奖励依赖。当前使用 PDMS 作为奖励，但奖励函数可能存在偏差或无法覆盖所有边缘情况。改进方向是从世界模型中学习内在价值函数，实现自监督强化学习，减少对人工奖励的依赖。第五，泛化到长时规划。当前 4 秒规划可能不足以处理复杂交互（如并道博弈）。改进方向是扩展到更长时预测，并通过层次化规划（先粗后细）保持效率。

作者提出的未来研究方向包括：第一，引入语言推理。论文框架目前完全基于视觉和动作，未来可以整合语言监督，通过 VLA（Vision-Language-Action）建模提供更丰富的语义先验和可解释性。第二，探索自适应串并行生成调度。当前调度策略是固定的，未来可以根据输入复杂度（如场景密度、不确定性）自适应选择串行或并行生成，平衡效率和质量。第三，利用世界模型学习内在价值函数，实现自监督强化学习，减少对人工奖励的依赖。第四，扩展到更广泛的自动驾驶和机器人数据集，包括更大规模的内部驾驶数据、多模态推理和交互式现场测试。基于论文成果可延伸的方向包括：第一，多传感器融合。当前主要使用相机，可以扩展到激光雷达、雷达等传感器，设计多模态离散表示。第二，可解释性和因果推理。利用 world-model surprise 和反事实推理能力，开发更好的风险评估和安全保证机制。第三，在线学习和持续改进。利用框架的可编辑特性，实现在线从人类反馈中学习，不断改进策略。第四，跨场景迁移。验证框架从城市驾驶迁移到高速、乡村等不同场景的能力，以及域适应方法。

复现评估方面，论文提供了详细的实现细节和超参数设置。训练在 32 张 NVIDIA H20 GPU 上进行，使用 AdamW 优化器和余弦调度学习率。预训练在 nuPlan 全训练集上进行 200k 步，学习率为 1 乘 10 的负 4 次方。监督微调在 navtrain 数据集上进行 10 epochs，RL 后训练再进行 2 epochs，微调阶段使用 LoRA 适配器，学习率为 1 乘 10 的负 5 次方。视觉 tokenizer codebook 大小 K_V，动作词汇表为 N_x 乘 N_y 的网格结构（具体数值在附录中）。损失函数包括视觉 token 交叉熵、动作 token 交叉熵、加速度回归、轨迹回归、位置分类、特殊 token 分类和决策分类，加权系数平衡各项贡献。推理时的调度策略参数包括置信度阈值、JS 熵阈值、冻结轮数等。论文提到会发布额外的评估结果，但未明确声明代码和模型开源。总体而言，复现难度中等，主要挑战在于大规模数据集（nuPlan）的获取和大量计算资源（32 H20 GPU）的需求。框架设计清晰，模块化良好，如果提供代码和预训练模型，复现应该可行。