世界引导：条件空间中的世界建模用于动作生成 World Guidance: World Modeling in Condition Space for Action Generation

WoG的方法分为两个训练阶段。第一阶段（世界引导）：输入当前观测 $O_t$ 和语言指令 $l$，由Prismatic VLM骨干网络编码得到潜在表示 $z = f(O_t, l)$（取最后一个可学习token的输出特征）。同时，未来观测（从未来T个时间步均匀采样4帧）由冻结的预训练视觉模型编码——默认使用DINOv2提取判别性和语义特征，使用Wan VAE编码器提取生成特征。这些特征被投影到统一的嵌入维度后，由可训练的Q-Former（16个可学习查询token）进行交叉注意力运算，将信息压缩到32维的条件空间得到 $O_c$。条件表示 $O_c$ 被注入到DiT动作头的每个块中，与 $z$ 进行交叉注意力，通过rectified flow预测速度场，损失函数为 $\mathcal{L}_I = \mathbb{E}_{\tau, A}\left[\|v_\theta(A_\tau, \tau, z, O_c) - v^*\|^2\right]$。第二阶段（世界推断）：冻结Q-Former和视觉模型的投影层。引入可学习的查询嵌入，对VLM输出的最后隐藏状态进行交叉注意力，与冻结的未来条件表示 $O_c$ 进行对齐。同时，仅将 $z$ 输入DiT头预测动作。损失函数为 $\mathcal{L}_{II} = \mathbb{E}_{\tau, A}\left[\|v_\theta(A_\tau, \tau, z) - v^*\|^2\right] + \left[1 - S(O_c, f_q(O, l))\right]$，其中 $S$ 表示余弦相似度。通过这种方式，VLA模型被鼓励在其内部表示中编码未来条件信息，从而仅基于 $z$ 就能完成完整的动作推断。

WoG的技术新颖性体现在多个层面。首先，在理论层面，作者提出了一个关于预测空间选择的新准则：非冗余预测空间的信息应该作为动作生成的充分且有效条件。这一准则为未来世界模型设计提供了新的理论指导。其次，在架构设计上，WoG创新性地引入了Q-Former作为未来编码器，实现了从高维视觉特征到低维条件空间的高效压缩——使用16个查询token从数百个视觉token中提取信息，压缩到仅32维的空间。这种压缩不是通过重建损失驱动的，而是通过动作推理管线中的梯度信号自然发现的。第三，在训练策略上，两阶段课程学习的设计具有独到之处：第一阶段通过联合优化发现条件空间，第二阶段通过解耦和对齐实现知识迁移。这种设计使得模型最终能够仅凭当前观测就完成原本需要未来信息才能完成的任务。第四，在数据利用上，WoG展示了从大规模人类操作视频（包括无标注视频）中学习的能力，这在现有方法中是独特的——即使是无标注的人类视频也能通过条件预测监督信号为模型带来性能提升。

本文存在几个值得关注的弱点。首先，条件空间的维度（32维）和Q-Former的查询token数量（16个）是固定的超参数，缺乏理论分析来指导最优选择。对于复杂任务，32维可能不足以编码所有动作相关信息；而对于简单任务，又可能存在不必要的压缩。改进方向：可以设计自适应压缩机制，根据任务复杂度或输入信息的丰富程度动态调整条件空间的维度。其次，两阶段训练增加了管线复杂度和训练成本——第一阶段需要100k步预训练，第二阶段需要50k步，加上30个epoch的微调。改进方向：可以探索单阶段端到端训练方法，例如使用课程学习策略逐步引入条件预测目标。第三，在可变形物体操作上，人类视频的迁移效果不佳，说明条件空间的跨具身迁移能力在精细操作场景下仍有局限。改进方向：可以设计更细粒度的条件空间对齐机制，或引入领域自适应技术来缩小人类和机器人操作之间的条件空间差距。第四，作者选择的视觉编码器组合（DINOv2+SigLIP或DINOv2+Wan VAE）虽然有效，但缺乏系统性的搜索或学习机制来发现最优组合。改进方向：可以引入可学习的编码器选择或权重机制。第五，实验中缺少与最新方法（如π0系列）在真实世界场景中的直接对比，仅有仿真环境的比较，这限制了对WoG实际应用价值的完整评估。

作者在结论中提出了几个未来研究方向。首先，设计更具表达力和效率的条件表示，以更好地处理具有强空间或动作约束的场景——这直接针对当前方法在Stack和Drawer任务上的不足。其次，探索改进的知识蒸馏方法，将预训练视觉模型的能力更有效地转移到条件空间中。第三，从人类视频中学习更通用的条件表示，作者展示了初步的成功但仍有很大提升空间。基于本文成果，还可以延伸出以下研究方向：（1）将WoG的条件空间思想扩展到多模态动作空间，例如同时预测抓取姿态和移动轨迹；（2）探索条件空间的可解释性，理解32维条件中的每个维度编码了什么物理意义；（3）将WoG与强化学习结合，利用条件空间作为奖励函数的中间表示；（4）在更复杂的长时程任务中验证WoG的可扩展性，例如需要多步骤推理的桌面整理任务；（5）探索条件空间在不同机器人平台之间的迁移，验证其作为通用操作知识载体的潜力。

从复现角度来看，本文的复现条件相对友好但仍有一定门槛。代码方面，论文提供了一个项目主页（https://selen-suyue.github.io/WoGNet/），但未明确说明是否开源完整代码。数据方面，预训练使用的是公开的OXE数据集，但真实世界实验使用的是作者自行收集的数据（包括650k条人类操作轨迹、约1920小时的视频数据，以及120条UMI轨迹），这些私有数据的缺乏会限制完全复现真实世界实验结果。算力方面，作者使用NVIDIA RTX 4090进行推理，预训练阶段使用1024的全局batch size，这对计算资源有较高要求。训练细节方面，论文提供了相当详细的超参数设置（学习率、batch size、训练步数等），以及数据集采样比例表，这有助于复现仿真结果。总体而言，仿真环境的复现可行性较高（OXE数据集公开、SIMPLER评估平台公开），但完整复现包括真实世界实验在内的全部结果需要较大的数据收集和计算资源投入。