统一世界建模、语言推理与动作合成的世界-语言-动作模型 World-Language-Action Model for Unified World Modeling, Language Reasoning, and Action Synthesis
提出WLA模型统一世界建模、语言推理和机器人控制，实现高效长时程任务执行
前置知识
世界模型（World Model）
世界模型是学习和预测环境动态的模型，通过观察当前状态来预测未来状态。在机器人控制中，它通常用于预测未来的视觉观察或低维状态表示，为策略学习提供先验知识，帮助机器人在未知环境中做出更明智的决策。
本文的核心就是将世界建模与动作生成结合，理解世界模型的基本概念和工作原理是读懂本文创新点的基础。
自回归Transformer（AR Transformer）
自回归Transformer是一种按序列顺序生成内容的模型，每一步生成依赖于之前生成的所有内容。与双向Transformer可以同时看到整个序列不同，AR Transformer只能访问当前位置之前的信息，这种特性使其天然适合生成式任务，特别是文本生成。
本文采用AR Transformer而非传统WAM使用的双向扩散Transformer，这是本文架构的关键选择，需要理解两者的区别。
Flow Matching
Flow Matching是一种生成模型训练方法，通过学习从噪声分布到目标分布的连续变换路径来生成样本。与扩散模型类似但更高效，它定义了一个向量场，使得沿着这个向量场移动可以从噪声逐步恢复出目标数据。
本文使用Flow Matching作为World Expert和Action Expert的损失函数，理解其原理有助于理解模型训练过程。
具身智能（Embodied AI）
具身智能是指具有物理实体的AI系统（如机器人）通过与环境交互来学习和执行任务的能力。它强调感知、认知和动作的统一，系统需要理解物理世界、进行推理决策，并最终执行具体的物理操作。
本文的研究对象就是具身智能系统中的机器人控制问题，理解具身智能的基本框架有助于理解论文的定位和应用场景。
研究动机
现有世界-动作模型（WAM）几乎完全专注于预测下一个视觉状态，这给模型带来了低级细节的负担，限制了其语义推理和外推能力。WAM通常基于双向扩散Transformer（DiT）构建，缺乏语言生成能力，导致在高层次规划和推理方面受到限制。另一方面，视觉-语言-动作（VLA）模型虽然具备语言推理能力，但往往难以捕捉物理动力学，且缺乏视觉监督导致训练信号不足，制约了模型的性能。具体来说，在RoboTwin 2.0等基准测试中，现有方法在长时程、依赖记忆的任务上表现不佳，例如Fast-WAM在RMBench上的平均成功率仅为13.3%，而最佳基线Mem-0也仅达到28.5%。此外，现有方法在推理效率方面也存在问题，如Motus的推理延迟高达约1600ms，难以满足实时控制需求。
本文的目标是本文提出世界-语言-动作（WLA）模型作为一类新的具身基础模型，旨在统一世界建模、语言推理和动作合成。WLA的核心目标是预测下一个状态时同时包含高层文本意图和低层物理动力学，前者提供紧凑且高度可泛化的抽象表示，后者作为高层次意图和精细运动控制之间的桥梁。具体而言，WLA希望实现以下目标：一是利用自回归Transformer作为骨干网络，继承现有视觉-语言模型的语言建模能力和上下文管理方案；二是通过World Expert预测未来视觉状态，通过Action Expert生成可执行动作；三是在推理时可以禁用World Expert以实现低延迟控制，同时支持测试时扩展（TTS）模式以提升性能；四是在多任务和长时程任务上取得最先进的性能，同时保持高效的推理速度。
与已有工作不同的是，本文的独特切入角度在于重新定义了下一个状态的表示形式。传统WAM将下一状态建模为视觉图像，而本文认为下一状态应该同时包含语义层面的文本意图和物理层面的动力学信息。这种双重表示使模型能够将高层次的语言推理直接指导低层的动作生成，这是VLA模型很少做到的。此外，本文采用自回归Transformer而非双向扩散Transformer作为骨干网络，这与现有WAM形成鲜明对比。更重要的是，本文提出了一种端到端的训练框架，通过meta-query架构让World Expert和Action Expert共享参数学习，而非传统的两阶段流水线。这种隐式范式使World Expert可以在推理时完全丢弃，显著降低了测试时延迟，这与传统的先预测图像再执行动作的WAM方法有本质区别。
核心方法
WLA的整体思路是使用自回归Transformer作为骨干网络，通过两种互补的表示来预测下一个状态：高层文本意图和低层物理动力学。文本意图提供状态演化的语义蓝图，为机器人行为提供全局指导；物理动力学捕捉状态转换，将高层次指令落地到低层运动模式。模型包含三个核心组件：AR Transformer骨干网络用于下一状态预测，World Expert用于预测未来观察，Action Expert用于动作生成。在训练时，模型通过meta-query架构将上下文信息聚合到物理动力学表示中，World Expert基于这个表示预测未来视觉状态，Action Expert基于这个表示生成可执行动作。在推理时，World Expert可以被完全禁用以实现高效推理，同时支持测试时扩展模式，通过采样多个候选动作块并使用值模型评分来选择最佳动作。
WLA的核心创新点在于采用自回归Transformer作为骨干网络，而非传统WAM使用的双向扩散Transformer。这一选择使模型能够原生支持文本生成，继承现有VLM的语言建模能力。与VLA模型相比，WLA的独特之处在于使用高层文本意图来指导物理动力学和动作预测的生成，而VLA很少这样做。另一个关键创新是引入了World Expert和Action Expert的双专家架构，通过meta-query机制让物理动力学表示隐式地影响动作生成。这种设计使World Expert可以在推理时完全禁用，显著降低了测试时延迟。此外，WLA支持从跨具身机器人视频中学习新任务，即使没有动作标注，这通过共享的物理动力学表示和文本意图接口实现了强大的泛化能力。
方法步骤详情
WLA方法的步骤可以描述如下。首先，模型在时间步t处理当前观察o_t、历史观察o_{t-h}、本体感受状态q_t和指令ℓ。AR Transformer骨干网络f预测一个n步动作块a_{t:t+n}，在此之前预测文本意图ℓ_hat和未来视觉状态o_{t+n}。文本意图学习阶段，模型从原始指令构建中间子任务序列L_hat，每个子任务ℓ_hat_k关联一个时间段[s_k, e_k]。WLA被训练为预测一个连续子任务窗口S_t，这个窗口覆盖即将到来的动作范围[t, t+n]，计算公式为S_t = f(o_{t-h}, o_t, ℓ, M)，其中M是记忆缓冲区。物理动力学建模阶段，模型在AR Transformer的上下文中附加一组meta-query Q，让它们通过因果注意力聚合上下文信息，使用输出定义物理动力学h_t = f(o_{t-h}, o_t, ℓ, M, S_t, Q)。World Expert f_wm接受h_t和原始状态o_t的表示来预测未来视觉状态o_{t+n} = f_wm(h_t, o_t)。动作生成阶段，Action Expert f_act基于物理动力学和本体感受状态生成动作a_{t:t+n} = f_act(h_t, q_t)。训练目标采用联合损失函数L = L_act + α L_wm + β L_lang，其中L_act和L_wm是flow matching损失，L_lang是交叉熵损失。推理时，模型可以采用高效模式（禁用World Expert）或测试时扩展模式（启用World Expert并使用值模型评分）。
技术新颖性
WLA的技术新颖性体现在多个方面。首先，这是首个将世界建模、语言推理和动作合成统一在单一框架中的具身基础模型，打破了传统WAM和VLA之间的界限。其次，meta-query架构的创新设计使得世界预测通过隐式参数更新而非显式条件建模来影响动作生成，这是对传统图像然后动作范式的根本性改变。第三，测试时扩展（TTS）模式是一种新颖的机器人控制范式，通过在想象空间中采样多个候选轨迹并使用值模型评分，可以在不影响真实环境的情况下拒绝可能失败的轨迹。第四，WLA展示了从跨具身机器人视频中学习新任务的能力，即使没有动作标注，这是通过共享的物理动力学表示和文本意图接口实现的，为可扩展的跨具身机器人学习提供了新的方向。最后，WLA在推理效率方面的创新——通过禁用World Expert实现约40ms的推理延迟——使得实时控制在动态环境中成为可能，这在实际应用中具有重要意义。
实验结果
WLA-0在多个基准测试中取得了最先进的性能，同时保持了高效的推理速度。在RoboTwin 2.0基准测试中，WLA-0在Clean环境下实现了92.94%的成功率，在Randomized环境下达到90.02%，在所有LIBERO子任务（Spatial、Object、Goal、Long）上平均成功率达到98.6%，显著优于所有WAM和VLA基线。特别值得注意的是，WLA-0仅使用2B活跃参数且无需具身预训练就达到了这些性能，而基线方法如Motus使用8B参数且需要预训练。在长时程、依赖记忆的RMBench基准测试中，WLA-0取得了56.5%的平均成功率，几乎是最佳基线Mem-0（28.5%）的两倍，这充分展示了WLA在语言推理和记忆利用方面的优势。消融实验表明，移除World Expert损失（-Lwm）后，RoboTwin 2.0 Clean成功率从92.94%降至90.98%，证明了未来状态预测对动作生成的细化作用。移除语言子任务预测损失（-Llang）后，RMBench平均成功率从56.5%降至17.3%，强调了语义级文本子任务在长时程进度跟踪和动作生成中的重要性。在真实世界实验中，WLA-0在动态的Dispose Trash任务上表现最佳，推理延迟仅为29.0ms，比Motus（约1600ms）低约55倍，任务完成时间为1529.8秒，比Motus（约1600秒）快约4.2%。在测试时扩展模式下，通过6个候选和想象跨度为2，LIBERO平均成功率从98.6%提升到98.9%。在从视频中学习新任务的实验中，使用未见任务的同具身视频训练后，平均成功率达到34.4%（Clean）/30.0%（Randomized），是基线（13.0%/11.6%）的近3倍；使用跨具身视频训练后，成功率达到28.8%/27.4%，展示了强大的跨具身迁移能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 Clean | Success Rate | 92.94% | Fast-WAM: 91.88% | +1.06% |
| LIBERO Average | Success Rate | 98.6% | Fast-WAM: 97.6% | +1.0% |
| RMBench Average | Success Rate | 56.5% | Mem-0: 28.5% | +28.0% |
| Real-world Inference Latency | Latency (ms) | 29.0 | Motus: ~1600 | 55x faster |
| Learning from Unseen Videos | Success Rate (Clean/Rand.) | 34.4%/30.0% | 13.0%/11.6% | ~2.6x |
局限与改进
作者在论文中承认了几个局限性。首先，真实世界实验目前仅限于单个机器人平台上的少量双臂任务，需要在更多具身和任务领域进行更广泛的评估以进一步确立其通用性。其次，基于视频的任务学习实验依赖于模拟机器人视频进行监督，在真实世界视频上的泛化能力尚待验证。此外，虽然WLA展示了从跨具身视频中学习的能力，但在完全未见任务上的成功率仍有提升空间，如+Unseen Cross-Emb. Video设置下平均成功率为28.8%/27.4%，相比同具身视频的34.4%/30.0%有所下降。从技术角度看，WLA需要训练多个专家组件（World Expert、Action Expert、值模型），增加了训练复杂度和计算资源需求。测试时扩展模式虽然能提升性能，但需要额外的推理时间和计算资源，在某些资源受限的场景下可能不适用。最后，论文中的真实世界实验仅评估了四个长时程任务，任务多样性有限，更广泛的任务类型评估将进一步验证模型的泛化能力。
独立分析的弱点
WLA存在几个可以改进的弱点。首先，模型的性能在部分任务上仍有提升空间，例如在RMBench的Battery Try任务上成功率为45%，虽然优于基线但仍有失败案例。这表明模型在处理某些复杂交互场景时可能不够鲁棒。改进方向可以是引入更丰富的物理动力学表示，或者增加对抗训练以提升鲁棒性。其次，跨具身迁移能力虽然展示了潜力，但成功率相比同具身设置有所下降（28.8% vs 34.4%），说明跨具身对齐仍有优化空间。可以通过引入具身不变的特征学习、对比学习或多任务学习来提升跨具身泛化能力。第三，测试时扩展模式需要额外的推理时间，在严格的实时约束下可能不可行。可以探索更高效的候选采样策略、早停机制，或者训练一个更轻量级的值模型。第四，模型依赖高质量的子任务标注，在某些任务中可能难以获得。可以考虑引入弱监督或自监督的子任务发现方法，减少对标注数据的依赖。第五，真实世界评估的范围有限，更多样的任务和环境将更能验证模型的实用性。未来工作可以在更多类型的机器人（如移动机器人、人形机器人）和更多样的任务领域（如家庭服务、工业制造）中进行评估。
未来方向
作者提出的未来研究方向包括在更多样的具身和任务领域进行广泛评估以确立模型的通用性。基于论文的成果，可以延伸出多个有前景的研究方向。首先，可以探索将WLA扩展到更长的时程任务和更复杂的环境，例如多机器人协作任务或开放世界的持续学习场景。这需要进一步优化记忆管理机制和长期规划能力。其次，可以研究更高效的测试时扩展策略，例如自适应采样、动态想象跨度调整，或者学习一个策略网络来指导候选采样，从而在性能和效率之间取得更好的平衡。第三，可以探索将WLA与强化学习结合，利用环境交互信号进一步提升策略性能，特别是在稀疏奖励或探索需求高的场景中。第四，可以研究从人类第一视角视频中学习的能力，这将极大地扩展可用的训练数据来源，并可能实现从人类演示到机器人控制的直接迁移。第五，可以探索模型压缩和蒸馏技术，将WLA的多个专家组件整合到更紧凑的架构中，以便在资源受限的边缘设备上部署。最后，可以研究WLA在安全关键场景中的应用，例如自动驾驶或医疗机器人，这需要引入安全约束、不确定性量化等技术。
复现评估
论文的复现性评估如下。代码已在GitHub上开源（https://github.com/SJTU-DENG-Lab/WLA），这是一个积极的信号。模型实现使用了RynnBrain-2B（2.1B参数）作为骨干网络，SANA-600M（900M参数包括VAE）作为World Expert，以及一个flow-matching头（390M参数）作为Action Expert，总参数量为3.4B，但推理时仅激活2B参数。训练使用了DeepSpeed进行分布式训练，优化器为AdamW（权重衰减1×10^-8，梯度裁剪1.0），学习率遵循余弦调度（基础学习率5×10^-5，最小学习率5×10^-6，1000步预热），损失权重设置为α = 0.1和β = 0.005。RoboTwin 2.0训练使用了混合演示数据集（2500个clean场景轨迹和25000个强随机化轨迹），训练100k步，全局batch大小为256。LIBERO训练在所有四个子任务上进行，100k步，batch大小为256。RMBench采用单任务训练设置，每任务训练30k步，全局batch大小为448。真实世界实验收集了60个演示。从算力需求来看，训练需要多GPU分布式训练，推理在单个NVIDIA RTX 5090上进行，延迟约40ms。整体来看，论文提供了较为详细的实现细节和开源代码，复现难度中等偏高，主要挑战在于计算资源需求和对多个专家组件的训练协调。
论文图表
