LangForce：通过潜在动作查询对视觉语言动作模型进行贝叶斯分解 BayesianVLA: Bayesian Decomposition of Vision Language Action Models via Latent Action Queries

LangForce的训练流程包含以下步骤：(1) **输入构造**：将视觉观测 $v$ 编码为视觉token，语言指令 $\ell$ 编码为语言token，同时引入 $K=64$ 个可学习的潜在动作查询token $Q = \{\langle|\text{action}_1|\rangle, \ldots, \langle|\text{action}_K|\rangle\}$。(2) **先验分支（Priori Branch）**：构造输入序列 $[v, Q, \ell]$，由于因果掩码，$Q$ 只能注意 $v$ 而不能注意 $\ell$。提取 $Q$ 的隐藏状态 $H_Q^{\text{prior}}$，detach后送入DiT动作解码器，用流匹配损失 $\mathcal{L}_{\text{prior}}$ 训练。(3) **后验分支（Posteriori Branch）**：构造输入序列 $[v, \ell, Q]$，$Q$ 可以同时注意 $v$ 和 $\ell$。提取 $H_Q^{\text{post}}$ 送入DiT，用流匹配损失 $\mathcal{L}_{\text{main}}$ 训练。(4) **LLR计算**：在先验分支中，语言token能注意 $[v, Q]$（$Q$ 编码了先验动作信息），因此语言预测概率近似 $p(\ell|v, a_{\text{prior}})$；在后验分支中，用stop-gradient计算基线 $p(\ell|v)$。LLR损失为 $\mathcal{L}_{LLR} = \log p(\ell|v, H_Q^{\text{prior}}) - \text{sg}(\log p(\ell|v))$。(5) **总损失**：$\mathcal{L}_{\text{total}} = (1-\lambda)\mathcal{L}_{FM}(\psi; H_Q^{\text{post}}) + \lambda\mathcal{L}_{FM}(\psi; H_Q^{\text{prior}}) - \beta\mathcal{L}_{LLR}$，其中 $\lambda=0.3$，$\beta=0.1$。(6) **推理**：仅使用后验分支，不增加额外计算开销。

LangForce的技术新颖性体现在多个层面。首先，在问题定义上，它是首个将VLA训练中的视觉捷径问题从信息论角度形式化的工作，用条件互信息坍缩来解释为什么标准VLA模型在OOD场景失败。其次，在方法设计上，LLR目标函数直接优化点式互信息，这与此前通过辅助损失（如语言重建）间接鼓励语言使用的做法有本质区别——辅助语言预测损失实际上会强化视觉到指令的映射（$p(\ell|v)$），反而加剧视觉捷径。第三，在架构上，潜在动作查询token的设计使得VLM到动作解码器的接口从 $O(N^2)$ 降低到 $O(K^2)$（$N$ 为视觉+语言token数，$K=64$ 为查询token数），既实现了信息瓶颈又提升了计算效率。第四，与BayesVLA的两阶段训练不同，LangForce是单阶段端到端训练，双分支共享VLM权重，训练流程更简洁。最后，该方法在推理时无需额外分支，保持了与基线相同的推理速度。

尽管LangForce取得了显著成果，我观察到以下几个值得深入探讨的弱点：(1) **先验分支的信息泄露风险**：先验分支的输入序列是 $[v, Q, \ell]$，虽然因果掩码阻止 $Q$ 注意 $\ell$，但 $\ell$ 的embedding仍在序列中，训练过程中VLM的共享参数可能通过 $\ell$ 的梯度信号间接获得信息。作者通过detach $H_Q^{\text{prior}}$ 来缓解，但共享backbone的参数更新仍然同时受两个分支影响，理论上无法完全隔离。改进方向：可以考虑对先验分支使用独立的LoRA适配器或更彻底的梯度隔离。(2) **LLR损失的语言建模代理不够精确**：用VLM的语言建模损失近似 $\log p(\ell|\cdot)$ 是一种简化，因为VLM的语言建模目标是next-token prediction，而非整个指令序列的似然。对于短指令这种近似可能合理，但对于长指令或复杂语言描述，累积误差可能影响优化信号的质量。改进方向：可以探索使用对比学习目标或专用的语言-动作对齐损失来更精确地估计PMI。(3) **对数据集多样性的隐式假设**：LLR目标的有效性依赖于数据集中存在一定的视觉歧义场景。如果训练数据完全是「一个场景对应一个任务」的确定性映射，即使优化LLR，模型也可能缺乏学习语言条件策略的训练信号。改进方向：可以主动构造或增强训练数据中的歧义场景，例如混合不同任务在同一视觉环境中的演示。(4) **潜在动作查询数量的权衡**：消融实验显示64个查询token是最优的，但这可能与任务复杂度相关——简单任务可能需要更少，复杂任务可能需要更多。改进方向：可以设计自适应的查询数量机制，根据输入场景的复杂度动态调整。

作者在论文讨论部分提出了几个有价值的研究方向：(1) **数据收集策略的革新**：优先在歧义场景中收集数据，使同一视觉环境对应多个不同任务，从数据源头提高 $H(\ell|v)$，迫使模型依赖语言。(2) **利用人类视频数据**：人类活动天然具有多模态和上下文依赖性，同一环境中往往包含多种行为，可能产生不那么尖锐的 $p(\ell|v)$。将人类数据（如HRDT、PhysBrain等工作）注入训练可能帮助缓解信息坍缩。(3) **与世界模型的结合**：从贝叶斯角度，世界模型可以被视为另一种分解形式——通过「想象」与指令一致的未来状态 $v_{t+1}$，然后通过逆动力学推断最优动作。世界模型对动作的高敏感性可能天然防止信息坍缩。(4) **扩展到灵巧操作**：当前实验局限于简单抓放，将LangForce框架扩展到接触密集型操作（如拧瓶盖、折叠衣物）是重要的验证方向。(5) **自适应超参数**：设计根据训练过程中的互信息估计自动调整 $\lambda$ 和 $\beta$ 的机制，减少人工调参需求。

LangForce的复现条件总体较为友好。**开源情况**：论文声明代码和视频已开源（https://github.com/），基于StarVLA框架构建，这大大降低了复现门槛。**数据集**：训练使用的是公开数据集——BridgeDataV2、Fractal（SimplerEnv任务）和PhysicalAI-Robotics-GR00T-X-Embodiment-Sim（RoboCasa任务），这些数据集均可公开获取。**算力需求**：训练在8块NVIDIA H100 GPU上进行，batch size为16/卡，共50k步。这对大多数研究团队来说是可承受的，但对个人研究者可能仍有门槛。**实现复杂度**：核心修改包括扩展VLM词汇表（添加64个可学习token）、实现双分支输入构造、以及实现LLR损失函数。这些修改相对清晰，不涉及复杂的工程trick。**关键注意事项**：(1) 需要熟悉StarVLA框架的代码结构；(2) 需要正确实现因果掩码的信息隔离，这是方法正确性的关键；(3) prefix prefill策略对训练效率很重要但非必须；(4) $\lambda=0.3$、$\beta=0.1$ 的超参数在SimplerEnv上验证，迁移到其他任务可能需要调参。总体而言，复现难度中等，一个有VLA训练经验的团队应该能在1-2周内完成复现。