OneVL：基于视觉-语言解释的单步潜在推理与规划 OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation
用世界模型辅助的视觉-语言双解码器监督潜在 CoT，让自动驾驶规划在答案级延迟下超越显式 CoT。
前置知识
Vision-Language-Action 模型 (VLA)
VLA 是把视觉编码器、多模态投影器和大型语言模型主干串联起来、最后直接输出动作（轨迹路点或控制信号）的统一模型。它继承了 VLM 的场景理解能力，并把语言推理与控制决策融合到一个端到端可训练的框架中，OneVL 主干就是 Qwen3-VL-4B-Instruct。
理解 VLA 的结构是看懂 OneVL 设计的入口：VLM 提供上下文推理能力，潜在 token 嵌在 assistant 响应中，端到端损失同时监督语言、视觉和轨迹输出。
Chain-of-Thought (CoT) 推理
CoT 让模型在给出最终答案前先生成自然语言推理步骤，迫使模型在 next-token 监督下压缩理解为结构化、可泛化的表征。在自动驾驶中体现为先描述场景再输出轨迹，可显著降低规划错误。
显式 AR CoT 是 OneVL 的性能上界（NAVSIM 上 88.29 PDM-score），也是论文要压缩、但又不能丢失的目标对象。理解 CoT 才有助于体会压缩驱动泛化这一中心假设。
Latent CoT / 隐式推理
把显式 CoT 替换为连续潜在向量（hidden states），例如 COCONUT 的课程学习、CODI 的自蒸馏、SIM-CoT 的辅助解码器。其目标是在保留推理能力的同时去掉逐 token 生成的开销。
OneVL 直接对标 COCONUT/CODI/SIM-CoT，指出它们在自动驾驶上全部失效（PDM-score 比 AR Answer 还低），原因是纯语言潜在表征压缩的是世界的符号抽象而非物理因果动态。
世界模型 (World Model)
学习环境状态转移的模型，给定当前观察和动作预测下一时刻状态。OneVL 的视觉辅助解码器本质上就是短期未来帧预测器（0.5s 和 1.0s 后的图像），充当世界模型辅助监督。
世界模型是 OneVL 的关键创新：它把潜在空间推向必须编码因果动态的方向，使得压缩目标不再是抽象语言，而是可以直接被未来帧重建损失验证的物理结构。
预填充 (Prefill) 推理
Transformer 把 prompt 一次性并行编码（prefill 阶段），再逐 token 解码答案。OneVL 把潜在 token 全部塞进 prefill 阶段，省去逐个生成它们的 AR 开销。
Prefill 是 OneVL 实现 4.46s 与 AR Answer 4.49s 几乎相同延迟的工程基础，也是它能宣称以答案级延迟完成 CoT 推理的核心机制。
压缩视角的智能 (Compression View of Intelligence)
Delétang 等人提出的假说：在 next-token 监督下，模型必须把对世界的理解压缩进有限表征中，越紧的压缩越能保留可泛化的因果结构。OneVL 的双解码器正是为了让压缩目标同时通过语言和视觉两路验证。
这是论文的中心理论支柱，所有设计选择（双模态辅助解码器、三阶段训练、world model 监督）都服务于让潜在空间承载真正可泛化的结构。
研究动机
在 VLA 自动驾驶中，显式 Chain-of-Thought 推理被证明能显著提升轨迹质量，例如在 NAVSIM 上 AR CoT+Answer 比 AR Answer 提升 0.80 PDM-score（88.29 vs 87.47）。但代价是推理延迟成比例增加：在 NAVSIM 上从 4.49s 膨胀到 6.58s，ROADWork 上从 4.74s 暴涨到 10.74s，Impromptu 上从 4.24s 升到 6.84s。在车规级实时系统里这是不可接受的。已有的 latent CoT 路线（COCONUT、CODI、SIM-CoT）正是为了消除这一延迟开销，但在自动驾驶上集体翻车：在 NAVSIM 上 COCONUT 仅 84.84、CODI 83.92、SIM-CoT 84.21，全部低于 AR Answer 的 87.47；在 ROADWork 上同样 COCONUT 15.44 / CODI 16.45 / SIM-CoT 16.49 的 ADE 都比 AR Answer 的 15.98 更差。作者认为这并非工程实现问题，而是设计假设出了问题：纯语言的潜在空间压缩的是世界的符号抽象（语义标签、关系描述），并不包含决定未来轨迹的时空因果动态。
本文的目标是论文的核心目标是设计一个 latent CoT 框架，既保留显式 CoT 带来的泛化能力，又把推理延迟压到 answer-only 水平，并在四个不同自动驾驶基准上同时做到快、准、可解释。具体地，OneVL 要在 NAVSIM 上拿到 88.84 PDM-score（超过 AR CoT 88.29 和此前 SOTA AdaThinkDrive 86.20 / LaST-VLA 87.30），并保持 4.46s 延迟（与 AR Answer 4.49s 几乎相同，是 AR CoT 6.58s 的约 1/1.5）。同时还要在 ROADWork、Impromptu、Alpamayo-R1 三个独立基准上同时取得 SOTA 或可比结果。
与已有工作不同的是，现有 latent CoT 工作的瓶颈是它们用语言描述作为压缩目标。作者观察到，自然语言对驾驶场景的描述本质上是抽象的——它编码语义标签和实体关系，但不编码位置、速度、加速度、交通参与者交互这类决定未来轨迹的几何因果结构。OneVL 的独特切入角度是引入一个视觉世界模型辅助解码器，让视觉潜在 token 必须能解码出 0.5s 和 1.0s 之后的未来帧视觉 token。这个未来帧预测目标是具体的、物理因果的、几何上紧贴轨迹预测的，从而把潜在空间从符号抽象强制推向场景因果动态。同时，论文设计了 Prefill 推理，让潜在 token 在 inference 时被一次性并行塞进 prompt，绕过 latent CoT 仍需逐 token 生成的剩余开销。配套的三阶段训练流程解决了主模型、视觉解码器、语言解码器优化目标冲突的问题，消融实验显示缺少三阶段训练会让 PDM-score 从 88.84 崩到 67.13。
核心方法
OneVL 的核心直觉是：压缩驱动泛化，但压缩目标必须同时通过语言和视觉两条路验证。具体技术路线是：在 Qwen3-VL-4B-Instruct 这个 VLA 主干的 assistant 响应里，插入两类特殊潜在 token——视觉潜在 token（用 4 段 $\langle|\text{latent-vis}|\rangle$ 表示）和语言潜在 token（用 2 段 $\langle|\text{latent}|\rangle$ 表示），用 delimiter 包裹；训练时主 VLM 仍按 next-token 预测损失 $\mathcal{L}_c$ 监督，但这些潜在位置上的 hidden state 会被抽出来，分别送入视觉辅助解码器和语言辅助解码器，分别用未来帧视觉 token 和 CoT 文本作为监督目标；推理时把两个辅助解码器扔掉，潜在 token 全部 prefilled 进 prompt，单次并行通过主模型，再 AR 解码轨迹，整个过程的延迟与 AR Answer 几乎相同。整体框架由一个预备自监督预训练和三个正式训练阶段组成，确保三组件（主 VLM、视觉解码器、语言解码器）从不同起点平稳对齐。
OneVL 的核心创新是把世界模型内嵌为潜在 token 的辅助监督器，而不像 DriveVLA-W0 等工作那样把世界模型作为独立表示学习栈或数据生成器。COCONUT/CODI/SIM-CoT 等 latent CoT 方法只压缩语言描述，得到的潜在空间只能解释语义意图；OneVL 通过预测未来 0.5s 和 1.0s 帧的 IBQ 离散视觉 token，强制视觉潜在 token 编码道路几何演化、agent 轨迹、emerging hazard 等时空因果结构。第二个本质区别是 Prefill 推理：prior latent CoT 的隐藏状态仍按 AR 顺序逐个生成，OneVL 把这些潜在 token 的具体词表身份固定下来、一次性塞进 prefill 阶段，从而真正实现一个并行前向 = 一次推理。第三个本质区别是三阶段训练：先让主 VLM 在轨迹任务上预热 latent 位置，再冻结主 VLM 单独训练两个辅助解码器，最后才解冻所有参数联合优化，这避免了视觉解码器在 latent 还无信息时被迫预测未来帧导致的梯度爆炸。
方法步骤详情
具体步骤分四步。第一步是预备的视觉辅助解码器自监督预训练（13,040 个 optimizer step、global batch size 256、lr=1e-4）：暂时不接入主 VLM，只让视觉解码器从当前帧 ViT embedding 预测 +0.5s 和 +1.0s 的未来视觉 token，损失为 $\mathcal{L}_p = -\sum_{t=1}^{|T^v_y|} \log P_{D_v}(T^v_{y,t} | V, T^v_{y,<t})$，让解码器先学到强大的视觉动态先验。第二步是 Stage 0 主模型预热（2 个 epoch、lr=4e-5、batch 64）：在 assistant 响应里插入 $\langle|\text{start-latent-vis}|\rangle$ + 4 个 $\langle|\text{latent-vis}|\rangle$ + $\end$ + $\langle|\text{start-latent}|\rangle$ + 2 个 $\langle|\text{latent}|\rangle$ + $\end$ + 轨迹答案，训练 ViT、LLM、Aligner 在 $\mathcal{L}_c$ 下学习让这些 latent 位置产生有意义的 hidden state。第三步是 Stage 1 辅助解码器预热（1 个 epoch、lr=1e-4）：冻结主 VLM，只训练 $D_l$ 和 $D_v$，分别最小化 $\mathcal{L}_l = -\sum_{i=1}^{|T^l_y|} \log P_{D_l}(T^l_{y,i} | Z_l, T^l_{y,<i})$ 和 $\mathcal{L}_v = -\sum_{t=1}^{|T^v_y|} \log P_{D_v}(T^v_{y,t} | Z_v, T^v_{y,<t})$，其中 $Z_l = [W_l(V), W_l(H_l)]$、$Z_v = [W_v(V), W_v(H_v)]$，使解码器在稳定的 latent 分布上对齐。第四步是 Stage 2 端到端联合微调（5 个 epoch、lr=1e-4、batch 64、$\lambda_l=1.0$、$\lambda_v=0.1$）：解冻所有参数，最小化 $\mathcal{L} = \mathcal{L}_c + \lambda_l \mathcal{L}_l + \lambda_v \mathcal{L}_v$，让 latent 在三个目标之间形成良性循环。视觉 token 化采用 Emu3.5 IBQ tokenizer，码本大小 131,072，离线生成训练目标。
技术新颖性
技术新颖性主要体现在四个层面。第一，把世界模型监督从独立数据生成器/模拟器转译为潜在 bottleneck 的训练期验证器：传统世界模型用未来帧做数据增广或闭环评估，OneVL 让未来帧视觉 token 重建成为潜在空间是否学到因果动态的直接判据。第二，把压缩驱动泛化这一智能假说落到双模态解码器设计上：语言解码器保证语义意图，视觉解码器保证物理因果，两者共同保证潜在空间既不过于抽象（仅语言）也不过于具体（仅像素），而是承载可泛化的共享因果结构。第三，工程上的 Prefill 机制：把 latent token 的具体词身份（empirically chosen, e.g. 35 个视觉 token + 20 个语言 token）固定下来，作为 prompt 一部分并行处理，绕开了 prior latent CoT 仍 AR 逐 token 生成的关键瓶颈。第四，三阶段训练作为可复用优化范式：消融显示直接联合优化会导致梯度范数从 0.28 暴增到 378.22、PDM-score 跌 21.71 分，证实了 staged curriculum 的必要性，这一发现对其他多模块多目标协同训练都有借鉴意义。
实验结果
实验在四个基准上一致表明 OneVL 是首个超越显式 CoT 的 latent CoT 方法。NAVSIM（Table 1）上 OneVL 拿到 88.84 PDM-score，超过 AdaThinkDrive 86.20 (+2.64) 和 LaST-VLA 87.30 (+1.54)，同时比 AR CoT+Answer 88.29 高 0.55 分；延迟 4.46s 几乎与 AR Answer 的 4.49s 持平，仅为 AR CoT+Answer (6.58s) 的 67.8%。ROADWork（Table 2）上 OneVL 取得 12.49 ADE / 28.80 FDE（像素），比之前 SOTA YNet 22.68/80.78 下降近一半，比 AR CoT+Answer 13.18/29.98 也明显更好；延迟 4.71s 仍与 AR Answer 4.74s 同档。Impromptu（Tables 3-4）上 OneVL ADE 1.34m / FDE 3.70m，比 Impromptu VLA 1.60/4.28 显著提升；L2 误差分时段 1s 0.13 / 2s 0.48 / 3s 1.18 / 4s 2.25，平均 1.01 优于 AR CoT 1.09。Alpamayo-R1（Table 5）上 OneVL ADE 2.62m 优于 Cosmos-Reason 2.86m，FDE 7.53m 略输 7.42m（作者解释 Cosmos-Reason 用了 RL 后训练）。解释质量（Table 6）显示 OneVL 的语言辅助解码器在 Meta Action Acc 上拿到 71.00（SIM-CoT 67.20、AR CoT 73.20），STS 78.26、LLM Judge 79.13，平均 76.13 vs SIM-CoT 74.06。消融（Table 7）拆出视觉解码器贡献 +0.87（87.97→88.84）、语言解码器贡献 +0.31（88.53→88.84）、三阶段训练贡献 +21.71（67.13→88.84），后者证明没有 staged train 模型直接崩溃。Figure 8 进一步显示，没有三阶段训练时视觉解码器解出的 T+1/T+2 帧与输入场景毫无关系，CoT 也退化为模板化错误输出。Figure 1 把四个基准上的准确率 vs 延迟拉到同一图上，OneVL 是唯一同时落在左下高准确率、低延迟区间的点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NAVSIM 规划 (PDM-score) | PDM-score (越高越好) | 88.84 | AdaThinkDrive 86.20 / LaST-VLA 87.30 / AR CoT+Answer 88.29 | 相比此前 SOTA LaST-VLA +1.54；相比 AR CoT+Answer +0.55；视觉解码器贡献 +0.87，语言解码器贡献 +0.31 |
| NAVSIM 推理延迟 | 平均延迟（秒，越低越好） | 4.46s | AR Answer 4.49s / AR CoT+Answer 6.58s | Prefill 后与 AR Answer 几乎相同，是 AR CoT 的 67.8% |
| ROADWork 规划 (ADE/FDE) | ADE / FDE (像素，越低越好) | 12.49 / 28.80 | YNet 22.68/80.78；AR CoT+Answer 13.18/29.98 | 相比 YNet ADE 降低 10.19 像素、FDE 降低 51.98 像素；相比 AR CoT ADE 0.69、FDE 1.18 |
| Impromptu 规划 (ADE/FDE) | ADE / FDE (米，越低越好) | 1.34 / 3.70 | Impromptu VLA 1.60/4.28；AR CoT+Answer 1.42/3.96 | 相比 Impromptu VLA ADE -0.26m、FDE -0.58m；相比 AR CoT ADE -0.08m、FDE -0.26m |
| Impromptu 轨迹 L2 误差 | 1s/2s/3s/4s L2 + 平均 (米) | 0.13 / 0.48 / 1.18 / 2.25, Avg 1.01 | AR CoT+Answer 0.13/0.51/1.27/2.44, Avg 1.09 | 平均 L2 降低 0.08m；3s/4s 长程预测提升最明显 |
| Alpamayo-R1 规划 (ADE/FDE) | ADE / FDE (米，越低越好) | 2.62 / 7.53 | Cosmos-Reason 2.86/7.42；AR CoT+Answer 2.99/8.54 | ADE -0.24 vs Cosmos-Reason；FDE 略输 0.11（Cosmos-Reason 用了 RL 后训练） |
| CoT 解释质量 (NAVSIM) | Meta Action Acc / STS / LLM Judge | 71.00 / 78.26 / 79.13 | SIM-CoT 67.20/76.25/78.73；AR CoT+Answer 73.20/79.75/81.86 | 相比 SIM-CoT 三个指标全面 +3.8/+2.01/+0.40；与 AR CoT 差距收敛到 2.20/1.49/2.73 |
| MLP 头部部署延迟 (NAVSIM) | PDM-score / 延迟 (秒) | 86.83 / 0.24s (≈4.16 Hz) | AR CoT+Answer – / 4.46s | 延迟仅为 AR 模型的 5.4%，并保持 86.83 PDM-score |
局限与改进
作者承认的局限性主要有三点。第一，训练时需要同时容纳三个 4B 模型实例（主 VLM、视觉解码器、语言解码器），整体显存需求约为基线的 3×，仅靠 DeepSpeed ZeRO-2 缓解，对基础设施仍有较高门槛。第二，视觉/语言潜在 token 数量（$C_v=4$、$C_t=2$）以及对应的 35/20 个词表身份是基于经验选择的，论文未给出 token 数量与表征能力之间的系统消融。第三，轨迹 token 本身仍以自回归方式生成，即便 Prefill 省掉了 latent CoT 的 AR 开销，剩余 AR 解码仍是车规部署的主要延迟来源。基于这些论文结果，独立观察还可补充两点：第四，超越显式 CoT 的优势在不同基准并不一致——Alpamayo-R1 FDE 上 OneVL 7.53m 反输 Cosmos-Reason 7.42m，说明 world model 监督的收益与数据集/标注噪声/RL 后训练都有关。第五，Prefill 即并行依赖于具体的 transformer 内核实现（FlashAttention 等），在不同推理框架（TensorRT-LLM、ONNX Runtime）下能否保持 4.46s≈4.49s 的等价延迟还需独立验证。
独立分析的弱点
从独立视角，OneVL 主要有四个可改进的弱点。第一个是视觉解码器目标分辨率受限于 IBQ tokenizer 的 512×512 输入，未来帧的细节（远处行人、信号灯颜色）很可能在 token 化时已损失，这解释了为何 1.0s 远处预测的视觉解释仍然较粗，并限制了对快速突变场景（如突然窜出的非机动车）的反应。改进方向是用更高分辨率 tokenizer 或金字塔式多尺度 token 化。第二个是双模态解码器只在训练时存在，意味着训练-推理分布的 latent 编码方式存在隐式不一致（推理时没有解码器反馈信号），长期看可以加入解码器蒸馏回主模型的机制，让推理时的输出也对齐训练时的语义。第三个是 CoT 标签质量参差——NAVSIM 用 AdaThinkDrive 标注、ROADWork 走自建 pipeline、Alpamayo-R1 用官方 checkpoint 自跑、Impromptu 用原数据集 Q&A 加 root-cause 增强，标签噪声在各基准上分布不同，这可以解释 Alpamayo-R1 FDE 上 OneVL 反输的原因；改进方向是统一多源 CoT 标签协议或加入 CoT 标签去偏模块。第四个是 staged training 的三阶段需要精细的超参（学习率 4e-5→1e-4、batch 64），迁移到其他 VLA 主干（如 LLaVA、InternVL）时需要重做 sweep，缺乏一键迁移能力。
未来方向
作者明确点出三条未来方向。第一，轨迹 AR 解码仍是主要延迟瓶颈，应当探索并行或非自回归的轨迹解码（例如 flow matching、扩散式轨迹生成），把 OneVL 的 0.24s MLP 部署路径推到端到端。第二，把视觉世界模型解码器扩展到多相机输入，实现 360° 未来场景预测，这能进一步强化对侧方切入车辆、盲区行人的因果建模。第三，把双模态解释（视觉 + 文本）作为人机交互界面和 RL 训练信号——驾驶员可看到未来帧和 CoT，系统可把视觉/语言解释作为 reward shaping 的高阶信号。除作者提出的方向外，还可以延伸出几条思路：用 OneVL 的 latent bottleneck 作为多任务预训练 backbone，复用到预测、感知、问答等任务；引入更长的未来帧预测（2s、3s）测试 world model 监督的边际收益是否饱和；以及探索更紧凑的潜在 token 设计（如 dynamic token pruning）。
复现评估
复现性整体较好但有一定门槛。论文明确给出 GitHub 仓库 https://github.com/xiaomi-research/OneVL 和项目页 https://Xiaomi-Embodied-Intelligence.github.io/OneVL，所有 CoT 标注的构建细节在 Appendix A.3（NAVSIM/ROADWork/Impromptu/Alpamayo-R1 四套独立 pipeline）和 A.4（LLM-as-Judge 提示词）公开。训练超参列在 Table 9：预备预训练 13,040 steps + global batch 256，Stage 0/1/2 分别 2/1/5 epoch、batch 64，$\lambda_l=1.0$、$\lambda_v=0.1$，统一 BF16 + ZeRO-2 + AdamW + Cosine。数据规模方面，NAVSIM/ROADWork/Impromptu/Alpamayo-R1 各自规模未在主文给出，但 Alpamayo-R1 是从可用视频片段里 subsample 700 例子作 test。算力方面 4B 规模 + 三组件 + 13k 步预备训练估计需要 32-64 张 A100/H100 几天到一周。复现难度中等偏上：潜在 token 数量、词表身份（35/20）是经验性的，三阶段顺序和超参都需重做 sweep；视觉 tokenizer 的离线生成也需要复现 IBQ 流程。
论文图表
