X-Planner：面向具身智能的事件结构化任务规划 X-Planner: Event-Structured Task Planning for Embodied Intelligence
以语义事件为规划单元，双接口桥接高层指令与机器人长时程执行
前置知识
VLA（Vision-Language-Action 模型）
在预训练视觉-语言模型上增加动作接口的具身基础模型，输入图像观察和自然语言指令，直接输出连续控制指令。其语义先验支持跨物体、场景和指令的泛化，但动作接口通常被训练成纯反应式的观察到动作映射，没有显式表示任务结构，擅长短技能，难以独立完成需要选择和排序子目标的长时程任务。
X-Planner 的定位正是给这类 VLA/世界-动作模型前面加一个规划前端，理解 VLA 的局限才能理解为什么需要事件结构化规划这一中间层。
CoT 与潜空间推理（Latent CoT）
链式思考（CoT）让模型在输出答案前先生成中间推理文本；潜空间推理则把中间思考压缩成连续向量状态而非离散 token，代表工作有 Coconut、LaDiR。它减少文本序列化开销，但许多方法在潜步之间仍保留自回归依赖，即每个潜状态依赖前一个潜状态。
本文的 Staircase Decoding 就是对潜 CoT 串行依赖的改造，且用冻结语言模型从潜状态重建文本作为语义锚，不懂潜 CoT 无法理解其延迟与可解释性权衡。
UMI（Universal Manipulation Interface）
一种便携式数据采集接口，用夹在手持夹爪上的相机和惯性测量单元收集人类演示，无需机器人即可采集，之后迁移到真实机器人策略训练。它让大规模、低成本的灵巧操作数据成为可能，但手持运动速度快，最细粒度的时间边界难以可靠标注。
UMI 是本文三类规划数据源之一，源相关标注深度（Ego 和 UMI 只有 L1–L3、遥操作才有 L0）这一设计直接来自 UMI 的采集特性。
BERTScore
用预训练语言模型（如 BERT）的上下文 token 表示计算候选文本与参考文本之间 token 相似度，取精确率、召回率的调和平均得到 F1。相比 BLEU 等词面指标，它能容忍同义改写，衡量语义层面的一致性，常用于生成文本评测。
离线规划评测的第一个指标就是无基线重标定的 BERTScore-F1（X-Planner 得 0.9011），需要知道它衡量的是文本语义匹配而非任务成功率。
Task Progress（任务进度分）
真机评测使用的密集打分指标，按任务专属评分细则给 0–100 的部分完成度分数，而非二元的成功/失败。它能刻画部分 grounding 和执行进展，例如抓到了物体但没放进篮子也能得到中间分。
论文所有真机结果（推理操作套件 71.60、泛化套件 53.75 等）都以 Task Progress 报告，不理解该指标就无法解读真机对比。
研究动机
现有 VLA 模型把视觉观察和语言指令直接映射到连续控制指令，动作接口是纯反应式映射，缺少显式的任务结构表示，因此擅长短技能却难以完成需要选择和排序子目标的长时程操作。虽然部分系统引入了 CoT 推理，作者仍指出三个割裂的缺口：数据缺口——规划监督多为任务级描述或固定套件的手写子目标清单，单个 episode 标注会掩盖重抓、接触失败、重试和姿态微调等内部事件结构（一句「拿起物体」背后的事件边界全部消失），且失败样本常只从单一策略收集、过拟合该策略的特征性错误；粒度缺口——推理式规划器被锁定在单一外部粒度，固定语义层级或固定长度 chunk 可能割裂一个行为或把多个行为合并进一个目标；延迟缺口——传统 CoT 逐 token 自回归解码，长 rollout 中串行依赖反复处理重叠的视觉-语言上下文，推迟下一次规划交接，长推理链还容易错误传播，而 Coconut、LaDiR 等潜 CoT 方法在潜步间仍保留自回归依赖。
本文的目标是本文要构建 X-Planner——一个连接高层指令与可执行行为的任务规划前端：给定高层指令、当前多视角观察和可选历史，产出事件结构化表示去条件化下游 world-action 模型。具体目标是在监督和表示两侧同时发力：监督上，融合 Ego、UMI、遥操作三类数据源，统一到 L3 Task/L2 Subtask/L1 Action/L0 Segment 四级分层、按源决定标注深度，并用接管时间标注与人为设计失败演示监督执行过程中的错误识别；表示上，让共享 VLM 主干同时暴露两种规划形式——可解释、可检查、可编辑的离散事件状态，和避免规划器内逐 token 串行的连续潜 CoT 状态；最后在离线两步规划文本质量（BERTScore-F1 与评审 Overall 分）和真机 Task Progress 两个层面验证该接口的有效性。
与已有工作不同的是，本文的独特切入是以「动作对齐的语义事件」为规划单元——一个时间上连贯、可执行的行为片段（如接近、抓取、抬起、放置），其边界跟随行为变化。相比固定长度 chunk，事件在语言上有意义、在视频上可观察、在控制上可实现，恰好占据三者中间地带。架构上的差异点是 Staircase Decoding：不同于 Coconut、LaDiR 及具身潜推理变体让潜步间保留自回归依赖，它把 Transformer 在中继深度 $N_r$ 处切开，低层共享视觉-语言 grounding 计算，上层各潜位置带独立因果缓存并行更新，缩短串行关键路径；再用冻结的潜到文本重建目标为紧凑潜状态提供语义锚，兼顾可解释性与紧凑计算。数据上的差异点则是接管时间标注加人为设计失败，把「正在发生」的错误识别变成可监督目标，而不是只做事后任务级总结。
核心方法
X-Planner 是接在固定 world-action 模型之前的规划前端，主干为 Qwen 系列 VLM（架构图中为 Qwen3.5），提供场景 grounding、事件分解与进度估计。它暴露两种规划形式：离散形式输出结构化事件状态——执行开始给有序初始计划，rollout 中给归一化进度、当前/下一事件、续接状态和执行错误识别（如「把夹爪对齐到红杯上方」），最后一个可用媒体帧处输出 episode 结束标记；潜形式把计划表示为 $K_c$ 个连续 CoT 状态 $\hat{y}_{1:K_c}$，由阶梯分支并行生成并注入下游交叉注意力。两种形式共用文本条件化接口：VLM 隐状态 $H_q$ 经边界掩码 $m_{\text{txt}}$ 选出文本 token，经可学习投影 $P_Q$ 后送入下游原生文本 MLP $M_T$，得 $c_\ell = M_T P_Q(H_q[m_{\text{txt}}])$，与图像 token 一起进入交叉注意力层，在不替换下游文本通路的情况下注入场景消歧与事件上下文。推理时有 event mode（事件文本条件化）与 unified mode（潜状态条件化定长动作块推理）两种部署。
核心创新有三点。其一，事件作为规划与监督单元：数据按行为变化切分事件，使每个规划步骤语言可读、视频可观察、控制可实现；并用接管时间标注和人为设计失败演示把执行中的错误识别变成监督信号，摆脱对单一策略失败分布的依赖。其二，Staircase Decoding：以轻量 Mixture-of-Transformers（MoT）分支耦合冻结 VLM 主干，在中继深度 $N_r$ 处分割——第一个潜位置穿过低层产出所有推理位置共享的中继表示，上层块并行更新各潜状态且每个位置有独立因果缓存，公式化为 $\hat{y}_{1:K_c} = \mathcal{F}_{\text{stair}}(x; N_r)$，其中 $x=(\{V^{(v)}\}_v, \ell, h)$；相对全自回归 rollout，它复用了低层视觉-语言特征。其三，冻结潜到文本重建：前缀投影器 $P_{\text{pref}}$ 把潜序列映射为冻结轻量语言模型嵌入空间中的软前缀 $z_{1:K_c}$，以其条件重建对应文本 CoT 轨迹，保证潜状态保留计划语义，且冻结解码器可把潜计划反渲染为文本供人工检查。
方法步骤详情
方法分四步。第一步构建规划数据：Ego 和 UMI 保留 L1–L3（手持运动快、L0 边界难标注），遥操作覆盖 L0–L3 全四级；视觉与动作流同步清洗后分层标注；对干预 episode 标注接管时间，另录人为设计失败演示；确定性选择从 1654 个候选保留 1500 个分析子集（覆盖全部 167 个数据集、30+1 个任务类、41 个原子动作标签，修剪刚性物体 -3.7pp、Place -3.3pp 等主导模式）。第二步结构化 JSON SFT：每个样本含观察、指令、可选历史和完整紧凑 JSON 目标，对所有 assistant token 自回归监督 $\mathcal{L}_{\text{SFT}} = -\sum_{m \in A} \log p_\theta(y_m \mid x, y_{<m})$，缺失标注层级不产生监督（Ego/UMI 无 L0 不是负标签）。第三步特征对齐：$\mathcal{L}_{\text{align}} = \lambda_{\text{align}} \lVert c_\ell^{\text{VLM}} - c_\ell^{\text{ref}} \rVert^2$ 把规划侧条件表示拉回下游原文本编码器几何。第四步阶梯蒸馏：MoT 分支从 VLM 权重初始化，仅优化阶梯分支与 $P_{\text{pref}}$，冻结 LM 重建标注导出的文本轨迹 $\mathcal{L}_{\text{CoT}} = -\sum_{m=1}^{M_r} \log P_\phi(r_m \mid z_{1:K_c}, r_{<m})$。下游 world-action 模型全程冻结。
技术新颖性
与已有工作的本质区别体现在四个层面。相对 Embodied CoT 等文本子目标方法：X-Planner 不逐 token 串行长推理，事件状态是结构化、可由人或上游智能体检查和编辑的接口，且进度、续接状态和错误识别在结构化响应内联合监督，而非孤立地预测下一个子目标文本。相对 CoT-VLA 等预测子目标图像或光流的视觉方法：它把细粒度时空实现交给下游 world-action 模型，规划层只负责语义事件层，用语义可读性换掉空间生成的开销。相对 Coconut、LaDiR 及具身潜推理变体：多数潜方法在潜步之间保留自回归依赖，阶梯调度则让潜计划状态共享低层 grounding 并在上层并行推进，这是对串行关键路径的结构性削减而非单纯换表示。相对任务级标注数据集：接管时间与人为失败把「正在发生」的错误识别纳入监督。此外论文明确区分三个损失（SFT、对齐、重建）的角色并坦承未做因果消融，这种边界划分本身也是对系统级评测常见混淆的澄清。
实验结果
评测分两层。离线两步规划（Table 2）：X-Planner 的 BERTScore-F1 为 0.9011、Doubao Judge Overall 为 1.411，两项均列四个模型第二——高于 Qwen（0.8878/1.367）和 Doubao（0.8846/1.366），F1 分别领先 0.0133 和 0.0165，但低于 kimi3（0.9108/1.434），F1 差距 0.0097。真机推理操作套件（Figure 5A、Table 3）：事件模式平均 Task Progress 71.60%，超最强基线 U-Scratch（59.50%）12.10 个百分点，其后是 π0.5 56.40%、DreamZero 32.70%、LingBot-VA 31.60%；任务级看，按序按键 64% 对 U-Scratch 18% 提升最大，摘水果入篮 96% 全场最高，整理耳机与 U-Scratch 并列 84%，但物品配对 36% 落后 π0.5 的 77%，形状分类 78% 低于 U-Scratch 的 82%。真机泛化套件（Figure 5B）：共享杂乱桌面、指令变化下 X-Planner 达 53.75%，对最强可用基线 DreamZero（28.50%）领先 25.25 个百分点，π0.5 为 24.00%、U-Scratch 为 18.50%，LingBot-VA 无结果。作者明确：图 5 无误差条（原始记录无试验级分数），应读作报告均值的比较而非显著性分析；真机结果属于完整事件模式系统，无法归因到单个组件。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 离线两步规划：语义匹配 | BERTScore-F1（无基线重标定） | 0.9011（四个模型中第二） | kimi3 0.9108；Qwen 0.8878；Doubao 0.8846 | 较 Qwen +0.0133、较 Doubao +0.0165，较 kimi3 落后 0.0097 |
| 离线两步规划：综合质量 | Overall（Doubao Judge 综合评分） | 1.411（四个模型中第二） | kimi3 1.434；Qwen 1.367；Doubao 1.366 | 较 Qwen +0.044、较 Doubao +0.045，较 kimi3 落后 0.023 |
| 真机推理操作套件（5 个任务：整理耳机/形状分类/按序按键/物品配对/摘水果入篮） | Task Progress（0–100，套件均值） | 71.60（事件模式） | U-Scratch 59.50；π0.5 56.40；DreamZero 32.70；LingBot-VA 31.60 | +12.10 个百分点（vs 最强基线 U-Scratch） |
| 真机泛化套件（共享杂乱桌面 + 指令变化） | Task Progress（0–100，套件均值） | 53.75（事件模式） | DreamZero 28.50；π0.5 24.00；U-Scratch 18.50（LingBot-VA 无结果） | +25.25 个百分点（vs 最强可用基线 DreamZero） |
局限与改进
作者坦承的限制：离线指标是聚合文本/评审分数，不证明物理执行成功或统计显著性；真机结果是完整事件模式系统的系统级比较，未单独估计错误监督数据、离散表示、潜形式、阶梯调度或各训练目标的贡献；两种 plan form 缺乏受控对比；未建立端到端延迟优势（它还取决于周围执行栈与调度）；episode 结束标记只是同步媒体边界而非任务成功证书；训练条件化于标注导出的历史而部署条件化于滚动模型输出，存在 oracle-context 差距；评测限于桌面双臂平台。我自己的补充观察：Overall 指标由 Doubao Judge 打分而 Doubao 同时是被评基线，存在评审偏倚风险，BERTScore 也未做基线重标定，跨模型可比性有限；正文给出的数据统计只描述 1500 集分析子集而非全部三源训练混合的构成与比例；Figure 5 无试验级方差；关键超参 $K_c$、中继深度 $N_r$、损失权重均未在正文给出数值；所有基线（含 π0.5 从 56.40 掉到 24.00）在泛化套件都大幅退化，说明该设置对所有方法都极难，领先幅度可能部分来自数据多样性而非规划结构本身。
独立分析的弱点
独立分析几点弱点。其一，关系推理短板：物品配对仅 36% 远低于 π0.5 的 77%，形状分类 78% 也输给 U-Scratch 的 82%，提示事件粒度的顺序化计划不利于需要持续维持物体间关系约束的任务，改进方向是在事件状态中增加关系谓词槽，或让进度估计以关系验证信号为条件。其二，评测协议可信度：Overall 由 Doubao Judge 评出而 Doubao 本身是基线模型，且离线评测没有试验级方差和显著性检验，建议引入多个独立评审模型加人工评估、报告逐 episode 分数分布。其三，泛化优势的归因不清：所有基线在泛化套件近乎腰斩而 X-Planner 仍达 53.75%，但缺少数据规模/多样性对照实验，无法排除优势来自训练数据而非事件结构，建议做「同数据去事件化」消融。其四，错误识别监督依赖接管标注与人为设计失败，覆盖面受设计者想象力限制，可用仿真故障注入或自动失败挖掘扩充。其五，oracle-context 差距意味着部署时模型可能在自己此前的错误事件状态上继续规划，误差会滚雪球，需要 rollout 对齐训练。
未来方向
作者提出的方向包括：用 rollout 对齐监督缩小训练与部署的 oracle-context 差距（思路类似 DAgger，在模型自身滚动输出上提供监督）；对离散与潜两种 plan form 做受控比较并进行端到端时序测量；把离线事件发现替换为可在执行中在线修订计划的流式过程；把评测扩展到移动或人形平台。基于本文成果还可以延伸：把离散事件状态接口开放给上游 LLM 智能体做计划审阅与编辑，形成「智能体-事件-控制」的层级闭环；研究潜形式 $K_c$ 个状态与下游扩散动作头之间的带宽匹配；利用冻结的潜到文本解码器把潜计划回译成文本，做人机可读的安全审计与失败复盘；把错误识别头与真实干预策略（接管学习）联合训练，让「检测到错误→请求接管」成为可学习的决策。
复现评估
代码在 GitHub 开源（https://github.com/X-Square-Robot/Xplanner），但论文未说明数据集是否发布，只给了 1500 集分析子集的构造协议（确定性选择、固定种子平局裁决）和详尽统计图表（167 个数据集、30+1 任务类、41 个原子动作标签、中位数 5 个子任务、中位时长 37.1 秒等），使数据侧可按协议重建但成本很高。训练细节偏少：$K_c$、中继深度 $N_r$、各损失权重、下游 world-action 骨干的具体规格与规模均未在正文给出，VLM 主干为 Qwen 系列（图示 Qwen3.5），微调多模态 MoT 分支需要相当算力。真机复现要求桌面双臂平台、同步多视角观察、场景随机化协议和任务评分细则，门槛最高；相对而言离线评测（BERTScore + 评审打分）最容易复现。总体属于「代码开源但完整复现困难」级别，适合先复现离线规划评测再考虑真机。
论文图表
五个面板展示 1500 集分析子集的覆盖统计：A 物体类型（刚性 58.2%、微可变形 19.7%、可变形 12.5%）、B 能力（场景 grounding 39.4%、灵巧控制 29.3%、基础操作 26.7%）、C 场景（办公/公共 28.5%、工业 22.1%、家庭 16.1%）；D 每 episode 子任务数 ECDF（中位数 5、P90 15、最大 65）；E episode 时长 ECDF 对数轴（中位数 37.1 秒、P90 113.1 秒、最大 822.7 秒）。
量化了规划数据的语义与时间分布，说明任务以中短时程为主、刚性物体占主导，读者可据此判断该方法覆盖的任务谱系与边界。