UniT：迈向人类到人形机器人策略学习与世界建模的统一物理语言 UniT: Toward a Unified Physical Language for Human-to-Humanoid Policy Learning and World Modeling

UniT 的训练和部署可以拆成以下几步。第一步是输入预处理：每个样本是 $(o_t, o_{t+k}, s_t, a_{t:t+k})$ 的四元组，其中 $o$ 是原始像素、$a$ 是本体动作序列；人类和人形机器人动作先 padding 到统一最大长度（如人形 50 维），再分别通过本体专属 MLP 投影。第二步是三支路编码：视觉支路 $E_v$ 冻结 DINOv2 提取特征后用 transformer encoder + learnable queries 总结成 latent $z_v$；动作支路 $E_a$ 把投影后的状态-动作块编码成 $z_a$；融合支路 $E_m$ 把前两者特征拼起来再编码成 $z_m$。第三步是共享 RQ-VAE 量化：$\hat{z}_i = RQ(z_i; \mathcal{C}),\ i\in\{v,a,m\}$，三层残差量化同时精炼粗粒度意图与细粒度动作，所有支路共享码本 $\mathcal{C}$。第四步是交叉重建：每个 $\hat{z}_i$ 都通过共享视觉解码器 $D_v$（以当前帧特征 $f_t$ 为条件）生成 $\hat{f}_{t+k}^{(i)}$，并通过本体专属动作解码器 $D_a$（以当前状态 $s_t$ 为条件）生成 $\hat{a}_{t:t+k}^{(i)}$。第五步是损失聚合：$\mathcal{L} = \sum_{i\in\{v,a,m\}}[\lambda_v \mathcal{L}_{cos}(\hat{f}_{t+k}^{(i)}, f_{t+k}) + \lambda_a \mathcal{L}_{act}(\hat{a}_{t:t+k}^{(i)}, a_{t:t+k})] + \mathcal{L}_{RQ}$，对三支路同时监督视觉余弦相似和动作重建。VLA-UniT 在此基础上冻结 tokenizer，把 $c_t = \text{UniT}(\cdot)$ 当作 VLM 的监督标签（交叉熵预测 token），同时用 flow matching 头从 VLM 最后一层特征生成本体专属动作；WM-UniT 冻结 tokenizer，取动作支路连续特征 $\tilde{z}_a^t$ 经 MLP 投影后通过跨注意力注入 Cosmos Predict 2.5，flow matching 训练未来帧潜在。

UniT 的技术新颖性主要体现在三个方面。其一是「视觉作为跨本体锚」的设定：之前 latent action 工作要么完全依赖本体感知，要么完全依赖像素，没有把视觉当作对齐枢纽；本文显式利用「物理后果跨本体一致」这一先验，将视觉从输入模态升格为对齐锚点。其二是「交叉重建式互信息下界」：用动作↔视觉的双向解码强制两个模态必须互相可预测，这是 KL 拉近（XR-1）和单向重建（Villa-X）都做不到的强约束；它在数学上等价于最小化 $I(z; \text{non-physical})$，最大化 $I(z; \text{physical intent})$。其实验证据是 $\sigma=0.2$ 的动作噪声下 UniT 仅退化 1.7×、动作 tokenizer 退化 2.7×、FAST 退化 10.7×。其三是「token 接口同时服务 VLA 和世界模型」：作者并没有把 UniT 当成策略专属的预处理，而是把它设计成双用途——融合支路 token 给 VLA 当预测目标、动作支路连续特征给视频世界模型当条件信号，让一个表征同时支撑两条范式，并在 t-SNE（图 7）上展示两种下游模型内部表征都被诱导到跨本体对齐，这是已有工作从未在同一框架下验证的。

独立审视论文，至少有几个明显弱点。第一是 ablation 过于干净，缺一个明显的对照组：VLA-Action 在 OOD 上 42.1% 反而比 VLA-Vision 的 45.2% 低，看起来「视觉」比「动作」更重要，但作者把这点解释为动作分布错位，缺乏一个「视觉+动作但只用其中一路做 token」的对照，无法干净拆解「视觉带来的增益」和「动作带来的增益」分别多大。改进方向是在 tokenizer 训练时就分两路监督，再冻结其中一支用于 VLA。第二是 Zero-shot stacking 从 0% 跳到 60% 的飞跃完全依赖人类数据，但作者并没有跨数据集验证（只用 EgoDex basic_pick_place），如果换成不同来源的人类数据（如 Epic-Kitchens、Something-Something）会不会同样有效未验证。改进方向是补充跨人类数据集的消融。第三是 WM-UniT 的世界模型 backbone 是 Cosmos Predict 2.5 这种已经极强的视频基础模型，在 DROID 这种单本体场景下提升幅度很小（PSNR 21.02→21.32、EPE 0.2662→0.2588），换到更弱的基线才更能说明 UniT 条件的价值。改进方向是在自训练的 baseline 上做对比。第四是 cross-reconstruction 损失中超参数 $\lambda_v, \lambda_a$ 的敏感度、码本大小、视觉-动作编码器容量比例等关键超参都没有系统消融，而这些直接决定 UniT 是否真的「视觉锚定」而非「动作主导」。改进方向是补一个 hyperparameter sensitivity 实验。

作者明确点出了三个未来方向。第一是利用 UniT 视觉支路只需要观测对、不需要配对动作标注的特性，去吸收海量的无标注互联网视频（YouTube、Epic-Kitchens），把「物理先验」扩展到人类所有日常任务，而不仅限于 EgoDex 这一类。第二是把 UniT 的统一 token 空间变成策略与世界模型的闭环：策略提出 latent action，世界模型基于此 roll out 出未来视觉帧，再把想象的 rollout 当作 RL reward 或 test-time planning 的搜索目标，作者称之为「shared token space 内自演化」。第三是把 UniT 推广到上半身协调和灵巧操控（dexterous manipulation），从 EgoDex basic_pick_place 这种短程任务扩展到多阶段、长视野、双手灵巧操作。基于结果可延伸的方向还包括：把 UniT 接到 RL post-training 上做 latent-action PPO；把 UniT 作为不同 VLA 之间的协议层，让 GR00T、π0、Octo 共享同一 token 词表做迁移学习；以及利用 UniT 的去噪特性（$\sigma=0.2$ 仍 1.7×）反向清洗大规模人类动作数据集。

从可复现性角度，UniT 处于「方法清楚但工业级细节较厚」的水平。代码方面，作者给出了项目页 https://xpeng-robotics.github.io/unit/ 并承诺开源，但截至论文 v1 没有附带 GitHub 链接或具体仓库；Tokenizer 训练、VLA-UniT 训练、WM-UniT 训练三部分均依赖其内部数据规模（proprietary 32k 机器人轨迹 + 30k EgoDex），其中 32k 是 XPENG 自有数据，外部研究者无法访问；RoboCasa GR1 的 24k 全量轨迹是公开可获取的，可以复用仿真评估。训练算力方面，论文没有披露具体 GPU 类型和总训练小时数，但 GR00T-Qwen2.5 基线本身就需要数百 GPU 小时，UniT 在此基础上还要先训练一个 tri-branch tokenizer 再做 VLA 共训练，叠加后算力门槛很高。难度方面，对一家具备 GR00T / Cosmos 复现经验的研究组来说，UniT 的复现中等偏难：架构清晰、损失公式简洁（公式 2-6）、消融完善，主要难点是 DINOv2 冻结 + Qwen-VL 全参微调 + RQ-VAE 三路同训的工程稳定性，以及在 DROID / EgoDex / RoboCasa 三套数据 pipeline 之间切换的数据治理。对于普通研究组，可以优先复现 tokenizer 的 t-SNE 对齐（图 7a）和去噪实验（图 8）这两个核心论据，这两个只需要 EgoDex 公开数据和相对普通的算力。