PhysBrain 1.5：从视觉语言模型到物理基础模型 PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models

第一步（动作表示与分词）：用 Human-as-Humanoid 从人类视频恢复手腕轨迹（保留双腕位姿、去除手指），真机数据做同样处理；动作目标 $a_{t,k}=[\,p_{t+k}-p_t,\ \rho_6(R_t^\top R_{t+k}),\ g_{t+k}\,]\in\mathbb{R}^{10}$，$H=16$，全部锚定当前位姿 $(p_t,R_t)$ 不逐步累积，物理单位标准化、平移做语料级归一化；ActionPiece 在 2,870 万段 16 步轨迹（共 4.592 亿动作时间步）上训练出 512 词动作码本，每条手腕轨迹编成 32 个 token，左右腕共用同一码本。第二步（视觉 token 化）：共享 VQ-VAE 以 $128\times128$ 输入输出 $16\times16=256$ 码（$K=16{,}384$），深度线性映射到 $[-1,1]$、单通道复制成三通道；未来状态序列 = 起始符 + 三模态逐位置交错 + 结束符，共 770 token；推理时去交错后用冻结 VQ 解码器分别还原 RGB/深度/掩码。第三步（数据构建）：预训练聚合 Ego4D、Ego-Exo4D、EgoDex、EgoLife 及自建 PhysBrain-Human、PhysBrain-Ego360 等约 3 万小时人类视频，切分为任务级片段后产出 24.3M 感知样本（伪标签+字幕+VQA）、31.2M 动作样本、26.8M 未来状态样本（RGB+深度+手臂数字掩码），另加 14.9M 通用指令数据；SFT 加入 17 个真机/仿真来源（双臂 987h、单臂 1,339h、仿真 294h）与 500h 高质量人类动作共 5.4M 动作样本、6.61M 理解样本（500K 基础感知 + 2.36M 空间多视角 + 1.65M 推理规划 + 1.8M grounding/affordance + 300K 轨迹）、1.2M 未来状态样本（深度用 MoGe-2 生成、掩码用 RoboEngine），并混 1M 通用数据防遗忘。第四步（训练）：ms-swift + Megatron-Core，两阶段各 1 epoch，第二阶段从第一阶段 checkpoint 初始化；Adam（$\beta_1=0.9$、$\beta_2=0.95$、$\epsilon=10^{-8}$、权重衰减 0.1），峰值学习率 $2\times10^{-5}$、前 3% 步 warmup 后余弦衰减，序列长度 32,768、启用 packing、全局 batch 约 2K 样本，梯度裁剪 1.0，bf16。第五步（推理）：理解任务直接文本回答；动作任务自回归生成 32 个动作 token 后由 ActionPiece 解码为左右腕轨迹；未来预测生成 770 个 VQ token 后解码为三种模态。

第一，统一性做到'一词表、一头、一目标'：多数工作给动作加扩散头或回归头、给世界模型加像素重建损失，而本文动作与视觉完全走 LM 输出头，训练全程不引入模态专属预测头或像素级损失，$\mathcal{L}_{AR}$ 一个公式覆盖三种任务；ActionPiece 的 512 词与 VQ 的 16,386 词以原子 token 直接并入语言词表。第二，动作分词器的训练规模空前：2,870 万段轨迹、4.592 亿动作时间步，为跨本体动作离散化提供了共享接口。第三，RGB/深度/掩码逐空间位置交错的序列化设计直接服务于'空间一致的未来状态'这一目标，是少见的做法。第四，数据路线上，预训练具身监督 100% 来自约 3 万小时人类交互视频，把 PhysBrain 1.0 的'理解优先'扩展为覆盖全物理循环的联合学习；'动作历史当隐式标定'机制优雅地回避了跨本体坐标统一的难题。需要指出的是，理解+动作+预测的联合学习在 UniVLA、RynnVLA-002、Cosmos 3 中已有探索，本文的差异化主要体现在执行彻底度、数据规模与同源动作延续机制，而非单一算法层面的发明。

弱点一：缺少闭环验证。动作与预测只有离线定性图，无法判断真实控制回路中的累积误差、漂移与鲁棒性——改进方向是接入 LIBERO/RoboTwin/RoboCasa 仿真评测并补充小规模真机 rollout，报告任务成功率、轨迹 MSE 与碰撞率。弱点二：零消融。核心设计（前一动作块条件 $z^-$、三模态交错序列、联合训练 vs 分阶段训练、ActionPiece 词表大小 512）都值得 leave-one-out 消融——例如去掉动作历史或改为逐模态序列化，量化对轨迹误差与三模态一致性的影响。弱点三：生成分辨率与时域受限（$128\times128$、1 秒、256 码/模态），难以支撑长时域规划——可引入多尺度 VQ 或扩散解码器提升保真度，并扩展到多秒 rollout。弱点四：动作表示无手指自由度，无法覆盖灵巧手任务——可将手部关节角纳入扩展表示或引入独立手指 token 组。弱点五：对数据源坐标约定的隐式依赖使向全新本体的零样本迁移存疑——可在历史条件之外增加显式标定元数据输入，并系统评测未见本体。弱点六：伪标签链路长（视频→姿态恢复→轨迹→伪标签 QA→MoGe-2 深度→RoboEngine 掩码），误差级联——可引入置信度加权损失或人工校验子集估计各环节噪声率。弱点七：评测协议虽统一，但闭源模型被限思考档位，结论对档位选择敏感——建议同时报告最低档与默认档两套结果。

作者提出的方向：继续扩大训练数据量、扩展模态覆盖、纳入更丰富的交互经验。基于其成果可延伸的方向：(1) 闭环化与规划结合——把未来状态预测当作'想象-验证'模块，对候选动作序列做 rollout 评分，形成 model-based 规划环；(2) 长时域分层——当前 16 步/1 秒的短时域之上叠加子目标级 token 层级或时序扩散，实现分钟级任务 rollout；(3) 强化学习后训练——在 SFT 之上用仿真或真机回报对动作 token 生成做 RL（如 GRPO/GRPO 类偏好优化），弥补离线监督的天花板；(4) 显式 vs 隐式坐标约定的系统研究——对比'动作历史隐式辨识'与'标定元数据显式注入'随数据规模的变化规律；(5) 灵巧手与触觉——把手指关节、力/触觉 token 纳入统一词表；(6) 更高保真生成——扩散头或分层 VQ 提升未来预测分辨率，向视频级长时程世界模型演进；(7) 数据引擎自我改进——用训练好的模型反向审计伪标签质量，做 self-training 式数据清洗与定向补采。

开源情况较好：项目页（deepcybo-physai.github.io/PhysBrain-1.5）、HuggingFace 模型集合（DeepCybo/physbrain-15）与评测套件（PhysBrainEvalKit）均已公开；基座 Qwen3-VL-Instruct 8B 公开，训练框架 ms-swift + Megatron-Core 开源，论文给出了完整超参（Adam $\beta_1=0.9/\beta_2=0.95$、学习率 $2\times10^{-5}$、3% warmup、余弦衰减、序列 32,768、bf16 等）和各数据源的样本数统计。但完整复现门槛仍高：(1) 预训练关键数据为私有/自建（PhysBrain-Human、PhysBrain-Ego360、Xperience-10M 等），约 3 万小时视频无法完整获取，SFT 的 2,620 小时真机+仿真轨迹需要整理 17 个第三方数据集并复刻清洗与过滤管线；(2) 两阶段全量训练 8B 模型、32K 序列、packing，估计需要数百张 A100/H800 级算力；(3) ActionPiece 与 VQ-VAE 的训练代码及词表是否随模型发布需在仓库确认。总体判断：推理与 28 基准评测的可复现性好（单卡即可跑 8B 推理，EvalKit 提供统一协议），从零复训属于'可用难训'型，适合在其开源 checkpoint 上做下游研究与微调，而非完整重训。