Cortex 2.0：面向真实工业部署的世界模型落地 Cortex 2.0: Grounding World Models in Real-World Industrial Deployment

第一步，多模态观测 $o_t$ 经VLM视觉编码器得隐向量 $z_t$，高层VLM产出任务上下文 $s_t=f_{hl-VLM}(z_t)$，编码子目标分解与语言-场景实体的grounding变量。第二步，世界模型 $f_\phi$ 在视觉隐空间用流匹配学习预测动态，训练时对每个未来隐向量 $z_{t+h}$ 采样流时间 $\sigma\sim Beta(\alpha,\beta)$（$\beta\gg\alpha$偏向高噪声以便少步ODE积分即可评分），构造插值 $\tilde z^{(h)}_\sigma=\sigma z_{t+h}+(1-\sigma)\xi^{(h)}$，目标速度 $v^{(h)}=z_{t+h}-\xi^{(h)}$，用流匹配损失 $L_{WM}$ 训练。推理时对 $k$ 个候选各采独立噪声 $\xi^{(j)}$ 积分ODE生成完整候选序列 $z^{(j)}_{t+1:t+H_{wm}}$。第三步，PRO对每条rollout $\hat\tau_j$ 用时序模型产出表征，三个头分别算进度 $\Delta p^{(j)}=V_\phi(z^{(j)}_{t+H_{wm}})-V_\phi(z_t)$、风险 $\rho^{(j)}=P_\phi(fail=1|\hat\tau_j)$、终止 $d^{(j)}=P_\phi(success=1|\hat\tau_j)$，聚合为复合分 $S_j=\Delta p^{(j)}-\lambda\rho^{(j)}+\beta d^{(j)}$。第四步，选最优 $z^*_{token}=\arg\max_j S_j$，优势 $\Delta^*=S(\tau^*)-\frac{1}{k}\sum_j S(\tau_j)$ 二值化为 $I_t=1[\Delta^*>\epsilon(s_t)]$。第五步，把 $z^*_{token}$ 和 $I_t$ 投影后与任务上下文拼接为 $c_t=[s_t;z_t;W_z z^*_{token};W_I I_t]$，流匹配动作头据此生成动作块，Action Mapping适配器输出机器人专属指令。

技术新颖性体现在几方面。首先是把稠密过程奖励模型PRO直接lift进规划环路：PRO在真实执行轨迹的运营telemetry（力矩、真空压力、接触信号）上监督训练，学到的进度/风险/终止信号能迁移到世界模型想象出的隐向量——这种迁移之所以成立，是因为世界模型产出的隐向量与真实观测同属一个视觉隐空间。其次是训练分两阶段并采用知识绝缘(knowledge insulation)方案：阶段一PRO单独在部署数据上预训练然后冻结，阶段二世界模型和动作头联合优化 $L_{total}=L_{FM}+\lambda_{wm}L_{WM}$，且阻断世界模型和动作头对预训练VLM骨干的梯度。第三是规划预算 $k$、horizon $H_{wm}$、$H_{act}$ 全是推理时超参不影响训练，可按任务代价灵活调整——代价高的打包用高 $k$，重抓这类廉价恢复用低 $k$。第四是把动作表述为未来状态而非原始控制指令，配合Action Mapping适配器实现跨本体部署。

第一个弱点是延迟-成功率的严峻权衡：$k=30$ 时每步高达9200ms在30Hz实时控制场景几乎不可用，正式评估退回 $k=2$；改进方向是学习一个自适应预算控制器，仅在高风险决策点（如打包）动态提高 $k$，其余时刻用最小预算。第二个弱点是私有数据不可复现且预训练规模与基线严重不对等，超5亿次交互的部署数据是Sereact独有壁垒；改进方向是公开一个受控的、预训练规模对齐的消融，剥离出世界模型规划的净收益。第三个弱点是PRO作为冻结裁判可能存在分布外脆弱性——它在真实执行轨迹上训练却应用于想象隐向量，若世界模型在新任务上生成不真实的隐向量，PRO评分可能失效；改进方向是加入世界模型预测的置信度/不确定性估计并在PRO打分时校准。第四个弱点是跨本体和人形的宣称缺乏实验证据，仅在UR单双臂验证；改进方向是补做真实人形平台的迁移实验。

作者提出的未来方向包括：大幅扩展世界模型训练的计算与数据规模以提升预测rollout保真度，因为策略条件化于选中的未来隐向量，更锐利的预测直接改善生成的动作块；强化在线自适应和PRO中不确定性感知的动态预算分配；收紧视频tokenization与控制的耦合以支持更长时程前瞻；验证从视频演示的in-context learning，即让策略 $\pi_\theta(a|o,\tau_{demo})$ 条件化于一段演示视频从而在测试时对未见任务族免训练执行。基于本文成果可延伸的方向：把力反馈和真空压力等多模态telemetry更深地融入世界模型预测而不仅是PRO监督；探索把闭环部署数据反馈用于持续在线微调世界模型和PRO的自动化pipeline；研究规划预算与任务失败代价的形式化关联以实现代价敏感的最优 $k$ 选择。

复现难度极高。核心资产是Sereact私有的部署数据集：超过1000万条被用于训练的交互（从超5亿次运营交互中curated采样）、约4万episode/400小时遥操作数据，这些均不开源，是复现的根本壁垒。训练用等价200 GPU-hour预算，但Cortex 2.0还依赖在互联网级视频上预训练的世界模型，实际算力远超此数。方法描述层面公式较完整（观测编码、世界模型流匹配训练/推理、PRO三头评分、动作头流匹配、Action Mapping），但许多关键超参未给出：$\lambda$、$\beta$、阈值 $\epsilon(s_t)$、世界模型ODE积分步数、VLM骨干具体规模（仅提及2B-VLM动作头）。基线中Diffusion Policy和RDT-2用了公开数据集（Open X-Embodiment、BridgeData V2、DROID、RoboCasa合成）。总体上论文更像工业系统报告，学术复现几乎不可能，但方法思想（世界模型隐空间rollout+过程奖励评分+流匹配动作头）对有自有机器人数据的团队具备参考价值。