潜在世界模型中的决策度量对齐：面向MPC规划的诊断方法与动作条件目标 Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning

第一步，训练基座：ViT-Tiny 编码器（patch 14，输入 $224\times224$）输出 192 维 CLS 潜在向量 $z_t$，6 层 Transformer 预测器自回归预测 $\hat{z}_{t+1}$，损失 $\mathcal{L}_{WM}=\mathcal{L}_{pred}+0.09\,\mathcal{L}_{SIGReg}$。第二步，挂载辅助头：每头为 2 层 MLP（隐层 256）；逆动力学头输入 $[z_t,z_{t+1}]\in\mathbb{R}^{384}$ 输出 $\hat{a}_t$，目标动作头输入 $[z_t,z_g]$ 输出 $\hat{a}_t$。第三步，构造目标动作监督：训练用四帧演示片段、原始偏移 0/5/10/15，对 $k\in\{0,1,2\}$ 用 $h_{goal}(z_{t+5k}, z_{t+15})$ 预测归一化五步动作块 $a_{t+5k:t+5k+4}$，目标在 15/10/5 原始步之前，反映演示进展而非优化器最优动作。第四步，联合训练（$\alpha=\beta=0.1$，AdamW $5\times10^{-5}$，batch 128，bf16；消融训 1 epoch，学习曲线对比训 100 epoch 分析前 10 个检查点）。第五步，评估：丢弃辅助头，用与基线相同的 CEM（$N=300$、$K=30$、精英 30、视界 $H=5$ 动作块、帧跳 5）在四环境各跑 50 回合 × 3 种子。第六步，诊断：从留出集采 30 对（起点，目标），每对 64 条候选分别用世界模型与环境滚动打分算 Plan-Real Spearman，再在 CEM 迭代 0/15/29 三阶段算阶段化秩相关。

新颖性体现在四个层面。概念层面：首次为'欧氏目标距离作规划代价'的 JEPA-MPC 范式提出决策度量对齐的正式序定义（式4），指出信息充分性与它逻辑独立，填补'探针评估不了规划几何'的空白。诊断层面：Plan-Real 与 CEM-stage Spearman 是规划器对齐的经验度量，后者按优化器实际访问的分布分层采样，与双模拟度量、价值等价性等'学习新度量'的理论路线互补——本文审计的是规划器固定消费的那个度量。理论层面：命题1在终态滚动一致性（误差 $\le\epsilon_H$）与编码器双 Lipschitz（$\mu_f, L_f$）假设下给出双侧界 $\mu_f c_{real}-\epsilon_H \le c_{lat} \le L_f c_{real}+\epsilon_H$；推论1给出保排序的充分间隔条件 $\mu_f c_{real}^{(j)} > L_f c_{real}^{(i)} + 2\epsilon_H$；并把不可观测量转化为可测代理：软间隔比例 $p$ 与 Kendall $\tau_a$ 满足 $\tau_a \ge 2p-1$，在全部 100 对上成立，且 $p$ 与经验 Spearman 的合并 Pearson 相关达 +0.895。工程层面：仅用两个 2 层 MLP、权重 0.1、推理零开销，却带来短预算下最高 43.4 pp 的成功率提升。

弱点一：精英区局部几何失信息。Table 7 显示四种变体在精英邻域的 Pearson(log dz, log ds) 仅 +0.05–+0.09，CEM 收拢后潜在距离近乎'失明'。改进方向：引入精英邻域对比目标，或学习正定（如 Mahalanobis）潜在度量，直接以近最优候选对为训练信号。弱点二：诊断依赖模拟器滚动。Plan-Real Spearman 要对每条候选做真实环境回滚，真实机器人上不可行。改进方向：用离线数据上的回报归因或演示进展代理替代环境回滚。弱点三：平方误差动作头在多模态演示下会平均不兼容的动作（作者自己指出），可能低估目标动作头潜力。改进方向：换成扩散式或离散码本式动作头。弱点四：单次训练、$\alpha$ 固定。Reacher 上 β=0.3 已出现回退（78.0% vs 84.0%），说明权重-任务交互存在，应做多种子方差报告与 $\alpha/\beta$ 网格搜索。弱点五：Cube 的并列代价问题使核心诊断失效。改进方向：设计对并列鲁棒的秩统计量，或改用连续任务进展量作为真实代价。弱点六：只在 CEM+欧氏代价范式内验证，未涉及梯度规划、MCTS、学习奖励等更广的 MPC 家族，结论外部效度未知。

作者点名的开放方向：迁移到真实机器人、部分可观测、更大骨干网络、其他规划器（含基于梯度的）、学习式奖励/目标代价以及正定潜在度量。基于本文成果可自然延伸的：其一，闭合'精英区盲区'——把推论1的间隔条件直接用作训练正则（最大化相邻候选的软间隔 $\kappa\Delta_{ij}-\eta_i-\eta_j$），或以精英对比学习塑形局部度量；其二，正确指定的奖励/价值感知训练研究——修复 PushT 代理目标字段后重跑 all-heads，检验 R/V 监督与排序界的真实关系；其三，把 Plan-Real/CEM-stage Spearman 推广为潜在世界模型的标准化评估指标（类似探针之于自监督视觉），甚至纳入训练调度做对齐监控；其四，从诊断走向因果——设计干预实验分离逆动力学损失对 $\mu_f$、$L_f$、$\epsilon_H$ 的具体作用；其五，扩展到 Dreamer/TD-MPC 等奖励驱动世界模型，检验决策度量对齐是否同样预测收敛速度与最终性能。

复现基础较好。实现构建于开源 LeWM 代码库之上，辅助头以模块化方式添加、不改基座架构；附录 A 完整列出全部超参数（AdamW $5\times10^{-5}$，权重衰减 $10^{-3}$，batch 128，梯度裁剪 1.0，bf16，$\lambda_{sig}=0.09$，$\alpha=\beta=0.1$，线上 CEM $N=300/K=30$/精英 30，视界 5 动作块）。数据全部公开：PushT 用 LeWM 发布的 pusht_expert_train，Reacher 用 DeepMind Control Suite，Cube 用 OGBench cube_single_expert，TwoRoom 用 LeWM release，无新数据集。算力温和：单张 A100/A800 80GB 即可完成训练与评估，消融每变体仅 1 epoch，诊断开销小（精英邻域诊断 4 个变体共约 9 分钟）。评估协议严格匹配（50 回合 × 3 种子，训练随机性对齐），并附每 epoch 统计文件。论文未明确说明是否开源 DA 增量代码与诊断脚本（附录出现 decision/eval_*.py 等仓库内路径，暗示代码存在但需确认）；主要工作量在于重跑 100 epoch 调度与四环境 CEM 评估，总体属中等难度、单卡可完成。