D-JEPA：决策对齐的潜在世界模型 D-JEPA: A Decision-Aligned Latent World Model

完整流程分六步。第一步候选构建：每个起点恢复同一环境状态，准备 $K=63$ 个持久 ID 标识的候选动作序列，训练时对每个候选从同一状态反事实执行，得到任务代价与成功标签 $y_i$；PushT 确认集按预注册规则筛选“含成功/失败结构且预训练分差足够小”的困难决策起点，且拟合、校准、评估的起点身份完全不相交。第二步特征构造：每个候选得到 192 维归一化目标相对描述子 $d^m_i=\mathrm{LN}(\hat{z}^m_{i,H}-z^m_g)$ 与序数坐标 $r^m_i\in[0,1]$；双模型 token 为 $v_i=[d^L_i;d^T_i;r^L_i;r^T_i]\in\mathbb{R}^{386}$，基数分 $b_i=\alpha r^L_i+(1-\alpha)r^T_i$，融合系数 $\alpha$ 在训练/校准数据上拟合。第三步关系推理：共享编码器（386→64，LayerNorm+GELU）加两层 4 头、无位置编码的预归一化 Transformer 输出 $h_i$，零初始化的 64→8→1 修正头给出 $\delta_i$，$s_i=b_i+\delta_i$。第四步训练：softmax 温度 0.05，局部分项在动态刷新的最低分 16 个候选子集内用 softplus 惩罚成功-失败对（margin 0.02、权重 0.25、修正正则权重 0.1）；1000 步 AdamW、学习率 $3\times10^{-4}$、每批 8 起点、每 50 步校准。第五步推理与门控：关系胜者 $i_s$ 仅当 $b_{i_b}-s_{i_s}>\tau_R$（校准阈值约 $-0.0316$）时替换基数胜者 $i_b$；预测可塑性（只训末块+投影，lr $2\times10^{-6}$、600 步）的原生距离胜者在超过校准阈值 $\tau_P$ 时被组合接纳。第六步表示提升（可选）：Reacher 上用时序系数网络（界 $\rho=0.1$）沿两模型差方向做有界时间搬运 $\tilde{z}^T_{i,t}=\hat{z}^T_{i,t}+\beta_{i,t}\frac{\hat{z}^L_{i,t}-\hat{z}^T_{i,t}}{\max(\|\hat{z}^L_{i,t}-\hat{z}^T_{i,t}\|_2,\eta)}$；PushT 上做精确序数实现 $\tilde{z}^T_{i,H}=z^T_g+\frac{\pi_i}{K+1}u_i$，使原生均方目标距离恰为 $(\pi_i/(K+1))^2$。

技术新颖性体现在四个层面。其一，问题形式化新颖：首次把“决策局部预测鸿沟”量化为可学习的候选集合关系监督问题，用起点内 Spearman 相关（0.90→0.11）和短名单反转率（49.0%）给出诊断协议，并配套 Proposition 1 的不可能性构造（全局 MSE 为 $2\Delta^2/K$、相关 $1-\frac{12}{K(K^2-1)}$ 时执行遗憾仍为 $\Delta$）。其二，架构约束新颖：置换等变集合算子加零初始化、有界（$\epsilon=0.2$）、低秩（8）修正头，从构造上保证“只修边界、不动全局”，直接回应“微调会破坏预训练预测几何”这一痛点，并与 Proposition 2 的边距保持定理互为印证。其三，证据融合新颖：序数坐标的单调不变性让异构世界模型证据可组合成为可能——四几何关系对齐（99.22%）在几乎不增加推理成本的情况下追平了校准凸融合，同时保留每个源几何的语义，这是与简单分数融合（四几何凸融合对照）的本质差别。其四，部署接口新颖：精确序数实现（Proposition 4）把学到的严格排名 $\pi_i$ 以 $(\pi_i/(K+1))^2$ 的半径精确编码进终端未来，原生潜在距离规划 100% 恢复关系选择与候选排名（Table 6），无需修改下游 JEPA 接口——“对齐结果可被 JEPA 原生读取”这一性质使 D-JEPA 从外挂重排器升级为决策对齐的潜在世界模型。

独立分析发现以下弱点及改进方向。第一，反事实标签成本：可改用学习到的结果预测器、离线数据集回报反推或保守 Q 估计代替真实执行与二值成功标签，把方法推向无法大量反事实执行的真实机器人场景。第二，候选池是静态采样的：论文自证候选预算 8→63 时性能单调上升（81.96%→87.11%）而 TD-JEPA 停滞，说明候选生成质量与多样性是瓶颈；改进方向是把关系算子接到主动候选生成（CEM、扩散策略采样、跨模型提案共享）上形成“生成-选择”闭环。第三，序数接口丢弃幅度信息：rank 只保留顺序，若两候选代价差距悬殊但排名相邻，证据被压缩；可补充分位数坐标或保序回归特征保留部分幅度。第四，基数分是标量凸组合 $b_i=\alpha r^L_i+(1-\alpha)r^T_i$：单一全局 $\alpha$ 可能被某一源的系统性偏差拖累，可让算子按上下文（观测嵌入）动态学每个起点的源权重。第五，$2\epsilon$ 窗口与 $K$ 的关系未自适应：63 个候选挤在 $[0,1]$ 秩空间时 $2\epsilon=0.4$ 的窗口其实很大，可能允许过大的改动；候选少时窗口又相对过小，$\epsilon$ 应随 $K$ 与秩分布密度自适应缩放。第六，评估集中在含失败候选的困难起点：应同时报告无筛选全域性能；另外校准组合在 PushT 上相对纯关系对齐只有 +0.78pp 却把延迟从约 35ms 抬到 52.16ms，性价比存疑。

未来方向可从作者提出与成果延伸两条线展开。作者侧：论文已把决策对齐接口实例化到 VLA、V-JEPA 2-AC、Drive-JEPA 三类动作生成基座，自然延伸是覆盖 Diffusion Policy 的动作分布样本和视频生成世界模型的想象轨迹；附录 F 提到“受控适配研究发现全局预测误差改善与动作选择改善之间存在错位”，这提示可以把边界集中监督推广为一般性的微调准则。延伸侧：其一，在线闭环对齐——目前是离线拟合加静态校准阈值，可在部署中持续收集执行结果做在线更新，处理非平稳环境与漂移；其二，跨任务共享关系算子——形状/外观实验用任务局部模型，一个以任务描述或语言指令为条件的统一多任务算子会更实用；其三，理论深化——把 Proposition 1 的遗憾构造与有界对齐的边距保持结合，刻画“保证给定 regret 需要多少执行标签”的样本复杂度；其四，与候选生成联合优化——让候选采样分布与关系算子共同训练，实现探索与选择一体化；其五，把精确序数实现从终端扩展到整条轨迹（目前 PushT 只改终端、前 4 步不变），支持 MPC 式滚动重规划中对齐几何的逐步读取；其六，真机规模化与安全——把驾驶中已有的碰撞/TTC 风险 readout（校准效用 $U_i=s_i+\alpha\delta_i-\lambda\max(v_i-v_b,0)$）推广到操控场景，并在更多本体与更大真机样本量上验证。

复现性总体较好但基座依赖重。有利方面：论文实现细节极为完备——网络尺寸（386→64 编码器、两层 4 头 Transformer、64→8→1 修正头）、全部超参数（温度 0.05、margin 0.02、$\lambda_{local}=0.25$、$\lambda_{trust}=0.1$、AdamW lr $3\times10^{-4}$、1000 步、批 8 起点；可塑性 lr $2\times10^{-6}$、600 步；搬运网络 5→32→1、$\rho=0.1$）、甚至校准阈值的四位小数记录与数据划分（拟合/校准/评估身份不相交）都写在附录中；核心训练极轻（千级更新步、秩 8 低秩头），单卡即可，算力不是瓶颈。不利方面：方法叠加在 LeWM、TD-JEPA、JEPA-WM、DINO-WM、V-JEPA 2-AC、Drive-JEPA 等多个预训练基座之上，其中多个是 2025-2026 年的 arXiv 工作，获取权重与复现各自的候选执行管线是最大成本；仅 PushT 确认集就需要 256 起点 × 63 候选的反事实仿真执行，RoboTwin、Granular、驾驶日志各有各的执行与评测栈。项目网站 nebulis-lab.com/D-JEPA 已存在，正文未明确承诺开源代码与检查点；若代码与候选池数据发布，有仿真基础设施的团队预计 1-2 人月可复现核心结果，真机部分（PiPER 硬件与控制器标定）难度显著更高。