预测闭包：JEPA特征选择的集合级刻画 Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection
JEPA按特征集合的整体预测价值做选择，不可预测但能帮助预测他人的特征也会被保留
前置知识
JEPA（联合嵌入预测架构）
编码器 $f$ 把观测 $x_t$ 映射到潜表示 $f(x_t)$，预测器 $g$ 用当前潜表示预测下一观测的潜表示 $f(x_{t+1})$，训练目标是 $\mathcal{L}_{\text{JEPA}} = \mathbb{E}\|g(f(X_t)) - f(X_{t+1})\|^2 + \lambda R(f(X_t))$。与重建式方法（如 VAE）不同，它不要求潜变量能还原输入，因此潜空间可以合法地丢弃观测中的某些特征。
全文讨论的核心问题就是 JEPA 的编码器在训练中实际选择保留哪些特征。理解其训练目标以及“编码器同时决定预测器的输入和目标”这一结构，是读懂理论重写和所有实验设计的前提。
互信息与预测信息
互信息 $I(A;B)$ 度量知道 $A$ 后 $B$ 不确定性减少的量。预测信息 $I_{\text{pred}}(S)=I(Y_t(S);\,Y_{t+1}(S))$ 指一组特征的当前值对其未来值的预测能力（Bialek & Tishby 1999）。本文证明：在潜分布熵被正则化固定的前提下，最小化预测误差等价于最大化相邻潜表示之间的互信息。
论文的核心论证是把 JEPA 训练目标改写为“在可行特征集合上最大化预测信息”，即预测闭包。所有预测（交叉补贴、集合切换等）都建立在这个信息论量的非可加性质上。
线性探测
冻结训练好的编码器，在其潜表示上另训一个小网络（本文用两层、宽16的MLP）去预测某个指定属性。若探测准确率显著高于随机水平，就认为该属性被潜表示“表征”了。这是 Alain & Bengio 提出的标准分析手段。
本文所有实验都以探测准确率作为“某特征是否被编码”的操作化定义，例如红绿灯状态的二分类解码（随机水平50%）、指定位置目标图像存在检测，读懂数字才能读懂结论。
表征坍缩与防坍缩正则化
若编码器对所有输入输出同一个向量，预测误差为零但表示毫无信息。JEPA 用正则项约束潜分布来防坍缩（本文用 SIGReg，目标 $0.9\mathcal{L}_{\text{pred}}+0.1\mathcal{L}_{\text{SIGReg}}$）。作者进一步假设正则化把潜分布的香农熵固定为 $H(P)$，这是“可行集合”概念的来源。
理论证明的关键一步就是利用“正则化固定潜熵”这一事实，把“哪些特征放得进潜空间”形式化为熵约束下的集合可行性问题，从而把训练目标改写成集合级优化。
偶然不确定性与预测泄漏
本文把选择目标分解为两项之和：偶然不确定性 $H(Y_{t+1}(S)\mid X_t)$ 是即使看全当前观测 $X_t$ 也无法消除的下一时刻不确定性，源于环境内在随机性；预测泄漏 $I(X_t;\,Y_{t+1}(S)\mid Y_t(S))$ 是当前观测对集合未来值的预测能力中、超出集合当前值所能解释的部分，集合“预测自封闭”时为零。
红绿灯实验的直觉直接来自这项分解：灯自身的下一颜色是纯偶然不确定性（代价），但它的当前值能消除图像集合的预测泄漏（收益），收益够大时代价被“补贴”，特征于是被保留。
研究动机
JEPA 类系统（V-JEPA 2、SkyJEPA、JEPA-DNA 等）用编码器把观测压进容量有限的潜空间，而训练目标 $\mathcal{L}_{\text{JEPA}}$ 只约束预测误差和潜分布形状，完全没有规定潜变量该包含什么。当观测的特征数量超过潜空间容量时编码器必须丢弃一部分，但丢弃哪些并不明确。已有的刻画都是“逐特征”的：Sobal 等认为 JEPA 偏向慢特征，Karmann 等的 MotionJEPA 观察到 Pong 世界模型编码缓慢变化的比分而抑制快速移动的球；Littwin 等与 Enigma Team 认为潜空间编码最可预测的特征；Pendharkar 的受控实验表明，一个独立重采样的视觉线索（它决定哪个动作能拿到奖励，但奖励不在训练目标中）在 JEPA 潜空间中几乎不可解码，因为它不可预测。按这些观点，像红绿灯这种下一状态完全随机的特征似乎注定不被编码。但这些工作都隐含假设特征各自独立演化，只看每个特征“自己的未来是否可预测”，忽略了特征之间的关系——而红绿灯的当前颜色恰恰能预测骑行人下一刻是骑行还是停下。
本文的目标是本文的目标是给出一个“集合级”的 JEPA 特征选择刻画，把特征之间的预测关系正式纳入理论，使其既能解释已有实证发现，又能在特征相互关联时做出旧理论做不出的新预测。具体分三层：其一，把 JEPA 训练目标在理想化条件下重写为“在熵约束下可行的特征集合上最大化预测信息”，并把这个被选中的集合命名为预测闭包（predictive closure）；其二，把该目标进一步分解为偶然不确定性与预测泄漏两项之和，得到一套可解释的选择语言；其三，从该刻画推出可检验的预测——不可预测特征可被“交叉补贴”而保留、竞争集合可被“切换”、互相预测的集合超过容量后表征反而变差、辅助损失与预测器侧信息可以（间接地）引导表征——并在合成受控实验上逐一验证，同时阐明这些结论对设计 JEPA 世界模型、动作条件化以及特征引导（steering）的实践意义。
与已有工作不同的是，本文的独特之处在于视角切换：从“给单个特征排名”变成“比较特征集合”。先前工作把特征选择看作按可预测性或变化速率排序后取前 $n$ 个塞进潜空间，隐含假设是每个特征的贡献与其他特征无关。本文通过链式法则分解 $\Delta(\phi\mid S)=I(\phi_t;\,Y_{t+1}\mid Y_t)+I((Y_t,\phi_t);\,\phi_{t+1}\mid Y_{t+1})$ 证明预测信息是非可加（非模性）的集合目标：一个特征的边际价值取决于集合里还有谁。这解决了“追自己尾巴”的循环论证——什么值得表征取决于要预测什么，而要预测什么又取决于表征了什么。红绿灯思想实验浓缩了分歧：它的下一颜色不可预测（旧理论丢弃它），但其当前值降低整套特征的预测泄漏（新理论保留它）。作者还严格刻画了新旧理论的交界：特征独立演化时预测信息可加、集合比较退化为逐特征排名（等熵时）或背包问题（不等熵时），因此新刻画完全兼容旧结论，只在特征相关时给出新预测。
核心方法
直觉上，JEPA 的潜空间容量被正则化固定，编码器实际在做的是从所有“放得下”的特征集合中挑一个对未来最有信息量的集合——作者称之为预测闭包。技术路线分三段。理论段：在潜分布熵固定为 $H(P)$、高斯预测误差假设下，证明最小化平方预测误差等价于最大化相邻潜表示的互信息 $I(f(X_t);\,f(X_{t+1}))$；由于潜表示与其完整可恢复特征集合 $S(f)$ 的取值互相确定，理想编码器选择 $S^\star \in \arg\max_{S\,\text{feasible}} I(Y_t(S);\,Y_{t+1}(S))$（式2）；再用条件互信息恒等式把它分解为最小化 $H(Y_{t+1}(S)\mid X_t)$（偶然不确定性）加 $I(X_t;\,Y_{t+1}(S)\mid Y_t(S))$（预测泄漏）（式3）。预测段：从该目标推出四个可检验现象——交叉补贴、集合切换、可行性依赖，以及两种引导方式（辅助损失改变“必须保留”的固定子集、侧信息修改泄漏项；动作作为侧信息还可能降低偶然不确定性）。实验段：在 CIFAR-10 图像拼贴构成的合成序列上，每次只改一个数据生成参数（如红绿灯控制重采样的概率 $q$、复制概率 $p_D$、竞争环大小 $N$），用 3 维潜空间的 JEPA 从头训练多个种子，再用冻结编码器上的探测准确率衡量每个特征是否被表征。
核心创新是把特征选择从“个体比较”重构为“集合比较”。作者证明：固定潜熵 $H(P)$ 后，降低预测误差的唯一途径是降低给定当前潜表示时下一潜表示的条件熵，即增大二者互信息；而潜表示与 $Y_t(S(f))$ 一一对应，故目标变成在可行集合上最大化预测信息 $I_{\text{pred}}(S)$。这个目标是非可加的集合函数：加入特征 $\phi$ 的增量 $\Delta(\phi\mid S)$ 由两项组成——$\phi$ 的当前值对集合未来值的预测能力，以及集合当前值连同 $\phi$ 的当前值对 $\phi$ 未来值的预测能力——两项都随 $S$ 变化，因此判断一个特征不能脱离它所在的集合，这是与 Littwin 等线性隐含偏置框架、Sobal 等慢特征假说的本质区别：后者只在特征独立演化时近似成立。另一个关键分解把目标写成“偶然不确定性 + 预测泄漏”之和，使“不可预测但有用”的特征有了明确的存在理由：它增加前一项，却可能通过消除泄漏更大程度地把代价补贴回来。该刻画还覆盖非线性交互（灯的颜色与图像位置非线性组合决定重采样位置），超出线性框架的表达范围。
方法步骤详情
理论推导四步：第一步定义特征为观测到标量的映射 $\phi_i$，集合取值 $Y_t(S)$；当满足灵敏度条件的读出器能从潜表示恢复 $\phi_i$ 时称其被表征；正则化使所有编码器的潜分布匹配同一目标 $P$（熵 $H(P)$ 固定），熵等于 $H(P)$ 的集合称为可行集合。第二步在高斯假设 $Z_{t+1}\mid Z_t=z\sim\mathcal{N}(g_f(z),\,\sigma_f I_k)$ 下证明最优平方误差为 $k\sigma_f$，且 $I(Z_t;Z_{t+1})=H(P)-\tfrac{k}{2}\log(2\pi e\sigma_f)-c$ 随 $\sigma_f$ 严格递减，故最小化误差与最大化预测信息选出同一编码器（无高斯假设时该式变为下界）。第三步证明潜表示与 $Y_t(S(f))$ 互相确定，得到式(2)。第四步由 $H(Y_{t+1}\mid Y_t)=H(Y_{t+1}\mid X_t)+I(X_t;Y_{t+1}\mid Y_t)$ 得式(3)。实验协议：编码器为四个 3×3 卷积+ReLU+2×2 最大池化块（32/64/128/256 通道）接 4096→1024→3 投影；目标 $0.9\mathcal{L}_{\text{pred}}+0.1\mathcal{L}_{\text{SIGReg}}$（SIGReg 用 1,024 个随机投影）；AdamW 学习率 $10^{-3}$ 余弦衰减到 $10^{-5}$；每配置 3 个优化种子，训练 25 个 epoch（组大小实验 100 个）× 每 epoch 10 万条 8 帧序列、批大小 512；训练用类别平衡的 5,000 张图，冻结编码器后用两层宽 16 的探测网络在另 5,000 张 held-out 图上解码指定特征（随机水平 50%）。
技术新颖性
新颖性有三层。概念层：首次把 JEPA 的特征选择刻画为集合级优化——“预测闭包”类比代数中对运算封闭的集合，指当前值在预测意义下“封闭”地决定下一值的特征集合；这一形式化在 JEPA 文献中是新的，统一解释了慢特征偏好（固定背景的下一值等于当前值、对目标贡献为零）、重采样模式霸占潜空间（每次重采样加入全部熵作为偶然不确定性）、时间尺度依赖（慢/快取决于式3中的时间步长）等分散的已有发现。理论层：作者给出了从训练目标到集合目标的完整证明链（熵固定→互信息等价→集合等价→两项分解），并严格刻画新旧理论的一致边界——特征独立时预测信息可加，退化为按 $I(\phi_t;\phi_{t+1})$ 排名或背包问题；同时指出该刻画天然处理特征间非线性预测关系。实践层：从理论推出“间接引导”这一新的操作可能性——辅助损失或侧信息只针对特征 C，却可经由预测关系加强从未被直接监督的特征 D；并给出动作条件化 JEPA 偏向“智能体能影响的特征”的信息论解释。局限是理论假设理想训练与精确分布匹配，且只预言效应方向而非量级。
实验结果
五个受控实验均支持预测闭包的预测。交叉补贴（图2）：红绿灯的下一颜色始终独立均匀抽样（完全不可预测），但随其控制图像重采样位置的概率 $q$ 从 0 增到 1，灯的探测准确率从约 50% 的随机水平升至约 80% 以上，证明“不可预测”不等于“不被表征”；且该场景含灯与图像位置的非线性交互，线性框架（Littwin 等）无法覆盖。集合切换（图3，基线数值见图5 的 β=0 行，$r=0.10$）：唯一变化的是 $C_t$ 被复制为 $D_{t+1}$ 的概率 $p_D$，A/B 的复制关系固定不变；$p_D=0.60$ 时 A≈86.1%、B≈85.5%、C≈62.0%、D≈61.3%，而 $p_D=1.00$ 时 A≈53.0%、B≈52.8%、C≈86.8%、D≈86.7%，表征整体从 A/B 迁移到 C/D。可行性依赖（图4）：保持平均复制概率不变（A/B 0.85，竞争环 0.90/0.96 交替、均值 0.93），把竞争环从 N=2 扩到 16，竞争环的平均解码准确率在三个种子的每次增大时都下降，N=16 时固定的 A/B 对反超（附录E 证实最差/最好位置读出同样反转）。辅助重建引导（图5）：只对 C 加重建损失，β=0.36 时从未被重建的 D 解码达 85.5–88.5%、与 C（87.0–89.1%）相当，而 A/B 掉到约 51–63%，说明监督目标之外的预测伙伴也被抬升、竞争集合被压制。侧信息引导（图6）：把 C 经独立编码器直接喂给预测器，$p_D\ge0.75$ 时 D 表征上升、B 下降、A 全程上升，$p_D=1$ 时 C 反而下降；其中 A/B 分离是理论未预言的现象。附录C 验证系统确实学会了预测：区分真实下一帧与不兼容替代帧的正确率从红绿灯 q=1 的 77.13%±0.51 到侧信息 $p_D=1$ 的 97.96%±0.13，打乱对照组均在 50% 附近（表1）。附录D 显示定性结论在 $r\in\{0.05,0.10,0.20\}$（$\lambda\approx0.05/0.11/0.25$）下基本稳健，唯一例外是组大小实验在 $r=0.05$ 时 N=16 的反超仅在三个种子之一出现。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 交叉补贴：不可预测红绿灯的表征 | 灯状态二分类探测准确率（随机=50%） | q=1 时约 80% 以上（q=0 时约 50%） | 逐特征可预测性刻画预测灯不被编码（≈50%） | 灯自身未来完全随机的情况下，仅因其帮助预测图像即提升约 30 个百分点 |
| 集合切换：两对图像（2×2 拼贴） | 图像身份检测准确率（随机=50%） | p_D=1.00 时 C≈86.8%、D≈86.7%，A≈53.0%、B≈52.8% | p_D=0.60 时 A≈86.1%、B≈85.5%，C≈62.0%、D≈61.3% | 只改单一参数 p_D 即使表征从一个互预测集合整体切换到另一个，A/B 关系未变 |
| 可行性依赖：竞争环扩容（N=2→16） | 竞争环各位置平均图像检测准确率 | N 每次增大准确率都下降（三个种子一致），N=16 时固定对 A/B 反超 | A/B 复制概率固定 0.85、表征不变；两集合平均复制概率始终为 0.85 vs 0.93 | 证明集合超出潜容量本身（而非可预测性变化）即可逆转选择 |
| 间接引导：辅助重建 C | 未被重建的 D 的图像检测准确率 | β=0.36 时 D 达 85.5–88.5%（与被重建的 C 的 87.0–89.1% 相当） | β=0 时 D 为 61.3–86.7% 且 p_D 低时仅约 61% | 对 D 无任何直接监督，其表征随对 C 的重建权重上升，同时竞争集合 A/B 被压至约 51–63% |
| 训练有效性验证（附录C） | 真实下一帧 vs 不兼容替代帧二选一正确率（随机=50%） | 77.13%±0.51（红绿灯 q=1）至 97.96%±0.13（侧信息 p_D=1） | 打乱预测对照组 49.59%–50.56% | 排除“表征变化源于系统未学会预测”的替代解释 |
局限与改进
作者明确承认：所有实验只验证了预测效应的方向，没有测量效应的量级，且结论来自特意设计简单的 CIFAR-10 拼贴合成序列，能否推广到自然数据上的大型 JEPA 系统是开放问题。理论层面依赖理想化假设：潜分布被正则化精确匹配到固定熵的 $P$、高斯预测误差假设、以及“理想训练的全局最优编码器 $f^\star$”，真实训练既不精确匹配分布也不收敛到最优。实验中还有超出理论的现象：侧信息实验里 A 与 B 这对理论上“应作为整体一起估值”的特征出现分离（A 全程上升、B 下降），作者承认预测闭包只把 A/B 当作一个整体、无法解释；重建引导的效果对 β 非单调（$r=0.20$、$p_D=0.75$ 时 C、D 从 β=0.135 到 0.36 反而下降），图5 标题也写明“变化并非一致单调”。探测协议测的是指定位置上目标图像的存在性，作者注明因为负样本全局排除目标，这些读出不能确立“位置绑定”。此外动作条件化的推论只是把动作视作侧信息的类比，论文未做真实动作实验；敏感性分析也显示小正则权重下个别预测（组大小切换）开始失稳。
独立分析的弱点
弱点一：外部效度存疑。3 维潜变量、几张 32×32 图像、可枚举的离散数据规则，与真实视频世界模型（V-JEPA 2 等）在容量、特征连续性与特征数量上相差数个量级，方向性结论未必按相同机制放大；改进方向是在具有已知真值属性的中等规模视频数据集上复验五类预测。弱点二：理论静态且理想化。证明依赖训练达到全局最优与精确分布匹配，但 SIGReg 只在有限精度、有限步内近似成立，且 $r=0.05$ 下组大小切换只在 1/3 种子出现，说明结论对正则强度与优化动力学敏感；改进方向是把欠收敛与近似分布匹配显式纳入理论，给出有限训练预算下的修正预测。弱点三：集合级粒度太粗。理论把 A/B 当整体估值，解释不了 A、B 分离这类亚集合现象，也没给出定量准则——多大的泄漏降低才足以补贴一比特偶然不确定性；改进方向是引入次模性修正或有限容量下的连续松弛，把“补贴阈值”变成可计算的量。弱点四：引导手段副作用不可控。重建 C 压低 A/B，喂 C 会同时改变 A、B、C、D 且模式随 $p_D$ 变化，实践中若缺乏全特征探测就无法预知引导代价；改进方向是基于闭包估计开发事前影响分析工具，以及对非单调区（如大 β）给出理论解释。
未来方向
作者提出的方向：把方向性验证升级为自然数据上大型 JEPA 系统的效应量测量；检验真正的动作条件化是否如理论推论那样使表征偏向“智能体可影响的特征”；将集合级视角接入生物表征学习的预测编码模型（Palmer 2015、Chalk 2018、Singer 2023）。基于本文成果可延伸的：其一，把预测闭包用作诊断工具——对训练好的世界模型估计各候选特征集合的“偶然不确定性+泄漏”之和，预判哪些下游属性会缺失，再选择辅助损失/侧信息组合做针对性修复；其二，研究多步时间尺度（$t\to t+k$）下的闭包层级，形式化“同一特征在不同时间分辨率下被保留或丢弃”；其三，把侧信息选择形式化为主动最小化泄漏项的优化问题——从观测中抽取哪个变量喂给预测器最划算；其四，与机理可解释性工具（如稀疏自编码器特征字典）结合，验证潜空间中的可解释特征单元是否按预测关系成组出现或消失，为闭包理论提供微观证据。
复现评估
复现条件相当好。代码已开源：https://github.com/Mosh0110/predictive-closure；数据只用公开的 CIFAR-10（训练与探测各用类别平衡的 5,000 张，互不重叠），拼贴布局、复制概率、渲染面积控制（N=2/4/8/16 时 C/D 瓦片边长 90/64/45/32 像素、总面积差异<1.2%）等数据生成参数在附录 B 中完整给出。模型极小：编码器为四层小卷积网（最高 256 通道、输出 3 维），预测器是 3→16→16→3 的 GELU MLP，单张消费级 GPU 即可在数小时内完成一个配置（25 epoch × 10 万条 8 帧序列、批 512；组大小实验 100 epoch）。理论部分附录 A 给出完整证明与假设清单（高斯误差、固定精度修正 $c$、读出器灵敏度条件）。需注意的坑：主实验每配置 3 个种子、重建实验只用单种子（作者自行标注），且结果对正则权重有一定敏感性（$r=0.05$ 下组大小切换仅 1/3 种子出现），复现者应预留多种子预算并复现附录C 的预测验证作为健康检查。总体难度中等偏易，很适合作为信息论表征学习方向的复现或教学实验。
论文图表
全文的思想实验图。上方为连续观测 $t, t{+}1, t{+}2$；中间与下方两行分别画出潜表示中“保留灯”与“丢弃灯”两条路径的预测器与预测误差（叉号与虚线框标注）。第一步灯的颜色随机变化，保留它就要在自己的下一颜色上付出预测误差；第二步灯的当前颜色帮助预测骑行人是骑行还是停下，丢弃它就要在骑行人的预测上付出误差。
这张图浓缩了“逐特征刻画”与“集合级刻画”的全部分歧：旧理论只看灯自身的可预测性因而丢弃它，新理论同时计入它对骑行人的预测贡献因而保留它。先看懂这张图就掌握了预测闭包的直觉。
四个面板对应 A、B、C、D 的解码准确率热图，每格为一个 (重建权重 $\beta\in\{0,0.0425,0.105,0.135,0.36\}$, $p_D\in\{0.60,...,1.00\}$) 组合（单种子，共用 50–90% 色标）。β=0.36 时从未被重建的 D 达 85.5–88.5%、与 C（87.0–89.1%）相当，A/B 降至约 51–63%；部分组合非单调（如 r=0.20、p_D=0.75 时 β 从 0.135 到 0.36 C、D 反而下降）。
展示第一种间接引导手段：只监督 C 的重建，经由预测关系抬升 D 并压制竞争集合，直接支持“引导可以是间接的”这一预测；热图数值也是集合切换实验的基线（β=0 行）。
附录D 的正则敏感性版本：三个面板分别用 $r=0.05,0.10,0.20$（对应 $\lambda\approx0.05,0.11,0.25$）重复图2实验。灯的解码准确率随 $q$ 上升的定性形态在所有权重下保持，但更强正则削弱效应强度（曲线整体更平）。
说明交叉补贴结论不依赖特定正则权重，同时量化正则强度对效应大小的调节，为复现者划定稳健参数范围。
三个正则权重下重复图3实验：$p_D$ 从 0.60 到 1 都能使更强表征的集合从 A/B 换成 C/D（三个种子一致）；更强正则缩小两对间的分离，且不保证单调——r=0.20 时 C/D 从 p_D=0.95 到 1 可能下降。
确认集合切换对所有测试权重成立，并提示效应大小与单调性受正则强度调制，是解读主图数值时的重要边界条件。
三个权重下重复图4实验（100 epoch、恒定显示面积）：N 增大时 C/D 解码在每次增大时都下降（所有权重、所有种子）；N=16 时 A/B 反超在 r=0.10、0.20 的三个种子全部出现，但在 r=0.05 只有三个种子之一出现。
明确标出理论预测开始失稳的参数区（小正则权重），是评估结论边界条件与规划复现种子预算的关键数据。