← 返回 2026-10-05

PDE-JEPA：面向参数化偏微分方程的预测式表征学习与潜在动力学建模 PDE-JEPA: Predictive Representation Learning of Latent Dynamics Modeling for Parametric PDEs

Zhentao Tan, Jianrong Zhang, Ruijie Quan, Yi Yang 📅 2026-09-28 👍 26 2026-11-11 18:30
JEPA OOD外推 参数化PDE 潜在动力学模型 神经算子 自监督表征学习
arXiv HuggingFace PDF

以JEPA潜在预测预训练为基础，经几何对齐与物理结构化预测器提升参数化PDE预测与外推

前置知识

JEPA（联合嵌入预测架构）与掩码潜在预测

JEPA是一类自监督学习方法：把输入切成token后遮蔽一部分，用上下文编码器编码可见部分，再让一个预测器在表征空间中预测被遮蔽token的潜在表征，而不是在像素/物理场空间重建原始观测。预测目标由一个EMA（指数滑动平均）更新的目标编码器产生并对梯度做stop-gradient。I-JEPA用于图像、V-JEPA用于视频，核心思想是让特征捕捉输入中可预测的时空结构，避免重建目标把容量浪费在不可预测的细节上。

本文的全部三个模块（JEPA预训练编码器、几何对齐、结构化预测器）都建立在在潜在空间做预测而非重建这一基点上；论文的第一个关键观察就是JEPA表征比重建式表征保留更多物理信息，读懂JEPA的掩码预测机制和EMA目标编码器是理解实验设计的前提。

参数化PDE与神经算子

参数化PDE指由控制参数 $\xi$（扩散系数、外力项、边界条件等）参数化的一族偏微分方程 $\partial u/\partial t = \mathcal{F}(t,x,u,\nabla u,\nabla^2 u,\ldots;\xi)$：固定的 $\xi$ 定义一个具体动力系统，变化 $\xi$ 得到一族相关但不同的演化。学习式求解器（如FNO）直接从数据学这个解算子，绕开经典数值方法的高计算代价；核心挑战是在未见过的 $\xi$ 上做OOD外推。

论文的任务设定、九个基准（Vorticity变粘度 $\nu$、Wave-2D变波速 $c$ 和阻尼 $k$、Combined同时变三个系数等）以及OOD评测协议（如训练 $\nu\in[10^{-3},10^{-2}]$、测试 $\nu\in[10^{-5},10^{-4}]$）全部由这个概念定义，不熟悉参数化设定就无法理解OOD表格的含义。

潜在空间动力学模型与自回归滚动

用编码器把物理场压缩到低维潜在状态，在潜在空间学习时间推进器（predictor），需要时用解码器映射回物理场；推理时从初始状态的潜在编码出发反复递推（自回归rollout）。它的优点是每步计算便宜，缺点是单步误差会在滚动中累积放大，而且潜在空间本身的几何结构直接决定推进器好不好学、滚动稳不稳定。

本文本质上是在回答这个范式下的一个基础问题：潜在状态空间应该长什么样才能既好读又好演化。PAG对齐潜在轨迹几何、PSP结构化潜在向量场、以及在rollout latent上训练解码器，都是对这一空间质量的显式设计。

RK4常微分方程数值积分

把学到的连续时间潜在向量场 $dq/dt = F_\theta(q,\xi)$ 在一个观测区间 $\Delta t$ 上积分时，经典四阶Runge-Kutta法在$M$个子步中每步计算 $k_1,k_2,k_3,k_4$ 四个斜率并加权平均更新状态，局部截断误差为 $O(h^5)$。步长固定、子步数固定时是一个确定性的可微算子。

PDE-JEPA的潜在时间推进用的是RK4、4个子步；附录消融显示从Euler到RK2到RK4单调改善（Vorticity OOD末步误差0.1914→0.1648→0.1597）而RK8已无增益，这既是复现细节也是理解其连续时间结构化预测器的关键。

研究动机

学习式PDE求解器的潜在状态表征几乎都用重建式目标训练（自编码器、MAE等），即让潜在变量去恢复观测到的物理场。作者指出了两个具体问题：其一，重建保真不等于物理信息易得——重建目标可以把容量花在恢复观测细节上，而不保证控制参数（粘度、波速、边界类型）等信息在潜在空间中线性可读；其二，重建好不等于适合时间演化——Brettin等人在Koopman自编码器的工作显示重建好的潜在空间做长程滚动反而差。在参数化PDE场景下问题更尖锐：Vorticity的粘度训练范围 $[10^{-3},10^{-2}]$ 跨一个数量级、测试要外推到 $[10^{-5},10^{-4}]$ 两个数量级之外；Wave-2D波速从训练的 $[100,500]$ 外推到 $[500,550]$，普通条件化预测器允许参数与状态任意交互，在训练范围外极不可靠。文中的诊断数据非常直白：重建式的Zebra在Wave-B上重建误差只有0.0011但滚动误差达0.2450，比值222.73倍；Wave-2D上重建0.0010、滚动0.2070，比值207倍——重建与演化严重脱节。

本文的目标是论文要回答一个中心问题：什么样的潜在表征才适合参数化PDE动力学的精确预测与外推？目标分三层递进：第一，验证预测式（JEPA式）表征学习作为重建式学习的替代方案在PDE上的价值——证明其保留更丰富的物理信息（governing parameters 可探测、局部状态可解码）；第二，修复它信息丰富但不便演化的缺陷——通过显式对齐潜在轨迹几何与物理场演化几何，提升自回归rollout精度；第三，在几何对齐后的潜在空间上引入物理结构归纳偏置，把动力学分解为参数无关的共享演化与参数依赖的响应两部分，使模型能对未见过的控制参数做可靠外推。量化目标是在9个PDE基准上同时刷新ID与OOD的相对L2误差，最终实现ID平均超越SOTA 33.4%、OOD平均提升51.4%。

与已有工作不同的是，独特切入角度有三点。第一，这是首个把JEPA系统性引入参数化PDE的工作，且作者不满足于报告JEPA表征好，而是用两个互补协议——冻结编码器探测（参数探针+局部状态探针）与自回归滚动评测——把表征的信息性与可演化性解耦，揭示出一个此前未被指出的错配：vanilla JEPA探针全面更强，但在Wave-2D和Vorticity上的ID滚动误差反而高于重建基线。第二，与端到端联训编码器和动力学的惯例相反，作者坚持编码器全程冻结，用一个零初始化的轻量残差投影器只做潜在坐标修正（类比coordinate correction而非重学表征），并以恒等锚损失保住预训练信息——把改几何与改信息两个目标显式分离。第三，把PDE公式本身写成预测器的结构先验：受Navier-Stokes涡量形式 $\partial\omega/\partial t = -(u\cdot\nabla)\omega + \nu\nabla^2\omega$ 中粘度 $\nu$ 显式缩放粘性响应项的启发，让参数只通过乘性系数进入对应的响应分支，而不是像FiLM/AdaLN那样让参数任意调制整个网络。

核心方法

PDE-JEPA是一条四阶段流水线，直觉是：一个好的潜在状态空间要同时满足三件事——信息可读（能解码出场和参数）、几何可演化（潜在轨迹的方向变化模式像物理场轨迹）、参数响应可控（变参数时输出按物理规律相应变化）。技术路线为：阶段一，JEPA预训练——把PDE轨迹逐帧切patch成token（1D patch尺寸4，2D为4×4或8×8），ViT编码器（12或24层、隐维 $D=192$、RoPE位置编码）输出 $N\times D$ 个空间token，用掩码潜在预测训练（上下文掩码0.12-0.15、目标掩码0.60-0.70，EMA动量0.99925），参数 $\xi$ 不输入编码器和预测器，以保证表征参数无关；阶段二，物理对齐潜在几何（PAG）——冻结编码器，训练token级残差投影器 $q_t = z_t + G_\phi(z_t)$，用多滞后方向余弦损失 $\mathcal{L}_{geo}$ 加恒等锚 $\mathcal{L}_{anchor}$ 加辅助因果预测器损失 $\mathcal{L}_{dyn}$ 联合优化；阶段三，物理结构化潜在预测器（PSP）——在 $q$ 空间学习结构化向量场 $dq/dt = C_\theta(q) + \sum_j r_j(\xi) D_\theta^{(j)}(q)$，RK4积分4子步推进；阶段四，解码器学习——冻结前三者，在模型自己rollout出的潜在轨迹上训练卷积上采样解码器，使解码器见到推理时的真实误差分布。

核心创新是把学习什么表征与这个表征空间该长什么样拆成两个问题分别解决。已有潜在PDE模型都在重建目标下端到端学潜在空间；本文证明预测式预训练给出信息更丰富的空间——Vorticity粘度探测全预算MSE 0.009310、$R^2=0.9897$、相对MAE 4.12%（比LNS低55.3%、比VideoMAE低50.9%），PCA16外部ID线性读出 $R^2=0.9659$ 对比LNS的0.1422——但该空间的轨迹几何不适合演化：潜在轨迹平均转角从物理场的31.3°暴增到60.5°（Vorticity）、18.2°到59.4°（Burgers），JEPA路径效率0.4901而LNS为0.7581。PAG的应对是零初始化残差投影：$G_\phi(z)=W_2\sigma(W_1\mathrm{LN}(z))$、$W_2$ 初始为零使 $q_t=z_t$ 起步，只对齐lag为1、2、4的增量方向余弦 $\mathcal{L}_{geo}=\sum_{\ell\in\{1,2,4\}} w_\ell\,\mathrm{SmoothL1}(s^q_{t,\ell},\,\mathrm{sg}(s^u_{t,\ell}))$，并用 $\mathcal{L}_{anchor}=\|q-z\|_2^2/(\|z\|_2^2+\epsilon)$ 防止过度形变——消融显示去掉anchor虽然角度误差更低（6.3°→4.8°）但参数MSE从0.009涨到0.024、OOD滚动从0.397恶化到0.423。PSP的应对是把参数进入动力学的方式结构化为 $\dot{q} = C_\theta(q) + \sum_j r_j(\xi)D_\theta^{(j)}(q)$：Gray-Scott用 $(F/s_F)D_F+(k/s_k)D_k$，Wave-2D用 $r_{c^2}D_c - r_k D_k$，HeterNS用 $r_\nu D_\nu + m D_m$，共享骨架 $H_\theta(q)$ 后接独立分支头。

方法步骤详情

完整流程如下。Step 1（JEPA预训练）：输入轨迹 $u_{0:T}\in\mathbb{R}^{|X|\times T\times C}$，逐帧切patch嵌入为192维token，编码器（1D任务12层、GS 24层，注意力3头，MLP比率4）沿时间空间联合处理全部token；预测器（12或24层、hidden 384）接收可见上下文表征与掩码位置嵌入，预测EMA目标编码器的表征，损失为潜在L1；训练20+50 epochs、全局batch 32、峰值学习率 $3.5\times10^{-4}$、权重衰减0.04。Step 2（几何对齐）：冻结编码器；把物理场展平为CHW维向量、潜在状态展平为ND维向量（两者维度不同也可比），计算归一化方向 $d^u_t=(u_{t+1}-u_t)/(\|u_{t+1}-u_t\|_2+\epsilon)$ 与 $d^q_t$，相似度 $s_{t,\ell}=\langle d_t, d_{t+\ell}\rangle$；总损失 $\mathcal{L}_{align}=\mathcal{L}_{dyn}+\lambda_{geo}\mathcal{L}_{geo}+\lambda_{anchor}\mathcal{L}_{anchor}$（$\lambda_{geo}=0.1$、$\lambda_{anchor}=0.01$），其中辅助24层因果预测器以 $\xi$ 为条件token预测 $\Delta q_t$；50 epochs、lr $5\times10^{-5}$；结束后丢弃辅助预测器并冻结投影器。Step 3（预测器学习）：24层Transformer共享骨架（hidden 384、12头、RoPE），分支头输出 $C_\theta$ 与各 $D_\theta^{(j)}$；归一化参数如Vorticity的 $r_\nu=(\nu-\nu_0)/s_\nu$（$\nu_0$、$s_\nu$ 取训练区间中点与半宽）；RK4积分 $M=4$ 子步得 $\hat{q}_{t+1}=\Phi_{ODE}(q_t,F_\theta,\xi,\Delta t)$，损失 $\mathcal{L}_{pre}=\|\hat{q}_{t+1}-q_{t+1}\|_2^2/(\|\Delta q_t\|_2^2+\epsilon)$；50 epochs（HeterNS 100）、lr $5\times10^{-5}$ 到 $10^{-4}$。Step 4（解码器）：只从 $q_0$ 出发递推生成整条潜在rollout作为输入（未来真值场只作重建目标），解码器做LN+GN、GELU、残差卷积与逐级2×上采样恢复空间分辨率，重建损失 $\mathcal{L}_{dec}$，100-2000 epochs。总代价：4块RTX PRO 6000 96G，约9000 GPU小时。

技术新颖性

新颖性可从四个层面评估。概念层面：首次为PDE场景提供信息性与可演化性并不等价的完整证据链——探测实验（参数 $R^2$、局部状态 $R^2$）与滚动实验（表26显示JEPA的roll/recon比值稳定在8.12-12.31，而重建式Zebra在Wave-B高达222.73、Wave-2D达207.00）分离出两种独立性质，这超越了JEPA表征更好的简单结论。机制层面：PAG不是又一个泛泛的正则项，而是显式测量并最小化潜在与物理轨迹的方向统计差异——由于方向余弦是维度无关标量，CHW与ND维度不同也能对齐；1D对照实验表明对齐目标既可增也可减潜在转角（Wave-B物理平均转角118.72°，投影后118.42°），说明学到的是几何匹配而非盲目平滑。结构层面：PSP与一般参数条件化的本质区别在于参数只通过乘性系数 $r_j(\xi)$ 进入对应响应分支；对照实验中结构化8-block与直接条件化网络参数量完全相同（14.42M）、训练预算相同、teacher单步误差几乎相同（0.041170对0.041156），但Gray-Scott整条rollout潜在误差从0.457266降到0.171373，收益只能归因于结构。分析层面：用有限时间扰动增益 $A_K(q,\delta q)$ 把单步预测缺陷与误差传播分开，证明物理监督主要抑制分布偏移下的误差放大（far-OOD中位增益15.5361→6.4286，98.3%案例更低）而非改善单步拟合（teacher误差反而0.026543→0.027629），这个机制发现对整个潜在动力学领域都有参考价值。

Overview of PDE-JEPA. (a) We first adapt the frozen predictive representation initialized by JEPA with a light weight geometry projector... (b) We then evolve the aligned latent states using a physics-structured latent predictor.
Figure 2: Overview of PDE-JEPA. (a) We first adapt the frozen predictive representation initialized by JEPA with a light weight geometry projector... (b) We then evolve the aligned latent states using a physics-structured latent predictor.
Anchor and Geometry training loss for four benchmarks.
Figure 33: Anchor and Geometry training loss for four benchmarks.

实验结果

核心发现分四块。（1）ID滚动：9个基准中8个第一、Advection第二（0.0074 对 CoDA 0.0068，相对-8.8%，作者归因于平移主导动力学中重建能力最重要且误差已近饱和），平均相对提升33.4%；具体为Heat 0.0274（最强基线Poseidon-T 0.0933，降70.6%）、Wave-B 0.0350（Poseidon-T 0.1093，降68.0%）、Burgers 0.0428（LE-PDE 0.0869，降50.7%）、Wave-2D 0.1140（Zebra 0.2070，降44.9%）、Vorticity 0.0348（LNS 0.0592，降41.2%）、Combined 0.0074（CoDA 0.0085，降12.9%）、HeterNS 0.0089（UniSolver 0.0098，降9.2%）、GS 0.0284（UniSolver 0.0323，降12.1%）。（2）OOD外推：全部5个有OOD切分的基准第一，平均提升51.4%：Combined 0.008（UniSolver 0.038，降77.9%）、Wave-2D 0.157（LNS 0.610，降74.2%）、GS 0.033（Poseidon-T 0.083，降59.7%）、HeterNS粘度/外力 0.011/0.103（UniSolver 0.037/0.105，降69.5%/1.5%）、Vorticity 0.288（Zebra 0.320，降9.7%）；ID到OOD退化极小（Combined 0.0074→0.0084、Wave-2D 0.1140→0.157、GS 0.0284→0.0337）。（3）消融：Vanilla→+PAG在Vorticity ID 0.086→0.040（降53.4%）、OOD 0.491→0.397（降19.1%）；+PSP进一步把Vorticity OOD 0.397→0.288、Wave-2D OOD 0.321→0.157；对齐使Vorticity三个几何指标分别降78%/77%/84%（角度MAE 29.1°→6.3°）。参数响应：Vorticity场响应余弦0.6259→0.7079、潜在幅值比1.1423→1.0428；Wave-2D场响应余弦0.9582→0.9861。几何对齐只对JEPA有效：同样的PAG用在LNS上角度9.37°→8.21°但滚动0.059→0.062反而变差。（4）机制：物理监督抑制误差放大而非改善单步——far-OOD扰动增益中位数15.5361→6.4286、teacher误差微升；积分器从Euler到RK4末步误差0.1914→0.1597后饱和。

ID rollout performance across PDE benchmarks. All results are reported in Relative L2 error, lower is better.
Table 1: ID rollout performance across PDE benchmarks. All results are reported in Relative L2 error, lower is better.
Module ablation on rollout.
Table 2: Module ablation on rollout.
Representation geometry before and after alignment.
Table 3: Representation geometry before and after alignment.
OOD rollout performance across PDE benchmarks. Relative L2 error is reported, lower is better.
Table 4: OOD rollout performance across PDE benchmarks. Relative L2 error is reported, lower is better.
Parameter-response consistency under matched ICs.
Table 5: Parameter-response consistency under matched ICs.
Primary comparison. Vorticity viscosity readout from frozen JEPA, LNS, and VideoMAE.
Table 19: Primary comparison. Vorticity viscosity readout from frozen JEPA, LNS, and VideoMAE.
Direct reconstruction and autoregressive rollout errors on the ID validation sets for JEPA and Zebra.
Table 26: Direct reconstruction and autoregressive rollout errors on the ID validation sets for JEPA and Zebra.
Parameter-response accuracy at fixed initial conditions.
Table 27: Parameter-response accuracy at fixed initial conditions.
One-step prediction error, perturbation amplification, and latent rollout error on Vorticity.
Table 31: One-step prediction error, perturbation amplification, and latent rollout error on Vorticity.
Full OOD rollout performance across PDE benchmarks. Relative L2 error is reported, lower is better.
Table 33: Full OOD rollout performance across PDE benchmarks. Relative L2 error is reported, lower is better.
Effect of the anchor constraint in geometry alignment.
Table 34: Effect of the anchor constraint in geometry alignment.
Effect of geometry alignment on JEPA and LNS representations.
Table 35: Effect of geometry alignment on JEPA and LNS representations.
Gray–Scott prediction rule and capacity controls on ID validation.
Table 36: Gray–Scott prediction rule and capacity controls on ID validation.
Effect of numerical integration accuracy on Vorticity OOD prediction.
Table 38: Effect of numerical integration accuracy on Vorticity OOD prediction.
Visualization on Vorticity under matched initial conditions on final timestep. Prediction errors are shown for the vanilla, geometry-aligned and physics-structured models.
Figure 3: Visualization on Vorticity under matched initial conditions on final timestep. Prediction errors are shown for the vanilla, geometry-aligned and physics-structured models.
Vorticity parameter-response magnitude and direction at fixed initial conditions. Curves average all 120 matched pairs; shaded bands are pointwise 95% initial-condition bootstrap intervals.
Figure 22: Vorticity parameter-response magnitude and direction at fixed initial conditions. Curves average all 120 matched pairs; shaded bands are pointwise 95% initial-condition bootstrap intervals.
Full-dimensional geometry of the two trajectories generated from each matched initial condition.
Figure 25: Full-dimensional geometry of the two trajectories generated from each matched initial condition.
Finite-time perturbation amplification on Vorticity. Physics-D leaves ID amplification nearly unchanged but substantially suppresses long-horizon amplification on Bridge and far-OOD trajectories.
Figure 32: Finite-time perturbation amplification on Vorticity. Physics-D leaves ID amplification nearly unchanged but substantially suppresses long-horizon amplification on Bridge and far-OOD trajectories.
Gray–Scott latent prediction on the complete ID-validation set. The direct and structured eight-block predictors have equal parameter counts and training budgets.
Figure 34: Gray–Scott latent prediction on the complete ID-validation set. The direct and structured eight-block predictors have equal parameter counts and training budgets.
查看结构化数据
任务指标本文基线提升
ID滚动（9个PDE基准综合） 相对L2误差（越低越好） 8/9基准第一，平均超最强基线33.4% 13个基线：FNO/CAPE/CoDA/GEPS/ViT-in-context/Zebra/UniSolver/MPP/DPOT-S/Poseidon-T/LE-PDE/LNS/MAE-PDE/ENMA +33.4%
Heat方程 ID滚动 相对L2 0.0274 Poseidon-T 0.0933 70.6%
Wave-B（变边界条件）ID滚动 相对L2 0.0350 Poseidon-T 0.1093 68.0%
Burgers方程 ID滚动 相对L2 0.0428 LE-PDE 0.0869 50.7%
Wave-2D ID滚动 相对L2 0.1140 Zebra 0.2070 44.9%
Vorticity ID滚动 相对L2 0.0348 LNS 0.0592 41.2%
OOD Combined（α外推至[1.068,1.758]） 相对L2 0.008 UniSolver 0.038 77.9%
OOD Wave-2D（c∈[500,550], k∈[50,60]） 相对L2 0.157 LNS 0.610 74.2%
OOD Gray-Scott（F,k外推） 相对L2 0.033 Poseidon-T 0.083 59.7%
OOD HeterNS（粘度/外力） 相对L2 0.011 / 0.103 UniSolver 0.037 / 0.105 69.5% / 1.5%
Vorticity 模块消融（+PAG / +PSP） ID与OOD相对L2 ID 0.086→0.040→0.034；OOD 0.491→0.397→0.288 Vanilla JEPA：ID 0.086 / OOD 0.491 PAG：ID降53.4%、OOD降19.1%；PSP：OOD再降27.5%
Gray-Scott 结构化预测器 vs 直接条件化 整条rollout潜在误差（同14.42M参数、同预算） 0.171373 直接条件化预测器 0.457266 62.5%

局限与改进

作者承认或实验中揭示的局限：（1）Advection是唯一非第一的基准（0.0074 对 CoDA 0.0068，-8.8%），归因于平移主导、形状不变的动力学中重建能力最重要，且多个方法误差已低于 $10^{-2}$ 进入饱和区；（2）Wave-2D晚程潜在响应出现退化——步22-29的潜在余弦配对变化为-0.0111（95%CI [-0.0216,-0.0011]）、潜在相对响应误差+0.0234，即全程平均改善掩盖了晚程潜在空间的反转；（3）几何对齐在GS上优化噪声大、改进最小（角度仅降29%）；（4）远OOD参数读出对三种表征全失败（JEPA线性探针 $R^2=-11.26$、LNS -23.38、VideoMAE -15.94），说明预测式表征在参数外推读出上同样不可靠，Heat的参数读出即使ID下 $R^2$ 也仅0.0665；（5）HeterNS ID只提升9.2%、Vorticity OOD只提升9.7%，增益不均衡。我自己的观察还有四点：PSP的分解结构需要人工按每个PDE的公式设计（Vorticity一套、GS一套、Combined三系数各一套），对未知方程或多参数强耦合系统不能直接套用；四阶段流水线加每数据集调参（表8几乎每列超参都不同）加9000 GPU小时，工程成本远高于FNO式端到端训练；编码器完全冻结意味着预训练阶段没学到的信息下游无法弥补；评测全部是Zebra/UniSolver式合成基准，真实高维多物理场景未验证。

独立分析的弱点

独立弱点分析：（1）结构归纳偏置依赖先验知识——PSP要求设计者知道哪些参数调制哪些动力分量并写出归一化系数 $r_j(\xi)$，现实中的多参数耦合系统（如可压缩流体中状态方程与输运耦合）难以线性叠加表达；改进方向是用稀疏回归/符号回归从数据中自动发现分解结构，或引入分组线性层让模型自己学低秩的参数-分量映射。（2）几何对齐的目标是匹配物理场的高维转角统计，但物理与潜在维度不同，方向余弦等价只是启发式；对多尺度快波系统（Wave-2D波速500）固定的滞后集合 $\{1,2,4\}$ 可能欠采样最快模态；改进：自适应滞后选择或按物理时间尺度设计权重 $w_\ell$。（3）OOD平均51.4%的提升幅度部分来自基线在大偏移下崩溃（UniSolver Wave-2D OOD 1.003 相对其ID 0.4009恶化150%），本文在平缓偏移下优势小得多（Vorticity OOD仅9.7%、HeterNS外力仅1.5%）；改进：研究增益随偏移距离的标度律，并结合参数不确定性估计给出可信区间。（4）解码器在rollout latent上训练虽暴露了推理误差分布，但Combined需要2000 epochs，显著拉长流水线；改进：解码器与预测器联合训练并做梯度隔离，或用轻量patch解码器。（5）表征分析表明外推能力主要来自PSP结构而非表征本身的参数外推（远OOD线性读出全为负 $R^2$）；改进：在表征层面引入参数的物理尺度编码或双线性参数嵌入。

未来方向

作者提出或由成果可延伸的方向：（1）物理切线监督——附录已在raw-interval Advection上探索用冻结编码器的Jacobian-vector product得到物理切向 $\dot{q}_{phys}=J_E(u)\dot{u}$ 来监督潜在切向，使整条潜在误差从条件式0.1100→分解式0.0848→加JVP监督0.0200，把这条路线推广到2D系统并系统化是显然的下一步；（2）与PDE基础模型结合——把PAG/PSP接到Poseidon、WALRUS式多物理预训练权重上，检验几何对齐是否在跨物理预训练表征上仍然必要（本文编码器是每数据集单独预训练的）；（3）结构自动发现——用算子分解、Koopman/DMD或可微稀疏回归识别参数相关子空间，替代人工设计 $D_\theta^{(j)}$，让方法适用于方程形式未知的系统；（4）不确定性量化与外推警示——RK框架天然支持多步扰动增益 $A_K$ 监控，论文已显示对数增益与末步误差Spearman相关约0.81，可发展为滚动中的实时外推风险指标；（5）可逆性与保结构积分——RK8只把往返误差从0.7816降到0.6702而不影响预测精度，说明数值可逆性是独立于预测的改进轴，可探索潜空间哈密顿/辛结构；（6）流式与在线适配——当前四阶段全离线，把几何投影器做成可在线更新的轻量模块，应对参数分布漂移的持续学习场景。

复现评估

复现评估：实现细节的完备度非常高——附录给出了九个数据集的方程、参数范围、初值分布、数值格式与ID/OOD切分（表6-7，如Vorticity训练 $\nu\in[10^{-3},10^{-2}]$、OOD $[10^{-5},10^{-4}]$），每个数据集四个阶段的全部超参数（表8，含层数、学习率、batch、损失权重、掩码比例、RK4子步数），以及15个基线中11个的复现配置（表9-18；CAPE/CoDA/Zebra等直接引用Zebra论文报告值）。但正文只给项目页链接，未见明确的代码与权重开源承诺；数据需自行生成（WENO+Godunov通量、Dormand-Prince 4/5自适应积分等格式附录有描述）。算力门槛高：4块RTX PRO 6000 96G、合计约9000 GPU小时；单数据集需四个训练阶段（预训练20-70 epochs、几何对齐50 epochs、预测器50-100 epochs、解码器100-2000 epochs），在8×A100级集群上复现单个数据集估计需要数天。整体判断：信息完备度好、复现难度中上，主要障碍是算力与基线重跑工作量（尤其UniSolver/MPP/DPOT需要加载预训练权重微调）；若作者开源代码则中等配置实验室可在单数据集层面复现核心结论（ID/OOD主表+PAG/PSP消融），完整复现全部15个基线则不现实。

论文图表

Overview of our key observations. Predictive representation (JEPA) learns physically informative representations, but informativeness alone does not ensure effective forecasting of parametric PDEs.
Figure 1: Overview of our key observations. Predictive representation (JEPA) learns physically informative representations, but informativeness alone does not ensure effective forecasting of parametric PDEs.

五联总览图：(a)重建式表征学习与预测式（JEPA）表征学习架构对比——解码器重建物理场 vs 上下文编码器+EMA目标编码器+预测器的潜在空间掩码预测；(b)Burgers等数据集的潜在空间可视化，JEPA特征按参数范围形成清晰的两支结构而重建特征混杂；(c)冻结表征探测测试：局部状态探针与参数探针，JEPA两项均更强；(d)表征状态动力学：vanilla JEPA在Wave-2D和Vorticity上的ID滚动误差反而高于重建基线；(e)PDE-JEPA性能：几何对齐+物理结构化预测器在Heat上对Poseidon-T的ID大幅领先。

这是全文论点的浓缩：信息性（探针好）与可演化性（滚动差）的分离是PAG和PSP两个模块存在的全部理由，看懂这张图就掌握了论文的动机逻辑链和两大观察的证据形态。

Viscosity readout across evaluation regimes. Upper panels compare external-ID viscosity predictions with numerical truth at the final two-frame center.
Figure 13: Viscosity readout across evaluation regimes. Upper panels compare external-ID viscosity predictions with numerical truth at the final two-frame center.

上排：外部ID粘度预测对真值散点（LNS $R^2=0.142$ 但Spearman 0.961说明有系统性偏移；JEPA $R^2=0.966$；VideoMAE $R^2=0.919$）；下排四组条形：内部holdout读出 $R^2$（0.948/0.956/0.918）、外部ID $R^2$、远OOD标准化RMSE（JEPA 4.093 / LNS 5.773 / VideoMAE 4.812）与kNN-5读出 $R^2$（0.782/0.678/0.759）。

支撑观察一（JEPA表征物理信息最丰富）的关键附录图，同时揭示不同表征组织方式迥异（两两CKA仅0.14-0.20），以及远OOD参数线性读出对所有方法都失败这一重要边界。

Primary baseline families on matched Vorticity trajectories and two-frame centers.
Figure 14: Primary baseline families on matched Vorticity trajectories and two-frame centers.

上排：三种表征（LNS 64维 / JEPA 192维 / VideoMAE-Tiny 192维）在匹配轨迹上的PCA16散点（按粘度着色），JEPA的粘度梯度组织最清晰；下排：达95%方差所需主成分数（LNS 2 / JEPA 6 / VideoMAE 8）、holdout线性读出 $R^2$、训练轨迹几何摘要（路径效率0.7581/0.4901/0.1070）与空间邻居余弦提升。

一图同时呈现信息分布与几何可演化性的反相关：LNS方差最集中、路径最直但参数读出最差，JEPA居中且读出最好，直接支撑信息性与可演化性需要分别优化这一核心论点。

相似论文推荐

JEPA-Anything：跨异构世界的统一预测世界模型 🎯 67.1%
ODEWorld：基于物理时间流的连续时间潜在世界模型 🎯 66.9%
世界模型的自适应潜在容量 🎯 64.9%
学习世界如何演化：基于潜动力学推理的外推视频世界模型 🎯 64.0%
VLA-JEPA：用潜在世界模型增强视觉-语言-动作模型 🎯 63.9%