← 返回 2026-11-05

Koopman 生成算子:高效的概率时间序列预测 Koopman Generative Operators for Efficient Probabilistic Time-Series Forecasting

Raz Marshanski, Liran Nochumsohn, Mayank Jauhari, Boris N. Oreshkin, Omri Azencot 📅 2026-11-03 👍 4 2026-11-11 18:30
Koopman算子 不确定性量化 概率时间序列预测 流匹配 生成模型

用 Koopman 闭式传输替代迭代采样,实现单步概率预测,推理快 25 倍且精度领先

前置知识

Koopman 算子理论

非线性动力系统 $z_{t+1}=\Phi(z_t)$ 本身不可线性化,但 Koopman 理论指出:在无限维的观测函数空间中,演化是线性的,即 $\psi(z_{t+1})=\mathcal{K}\psi(z_t)$。实践中把状态提升(lift)到高维特征空间,用有限矩阵 $K\in\mathbb{R}^{D\times D}$ 近似该算子,未来的观测量通过反复乘 $K$ 的幂或矩阵指数 $e^{A}$($A$ 为 Koopman 生成元)精确传播。本文还对 $K$ 做谱范数归一化保证 $\|K\|_2\le 1$,使 rollout 稳定不发散。

KGO 的两大核心模块 KoPE 与 KoFM 全部建立在「用线性算子刻画非线性演化」这一思想之上:KoPE 用矩阵幂外推 latent 轨道,KoFM 用矩阵指数一步完成噪声到数据的传输。不理解 Koopman 视角,就无法理解为什么一个静态矩阵可以承担时间外推与概率生成两件事。

Flow Matching(流匹配)

生成式建模范式:在噪声 $\epsilon\sim\mathcal{N}(0,I)$ 与数据 $x$ 之间定义直线路径 $x^{(\tau)}=(1-\tau)\epsilon+\tau x$,训练神经网络速度场 $v_\theta(x^{(\tau)},\tau)$ 去拟合端点间的条件位移,采样时从噪声出发数值积分 ODE $\frac{dx}{d\tau}=v_\theta$ 到 $\tau=1$。与扩散模型同源但路径更直、训练更稳定,代价是采样需要多次前向评估。

本文的 KoFM 正是对流匹配的改造:把时间相关的神经网络速度场替换成 latent 空间中的线性向量场 $?rac{dz}{d au}=Az$,从而获得闭式解 $e^{(1- au)A}$,把多步积分压缩成一步矩阵乘。只有理解标准 FM 的迭代本质,才能体会 KoFM 单步生成的价值与差异。

CRPS 与 Energy Score

CRPS(连续排序概率得分)$\mathrm{CRPS}=\int_{\mathbb{R}}(F(z)-\mathbb{I}\{x\le z\})^2dz$ 衡量预测 CDF 与观测的偏离,是严格 proper scoring rule:预测分布等于真实条件分布时期望最小。其样本形式即 Energy Score:$\frac{1}{2}\mathbb{E}\|\hat{X}-x\|_1-\frac{1}{2}\mathbb{E}\|\hat{X}-\hat{X}'\|_1$,第一项管准确度,第二项是排斥项、防止样本塌缩到一点。概率预测领域用它评价分布预测质量。

KGO 的训练目标(公式 6)就是 CRPS 量化损失(pinball)加 Energy Score 排斥项的组合,评测也用 CRPS 作主指标;消融显示去掉排斥项平均 CRPS 恶化 5.5%。不懂 CRPS 就无法理解本文的训练信号与实验评价体系。

Patching 与 RevIN

Patching 把时间序列切成若干长度为 $P$ 的子段(patch),每个 patch 展平后线性投影成一个 token,是 PatchTST 以来长期预测的标准输入表示,能聚合局部模式、降低序列长度。RevIN(可逆实例归一化)对每个样本按其自身均值/方差做归一化、预测后再逆变换,用来对抗时序数据的分布漂移(非平稳性)。两者是现代时序骨干的标配。

KGO 的表示学习阶段完全沿用这套流程:RevIN 归一化、$N=\lfloor L/P floor$ 个非重叠 patch、线性投影后进 sLSTM。KoPE 的外推也是以 patch 为单位进行的($M=\lceil H/P ceil$ 个未来 patch),读懂输入处理是理解后续模块的前提。

sLSTM / xLSTM

xLSTM 是 2024 年对 LSTM 的现代化改造,引入指数记忆容量、新门控与稳定化技巧,使循环网络重新具备与 Transformer 竞争的长序列能力;sLSTM 是其中的稳定变体,保持对序列长度线性的内存与计算复杂度,擅长状态追踪。KGO 用它替代 Transformer 做序列编码。

KGO 选择 sLSTM 作为序列编码器而非 Transformer,是论文的一个实证设计决策:消融中把 sLSTM 换成 Transformer 或 Linear RNN,36 个配置的平均 CRPS 从 0.141 恶化到 0.148 与 0.145。理解这个骨干有助于判断哪些结论依赖于具体架构。

偶然不确定性(aleatoric uncertainty)

数据固有的、由观测噪声与过程随机性导致的不可约不确定性,与模型能力无关(对应概念是 epistemic 不确定性)。时序中可预测性随变量与预测步长变化:越远的未来、噪声越大的变量,偶然不确定性越高,预测分布应更分散。能否按此异质性分配不确定性是概率预测质量的关键。

AUG 模块的理论解释(附录 B.1 用互信息刻画可预测性、用数据处理不等式论证 gate 必须以原始上下文为输入)正是围绕偶然不确定性的异质性展开;Proposition 1 证明门控系数 $g_h$ 直接控制预测方差。这是理解第三模块的钥匙。

矩阵指数与线性时不变系统

线性 ODE $\frac{dz}{d\tau}=Az$ 的唯一解是 $z(\tau)=e^{\tau A}z(0)$,其中矩阵指数 $e^{A}=\sum_{k=0}^{\infty}\frac{(A)^k}{k!}$。它的关键性质是:任意时刻的解都可以不经数值积分直接跳到(闭式求值),且可预先计算缓存;线性场的散度恒为 $\mathrm{Tr}(A)$,因此 log-density 沿轨迹的变化有解析式 $-\mathrm{Tr}(A)\Delta\tau$。

这是 KoFM 高效性的全部来源:训练时把 $1- au$ 离散到 32 个 bin 只需算 32 个指数;推理时缓存 $C=e^A$,传输退化为一次 $O(D^2)$ 矩阵乘加偏置。论文 Theorem 1/2 的推导也完全基于这些性质。

研究动机

概率预测要求模型同时具备三样东西:准确度、可靠的不确定性、可部署的推理效率,但现有方法在三者之间顾此失彼。第一类是以 TimeGrad、TSDiff、CSDI 为代表的扩散/流匹配生成模型:它们能刻画复杂多模态分布,但采样成本随迭代步数线性增长——在 ProbTS 协议下(上下文 96、视野 720、每窗口生成 100 条轨迹、FP32),TimeGrad 单窗口推理延迟高达 254.6 秒,CSDI 约 25 秒,TSDiff 约 0.48 秒且峰值显存 0.36 GB,完全无法满足实时或大规模场景。第二类是潜变量动力学模型(K2VAE、D3VAE、DeepAR/DeepState 等):它们把历史压缩为单个 latent 初始状态,不确定性被绑定在初始状态的采样上、靠确定性传播间接产生,时间演化与不确定性建模紧紧耦合,灵活性受限;而 last-patch 这类局部条件机制又会掩盖长程依赖、限制长视野外推。第三类是几乎所有方法共有的问题:不确定性用固定或全局启发式策略处理,忽略了可预测性本来就随变量和预测步长变化——例如电网负荷近几步高度可预测,而流感样病例比率(ILI)本身噪声极大,二者不该用同一种不确定性处理方式。

本文的目标是论文提出 KGO(Koopman Generative Operator),把概率时序预测统一形式化为「结构化不确定性随时间演化」的过程,并在单一框架内同时满足三个设计要求:(i) 高效生成——直接一步采样未来轨迹,不做迭代数值积分;(ii) 结构化时间演化——在可外推的 latent 空间中编码并传播时间结构,支撑长视野预测;(iii) 自适应不确定性——按每个变量、每个预测步的实际可预测性动态分配确定性与随机成分,无需手工调度。对应的工程目标是:在公开的 ProbTS 基准(17 个数据配置、8 个覆盖流/扩散/VAE 各范式的基线)上取得 CRPS 与 NMAE 双指标领先,同时把推理延迟从迭代生成模型的百毫秒至秒级压到 10 毫秒级,实现精度与效率的双赢,挑战「表达力与效率必须取舍」的行业成见。

与已有工作不同的是,本文的独特切入是用算子理论重构生成过程:不再把「从噪声到未来」看作需要神经网络速度场迭代积分的 ODE,而是把它参数化为学习 latent 空间中的线性时不变系统,其矩阵指数 $e^{(1-\tau)A}$ 给出精确闭式流映射,推理只需缓存 $e^A$ 做一次矩阵乘。与先前 Koopman 路线(如 K2VAE 用 latent 初始状态的确定性演化诱导预测分布、不确定性绑死在初始状态)本质不同,KGO 把 Koopman 动力学与生成建模解耦:KoPE 只负责把 latent 轨道外推成结构化「条件」,KoFM 才直接把噪声传输为未来观测,不确定性因此在被预测序列层面建模。此外,AUG 依据互信息可预测性理论(数据处理不等式表明任何对上下文的压缩只会损失信息),让门控网络直接以原始上下文为输入,端到端学习每个(变量, 步长)的确定/随机配比,替代手工的不确定性调度。

核心方法

直觉上,KGO 把预测拆成三件事:未来长什么样(结构)、未来有哪些可能(分布)、当下该信哪一个(自适应融合)。技术上是一条四段流水线。(1) 表示学习:输入 $x_{1:L}$ 经 RevIN 逐变量归一化,切成 $N=\lfloor L/P\rfloor$ 个长度 $P$ 的非重叠 patch 并线性投影到 $D$ 维,由 sLSTM 编码为 latent 序列 $Z=[z_1,\dots,z_N]$。(2) Koopman Patch Embedding:学习算子 $K\in\mathbb{R}^{D\times D}$(谱范数超 1 时归一化),幂乘外推出未来 latent 轨道 $\tilde{z}_{N+i}=K^{i-1}z_N$,$i=1,\dots,M$,$M=\lceil H/P\rceil$。(3) 双解码流:确定性流用 ResMLP(带线性跳连)把每个 $\tilde{z}_{N+i}$ 解码成 patch 得点预测 $\hat{x}^{det}$;概率流 KoFM 以 $\tilde{z}_{N+i}$ 经 AdaLN 条件化,把噪声与数据的插值 lift 到 latent,用闭式仿射传输 $\tilde{z}^{(1)}_{N+i}=e^{(1-\tau)A}\tilde{z}^{(\tau)}_{N+i}+(1-\tau)b$ 一步推到数据端再解码,得 $\hat{x}^{prob}$。(4) AUG:轻量 encoder-router 从原始上下文产生每步门控 $g_h\in[0,1]$,按 $\hat{x}_{L+h}=(1-g_h)\hat{x}^{det}_{L+h}+g_h\hat{x}^{prob}_{L+h}$ 融合两路输出,整个模型端到端训练。

核心创新是「闭式 Koopman 传输」替代迭代采样。标准流匹配学习时间相关速度场 $v_\theta(x^{(\tau)},\tau)$,采样需数值积分 ODE 多步;KoFM 把传输限制为学习 latent 空间中的时不变线性向量场 $\frac{dz}{d\tau}=Az$——这是 Koopman 生成元的有限维近似——其解为矩阵指数,训练时任意 $\tau$ 都能精确跳到终点,推理时 $\tau=0$、缓存 $e^A$,一步完成。第二个创新是「演化与生成解耦」:KoPE 学到的 $K$ 不像 K2VAE 那样直接定义生成过程,而是只提供编码时间动力学的条件轨道,时间结构(趋势/周期)与分布形状各由专门模块负责,不确定性在被预测序列层面建模。第三个创新是 AUG 的「可预测性自适应」:由 CRPS 目标的梯度自动学习每个(变量, 视野步)的随机权重,等效于数据驱动的偶然不确定性分解;理论上 Proposition 1 给出 $\mathrm{Var}(\hat{x}\mid x)=g_h^2\,\mathrm{Var}(\hat{x}^{prob}\mid x)$,即门控同时控制预测分布的位置与离散度,小的 $g_h$ 把样本收缩向确定性预测,从而无需手工不确定性日程表。

方法步骤详情

完整流程与各步输入输出如下。第 1 步表示学习:输入 $x_{1:L}$ 经 RevIN 逐变量归一化,切成 $N=\lfloor L/P\rfloor$ 个长度 $P$ 的非重叠 patch,线性投影到 $D$ 维后由堆叠 sLSTM 块编码为 latent 序列 $Z=[z_1,\dots,z_N]$。第 2 步 KoPE 外推:$K$ 正交初始化、谱范数超 1 则归一化使 $\|K\|_2\le 1$,对 LayerNorm 后的 $z_N$ 递推 $\tilde{z}_{N+i}=K^{i-1}z_N$,得 $M=\lceil H/P\rceil$ 个未来条件状态(并行可微)。第 3 步确定性解码:$\hat{x}^{det}_{N+i}=\mathrm{MLP}(\tilde{z}_{N+i})+W_{res}\tilde{z}_{N+i}$,拼接成点预测。第 4 步 KoFM 生成:训练时采 $\tau\sim U[0,1]$(每个样本以 0.5 概率置 0,其余把 $1-\tau$ 归入 32 个均匀 bin 以批量共享矩阵指数),插值 $x^{(\tau)}_{N+i}=(1-\tau)\epsilon+\tau x_{N+i}$ 经 AdaLN(由 $\tilde{z}_{N+i}$ 定 scale/shift)lift 后闭式传输 $\tilde{z}^{(1)}_{N+i}=e^{(1-\tau)A}\tilde{z}^{(\tau)}_{N+i}+(1-\tau)b$,重建头解码成 patch;推理时 $\tau=0$、缓存 $e^A$,$z_1=e^Az_0+b$ 一步完成,采 $J$ 个独立噪声并行得多轨迹。第 5 步 AUG 融合:router 对每个变量输出每步两个 logits,训练用带学习温度的 Gumbel-Softmax、推理用 softmax 得 $g_h$ 后加权求和。第 6 步训练:损失 $\mathcal{L}=\frac{1}{2}\mathbb{E}\|\hat{X}-X^\star\|_1-\frac{1}{2}\mathbb{E}\|\hat{X}-\hat{X}'\|_1+\frac{1}{|Q|}\sum_{q\in Q}\rho_q(X^\star-\hat{X}_q)$,前两项是 Energy Score(排斥项防塌缩),第三项是分位 pinball 损失;AdamW($\beta=(0.9,0.95)$、wd 0.1、cosine+10% warmup),Koopman 参数用 0.1 倍基础学习率。

技术新颖性

新颖性有四层。其一,把生成建模写成精确可解的动力学:diffusion/FM 的非线性 ODE 必须数值积分且带截断误差,KoFM 的线性时不变系统 $\frac{dz}{d\tau}=Az$ 有解析解 $e^{A\Delta\tau}$;Theorem 2 还给出闭式 log-density $\log p_1(z_1)=\log p_\tau(\Phi^-_{(1-\tau)}(z_1))-\mathrm{Tr}(A)(1-\tau)$(线性场散度恒为 $\mathrm{Tr}(A)$)。其二,架构解耦:先前 Koopman 预测模型把 latent 演化与分布生成绑定,KGO 首次让 Koopman 算子只当「条件构造器」,生成交给独立的闭式传输,不确定性在被预测序列层面建模。其三,训练与推理工程:时间分 bin 把每 batch 矩阵指数从 $B$ 次降到 32 次,推理缓存单矩阵 $C=e^A$ 使传输退化为一次 $O(D^2)$ 矩阵乘加偏置;仿射 offset 用一阶近似并在附录 B.2 坦诚说明。其四,可解释性:学到的 $K$ 主特征值相位精确对齐数据周期(ETTm 日周期 90.1° 对期望 90°、Weather 59.9° 对 60°、Electricity/Traffic 周周期 51.5°/51.6° 对 51.4°),且全部 36 个配置中 $\rho(K)<1$(0.59–0.96),周期结构无需人工注入即自动浮现。

KGO consists of four main parts. (Left) A representation learning stage transforms the input time series via RevIN normalization, patching, and an sLSTM encoder into a latent state. (Middle-left) KoPE extrapolates latent states by applying powers of a learned linear operator. (Middle-right) A ResMLP decodes the KoPE latents into a deterministic point forecast; KoFM generates probabilistic forecasts by transporting samples through a matrix exponential conditioned on the KoPE latents. (Right) AUG combines the two predictions.
Figure 1: KGO consists of four main parts. (Left) A representation learning stage transforms the input time series via RevIN normalization, patching, and an sLSTM encoder into a latent state. (Middle-left) KoPE extrapolates latent states by applying powers of a learned linear operator. (Middle-right) A ResMLP decodes the KoPE latents into a deterministic point forecast; KoFM generates probabilistic forecasts by transporting samples through a matrix exponential conditioned on the KoPE latents. (Right) AUG combines the two predictions.
Architecture ablations averaged across datasets and forecasting horizons (lower CRPS is better). Panels evaluate the four core design choices underlying KGO: latent trajectory representation (KoPE), sequence encoder, deterministic–probabilistic coupling (AUG), and generative decoder (KoFM).
Figure 3: Architecture ablations averaged across datasets and forecasting horizons (lower CRPS is better). Panels evaluate the four core design choices underlying KGO: latent trajectory representation (KoPE), sequence encoder, deterministic–probabilistic coupling (AUG), and generative decoder (KoFM).
Eigenvalues of the learned KoPE operator K on the nine long-term datasets, pooled over the four horizons (seed 0); the dashed circle is the unit circle.
Figure 7: Eigenvalues of the learned KoPE operator K on the nine long-term datasets, pooled over the four horizons (seed 0); the dashed circle is the unit circle.
Gate weights averaged over the test windows (seed 0) for eight dataset–horizon pairs. Horizontal axis indexes variates, vertical axis indexes forecast steps; color encodes the stochastic weight.
Figure 8: Gate weights averaged over the test windows (seed 0) for eight dataset–horizon pairs. Horizontal axis indexes variates, vertical axis indexes forecast steps; color encodes the stochastic weight.

实验结果

主实验在 ProbTS 的 17 个配置上对比 8 个基线(覆盖流/扩散/VAE 三大范式),5 次独立重训练取平均:KGO 在 CRPS 上 13/17、NMAE 上 16/17 第一;长期设定 7/9 CRPS、9/9 NMAE(最强基线 K2VAE 仅 2/9 与 0/9),短期 6/8 CRPS、7/8 NMAE。代表性提升:ETTh2-L CRPS 0.160 对 K2VAE 0.221(降 27.6%)、NMAE 0.204 对 0.236;Weather-L 0.060 对 0.081(降 25.9%);短期 ETTm1-S 0.104 对 0.135(降 23%)、ETTm2-S 0.092 对 0.122(降 24.6%)、ETTh2-S 0.104 对 0.128(降 18.8%);例外是 Traffic-L(0.193 对 0.142)与 Solar-S(0.456 对 0.367)落后。效率:36 个数据集-视野对平均延迟 11 ms/窗口 对 K2VAE 27 ms(2.5 倍),较迭代生成模型至少 25 倍;峰值显存 0.11 GB 居中(K2VAE 0.07、TSDiff 0.34 GB)。基础模型对比:对 TiRex(35M)、Chronos-2(120M)、Sundial(128M)三个零样本模型,全样本训练的 KGO 在 6 数据集上 5/6 双指标第一,仅 Exchange 略逊(0.040 对 Chronos-2 0.037);与 Sundial-base-128m 受控对比生成机制,在 N=50 Euler 步下 CRPS 低约 13%、NMAE 低约 7%,延迟 7.8 ms 对 387 ms(约 50 倍)。消融(36 对平均 CRPS):KoPE 换 Last Patch/Context Pooling 恶化 16.9%(0.141→0.165);sLSTM 换 Transformer +4.7%(0.148)、Linear RNN 0.145;AUG 0.141 优于 Condition 0.144、Residual 0.142、Prob-only 0.143;生成头单独使用时 KoFM 0.143 优于 VAE 0.153(+7.2%)与 NF 0.157(+9.4%);去掉 Energy Score 排斥项 CRPS 平均上升 5.5%(ETTh1-720 达 10.4%)。采样数 $S=20$ 时 CRPS 与 $S=100$ 相差不到 0.005;谱分析确认 $\rho(K)<1$ 且主特征值锁定日/周周期;gate 权重随 lead time 上升(Exchange-L 从 0.27 到约 0.8),ILI-L 噪声大的变量随机权重达 0.98。

Long-term forecasting. Results across nine datasets, averaged over horizons and five independent runs. Lower CRPS/NMAE is better.
Table 1: Long-term forecasting. Results across nine datasets, averaged over horizons and five independent runs. Lower CRPS/NMAE is better.
Short-term forecasting. Results across eight datasets, averaged over five independent runs.
Table 2: Short-term forecasting. Results across eight datasets, averaged over five independent runs.
Foundation-model comparison. Per-dataset CRPS/NMAE for KGO (trained from scratch) versus three zero-shot time-series foundation models (TiRex, Chronos-2, Sundial), averaged across horizons at context L=96.
Table 3: Foundation-model comparison. Per-dataset CRPS/NMAE for KGO (trained from scratch) versus three zero-shot time-series foundation models (TiRex, Chronos-2, Sundial), averaged across horizons at context L=96.
Statistical information of the datasets.
Table 4: Statistical information of the datasets.
Full long-term probabilistic forecasting results across all baselines and datasets (CRPS), mean ± standard deviation across 5 independent runs.
Table 5: Full long-term probabilistic forecasting results across all baselines and datasets (CRPS), mean ± standard deviation across 5 independent runs.
Full long-term probabilistic forecasting results across all baselines and datasets (NMAE), mean ± standard deviation across 5 independent runs.
Table 6: Full long-term probabilistic forecasting results across all baselines and datasets (NMAE), mean ± standard deviation across 5 independent runs.
Full short-term probabilistic forecasting results across all baselines and datasets (CRPS), mean ± standard deviation across 5 independent runs.
Table 7: Full short-term probabilistic forecasting results across all baselines and datasets (CRPS), mean ± standard deviation across 5 independent runs.
Full short-term probabilistic forecasting results across all baselines and datasets (NMAE), mean ± standard deviation across 5 independent runs.
Table 8: Full short-term probabilistic forecasting results across all baselines and datasets (NMAE), mean ± standard deviation across 5 independent runs.
CRPS and inference latency (s/window) for KGO (KoFM) and Sundial (FM N, where N is the number of Euler steps); lower is better.
Table 9: CRPS and inference latency (s/window) for KGO (KoFM) and Sundial (FM N, where N is the number of Euler steps); lower is better.
Multivariate probabilistic time series forecasting results (KGO vs Sundial vs TiRex vs Chronos-2), per dataset and horizon. Red bold: best; blue underline: second best.
Table 10: Multivariate probabilistic time series forecasting results (KGO vs Sundial vs TiRex vs Chronos-2), per dataset and horizon. Red bold: best; blue underline: second best.
Inference latency (s/window) and peak GPU memory (GB) across nine datasets; lower is better.
Table 11: Inference latency (s/window) and peak GPU memory (GB) across nine datasets; lower is better.
Patch representation ablation. Multivariate probabilistic forecasting results. KoPE compared with Last Patch and Context Pooling.
Table 12: Patch representation ablation. Multivariate probabilistic forecasting results. KoPE compared with Last Patch and Context Pooling.
Sequence encoder ablation. KGO with different sequential encoders (sLSTM is the KGO baseline).
Table 13: Sequence encoder ablation. KGO with different sequential encoders (sLSTM is the KGO baseline).
Decoder and gating ablation. KGO compared with a stochastic-only decoder (Prob Only), KoFM conditioned on the deterministic prediction (Condition), and fixed residual addition (Residual).
Table 14: Decoder and gating ablation. KGO compared with a stochastic-only decoder (Prob Only), KoFM conditioned on the deterministic prediction (Condition), and fixed residual addition (Residual).
Generative decoder ablation. Multivariate probabilistic forecasting results. KoFM compared with a conditional VAE and a conditional normalizing flow (RealNVP).
Table 15: Generative decoder ablation. Multivariate probabilistic forecasting results. KoFM compared with a conditional VAE and a conditional normalizing flow (RealNVP).
Loss-function ablation. KGO trained with the Repulsion term removed (Full is the KGO baseline).
Table 16: Loss-function ablation. KGO trained with the Repulsion term removed (Full is the KGO baseline).
Spectral statistics of the learned KoPE operator, averaged over horizons, using seed 0.
Table 17: Spectral statistics of the learned KoPE operator, averaged over horizons, using seed 0.
Accuracy–efficiency trade-off on the (CRPS, NMAE) plane. Left: bubble size encodes inference latency per window (log scale), generating 100 forecast trajectories. Right: bubble size encodes peak GPU memory.
Figure 2: Accuracy–efficiency trade-off on the (CRPS, NMAE) plane. Left: bubble size encodes inference latency per window (log scale), generating 100 forecast trajectories. Right: bubble size encodes peak GPU memory.
KoFM vs Sundial-base-128m (N-step Euler ODE): aggregate CRPS (left) and NMAE (right) vs inference latency (s/window, logarithmic scale). Each forecast call generates 100 trajectories per multivariate window.
Figure 4: KoFM vs Sundial-base-128m (N-step Euler ODE): aggregate CRPS (left) and NMAE (right) vs inference latency (s/window, logarithmic scale). Each forecast call generates 100 trajectories per multivariate window.
Effect of sample count S on CRPS (left) and NMAE (right), averaged over the four ETT datasets at H = 96.
Figure 6: Effect of sample count S on CRPS (left) and NMAE (right), averaged over the four ETT datasets at H = 96.
Qualitative forecasts at horizon H=96 (predictive interval view): context (gray), ground truth (orange), and KGO median (navy) with 50% and 80% predictive intervals.
Figure 9: Qualitative forecasts at horizon H=96 (predictive interval view): context (gray), ground truth (orange), and KGO median (navy) with 50% and 80% predictive intervals.
Qualitative forecasts at horizon H=96 (generative view): same windows as Figure 9, rendered as 40 individual forecast trajectories sampled from KGO overlaid with the ground truth.
Figure 10: Qualitative forecasts at horizon H=96 (generative view): same windows as Figure 9, rendered as 40 individual forecast trajectories sampled from KGO overlaid with the ground truth.
查看结构化数据
任务指标本文基线提升
长期概率预测(9 数据集:ETTm1/m2/h1/h2、Electricity、Exchange、Traffic、Weather、ILI,视野 96–720 平均) CRPS 7/9 第一;ETTh2-L 0.160、Weather-L 0.060 K2VAE 仅 2/9 第一(ETTh2-L 0.221、Weather-L 0.081) ETTh2-L 降 27.6%,Weather-L 降 25.9%
长期点预测(同上 9 数据集) NMAE 9/9 全部第一(ETTh2-L 0.204) K2VAE 0/9 第一(ETTh2-L 0.236) ETTh2-L 降 13.6%
短期概率预测(8 数据集:ETT×4、Electricity、Exchange、Traffic、Solar,视野 24–30) CRPS 6/8 第一;ETTm1-S 0.104、ETTm2-S 0.092 K2VAE 1/8 第一(ETTm1-S 0.135、ETTm2-S 0.122) ETTm1-S 降 23%,ETTm2-S 降 24.6%,ETTh2-S 降 18.8%
推理效率(36 个数据集-视野对平均,100 条轨迹/窗口,RTX 6000 Ada FP32) 延迟 ms/窗口 与峰值显存 GB 11 ms,0.11 GB K2VAE 27 ms / 0.07 GB;TimeGrad 最慢 254.6 s(ETTm1-L h720);TSDiff 显存 0.34 GB 对 K2VAE 2.5 倍加速,对迭代生成模型 ≥25 倍
生成机制对比:KoFM 单步 vs Sundial-base-128m N 步 Euler ODE(7 个 LTSF 数据集 28 对) CRPS 与延迟(Sundial 取原文 N=50) CRPS 低约 13%,7.8 ms/窗口 Sundial 387 ms/窗口 约 50 倍加速且精度更高
零样本基础模型对比(6 数据集,上下文统一 96,KGO 全样本训练) CRPS/NMAE 第一名数 均 5/6(Weather-L CRPS 0.060 对 Sundial 0.087) Chronos-2 1/6、TiRex 0/6、Sundial 0/6 仅 Exchange 略逊(0.040 对 Chronos-2 0.037)
消融:patch 表示(36 对平均) 平均 CRPS KoPE 0.141 Last Patch 0.165、Context Pooling 0.165 替换 KoPE 使 CRPS 恶化 16.9%
消融:序列编码器(36 对平均) 平均 CRPS sLSTM 0.141 Transformer 0.148、Linear RNN 0.145 Transformer +4.7%
消融:生成头(各自单独使用、原生损失训练) 平均 CRPS KoFM 0.143 单步 VAE 0.153、Normalizing Flow 0.157 VAE +7.2%、NF +9.4%
消融:损失函数排斥项 平均 CRPS(8 数据集×4 视野) 含排斥项(完整损失) 去除 Energy Score 排斥项 排斥项贡献 5.5% 的 CRPS 下降,最大 10.4%(ETTh1-720)

局限与改进

作者承认的局限:评测限于 ProbTS 的 17 个标准配置;Traffic-L 与 Solar-S 不敌 K2VAE;AUG 相对固定残差耦合的精度增益很小(0.141 对 0.142);KoFM 的仿射 offset 用一阶近似而非精确积分 $\int_0^{\Delta\tau}e^{sA}b\,ds$;闭式 log-density 只覆盖同质线性部分、不含 lift 与 decode 映射;与基础模型比较时统一用 96 的上下文,未让支持 2k–8k 上下文的零样本模型发挥最佳状态。我的补充观察:(1) 训练损失直接以 CRPS 为目标,而多数基线用各自原生损失,存在指标对齐的先天优势;(2) 通道独立加批量并行的低延迟依赖 GPU 并行度,变量多时必须分块生成(Electricity/Traffic 每次仅 5 条轨迹),峰值显存随轨迹数线性增长,超大变量规模下扩展性存疑;(3) $K$ 的谱归一化强制收缩($\rho(K)<1$),视野 720 时需 30 次幂 rollout,收缩算子可能抹平缓慢演化的低频结构,这或许与部分数据集落后相关;(4) 单步 LTI 仿射传输的表达力上限——分布形状由「固定线性扭曲加条件化」决定,对极端多模态或厚尾分布的拟合不如通用速度场,Exchange 上输给基础模型可能与此有关。

独立分析的弱点

独立分析三点主要弱点并给出改进方向。第一,跨变量依赖缺失:KGO 通道独立,862 个变量的 Traffic 各自独立预测,变量间的物理耦合(如路网上下游占用率传导)完全没建模,这很可能是 Traffic-L CRPS 落后 K2VAE 约 36% 的主因;改进方向是在 Koopman latent 上加低秩跨变量混合层或图结构算子,同时保住通道并行的效率。第二,表达力与闭式性的权衡:KoFM 的流是全局线性仿射映射,刻画极强多模态(如价格跳变、突发事件)能力受限;可引入多个生成器 $A$ 的可学习混合(mixture-of-generators)或分段线性传输,保持一步求值的同时扩容分布形状,代价是需要路由机制。第三,无零样本能力:每个数据集从头训练,工程落地成本高,与基础模型化的时代趋势相悖;论文证明全样本训练仍占优,但更实用的路线是把 KoPE/KoFM 作为轻量头接在预训练骨干上微调,或在大规模语料上预训练 Koopman 算子字典再按数据集检索。另外 AUG 的精度增益边际(0.141 对 0.142)说明其价值更多在不确定性刻画而非点精度,可与共形预测(conformal prediction)结合给出有覆盖保证的预测区间,把「学到的分散度」升级为「有统计保证的校准」。

未来方向

作者明确提出方向:构建统一的 Koopman 框架同时建模物理时间演化(KoPE 的 $K$)与传输时间演化(KoFM 的 $A$),打通动力系统与生成建模两个社区。基于本文成果可自然延伸:(1) 把 KoFM 闭式传输做成可预训练的生成头接入 Chronos/Sundial 类骨干,兼得零样本泛化与单步效率;(2) 用时变或切换线性系统($A( au)$、switching $K$)替代单一 LTI,缓解长视野谱收缩抹平低频动态的问题;(3) 用恒等式闭式计算精确仿射积分 $\int_0^{\Delta\tau}e^{sA}b\,ds$ 替代一阶近似;(4) 发展图 Koopman 算子处理变量耦合,主攻 Traffic/Electricity 类高维数据集;(5) 与共形化校准结合,让 AUG 输出的区间具备覆盖保证;(6) 把矩阵指数传输推广到插补、异常检测、控制等需要快速采样的下游任务,并研究 log-density 闭式公式的完整模型似然训练。

复现评估

复现条件良好。代码开源(github.com/azencot-group/KGO),基于公开的 ProbTS 基准与官方评测协议,全部数据集公开(ETT、Electricity、Exchange、Traffic、Weather、Solar、ILI),CRPS/NMAE 有标准实现,主表报 5 次独立重训练的均值±标准差,消融固定 seed 0。算力门槛低:单 GPU 训练(小数据集 RTX 4090 即可,Electricity/Traffic 用 RTX 6000 Ada),模型远小于 35M–128M 的基础模型;优化细节完整公开(AdamW $\beta=(0.9,0.95)$、weight decay 0.1、cosine 调度加 10% warmup、Koopman 参数 0.1 倍学习率),附录给出架构与数据统计。综合评级:中低难度。需要严格对齐的实现细节包括:$\tau$ 以 0.5 概率置零、$1-\tau$ 取 32 个 bin、推理缓存 $e^A$、排斥项用样本 shuffle 实现、Electricity/Traffic 上按每批 5 条轨迹分块生成(否则延迟数字对不上)、CRPS 用 100 个样本估计经验 CDF。

相似论文推荐