Toto 2.0：时间序列预测迈入扩展时代

首个可稳定扩展的时序基础模型家族，4m 到 2.5B 参数单调提升。

前置知识

时序基础模型 TSFM

在大规模异构时序数据上预训练后，可零样本泛化到未见领域的预测模型。区别于传统每个数据集单独拟合的做法，TSFM 一次训练处处可用，类比 NLP 中的 BERT 范式。

本文正要证明 TSFM 能像 LLM 一样靠扩展获得稳定收益，这是此前未被验证的开放问题。

连续块掩码 CPM

一种并行解码机制：训练时在输入序列上随机掩码连续区段让模型一次预测多个未来 patch，推理时把整个预测区间填入 mask token，单次前向传播完成预测，无需自回归逐步生成。

这是 Toto 2.0 实现大规模并行推理、摆脱自回归误差累积的核心机制。

分位数 / Pinball 损失

用于训练预测条件分位数的损失。对预测分位数 $\hat{q}_\tau$ 与真值 $y$，损失 $\rho_\tau(y-\hat{q}_\tau)$ 的梯度只取 $\{-\tau, 0, 1-\tau\}$ 三个离散值，与误差大小无关，是符号型梯度。

Toto 2.0 用它替代 Student-T 混合模型，本文对优化器的改造正是针对其符号型梯度特性。

Muon / NorMuon 优化器

Muon 是 AdamW 之后的新一代大模型优化器，对矩阵梯度的动量做 Newton-Schulz 正交化使奇异值趋于 1。NorMuon 在此基础上对每行做 L2 归一化并恢复 $\beta_2$ 二阶矩，按神经元平衡贡献。

理解 NorMuon 才知道为什么 pinball 损失必须换掉 AdamW，这是方法部分的关键论证。

u-µP 单位缩放最大更新参数化

结合 Maximal Update Parametrization 与单位缩放，使最优学习率与模型宽度无关。通过对隐藏权重重参数化 $W=A_W \cdot w$，让用户面对的 $\eta$ 在不同宽度下不变，从而可在小代理模型调参再迁移。

这是 Toto 2.0 实现“一套配方训五尺寸”的工程基石，也是 µP 首次进入时序预测。

研究动机

时序基础模型（TSFM）过去一年已能在异构领域追平甚至超越调参的统计基线，复刻了 NLP 中 BERT 的突破，但尚未复刻 NLP 和视觉领域更关键的特性——可靠扩展（reliable scaling）。扩展意味着一套训练配方在逐级增大的宽度与 token 预算下能产生可预测的收益。然而现实是，主流 TSFM 家族（如 Chronos、TimesFM、Moirai）扩展极不均衡：把模型做大经常不升反降，大版本有时反而不如小版本。具体到 Toto 1.0 自身（151m 参数），它存在三个扩展瓶颈：其一，自回归解码每个 patch 要串行调用模型 $K=H/P$ 次，长 horizon 既慢又会累积误差；其二，Student-T 混合分布在扩展到大激活时数值不稳，预测趋零时方差项导致发散；其三，不同尺寸要分别人工调超参，无法形成可迁移配方。结果就是“把 TSFM 做大就能做好”始终是未被证明的开放问题。

本文的目标是本文要回答一个简单而根本的开放问题：时序基础模型能否通过扩展获得稳定收益？具体目标有三：第一，构建一个参数从 4m 到 2.5B 共五个尺寸的开放权重模型家族，每个尺寸都比下一个更好，落在 BOOM、GIFT-Eval、TIME 三个基准的 Pareto 前沿上；第二，证明单一训练配方即可跨尺寸迁移，无需为每个尺寸单独调参；第三，在预训练完全不含公开时序数据的前提下（仅用 Datadog 内部可观测性指标加合成数据），在通用基准上达到领域最强，从而更严格地检验跨域泛化能力。附带目标还包括：相较 Toto 1.0 大幅降低长 horizon 推理延迟，并在远超训练上下文（4096 步）的长 horizon 上保持预测的相干性，让用户能用更大模型换取更长的可靠预测窗口。

与已有工作不同的是，本文的独特切入点是把“扩展”本身当作一等公民，而非事后补丁。多数 TSFM 工作把精力放在架构、数据或新基准上，却默认“各尺寸分别调参”不可避免，导致扩展行为不可预测。Toto 2.0 抓住三个被忽视的杠杆：其一，用 u-µP 让超参与宽度解耦，使“一次调参、五尺寸复用”在工程上可行——这是 µP 首次用于时序预测；其二，重新审视损失-优化器配对，认识到 pinball 的符号型梯度削弱了 AdamW 的方差自适应，从而引入 NorMuon；其三，在零公开数据的预训练下检验泛化，避开“在公开基准训练集上训练又在测试集刷分”的污染嫌疑。三者合力把扩展从碰运气变成可重复的工程流程。

核心方法

直觉上，Toto 2.0 像是把“扩展时代的 LLM 训练工具箱”系统性搬进时序领域。它沿用 Toto 1.0 的 decoder-only patched transformer 主干——注意力层在时间轴（因果）与变量轴（全连接）之间交替。在此之上做了三类改造：用连续块掩码（CPM）把自回归解码换成单次前向并行预测；用分位数输出头换掉数值不稳的 Student-T 混合模型；用 NorMuon 取代 AdamW 以适配 pinball 损失的符号型梯度。配套还有 patch 从 64 缩到 32、arcsinh 鲁棒输入归一化、残差 MLP patch 投影、PerDimScale 注意力等小改动。技术路线可概括为：先在 10m 代理模型上用结构化搜索锁定最优架构/数据/优化器/衰减配方（借助 u-µP 让最优超参与宽度无关），再零样本迁移到五个目标尺寸，仅修改 $d_{model}$、深度 $L$、头数 $h$。自研工程库 dd_unit_scaling 让 u-µP 在 torch.compile、FSDP2、张量并行下仍能工作。

核心创新是“损失-优化器-扩展”三位一体的协同设计，而非单一 trick。最本质的新颖性在于：作者意识到把输出头从 Student-T 的 NLL 换成 pinball 分位数损失后，整个优化景观都变了——pinball 的梯度只取 $\{-\tau, 0, 1-\tau\}$ 三个离散值，与残差大小无关，这剥夺了 AdamW 依赖 $v_t$ 之外的步长信息来源。Muon 虽是 AdamW 的强力继任者，但它丢弃 $\beta_2$ 二阶矩、只靠 Newton-Schulz 正交化，在符号型梯度下连那点残余的步长自适应也丢了，少数神经元会主导更新。NorMuon 用逐行 L2 归一化同时恢复 $\beta_2$ 机制并按神经元平衡贡献（$v_t = \beta_2 v_{t-1} + (1-\beta_2)\cdot\text{mean}_{cols}(O_t \odot O_t)$），让 pinball + Muon 这对组合终于稳定可扩展。配合 CPM 单次并行解码与 u-µP 宽度无关超参，整个配方第一次让“做大就好”成立。

方法步骤详情

完整流程分四步。第一步数据准备：仅用 Datadog 内部可观测性指标加 TempoPFN 风格合成数据，大模型 5.04T 点、小模型 3.40T 点，配比 42.5% 观测 / 57.5% 合成，预训练完全不含公开数据。第二步超参搜索：在 10m 代理（$L{=}12, d_{model}{=}256, h{=}4$）上分四轮用 Optuna+TPE 搜索——架构（PerDimScale、变轴注意力放最后、$c_{max}{=}16, p_{max}{=}0.4$）→ 数据配比（淘汰公开数据）→ 优化器（NorMuon $\eta{=}0.652, \beta_2{=}0.999$）→ 线性衰减 10500 步。第三步零样本迁移：把代理最优配置套到五个目标尺寸，仅改 $d_{model}$、$L$、$h$（头维固定 64），统一 4096 上下文、patch 32、batch 64。第四步训练与推理：小模型训 400k 步、大模型训 600500 步；推理时把 horizon 填 mask token 单次前向解码，约 768 步内稳定，更长 horizon 用块解码缓解漂移。

技术新颖性

新颖性体现在三处本质区别。其一，CPM 在 transformer 上比其原始载体 xLSTM 更划算：单次 $f_\theta$ 调用即可覆盖整个 mask 集合 $M$，而 SSM 需 $|M|$ 次；且本文发现最优 $c_{max}{=}16$ 远大于 TiRex 的 5，说明能处理更长掩码跨度。其二，NorMuon 是首个为“符号型梯度损失 + Muon”组合专门设计的逐神经元平衡优化器，恢复了 Adam 因丢弃而失效的步长自适应。其三，u-µP 首次进入时序预测，使超参搜索成本从五次大模型训练降到一次小代理训练，并配合自研 dd_unit_scaling 解决了 FSDP2/张量并行破坏 µP 元数据的工程难题。三者叠加才让扩展曲线首次平滑单调，这是与“每个尺寸单独炼丹”的传统 TSFM 做法的根本分野。

**Figure 2**: Toto 2.0 architecture. Left: training and inference protocol (CPM). Center: forward pass. Right: input/output heads.

**Figure 3**: Training data composition for Toto 1.0 (2.36T points) and Toto 2.0 (5.04T / 3.40T points).

**Figure 4**: u-µP makes optimal hyperparameters independent of model width.

实验结果

核心发现是“扩展在 TSFM 中成立”。BOOM 上五尺寸全在 Pareto 前沿：2.5B/1B/313m 的 CRPS rank 为 3.88/3.96/4.26，22m 仅 5.53 就超过 Toto 1.0 的 6.94（参数效率约7×）。GIFT-Eval 基础模型赛道，2.5B/1B/313m 以 20.3/21.1/21.4 占据 CRPS rank 前三，领先 PatchTST-FM（23.1）与 Chronos-2（23.5）1.7 分以上；22m 的 26.8 比 Toto 1.0（35.1）好8分多。抗污染 TIME 基准上 Toto 2.0 包揽前三，2.5B 以 CRPS rank 3.43、MASE rank 3.54、CRPS 0.532 全面领先，Chronos-2 第四（4.03）。完整榜单里 FnF 集成四项均第一，微调 2.5B rank 第二；集成元学习器把 39% 权重分给 Toto 家族，高于 Chronos-2 的 32%。长 horizon 显示规模越大越相干：2.5B 在 8192 步仍 r=0.818，4m 仅 0.173。

**Table 1**: Toto 2.0 model sizes (dmodel, h, L, training steps, norm ε).

**Figure 1**: CRPS rank vs. parameter count on BOOM (left) and GIFT-Eval (right) for top foundation models; lower is better.

**Figure 5**: BOOM results across CRPS rank, CRPS, and MASE; lower is better.

**Figure 6**: GIFT-Eval results, filtered to foundation models only, across CRPS rank, MASE rank, CRPS, and MASE.

**Figure 7**: GIFT-Eval leaderboard showing all submission types: foundation, finetuned, ensemble, and agentic systems.

**Figure 8**: Results on TIME across CRPS rank, MASE rank, CRPS, and MASE; lower is better.

**Figure 9**: Forward pass latency vs. parameter count (left) and vs. forecast horizon (right).

查看结构化数据

任务	指标	本文	基线	提升
BOOM（可观测指标预测）	CRPS rank（越低越好）	Toto 2.0 2.5B 3.88，1B 3.96，313m 4.26，22m 5.53	Toto 1.0 (151m) 6.94；Chronos-2 7.39	22m 即以约 1/7 参数超过 Toto 1.0；五尺寸全部居前
GIFT-Eval（97 任务通用基准，基础模型赛道）	CRPS rank（越低越好）	2.5B 20.3，1B 21.1，313m 21.4，22m 26.8	PatchTST-FM r1 23.1；Chronos-2 23.5；Toto 1.0 35.1	三尺寸占据前三，领先最近基础模型 1.7 分以上；22m 较 Toto 1.0 提升逾 8 分
TIME（抗污染零样本基准）	CRPS rank	2.5B 3.43（CRPS rank/MASE rank/CRPS 三项均第一）	Chronos-2 第四 4.03；PatchTST-FM r1 第五 5.04	包揽前三，领先最强外部基础模型 0.6 个 rank
GIFT-Eval 完整榜单（含微调/集成/智能体）	CRPS rank / MASE rank / 原始 CRPS	Toto 2.0 FnF 集成四项均第一（原始 CRPS 并列），微调 2.5B rank 第二	TSOrchestra（原始 CRPS 并列第一）；Chronos-2	集成中 Toto 家族占权重 39%，高于 Chronos-2 的 32%

局限与改进

作者坦承若干局限。第一，TIME 基准上扩展不完全单调：313m 在 MASE 上反超 1B，并在两个 rank 指标上略胜 1B，是家族中唯一偏离“越大越好”趋势之处。第二，长 horizon 稳定性实验仅在合成多尺度正弦信号上做，作者明确指出测的是“超出训练上下文的稳定性”而非“对全新动力学的外推”。第三，即便 2.5B 在 8192 步也丢失部分结构（r=0.818），而恰当拟合的季节模型可干净外推——暴露了与经典基线在长 horizon 的差距。我自己观察到的额外局限：所有“领先”在 rank 指标上更明显，原始 CRPS/MASE 的绝对提升有时较小；预训练完全无公开数据是卖点也是风险，跨域泛化边界未充分刻画；推理设置（把输出分位数 clamp 到上下文 min/max 各扩展 $10^4$ 倍锚点尺度）在极端分布外的鲁棒性未讨论。

独立分析的弱点

独立来看，弱点有几处。其一，所有基准上下文长度（2048/4096）相对许多真实运维长序列仍偏短，长 horizon 推理依赖块解码与合成信号的稳定性假设，真实非平稳序列（突发故障、变更窗口）下的漂移未验证——改进方向是引入变长/外推感知的位置编码或层次化 patch。其二，分位数头靠推理时排序防穿越，只是后处理、未约束单调性，极端分布尾端可能仍穿越——可用单调分位数网络或训练期单调性正则。其三，u-µP 迁移假设宽度是主轴，但深度迁移（12→48 层）并未被 µP 严格保证，论文也承认 weight decay 不保证迁移——可加入深度方向的 µP² 或对每个目标尺寸做轻量校准。其四，集成 FnF 强依赖 tsfeatures 手工特征与 XGBoost 元学习器，泛化到新频段需重训 20 个 head——可改为端到端可微集成。其五，预测区间随 horizon 的合理膨胀（well-specified 不确定性）仍弱于经典方法，可加校准后训练目标。

未来方向

作者明确提出四方向：其一，缩小与经典基线在长 horizon、尾行为、regime shift 上的差距，需架构、继续扩展、新后训练目标三者结合；其二，把数据筛选提升为一等研究问题，像 LLM 那样做质量过滤、去重、课程（他们自己承认预训练最优配比“不含公开数据”、微调最优配比“45% 公开”都是经验结果而非原理推导）；其三，把“指标”当作独立模态建模，支持 histogram/分布型指标、复杂多重季节性、异构频率多变量与高维变量选择；其四，走向可观测性的多模态世界模型，整合 metrics/traces/logs/topology/code/events，已起步于 ARFBench，目标是主动故障检测、根因分析、反事实与仿真。基于本成果可延伸：把 NorMuon 推广到其他符号型梯度任务（如排序学习、分位数回归），把 CPM 单次并行解码范式迁移到其他 token 级预测，以及用扩展曲线外推 TSFM 的缩放定律。

复现评估

复现友好度很高。五个尺寸权重全部以 Apache 2.0 发布在 HuggingFace（DataDog/toto-20 集合），自研分布式 u-µP 训练库 dd_unit_scaling 也开源。论文给出完整超参：模型尺寸表（$d_{model}$/h/L/步数/归一化 $\epsilon$）、NorMuon $\eta{=}0.652$、AdamW $\eta{=}0.012$、warmup 6000 步、线性衰减 10500 步、batch 64、patch 32、上下文 4096、$c_{max}{=}16, p_{max}{=}0.4$。主要障碍是数据：预训练数据为 Datadog 私有可观测指标，外部研究者无法获取，只能用合成数据近似；GIFT-Eval 微调配方涉及的 Chronos 预训练语料需另找。算力上，2.5B 训练 600500 步、batch 64、4096 上下文，属中大型规模，单卡无法复现完整预训练。但用发布权重直接跑基准做推理复现成本很低，社区可立即尝试。

Toto 2.0：时间序列预测迈入扩展时代 Toto 2.0: Time Series Forecasting Enters the Scaling Era