Timer-S1：面向十亿参数规模时间序列基础模型的序列扩展方法

8.3B参数MoE时间序列模型，序列Token预测SOTA

前置知识

Mixture-of-Experts (MoE)

MoE是一种稀疏激活的神经网络架构，包含多个专家子网络（Expert）和一个路由网络（Router）。每个输入token仅激活Top-K个专家，而非全部专家，从而在大幅增加模型总参数量的同时保持单次推理的计算成本可控。在Timer-S1中，共配置E=32个专家，每个token仅激活K=2个专家，总参数达8.3B但每次仅使用0.75B参数。这种稀疏激活机制使得模型能够学习针对不同时间序列模式的专门化处理路径。

MoE是Timer-S1实现十亿参数规模扩展的核心架构选择，理解MoE的稀疏激活机制对于理解论文的scaling策略至关重要

时间序列基础模型

时间序列基础模型是通过大规模跨领域数据预训练获得的通用时序预测模型，采用"一次训练、处处适用"的范式。与传统深度学习模型需要在特定任务上从头训练不同，基础模型能够零样本泛化到未见过的下游任务。代表性模型包括Timer系列、Chronos、TimesFM、Moirai等。这类模型的出现标志着时序预测领域正在经历从任务特定模型向通用基础模型的范式转变。

本文是该领域的最新进展，理解基础模型的定位有助于把握论文在技术路线图中的位置

Serial-Token Prediction (STP)

STP是本文提出的核心训练目标，与传统的Next-Token Prediction (NTP)和Multi-Token Prediction (MTP)本质不同。STP通过专门设计的TimeSTP模块，在Transformer中引入序列化的计算过程：较长预测步数的输出会经过更多的Transformer块处理，从而获得更强的序列计算能力。具体而言，第j个TimeSTP块生成偏移j+1个patch的预测，每个块都同时参考初始输入和前一个块的输出。

STP是论文最核心的技术创新，是理解Timer-S1与现有方法本质区别的关键

TimeMoE与TimeSTP模块

TimeMoE是Timer-S1的主干Transformer块，采用Pre-RMSNorm、QK-Norm和稀疏MoE设计。TimeSTP是在TimeMoE基础上扩展的序列预测块，额外融合初始输入嵌入和前序块的输出嵌入，通过投影层 $M_j \in \mathbb{R}^{D \times 2D}$ 进行拼接后输入内部TimeMoE块。整个模型由L=24个TimeMoE主块和H=16个TimeSTP块组成，形成深度为40层的Transformer。

理解这两个模块的设计差异是理解论文序列扩展方法的技术基础

GIFT-Eval基准

GIFT-Eval是当前最权威的时间序列预测综合评估基准，包含24个数据集、144,000条时间序列和1.77亿个数据点，覆盖金融、能源、医疗、物联网等多个领域。评估采用MASE（点预测）和CRPS（概率预测）两个核心指标，支持短期、中期、长期三种预测设置。该基准已成为时序基础模型评估的事实标准。

本文的所有主要实验结论都基于GIFT-Eval，理解该基准对于评估结果的可信度至关重要

研究动机

当前时间序列基础模型面临严重的扩展瓶颈。尽管Mixture-of-Experts等可扩展架构在大语言模型中已经成熟，但将其直接应用于时间序列领域的尝试往往效果不佳或无法实现模型规模的显著突破。核心原因在于：时间序列预测本质上是一个序列问题，长期预测的准确性依赖于逐步的序列化推理。现有的平行预测模型（如Multi-Token Prediction）一次输出多个步长的预测，但缺乏必要的序列计算能力，难以捕获长期依赖关系。而自回归模型虽然天然满足序列性质，但迭代式的滚动推理（rolling-style inference）带来巨大的计算开销和严重的误差累积。以Sundial-Base为例，在GIFT-Eval上其MASE仅为0.750、CRPS为0.559，与最优结果仍有显著差距。

本文的目标是本文的核心目标是设计一种既尊重时间序列预测序列本质、又能有效扩展到十亿参数规模的预训练方法。具体而言，作者希望：（1）构建一个总参数达8.3B、单token激活仅0.75B的稀疏MoE模型；（2）提出一种新的训练目标，使模型能够在单次前向传播中完成多步预测，同时保留必要的序列计算能力；（3）在万亿级时间点数据上进行预训练，通过数据增强和多阶段训练策略全面提升模型性能；（4）在GIFT-Eval基准上达到新的SOTA水平，MASE和CRPS指标均优于现有所有方法。

与已有工作不同的是，本文的独特切入角度在于将时间序列预测视为一个序列计算问题，而非简单的表示学习问题。已有工作（如Sundial的Multi-Token Prediction）主要从表示学习视角出发，迫使backbone为长期和短期预测提取共享表示，这带来了优化困难。Timer-S1则通过Serial-Token Prediction实现了在不同预测时间步的自适应序列计算：较长期的预测确实经过更多的Transformer块处理，获得更强的序列推理能力。此外，本文首次将MoE架构成功扩展到时序基础模型的十亿参数规模，克服了"扩展瓶颈"这一长期制约领域发展的关键障碍。这种从L到L+H的模块化设计，使得TimeSTP块在训练后被保留作为推理组件，与LLM中丢弃辅助预测头的做法形成鲜明对比。

核心方法

Timer-S1的整体技术路线可以概括为"序列扩展"（Serial Scaling），在三个维度上系统性地提升时序基础模型的能力：模型架构、数据规模和训练流水线。在架构层面，Timer-S1是一个decoder-only Transformer，由TimeMoE主块和TimeSTP序列预测块组成，其中TimeMoE采用稀疏MoE设计处理时序数据的异质性，而TimeSTP引入序列计算机制实现Serial-Token Prediction。在数据层面，模型在TimeBench（包含超过一万亿时间点的高质量语料库）上进行预训练，并通过重采样和值翻转等数据增强技术缓解预测偏差。在训练层面，采用三阶段流水线：预训练（均匀权重的STP目标）、继续预训练（衰减权重的wSTP目标）和长上下文扩展（从2880扩展到11520）。这种多阶段设计降低了整体训练成本，并鼓励不同阶段的表示学习目标，最终在GIFT-Eval上达到SOTA。

Timer-S1的核心创新是Serial-Token Prediction (STP)，这是一种全新的训练目标，与Next-Token Prediction (NTP)和Multi-Token Prediction (MTP)有本质区别。NTP逐token预测，需要多步滚动推理，计算开销大且误差累积严重；MTP一次输出多个预测，但缺乏必要的序列计算能力。STP的关键洞察是：长期预测需要序列计算能力——较长的预测应该经过更多的Transformer块处理。具体实现上，STP通过专门的TimeSTP模块，在主干Transformer之后追加H=16个序列预测块，每个块不仅生成当前步的预测，还将输出传递给下一个块进行进一步精炼。第j个TimeSTP块生成偏移j+1个patch的预测，形成渐进式的序列计算。与LLM中的Multi-Token Prediction不同，STP不依赖未来的ground-truth值（避免训练-测试差距），且训练后保留TimeSTP块作为推理组件（而非丢弃），从而实现单次前向传播的多步预测。

方法步骤详情

Timer-S1的处理流程包含以下步骤：（1）实例重标准化：对输入时间序列 $\{x_1, ..., x_T\}$ 计算均值 $\mu$ 和标准差 $\sigma$，进行z-score标准化 $\tilde{x}_t = (x_t - \mu)/\sigma$，消除不同数据集间的尺度差异；（2）Patch嵌入：将标准化序列切分为长度P=16的patch，通过残差网络 $\mathbb{R}^{2P} \rightarrow \mathbb{R}^D$ 嵌入为token表示 $h_i^0$，D=1024为隐藏维度；（3）TimeMoE主干处理：经过L=24个TimeMoE块，每个块包含带QK-Norm的因果自注意力和稀疏MoE模块（E=32专家，K=2激活），采用Pre-RMSNorm保证训练稳定性；（4）序列预测：通过H=16个TimeSTP块，第j个块将前序块输出 $h_i^{L+j-1}$ 与初始嵌入 $h_i^0$ 拼接后投影，输入内部TimeMoE块产生 $h_i^{L+j}$，并预测偏移j+1的patch；（5）分位数预测头：所有块共享的PatchProject将嵌入投影为Q=9个分位数预测，通过加权分位数损失（WQL）优化，近似CRPS指标；（6）反标准化：使用原始统计量 $\mu, \sigma$ 恢复预测值的原始尺度。

技术新颖性

Timer-S1的技术新颖性体现在多个层面。首先，Serial-Token Prediction是一个全新的训练目标范式，它既不是逐token预测（如NTP），也不是简单的同时多token预测（如MTP），而是实现了"更长的预测需要更多的序列计算"这一关键性质，这与时间序列预测的序列本质完美契合。其次，TimeSTP模块的设计在技术上非常精巧：每个块同时接收前序块的输出和初始输入嵌入，通过投影层 $M_j \in \mathbb{R}^{D \times 2D}$ 融合两种信息，这保证了序列计算过程中不丢失原始输入信息。第三，训练后保留TimeSTP块作为推理组件，与LLM中Multi-Token Prediction的实现方式（丢弃辅助头）形成鲜明对比，这保证了训练和推理的一致性。第四，MoE配置（E=32, K=2）的经验性选择揭示了时序数据的异质性特点——全局异质但局部patch级别相对简单。最后，多阶段训练流水线（预训练→继续预训练→长上下文扩展）的解耦设计降低了训练成本，并针对不同能力需求采用不同的训练目标。

**Figure 2**: The Serial Scaling of Timer-S1

**Figure 4**: Overall architecture of Timer-S1

**Figure 5**: Illustration of the TimeBench dataset and the training pipeline

实验结果

Timer-S1在GIFT-Eval基准上取得了SOTA性能，MASE达到0.693，CRPS达到0.485，全面超越所有现有方法。与基于相同TimeBench数据集训练的Sundial-Base相比，MASE降低了7.6%（从0.750到0.693），CRPS降低了13.2%（从0.559到0.485），充分验证了序列扩展策略的有效性。按预测时长分析，Timer-S1在中长期预测任务上的优势尤为突出（Figure 7-8），这正是序列计算机制发挥作用的场景。消融实验证实了三个关键设计的价值：（1）Serial-Token Prediction显著优于Next-Token Prediction和Multi-Token Prediction（Figure 10-11）；（2）数据增强（重采样和值翻转）带来约1.5%的性能提升（Figure 16）；（3）TimeBench预训练带来约7%的MASE提升（Figure 18，从0.742到0.693）。多阶段训练实验（Figure 9）表明，继续预训练和长上下文扩展分别带来约3%和2%的MASE改善。推理效率方面（Figure 12），Timer-S1在单次前向传播中可产生272步预测，而NTP和MTP需要更多的推理步骤或计算开销。

**Figure 6**: Performance of Timer-S1 on the GIFT-Eval leaderboard

**Figure 7**: Performance (MASE) grouped by term length

**Figure 8**: Performance (CRPS) grouped by term length

**Figure 9**: Performance with different training pipelines

**Figure 10**: Performance of models trained by NTP and STP

**Figure 11**: Performance of models trained by MTP and STP

**Figure 12**: Inference time comparison

**Figure 13**: Performance with varying TimeMoE blocks

**Figure 14**: Performance with varying TimeSTP blocks

**Figure 15**: Performance of TimeSTP variants

**Figure 16**: Performance with and without data augmentation

**Figure 17**: Performance on different sinusoidal signals

**Figure 18**: Performance with and without pre-training

查看结构化数据

任务	指标	本文	基线	提升
GIFT-Eval综合预测（MASE）	MASE（点预测）	0.693	Chronos-2: 0.698, TimesFM-2.5: 0.705, TiRex: 0.716, Sundial-Base: 0.750	超越所有基线，比Sundial-Base降低7.6%，比Chronos-2降低0.7%
GIFT-Eval综合预测（CRPS）	CRPS（概率预测）	0.485	Chronos-2: 0.485, TiRex: 0.488, TimesFM-2.5: 0.490, Sundial-Base: 0.559	与Chronos-2并列最优，比Sundial-Base降低13.2%
中长期预测MASE	MASE（分组分析）	中长期显著优于所有基线	各基线在中长期预测上差距明显	序列计算机制在长期预测上的优势最为突出
与NTP对比	MASE	0.693（24-MoE + 16-STP）	Timer-NTP (40-MoE): 0.738, Timer-NTP (24-MoE): 0.733	在相同block预算下，STP比NTP降低MASE约5.5%
与MTP对比	MASE	0.693（24-MoE + 16-STP）	Timer-MTP (40-MoE): 0.719, Timer-MTP (24-MoE): 0.729	STP比MTP降低MASE约3.5%

局限与改进

尽管Timer-S1取得了显著的性能提升，但仍存在若干局限性。首先，模型不原生支持外生协变量（exogenous covariates），这限制了其在需要考虑外部因素的场景（如结合天气数据的能源预测、结合新闻情绪的金融预测）中的应用能力。这一限制主要源于在非结构化多变量数据集上训练的困难。其次，模型专注于单变量预测，通过将多变量序列拆分为单变量序列处理，虽然提高了跨域泛化能力，但丢失了变量间的相关性信息。第三，固定patch大小P=16在某些周期性模式上存在局限——实验中观察到在周期约16的正弦信号上出现误差尖峰（Figure 17），暗示patch大小与周期性模式的交互值得进一步研究。第四，训练成本高昂：TimeBench包含超过一万亿时间点，物理存储约4TB，虽然作者采用了混合内存-磁盘加载策略（50MB分片），但完整的预训练流水线仍然需要大量计算资源。此外，长上下文扩展从2880到11520是通过RoPE直接实现的，可能在更长序列上存在性能衰减。

独立分析的弱点

Timer-S1存在几个值得关注的弱点。首先，单变量处理策略虽然简化了训练，但牺牲了多变量建模能力。在实际应用中，许多时序预测任务（如电网负荷预测、金融市场预测）天然具有多变量结构，变量间的相关性包含重要信息。改进方向可以是在预训练阶段引入多变量合成数据，并设计轻量级的跨变量注意力机制。其次，数据增强策略相对简单（仅重采样和值翻转），可能不足以覆盖真实世界时序数据的全部复杂模式。未来可以探索基于物理模型的增强、时序扭曲、趋势注入等更丰富的增强方法。第三，MoE配置（E=32, K=2）是经验性选择，缺乏理论指导或自动化搜索机制，不同领域的时序数据可能需要不同的专家配置。第四，分位数预测头的设计（固定的9个分位数）相对简单，无法适应不同应用场景对概率分布形态的不同需求。

未来方向

作者在论文结尾提出了三个明确的未来研究方向。第一，扩展多变量数据合成和升级预训练框架，以支持外生协变量的整合。这需要设计新的数据生成管线，能够产生包含复杂变量交互的合成多变量序列。第二，开发自适应表示学习范式，提升模型在不同输入上下文和输出时间步上的泛化能力，这需要深入研究短期和长期预测任务之间的本质差异及其对模型架构的影响。第三，将Timer-S1的通用预测能力集成到智能体系统（agentic systems）中，支持多模态预测、推理和规划。基于本文的成果，还可以延伸以下方向：（1）探索动态patch大小机制，根据输入序列的频率特性自适应调整patch长度；（2）研究TimeSTP块的深度与预测精度的理论关系；（3）将序列扩展思想应用于其他序列生成任务（如文本生成、音频生成）；（4）开发更高效的推理策略，如TimeSTP块的选择性执行。

复现评估

本文的复现条件较为完备。模型权重已在Hugging Face开源发布（bytedance-research/Timer-S1），训练框架基于VeOmni统一框架。然而，完整复现面临以下挑战：（1）TimeBench数据集包含超过一万亿时间点，物理存储约4TB，需要大量存储和I/O资源；（2）完整预训练流水线（预训练+继续预训练+长上下文扩展）需要多设备分布式训练，且训练细节（学习率、batch size、训练步数等）在论文中未完全披露；（3）数据增强的具体参数（重采样倍率、插值基函数等）需要进一步确认。评估方面，GIFT-Eval基准是公开的，评估协议明确，复现评估相对容易。论文的训练基础设施采用BF16精度，支持跨设备无缝扩展。总体而言，推理层面的复现较为可行，但完整训练流水线的复现需要显著的计算资源和工程投入。

Timer-S1：面向十亿参数规模时间序列基础模型的序列扩展方法 Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling