← 返回 2026-04-02

QuitoBench：一个高质量开放时间序列预测基准 QuitoBench: A High-Quality Open Time Series Forecasting Benchmark

Siqiao Xue, Zhaoyang Zhu, Wei Zhang, Rongyao Cai, Rui Wang, Yixiang Mu, Fan Zhou, Jianguo Li, Peng Di, Hang Yu 📅 2026-03-27 👍 31 2026-07-13 08:36
基准评测 基础模型 时间序列预测 模型选择 深度学习
arXiv HuggingFace PDF

基于亿级应用流量的时间序列预测基准，揭示深度学习与基础模型的互补优势

前置知识

STL分解

STL（Seasonal-Trend decomposition using LOESS）是一种时间序列分解方法，使用局部加权回归将时间序列分解为趋势项、季节性项和残差项三个可加成分。该方法通过鲁棒拟合来抵抗异常值的影响，特别适合处理操作流量数据中常见的离群点。对于给定的单变量序列，STL会先设定季节周期（如p=144用于10分钟数据，p=24用于小时数据），然后通过迭代LOESS平滑估计趋势和季节性成分，最终得到分解后的三个分量。

论文中使用STL分解来计算趋势强度T和季节性强度S，这两个指标是TSF regime分类的核心维度，理解STL是理解论文基准设计原理的基础。

频谱熵

频谱熵是衡量信号规则性和可预测性的指标，定义为信号功率谱分布的香农熵。具体计算过程是：首先通过Welch方法估计信号的功率谱密度，然后将功率谱归一化为概率分布，最后计算熵。频谱熵的取值范围是0到1，其中H=1对应功率谱完全平坦（类似白噪声，不可预测），H=0对应能量集中在少数几个频率（高度规则，可预测）。论文中定义预测能力F=1-H，因此F=1表示高度可预测，F=0表示类似随机噪声。

频谱熵导出的预测能力F是TSF regime的第三个维度，实验结果表明预测能力是决定预测难度的主导因素，产生3.64倍的MAE差距，这是理解论文核心发现的关键。

滑动窗口评估

滑动窗口评估是一种密集的时间序列预测评估方法，与传统的非重叠窗口评估不同，它使用单位步长的滚动窗口。对于给定的上下文长度L和预测步长H，每个序列产生W(H)=Ttest-H+1个预测窗口，其中Ttest是测试集长度。例如在H=48时，每个序列最多产生1489个预测窗口。密集滑动窗口产生的预测数量比稀疏方案多1到2个数量级，能够显著稳定每个序列的MAE估计，减少评估方差。论文中每个模型生成约1600万个预测，远超传统基准的评估规模。

论文采用密集滑动窗口评估是其在232200个评估实例中获得稳定统计结果的技术基础，理解这种评估方法的区别有助于理解论文结论的可靠性。

研究动机

时间序列预测领域面临三个相互关联的挑战，严重制约了模型评估的可靠性和实际应用的可操作性。首先是缺乏统一的基准生态系统，通过调查2020-2025年的arXiv论文发现，时间序列领域的基准专用出版物占比仅为4.2%，远低于NLP的9.9%、语音的7.0%和计算机视觉的6.8%，导致研究者不得不使用临时的、不可比较的数据集组合进行评估。其次是现有基准存在结构性缺陷，以GIFT-Eval和Timer为代表的少数大规模基准表现出四个严重问题：粗粒度分类、分布偏斜、信息泄露、短序列偏差。GIFT-Eval将50.7%的序列集中在单个TSF regime，Timer将76.2%集中在high-seasonality-high-forecastability regime，且GIFT-Eval中50%的序列少于200个时间点，无法进行长上下文评估。第三是缺乏实用的模型选择指导，过去两年发布了超过20个时间序列基础模型，但现有基准受上述问题影响，无法在上下文长度、预测步长、预测模式和内在数据特征等关键维度上提供可靠的选择依据。

本文的目标是本文的具体目标是构建一个高质量、无信息泄露、在所有八种趋势乘以季节性乘以预测能力TSF regime上均匀分布的时间序列预测基准，并基于此基准系统评估深度学习模型和基础模型的性能差异，为模型选择提供实证指导。具体而言，作者希望解决以下问题：在什么条件下深度学习模型优于基础模型，反之亦然；上下文长度、预测步长、数据规模和模型规模如何影响预测性能；不同TSF regime下模型表现有何差异；以及扩大训练数据规模是否比扩大模型规模更有价值。通过大规模评估（10个模型、18种配置、232200个评估实例），本文旨在揭示模型选择的内在规律，挑战大模型普遍更优的假设，并为时间序列预测研究提供可复现、regime-aware的评估框架。

与已有工作不同的是，本文的独特切入角度是首次从内在统计特性而非应用领域标签来组织和评估时间序列预测基准，并构建了第一个在八种TSF regime上近乎均匀分布的基准。与现有基准按电力、交通、天气等粗粒度领域分组不同，本文认识到同一领域的序列可能具有截然不同的预测难度，而不同领域的序列可能共享相似的统计结构。作者提出TSF regime分类体系：对于时间序列，其TSF profile是三元组，其中T是趋势强度、S是季节性强度、F是预测能力。给定阈值tau=0.4，每个诊断被二值化为HIGH或LOW，产生2的3次方等于8个TSF regime单元格。这种内在特性驱动的分类方法直接暴露了预测难度的驱动因素，为regime-aware的模型选择提供了理论基础。

核心方法

本文方法包含两个核心组件：QUITO数据集和QUITOBENCH基准。整体思路是从支付宝生产平台的应用流量遥测数据出发，经过五阶段处理管道构建高质量的单来源时间序列语料库，然后基于内在统计特性进行regime平衡采样，构建无泄露、regime平衡的预测基准。技术路线从直觉上可以理解为：首先收集大规模真实的业务流量数据，然后进行清洗和标准化以确保数据质量，接着应用全局时间截断防止信息泄露，之后对每个序列计算趋势、季节性和预测能力三个诊断指标并分配regime标签，最后通过分层采样确保基准在八种TSF regime上均匀分布，从而支持regime-aware的评估和模型选择。这种设计解决了现有基准的四个结构性缺陷，通过特性驱动分类替代粗粒度领域标签，通过regime平衡采样解决分布偏斜，通过单来源设计和全局时间截断消除信息泄露，通过统一长序列支持长上下文评估。

核心创新点是TSF regime分类体系以及基于此的regime平衡基准构建方法，这与现有基准的本质区别在于按内在统计特性而非应用领域标签来组织数据。具体而言，作者定义TSF profile为三元组，通过STL分解计算T和S，通过频谱熵计算F。给定阈值tau，每个诊断被二值化为HIGH或LOW，产生8个regime单元格。关键创新在于分层采样：在为每个候选序列分配regime标签后，按单元格划分测试池并从每个单元格抽取约162个序列的固定配额，最终产生1290个测试序列，在8个regime上近乎均匀分布。这种平衡设计支持两种聚合模式：微平均mean rank在所有1290个序列上平均，反映总体期望性能；宏平均mean rank先在每个单元格内聚合再在8个单元格间平均，无论单元格大小如何都等权重所有regime行为。通过这种设计，聚合指标反映模型能力而非数据 prevalence，揭示模型在不同操作动态上的成功或失败位置。

方法步骤详情

方法步骤包含完整的五阶段管道：第一阶段是原始数据收集，从支付宝生产平台收集应用服务流量遥测数据，每个序列记录不同应用服务的流量工作量，总共涵盖九个业务垂直领域。每个工作量跟踪包含五个变量，对应不同的流量子类型。构建两个互补的子集：QUITO-MIN（10分钟粒度，14244个序列，5904长度）和QUITO-HOUR（小时粒度，16746个序列，15356长度），总共约500000个工作量序列。第二阶段是清洗和标准化，经过质量过滤、去重、缺失值处理后，保留30990个序列，对齐五个通道到共享时间轴并聚合成标准化的多变量序列。第三阶段是无泄露时间分割，应用全局时间截断2023-07-28 00:00:00，确保所有序列共享相同的train、validation、test边界且无未来信息泄露到训练中。第四阶段是TSF诊断和regime标注，对每个序列通过STL分解计算T和S，通过Welch方法估计频谱熵并计算F=1-H，对于多变量序列，T、S、F在所有变量通道上平均后再二值化，给定阈值tau=0.4，每个诊断被二值化为HIGH或LOW，产生8个TSF regime单元格。第五阶段是平衡基准构建，应用分层采样，从每个单元格抽取约162个序列的固定配额，产生1290个测试序列，在8个单元格上近乎均匀分布，最终构建QUITOBENCH并执行密集滚动窗口评估。

技术新颖性

技术新颖性体现在五个方面：首先是首次在时间序列预测基准中采用内在统计特性驱动的分类体系，TSF regime比应用领域标签更能直接暴露预测难度的驱动因素，这为regime-aware的模型选择提供了理论基础。其次是首次实现真正的regime平衡采样，与GIFT-Eval的50.7%集中在单个regime和Timer的76.2%集中在high-seasonality-high-forecastability的严重偏斜不同，QUITOBENCH在8个regime上近乎均匀分布，这是首个明确平衡所有8个TSF regime单元格的时间序列预测基准。第三是通过单来源设计和全局时间截断从根本上消除了信息泄露，所有序列来自单一专有运营环境，与任何公共预训练语料库无重叠，通过构造消除了直接重叠泄露和间接时间相关泄露。第四是统一长序列设计，所有序列跨越5900到15300时间步，支持高达L=1024的上下文长度评估，远超短序列基准的能力。第五是大规模密集滚动窗口评估，每个模型生成约1600万个预测，比稀疏方案多1到2个数量级，显著稳定了per-series MAE估计。

8-grid TSF regime classification across three benchmarks. a. GIFT-Eval is highly imbalanced, with 50.7% of series in a single low-structure regime. b. Timer concentrates 65.8% in the high-seasonality, high-forecastability regime. c. QUITO distributes series near-uniformly (~12% per regime).
Figure 2: 8-grid TSF regime classification across three benchmarks. a. GIFT-Eval is highly imbalanced, with 50.7% of series in a single low-structure regime. b. Timer concentrates 65.8% in the high-seasonality, high-forecastability regime. c. QUITO distributes series near-uniformly (~12% per regime).
Overall pipeline of QUITO and QUITOBENCH. It contains five key stages: (1) Raw collection, (2) sanitization and standardization, (3) leakage-free temporal splitting, (4) trend/seasonality/forecastability computation and regime labeling, and (5) balanced QUITOBENCH construction and evaluation.
Figure 3: Overall pipeline of QUITO and QUITOBENCH. It contains five key stages: (1) Raw collection, (2) sanitization and standardization, (3) leakage-free temporal splitting, (4) trend/seasonality/forecastability computation and regime labeling, and (5) balanced QUITOBENCH construction and evaluation.

实验结果

核心发现通过四个关键实验逐一分析。第一是上下文长度交叉效应：在L=96时，深度学习模型MAE为0.343，领先基础模型24.6%；但在L=576时，优势反转，基础模型MAE为0.256，深度学习模型为0.293；在L=1024时，基础模型进一步领先至22.0%。这种交叉效应表明上下文长度是模型选择的主要因素，基础模型从短到长上下文改善43%到50%，而深度学习模型仅改善7%到12%。第二是regime专业化：在8个TSF regime中，基础模型在6个regime上占优，而深度学习模型在剩余2个低季节性regime上保持优势，CrossFormer在HIGH LOW HIGH上领先38.4%，在LOW LOW HIGH上领先17.7%。预测能力是主导难度驱动因素，高预测能力序列MAE为0.278，低预测能力序列MAE为0.505（1.81倍差距），最易regime MAE为0.205，最难regime MAE为0.749（3.64倍差距）。第三是参数效率：CrossFormer（1M参数，MAE=0.279）优于Chronos-2（100M参数，MAE=0.314），使用100倍更少参数；平均而言，1.9M参数的深度学习模型匹配110M参数的基础模型精度（MAE 0.312 vs 0.319），58倍参数差距。第四是数据与模型缩放：将训练数据从10K增加到100M tokens，CrossFormer的MAE从0.725降至0.248（66%减少），TimesFM-2.5从0.849降至0.647（24%减少）；将模型大小从10K增加到100M参数，CrossFormer的MAE从0.602降至0.456但在1M参数后趋于饱和。这表明对两种模型族，增加训练数据量比增加模型大小更有价值。

Key statistics of two subsets of QUITO (1.6B tokens combined).
Table 1: Key statistics of two subsets of QUITO (1.6B tokens combined).
Key statistics of QUITOBENCH.
Table 2: Key statistics of QUITOBENCH.
Overall performance of all ten models sorted by overall mean rank (lower is better). Mean rank and mean MAE are each broken down by MV/UV mode and averaged overall.
Table 3: Overall performance of all ten models sorted by overall mean rank (lower is better). Mean rank and mean MAE are each broken down by MV/UV mode and averaged overall.
Mean MAE by context length (Ctx L). Bold = winner. Blue: deep learning leads; Red: foundation model leads.
Table 4: Mean MAE by context length (Ctx L). Bold = winner. Blue: deep learning leads; Red: foundation model leads.
Mean MAE at each forecast horizon and percentage degradation relative to H = 48. Blue: best MAE (CrossFormer). Green: smallest degradation (DLinear, +14.8%). Bold: best in column.
Table 6: Mean MAE at each forecast horizon and percentage degradation relative to H = 48. Blue: best MAE (CrossFormer). Green: smallest degradation (DLinear, +14.8%). Bold: best in column.
TSF regime difficulty ranking by mean MAE. 3.64x gap between easiest and hardest. Full table in Table 13.
Table 7: TSF regime difficulty ranking by mean MAE. 3.64x gap between easiest and hardest. Full table in Table 13.
Scaling behavior on QUITO for CrossFormer (deep learning) and TimesFM-2.5 (foundation model). More data yields far larger gains than more parameters for both models.
Figure 4: Scaling behavior on QUITO for CrossFormer (deep learning) and TimesFM-2.5 (foundation model). More data yields far larger gains than more parameters for both models.
Efficiency frontier: mean rank vs. model scale. Deep learning models (blue, 0.3-5 M) match or beat foundation models (red, 30-200 M) at 58x fewer parameters.
Figure 5: Efficiency frontier: mean rank vs. model scale. Deep learning models (blue, 0.3-5 M) match or beat foundation models (red, 30-200 M) at 58x fewer parameters.
Ranking robustness. (a) Cross-metric: MAE and MSE produce highly consistent model orderings. (b) Cross-benchmark: model rankings on QUITOBENCH vs. Timer are strongly correlated. Color indicates ordinal-shift tier.
Figure 6: Ranking robustness. (a) Cross-metric: MAE and MSE produce highly consistent model orderings. (b) Cross-benchmark: model rankings on QUITOBENCH vs. Timer are strongly correlated. Color indicates ordinal-shift tier.
查看结构化数据
任务指标本文基线提升
时间序列预测 MAE 0.279 (CrossFormer, best overall) 0.314 (Chronos-2, best foundation model) CrossFormer领先Chronos-2 11.1%，使用100倍更少参数
短上下文预测 (L=96) MAE 0.343 (深度学习) 0.455 (基础模型) 深度学习领先基础模型24.6%
长上下文预测 (L=1024) MAE 0.245 (基础模型) 0.299 (深度学习) 基础模型领先深度学习22.0%
数据缩放 (10K→100M tokens) MAE 0.248→0.725 (CrossFormer, 66%改善) 0.647→0.849 (TimesFM-2.5, 24%改善) 深度学习从数据缩放中获得更大收益

局限与改进

局限性分析包括作者承认的和独立观察的几个方面。作者承认的局限性：首先，数据来源单一（支付宝应用流量），虽然涵盖九个业务垂直领域，但可能无法代表所有类型的时间序列。其次，TSF regime的二值化虽然保持分类可追踪，但丢失了细粒度信息，作者通过阈值敏感性分析验证结论稳定性，但仍可能存在更优的离散化策略。第三，虽然执行了大规模评估，但计算资源限制导致缩放实验仅选择代表性模型，未涵盖所有10个模型。独立观察的局限性：首先，预测步长H的范围主要覆盖中短期预测，对于更长步长的适用性需要进一步验证。其次，上下文长度L的范围虽然覆盖了常见设置，但对于极端长上下文的模型行为未探索。第三，虽然发现HIGH LOW LOW是病态regime，但论文未提出针对这种高趋势、低季节性、低预测能力序列的专门架构，这为未来研究留出了空间。

独立分析的弱点

独立分析的弱点包括具体场景和改进方向。第一是数据多样性限制，虽然QUITO涵盖九个业务垂直领域，但仅来自单一平台，无法代表所有类型的时间序列应用。改进方向是引入更多元的数据源，如气象数据、生理信号、金融价格等，构建跨领域的综合基准。第二是TSF regime离散化粒度，当前使用二值化虽然保持分类可追踪，但丢失了细粒度信息。改进方向是探索多级分类或连续分数，虽然会导致组合爆炸但可能提供更细的难度刻度。第三是病态regime的处理，该regime比次难regime难56.7%，导致统计基线灾难性失败，即使CrossFormer也表现2.91倍更差。改进方向是设计专门针对非平稳建模的架构，如显式趋势建模、变分分解或自适应权重机制。第四是评估指标局限，当前主要关注MAE和MSE，对于分位数损失、方向准确率等业务相关指标探索有限。改进方向是引入多维度评估，特别是对于风险敏感的应用。第五是上下文长度和预测步长的范围限制，当前L和H的范围对于极端长上下文或超长预测步长的适用性未验证。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的方向。作者提出的未来工作：首先是扩展TSF regime分析，探索更细粒度的分类或多级离散化，以及regime之间的转换动态。其次是探索病态regime的专门处理，如显式非平稳建模或自适应机制。第三是扩展缩放实验，涵盖更多模型和更宽的数据、模型规模范围。基于成果可延伸的未来方向：第一是跨领域基准扩展，将QUITOBENCH的regime平衡设计理念扩展到其他领域，构建多领域综合基准。第二是模型选择系统的构建，基于论文发现构建自动化的模型选择系统，根据上下文长度、regime特性、资源约束推荐最优模型。第三是动态regime识别，在实际部署中识别输入序列的TSF profile并动态调整模型策略。第四是因果引导的预测，探索将TSF regime与因果机制关联，理解为什么某些regime更难预测。第五是迁移学习研究，研究在不同regime间的迁移学习效果。第六是概率预测评估，扩展评估到概率预测和不确定性量化。

复现评估

复现评估：作者承诺开源数据集、代码和评估框架，这是复现的关键基础。数据方面，QUITO包含1.6B tokens的两个子集，QUITOBENCH包含1290个测试序列在8个TSF regime上均匀分布。代码方面，作者承诺开源完整的TSF诊断计算、regime标注、基准构建和评估管道。算力方面，大规模评估需要显著计算资源，论文报告每个模型生成约1600万个预测，总评估规模232200个实例。复现难度中等：数据开源是关键优势，但大规模评估的计算需求可能限制独立研究者的复现能力。简化复现路径包括：使用子集数据、减少随机种子、稀疏化滑动窗口评估。作者提供的开源承诺和详细实验设置降低了复现门槛，但完整的232200实例评估可能需要集群或云资源。

论文图表

Benchmark contribution rate across domains. Time series has the lowest share (4.2%) vs. NLP (9.9%), speech (7.0%), and vision (6.8%).
Figure 1: Benchmark contribution rate across domains. Time series has the lowest share (4.2%) vs. NLP (9.9%), speech (7.0%), and vision (6.8%).

Figure 1展示了2020-2025年间四个领域（时间序列、NLP、计算机视觉、语音和音频）的基准贡献率。时间序列的基准专用出版物占比仅为4.2%，是四个领域中最低的，明显低于NLP的9.9%、语音的7.0%和视觉的6.8%。图中显示时间序列领域缺乏统一的基准生态系统，与NLP、视觉、语音等领域收敛到标准基准形成鲜明对比。这个数据通过arXiv论文调查获得，是论文提出的第一个挑战的实证支撑。

这张图对理解论文动机至关重要，因为它量化了时间序列预测领域相对于其他ML领域的基准缺失问题，解释了为什么需要构建像QUITOBENCH这样的统一基准。这个4.2%的最低占比为论文的核心动机提供了直接的数据支撑，说明时间序列研究者面临比其他领域更严重的评估困难。