线性模型在时间序列预测中能有多好？ How Good Can Linear Models Be for Time-Series Forecasting?
通过系统搜索预处理超参数，简单 Ridge 回归可在多数基准上击败复杂模型
前置知识
Ridge 回归
Ridge 回归是一种带 L2 正则化的线性回归方法，通过在损失函数中添加权重向量的 L2 范数项 $\alpha \|W\|_F^2$ 来防止过拟合。与普通最小二乘法不同，Ridge 回归有闭式解 $W^* = YX^\top (XX^\top + \alpha I)^{-1}$，无需迭代优化即可求得最优权重，这使得它特别适合大规模超参数搜索，因为每次试验只需要几毫秒即可完成训练。
本文的核心思想是固定模型为 Ridge 回归，将所有建模灵活性转移到预处理步骤，因此理解 Ridge 回归的闭式解特性对于理解为什么可以如此高效地进行超参数搜索至关重要。
上下文长度（Lookback）
上下文长度是指模型在预测未来 H 个时间步时能够看到的过去时间步数 L。在时间序列预测中，选择合适的上下文长度是一个关键但经常被忽视的问题。传统方法通常为整个数据集选择固定的上下文长度，但本文发现最优上下文长度与预测跨度 H 的关系 $L^* = a \cdot H^b$ 在不同数据集上呈现完全不同的模式，指数 b 的范围从 ETTm2 上的 +0.46 到 Exchange 和 Traffic 上的 -0.19。
上下文长度是本文四个主要搜索维度之一，通过系统搜索发现最优上下文长度与预测跨度之间的关系是论文的核心发现之一，这挑战了'越长预测跨度需要越长历史'的常规假设。
局部归一化
局部归一化是指在每个输入窗口的尾部 r·L 个时间步上计算统计量（如均值和标准差），而不是在整个训练集或整个窗口上计算。当 r = 1 时，它退化为全窗口实例归一化；当 r < 1 时，统计量仅反映最近的分布状态。本文在搜索 r 的对数尺度范围 [0.001, 1.0] 时发现，最优 $\log_{10} r$ 几乎总是严格负值，集中在 [-2.5, -0.5] 区间，意味着只使用窗口末尾 0.3% 到 30% 的数据来设定尺度。
局部归一化是本文的另一个关键搜索维度，研究发现它几乎总是优于全局归一化，这表明近期的局部统计量比全局统计量包含更多有用信息，这一发现对时间序列预测的预处理实践有重要指导意义。
Optuna 和 TPE 采样器
Optuna 是一个自动超参数优化框架，Tree-structured Parzen Estimator (TPE) 是其使用的采样算法。TPE 通过建模好的试验和坏的试验的条件概率分布来建议下一个超参数组合，特别适合于没有梯度信息的黑盒优化问题。在本文中，每个超参数搜索单元格运行 20 次 Optuna 试验，每次试验使用 3 折扩展窗口交叉验证在训练集上评估候选超参数，然后将最佳超参数应用于从未用于搜索的测试集。
本文的超参数搜索完全依赖 Optuna 的 TPE 采样器，理解这一技术对于理解如何高效地在四维超参数空间（上下文长度、归一化、增强、正则化）中进行系统搜索至关重要。
研究动机
时间序列预测研究近年来稳步向更大规模的架构发展，从专门的 Transformer 到通用基础模型，基于容量是解锁准确性的关键这一假设。然而，这种趋势忽视了一个关键问题：标准评估协议为每个基准固定上下文长度、归一化策略和数据增强到单一设置，然后比较架构。这种惯例在目标是隔离模型设计效果时是合理的，但对于那些容量太有限而无法通过学习参数来吸收次优输入表示的模型来说，系统性地处于不利地位。拥有数百万参数的 Transformer 可以部分补偿选择不当的回望窗口或信息量不足的归一化方案；线性模型则无法做到这一点。结果是线性方法看起来比实际更弱，不是因为它们缺乏任务的表达能力，而是因为它们对很少被调整的选择更敏感。
本文的目标是本文的具体目标是测试一个假设：线性方法的弱点不在于模型容量不足，而在于预处理步骤缺乏系统调整。作者将 Ridge 回归应用于八个标准基准上的上下文长度、局部归一化窗口、正则化强度以及时间和频率域增强的系统搜索，在每个预测跨度和每个序列的粒度上进行。由于 Ridge 有闭式解、没有隐藏的非线性，在 GPU 上运行一次试验只需要几毫秒，并且产生的权重可以直接检查，这种透明度既使它成为竞争的预测器，也使它成为诊断工具：最优超参数的结构揭示了时间序列数据的属性，这些属性在更深层模型的学习表示中会被静默吸收。
与已有工作不同的是，本文的独特切入角度是将问题从'如何设计更好的模型架构'转变为'如何优化预处理步骤'。Toner 和 Darlow [20] 证明了 DLinear、NLinear 和几个相关变体在功能上等价于对适当增强特征的无约束线性回归，并且闭式普通最小二乘解可以匹配或超过它们的 SGD 训练对应物。这种看似架构多样性的坍塌自然提出了一个问题：如果模型实际上固定了，剩余的自由度应该花在哪里？本文的回答是：花在预处理上。与几乎总是为每个基准、每个预测时间步和每个变量固定单一组预处理超参数的先前工作不同，本文引入了一种分组搜索方案，允许超参数在预测跨度和序列之间连续变化，这是本文区别于现有研究的核心创新点。
核心方法
方法的整体思路非常直接：固定模型为简单的 Ridge 回归，将所有建模灵活性转移到预处理步骤，然后在四维超参数空间中进行系统搜索。直觉是线性模型对输入表示的质量特别敏感，因为它们没有足够的容量通过学习参数来补偿次优的预处理。通过系统搜索上下文长度 L、归一化范围和方法、增强类型和强度 $\sigma$ 以及正则化强度 $\alpha$，可以找到针对每个数据集、每个预测跨度和每个序列的最优预处理配置。由于 Ridge 回归有闭式解 $W^* = YX^\top (XX^\top + \alpha I)^{-1}$，每次试验在单个 GPU 上只需要几毫秒，这使得大规模超参数搜索在计算上变得可行。技术路线上，作者首先定义了四个预处理轴（归一化、上下文长度、增强、正则化），然后引入了分组搜索框架（水平分组 gh 和序列分组 gs），最后使用 Optuna 的 TPE 采样器在三维超参数空间（L、r、$\sigma$）中搜索，同时通过内部网格搜索确定 $\alpha$。
核心创新点在于将搜索空间从模型架构转移到预处理步骤，并引入分组搜索框架来平衡性能和计算成本。与先前工作几乎总是为每个基准、每个预测时间步和每个变量固定单一组预处理超参数不同，本文的分组搜索方案允许超参数在预测跨度和序列之间连续变化。水平分组 gh 将 H 个预测步划分为大小为 gh 的连续块，并在每个块内共享超参数；序列分组 gs 类似地将 C 个变量划分为大小为 gs 的组。设置 gh = 1 恢复完全每步调整；设置 gh = H 恢复全局基线；中间值允许超参数在预测跨度上平滑变化，而不需要为每步进行单独搜索。这种框架的独特之处在于它统一了全局模型 (gh = H, gs = C) 和完全局部模型 (gh = 1, gs = 1) 作为特殊情况，并提供了在两者之间连续移动的能力。
方法步骤详情
方法步骤包括四个主要步骤：预处理定义、分组搜索框架构建、超参数搜索和模型评估。第一步是预处理定义，包括四个轴：归一化考虑两个范围（全局和局部）和两种方法（标准化和鲁棒归一化）；上下文长度 L 在 [32, 2048] 对数尺度上搜索；增强选择性地用按 $\sigma$ 缩放的加性噪声扰动训练窗口，在时间域（高斯噪声）或频率域（傅里叶系数的高斯扰动），$\sigma$ 在 [0.001, 0.5] 对数尺度上搜索；正则化评估 21 个对数间隔值（范围 $[10^{-6}, 10^3]$）并保留最小化验证损失的值。第二步是分组搜索框架，通过选择水平分组大小 gh 和序列分组大小 gs 定义预测跨度×序列空间上的超参数搜索单元格网格。第三步是超参数搜索，每个单元格使用 20 次 Optuna 试验，每次试验使用 3 折扩展窗口交叉验证在训练集上评估候选超参数，$\alpha$ 通过内部网格搜索确定。第四步是模型评估，将最佳超参数应用于从未用于搜索的测试集，报告 MSE 在预测跨度 $H \in \{96, 192, 336, 720\}$ 上的结果。
技术新颖性
技术新颖性体现在三个方面：首先，这是首次在时间序列预测中进行如此系统的大规模预处理超参数搜索，涵盖了上下文长度、归一化范围、增强和正则化四个维度，并且在每个预测跨度和每个序列的粒度上进行。其次，引入的分组搜索框架提供了一种在完全全局和完全局部搜索之间连续移动的方法，这使得在计算预算有限的情况下仍然可以捕获数据集的异质性。第三，本文不仅将优化的超参数作为提高准确率的手段，还将其作为诊断数据的工具，通过分析最优超参数的结构揭示时间序列数据的属性（缩放行为、归一化偏好、序列异质性），这些属性在更深层模型的学习表示中会被静默吸收。这种'线性模型作为诊断工具'的视角是本文的独特贡献。
实验结果
核心发现包括三个方面：首先，最优回望窗口与预测跨度的关系 $L^* = a \cdot H^b$ 强烈依赖于数据集，并且经常非单调。当对搜索到的最优回望和预测跨度 H 拟合幂律时，指数 b 的范围从 ETTm2 上的 +0.46 到 Exchange 和 Traffic 上的 -0.19，这与'越长预测跨度需要越长历史'的常规假设相矛盾。ETTm2 是唯一强烈支持传统直觉的数据集，尽管是次线性的；ETTm1 和 ETTh2 处于温和正区域（b ≈ 0.1–0.2）；Weather 和 Electricity 几乎平坦（|b| < 0.1），无论预测跨度如何都稳定在约 $10^3$ 步；Exchange 和 Traffic 上的负指数最富信息：更长预测跨度偏好更短上下文，这与远处历史主动误导模型的非平稳性一致。其次，对上下文的尾部分数进行归一化而不是整体归一化几乎总是更好。在 ETTh1、ETTm2、Weather 和 Exchange 上，局部在 62–100% 的数据集–预测跨度单元格中被选择；最优 $\log_{10} r$ 几乎总是严格负值，集中在 [-2.5, -0.5] —— 窗口的 0.3% 到 30% 的尾部分数。第三，同一数据集内的序列经常偏好不同的超参数，最优跨序列共享程度从 ETTh1 上的完全共享到 Weather 上的完全每序列变化，表明预测中跨通道的异质性是一个未被充分探索的轴。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ETTm1 数据集长期多变量预测 | MSE（平均 MSE 0.346） | SearchCast (H=96: 0.297, H=192: 0.332, H=336: 0.357, H=720: 0.396) | OLS (平均 0.356), FITS (平均 0.358), DLinear (平均 0.362), PatchTST (平均 0.388) | 相比 OLS 提升 4.3%，相比 DLinear 提升 4.4%，相比 PatchTST 提升 10.8% |
| ETTm2 数据集长期多变量预测 | MSE（平均 MSE 0.237） | SearchCast (H=96: 0.160, H=192: 0.212, H=336: 0.256, H=720: 0.323) | OLS (平均 0.249), FITS (平均 0.250), DLinear (平均 0.251), PatchTST (平均 0.281) | 相比 OLS 提升 4.8%，相比 DLinear 提升 5.6%，相比 PatchTST 提升 15.7% |
| Weather 数据集长期多变量预测 | MSE（平均 MSE 0.215） | SearchCast (H=96: 0.141, H=192: 0.184, H=336: 0.234, H=720: 0.304) | OLS (平均 0.217), FITS (平均 0.218), DLinear (平均 0.218), PatchTST (平均 0.225) | 相比 OLS 提升 4.4%，相比 DLinear 提升 1.4%，相比 PatchTST 提升 4.4% |
| Exchange 数据集长期多变量预测 | MSE（平均 MSE 0.341） | SearchCast (H=96: 0.081, H=192: 0.167, H=336: 0.305, H=720: 0.811) | OLS (平均 0.400), FITS (平均 0.395), DLinear (平均 0.380), PatchTST (平均 0.366) | 相比 OLS 提升 14.8%，相比 DLinear 提升 10.3%，相比 PatchTST 提升 6.8% |
| Electricity 数据集长期多变量预测 | MSE（平均 MSE 0.159） | SearchCast (H=96: 0.130, H=192: 0.145, H=336: 0.161, H=720: 0.199) | OLS (平均 0.162), FITS (平均 0.162), DLinear (平均 0.163), PatchTST (平均 0.159) | 相比 OLS 提升 1.9%，相比 DLinear 提升 2.5%，与 PatchTST 持平 |
局限与改进
作者承认的局限性包括：在两个最大的数据集（Electricity 有 321 个通道，Traffic 有 862 个通道）上，本文方法略逊于 PatchTST，这表明在这些数据集上跨相似序列的共享表示可能对 Transformer 比简单 Ridge 更有帮助。此外，虽然分组搜索框架在计算上比完全每序列每水平搜索更高效，但它仍然需要相当大的计算预算：八个数据集、四个预测跨度、每个单元格 20 次 Optuna 试验、3 折交叉验证，这意味着数千次 Ridge 拟合。此外，本文没有考虑更复杂的增强策略或非线性预处理步骤，这些可能进一步提高性能。最后，虽然优化的超参数作为诊断工具很有用，但这种诊断的价值取决于数据集本身的特征，对于一些更简单或更均匀的数据集，诊断可能提供较少的额外信息。
独立分析的弱点
独立分析的弱点包括：首先，方法在跨数据集泛化方面存在挑战，虽然每个数据集都进行了系统搜索，但搜索到的最优超参数在不同数据集之间变化很大，这意味着对于新的数据集，必须从头开始进行完整的超参数搜索，这在计算上可能很昂贵。其次，对于非平稳性很强的数据集（如 Exchange），模型可能在结构突变处表现不佳，因为线性模型本质上假设底层生成过程是线性且相对稳定的。改进方向包括：引入在线学习机制，使模型能够随着数据的分布变化而自适应地更新超参数；探索更复杂的增强策略，如 Mixup 或 CutMix 在时间域中的应用；考虑非线性预处理步骤，如基于小波的变换或基于学习的嵌入；以及开发元学习方法，从历史搜索结果中学习以加速新数据集上的超参数搜索。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的：作者计划扩展 SearchCast 管道以支持更多样的预处理选项，包括更复杂的增强策略和不同的归一化方法。基于本文成果，可以延伸的方向包括：将分组搜索框架应用于其他模型类别（如 Transformer 或 MLP），以研究更深层模型是否同样受益于预处理超参数的细粒度调整；研究如何将最优超参数的诊断信息反馈到模型架构设计中，例如，如果某数据集偏好非常短的上下文，可能表明使用局部注意力机制更有益；探索跨数据集的迁移学习，即在一个数据集上搜索到的超参数模式是否可以用来初始化相似数据集上的搜索；以及研究如何将这种基于诊断的超参数搜索与自动化机器学习管道集成，使其成为时间序列预测建模的标准组成部分。
复现评估
复现评估方面：作者承诺发布 SearchCast 可复现管道，支持每水平和每序列搜索以及可配置的消融控制。论文中描述的实验设置非常详细，包括数据集分割（ETT 为 6:2:2，其他为 7:1:2）、评估协议（使用 20 次 Optuna 试验和 3 折交叉验证）、基线设置（线性基线使用 L = 720，非线性基线使用发布的最佳回望 L）以及计算资源。然而，论文没有明确说明搜索的总计算预算或使用的具体硬件配置，这使得精确复现计算成本变得困难。此外，虽然作者声称 Ridge 回归有闭式解并且训练'实际上瞬间'完成，但大规模超参数搜索的总时间仍然可能相当可观。数据方面，所有使用的八个基准（ETTh1、ETTh2、ETTm1、ETTm2、Weather、Electricity、Traffic、Exchange）都是广泛使用的标准数据集，公开可用，这有助于复现。总体而言，复现难度中等，主要挑战在于计算预算和某些实现细节（如具体的 Optuna 试验配置）的潜在模糊性。
论文图表
