TSRBench：面向通用模型的综合多任务多模态时间序列推理基准

首个覆盖感知/推理/预测/决策四维度的多模态时间序列推理基准，评测30+主流模型

前置知识

时间序列推理（Time Series Reasoning）

时间序列推理是指模型对时间序列数据进行理解、分析、推断和决策的能力。不同于传统的时序预测（仅关注数值准确性），时间序列推理涵盖了从感知（如识别趋势、周期、异常）到因果推断（如发现变量间因果关系）、逻辑演绎（如根据规则推导结论）再到基于时序的决策（如医疗ECG诊断、量化交易策略选择）的完整链条。这一能力要求模型同时具备数值理解、领域知识和逻辑推理三种技能。

本文的核心贡献就是定义并评测了这一完整的能力谱系，理解这一概念是理解全文评测框架的前提。

多模态大语言模型（MLLM/VLM）

多模态大语言模型是在纯文本LLM基础上扩展了视觉、听觉等模态输入能力的模型。在时间序列领域，VLM可以将时间序列可视化为折线图输入，与纯文本（数字序列）输入形成互补。代表性模型包括GPT-5、Qwen3-VL、InternVL3.5等。这类模型的优势在于能从图像中捕捉全局模式和视觉特征，但劣势在于难以进行精细的数值提取。

本文对比了LLM（文本输入）、VLM（图像输入）和TSLLM（嵌入输入）三类模型在时间序列推理上的表现，理解它们的区别是理解实验结果的基础。

缩放定律（Scaling Law）

缩放定律描述了模型性能与模型参数量、数据量、计算量之间的幂律关系。在大语言模型领域，通常观察到更大的模型在多数任务上表现更好，这种正相关关系被称为缩放定律成立。然而，某些任务可能不遵循这一规律——即使模型规模增大，性能也不会显著提升，这表明该任务可能存在根本性的技术瓶颈。

本文发现缩放定律在感知和推理任务上成立，但在预测任务上失效，这是全文最关键的发现之一，揭示了当前模型在时序预测上的根本性局限。

因果发现（Causal Discovery）

因果发现是指从观测数据中推断变量之间因果关系的方向和结构。在时间序列场景中，这通常意味着判断时间序列A是否导致了时间序列B的变化。经典方法包括Granger因果检验、基于结构方程模型的方法等。与简单的相关性分析不同，因果发现需要区分「A和B同时变化」与「A的变化导致了B的变化」这两种本质不同的情况。

因果发现是本文15个评测任务之一，属于时间序列推理维度中最具挑战性的任务，理解它有助于认识本文评测任务的难度梯度。

Spearman秩相关（Spearman's Rank Correlation）

Spearman秩相关系数是一种非参数统计量，用于衡量两个变量之间的单调关系。与Pearson相关系数不同，它不假设线性关系，而是基于变量的排序（秩）来计算相关性。取值范围为[-1, 1]，其中1表示完全正单调相关，-1表示完全负单调相关，接近0表示无单调关系。在本文中，它被用来量化模型规模与任务性能之间的关系。

这是本文分析缩放定律和任务间相关性的核心统计工具，理解它才能理解论文中关于「缩放定律成立/失效」的定量判断。

研究动机

时间序列在现实世界中无处不在，从金融市场、医疗健康到工业控制，推理时间序列数据的能力是通用模型解决实际问题的核心技能。然而，现有的大模型基准测试几乎完全忽略了这一维度。现有的时间序列基准存在三个关键问题：第一，以预测为中心的基准（如TimeMMD、CiK）仅关注单一的数值预测任务，无法评估模型的全面推理能力。第二，以分析为中心的基准（如TimeSeriesExam、MTBench）虽然开始探索时间序列理解，但往往局限于狭窄的领域（如仅金融或天气）或单一任务类型（如仅感知），无法覆盖从感知到决策的完整推理链条。第三，即使是试图探测推理能力的基准（如TSR-SUITE、EngineMT-QA），也仅覆盖有限的推理任务，缺乏对因果发现、溯因推理、演绎推理等高阶能力的系统评测。这种系统性的缺失导致我们无法全面了解当前通用模型在时间序列推理上的真实能力水平，也无法识别关键的能力瓶颈。

本文的目标是本文的目标是构建一个全面、多维度、多模态的时间序列推理基准TSRBench，系统地评估通用模型在时间序列上的完整推理能力谱系。具体而言，该基准需要实现四个目标：（1）覆盖从基础感知到高阶决策的四个能力维度，每个维度包含多个具体任务，共计15个任务；（2）涵盖14个不同领域的数据，确保评估的多样性和泛化性；（3）支持四种输入模态（文本、图像、文本+图像、嵌入），以便公平对比不同类型的模型；（4）对超过30个领先的专有和开源LLM、VLM、TSLLM进行全面评测，揭示当前模型的能力边界和关键瓶颈。

与已有工作不同的是，本文的独特切入角度在于将时间序列推理视为一个多维度的能力谱系，而非单一的预测或分类任务。已有工作要么聚焦于数值预测准确性，要么仅评估浅层的模式识别能力，而TSRBench首次系统地将时间序列能力分解为感知（Perception）、推理（Reasoning）、预测（Prediction）和决策（Decision-Making）四个层次，并在每个层次下设计了多个具体任务来压力测试模型的不同能力。此外，本文发现了一个被忽视的关键现象：文本和视觉两种时间序列表示形式具有强烈的互补性——它们各自擅长解决不同子集的问题，但当前的多模态模型无法有效地融合这两种模态以实现性能增益。这一发现为未来多模态时间序列模型的设计提供了重要启示。

核心方法

TSRBench的构建可以类比为一场全面的「时间序列能力体检」。就像体检需要测试视力、听力、心肺功能等多个维度一样，TSRBench设计了15个任务来测试模型在时间序列上的四种核心能力。整体技术路线分为三步：首先，通过合成数据生成和网络数据收集两条并行路线获取高质量的时间序列数据；其次，由人工设计问题模板并结合代码或规则提取器生成答案；最后，通过代码验证器和事实验证器进行严格的质量校验。数据来源涵盖14个领域，包括金融（股票指数）、医疗（ECG信号）、物理（混沌系统模拟）、气象（温度湿度）、地球科学（地震波）、化学（反应动力学）等。为了确保评测的公平性，所有问题均设计为多选题格式，避免开放式回答带来的评估歧义。

TSRBench的核心创新在于提出了时间序列推理的四维评测框架：感知（Perception）、推理（Reasoning）、预测（Prediction）和决策（Decision-Making）。这一框架与已有基准的本质区别在于，它不是简单地增加任务数量，而是基于对时间序列能力的系统性分解，设计了一套层次化的评测体系。感知维度测试基础的模式识别和统计理解能力；推理维度测试从时间模式中推导结论的逻辑能力，包括因果推理、溯因推理、演绎推理和归纳推理；预测维度测试基于历史数据和上下文预测未来数值或事件的能力；决策维度测试基于时间序列理解做出实际决策的能力。更重要的是，本文通过大规模实验发现了这四个维度之间的内在关系：感知、推理和决策高度相关（Spearman相关系数大于0.7），但与预测维度几乎无关（相关系数约-0.2），这揭示了当前模型的根本性缺陷——即使模型能够很好地理解和推理时间序列，也无法将其转化为准确的数值预测。

方法步骤详情

TSRBench的构建流程包含三个关键步骤。第一步是原始数据收集，采用双流策略：（1）合成数据流——针对数值推理等需要精确答案的任务，选择化学、地震学等种子领域，设计Python生成函数模拟真实时间序列，确保底层参数已知且可控；（2）网络数据流——从公开数据仓库聚合大量数据集，由人工标注者验证文本与时间序列的对齐性，并对实体进行匿名化处理（如将「湖人队」替换为「Team A」）以减少数据泄露风险。第二步是问题与答案生成：人工设计问题模板以避免自动生成的歧义，然后通过两种方式生成答案——基于代码的计算（适用于合成数据，利用底层物理公式或逻辑规则）和基于规则的提取（适用于网络数据，从数据源或元数据中提取正确答案）。第三步是验证：对合成任务使用代码验证器重新执行生成逻辑确保答案正确，对网络任务使用事实验证器交叉验证生成的答案，同时通过算法操纵（如反转正确时间序列）或LLM验证来构建高质量的干扰选项。

技术新颖性

TSRBench在技术新颖性上体现在三个方面。第一，评测维度的系统性：与仅关注单一能力（如预测或分类）的已有基准不同，TSRBench首次提出了涵盖感知、推理、预测、决策四个层次的完整评测框架，其中推理维度又细分为7个子任务（因果发现、溯因推理、演绎推理等），这种细粒度的能力分解在时间序列领域是首创。第二，多模态支持的全面性：TSRBench同时支持文本（数字序列）、视觉（折线图）、文本+视觉（双模态）和嵌入（TSLLM专用）四种输入模态，使得不同类型的模型可以在统一框架下进行公平对比，这在已有基准中是独一无二的。第三，发现任务间的内在结构：通过Spearman相关分析，本文发现感知、推理、决策三个维度高度相关（相关系数大于0.7），但与预测维度几乎解耦（相关系数约-0.2），这一发现为理解通用模型在时间序列上的能力结构提供了全新视角。

实验结果

TSRBench对6个专有模型、13个开源LLM、13个开源VLM和4个开源TSLLM进行了全面评测，产生了四个核心发现。第一，缩放定律在大多数时间序列推理任务上成立，但预测任务例外。Spearman秩相关分析显示，LLM的总体准确率与模型规模的相关系数为0.92（p小于等于0.05），感知维度0.89，推理维度0.98，决策维度0.74，但预测维度的相关系数仅为-0.24，表明增大模型规模并不能改善时序预测能力。第二，感知、推理和决策高度相关，但与预测任务解耦。这一发现表明，即使模型能很好地理解和推理时间序列，也无法将其转化为准确的数值预测。第三，文本和视觉表示具有强烈互补性但模型无法有效融合。GPT-5在文本输入下准确率为55.5%，视觉输入下为52.4%，两者联合输入（T+V）为55.6%，提升微乎其微。具体分析表明，文本和视觉各自正确解决的问题子集重叠度很低（仅约32-33%），但T+V模式的解决方案主要覆盖了单一模态已能解决的问题，说明模型无法有效利用跨模态信息实现互补增益。第四，推理努力对不同任务的影响差异显著。以o4-mini为例，启用高推理模式后，总体准确率从48.2%提升至52.5%（+4.3%），GPT-5-mini从46.9%提升至54.1%（+7.2%），但感知任务基本不受影响，而推理、预测和决策任务则显著受益，表明这些任务需要深度的推理计算。具体到各模型表现，GPT-5 (T+V)以55.6%的总体准确率领先，开源模型中Qwen3-VL-32B表现最佳（44.9%），但与顶级专有模型仍有约10个百分点的差距。

查看结构化数据

任务	指标	本文	基线	提升
总体准确率（Overall）	Accuracy	GPT-5 (T+V): 55.6%	Qwen3-VL-32B: 44.9%	专有vs开源差距约10.7%
时间序列预测（TSF）	Accuracy	GPT-5 (T): 37.8%	Qwen3-VL-32B: 37.4%	预测任务上差距极小
因果发现（CD）	Accuracy	GPT-5 (T+V): 50.3%	Qwen3-32B (T): 35.9%	+14.4%
溯因推理（AR）	Accuracy	GPT-5 (T+V): 93.3%	Qwen3-VL-32B (V): 69.3%	+24.0%
量化决策（QuantDM）	Accuracy	GPT-5 (T+V): 34.3%	o4-mini (T+V): 36.0%	各模型均表现较差
推理模式提升	ΔAccuracy	o4-mini-high (T+V): +4.3%	o4-mini (T+V): 48.2%	高推理模式总体提升4-7%
工具增强	ΔAccuracy	o4-mini +工具: +1.2%	o4-mini基线: 48.2%	工具增强效果有限

局限与改进

TSRBench的局限性体现在多个方面。首先，尽管基准涵盖了14个领域和15个任务，但4125个问题的规模相对有限，特别是对于需要大量训练数据的深度学习模型而言，这一规模可能无法充分反映模型的真实能力边界。其次，基准中的时间序列预测任务被简化为多选题格式，虽然论文通过对比实验证明了MCQ格式与开放式数值预测的趋势一致性（Spearman相关系数高度相关），但这种简化不可避免地丢失了对预测精度的精细评估能力。第三，数据泄露的风险虽然通过N-gram检测得到了一定控制（各模型N-gram准确率均低于0.5%），但由于基准中包含了来自公开数据源（如Kaggle）的数据，完全消除泄露风险是不现实的。第四，合成数据虽然确保了答案的精确性，但可能与真实世界数据的分布存在偏差，特别是在物理系统模拟中，简化的模型假设可能无法完全捕捉现实世界的复杂性。第五，错误分析显示，推理和感知错误是所有模型的主要失败模式，但论文未能深入分析这些错误的具体类型和分布，这限制了对模型能力缺陷的精细化理解。

独立分析的弱点

从独立分析的角度，TSRBench存在以下几个可改进的弱点。第一，时间序列预测任务的评估过于简化。将预测任务转化为多选题虽然降低了评估难度，但也丧失了对预测精度的精细度量。建议未来增加基于连续数值的评估指标（如MAE、RMSE），以更准确地反映模型的数值预测能力。第二，多模态融合的评测深度不足。虽然论文发现了文本和视觉表示的互补性，但仅通过简单的拼接（T+V）来测试融合效果，没有探索更高级的融合策略（如交叉注意力、特征对齐等）。建议在基准中增加对不同融合策略的系统对比。第三，工具增强实验的设计较为粗糙。当前的工具增强仅提供了基本的统计特征，没有针对不同任务类型设计专门的工具。建议为不同推理任务（如因果发现、数值推理）设计定制化的工具集。第四，错误分类的粒度不够细。当前的四类错误（推理、感知、问题理解、领域知识）过于粗粒度，建议进一步细分为子类型（如推理错误可分为逻辑错误、计算错误、规则应用错误等），以便更精准地指导模型改进。第五，缺乏对模型鲁棒性的测试。当前基准没有测试模型在噪声数据、缺失值、分布偏移等现实场景下的表现，这限制了基准对实际应用的指导价值。

未来方向

论文作者提出了四个未来研究方向。第一，多视角时间序列理解：开发能够有效融合高分辨率视觉模式与语义文本上下文的对齐技术，以增强整体理解能力。第二，大规模预训练时间序列模型：鉴于所有通用模型在定量预测上的集体盲点，亟需开发在大规模多样化时间序列语料上预训练的基础模型，以弥合语义推理与精确数值外推之间的鸿沟。第三，多智能体时间序列系统：复杂的时间序列问题通常需要从模式识别到逻辑推理再到领域知识检索的多种能力，多智能体框架可以将这些任务分解，通过专门的智能体协作和验证来克服单一模型推理的局限。第四，测试时缩放策略：实验表明推理密集型任务在缺乏足够推理时计算时会严重退化，未来工作应探索自适应推理策略，包括高级提示技术、结构化推理和自我验证。基于论文成果还可以延伸的方向包括：将评测框架扩展到流式时间序列（在线推理）场景，探索时间序列推理与自然语言推理的迁移学习，以及开发专门针对时间序列推理的强化学习训练范式。

复现评估

TSRBench在可复现性方面具有较好的基础。论文明确声明代码和数据集已开源（https://tsrbench.github.io/），这为学术界提供了便利。数据集包含4125个问题和15250个时间序列通道，规模适中，本地部署和评测的计算成本可控。专有模型通过API调用评估，开源模型通过VLLM本地部署评估，论文在附录中详细列出了所有36个模型的具体版本和官方链接，这大大降低了版本不一致导致的复现困难。然而，复现仍面临一些挑战：（1）部分专有模型（如GPT-5）的API调用成本较高，完整评测所有模型的费用可能不菲；（2）大型开源模型（如Qwen3-235B-A22B）的本地部署需要较大的GPU显存（通常需要多张80GB A100），对硬件要求较高；（3）合成数据的生成依赖于特定的Python代码，虽然论文提供了描述，但完整代码的开源情况需要确认。总体而言，TSRBench的复现难度为中等，具备一定计算资源的研究团队可以在数天内完成全部评测。