什么真正控制了大语言模型的时间推理能力：分词还是时间的表示？

研究发现时间推理瓶颈因语言资源水平而异：低资源语言受分词质量限制，高资源语言受内部表示线性性控制

前置知识

子词分词（Subword Tokenization）

子词分词是将文本切分为最小有意义单元的技术，如BPE（Byte-Pair Encoding）。它通过学习常见的字符序列作为词表单元，平衡了字符级和词级表示的优点。例如，日期字符串2024可能被切分为四个独立数字词元2、0、3、4，或者两个两位数组合20和24，这种切分方式直接影响模型如何理解和处理输入信息。如果分词器破坏了日期的语义边界（如将年、月、日之间的分隔符丢失或拆分月份名称），模型就难以访问这些结构化组件，从而影响时间推理能力。在多语言场景中，不同语言的日期表达（如中文的年月日后缀、阿拉伯语的右到左书写方向、豪萨语的月份名称）会导致不同的分词模式，低资源语言往往遭受更严重的碎片化问题。

本文的核心争议就源于分词：时间表达式如日期是结构化的符号对象，但分词器可能破坏其语义边界，导致模型难以访问年月日组件，从而影响时间推理能力。

线性探测（Linear Probing）

线性探测是一种分析神经网络内部表示的技术，通过在模型的中间隐藏状态上训练一个简单的线性分类器或回归器，测试该表示中是否包含特定信息。如果线性探测器的性能接近端到端模型，说明信息被编码在隐藏状态的线性子空间中。在本文中，研究者从模型的隐藏状态中提取日期的年份、月份、日份的表示，然后训练线性回归器预测这些标量值，用决定系数R平方衡量预测准确性。公式形式为hat c等于W_c乘以隐藏状态加上b_c，其中W_c是权重矩阵，b_c是偏置项，R平方衡量预测值与真实值的拟合程度。如果年份值可以通过线性回归从隐藏状态中准确恢复（高R平方），说明时间在嵌入空间中沿着有序的一维轴组织，这种线性结构支持时间算术运算。

本文用线性探测衡量时间表示的几何结构，发现高资源语言中时间线性性与性能强相关，是时间推理的内部约束，而低资源语言中线性性预测力很弱，表明模型无法形成有效的时间几何表示。

交叉混合效应回归（Crossed Mixed-Effects Regression）

混合效应模型是一种同时处理固定效应和随机效应的统计方法，适用于层次化数据结构。固定效应是系统性影响（如mDFR、时间线性性对所有模型和问题的影响），随机效应是分组变异（如不同问题的难度差异、不同模型的基准性能差异）。交叉设计意味着每个数据点属于多个分组，如同时属于某个问题和某个模型，通过随机截距控制组间差异。在本文中，研究者对285000个预测（15000个问题乘以19个模型）拟合回归模型，因变量是每题预测的正确性，固定效应包括z标准化的mDFR、z标准化的线性性、资源水平以及它们的所有交互项，随机截距为问题和模型。公式形式为correct等于mDFR_z乘以linearity_z乘以resource加上随机效应项。使用Wald检验计算z统计量和p值，用beta系数报告效应大小。

本文用此模型量化mDFR和时间线性性的相对贡献，并测试这些效应是否因语言资源水平而异，回归结果显示显著的三向交互，证明了瓶颈在不同资源语言间发生系统性转移。

研究动机

现有时间推理基准存在两个系统性偏差。首先，它们过度聚焦英语和格里高利历即公历，忽略了全球语言多样性。实际系统如日历助手、旅行规划器、临床和法律时间线重建需要处理阿拉伯语、豪萨语等非拉丁脚本语言，以及伊斯兰历、中国农历等非公历系统，但这些语言和历法在现有基准中被系统性遗漏。例如，时间表达式在不同文化中采用不同的表面形式，如英文写作1 May 2024，中文写作2024年5月1日，阿拉伯语使用右到左的数字和文字混合，豪萨语使用月份名称如Oktoba。其次，现有基准混淆了表面形式问题（分词质量）和内部表示问题（时间几何结构）。例如，模型在日期算术上失败，可能是因为输入被切分得支离破碎（如2034-10-03被切分为2、0、3、4、1、0、0、3），也可能是模型没有将时间编码为可计算的内部几何。现有研究无法区分这两种失败模式，导致对根本原因的误解。

本文的目标是本文的核心目标是回答一个根本性问题：在多语言、多历法的时间推理中，真正的控制因素是什么？是分词器的表面输入处理，还是模型内部的时间表示几何？更具体地，研究者想验证一个两层假设：分词控制模型对日历组件即年月日的表面访问能力，而时间线性性控制模型内部的计算表示。最终目标是建立一个机制性框架，指导针对性的改进——是需要更好的分词器，还是需要调整训练数据以形成更好的时间几何。研究者特别关注这种解释是否因语言资源水平而异，即高资源语言和低资源语言是否由不同的机制主导。

与已有工作不同的是，本文的独特切入角度在于同时整合了三个被割裂的研究方向。现有分词研究关注一般文本或下游任务，没有专门针对受控的时间表达式，无法量化分词对时间推理的具体影响。现有时间推理研究大多是单语言、单历法的，如TimeBench、ChronoSense主要聚焦英语和格里高利历，无法分离语言和历法效应。现有的几何表征研究发现模型对时空有线性编码，但这些发现没有连接到多语言、多历法的时间推理，不清楚这种线性编码是否在低资源语言中同样存在。本文通过引入控制的多语言、多历法基准，同时测量表面分词质量和内部表示几何，并分析它们在不同资源水平语言中的相对贡献，填补了这个空白。具体而言，研究者构造了覆盖5种语言、3种历法的基准，提出了多语言日期碎片化比率度量，并用线性探测和交叉混合效应回归分析机制差异。

核心方法

方法框架包含三个紧密耦合的组件：受控的多语言基准、表面分词质量度量、内部表示几何探测。直观上，研究者构造了一个覆盖5种语言（英语、德语、中文、阿拉伯语、豪萨语）和3种历法（格里高利、伊斯兰、中国农历）的时间推理基准，通过模板扩展将750个英语问题翻译并格式化为15000个多语言实例。然后，研究者引入多语言日期碎片化比率即mDFR度量日期字符串的分词质量，计算模型分词与语义基线之间的结构差异。最后，研究者通过线性探测分析隐藏状态中时间表示的线性结构，即年月日是否能被线性恢复，并用交叉混合效应回归分析mDFR和时间线性性对性能的相对贡献。这种设计允许研究者分离表面形式影响和内部表示影响，并测试它们是否因语言资源水平而异。

核心创新是提出了一个两层机制模型：在低资源语言中，分词质量是主要瓶颈；在高资源语言中，时间线性性是主要约束。这挑战了两种单一解释：一种认为所有时间推理失败都是分词问题，另一种认为都是表示学习问题。研究者通过实证发现，两者都重要，但它们的重要性取决于语言资源水平。具体而言，在豪萨语（训练数据仅0.3GB）和阿拉伯语（28GB）中，mDFR与性能强负相关，相关系数分别为负0.97和负0.89，而在英语（300GB）和中文（47GB）中，相关性很弱，分别为负0.17和负0.15。相反，时间线性性在高资源语言中强预测性能，英语相关系数为0.77，中文为0.75，但在低资源语言中预测力很弱，豪萨语仅为0.10。这表明模型在低资源语言中受输入访问限制，在高资源语言中受内部几何限制。这种两层机制解释了为什么仅仅改善分词不能解决所有问题，也解释了为什么模型规模不是可靠预测因子。

方法步骤详情

第四步是统计分析。研究者对285000个预测（15000问题乘以19模型）拟合交叉混合效应回归，因变量是每题预测的正确性（0或1），固定效应包括z标准化的mDFR、z标准化的线性性、资源水平（高或低）及其所有交互项，随机截距为问题和模型，用于控制项目难度和模型特定的基准性能。公式为correct等于mDFR_z乘以linearity_z乘以resource加上1加上question加上1加上model。研究者使用Wald检验计算z统计量和p值，用beta系数报告效应大小。回归结果显示，mDFR、线性性、资源水平的主效应都是显著的，三向交互也显著，p值为0.021，表明主导预测因子随资源水平转移。研究者还按资源水平分别分析，发现在低资源语言中，mDFR的beta系数为负0.126且p值小于0.001，表明碎片化是主导瓶颈；在高资源语言中，线性性的beta系数为0.087且p值小于0.001，而mDFR的beta系数仅为0.009且p值为0.056，表明时间线性性是性能的更强预测因子。

技术新颖性

技术新颖性体现在三个方面。首先，多语言日期碎片化比率是首个针对多语言时间表达式的分词质量度量，它不仅考虑了词元数量通胀，还引入了语义根拆分、分隔符丢失和结构发散，并通过人类严重性评分校准权重。与人类严重性评分的Spearman相关达到0.89，远超通用指标如BLEU的0.43，证明了其有效性。这个度量能够捕获不同语言和历法系统的分词差异，如非拉丁脚本（阿拉伯语、中文）往往遭受更高的碎片化，而月份名称在低资源语言中可能被破碎为不透明的子词单元。其次，本文首次将表示几何探测即线性探测和PCA连接到多语言时间推理，揭示了语言资源水平如何影响时间表示的几何组织。研究发现高资源语言在深层形成线性轨迹，支持时间算术，而低资源语言保持弯曲的非线性簇，无法进行有效计算。最后，交叉混合效应回归的框架允许研究者量化表面分词和内部表示的相对贡献，并测试它们是否因资源水平而异，发现显著的三向交互，这在方法学上为多语言能力研究提供了范式。

**Figure 1**: Mechanistic understanding of multilingual temporal reasoning in MULTITEMPBENCH

**Figure 8**: Evolution of temporal organization across layers

实验结果

最后，回归分析确认了语言依赖的瓶颈。在低资源语言即阿拉伯语和豪萨语，更高的碎片化强预测更低准确率，beta系数为负0.126，p值小于0.001，表明碎片化是主导瓶颈。在高资源语言即英语、德语、中文，时间线性性是性能的更强预测因子，beta系数为0.087，p值小于0.001，而mDFR仅有弱效应，beta系数为0.009，p值为0.056，接近统计显著边界。mDFR、线性性和资源水平的三向交互显著，beta系数为0.016，标准误为0.007，z值为2.31，p值为0.021，证明主导约束随资源水平转移。研究者还发现任务调节效应：在时间关系提取中，豪萨语显示中等负相关为负0.58，而在时区转换中显示更强负相关为负0.74，表明任务复杂度调节了分词影响的强度。这支持了一个两层机制：分词控制表面访问，时间线性性控制内部计算，两者都重要但其相对重要性取决于语言资源水平。

**Table 1**: Date formats and calendar systems in MULTITEMPBENCH

**Table 2**: Qualitative Analysis of Tokenisation Fragmentation

**Table 3**: Multilingual Temporal Reasoning Accuracy

**Table 4**: Multilingual Date Fragmentation Ratio (mDFR) across models for Gregorian (Ar, Zh, En, De, Ha), Lunar (Zh), and Hijri (Ar, En, Ha)

**Table 5**: Overview of tasks in the MULTITEMPBENCH dataset

**Table 6**: Spearman Correlation (rho) of Metrics with Human Judgments of Fragmentation Severity for Multilingual dates

**Table 7**: Comparison of Original (Normalised) and Empirically Learned Weights for the F Metric

**Table 8**: Qualitative Analysis of Tokenisation Fragmentation with Human Ratings

**Figure 2**: Impact of Tokenisation on Date Arithmetic Accuracy

**Figure 3**: Temporal linearity vs. accuracy across languages

**Figure 4**: Component-wise temporal linearity vs. accuracy

**Figure 5**: Mixed-effects summary of temporal reasoning bottlenecks

**Figure 6**: Impact of Tokenisation on Temporal Relation Task Accuracy

**Figure 7**: Impact of Tokenisation on Time Zone Conversion Task Accuracy

查看结构化数据

任务	指标	本文	基线	提升
日期算术（Date Arithmetic）	准确率（Accuracy）	豪萨语平均9.0%（Qwen 3 4B）至17.0%（Llama 2 7B），英语平均54.3%（GPT-4o）至66.7%（Llama 3.1 8B）	无直接基线，但可对比已有基准如TimeBench在英语上报告GPT-4约75%到80%	本文不声称优于基线，而是揭示了语言资源差异：豪萨语比英语低约40到60个百分点，验证了低资源语言瓶颈
时区转换（Time Zone Conversion）	准确率（Accuracy）	豪萨语平均2.3%（Qwen 3 14B）至9.0%（Qwen 3 4B），英语平均51.7%（GPT-4o）至66.7%（Llama 3.1 8B）	无直接多语言基线，英语上GPT-4在TimeBench约60%到70%	本文展示跨语言差异：豪萨语比英语低约45到60个百分点，验证了低资源语言瓶颈
时间关系提取（Temporal Relation Extraction）	准确率（Accuracy）	豪萨语平均1.7%（DS-R1 Qwen 7B）至12.3%（Olmo 3 7B），英语平均49.0%（GPT-OSS 20B）至70.0%（GPT-4o）	无直接多语言基线，英语上GPT-4在ChronoSense约65%到75%	本文系统量化了性能差距：豪萨语比英语低约55到65个百分点
碎片化预测力（DFR Predictive Power）	与准确率的Pearson相关（r）	豪萨语r等于负0.97（极强负相关），阿拉伯语r等于负0.89，英语r等于负0.17，中文r等于负0.15	无基线	本文首次量化了碎片化对性能的预测力因语言资源而异，发现了系统性的转移模式
时间线性性预测力（Linearity Predictive Power）	与准确率的Pearson相关（r）	英语r等于0.77（强正相关），中文r等于0.75，德语r等于0.44，豪萨语r等于0.10	无基线，但Gurnee and Tegmark (2024)发现在英语中时间表示具有线性结构	本文将线性性连接到多语言性能，发现预测力因资源而异，揭示了机制差异

局限与改进

我观察到额外的局限性。第一，低资源语言仅由阿拉伯语和豪萨语代表，且它们有共同的脚本（阿拉伯字母）和文化背景（伊斯兰历），这限制了关于低资源主张的普适性。印度语言（如印地语、泰米尔语）可能表现出不同的分词模式和时间表示结构。第二，语言划分为高资源低资源过于粗糙，掩盖了语言的内部异质性：德语66GB被归为高资源，但其性能模式更接近低资源，而中文47GB虽然被归为高资源，但其非拉丁脚本可能在某些方面引入类似低资源的挑战。资源水平应该是一个连续变量而非二元分类。第三，论文没有探索模型架构的影响（仅使用decoder-only），可能遗漏了不同架构如何编码时间的独特模式。例如，encoder-decoder模型可能在编码器中形成更清晰的时间几何，而decoder-only模型需要在推理过程中在线构建。第四，研究是相关的不是因果的：不能确信改善分词就能提升低资源语言性能，或者调整训练数据就能改善时间线性性。需要干预实验（如修改分词器、针对性数据增强）来建立因果关系。第五，论文没有测试不同分词策略的效果，如数字级分词vs.字节级分词，这对时间推理可能有重要影响。

独立分析的弱点

第三，评估协议引入了不可忽略的噪声。LLM-as-judge在250个多语言实例上达到87%的人类协议（Cohen's kappa等于0.89），但13%的误差率可能扭曲相关性分析，特别是在低资源语言中性能本身就低的情况下。具体改进方向是提高评估可靠性：增加人类标注者（目前仅6位）扩大验证集，或使用多个LLM法官（如GPT-4o加Claude 3.5）进行集成投票，减少单个模型的系统偏差。此外，可以分析错误类型：判断错误是格式歧义（如2024-05-01 vs 1 May 2024）还是语义错误，这将帮助改进judge prompt。研究者还可以引入领域专家（如历法专家、母语者）参与关键实例的验证，确保评估的准确性。最后，研究者可以报告评估不确定性（如置信区间、bootstrapping），让读者理解结果的可靠性范围。

未来方向

第三，扩展到多模态和时间序列推理。本文专注于文本中的时间推理，但实际系统需要处理多模态时间输入（如时间序列数据、图像中的时间戳、音频中的时间线索）。具体方向包括：构造多模态时间推理基准（文本加时间序列加图像），测试模型在不同模态中的时间表示是否共享统一的几何；研究跨模态时间对齐（如文本Q2 2024与时间序列数据中第二季度的一致性）；探索多模态分词（如图像中的时间戳提取）对时间推理的影响。这将推动从理解时间文本到推理时间现象的更广泛目标。研究者还可以研究时间推理在更复杂场景中的应用，如时间序列预测、事件检测、时间因果推断，测试两层机制是否扩展到这些任务。此外，研究者可以探索与外部工具（如日历API）的集成，测试分词和表示几何如何影响工具使用的有效性。

复现评估

分析方面，线性探测的公式定义，PCA可视化在Figure 8中展示，但超参数（如哪些层、多少样本）需要从文本推断（1990到2024、K等于5）。研究者没有明确说明使用了哪些层进行分析，只说Layer 21显示清晰线性。交叉混合效应回归在Section 6.4中描述，公式为correct等于mDFR_z乘以linearity_z乘以resource加上1加上question加上1加上model，但使用的统计库（如lme4 in R、statsmodels in Python）未明确说明，随机效应和固定效应的实现细节需要代码验证。研究者报告了beta系数、标准误、z值、p值，但没有报告模型拟合优度（如AIC、BIC）或残差诊断。整体而言，复现难度中等。关键挑战是：专有模型的API访问成本；第三方库的版本兼容性；分析代码的完整性（论文未附代码仓库链接）。改进方向是提供完整的分析代码（数据处理、mDFR计算、线性探测、回归分析）、固定所有依赖版本、提供专有模型的评估脚本（即使需要用户提供API key），并在补充材料中报告所有超参数（如随机种子、收敛标准）。研究者还可以开源人类评分数据和模型预测数据，让社区复现和扩展分析。

什么真正控制了大语言模型的时间推理能力：分词还是时间的表示？ What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?