多语言GSM-Symbolic：什么决定了能力跨语言迁移 Multilingual GSM-Symbolic: What determines capability transfer across languages?
用15语言符号化数学基准，联合量化模型规模、语言资源、推理与类型距离对跨语言迁移的影响
前置知识
符号化模板（Symbolic Templates）
把数学应用题抽象成带槽位的模板，人名、数量、物品等作为变量在运行时随机填充，生成无数结构相同、表面文本不同的题目，答案由程序按约束自动计算并可验证。GSM-Symbolic（Mirzadeh et al., 2025）证明仅替换表面符号（名字、数字）就能让 LLM 明显掉分，因此模板化可以把“真实推理能力”与“表面记忆/数据污染”区分开。
本文的整个基准建立在模板之上，只有理解模板机制才能明白“条目对齐（item-matched）”与“抗污染”这两个核心设计从何而来。
广义线性混合模型（GLMM）
在 logistic 回归（广义线性）基础上加入随机效应的回归模型，用于处理观测间的分组相关性——同一模型、同一模板、同一语言下的多次作答并非独立。本文使用交叉（crossed）随机效应，同时建模语言、模板、模型、家族、变体、模型×语言六个分组因子，使固定效应（如模型规模）在扣除相应组间变异后得到更无偏、标准误更合理的估计。
论文所有 β 系数、方差分解和留一语言预测都出自该模型；不懂混合模型就无法理解效应量的含义与“92% vs 23% 方差解释”这类结论。
类型学距离（Typological Distance）
用 URIEL 数据库中 103 个形态句法特征（如语序、介词位置、格标记系统）计算目标语言与英语特征向量的余弦距离，衡量两种语言在结构上的差异。它与语系亲缘相关但不等同，也与资源水平相对独立，是衡量“语言离英语有多远”的标准做法。
它是本文核心语言特征之一（β = −0.25），且它与分词 fertility 的高相关（r = 0.8）正是论文局限性讨论的关键。
分词 Fertility（子词 fertility）
平均每个词被分词器切成多少个子词 token，反映分词器对该语言的覆盖效率；fertility 越高说明文本被切得越碎，通常意味着该语言在预训练语料中占比低。本文设计“相对 fertility”——减去该语言在所有模型上的均值，只保留模型间相对偏差——以避免与类型距离共线。
论文用相对 fertility 无效应（β = −0.04, p = .19）这一结果来排除“类型距离效应其实只是分词器太差”的替代解释。
低资源语言与资源代理
低资源语言指数字文本稀缺的语言，如马拉地语有数千万使用者但网络文本量远小于英语。NLP 中常用 Common Crawl 页面数（取对数）作为语言资源水平的代理变量，因为它直接近似大模型预训练语料的构成。资源水平影响模型在该语言上的几乎所有能力表现。
资源水平是本文最大的语言侧效应（β = 0.77），“规模和推理能缩小资源差距”这一核心实践结论全部围绕它展开。
研究动机
现有跨语言能力评估依赖静态、饱和且互不可比的数据集。MGSM 只把 GSM8K 的 250 道题翻译到 11 种语言，题目文本与数值完全固定，早被主流模型“背熟”，污染和饱和使测得的分数无法反映真实能力——GSM-Symbolic 已证明仅替换名字和数字等表面符号就会显著掉分。更根本的问题是，不同语言若用不同基准或不同题目，跨语言比较就混淆了“模型能力差异”与“题目难度差异”，无法归因。同时，以往研究只单独考察单一因素（模型规模、或类型距离、或预训练数据量），从未联合建模，实践者无法回答“想让模型在低资源语言上变强，该堆参数、开推理、还是补数据”。此外 GSM8K 本身存在歧义和标注错误（Vendrow et al., 2025），且非英语版本常保留英制单位、英语人名与货币，会系统性扭曲非英语场景下的测得表现（Azime et al., 2026 证明这类保留会虚高测得性能）。
本文的目标是本文要构造一个可验证、可扩展、条目级对齐的多语言数学基准——Multilingual GSM-Symbolic，覆盖 15 种语言、100 个符号化模板、共 30,000 条条目对齐样本，并能从模板再生成数百万变体以抵御污染；在此之上用一个统一的统计模型（交叉随机效应 logistic GLMM）联合估计模型层特征（规模、推理开关）、语言层特征（资源水平、类型学距离、相对 fertility）及其交互项对跨语言能力迁移的贡献，把各因素折算到同一可比尺度，给出按效力排序的可操作干预建议；并演示能否用极少的目标语言数据预测模型在未见语言上的表现，从而避免对每一对（模型, 语言）都做完整评测的高昂成本。
与已有工作不同的是，本文的独特切入是把“能力迁移”从经验观察升级为可联合估计的回归问题。第一，条目级匹配加符号模板的组合使跨语言差异可干净地归因于语言本身而非题目差异，这是 MGSM 等静态翻译基准做不到的。第二，首次把模型特征与语言特征放进同一个模型，用“每个标准差对应多少 log-odds”的统一效应量尺度直接比较“堆参数”与“补数据”哪个更划算，并显式加入交互项检验“干预能否缩小差距”而不只是“能否提高平均分”。第三，把本地化（货币、公制单位、数字系统、文化引用）作为一等公民处理，修正英制单位虚高表现的问题。第四，示范“预测代替穷举评测”的路线：留一语言外推，再用目标语言仅 10 个模板校准，即可把预测误差压到可用水平。
核心方法
直觉很朴素：数学题的答案跨语言恒定，若同一模板生成的同结构题目在 15 种语言里作答表现不同，差异只能来自语言本身。技术路线分三步。第一步构造数据：实现并开源 GSM-Symbolic 模板解析器并扩展语法支持多语言，100 个模板经母语者翻译、本地化、自动化校验与错误分析，每模板采样 20 个实例，15 种人验语言共 30,000 条，另附 102 种语言的机器翻译版（仅供谨慎使用）。第二步大规模评测：46 个开源指令模型（含推理开/关变体），zero-shot 提示并要求把答案放进 \boxed{}，用 Inspect AI 加 vLLM 0.22.1 在 B200 上共耗约 180 GPU 小时。第三步统计建模：把每条作答建模为 Bernoulli 变量，拟合 $\text{logit}(\pi_{mlti}) = x_{ml}^{\top}\beta + \sum_{g \in G} u^{(g)}_{j_g(m,l,t)}$，其中 $u^{(g)}_j \overset{\text{iid}}{\sim} N(0, \sigma_g^2)$，$G$ 含家族、模型、变体、语言、模板、模型×语言六类交叉随机效应；最后用留一语言外推与模板预算实验评估预测力。
核心创新在于把所有效应统一到“预测变量每增加一个标准差、答对几率的对数几率变化多少”这一可比尺度，从而可以直接排序：模型规模（$\beta_{\text{size}} = 1.88$）最强，语言资源水平（β = 0.77）次之，推理（β = 0.67）再次，类型学距离为负（β = −0.25）。交互项则回答“干预能否缩小差距”而非只看平均分：资源×规模（β = −0.27）与资源×推理（β = −0.20）显著为负，说明模型越大、开推理，低资源语言的劣势越小；而距离×规模（β = 0.02, p = 0.32）不显著，说明堆参数救不了类型学上遥远的语言。这把以往零散的单因素发现整合成一张“干预排序表”，并能折算成等价代价：在马拉地语上评测一个模型等效于损失约 3.5 倍参数——摘要中“32B 模型在马拉地语的表现相当于 10B 模型在英语”正是这一换算的直观表述。
方法步骤详情
完整流程如下。(1) 模板解析与扩展：实现并开源 GSM-Symbolic 模板解析器，修复原版不一致并扩展语法以支持多语言占位符。(2) 语言选择：覆盖多个语系并确保资源水平、语系、文字系统互不混淆；15 种人工验证语言为英/丹/荷/德/冰岛/法/意/乌克兰/俄/爱沙尼亚/日/中/印地/马拉地/阿拉伯语。(3) 翻译与本地化：24 位具技术背景的母语者（17 男 7 女）借助 LLM 初翻后逐条人工审校，并本地化货币、单位（改公制）、数字系统与文化引用；条目等价性定义在推理结构与运算层面而非逐字文本。(4) 校验：自动化测试套件（CI 强制）保证默认渲染与原题一致、模板约束满足；再对每模板生成 20 个实例，用 Claude Opus 4.8 逐一作答，人工复查错误推理轨迹、修正歧义模板（如把“可能性大多少”澄清为“以百分点计”）。(5) 评测：46 个开源指令模型（Qwen2.5/3/3.5、Gemma 3、OLMo 2/3、Granite 3.2、EuroLLM、Apertus 等），zero-shot，答案不可解析即判错；两个失控模型被剔除。(6) 建模与外推：用 R/lme4 拟合上述 GLMM（$N = 69{,}000$ 个 cell × 每 cell 20 实例，AIC = 422,410），做留一语言预测，并在 $k \in \{0,1,2,5,10,20\}$ 个模板预算下检验预测误差。
技术新颖性
相比已有工作，本文是第一个“可验证 + 可扩展 + 多语言”三者兼备的符号化数学基准：GSM-Symbolic 只有英语；MGSM 是静态翻译且已饱和；mGSM-Symbolic 名不副实、实为静态翻译集；MGSM-Pro 虽用模板但不开源模板与生成代码。本文则把模板、生成代码、校验测试、逐样本推理日志全部开源（MIT），单个模板可生成数百万变体，使模板级的具体记忆失效。统计上，首次把家族/模型/变体、语言、模板、模型×语言六类交叉随机效应与固定效应同时纳入一个模型，并用消融证明随机效应结构是必要的：模板 sd = 1.21 竟是最大方差来源，模型×语言 sd = 0.58，语言 sd = 0.25。方法细节上，“相对 fertility”的去共线设计和把效应折算成参数等价代价（图 15）都是新颖呈现；用解题深度分阶段建模（读数/中间计算/最终答案）也首次定位了语言差距在推理链中累积的位置。
实验结果
论文给出五大发现。其一，规模与推理是最强决定因素：$\beta_{\text{size}} = 1.88$、$\beta_{\text{reasoning}} = 0.67$（均 p < 0.001），但推理增益随规模衰减（$\beta_{\text{size}\times\text{reasoning}} = -0.34$）。其二，资源水平是最大的语言侧效应（β = 0.77）：折算成参数代价（图 15），马拉地语 3.5×、冰岛语 3.1×、爱沙尼亚语 2.8×、印地语 2.5×，故 32B 模型在马拉地语只相当于约 10B 模型在英语。其三，类型距离负向（β = −0.25, p = 0.001），但它与 fertility 相关高达 r = 0.8；去共线后的相对 fertility 无效应（β = −0.04, p = .19）。其四，交互项显示规模与推理都能缩小资源差距（−0.27 / −0.20），但对类型距离几乎无效。其五，预测力：留一语言下语言平均难度 MAE 3.2pp（r = 0.93），具体模型 5.98pp（r = 0.96），加 10 个目标语言模板分别降至 2.38pp 与 4.19pp；框架解释 92% 的语言间方差但仅 23% 的模型×语言方差。附加分析：符号变体比原题难 3.14pp（705 个模型-语言对；英语最小 1.7pp、俄语最大 5.5pp），且该惩罚与迁移特征正交；语言差距在解题每个阶段累积（资源效应从读数 0.32 增至最终答案 0.77），\boxed{} 指令遵循率从德语 94.5% 降至马拉地语 77.1%。榜单上 Qwen3.5-27B（推理开）以 94.9% 符号集平均准确率居首，Apertus-70B 在英语上反常仅 22.7%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多语言小学数学推理（15 语言符号化集，48 模型榜单） | exact-match 准确率（15 语言平均） | 最佳：Qwen3.5-27B（推理开）94.9%，英语-非英语差距仅 3.3pp | 同家族 Qwen3.5-9B（推理关）86.1%；小模型 Qwen2.5-0.5B 仅 5.4% | 27B+推理比 72B 静态模型（Qwen2.5-72B 91.2%）高 3.7pp，语言差距从 6.8pp 收窄到 3.3pp |
| 未见语言上的模型性能预测（留一语言外推，768 个模型-语言对） | MAE（准确率百分点） | 5.98pp（Pearson r = 0.96）；加 10 个目标语言模板降至 4.19pp | 朴素均值基线约 9.8pp（由“相对降低 39%”反推） | 降低 39%（10 模板时相对约 57%）；语言均值预测 3.2pp（降低 63%，r = 0.93） |
| 模型排序稳定性（模板预算 k = 10 对比全量 100 模板） | 排序相关系数 / 单（模型,语言）分数标准误 | 符号集：0.964 / 7.26pp | 原始集（非符号）：0.914 / 10.60pp | 符号集在每个预算下都更精确；100 模板时标准误仍达 2.29pp |
| 符号变体对比原题（两分割联合建模） | log-odds 惩罚 / 准确率差 | $\hat\delta = -0.297$（p < 10⁻¹⁵），平均低 3.14pp；惩罚随语言变化（$\hat\tau = 0.059$，χ² = 18.4） | 原题分割 | 惩罚与迁移特征正交：表现好的语言不一定脆弱，二者是独立维度 |
局限与改进
作者明确承认的局限：其一，规模与覆盖——仅 100 模板 × 15 语言，单个（模型,语言）分数标准误仍有 2.29pp，要把误差减半需 400 个模板；其二，饱和风险——小学数学较简单，但附录 I.3 显示在各性能阈值下重新拟合后结论稳定；其三，泛化性——结论限于指令对齐模型和数学域，未含 MoE 架构与 base 模型，其他领域的迁移决定因素可能不同；其四，特征规格——类型距离与 fertility 高度共线（r = 0.8），类型距离实际同时编码了结构距离与非相对 fertility，对它的解读需谨慎；资源水平用 Common Crawl 页数代理，而低资源语言语料中可用文本比例更低、更易被误分类（Kreutzer et al., 2022）。我的补充观察：模板方差（sd = 1.21）是最大随机效应，说明 100 个模板的题目多样性本身有限；最有趣的失败案例——Apertus-70B 英语仅 22.7%（特征预测应为约 75%）、多个大模型在爱沙尼亚语上崩盘——恰恰落在未解释的 77% 模型×语言方差里，意味着“哪个模型会在哪门语言失灵”仍是开放问题；另外“推理缩小资源差距”部分可能来自低资源语言下小模型跌至近 0 分的地板效应，提升空间天然更大；资源是连续代理变量，真正的原因（预训练数据配比）只有 OLMo、EuroLLM、Apertus 等少数全开放模型可查。
独立分析的弱点
第一，领域单一：小学数学刻意文化中性，但能力面窄，结论对医疗、法律、多轮对话等域的迁移可能完全不同，改进方向是用同样的“模板化 + GLMM”框架复制到知识问答或代码域。第二，模型×语言方差大部分（约 77%）未解释：模型侧只有规模和推理两个特征，缺少训练数据配比、tokenizer 训练占比等更本质的变量，改进方向是对全开放数据模型直接用真实预训练配比替换 Common Crawl 代理。第三，“推理缩小资源差距”可能混入地板效应——小模型在低资源语言接近 0 分时任何干预都显得有效，改进方向是以配对提升量（per-cell delta）而非绝对准确率建模。第四，推理与非推理变体的推理长度和计算开销不等价，“规模对比推理”的排序没有做严格算力配平（附录 E 的固定算力分析只是初步）。第五，模板数量少且模板是最大方差来源（sd = 1.21），模板抽样偏差可能影响语言间比较，改进方向是扩充模板库并在语言比较中报告模板层面的不确定度。
未来方向
作者提出的方向：扩展语言覆盖（已附 102 种语言的机器翻译版待人工验证）；检验跨域泛化；纳入 MoE 与 base 模型以检验结论对不同架构与训练阶段的普适性；在模型中加入 template×language 随机效应（附录 A.1 显示其 sd 高达 0.92 且改善 AIC 约 105，虽不改变结论符号与显著性）。基于成果可自然延伸的方向：用框架指导低资源语言的数据采购——把“资源水平”这一干预量化成具体的 token 预算与预期收益；把“10 模板校准”做成标准化的评测探针并集成进 EuroEval/Inspect 工作流，作为多语言评测的默认流程；深挖 Apertus 类模型在英语上的反常失败（英语-非英语差距 −20.7pp）到底源于 tokenizer 还是后训练配方；研究强化学习后训练（推理模型）如何改变类型距离效应；以及用同一框架分析文化敏感任务中“合理的不迁移”，避免把文化差异误判为能力缺陷。
复现评估
复现条件在同类工作中属于极佳水平：数据集（HuggingFace: danish-foundation-models/multilingual-gsm-symbolic）与代码（GitHub: centre-for-humanities-computing/multilingual-gsm-symbolic）以 MIT 协议开源，均为版本化产物并附带 CI 测试套件；逐模型、逐样本的推理日志全部发布，意味着所有统计分析无需重跑推理即可复现；数据集已集成进 EuroEval 与 Inspect AI 两大评测框架。算力方面，全部评测约 180 个 B200 GPU 小时（UCloud HPC，84% 可再生能源），单个模型 × 15 语言用 vLLM 即可单机完成；GLMM 用 R/lme4（AIC = 422,410）在桌面机可拟合。主要门槛在扩展而非复现：新增语言需要母语者翻译与审校（本文动用 24 位译者并给予署名），自动化校验与错误分析流程完备但人工成本不低；机器翻译的 102 语言版虽随包发布，但 TOST 等价检验（冰岛语，1pp 边际，p > 0.999）表明其与人工验证版不等价，不能直接替代。总体属于“开箱即复现”级别。
论文图表
