多模态大模型中的乘法：文本、图像与音频输入下的计算能力研究 Multiplication in Multimodal LLMs: Computation with Text, Image, and Audio Inputs
构建可控多模态乘法基准，用算术负荷C与强迫续写探针揭示多模态LLM的乘法失误源于计算而非感知。
前置知识
多模态大语言模型 (Multimodal LLM)
能同时处理文本、图像、音频等多种输入模态的 LLM，通过统一的 tokenizer 或跨模态编码器将不同模态映射到共享的语义空间。典型代表如 Qwen3-VL、Gemini、GPT-4o 等。
本文研究的核心对象就是 MLLM，且专门考察同一算术题在文本/图像/音频三种模态下的表现差异，理解模态对齐机制是看懂实验设计的前提。
链式思维提示 (Chain-of-Thought, CoT)
通过在 prompt 中加入"逐步推理"的引导，让 LLM 输出中间步骤再给出最终答案，常用于提升多步推理正确率，例如 Wei et al. 2022 的工作。
作者指出 CoT 等提示方法不保证中间算术执行的可靠性，本文正是基于此观察强调要直接探查模型内部的计算启发式。
LoRA (Low-Rank Adaptation)
一种参数高效微调方法，通过在原始权重上叠加低秩分解 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, r \ll d$）来适配下游任务，训练时冻结原参数。
论文用三个启发式专属的 LoRA 适配器分别训练并测量其有效更新 $\Delta W$ 的余弦相似度，用以判断不同启发式在参数空间中是否占据正交子空间。
强迫续写损失探针 (Forced-Completion Loss Probe)
在固定问题上下文后，用模型对一段候选续写文本的 token 级交叉熵作为"自然度"度量，源自可解释性文献中探测模型内部表征兼容性的方法。
这是本文的第二个核心创新——通过对不同启发式前缀（列式/分解/凑整）的损失比较，揭示模型更倾向哪条计算路径。
研究动机
现有 LLM 的精确算术能力极不稳定：同一模型在计算 $47 \times 36$ 时可能正确，却在邻近的 $89 \times 67$ 上出错；Yuan et al. 2025、Mahendra et al. 2025 的评测都显示多位数乘法正确率会随操作数位数和表面形式发生难以预测的剧烈波动。常用的 GSM8K 等基准把语言理解、多步推理与算术执行搅在一起，难以把失败归因到精确计算环节。CoT 提示与 math 预训练虽然能抬升端到端分数，但并不保证中间步骤本身正确。与此同时，多模态 LLM 越来越多地接触算术任务（截图、扫描作业、语音输入），但当前多模态数学基准（如 MathVista、Math-LLaVA）几乎不隔离"同一算术题跨模态配对"的情形，因此完全无法回答"换一种呈现方式后，准确率下降到底来自感知噪声还是计算不足"。这一缺口在 agent 场景下尤为关键——agent 可能读截图、调用工具、做中间验证，每一步都依赖模型对底层算术结构的完整捕捉而非表层线索。
本文的目标是本文的核心目标是建立一个可控的多模态乘法评测基准，把"算术结构"（位数、非零位数、表面表征）与"呈现模态"（数字文本、渲染图像、音频）这两个变量解耦并系统化地变化。论文具体想回答三个研究问题：(1) 位数和算法负荷（总位数 × 非零位数）如何决定正确率；(2) 当同一道算术题改换模态和表征时，性能会发生多大变化；(3) 模型内部到底倾向哪种算术启发式，这种偏好是否随操作数线索和模态迁移，并能否解释失败模式。作者宣称的核心交付物包括：可复现的配对基准、可解释的难度度量 $C = d_{\text{total}} \times d_{\text{non-zero}}$、强迫续写损失探针的策略"指纹"方法，以及 LoRA 参数子空间正交性的几何证据。
与已有工作不同的是，本文切入角度的独特之处在于"机制层面的可控对照"：作者不只评测正确率，而是把同一道乘法同时生成数字、渲染图像、音频三种形态的 10,000 道配对实例，再用 $C$ 这一简洁标量横跨模态做对比，把之前被多种基准混淆的"感知"和"计算"两层失败切分开来。更进一步，他们把数学认知文献中人类使用的三种乘法启发式（列式 OT、分配分解 DD、凑整补偿 RC）搬到 LLM 上，用纯前向的损失探针和 LoRA 子空间余弦相似度同时验证"模型偏好"与"参数空间是否正交"，给出双重证据。这一点与既往侧重端到端分数的基准（如 GSM8K、MathVista）形成了鲜明对比，也与只测 CoT 效果的工作不同——它把"模型在选哪条计算路径"当作头等研究对象。
核心方法
方法的核心直觉是"把算术题像化学反应一样拆成独立可调的操作数特征"。作者先用一组数字模板（V=1 位、V0=带尾零、VV0、 V0V 等）采样操作数对，覆盖稠密型、稀疏型、零因子型、非相邻型四种结构；然后让生成器对每道题同时生成数字文本、PNG 渲染图、音频三种呈现，建立跨模态一一配对的 10,000 道题集；接下来用 $C = d_{\text{total}} \times d_{\text{non-zero}}$ 这一个标量量化"算术负荷"，并对每个模型-模态组合拟合 Logistic 回归 $P(\text{correct}_i) = \sigma(\beta_0 + \beta_1 \cdot \text{Load}_i)$，从而以单参数方式比较不同模型跨模态的退化曲线。在评估正确率之外，作者设计了"启发式指纹"的第二层探针：构造三组风格匹配的 OT/DD/RC 续写模板，在固定问题上下文中测量模型对每个模板的长度归一化交叉熵 $\ell(h)$，把最低损失模板视为模型最自然的起始推理路径；最后在参数空间层面，给三个启发式各训练一个 LoRA 适配器并计算有效更新 $\Delta W = BA$ 的两两余弦相似度 $\rho \approx 0$，用几何证据验证三种启发式是否对应不同子空间。整条技术路线是"生成对照实验 → 拟合退化曲线 → 前向损失探针 → 参数空间几何"四步连击，每一步都和前一步互为补充。
和已有方法相比，本文最本质的创新有两点。第一，把"算术负荷 $C$"这一单标量横跨文本/图像/音频做 Logistic 回归，得到 $R^2 > 0.5$ 的解释力，并且明确证明"失败主要是计算而非感知"——同样的题在图像下感知检查近乎完美（$>99\%$），但乘法正确率却已大幅下滑，因此多模态退化的锅不在 OCR 或语音转写。第二，把数学认知中的启发式选择问题转写成"损失差探针 + LoRA 子空间余弦相似度"：DD 在 30B 文本下 $\Delta\ell = -0.5060$、在 30B 图像下为 $+0.9156$（仍优于 RC 的 $+1.6518$ 与 OT 的 $+0.9776$），即 DD 在两种模态下都是损失最低的启发式；更引人注目的是，三个启发式 LoRA 的 $\Delta W$ 余弦相似度低至 $0.0412 \sim 0.1247$，远低于同启发式不同种子重训的 $0.1476 \sim 0.2553$，说明模型把三种计算路径编码到了几乎正交的参数子空间中。
方法步骤详情
整个流程的步骤可以拆成五块。第一，**操作数生成**：从 V/VV/VVV/V0/V00/VV0/V0V 七种数字模板出发采样操作数对，$d_{\text{total}}$ 覆盖 2–6 位、$d_{\text{non-zero}}$ 通过稀疏模板可控，形成 $C \in [1, 100]$ 的均匀分布。第二，**跨模态渲染**：每道题生成数字文本（如 "47 × 36"）、相同内容的 PNG 渲染图（同时还做"数字图像"与"字母图像"两个变体，如 "forty-seven times thirty-six"），以及在 GPT-4o-audio-preview 上做音频渲染。第三，**难度建模**：对每个模型-模态组合拟合 Logistic 回归，报告 $\beta_0$（基线）、$\beta_1$（斜率）、$50\%$ C（半数正确负荷阈值）与 $R^2$；$\beta_1$ 越接近 0 表示退化越慢，$50\%$ C 越大表示越稳健。第四，**启发式指纹探针**：构造三组风格匹配的 OT/DD/RC 续写（如 DD = "Decomposition: split one factor into place-value parts […]"），加上中性基线，把长度归一化交叉熵 $\ell(h)$ 报告为相对于中性的 $\Delta\ell$；在 HDS（1000 道专门让某一种启发式最优的题，按 70/15/15 切分）上测量最小损失模板与目标支持率；并加一组对抗陷阱（anti-rounding、缺项陷阱）测试稳健性。第五，**LoRA 几何**：用程序生成的合成推理迹（不含 HDS/陷阱/持出题）分别训练 RC、DD、OT 三个低秩适配器，外加一个 STYLE 控制（只学格式不学算术）；在 HDS 测试集上评估行为翻转与正确率，再用 $\text{sim}(h_1, h_2) = \frac{\Delta W_{h_1} \cdot \Delta W_{h_2}}{\|\Delta W_{h_1}\| \|\Delta W_{h_2}\|}$ 量化两两余弦相似度，并做同启发式不同种子的对照以排除"高维巧合"。
技术新颖性
技术新颖性体现在四个层面。一是基准层面的"配对跨模态": 同一道算术题以三种模态共享, 真正能区分感知 vs. 计算贡献; 既有基准（如 MathVista、OCR-Bench）要么只看多模态端到端分, 要么只看 OCR, 都没有做到这种细粒度配对。二是难度度量的简洁性: $C = d_{\text{total}} \times d_{\text{non-zero}}$ 这一单标量, 在 Logistic 回归下跨模态跨模型都能拿到 $R^2 > 0.5$, 几乎和显式计入 carry 传播的复杂度量等价, 这一"简单-够用"的发现对后续基准设计有方法论意义。三是探针方法的前向性: 强迫续写损失探针无需采样、无需后处理格式, 只需计算 token 级交叉熵, 就能给出"最低损失模板"对应的启发式偏好, 配合 $\Delta\ell$ 即可在 144 道 HDS 题上做大样本统计。四是 LoRA 子空间几何证据: 用同一启发式不同种子重训的余弦相似度作为对照 (30B: $0.2553$ vs. 跨启发式 $0.1055$, 235B: $0.1476$ vs. $0.0447$), 排除"高维巧合"假说, 给出"三种启发式编码在近乎正交子空间"的可重复结论, 这在算术可解释性文献中是首次给出。
实验结果
**核心发现一：算术负荷 C 是跨模态的强预测变量**。对 Qwen3-VL-30B、Gemini 2.5 Flash、Qwen3-VL-235B、GPT-4o、GPT-5.4、Grok 4.20 六大模型 × 5 种模态（数值文本/字母文本/数值图像/字母图像/音频）共 27 组 Logistic 拟合中，绝大多数 $R^2$ 在 $0.5$ 上下, 说明 $C$ 一个标量就能解释一半以上的正确率方差。Qwen3-VL-235B 最稳健, 50% 阈值在数值文本下达到 $C = 74.18$, 字母文本 $74.45$, 数值图像 $75.15$, 字母图像 $74.34$; GPT-5.4 也表现出色, 数值文本 $68.61$、字母文本 $67.93$, 但在字母图像骤降到 $60.60$; Gemini 2.5 Flash 跨模态稳定在 $52 \sim 54$; GPT-4o 略低, 集中在 $51 \sim 53$; Grok 4.20 数值文本能到 $69.94$, 但图像字母降到 $50.84$。**核心发现二：退化主要由计算不足而非感知缺失**。在配对感知检查中, 模型跨模态识别数字正确率均 $>99\%$, 但当 $C$ 增大时乘法正确率接近 0, 因此图像和音频下的失败根源不在 OCR 或 ASR, 而在算术执行本身。**核心发现三：DD 启发式在两种模态下都是损失最低的"自然路径"**。在共享持出 split ($n = 144$) 上, DD 的 $\Delta\ell$ 在 30B 文本为 $-0.5060$ (RC 为 $-0.4441$, OT 为 $-0.4398$), 图像下 DD 也取得最低的 $+0.9156$ (OT $+0.9776$, RC $+1.6518$); 235B 文本 DD $\Delta\ell = +1.4734$ 仍低于 RC $+1.8791$ 与 OT $+2.3409$, 图像下 DD $+1.4594$ 仍是最小。Target support 上, DD 在 30B 文本图像分别占 $27.9\% / 22.3\%$, 235B 占 $15.2\% / 18.7\%$, 都高于 OT (30B: $25.8\%/17.8\%$; 235B: $5.9\%/6.8\%$) 与 RC (30B: $26.5\%/10.5\%$; 235B: $12.4\%/8.8\%$)。**核心发现四：LoRA 子空间几何近乎正交**。30B 的 OT–DD 余弦相似度仅 $0.0726$, DD–RC $0.1192$, OT–RC $0.1247$; 235B 更低, OT–DD $0.0412$, DD–RC $0.0342$, OT–RC $0.0586$。同启发式不同种子重训的对照 (30B: $0.2553$ vs. 跨启发式 $0.1055$, 差距 $0.1498$; 235B: $0.1476$ vs. $0.0447$, 差距 $0.1029$) 排除了"高维随机"的解释。**核心发现五：LoRA 微调反降不升**。在 432 道题 × 3 适配器上, 30B 仅 $1$ 道正确率提升、$113$ 道退化; 235B $4$ 道提升、$117$ 道退化, 错误模式集中在"漏写部分积" (30B 12 例, 235B 8 例), 不存在量级偏差或 carry 遗漏。这说明强行套单一启发式反而破坏了基模型的内部"路由", STYLE 控制适配器（只学格式不算术）也几乎全降, 暗示失败源于"合成迹分布与原生算术路由的冲突"。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态乘法准确率（$\beta_0$: 基线截距） | Logistic 回归截距 $\beta_0$ | Qwen3-VL-235B 数值文本 $\beta_0 = 7.0110$，GPT-5.4 数值文本 $\beta_0 = 11.0759$（最高） | Qwen3-VL-30B 数值文本 $\beta_0 = 5.9834$，Gemini 2.5 Flash $\beta_0 = 6.7901$ | GPT-5.4 相对 Qwen3-VL-30B 基线提升约 85%，体现高参数/精调模型的算术先验优势 |
| 多模态乘法准确率（50% C：半数正确负荷阈值） | 使预测准确率降至 50% 的算术负荷 C | Qwen3-VL-235B 数值文本 $50\% C = 74.18$，GPT-5.4 数值文本 $50\% C = 68.61$ | Qwen3-VL-30B 数值文本 $50\% C = 51.29$，Gemini 2.5 Flash $50\% C = 53.41$ | Qwen3-VL-235B 在 50% 阈值上比 30B 高约 45%，比 GPT-4o 高约 40% |
| 多模态乘法退化曲线斜率 | Logistic 回归斜率 $\beta_1$ | Qwen3-VL-235B 数值文本 $\beta_1 = -0.0945$（最平缓） | Qwen3-VL-30B 数值文本 $\beta_1 = -0.1167$，GPT-5.4 $\beta_1 = -0.1614$（最陡） | Qwen3-VL-235B 退化速度比 30B 慢约 19%，但 GPT-5.4 凭借极高截距仍可达高阈值 |
| 拟合优度 | $R^2$ (C 单变量解释力) | GPT-5.4 字母文本 $R^2 = 0.6565$，GPT-4o 字母文本 $R^2 = 0.6883$（最高） | Qwen3-VL-235B 数值图像 $R^2 = 0.3451$（最低） | 多数模型-模态组合 $R^2 > 0.5$，说明 C 作为单标量已足够解释大部分方差 |
| 启发式偏好（DD 损失优势） | $\Delta\ell_{DD}$ (相对中性基线, 越负越偏好) | Qwen3-VL-30B 文本 $\Delta\ell_{DD} = -0.5060$（唯一负值, 30B 文本下 DD 显著最优） | 同条件下 RC $\Delta\ell = -0.4441$, OT $\Delta\ell = -0.4398$ | DD 在两种模态下都是最低损失模板, 235B 上 DD vs. OT 的差距达 $0.81$ nats |
| LoRA 子空间正交性 | $\cos(\Delta W_{OT}, \Delta W_{DD})$ | Qwen3-VL-30B OT–DD = $0.0726$, Qwen3-VL-235B OT–DD = $0.0412$（极低） | 同启发式不同种子重训：30B 平均 $0.2553$, 235B 平均 $0.1476$ | 跨启发式余弦相似度比同启发式低 $0.10 \sim 0.15$, 表明子空间几何分离真实存在 |
局限与改进
作者在 Limitations 节坦诚了四点局限。其一，任务范围过窄：仅做整数乘法，未涵盖加法、除法、符号代数或多步应用题，加法和分配律是分配分解启发式（DD）的核心，其他运算的失败模式可能完全不同。其二，模型覆盖有限：跨模态准确率分析虽然跨了 6 个模型家族，但 token 级指纹和 LoRA 子空间实验只在 Qwen3-VL-30B 和 235B 上做，结论是否可推广到 Gemini、GPT 系列仍是开放问题。其三，操作数分布依赖合成数字模板：现实数学问题中很少有大量尾零或纯字母数字拼写，$C$ 标量虽然简洁但可能错配真实分布；作者承认 forced-preamble 测的是"与启发式续写的兼容性"，而非对内部算法的直接读出。其四，多模态条件只覆盖受控渲染：未涉及扫描文档、手写公式、电子表格截图、tool-augmented agent 等真实杂乱输入，因此"感知 vs. 计算"分离的结论在干净渲染下成立，但真实场景的感知噪声（模糊、低分辨率、ASR 错误）可能进一步放大失败。我们自己的观察还有几条：(a) Gemini 3.1 Pro 在原 $C \in [1, 100]$ 范围内全对, 必须扩到 $C \in [1, 400]$ 才能看到 $C \approx 360$ 退化, 这说明大模型在中等负荷下确实"看似"完美, 但当 $C$ 远超 100 时崩溃速度可能比小模型更陡（缺乏此区间的小模型对照数据）；(b) DD 偏好的发现建立在 $\Delta\ell$ 上, 但 $\Delta\ell$ 在 235B 上全部为正（绝对损失仍高于中性基线）, 解释时需注意"DD 在三个候选中最自然"和"DD 整体上算得通"不是同一件事；(c) LoRA 反降不升的结论虽然有 STYLE 控制做支撑, 但训练语料仅约 1000 道合成迹, 没有检验扩大训练规模是否会让某个启发式真正"学会", 因此"基模型路由更优"的强结论还需谨慎。
独立分析的弱点
**弱点一：$C$ 标量在稀疏操作数上失真**。$C = d_{\text{total}} \times d_{\text{non-zero}}$ 对 $47 \times 36$ 这种稠密两位数给 16, 对 $470 \times 360$ 这种稀疏两位数也只给 16, 但后者可通过 DD 把乘法化为 $47 \times 36$ 后再补零, 真实计算量小一个数量级。改进方向是引入"实际非零数对乘积数" $s \times t$ 作为补充维度, 或者改用论文附录 B 中提到的 carry-aware 度量作为稳健性对照。**弱点二：强迫续写探针的"中性基线"未必中性**。中性模板写作 "Let me solve this multiplication problem step by step [...]", 它自身已经隐含 CoT 风格, $\Delta\ell$ 的正负会受 CoT 续写匹配度的影响, 因此 DD 的负 $\Delta\ell$ 可能部分反映"DD 模板比中性更接近模型偏好的 CoT 模式", 而非纯粹的算法选择信号。改进方向是加多种风格的中性基线（不同提示策略、不同长度）并报告 $\Delta\ell$ 对基线选择的敏感性。**弱点三：DD 偏好被样本边界污染**。HDS 的 1000 道题是"专门让某一种启发式最优"的题, 但分析中报告的 target support 是在 resolved probes 上的归一化值, 并不等于"模型全局选 DD 的频率"。当某道 DD 目标题同时也对 RC 友好时, target support 就会偏向 RC, 因此 235B 上 DD 仅 $15.2\%$ 并不一定说明 DD 不被偏好, 而可能说明 HDS 设计中 DD 目标题更难"唯一最优"。改进方向是构造更纯净的 HDS 子集, 或在更广的随机题上跑无监督聚类。**弱点四：LoRA 子空间实验仅 2 个模型**。OT/DD/RC 近乎正交的现象仅在 Qwen3-VL 两个尺寸上验证, 是否在 GPT、Gemini 系列同样成立尚无数据。改进方向是对至少一个闭源模型用激活微调或 prompt tuning 做类似的子空间探测, 或者用字典学习 (sparse autoencoder) 显式提取启发式相关特征。**弱点五：未测 agent / tool-augmented 设置**。现实场景中 MLLM 往往配合外部计算器或代码解释器, 本文完全跳过了这一层, 因此"内部计算路由优"的结论是否在工具增强下仍然成立是未知数。
未来方向
**方向一：扩展算术运算谱**。把基准推广到加法链、长除法、小数乘法、模运算, 测试 DD/RC 启发式在加法上的镜像版本（分解为 $a \times n + b$ 或凑整取整）是否能复现本文结论。**方向二：真实文档多模态**。把渲染图换成扫描件、手写公式、Excel 截图、含噪点截图, 用同样的 $C$ 标量拟合 Logistic 回归, 看感知噪声会怎样"叠加"到已经存在的计算退化曲线上。**方向三：训练-探针闭环**。本文只做了"用合成迹训练 LoRA 然后探针评估", 没有反向"用探针定位关键参数后微调"。未来可以尝试 (a) 通过激活 patching 把 DD 偏好激活强制到 RC 题上, 看是否能提升 RC 题正确率; (b) 用稀疏自编码器提取 DD/RC/OT 特征, 再做定向编辑。**方向四：跨模型子空间比较**。对 GPT-5.4、Gemini 3.1 Pro 也开放 token 损失访问, 在更多模型上重复 LoRA 子空间实验, 验证"三种启发式近乎正交"是否是 MLLM 的普遍规律。**方向五：agent 集成**。在 function-calling 框架下, 让 MLLM 自己决定"内部算"还是"调工具算", 量化 $C$ 阈值与"是否调用工具"决策点的关系。**方向六：可验证的算术安全防护**。作者在 Risks 段落提到, 同样的强迫续写损失和 LoRA 技术可被用来系统性探测和利用算术失败模式, 因此后续工作应设计对抗性评测与可验证的算术防护 (例如形式化验证中间步骤)。
复现评估
**数据开源情况**：作者在 Hugging Face 上开源了基准数据集 (cjerzak/MultimodalMathBenchmarks), 包含文本、图像、音频三种模态的同一乘法配对实例, 以及 HDS 与对抗陷阱子集。代码层面, 论文使用了 Tinker API 默认 LoRA 超参数, 但并未公布训练脚本的完整细节。**算力需求**：跨模态准确率分析涉及 6 个模型家族的 API 调用, 估算每次全量评测需 6 × 5 模态 × 10,000 题 = 30 万次生成, 调用成本较高; LoRA 微调在 Qwen3-VL-30B/235B 上每模型 3 个适配器 + 1 个 STYLE 控制, 用 Tinker API 默认值, 单卡 A100/H100 集群应可在数小时到一天内完成, 但 235B (MoE 235B 总参 / 22B 激活) 需要较大的 GPU 显存 (≥80GB)。**复现难度**：中等偏难。基准生成部分明确可复现, 但跨模态准确率结果依赖具体 API 版本 (GPT-5.4、 Gemini 2.5 Flash 等可能随时间变化), LoRA 探针部分受随机种子影响, 同启发式不同种子的对照是必要步骤。**对初学者友好度**：强迫续写探针本身只需 PyTorch + transformers 加几行交叉熵计算, 复现门槛低; 但"如何构造风格匹配的模板库"需要一定的 prompt engineering 经验, 文中 C.1 给出的代表性模板可作起点。
论文图表
以 $47 \times 36$ 为例, 对比正确续写 $40 \times 36 + 7 \times 36 = 1440 + 252$ 与形式完全匹配但错误的续写 $40 \times 36 + 7 \times 36 = 1440 + 262$, 测量两者的强迫续写损失差异。
这张表展示'对比步骤探针'的设计原理——通过同形式正确 vs. 错误步骤的损失差, 验证模型是否能区分对错步骤, 是排除'风格匹配'假说的关键控制。