鲁棒推理基准（RRB）：用 13 种确定性文本扰动揭示 LLM 数学推理的结构脆弱性

对 AIME 题目施加 13 种纯结构扰动，证实开权重推理模型平均准确率掉 54%。

前置知识

链式思考 (Chain-of-Thought, CoT)

让 LLM 在给出最终答案前先输出一段逐步推理的中间步骤，从而在算术/逻辑/常识任务上获得显著增益。代表论文 Wei et al. 2022 提出的「Let’s think step by step」范式，已成为 AIME、MATH 等高难度数学评测的事实标准提示模板。

RRB 把同一道题用 13 种方式重写后仍以 CoT 提示模型，并叠加 '先解码再求解' 的双重轨迹，直接暴露出 CoT 在结构噪声下并不鲁棒。

字节对编码 (Byte-Pair Encoding, BPE) 分词

BPE 是现代 LLM 用的高频子词切分算法，例如 'reasoning' 被切成 'reason' + 'ing'。孤立的字符或反序字符串往往被切得更细、共享更少语义先验，正是 Rail Fence、Symbol Reversal 扰动的打击点。

Qwen3/DSR1 在 Interleave-Symbol 与 Rail Fence 上掉到 0% 准确率，本质是 BPE 边界被破坏后 token 失去语义连贯性，模型无法重构因果链。

注意力汇点现象 (Attention Sink)

自回归 Transformer 中初始几个 token（通常是 system prompt）会不成比例地吸收后续 token 的注意力概率，即使语义上并不重要。Xiao et al. 2023 首次系统描述。

它是 intra-query 注意力稀释的共犯机制：模型在中间层把本该用于当前步的注意力倾倒到无关上下文，把有用信号从 Target 区挤走。

零样本采样与温度解码

零样本意味着不给示例直接生成；论文闭源每题采样 8 条、开权重 16 条，扰动实验温度 0.7/top_p 1.0/max_tokens 32K，Sequential 实验用 0.6/0.95/128K。

任何关于 '平均 54% 准确率下降' 的结论都必须放在该解码配置下解读，否则不同温度/采样数的对比就会失效。

研究动机

尽管 GPT-5.4、Gemini 3.1 Pro、Claude 4.6 Opus 等前沿模型在 AIME 2024 与 AIME 2025 上接近饱和（闭源模型基线 95% 以上），越来越多的研究开始怀疑这种高分并非来自真正稳健的逻辑推理，而可能是对训练数据中标准文本格式的概率模式匹配。已有两类主流对抗评测尝试打破这种错觉：一类是用 LLM 改写数值来检测算术泛化（如 [39, 47, 56]），但数值变了之后到底是逻辑崩还是算术崩无从判断；另一类是引入噪声/更复杂逻辑来提高难度（如 [2, 19, 44]），却无法区分「缺乏鲁棒性」与「超出模型能力上限」；更糟的是，有些 benchmark 本身就是用 LLM 生成扰动，引入非确定性噪声与潜在的有效性错误。这三条路线都把数学问题本身的「数学约束」与「文本呈现形式」搅在一起，无法纯粹测出结构鲁棒性。

本文的目标是本文要构建一个完全确定性、完全可逆、且不改变数学难度与最终答案的评测框架 RRB：把 AIME 2024/2025 的题目套上 13 种结构性变换，在显式给出解码规则的前提下测 8 个 SOTA 模型（5 个开权重 + 3 个闭源 API），从而把「能否解码结构噪声」与「能否完成数学推理」两个能力解耦。最终目标是把准确率下降幅度、失败模式（拒绝、认知震荡、tokenization 崩溃、注意力稀释）以及每条轨迹的 token 消耗同时暴露出来，并定位「为什么开权重模型系统性脆弱」。

与已有工作不同的是，作者选择了一条极不寻常的切口——既不改数值也不改语义，只改文本的「形状」与「顺序」。所有扰动都是可由人手拿纸笔配合一段 Python 即可还原的纯字符串变换，模型同时被显式告知解码规则。这样一来，若模型依然失败，原因不可能是「数学变难」，只能是「模型无法在自身 CoT 中保持对结构化提示的稳定处理」。更进一步，作者还设计了 Sequential Cognitive Overload 协议：让模型在同一个 context 里连续解 1、2、3、4 道独立的 AIME 题，只衡量最后一题的准确率，从而剥离结构噪声后纯测「先验 CoT 是否污染了后续推理」。这套方法第一次干净地把「intra-query attention dilution」这一结构性瓶颈暴露在 Em-pirical 实验中。

核心方法

直觉上可以把方法想成两层「压力测试」：表层用 13 种纯结构变换去敲打 LLM 的文本解码与 CoT 调度，迫使被改造后的 token 序列在保持逻辑等价的同时把 BPE 边界、阅读顺序、空间映射全部打乱；底层用「单 query 多题」的协议让模型在没有结构干扰的前提下也失败，从而证明问题不在「题目难」，而在「推理轨迹会被自己的 CoT 污染」。技术路线上分四条线：(1) 对 AIME 2024 与 AIME 2025 套一层预清洗（剥 LaTeX 注释、把换行换成 '; '、在 \n/\t/\b/\r/\a/\f 前插入空格以中和反转后产生的控制字符）；(2) 设计与实现 13 种扰动（语义/词法、上下文过载、句法反序、视觉空间编码）；(3) 用同一份 CoT prompt + 一份显式解码协议让模型先还原再求解，评分用 math_verify 严格检查 \boxed{}；(4) 在 Sequential Cognitive Overload 中额外记录注意力分布，按 System/Distractor/Target 三段量化每一层的注意力概率质量。

与已有工作的本质区别在于「既严格又显式」：不是靠 LLM 改写获得扰动（因此不引入额外随机性），也不是改数值/逻辑（因此保持数学难度不变），更不是黑盒测准确率（因此配套把机制层注意力可视化，做因果式诊断）。换句话说，传统对抗 benchmark 给「错误率曲线」，RRB 给「错误率曲线 + 失败模式分类 + 机制级注意力分布」。这使得同一个评测既能量化鲁棒性差距（GPT-5.4 仅 3%、闭源平均 6%、开权重平均 54%），又能解释脆弱根因（中间层注意力持续 10%–16.5% 漏到 Distractor 区，System 汇点再吸走 21.8%–32.9%）。

方法步骤详情

六步流程。(1) 预处理：LaTeX 注释剥离、换行替 '; '、在 \n/\t/\b 前插空格中和反转后控制字符；baseline 也走同一管道保证难度恒定。(2) 13 种扰动：Not Not 加双重否定；Opposites/Wrappers 用 defyn 给映射；Interleave L/W/S 两题行/词/符号交错；Sentence/Word/Symbol Reversal 反序；视觉编码用 '.' 对齐二维网格。(3) 提示协议：固定 CoT 系统提示，每扰动附 '1. 反向变换 2. 求解' 协议。(4) 解码超参：扰动 0.7/1.0/32K；Sequential 0.6/0.95/128K。(5) 评分：math_verify 抽 \boxed{} 比对，max token 即失败。(6) 机制诊断：Qwen3-30B-A3B 与 Nemotron-7B/32B 跑 3 干扰 + 1 目标题，按 $\bar{\mu}^{(l)}_R = \frac{1}{H\cdot T}\sum_{h,t}\mu^{(l,h)}_R(t)$ 量化每层 attention。

技术新颖性

技术新颖性体现在三个交叉维度。第一是「确定+显式+可逆」三元约束：每条扰动都用 Python 验证过反向脚本，确保 original state 可被精准还原；这是与传统对抗 benchmark 的根本区别——后者只能给「最终分布」，而本文可给「对抗前后差异的归因」。第二是「数学难度恒定 + 文字结构可变」的解耦：Interleave-Symbol 让两题字符级交错、Rail Fence 把整题折成 zigzag 网格，人类读者 1 分钟内即可复原，但 Qwen3/DSR1 在这些条件下掉到 0%，证明其推理链对 BPE 边界有不可恢复的依赖。第三是「intra-query attention dilution」概念及其机制证据：Figure 5 显示 Target 注意力从浅层 100% 衰退到中深层 50.6%–65.3%，Distractor 区恒占 10.4%–16.5%，System 汇点占 21.8%–32.9%，由此推出「CoT 内部必须嵌入上下文重置」的架构结论，与 Google AntiGravity 泄露的痕迹相互印证。

**Figure 2**: Examples of the 13 structural transformations applied to a sample mathematical query

**Figure 7**: Agent Context Leaks (1/3): Example of the task_boundary mechanism observed in AntiGravity

**Figure 8**: Agent Context Leaks (2/3): Observed internal reasoning steps

实验结果

核心发现：稳健鸿沟 + 三种失败模式 + 一个机制证据。（1）Robustness Gap（图 4）：GPT-5.4 -3%、Gemini -8%；Claude Opus 4.6 -52% 因 safety filter 拒答（推理未崩）；5 个开权重平均 -43%–-54%，Nemotron-7B -53%、Qwen3 -47%，基线 75%–89%。（2）失败：a) Overrefusal（仅 Claude）；b) Cognitive Thrashing（图 6：Nemotron-7B Rectangle 27K 准 0%、Qwen Snake-V 13K 准 1%）；c) Tokenization Breakdown（Qwen3/DSR1 Interleave-Symbol 与 Rail Fence 掉 0%）。（3）Sequ（图 1）：Qwen3 89%→~10%、DSR1-70B 77%→11%，闭源稳。（4）机制（图 5）：中深层漏 10.4%–16.5% 到 Distractor、System 吸 21.8%–32.9%、Target 仅 50.6%–65.3%。

**Figure 1**: Intra-Query Attention Dilution

**Figure 3**: Achieved Accuracy on the AIME 2024/2025 benchmarks modified with 13 structural perturbations

**Figure 4**: Average Accuracy Drop across all models and 13 structural perturbations for AIME 2024/2025

**Figure 5**: Attention Dilution Across Layers

**Figure 6**: Reasoning Efficiency: Average output token length by task

查看结构化数据

任务	指标	本文	基线	提升
RRB 整体（13 扰动平均）— AIME 2024+2025	平均准确率下降 (pp)	GPT-5.4 -3 / Gemini 3.1 Pro -8 / Claude Opus 4.6 -52 / GPT-OSS-120B -33 / DSR1-Llama-70B -45 / Nemotron-32B -43 / Qwen3-30B-A3B -47 / Nemotron-7B -54	同模型在 baseline（无扰动）AIME 上的准确率：GPT-5.4 99–100 / Gemini 98 / Opus 98 / GPT-OSS-120B 78–89 / Qwen3 89 / Nemotron-32B 82 / DSR1-70B 77 / Nemotron-7B 75	首次量化 'robustness gap'：闭源平均 -21pp，开权重平均 -45pp，差距 ~24pp
Sequential Cognitive Overload（同一 query 解 4 题，仅评最后一题）	最后一题准确率 (%)	GPT-5.4 高位保持 / Gemini 高位保持 / Qwen3 89→~10 / DSR1-70B 77→11 / Nemotron-7B 大幅下滑	仅解 1 题时的 baseline：Qwen3 89 / DSR1-70B 77 / Nemotron-7B 75	开权重模型在 4 题规模下降 60-70 pp；闭源 API 在 4 题规模仍稳定
Rail Fence Cipher（视觉编码，结构最难）	AIME 2024 准确率 (%)	Qwen3-30B-A3B ≈0 / DSR1-Llama-70B ≈0	Qwen3 baseline 89 / DSR1-70B baseline 77	失败率 100%（完全无法还原 zigzag 网格），远高于 Snake-H 上 Gemini 99% / Qwen 16%
Rectangular Perimeter（视觉编码）	平均输出 token / 准确率 (%)	Nemotron-7B 27K tokens / 0% 准确率；Qwen 13K tokens / 1% 准确率	Nemotron-7B baseline 平均 <2K tokens / 75% 准确	token 膨胀 ~10× 但准确率接近 0，定量刻画 Cognitive Thrashing 失败模式
Interleave-Symbol（符号级交错）	AIME 2024 准确率 (%)	Qwen3/DSR1 降至 0%；GPT-OSS-120B 跌至 11%；Gemini 保持 80%	AIME 2024 baseline：Qwen3 89 / DSR1-70B 77 / GPT-OSS-120B 78 / Gemini 98	BPE 边界彻底破坏造成开权重模型完全失效；Gemini 仅 -18pp 仍可工作

局限与改进

作者明确指出本研究只评估了「竞赛级数学」一个领域，是否能泛化到法律、医疗、代码等高风险推理任务尚未验证。此外还有几项边界值得读者注意。第一，Sequential Cognitive Overload 在闭源模型上只采样了 baseline 与 4 题两组数据，缺少 2、3 题两档的曲线细节，「注意力稀释是否随长度线性恶化」无法定量判断。第二，所有机制层注意力诊断仅在 4 个开权重模型上跑，明确排除了 DSR1-70B 与 gpt-oss-120b，理由是这两模型在硬件上跑不下 attention extraction——但这两模型恰恰是 Sequential Overload 中退化最严重的，「intra-query 注意力稀释」能否真正解释 70B+ 模型崩溃仍是悬案。第三，Claude 的 52% drop 被归因为 safety 拒答，但缺少可复现的「拒答与真实推理失败」分类协议，只能靠半透明色块视觉估计，量化精度有限。第四，sample 数（闭源 240、开权重 480）相对偏小，对 0% vs 5% 这类细粒度差距的统计显著性需 bootstrap CI 才能严格解读。

独立分析的弱点

独立审视三类弱点。(i) **覆盖面偏窄**：仅 AIME 2024/2025，未套到 GSM8K/MATH/TheoremQA/LegalBench；开源 toolchain 可让社区 30 分钟转任意 LaTeX 数据集为 RRB。(ii) **注意力诊断排除大模型**：因显存无法对 DSR1-70B 与 gpt-oss-120b 跑 attention extraction，恰是退化最严重的两个；vLLM chunked prefill + FlashAttention captured attention 可在 4×H100 上分块 dump。(iii) **拒绝/失败/截断的混淆**：缺四类细分，可引入 logprob-aware classifier 或 refusal-string 正则打四元标签。此外 RRB 未给出「原子推理容量」经验值，可设计 6/8/10 题序列测量 frontier atomic chunk size 上限。

未来方向

作者在 §6 与 Appendix A.4 已勾画三条主轴。(a) **架构级方案**：在 CoT 中嵌入 '' 标记或 context-reset token，强制每个 sub-task 后重置 KV cache 或切换到 fresh attention window；需端到端对照实验证明该机制能把 intra-query dilution 至少降一半。(b) **跨域泛化**：把 RRB 套到代码（HumanEval/MBPP）、医学（MedQA）、形式化定理证明（Lean/miniF2F），验证「注意力稀释」是否非数学特有，并比较不同领域 atomic chunk size 差异。(c) **机制可解释性深化**：把 Isys/Idist/Itgt 分析推广到「每一道已解题目」分配；用 attention knockout 或 ablation hook 验证「若把 Distractor 区 attention 强制屏蔽，Qwen3 4 题准确率回升多少」。(d) **RLHF 接入**：将 RRB 直接接入训练循环作为「强格式不变性奖励」信号。

复现评估

复现门槛中等。代码与扰动规则将公开，vLLM 0.13.0 + PyTorch 2.9.0 + 4×H100 (128GB CPU RAM) 的硬件栈清晰；AIME 2024/2025 数据集本身开源。采样策略完全给出：开权重 16 条/题、闭源 8 条/题，温度与 top_p 按实验类别区分，max_tokens 32K/128K 已写明。复现难点：(1) 闭源三巨头 API 的 max-reasoning-effort 参数在不同账户下行为可能不一致，且 'xhigh reasoning effort'/'adaptive thinking' 在 2026 年 3 月后是否还开放需验证；(2) Sequential Cognitive Overload 在闭源上仅跑 baseline 与 4 题两组，要复现完整 1→4 题曲线需二次申请高额算力预算；(3) 注意力诊断需从 vLLM 0.13.0 内部取 attention map，0.13 之后该接口可能重构。建议 4×H100 跑完整 2400 条采样预算估计 5–8 GPU-day，可重放 Figure 3/4 全部数字。

鲁棒推理基准（RRB）：用 13 种确定性文本扰动揭示 LLM 数学推理的结构脆弱性 Robust Reasoning Benchmark