模型能力主导：AIMO 3 竞赛中推理时优化的经验教训 Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3
在数学竞赛中，模型本身的能力差距远超任何提示工程优化
前置知识
多数投票 / 自一致性
对同一问题进行 N 次独立推理，按多数票选出最终答案的方法。理论上若每次正确率 p > 0.5 且错误独立，多数票会随 N 增大而趋近正确（Condorcet 陪审团定理）。
本文所有实验都建立在多数投票基础上，作者正是想通过提示多样性来降低多次尝试之间的错误相关性，从而提升投票效果。
有效样本量 Neff
在存在相关性的情况下，N 次投票的统计效果折算为独立样本的等效数量，公式为 $N_{eff} = N / (1 + (N-1)\rho)$，其中 $\rho$ 是两两错误相关性。
这是论文的核心理论工具。例如 N=8、ρ=0.3 时 Neff≈2.6，意味着 8 次投票仅相当于 2.6 次独立投票的统计强度，提示多样性正是想降低 ρ 来扩大 Neff。
MoE（混合专家）模型
模型由多个专家子网络组成，每次推理仅激活其中一小部分。gpt-oss-120b 总参 116.8B，但每次只激活 5.1B 参数，因此能在单卡 H100 上运行。
本文主实验模型 gpt-oss-120b 是 MoE 架构，理解这一点才能解释为什么能用 5.1B 激活参数支撑起 116.8B 总参数的推理能力。
FP8 / NVFP4 量化
将模型权重和 KV cache 量化到 8 位或 4 位浮点数，以牺牲少量精度换取显存和速度提升。gpt-oss-120b 用 FP8，Nemotron-Super-120B 用 NVFP4。
本文对比不同量化方案下的模型表现，并通过 HMMT Feb25 基准（NVFP4 95.4% vs BF16 94.7%）论证量化不是性能瓶颈。
温度采样 T
控制采样随机性的超参数。T=0 为贪婪解码，T=1.0 为标准采样，T 越大输出越多样。论文显示 T=1.0 已是多数投票的最优温度。
温度提供的随机多样性已经能在相当程度上解耦错误（pairwise ρ 已接近 0），这是论文否定提示多样性的关键证据。
研究动机
多数投票（self-consistency）是数学竞赛推理的事实标准方法，但其前提是各次推理的错误相互独立。当用同一模型、同一提示词推理时，相同系统性的错误会反复出现，导致有效样本量大幅缩水。在 AIMO 3 这样的高难度数学竞赛（50 道 IMO 级难题）中，作者用矩估计实测发现 N=8、$\hat{\rho} \approx -0.12$，高 T 采样时 Neff 已接近 N=8；但若 ρ=0.3（业界常引用的相关性假设），Neff 仅约 2.6，意味着 8 次投票仅相当于 2.6 次独立投票的统计强度，仅靠堆投票数很难突破性能上限。因此社区长期期待通过 prompt 多样性来降低 ρ。
本文的目标是作者设计了「Diverse Prompt Mixer」方案：把 4 种不同推理策略（Original 逐步探索验证、Small Cases First 枚举小情形猜想、Work Backwards 倒推、Classify Then Solve 先分类后求解）按不同比例混合分配给 N=8 个投票者，期望通过降低两两错误相关性 ρ 来提升多数投票分数。具体目标是在 AIMO 3 公开 LB 上把单次推理 39.3 分的 baseline 至少稳定提升到 40+，并用 21-run baseline 的 σ=1.7 做统计显著性检验。
与已有工作不同的是，前人工作普遍认为提示多样性是改善多数投票的关键手段（如 Self-Consistency 论文建议 sample diverse prompts），但从未有人在 AIMO 3 这种 IMO 级难度、单卡 5 小时硬约束的实战环境中系统验证。本文首次在严苛算力预算下、用 23+ 次对照实验、跨 4 个模型家族（gpt-oss-120b、gpt-oss-20b、Qwen3.5-35B-A3B、Nemotron-Super-120B）定量比较了「模型能力」与「提示优化」的天花板差距，发现 8 分的能力差距是 ±2 分提示效应的 4 倍，从而得出与直觉相反的负结果。
核心方法
作者构建了一套部署在单卡 H100 80GB 上的完整竞赛推理系统：以 gpt-oss-120b（MoE，116.8B 总参/5.1B 激活参，FP8 量化）为基模型，用 vLLM 服务，5 阶段推理流水线：预算分配 → N=8 并行采样（不同随机种子、T=1.0）→ 工具集成推理（Python 代码沙箱）→ 早停（4/8 同意则取消剩余）→ 熵加权投票。其上叠加的「Diverse Prompt Mixer」是真正的方法学创新：4 种策略（Original / Small Cases First / Work Backwards / Classify Then Solve）按不同配比分配给 N 个投票席位。
核心创新是把多数投票的瓶颈从「采样次数 N」转向「错误相关性 ρ 与单次准确率 $\bar{p}$ 的共同作用」。通过在 4 种互补的系统提示之间做对照实验（Baseline 8+0+0+0、Conservative 5+1+1+1、Aggressive 3+2+2+1、Equal 2+2+2+2、单策略 8×Small/8×Back/8×Classify/8×Code-first），定量检验「降低 ρ」的收益能否超过「降低 $\bar{p}$」的损失。这与传统做法「多样性一定能提高投票」形成鲜明对照，本质上把 diversity 设计成一个受控变量而非默认假设。
方法步骤详情
完整方法分三层。底层：单 H100 80GB + vLLM + FP8 量化部署 gpt-oss-120b，预算系统把 17100 秒均分给 50 题，剩余 <30 秒硬截止。第二层：每题启动 N=8 并发推理线程（不同 seed、T=1.0），可用 标签在 Jupyter 沙箱执行 sympy/numpy/mpmath，4/8 一致则早停，最终用 $w = 1 + 1/(\text{entropy} + 0.1)$ 熵加权投票。第三层（关键）：Diverse Prompt Mixer 把 4 套不同 system prompt（Original/小情形先列/倒推/分类先识别）按 Baseline 8+0+0+0、Conservative 5+1+1+1、Aggressive 3+2+2+1、Equal 2+2+2+2、单策略 8×0+8+0+0 等 7 种配置分配给 N=8 个 voter，比较各自 LB 分数。
技术新颖性
本文的新颖性不在于新算法，而在于「系统化证伪」。作者用方法矩估计 $\hat{\rho} = [v_c(v_c-1)/[N(N-1)] - \hat{p}^2] / [\hat{p}(1-\hat{p})]$ 在 4 个模型、19 个问题点上计算两两错误相关性，发现所有点都 $\hat{\rho}<0$（N≥7 时均值 -0.122），即高 T 采样已自动解耦，提示多样性没有可挖掘的相关性余量。这种「量化反例 + 跨模型验证」的负结果研究方法，比单纯报告某次实验失败更有说服力。
实验结果
核心发现是负面的：所有 23+ 次提示级干预在 gpt-oss-120b 上都未稳定超过 39.3 分的 21-run 基线均值（σ=1.7）。具体地，Conservative mix 40（+0.7）、Aggressive mix 40（+0.7）、Equal mix 38（-1.3），单策略 8×Small 37、8×Back 39、8×Classify 36、8×Code-first 首跑 41 但两次复现 38/34（三跑均 37.7）。温度消融 T=0.5→38、T=0.8→40、T=1.0→39.3、T=1.2→37，T=1.0 最优。跨模型对比揭示能力主导：N=8 时 gpt-oss-120b 39.3 vs gpt-oss-20b 31.0，8 分差距是 ±2 分提示效应的 4 倍；gpt-oss-20b 在 N=32 时因单次时间被压缩、$\bar{p}$ 从 0.61 跌到 0.52，分数反降至 26。Host 公布 pass@20≈45.5、pass@100≈49/50，多数投票 42 与 pass@20 的 3.5 分差距被归为「选择损失」。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIMO 3 Leaderboard（gpt-oss-120b, N=8, T=1.0） | LB Score / 50 | 39.3（21-run mean），best run 42 | 无（自基线） | 21 次独立运行 σ=1.7，最高 42/50，最低 34/50 |
| 提示多样性 Mixer（gpt-oss-120b） | LB Score / 50 | Conservative 40、Aggressive 40、Equal 38 | Original baseline 39.3 | ±0.7 到 -1.3，未稳定超过基线 |
| 温度消融（gpt-oss-120b） | LB Score / 50 | T=0.5: 38，T=0.8: 40，T=1.0: 39.3，T=1.2 min_p=0.03: 37 | T=1.0 (21-run mean 39.3) | T=1.0 已是单调最优 |
| 跨模型能力对比（AIMO 3 LB） | LB Score / 50 | gpt-oss-20b N=8: 31.0（runs 35,28,30），N=32: 26；Nemotron-Super-120B N=3: 23；Qwen3.5-35B-A3B N=16: 23 | gpt-oss-120b N=8: 39.3 | 能力差距 8 分，是提示优化幅度（±2）的 4× |
| Qwen3.5-35B-A3B 8 组消融 | Local Score / 10 | Long prompts 7、N=16 short 8、Entropy voting 8、top_k=20 7、thinking mode crash、presence_penalty crash | Baseline 8/10 | 无任何干预稳定超过基线，2 次 crash |
| AIMO 3 pass@k 上限（host 公布） | pass@20, pass@100 / 50 | pass@20 ≈ 45.5（95% CI [43,48]），pass@100 ≈ 49/50 | 多数投票最佳 42/50 | 差距 3.5 分，被作者归为「选择损失」 |
局限与改进
作者明确承认以下局限：（1）实验仅在 AIMO 3 一项竞赛 50 道题上验证，外推性有限；（2）Nemotron-Super-120B 的 23/50 表现被 N=3 vs N=8 的算力预算差异所混淆，并非公平的能力对比；（3）Qwen3.5-35B-A3B 的 0.6× 激活参数也是混杂因素。我自己的观察：（4）所有 19 个 ρ 估计点中 11 个是 N=3 的「数学最小值 -0.5」，对 ρ 量级几乎没有信息量，N≥7 的有效点仅 7 个，结论的统计强度有限；（5）作者在 T=1.0 时得出 ρ<0 的结论，理论上也可能是 T=1.0 已经让模型接近「随机乱猜」，与真正的解耦并不等价；（6）host 的 pass@k 数据是 post-hoc 公布，未在同一推理环境复现，pass@20 的 95% CI [43,48] 区间已与多数投票最佳 42 部分重叠；（7）没有测试 verifier-based selector 这一被作者本人指出的关键开放问题，论文标题的「Dominates」结论留有口实。
独立分析的弱点
本文方法的可改进之处集中在三点。第一，19 个 ρ 估计中 11 个是 N=3 时的 -0.5 数学下界，对 ρ 量级几乎没有信息量；改进方向是在 N≥16 的更多模型上重做矩估计，或改用 bootstrap 配对差异检验。第二，Qwen3.5-35B-A3B 实验中两次 crash（thinking mode 和 presence_penalty）说明 Qwen 团队推荐的参数与竞赛实战不兼容，作者没有进一步诊断；改进方向是分阶段排查 Qwen chat template、special token、system prompt 解析问题。第三，作者把 4 个模型的对比都归到「能力差距」标签下，但 Nemotron-Super-120B 用 N=3（受 5 小时算力约束），不是公平的 head-to-head 比较；改进方向是在条件允许时把 N 固定一致，或者用 pass@N 标准化后比较。
未来方向
作者明确指出的未来方向是 verifier-based selector：用代码执行与题目约束一致性检查、形式化代入、跨候选一致性等无监督信号，区分正确与错误答案，捕获多数投票 42 与 pass@20 45.5 之间的 3.5 分选择损失。基于论文成果可延伸的方向还包括：（1）把 Diverse Prompt Mixer 的负结论推广到 code generation、theorem proving 等其他推理任务，检验其普适性；（2）研究 N≥32 时的 early stopping 阈值，发现 gpt-oss-20b 在 N=32 时 p̄ 反而下降，提示算力预算应在「更多投票」与「更深推理」之间重新平衡；（3）探索「模型能力先于多样性」的复合策略：先以能力 A 的大模型投票，再用能力 B 的小模型做 verifier。
复现评估
作者在 GitHub 公开了完整代码与 notebooks（github.com/natnischw/model-capability-dominates-lessons-aimo3），含 23+ 次实验配置、4 套 system prompt、熵加权投票实现与时间预算调度器。50 道 AIMO 3 题目公开，LB 分数可在 Kaggle 复现。算力要求：单卡 H100 80GB + vLLM + FP8 量化，5 小时 wall-clock 限制。复现难度中等，主要挑战在于 gpt-oss-120b 需 ≥75 GB 显存放权重、~5 GB KV cache 给 N=8 并发；vLLM 启动需 ~160 秒；Jupyter 沙箱需预装 sympy/numpy/mpmath；共享 GPU 资源争抢会引入 ±6 个百分点方差，作者用 21-run baseline 和 3-model cross-validation 缓解。
论文图表
