课堂期末考试：一个由教师验证的推理基准 Classroom Final Exam: An Instructor-Tested Reasoning Benchmark
CFE-BENCH 收录 449 道真实大学课程题目，前沿模型最高仅 59.69% 准确率，揭示推理失败源于中间状态丢失
前置知识
链式思考（Chain-of-Thought, CoT）
链式思考是一种通过在 prompt 中加入 'Let me think step by step' 之类的引导语，让 LLM 在给出最终答案前显式生成中间推理步骤的方法。本文采用 CoT 提示策略生成答案，但通过分解参考答案为原子推理单元 $R = [u_1, u_2, \ldots, u_n]$（每个单元是一个问题-答案对 $u_i = \langle u_{q_i}, u_{a_i} \rangle$）来诊断模型在哪个层级失败。这种从参考解出发的逆向分解，使我们能精确测试原子执行能力和多步组合能力之间的差距。
理解 CoT 是阅读本文的前提，因为 CFE-BENCH 的诊断框架本质上是把 CoT 的'生成步骤'转换为'评估单元'——这是方法论的核心创新点。
LLM-as-a-Judge 与变量提取评测
LLM-as-a-Judge 是用一个大语言模型来评估另一个模型输出的方法。在 STEM 场景中，常见做法是让评判模型对比长篇模型回答和参考答案。传统 Long-to-Long (L2L) 评测会高估模型能力：参考答案中很多正确但与最终目标无关的中间陈述会诱导评判模型误判；此外长上下文会引入'流畅性偏置'。本文提出的 Short-to-Short (S2S) 评测先从参考答案中提取结构化变量 $V_{gt} = \{(v_i, d_i, x_i, t_i)\}$（含变量名、描述、真值、类型 $t_i \in \{\text{numeric, formula, other}\}$），再让评判模型从长篇回答中提取对应变量值 $\hat{x}_i$，最终逐变量比较 $\hat{x}_i$ 与 $x_i$。
理解 LLM-as-a-Judge 的失败模式（假阳性、流畅性偏置、上下文污染）是读懂本文评测协议创新的关键，否则难以体会为何 S2S 在 Table 1 中达到 98.03% 准确率、远高于 L2L 的 89.67%。
推理流（Reasoning Flow）与中间状态
推理流是本文提出的核心结构化表征：把一个完整参考解答拆解为有序的、可独立验证的推理单元序列 $R = [u_1, u_2, \ldots, u_n]$，每个单元 $u_i = \langle u_{q_i}, u_{a_i} \rangle$ 是一个子问题-目标答案对。这种拆分的关键在于：子问题必须是无泄露的（不能包含答案）、可独立求解的（只依赖先前单元的输出和原始题目信息）。以 Table 5 中的平行板电容器例子为例，从 $i(t) = \sigma E_x|_{x=s} A + \epsilon \frac{\partial E_x}{\partial t}|_{x=s} A$ 出发，可拆为 11 个单元，逐步结合高斯定律、电导率守恒等。
推理流是诊断方法的基础。没有这个结构化表征，就无法做'单步原子测试 (Q1)'和'中间答案注入测试 (Q3)'，也无法得出 T2 这一核心结论：单个中间答案比一长串子问题更有用。
研究动机
现有 LLM 推理基准存在两类严重缺陷。第一类是竞赛风格基准（如 MATH、AIME、FrontierMath、HLE），它们或新近由众包作者撰写，或偏重短期事实问答，缺乏经过反复教学检验的严谨性。这类基准中的标注错误和歧义性通常未被充分过滤，参考答案也只是事后的合理性辩护而非可验证的构造性推导步骤。第二类是课程材料型基准（如 ScienceQA、MMLU、MMMU），虽然题目经过教学验证，但普遍采用选择题作为结果指标，正快速饱和——GPT-5.2、Claude-Opus-4.6 等前沿模型在多选题上的得分已逼近上限。更关键的是，这些基准的'推理过程'要么缺失，要么只是事后合理化，无法作为模型推理质量的中间检查点。此外，传统 Long-to-Long 评测本身会系统性高估模型能力——论文 Table 1 显示 L2L 评测与人类标注的一致性仅 89.67%，假阳性率高达 $20.50 \pm 1.12$ 个，这说明'长篇回答看起来合理'不能等同于'答案真的对'。
本文的目标是本文的具体目标是构建一个'未被饱和的、由教师验证的、可进行细粒度推理诊断的'大学 STEM 推理基准。具体包括三个层面：(1) 数据层面，收集 449 道（305 道文本 + 144 道多模态）来自真实大学课程的题目，覆盖 20+ STEM 领域，其中物理 173 题、数学 110 题占主导，并附带教师亲笔验证的参考解答；(2) 评测层面，提出 S2S 结构化变量验证协议，用 GPT-mini 作为评判模型先抽取目标变量值再逐变量比较，把评测准确率从 L2L 的 89.67% 提升到 S2S 的 98.03%，假阳性从 20.5 降至 1.25；(3) 诊断层面，把参考解答分解为推理单元 $R = [u_1, \ldots, u_n]$，通过三个受控实验（Q1 原子执行、Q2 多步前缀、Q3 单单元注入）系统识别前沿模型失败的根因。最终目标是建立一个能区分'模型知道但中途丢失'与'模型根本不会做'的诊断式测试平台。
与已有工作不同的是，本文的独特切入角度是'时间检验 + 细粒度诊断'的双重稀缺性。已有基准要么偏重新近数据（HLE、SimpleQA），要么是选择题形式缺乏过程（MMLU、MMMU）；HLE 虽然追求高难度，但题目未经多年教学检验，作者承认易出现标注错误和歧义。CFE-BENCH 的差异化在于：每道题都来自真实课堂、经过教师多年批改验证、且配有可验证的逐步参考解答。这使它既能测'答对率'，又能测'推理流的哪个环节失效'。这种诊断能力通过把 Gemini-3-Flash 等强模型在'全开放推理'下答错的题拿出来做受控干预实验得到验证——发现当只给一个正确答案时，准确率提升接近给一长串子问题。这一发现是 HLE、MATH 等基准完全无法得出的，因为它们没有这种逐单元验证的参考解答。
核心方法
本文的方法可以理解为三阶段流水线：题目采集→结构化标注→诊断评测。第一阶段，研究团队从 17 位硕士及以上学历的全球专家处获得真实课堂题目，剔除开放性、纯实验类、过于简单的题，最终保留 449 题，全程共投入 945 工时。第二阶段为每道题制作'推理流 + 变量标注'：先用 GPT-mini 把参考答案自动拆分为有序推理单元，再由人类专家审核每个子问题是否无泄露、每个目标答案是否可客观验证；与此同时，专家为每题标注目标变量集合 $V_{gt} = \{(v_i, d_i, x_i, t_i)\}$，例如对 Figure 1 中物理题标注 $x = L \cdot (\frac{M-m}{M+m})^{n}$ 这种公式型答案。第三阶段在评测时使用 S2S 协议：评判模型先从长篇模型回答中提取对应变量值 $\hat{x}_i$，再与 $x_i$ 逐变量对比；最后用 Gemini-3-Flash 在它答错的题上做 Q1/Q2/Q3 三个受控诊断实验。
核心创新点是'单元化推理流 + 变量基评测协议'的组合。已有方法要么在答案层做对比（L2L，粗糙），要么直接给模型打分（reward model，不透明）。本文方法把'推理过程'显式分解为可验证的、有序的原子单元序列 $R = [u_1, \ldots, u_n]$，再通过三种条件化测试（推理前缀、单单元注入、纯问题）来定位失败位置。变量基评测协议与 L2L 的本质区别在于：评测锚点是具体的、可类型化的目标变量（如公式 $L \cdot (\frac{M-m}{M+m})^{n}$），而不是整段叙述，这从根本上消除了'部分正确但最终错'和'流畅性偏置'两类假阳性来源。本质上，把评估从'看完整故事的合理性'变为'验证特定数学/物理量的正确性'。
方法步骤详情
完整方法分四个步骤。第一步，题目筛选：从公开的大学课程网页、习题集、考试题中收集候选题目，应用三条筛选准则——必须要求非平凡多步推理、必须有可客观核查的目标答案、必须涵盖文本或视觉格式；剔除需做实体实验、过简、纯开放的问题；多模态部分额外剔除无图也能答对的题目。第二步，专家标注：17 位专家通过专用标注界面，对每题做三项决策——是否过简、目标答案是否明确定义、推理流是否正确；多模态题额外评估图像依赖性。最终确定 305 文本 + 144 多模态，每题配有变量标注和推理流。第三步，变量基评测（S2S）：对每题，根据变量集合 $V_{gt}$ 调用 GPT-mini 用 Appendix A 的提示词从模型长篇回答中提取预测值 $\hat{x}_i$，再用同一评判模型验证 $\hat{x}_i$ 与 $x_i$ 是否数学等价（如 $5$ 与 $5.0$、$1/2$ 与 $0.5$、$2^2$ 与 $4$ 都视为正确）；只有在所有变量都正确时，整题才算 Question Accuracy 正确，否则按正确变量占比计入 Variable Accuracy。第四步，诊断实验：在 Gemini-3-Flash 答错的题上，对每个单元索引 $i$ 设置四种条件——完整推理前缀 $Q + [u_1, \ldots, u_i]$、仅子问题前缀、仅子问题注入 $Q + u_{q_i}$、单单元注入 $Q + u_i$，每条件采样 8 次并报告最终答案准确率。
技术新颖性
技术新颖性体现在三个层面。第一，基准本身是当前唯一同时具备'教师验证 + 推理流标注 + 变量基标注'三要素的 STEM 基准——HLE 没有推理流，MMLU 没有结构化变量标注。第二，评测协议 S2S 的设计细节值得展开：它要求 GPT-mini 在长篇回答中精准定位目标变量（容忍单位换算、代数等价、$50\%$ 与 $0.5$ 等同），同时把'评测 vs 人工标注'一致性从 L2L 的 89.67% 提升至 S2S 的 98.03%（详见 Table 1）。第三，诊断框架的创新性在于'用参考解答结构反推模型失败原因'——通过构造四种前缀条件，可以清晰区分'原子能力不足'（Q1 测试单步准确率 0.8–0.9）和'组合失败'（Q2 测试多步中段最难，单元答案注入提升最大）；尤其是 Q3 的发现——'给一个正确答案 ≈ 给一长串子问题前缀'，这是一个非常反直觉但结论清晰的实验结果，没有结构化推理流就根本做不出来。
实验结果
整体结果有三个核心发现。第一，基准未被饱和：最强模型 Gemini-3.1-pro-preview 在 449 题综合上仅达 59.69% Question Accuracy（70.66% Variable Accuracy，文本子集），多模态子集最强 Gemini-3-Flash-preview 也只有 56.31%/48.61%；开源最强 Qwen3.5-397B 整体 47.44%，仍有 40+ 个百分点的提升空间。这与 MMLU、MMMU 等多选题基准的接近饱和状态形成鲜明对比。第二，模型已具备较强原子能力但缺乏组合保持力：在 Q1 测试中，Gemini-3-Flash 单步执行准确率达到 0.8–0.9，这意味着大多数端到端失败并非源于'不懂某一步'；但在 Q2 测试中，提供单元答案的提升显著大于提供子问题本身，尤其在中段单元（mid-range unit indices）收益最大——说明失败根因是'中间状态在多步推导中漂移'。第三，单个中间答案 ≈ 长串子问题：在 Q3 测试中，注入一个完整单元（连同答案）带来的提升接近提供完整前缀，这指向一个强烈信号：限制因素不是'知道要问什么子问题'，而是'能正确算出中间值并保持一致'。第四，模型推理效率低下：Table 4 显示 Gemini-3-Flash 在文本子集平均用 12.20 步解出一道题，而人工参考解只需 10.73 步（多 1.47 步，约长 14%）；多模态子集差距更大（13.86 vs 11.72，多 2.14 步，约长 18%），意味着多模态推理的中间步骤冗余更严重。第五，多模态基准暴露开源与闭源差距：在多模态子集上，开源 VL 模型（如 InternVL3 系列、QvQ-max）大多在 0.04–0.10 区间，而 Gemini-3-Flash 达到 0.49；但在文本子集，开源最强 Qwen3.5-397B 的 47.44% 已逼近 Claude-Opus-4.6 的 54.15%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CFE-BENCH 综合 (Text + Multimodal, 449 题) | Question Accuracy (整题全对比例) | Gemini-3.1-pro-preview: 59.69%; Qwen3.5-397B: 47.44%; Gemini-3-pro-preview: 55.01%; GPT-5.2: 55.46% | Claude-Opus-4.6: 47.66%; Grok-4-0709: 41.65%; DeepSeek-V3.2-reasoner: ~43%; Kimi-K2.5: 43.93% | 最强模型仅 59.69%，最强开源仅 47.44%，与最强闭源差距约 12 个百分点，证明基准未被饱和 |
| 文本子集 (305 题) | Question Accuracy | Gemini-3.1-pro-preview: 64.92%; Gemini-3-flash-preview: 58.69%; Qwen3.5-plus: 48.20% | GPT-5.2: 51.15%; Claude-Opus-4.6: 52.79%; Grok-4-0709: 47.54% | Gemini-3.1 比第二名 Gemini-3-flash 高 6.23 个百分点，比开源最强 Qwen3.5-plus 高 16.72 个百分点 |
| 多模态子集 (144 题) | Question Accuracy | Gemini-3-flash-preview: 48.61%; Gemini-3-pro-preview: 48.61%; Gemini-3.1-pro-preview: 48.61%; Qwen3.5-397B: 45.14% | GPT-5.2: 43.75%; Claude-Opus-4.6: 36.81%; InternVL3.5-241B-A28B: 4.86% | Gemini 系列领跑，开源 Qwen3.5-397B 紧追其后 3.47 个百分点；多数开源 VL 模型停留在个位数 |
| 评测协议对比 (与人工标注一致性) | Accuracy (on Gemini-3-Flash text-only subset) | S2S: 98.03% ± 0.77 | L2S: 96.72% ± 0.40; L2L: 89.67% ± 0.75 | S2S 比 L2L 提升 8.36 个百分点，假阳性从 20.5 降至 1.25（约 16 倍降幅），详见 Table 1 |
| 推理步骤效率 (Gemini-3-Flash) | 平均推理单元数 | 文本: 模型 12.20 vs GT 10.73 (+1.47, +14%); 多模态: 模型 13.86 vs GT 11.72 (+2.14, +18%) | Ground Truth 人工参考解长度 | 模型比教师多用约 14-18% 的推理步骤，详见 Table 4 |
局限与改进
作者承认的局限与读者可观察到的局限至少有三方面。其一，样本规模偏小：449 题在统计意义上看子领域（如计算机科学 12 题、化学和生物仅各几题）的代表性较弱，长尾领域的结论难以泛化；其二，单元化推理流的标注成本极高——17 位专家 945 工时，意味着难以快速扩展规模，且高度依赖专家学科分布，可能存在区域或学派偏置；其三，评测协议对公式型答案的支持较强但对'其他'类型的处理可能粗糙，例如开放性叙述或带特殊上下文的符号化简可能仍存在误判。本人观察到的额外局限：(a) S2S 协议的有效性虽高，但仅在 Gemini-3-Flash 上做了人类一致性验证（Table 1），跨模型（如推理 vs 非推理）的一致性未独立验证；(b) 诊断实验只针对 Gemini-3-Flash 单模型，对其他前沿模型（如 Claude-Opus、Grok）是否呈现相同的'中间答案 ≈ 长前缀'现象仍未确认，可能存在模型家族特异性；(c) 文本子集 305 题中物理学占 113 题（约 37%），存在显著的学科偏置，对其他 STEM 领域的覆盖率不足以做精细的领域分析。
独立分析的弱点
独立分析指出本文至少存在四个可改进方向。第一，推理流的标注对专家依赖度过高且难以审计——17 位专家分散全球，每个决策（过滤、答案定义、推理流验证）虽通过标注界面留痕，但缺乏跨专家一致性度量（如 Krippendorff α），不能排除标注者的隐性分歧。第二，诊断实验的对照设计有局限性：Q3 的'单单元注入 ≈ 长前缀'结论虽震撼，但仅在 Gemini-3-Flash 答错的子集上测试，'答错的题'本身就可能存在选择偏差——例如模型在某些题型上系统性失败，那这些题上'注入任意答案'都可能大幅提升。第三，Table 2/3 中的开源模型（如 Qwen3.5-397B）虽达到 47.44%，但和闭源最强相差 12 个百分点，作者没有分析这种'开源 vs 闭源差距'是源于规模、训练数据还是对齐方式。第四，基准集中在英文 STEM 课程，对非英语（如中文、欧洲高校）的覆盖为零，影响其作为全球通用基准的代表性——每个改进方向都有对应的实验或工程方案：增加跨标注者一致性度量、扩展 Q3 到其他闭源模型、对开源-闭源差距做消融实验、补充多语言版本。
未来方向
作者提出的未来方向主要有两点：(1) 更强的中间状态监督，包括步骤级目标验证、约束检查、奖励'正确中间值'而非'流畅最终解释'的训练课程；(2) 混合系统设计——用更强的工具（符号求解器、验证计算器、结构化检索）生成或验证关键中间值，再让模型基于这些已验证的中间量继续推理。基于本文结果可延伸的方向有四个：探索'推理流训练'作为监督微调信号（用每个单元的目标答案作为中间步骤 reward）；研究'自动推理流生成'（当前依赖 GPT-mini + 人工审核，可用强模型自循环蒸馏降低成本）；把变量基评测扩展到多跳问答和开放科学推理（当前仅限 STEM）；以及跨语种和跨课程体系的扩展（如中、印、欧高校的等价题目）。
复现评估
可复现性评估整体较好：数据与代码已开源在 https://github.com/Analogy-AI/CFE_Bench；评测提示词、推理流构建提示词、评判模型（GPT-mini）都明确指定；变量标注和推理流格式示例在 Table 5 和 Figure 1 完整展示；评测超参（CoT 提示、温度、推理模型 16k token 思考上限）都明确说明。但实际复现难度中等偏高，主要原因：(a) 评测依赖 GPT-mini 作为统一评判模型，需要稳定的 API 访问和一致的 prompt 解析；(b) 部分前沿模型（如 Gemini-3.1-pro-preview、Claude-Opus-4.6、Grok-4.1）是付费专有 API，外部研究者需要相应预算；(c) 945 工时的人工标注过程无法直接复制，只能复用其产出物。总体而言，论文的实验设计透明、可独立验证核心结论（Q1/Q2/Q3 的诊断模式），但要完整跑通 Table 2/3 中的全模型评测需要相当算力与 API 成本。
论文图表