GENERAL365：跨多样且具挑战性任务的大语言模型通用推理基准 General365: Benchmarking General Reasoning in Large Language Models Across Diverse and Challenging Tasks
构建1460题K12水平基准，解耦知识与推理，揭示SOTA模型仅62.8%
前置知识
大语言模型推理评测
通过标准化任务集合量化LLM在数学、代码、常识等领域的表现，核心指标是准确率，需要控制题目独立性和评分一致性以避免数据污染。
本文是评测类工作，必须先理解推理评测的设计原则（题库构建、盲测、评分校准）才能理解作者对BBH/BBEH缺点的批评。
t-SNE降维可视化
一种非线性降维方法，将高维向量（如文本嵌入）投影到2D平面并保留局部邻域结构，常用于展示数据点在语义空间中的分布。
论文用t-SNE把1536维query embedding投影到2D，对比GENERAL365与BBH/BBEH的语义分散度，是验证多样性的关键工具。
思维链 (Chain-of-Thought, CoT)
一种提示工程方法，让模型在给出最终答案前显式生成中间推理步骤，将多步问题分解为单步子问题，显著提升复杂任务的准确率。形式上即用 $\text{answer} = \arg\max \prod_i p(r_i | r_{<i}, x) \cdot p(y | r, x)$。
论文的种子题构造要求每题都有完整reasoning trace，CoT质量直接决定模型评测的推理路径可比性。
混合评分 (Hybrid Grading)
结合规则匹配（如数学表达式解析）与模型评判（如GPT-4打分）的评分策略，规则评分快但覆盖率低，模型评分灵活但成本高且有偏。
本文对238道数值题用math-verify规则评分，对46+81道选择/文本题用GPT-4.1模型评分，混合策略是实现99.6%评分精度的关键。
K-12知识边界限定
将题目所需背景知识严格限制在中小学阶段，剥离高等专业知识的影响，使评分聚焦于通用逻辑能力而非领域知识调用。
这是本文的核心方法论选择，是区别于AIME/GPQA等专业知识型基准的关键设计原则。
研究动机
现有LLM推理评测存在两极分化。领域型基准（AIME、IMO、FrontierMath、GPQA）已接近饱和，顶级模型在数学/物理赛事上达到金牌水平，但这种表现更可能源于训练语料中对专业模式的记忆而非真实推理能力。例如GPT-4.1在BBH上已达89.4%。通用型基准（BBH 6511题、BBEH 4520题、KOR-Bench）则存在两个系统性问题：第一，构造依赖模板化扩展，导致严重的'局部坍缩'——BBH的逻辑相似度均值μ=4.71，BBEH达到μ=4.80，分别有77.8%和83.5%的样本拿到最高分5分，说明同模板题目在推理骨架上几乎完全相同；第二，难度天花板已被突破，Gemini-3-Pro在BBH/BBEH上拿到94.4%/92.0%，无法再区分前沿模型能力。
本文的目标是构建一个同时满足四个性质的通用推理基准：(1) 高多样性——通过人工种子题与LLM扩展结合，量化证明题目间语义与逻辑独立，目标是让两两相似度均值显著低于BBH的4.71和BBEH的4.80；(2) 强挑战性——使当前SOTA模型准确率显著低于饱和水平（实测仅62.8%），保留模型间区分度而不像BBH那样被刷到89%；(3) 严格的知识-推理解耦——把背景知识限制在K-12水平，确保测的是推理能力而非专业知识的调用；(4) 评分可靠性——通过规则+模型的混合评分框架达到99.6%人工核验准确率。
与已有工作不同的是，本文的独特切入角度是引入结构化的8类挑战分类法（Complex Constraints、Branching & Enumeration、Spatial & Temporal、Recursive & Backtracking、Semantic Interference、Implicit Information、Optimal Strategy、Probability & Uncertainty），把通用推理这一笼统概念拆解为可操作、可标注、可评测的子能力，并通过强制70%以上题目具备2+标签实现组合式挑战覆盖。这与BBH/BBEH把每道题只归到单一模糊类别的做法形成根本区别——后者无法捕捉'语义干扰+最优策略'这种真实场景中复合出现的认知负担。
核心方法
GENERAL365采用四阶段人在回路（human-in-the-loop）的构造流水线，整体思路是'人工种子+模型扩展+多轮筛选'。先用领域专家手工创作覆盖8类挑战的365道种子题，每道都包含问题描述、详细推理链和标准答案三元组；接着用顶级模型预筛淘汰过于简单的题目以及与现有基准语义重复的题目；随后进行语言润色和输出格式规范化；最后用LLM为每道种子生成10个候选变体，由人类专家筛选出3+个逻辑合理且推理骨架不同的变体，必要时人工补写，最终形成1460道（365种子+1095变体）的评测集。评分采用混合框架：238道数值题用math-verify做规则评分，46道选择题与81道文本题调用GPT-4.1做模型评分，整体核验准确率99.6%。
核心创新是'人工种子+LLM改写表面语义'的扩展范式，与现有基准的'模板化扰动'形成本质区别。模板化扰动（如把数字7改成数字12）只改变表面变量而保持推理骨架完全一致，导致逻辑相似度极高；本文的扩展通过让LLM改写场景设定、约束条件、表层语义来生成变体，同时人工审核保证核心推理步骤不被破坏。此外，8类挑战分类法不是简单的标签体系，而是通过对70%题目强制打2+标签把评测从'单维能力切片'升级为'组合式推理压力测试'。在评分侧，混合框架的99.6%核验准确率显著高于纯模型评分，是工程可靠性的重要贡献。
方法步骤详情
四阶段流水线输入输出明确。阶段1 Seed Construction：输入为空，输出为365道种子题三元组；专家从现实场景众包选题，每题必须满足原创性（不可被通用网页搜索复现）、类别归属（匹配8类中至少1类）、三元组完整性、最终人工交叉核验。阶段2 Difficulty Filtering & Diversity Augmentation：输入为种子题集，输出为过滤后集合；用顶级模型试答剔除可解题，用嵌入相似度剔除与BBH/BBEH/KOR-Bench高度相似的题，对样本不足的类别人工补写。阶段3 Post-processing：输入为过滤后题目，输出为规范化题目；分析LLM答题日志识别歧义措辞，追加输出格式指令，把答案统一为数值或规范文本格式。阶段4 Full-Scale Expansion：输入为规范化种子，输出为1095变体；LLM生成10候选/种子，人工筛选≥3个合格变体，必要时人工补写。评分阶段：数值题用$\boxed{}$+math-verify规则评分，选择/文本题用GPT-4.1模型评分，整体核验准确率99.6%。
技术新颖性
技术新颖性体现在三个层面。第一，8类挑战分类法的实证基础——通过统计70%+题目具备多标签，论证通用推理的本质是组合式的，而非单维能力堆叠，这与认知科学中'推理是多种基本能力复合'的现代观点吻合。第二，双重多样性验证方法学——同时使用t-SNE语义空间可视化（GENERAL365的1460个点呈均匀分散，BBH/BBEH出现明显聚团）和LLM两两相似度评分（GENERAL365均值μ=2.16，1-2分区间占68.2%，BBH 77.8%、BBEH 83.5%集中在5分），把'多样性'从抽象口号变成可量化的指标。第三，混合评分框架的工程化——99.6%的人工核验准确率在基准评测领域属于SOTA水平，且通过规则评分覆盖65.2%的题目（238/365）大幅降低了对模型评分的依赖，控制了评分成本和偏差。
实验结果
对26个LLM评测有五大发现。其一，SOTA模型Gemini-3-Pro仅62.8%，Gemini-3-Flash 60.8%，开源最佳GLM-5-Thinking 59.9%，绝大多数未达60%及格线，远低于领域基准。其二，Semantic Interference与Optimal Strategy是短板：模型得分比均分低约10pp，如Gemini-3-Pro在Optimal Strategy仅50.8%而整体62.8%。其三，推理效率差异巨大：Gemini-3-Pro以约14k token达SOTA，DeepSeek-V3.2-Speciale和GLM-5-Thinking需25-30k token。其四，推理与非推理型在'Implicit Information'差距达峰值——Gemini-3-Pro 68.8% vs DeepSeek-V3.2-Chat 29.6%，差39.2pp。其五，跨基准对比验证难度：Gemini-3-Pro在BBH/BBEH接近饱和（89.6%/94.4%），在GENERAL365骤降至62.8%；GPT-4.1从BBH 89.4%降至26.7%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体通用推理准确率 | Accuracy (%) | 62.8% (Gemini-3-Pro, SOTA) | BBH 89.6% / BBEH 94.4% (同模型) | 难度天花板大幅提升，下降31.6/31.6个百分点，仍保持模型间区分度 |
| 开源模型vs闭源模型差距 | 整体准确率差距 | GLM-5-Thinking 59.9% (开源最佳) | Gemini-3-Pro 62.8% (闭源最佳) | 开源与闭源差距已收窄至2.9个百分点，表明开源社区迅速逼近商用前沿 |
| 推理效率（达到SOTA所需token） | Average output tokens | Gemini-3-Pro ~14k tokens @ 62.8% | GLM-5-Thinking ~25-30k tokens @ 59.9% | token消耗减少约45-55%，但准确率反而高出2.9%，体现更高推理密度 |
| Implicit Information类目推理vs对话模型差距 | 类目准确率差 | Gemini-3-Pro 68.8% (推理) | DeepSeek-V3.2-Chat 29.6% (对话) | 39.2个百分点差距，验证CoT推理对隐含信号解码的不可替代性 |
| 跨基准多样性 (LLM两两相似度评分) | 相似度均值μ (0-5分) | GENERAL365 μ=2.16 | BBH μ=4.71, BBEH μ=4.80 | 相似度降低54.1%/55.0%，68.2%样本落在1-2分区间，逻辑骨架多样性显著 |
| Semantic Interference瓶颈 | 相对整体均分的负偏差 | Gemini-3-Pro 55.7% vs 整体62.8% (-7.1pp) | GPT-5-Thinking 57.2% vs 58.6% (-1.4pp) | 暴露当前LLM对认知陷阱的脆弱性，识别为关键改进方向 |
| Optimal Strategy瓶颈 | 类目准确率 | Gemini-3-Pro 50.8%, GLM-5-Thinking 51.7% | Recursive & Backtracking 65.3% / 63.5% (同模型) | 最优策略类目比简单回溯类目低14-15个百分点，揭示长期规划能力短板 |
局限与改进
局限性可从作者承认和独立观察两方面分析。作者承认的局限包括：(1) 样本规模相对小，365种子+1095变体远少于BBH的6511和BBEH的4520，尤其Probability & Uncertainty仅~20种子，统计可靠性受限于样本；(2) K-12知识边界虽然确保了知识-推理解耦，但同时排除了许多现实中的成人级通用推理场景（医疗分诊、法律推理等），限制了基准的生态效度；(3) 127/365道题目依赖GPT-4.1作为评分模型，存在单一评分者的风格偏差，跨模型家族的泛化未经验证；(4) 60%及格线是任意设定的，缺乏明确的认知科学或教育学依据。独立观察的额外局限包括：(5) 评分准确率99.6%仅在1460个来自4个模型的样本上核验过，对全26模型×1460题的完整评测集未做人工复核；(6) 基准仅英文且偏向西方语境（出现Morocco、Vanuatu、Chile等国别设定），跨文化迁移性未评估；(7) 缺乏对抗鲁棒性测试，模型是否可通过在特定模板上微调来'刷分'未知；(8) LLM两两相似度评分只用了Gemini-3-Pro一个评估者，多评估者一致性未报告。
独立分析的弱点
独立分析论文存在五个可改进的弱点。第一，挑战分类法缺乏严格的理论根基——8类之间存在概念重叠，Complex Constraints与Implicit Information都涉及多约束跟踪，Branching & Enumeration与Recursive & Backtracking在状态空间探索上也有交叉，改进方向是引入形式逻辑或认知心理学分类法（如Newell层级）来增强互斥性。第二，人工种子可扩展性差——365道手工题目是劳动密集型瓶颈，建议采用逆向强化学习从人工种子反向学习'好题分布'，再自动生成新种子。第三，K-12边界可能过于严格——许多现实通用推理任务（财务规划、健康决策）需要一定的生活常识而不仅是K-12知识，建议引入'日常知识'中间层。第四，多样性验证的统计深度不足——t-SNE是定性可视化，LLM两两相似度评分只用一个评估者，建议补充信息论度量或多评估者一致性检验。第五，缺少对抗鲁棒性评估——基准一旦公开就存在被针对性优化风险，应给出'抗污染测试'协议。
未来方向
未来研究方向可从作者提议和成果延伸两个维度展开。作者提议的方向包括：(1) 扩展到多语言版本（中、西、阿等）和跨文化验证，因为当前题目的Morocco/Vanuatu/Chile等设定明显偏向西方；(2) 探索自动化的种子生成方法以突破人工创作的天花板；(3) 借助机制可解释性深入研究Semantic Interference和Optimal Strategy瓶颈下具体哪个模型组件失败。基于成果可延伸的方向包括：(4) 把GENERAL365与发展为动态基准（类似LiveBench），通过持续更新题目防止数据污染；(5) 与训练干预研究配对，使用GENERAL365作为信号做RLHF或test-time scaling实验，识别真正提升通用推理的训练方法（而非仅靠领域记忆）；(6) 构建'推理效率帕累托前沿'赛道，同时奖励准确率和token经济性，鼓励发展Gemini-3-Pro式的高密度推理架构；(7) 在K-12之上引入'日常知识'层，构造覆盖更广的通用推理评测谱系；(8) 开发面向教育领域的诊断版本，按8类挑战输出细粒度能力画像，辅助个性化学习路径设计。
复现评估
复现性整体优良但存在若干细节门槛。开源情况方面，代码、数据集、排行榜均通过General365.github.io公开，是基准类工作的最佳实践。构造流水线有完整文档（4阶段、人工审核流程、LLM扩展策略），独立团队理论上可复现。然而关键细节部分披露：评分prompt模板仅在Appendix B展示部分内容；LLM两两相似度评分使用Gemini-3-Pro作为评估者，复现一次完整的多样性审计需要相当预算。推理设置文档化充分：推理模型温度$T=1.0$，非推理模型$T=0.7$，top-$p=1.0$，top-$k$不约束，最大输出长度为各模型容量上限，对支持可调推理强度的模型默认设为最高档。算力方面，对26个模型×1460题在最大输出长度下做完整评测，估算需要1000+ GPU小时（26×1460×平均20k tokens），论文未提供成本估算。
论文图表
