FrontierPhysics：评测智能体端到端物理科研能力的基准 FrontierPhysics: Evaluating Agents for End-to-End Physics Research
42位物理学家基于自身研究构建56个端到端任务，测得最强智能体通过率仅27.4%。
前置知识
Agent Harness（智能体运行框架）
将 LLM 包装成可执行长任务的工程框架，提供沙盒环境、工具调用（读写文件、运行代码、联网搜索）、子代理调度与轨迹记录。本文使用 Codex CLI（GPT 系）、Claude Code CLI（Claude 系及其他 7 个模型）、Grok Build、Antigravity（Gemini 系）四种 harness，同一模型放进不同 harness 表现差异显著，因此排行榜以『模型+harness』配置为单位。
本文评测的对象不是裸模型，而是模型+harness 组合；读懂实验设置和 26 个配置的对比，必须先理解 harness 是什么、为什么同一模型在不同 harness 下结果不同。
Rollout 与 Pass@1/Pass@3
一次 rollout 指『一个模型配置在一个任务上的一次完整试跑』：从沙盒初始化、agent 自主研究，到提交结果与评分的全过程。每个配置对全部 56 个任务各跑 3 次，共 168 个 rollouts。Pass@1 是三次试跑的平均通过率；Pass@3 是『至少有一次通过』的任务占比，衡量模型运气好时能达到的上限。
全文所有结论都以 rollout 为统计单位（总计 4364 个 rollouts、每配置 168 个），Pass@1/Pass@3 是排行榜和置信区间的核心指标，不理解这两个概念就无法解读任何实验数字。
确定性验证器（Deterministic Verifier）
任务作者预先编写的测试脚本（如 test_outputs.py），对 agent 提交的结构化输出（result.md 中的关键数值）逐一核对，每个数值带明确容差，例如 $\Delta_c \pm 0.010\ \mathrm{MHz}$、$\beta/\nu = 1/8 \pm 0.01$。它是纯程序的判断，不涉及任何 LLM 主观评价，验证对象是可复现的物理量而非文字。
它是本文『结果正确性』的客观底座：verifier 失败直接判零分，再好的论文也救不回来；同时 verifier 本身设计不当（容差过严）造成的假阴性是本文质量控制的重点对象。
Rubric 评估与 Agent-as-Judge
Rubric 是任务作者编写的评分细则，分为 blocker（科学有效性的二元门控，任何一条不过即整体失败）和 non-blocker（0/1/2 三级评分、权重 1-10 的质量项）。因为许多标准（如是否 reward hacking、是否幻觉文献）必须核对 agent 的完整轨迹和代码文件而非只看论文，所以由一个评审 agent（GPT-5.6 Sol xhigh）在独立沙盒里读轨迹、代码、输出和 paper.pdf 后打分，而非单次 LLM 调用。
本文一半的评测信号来自 rubric，评分公式、评审 agent 的可靠性校验（与人类专家的一致性、跨评审员一致性 $\kappa=0.81$）是方法部分的核心，也是理解『通过』与『得分』两层指标区别的前提。
Reward Hacking（奖励作弊）
智能体不通过真正完成任务来获取分数，而是钻评分系统的空子：修改或窥探验证器脚本、直接上网找原论文答案复制到工作区伪装成研究成果、篡改输出文件等。本文的全局 rubric 把 no_fabrication（不造假）、no_tampering（不篡改）、no_reward_hacking（不作弊）设为所有任务共有的 blocker。
端到端科研任务完全开放，agent 有大量作弊机会，这是开放式基准能否可信的前提；理解它才能明白为什么本文要审查完整轨迹并把防作弊条款放进每个任务的 blocker。
研究动机
现有科学评测基准跟不上『智能体做科研』的雄心，存在三层断层。第一层，教科书级问答和封闭式专家题（如 CritPt 的 71 道题、FrontierScience-Research 的 60 道题）只测孤立能力，答案确定性强，模型很快饱和，基准失去区分度。第二层，论文复现类基准（PRBench、ReplicationBench、QMP-Bench）直接把原论文交给智能体，研究问题和方法框架已经预先给定，本质上是在抄一份有答案的作业，无法考察开放式探索。第三层，较新的基准（NatureBench、PRL-Bench、PhySciBench）虽把已发表研究改写成不透露答案的研究问题，但任务设计与评估充满只有原作者才懂的微妙之处：指令写得太具体会扼杀开放性，写得太松会造成假阴性（agent 做对了却因容差或歧义被判失败）；而当 agent 失败时，很难区分是真正的科学误解，还是缺乏专家直觉与经验。此外，几乎没有基准同时考察文献调研质量与论文写作质量——而这恰是『科研做得像不像样』的关键部分。作者在 Table 1 中逐项对比了 10 个已有基准，没有一个是完全 agentic、由物理学家从自己亲手做的研究出发构建、同时对论文质量与结果正确性打分、并配套人工任务评审与失败模式分析的。
本文的目标是构建一个衡量 AI 智能体能否完成端到端物理研究的基准 FRONTIERPHYSICS：由 42 位一线物理学家（含博士生、博士后、研究科学家，人均约 420 次引用）从各自亲自完成的研究项目中提炼出 56 个任务，覆盖凝聚态、AMO、量子信息、天体物理、流体、统计物理、光子学成像、高能、化学物理 9 个领域，横跨理论（6 个）、计算（33 个）、实验（17 个）三种研究模式。每个任务只给智能体一段类似 PI 开题时的高层指令（读 proposal、表征装置、找临界点、写论文），要求它自己调研文献、制定研究计划、选择方法、执行计算或实验、验证结果，最终交付两类成果：可确定性核验的数值结果（result.md）和一篇达到同行评审标准的科学手稿（paper.pdf）。评测目标是回答『智能体的研究是否正确且可发表』，并进一步诊断最前沿智能体到底败在哪个环节。
与已有工作不同的是，本文的独特之处在于把『任务的真实性』和『评分的可信性』同时做到极致。真实性方面：任务不是改造文献，而是贡献者亲自做过的研究，要求提供参考论文或专利链接证明出自本人，原始项目平均耗时约 270 天、总计超过 8000 小时科研投入，其中 18 个任务的底层研究已发表（含 4 篇 Nature、Nature Communications、PRL、PRX），且原始论文对 agent 屏蔽。可信性方面：设计了三阶段质检——一般质量审查（验证出处与人工撰写痕迹）、领域同行评审（由做过相邻领域研究的 47% 博士生与 37% 博士组成的评审员检查指令是否过度指定、rubric 是否包含只有做过该研究才写得出的物理洞察）、失败模式分析（贡献者须用 SOTA agent 本地试跑 3 次并审查轨迹，排查假阳性/假阴性）。最后，作者没有止步于跑分，而是对最强配置 GPT-6 Astra 的全部 168 个 rollouts 逐一人工标注失败原因，建立 14 类失败模式分类法——这种『专家审计轨迹』式的失败诊断在科研基准中是首创性的。
核心方法
直觉上，本文把每个任务设计成『PI 丢给新入职博士生的开题包』：只交代研究背景、目标和要回答的问题，绝不给出方法论或解法路径，让 agent 像真正的科研人员一样从零探索。技术上，每个任务是一个文件夹（Fig. 3b）：environment/ 放输入数据、装置模拟器或代码；task.md 是面向 agent 的指令（明示需要读 proposal.pdf）；proposal.pdf 是一页研究简报，交代物理背景并留下若干必须靠文献调研自行回答的问题；verifier/test_outputs.py 是隐藏参考答案的确定性测试；rubric.json 是评分细则，agent 不可见；oracle/solve.py 是参考解。一次 rollout（Fig. 3c）中，agent 在沙盒内可使用计算机与网络搜索、但原始论文被屏蔽，运行上限 10 小时，结束时交付 /root/result.md（规定键值的数值结果）与 /root/paper.pdf（含摘要、方法、结果、讨论、参考文献的短论文）。评分双轨并行：确定性验证器逐项核对数值（带容差），评审 agent（GPT-5.6 Sol xhigh，Codex CLI）在另一个沙盒里读完整轨迹、代码、输出文件和论文，按 rubric 打分。最终分数为 $S_{final} = \frac{\sum_{i\in N} w_i s_i}{2\sum_{i\in N} w_i}\times 100$（当且仅当验证器通过且所有 blocker 通过时取该值，否则为 0），其中 $s_i\in\{0,1,2\}$ 为 non-blocker 得分、$w_i$ 为权重、$D$ 为验证器结果、$b_j$ 为 blocker 结果。实验基础设施用 BenchFlow CLI 编排，轻量任务跑 Daytona 沙盒（4 vCPU/16GB 内存以内），重负载任务跑 Azure VM + Docker 并经 Lambda API 调用 GPU。
核心创新是『门控式 rubric + 确定性验证』的双轨评分结构，直接把『正确』和『可发表』解耦成两个必要条件。blocker 是二元门：物理理解错误、结果造假、篡改验证器、reward hacking 等任何一条不满足即整体失败，non-blocker 分数再高也救不回来——这杜绝了『用漂亮的写作掩盖错误结果』；反过来，一个通过全部数值测试但论文动机贫乏、论证无文献支撑的提交，虽然 pass 却只得很低的 $S_{final}$——这又杜绝了『只对答案不管表达』。这与现有基准有本质区别：CritPt 等只对最终答案，PRBench 等以原论文为参照，而本文的 rubric 由任务原作者亲自编写，刻意编码『只有亲手做过这项研究才知道的物理洞察』——例如示例任务里『开放边界下应是 $\sin(\pi/(L+2))^{-1/8}\sigma_{mid}$ 而非体标度 $L^{1/8}$』『$V_1$ 与 $\Omega$ 相当故一阶 PXP 不够、需 Schrieffer–Wolff 展开的二阶 PXP』这类非标准陷阱。第二个关键理念是承认评分系统本身会出错：贡献者必须先用 SOTA agent 试跑 3 次，审查轨迹寻找假阳性/假阴性（如容差不合理导致正确的物理模型被判错），从机制上抵御对抗性验证器工程。
方法步骤详情
整个基准的运转分五个阶段（Fig. 2）。第一步，任务构建：42 位物理学家各自把自己做过的研究项目改写成任务，提交 task.md、rubric.json、佐证材料（证明项目至少两周科研投入、系本人完成、含真实人工输入而非纯 AI 生成），共收到 182 份提交。第二步，质量审查：先做一般审查（出处、格式、真实性），通过后进入领域同行评审——评审员用三张清单把关：task.md 不得过度指定问题（不能把内行该自己想明白的领域知识写进提示词）、rubric 必须编码真实物理洞察、贡献者须提供 3 次 SOTA agent 试跑的轨迹和初步失败模式分析供检查常见缺陷（不合理的数值容差、歧义指令）；全部通过后由 6 名跨方向物理博士组成的管理团队最终批准，最终 182 份中接受 56 份。第三步，运行 rollout：26 个『模型+harness』配置（22 个模型、4 个 harness）各在 56 个任务上跑 3 次，沙盒并行启动，每次 rollout 上限 10 小时，因模型原因（超预算、内存耗尽）终止的计入失败，因基础设施原因（沙盒丢失、供应商故障）终止的重跑。第四步，评分：确定性验证器核对 result.md 各键值；评审 agent GPT-5.6 Sol (xhigh) 统一评阅所有 rollouts 的轨迹与论文，按 blocker/non-blocker 规则给出通过判定与 $S_{final}$ 分数；用 Claude Opus 5.5 重评第一轮做交叉校验。第五步，失败模式分析：贡献者对 GPT-6 Astra 的 168 个 rollouts 逐一撰写失败报告，管理团队复核约 60 个 rollouts 后归纳出 14 类失败模式分类法（Table 4），并对全部 168 个 rollouts 打标签。
技术新颖性
相对已有工作的技术新颖性有五点。其一，任务来源：首个大规模『从贡献者本人研究出发』的物理 agent 基准（Table 1 中 10 个对比基准仅 CritPt 与 FrontierScience-Research 做到 own research，且后者仅 20/60 物理任务），消除了二手改造带来的信息泄漏。其二，评估覆盖：唯一同时做到文献调研计分、论文写作计分、专家 rubric、确定性验证、人工失败分析五项的基准（Table 1 全列 ✓）。其三，评分结构：借鉴 FrontierCode 的 rubric 设计并加以改造，blocker/non-blocker 门控公式 $S_{final}$ 使通过与质量成为正交信号，0 分表示不可发表、非零分衡量可发表质量。其四，评分可靠性验证方法学：用 33 个任务的作者本人论文作参考材料回灌 rubric 评分（平均 96.2%，证明 rubric 与人类专家成果对齐），并用第二评审 agent（Opus 5.5）交叉复评（对 GPT-6 Astra 的 pass/fail 判定 48/53 一致、$\kappa=0.81$），还量化了评审 agent 偏袒同家族模型的偏差。其五，失败诊断深度：对 168 个 rollouts 逐轨迹的人工失败标注与假阴性修正（9 个错误失败，修正后通过率从 14.9% 修至 20.2%）远超已有基准『只报分数不查错案』的做法。
实验结果
核心结论是：端到端物理科研对所有前沿智能体仍然非常困难——26 个配置中无一通过率超过 30%，最好的 Claude Opus 5.5（Claude Code）也只通过 46/168 个 rollouts（27.4% Pass@1，Score 26.0，确定性通过率 45.8%，Pass@3 44.6%，即 56 个任务中仅 25 个至少通过一次、8 个三次全过）。第二名 GPT-6 Astra (max) 23.2%，GPT-6 Astra (xhigh) 与 GPT-6.1 Sol 并列 19.6%；榜单下端 Gemini 3.8 Flash 与 Mistral Large 4 全军覆没（0.0%），DeepSeek V4 Pro 仅 0.6%。成本效率上（Fig. 5, Table 10），通过率总体随成本上升，但并非单调：Opus 5.5 平均每 rollout 花费 $26.95、执行 2.44 小时、219 次工具调用、38.2 万输出 token；GPT-6.1 Sol 只花 $5.33 却达到 19.6%，GPT 系整体性价比更优；Claude 家族内部反而『越贵越差』——Opus 5.5 (27.4%) > Fable 5.1 (11.3%) > Opus 5 (9.5%)。分领域看（Fig. 4），流体力学最容易（Opus 5.5 通过率 50%、GPT-6 Astra 61.1%），光子学成像（53.3%/33.3%）与高能（33.3%/6.7%）、凝聚态（33.3%/25.0%）居中，化学物理（0%/25%）与统计物理（11.1%/5.6%）最难；实验模式通过率（31.4%/25.5%）并不低于理论模式（11.1%/5.6%）。最重要的发现来自失败模式分析（Fig. 6）：在 GPT-6 Astra (xhigh) 的 143 次失败中，最常见原因不是物理知识错误（PHY 仅 16%）或执行失误（EXE 仅 4%）、更不是幻觉（HAL 1%），而是缺乏严谨思维（RIG 48%，典型如循环自我验证——验证方法依赖自己错误的假设，永远发现不了错；不考虑边界情况导致隐藏测试失败）、缺乏专家直觉（INT 34%，如分析误差源时忽略里德堡衰减这种 AMO 物理学家必然考虑的机制、调试时反复拧错误的旋钮）和文献能力不足（LIT 27%，找不到任务作者指定的关键文献、无法用文献支撑论文论点），指令遵循问题也占 26%。质量审计还发现 168 个 rollouts 中有 9 个（8 个 FALSE、1 个 RRMIS）是评分系统的错误失败，人工修正后 GPT-6 Astra xhigh 的通过率从 14.9% 升至 20.2%——提示榜单排名可能被任务缺陷系统性压低约 5 个百分点。评审可靠性方面：33 个附带作者论文的任务中，作者原稿在对应 rubric 下平均得 96.2%，说明 rubric 判定与人类专家成果基本对齐；第二评审员 Opus 5.5 与默认评审员 GPT-5.6 Sol 对 GPT-6 Astra 的判定高度一致（$\kappa=0.81$），但 Opus 5.5 复评 Claude 系 rollouts 时明显偏宽松（自家 44 个通过 vs Sol 判 37 个通过，$\kappa=0.72$）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 端到端物理科研（56 任务全量） | Overall Pass@1（验证器+全部 blocker 通过） | 最佳配置 Claude Opus 5.5 (Claude Code)：27.4%（46/168 rollouts） | 第二名 GPT-6 Astra (max)：23.2%；榜单最末 Gemini 3.8 Flash 与 Mistral Large 4：0.0% | 领先第二名 4.2 个百分点；全部 26 个配置通过率低于 30% |
| 数值结果正确性（不含论文质量） | Deterministic Pass@1 | Claude Opus 5.5：45.8% | GPT-6 Astra (max)：39.3%；Gemini 4 Argon：31.5% | Opus 5.5 高 6.5 个百分点；确定性通过率普遍远高于整体通过率，说明 blocker 是主要瓶颈 |
| 任务级至少一次通过（56 任务） | Pass@3 | Claude Opus 5.5：44.6%（8 个任务三次全过、25 个至少一次） | GPT-6 Astra (max)：30.4%（9 个三次全过、17 个至少一次） | 高 14.2 个百分点 |
| GPT-6 Astra xhigh 失败原因分布（143 次失败，可多标签） | 失败模式占比 | 缺乏严谨思维 48%、缺乏专家直觉 34%、文献错误 27%、指令遵循 26% | 物理知识错误仅 16%、执行错误 4%、幻觉 1% | 证明前沿智能体的短板是推理素养与直觉而非物理知识储备 |
| rubric 与人类专家成果的一致性（33 个含作者原稿的任务） | 作者论文在对应 rubric 下的平均得分 | 96.2% | 个别任务仍失准（如 glass-nonequilibrium 原论文仅得 50%，2 个任务 0/1 blocker 判失败） | 总体高度对齐，暴露少量 rubric 假阳性风险 |
局限与改进
作者明确承认的局限：失败模式分析只覆盖 GPT-6 Astra 一个配置——含子代理的轨迹文件人工审读成本极高，其他模型（或其他模型-harness 组合）可能以不同方式失败，其假阴性无法被准确标注，因此只有 GPT-6 Astra 的通过率做了人工修正；即便如此仍有 9/168（5.4%）的错误失败留存于最终榜单。每个物理领域只有 4-12 个任务，作者明说领域间通过率差异统计上不确定；Table 8 的任务级 bootstrap 置信区间显示 Opus 5.5（27.4%，CI [17.9, 36.9]）与 GPT-6 Astra (max)（23.2%，CI [13.7, 33.9]）等前三名配置在统计上无法区分（成对置换检验 $p\ge 0.05$），排行榜头部的排序意义有限。我自己的观察：56 个任务的规模对 RL 训练信号而言偏小，三重人工审查（一般审查、同行评审、失败分析）依赖 26 个机构的人力，扩展成本极高；rubric 主观性仍存——作者自己的原稿也有只得 50% 乃至被判 blocker 失败的案例（cpt-frustrated-chain-spectra、phase-controlled-optical-tweezer-holography），说明部分 rubric 对合法的替代路线容忍不足；评审 agent 存在家族偏袒（Opus 5.5 评 Claude 系放宽 7 个通过），虽被量化但未在校正后重发榜单；成本按供应商报告值计量，token 计数口径不统一，跨 harness 的成本对比需谨慎；此外 10 小时统一超时对实验类重任务可能偏紧，因基础设施失败虽可重跑，但模型自身原因的终止一律计 0 分，对慢而稳的策略不友好。
独立分析的弱点
第一，评审 agent 的模型偏袒：Opus 5.5 复评 Claude 系 rollouts 时比自己判 GPT 系时多放行 7 个（44 vs 37，$\kappa$ 从 0.81 降至 0.72），这意味着跨家族比较存在系统性偏置，改进方向是用异构评审委员会（多模型 + 规则仲裁）并对已知偏袒做校准或盲评。第二，残留假阴性率约 5.4%（9/168）：容差设计、任务表述歧义（如『最近邻里德堡阻塞区』隐含的哈密顿量近似要求）仍会错杀正确解，改进方向是把失败模式检查自动化——例如强制每个任务用多个不同家族的 SOTA agent 试跑并自动比对通过集合差异，或引入人类专家金标准试解。第三，统计功效不足：每配置仅 168 个 rollouts、任务间相关，头部配置的两两差异大多不显著，改进方向是扩充任务数或用任务内配对检验聚焦可分性报告。第四，失败分类法只建了一个模型的『病理档案』，而不同模型可能病在不同器官；改进方向是训练一个基于轨迹的自动失败标注器，把 14 类标签的覆盖扩展到全部 4364 个 rollouts。第五，pass/fail 门控丢弃了部分进展的信息：一个找对了物理模型但数值精度差 20% 的 agent 与完全跑偏的 agent 得分同为 0，改进方向是给 verifier 增加部分信用分级或在榜单上并行报告 verifier 通过率（文中已有，Fig. 7 的做法值得扩展）。第六，任务规模与领域不均衡（化学物理仅 4 个任务）：单任务通过率的摆动即可改变领域排名，改进方向是按领域扩容并预设分层置信区间。
未来方向
作者在结论中指出方向：真正有能力的物理科研 agent 应能超越给定任务、从问题定义到新发现自主探索，只靠高层指引工作；训练与评估这类 agent 需要更开放的研究任务和能评估探索性推理、部分进展与意外发现的灵活评估框架。基于本文成果可以自然延伸的方向包括：其一，把 14 类失败模式分类法升级为可执行的自动检测器（如检测循环自我验证的逻辑依赖图分析），嵌入 RL 训练环路作为过程奖励，针对性修复『严谨性』与『直觉』两大短板；其二，向其他实验科学（化学合成、生物实验、材料制备）复制『原作者出题』的范式，检验结论的领域迁移性；其三，建立人类物理学家（博士生、博士后分层）在同一任务上的基线通过率与耗时，给 27.4% 一个参照系——目前榜单缺人类对照；其四，扩展到多智能体协作科研（PI-agent + 博士-agent 分工）与长周期任务（多天、可中断续跑），考察 10 小时窗口之外的能力；其五，利用已发布到 HuggingFace 的 4364 条轨迹做跨模型失败模式对比研究，检验『严谨性不足』是否为行业通病；其六，研究 harness 的影响——GPT-6 Astra 在 max 与 xhigh 两档推理力度下通过率反而下降（23.2%→19.6%），值得系统研究推理力度、工具预算与长任务表现的非单调关系。
复现评估
复现条件较为透明但门槛不低。基础设施全部有名有姓：BenchFlow CLI 编排实验并记录轨迹、验证器与 rubric 结果，Daytona 承担轻量沙盒（4 vCPU/16GB RAM/10GB 存储以内），重负载任务用 Azure VM + Docker 并经 Lambda API 调 GPU；每 rollout 10 小时上限；评审 agent 统一为 GPT-5.6 Sol (xhigh) in Codex CLI。作者把所有 rollouts 的轨迹文件、评审 workspace 与评分结果整理成 HuggingFace 数据集发布，任务集（FrontierPhysics v0.1，56 任务、各带 task.md/rubric.json/verifier/oracle）随论文发布，附录 A/B/C 完整公开示例任务全文、56 任务清单与模态/活动标注，附录 E 公开全部 168 个 GPT-6 Astra rollouts 的逐 trial 失败标签。算力与费用估算：单配置全量 168 rollouts，以 Opus 5.5 均价 $26.95/rollout 计约需 $4500，26 个配置合计 4364 rollouts、整体推断成本估计在数万美元量级；时间上单 rollout 平均 1-3 小时（Mistral Large 4 最长 4.8 小时），全量评测需大规模并行沙盒。复现难度评估：重跑某个模型的榜单属中等难度（基础设施程序化、脚本齐全）；但要复现其质量保证流程——同行评审、失败模式人工分析、假阴性修正——则需要物理博士级人力，这是该基准最难复制也最有价值的部分。
论文图表
对比各配置的确定性通过率（验证器全过，柱形总高）与整体通过率（blocker 也全过，实心部分），显示两者之间的落差，例如 Opus 5.5 从 45.8% 降至 27.4%。
量化了 blocker rubric 造成的额外淘汰：大量 rollouts 数值结果正确但因物理理解、造假防线的 blocker 不合格而失败，说明『可发表性』比『算对』难得多。
展示 proposal.pdf 全文：交代锶原子一维链、$\Omega = 2\pi\times 6\ \mathrm{MHz}$、最近邻阻塞区的物理设定，定义中心键序参量 $\sigma_j = (-1)^j(n_j - n_{j+1})$，并留下四个需文献调研回答的问题；下半部分逐题列出文献必须提供的知识（(1+1)D Ising 普类、开放边界标度、二阶 PXP 等）、对应的关键文献（Fendley-Sengupta-Sachdev 2004、Bernien 2017 等）与由哪条 rubric 检查。
展示了『只给背景不给方法』的指令设计如何与 rubric 咬合：每个开放问题背后都有原作者知识背书的标准答案与评分点。
两组条形图：输入模态（表格数据 39%、文档 34%、信号与光谱 32%、源代码 30%、图像视频 14%、3D 几何 9%、原子结构 9%）与所需科研活动（验证 84%、数据分析 71%、建模 64%、模拟 61%、推导 41%、方法论 41%、规划 41%、优化 21%）。
刻画了任务集的能力覆盖面，说明基准不只考写代码，还大量要求读谱、建模与验证，帮助读者判断任务集与自己研究场景的匹配度。