← 返回 2026-04-15

空间能力基准测试（SCBench）：通过可执行输出评估大模型的全局约束空间推理能力 Spatial Competence Benchmark

Jash Vira, Ashley Harris 📅 2026-03-05 👍 2 2026-07-13 08:36
ICLR 2026 全局约束 可执行评估 基准测试 大语言模型评测 空间推理
arXiv HuggingFace PDF

22个任务/285子任务评估大模型在三维构造、全局约束和长时序规划上的空间能力。

前置知识

空间能力（Spatial Competence）

指维持对环境的内部一致性表征、并在该表征下推断离散结构与规划动作的能力。论文特别强调这不只是视觉问题，而是把空间当成可执行对象——需要在脑中维护一份「配置」并据此生成坐标、边集、动作序列等结构化输出，并通过确定性或仿真验证。

SCBench 的整体设计就是围绕这一定义展开：所有任务都要求可执行输出（不是 VQA 选择题），并由 verifier 或物理仿真器打分。读不懂这一区分，就无法理解为什么 SCBench 比现有空间基准（Mind the Gap、SpinBench 等）更接近真实工程问题。

公理化推理 / 构造性综合 / 规划三层能力阶梯

论文把空间能力按难度拆成三层：公理化推理（Axiomatic Inference）要求从点集或形式规则推断离散结构；构造性综合（Constructive Synthesis）要求生成满足全局约束的几何对象；规划（Planning）要求在物理/组合约束下输出长动作序列并由仿真器评判终端状态。三层之上是「global constraint consolidation（全局约束整合）」这一贯穿性难点。

读者要理解 SCBench 上所有模型都呈现 Axiomatic > Constructive > Planning 的单调下降，准确把握这三层定义是阅读 Table 1 与 Figure 1 三大代表任务的前提。

确定性验证器 + 仿真评估器

SCBench 的评分核心是两类自动化 grader：deterministic checker（用 Python/OpenSCAD 做几何/拓扑/流形等硬约束检查，如 CSG Union 的 watertightness、Delaunay 的空圆准则）和 simulator-based evaluator（用 PyBullet 模拟爆破后岩石滚落、用自制水力学模型迭代降雨）。两者都支持部分给分（partial credit）。

理解验证机制后，读者才能解释为什么 Delaunay Triangulation 任务在有工具时三模型都暴涨（+36 到 +56 pp）——调用 scipy.spatial.Delaunay 直接绕过判定准则；也能理解为什么「Terrrain Levelling」无人能解——多步动力学无法在生成时查询。

失败模式五分类（Failure-mode taxonomy）

论文独立定义 5 个互斥标签：Evasion/Forfeit（拒绝/空答）、Trivialized/Misframed（偷换问题）、Runaway Overthinking（长思考无产物）、Local-Only（局部正确但全局违反约束）、Near-Miss（几乎全对但单个谓词失败）。由 GPT-5.2-chat 作 judge，强制每条 subpass 打唯一标签，便于跨任务跨模型聚合。

这是论文最关键的诊断创新。Local-Only 占 Sonnet/Gemini 失败大头，是「空间能力」缺失的核心证据；理解这五个标签才能读懂 Figure 3 与 §3.3 的全部结论。

Token budget sweep（输出预算扫描）

为了分离「更多思考 token 能否换更多准确率」，论文固定最高推理档位，把模型的输出 token 上限 B 在 {1024, 4096, 8192, 32768, 65536}（GPT-5.2）/ {1025, 4096, 8192, 32768, 64000}（Sonnet）之间扫描。B 由 provider 端强制 + prompt 内告知，记录 API 报告的 realized output tokens。

这个实验产生 Figure 2，揭示「空间推理很快饱和」这一与一般数学/代码推理不同的现象。理解 B 的含义才能看懂 0.04→0.76→0.73 的拐点，以及为什么 Sonnet 烧更多 token 反而天花板更低。

研究动机

大模型在软件工程与竞赛数学上已达人类水平（Anthropic 2026、Qwen 2025、Stanford AI Index 2025），但空间能力——即在脑中维持环境配置并据此推断结构、规划动作的能力——至今没有严格评测。现行空间基准主要分两类缺陷：一类是「Selection-based probe」，例如 Mind the Gap、SpinBench、11Plus-Bench、Is a Picture Worth a Thousand Words 等，它们用 VQA/选择题只探测孤立原语（3D 旋转、视角切换），无法测出组合与多步推理；另一类是「窄域多步」基准，例如 Lego-Puzzles、OrigamiSpace、GamiBench、Unfolding Spatial Cognition，它们把多步空间推理局限在折纸/拼装/视觉模拟等单一场景，无法覆盖需要长动作序列的规划任务。文本-only 接口（Can LLMs See Without Pixels?、FloorplanQA）只测一种表征通道；物理打分（APEX、lmgame-bench、Probing Mechanical Reasoning）又各自只切问题的一面。共同短板是：缺少「输出即产物 + 程序化或仿真验证 + 可参数化生成以防记忆」三位一体的基准。

本文的目标是论文目标是用「空间能力（spatial competence）」统一框架，建立一个可执行、可验证、不可记忆的大模型空间能力基准。具体有三件事：(1) 设计 22 个任务共 285 个子任务，覆盖公理化推理、构造性综合、长时序规划三层；(2) 每个任务都要求结构化可执行产物（坐标、边集、动作序列、JSON），并配程序化 verifier 或物理仿真打分器，部分任务支持 partial credit；(3) 用实例生成器参数化难度，从根本上防止题库被背熟。最后把 Claude Sonnet 4.5、Gemini 3 Pro Preview、GPT-5.2 三家旗舰模型分别在 no-tools 与 tools（自带 Python 解释器 + Web Search）两种设置下跑通，输出准确率、token 预算效率、失败模式三类诊断。

与已有工作不同的是，现有基准大多停留在「测单个原语」或「测某个封闭应用」，而 SCBench 的独特切入是把空间任务视作「工程对象」：必须把局部正确（local geometry）与全局约束（global constraint）区分开，把思考 token 数量与有效推理质量区分开，把不可验证的自由文本输出排除掉。论文还首次系统地做了一个 post-hoc 失败归因层（GPT-5.2-chat judge + 五个互斥标签），把性能分数拆成可解释的「为什么错了」。这套「可执行产物 + 全局约束意识 + 失败归因」组合是它在 2025–2026 这一波空间基准（11Plus-Bench、SpinBench、OrigamiSpace、Mind the Gap、FloorplanQA）里最大的区别点。

核心方法

SCBench 的方法论可以概括为「以能力阶梯为骨架、以可执行输出为接口、以自动验证器为裁判」。作者先把所有空间任务分成三个难度递增的桶（axiomatic / constructive / planning），然后为每一桶挑出代表性任务并设计两类 verifier——对纯几何/拓扑命题用 Python+OpenSCAD 的确定性 checker（Delaunay 空圆、CSG watertight、Shikaku 平铺），对涉及动力学或多步因果的任务用自研仿真器（PyBullet 模拟爆破后岩石滚落、cell-based 降雨迭代）。每个任务的输入是 prompt + 可选参数，输出是 schema-conformant 结构化产物，由 verifier 给出 [0,1] 分数。论文在 §3 用三组实验剖析模型：(a) 主评估（no-tools vs tools 三模型对比），(b) Token 预算扫描（仅 axiomatic 桶，固定最高推理档位扫 B ∈ {1024…65536}），(c) 失败模式诊断（GPT-5.2-chat 作 judge，对 score<0.6 的所有 subpass 强制打五标签之一）。直觉上，论文把「空间能力」操作化成「能否在约束满足的前提下产生可验证产物」，方法上刻意剥离视觉，把空间推理的瓶颈放到纯语言通道（必要时配代码执行）。

核心创新在于三个层面。第一，把输出接口从「自然语言」强制改为「结构化可执行产物 + 程序化 verifier」，逼模型产出可被机械验证的坐标 / 边集 / JSON，而不是靠判官主观打分。第二，提出「local vs global」的双层失败观，并通过 5 个互斥标签把抽象的「准确率低」翻译成具体的「哪里断」：例如 Two Segments 任务里模型正确使用 Euler 公式但破坏了面数约束、Classify Behaviour 子任务 9 只错一个角落配置——这些是选择题式基准永远看不到的信号。第三，把 token 预算扫描做在「最高推理档位」的 axiomatic 桶上，以「realised output tokens」作为横轴，得到 Figure 2 的「空间推理容量饱和」曲线，这一点比泛泛的「更多思考更好」更精细。和已有方法（如 11Plus-Bench 的认知分解、SpinBench 的旋转视角、OrigamiSpace 的多步约束）相比，SCBench 不限定一种原语或一种应用，而是把全局约束整合当作统一靶心。

方法步骤详情

完整流程按 benchmark→evaluate→diagnose 三步走。Step 1（任务构造）：从 22 个原始任务模板生成 285 个 subpass，每个 subpass 由 (a) 参数化实例生成器（控制半径、点数、网格大小、约束项数等难度维度）+ (b) prompt 模板 + (c) schema 化输出定义（如 CSG 的 polyhedron JSON、Hyper-Snake 的 Nd 路径列表、Delaunay 的三角形索引三元组）+ (d) 评分函数四件套构成；其中 11 个任务用 binary pass/fail，另外 11 个用 task-specific metric 给 partial credit。Step 2（执行评估）：每个 subpass 用 single-turn zero-shot 单样本提交到 provider，6 个 run 分别是三模型 × {no-tools, tools}；no-tools 只能产出最终结构化答案，tools 可调用 provider 提供的 code_interpreter/code_execution 与 web_search（评测设置见表 3：GPT-5.2 reasoning effort=xhigh，Sonnet thinking 拉到 max+extended-thinking 预算 B-1，Gemini thinking_budget=HIGH，温度统一为 provider 默认）。所有输出都喂进对应 verifier，Delaunay/Hyper-Snake/Hide and Seek 等任务还辅以 OpenSCAD 或 PyBullet 二次仿真。Step 3（归因诊断）：把 score<0.6 的所有 subpass 喂给 GPT-5.2-chat（Medium 推理），每条样本附带原 prompt、原始输出、推理痕迹（Gemini 3 Pro 不暴露则留空）、任务卡（intent/output contract/hard constraints/verifier signals/tie-break）、verifier diff，强制返回单一 failure_mode + confidence + justification。Step 4（预算扫描）：仅在 axiomatic 桶上，把 B 从 1024 逐步抬到 65536（GPT-5.2）或 64000（Sonnet），既在 provider 端强制上限也在 prompt 内写明，记录 API 返回的 realized output tokens（包含 reasoning tokens），按均值画精度曲线。

技术新颖性

技术新颖性集中在四个维度。(1) 任务层：把空间能力组织成「公理化 / 构造性 / 规划」三桶而非按模态（文本/视觉/视频）或按原语（旋转/拓扑/路径）切，覆盖率更高且难度梯度是单调的，这一点在 Table 1 三模型上都被复现。(2) 接口层：所有任务都强制 schema-conformant 结构化输出，配合 deterministic 或 simulator-based evaluator；这一组合在 Lego Hemispherical Shell（OpenSCAD 体积相似度）、Pipe Loop Fitting（多约束 BFS）、Terrain Levelling（PyBullet 落石仿真）等任务上给出了物理上可解释的评分。(3) 诊断层：post-hoc GPT-5.2-chat judge + 五个互斥标签，把「得分低」拆成可比较的 failure-mode 分布，Figure 3 显示 Local-Only 是 Sonnet 与 Gemini 的主失败模式，且工具只能把 Evasion 转为 Local-Only 而不能根除。(4) 容量层：把 token 预算显式当成横轴，发现 GPT-5.2 在 B=32768 之后精度反而从 0.76 掉到 0.73，Sonnet 在 B=32768 之后持平——这是空间推理区别于数学/代码推理的关键证据：更多思考换不来更多全局约束整合。

Representative task from each bucket. (a) Two Segments (Axiomatic); (b) Voxel Grid Projection (Constructive); (c) Fluid Simulation (Planning).
Figure 1: Representative task from each bucket. (a) Two Segments (Axiomatic); (b) Voxel Grid Projection (Constructive); (c) Fluid Simulation (Planning).
Lego Hemispherical Shell (1, 2). (Left) A valid Lego hemisphere, 1524 bricks. (Right) CSG intersection of Lego structure and hemispherical goal.
Figure 5: Lego Hemispherical Shell (1, 2). (Left) A valid Lego hemisphere, 1524 bricks. (Right) CSG intersection of Lego structure and hemispherical goal.
CSG Union (1, 2). (Left) Two cylinders intersecting at right angles at the origin, as described by the prompt. (Right) Two cubes intersection.
Figure 7: CSG Union (1, 2). (Left) Two cylinders intersecting at right angles at the origin, as described by the prompt. (Right) Two cubes intersection.
The shadow cast from dozens of non-intersecting tetrahedra can form complex 2D shapes, like this washer-shape formed from a spiral.
Figure 9: The shadow cast from dozens of non-intersecting tetrahedra can form complex 2D shapes, like this washer-shape formed from a spiral.
Voxel Grid Projection. Valid solution to 20×20×20, 500 voxels, and no voxel having "7" in str(x + y + z). "Noise" voxels are used to plug gaps and break symmetry.
Figure 10: Voxel Grid Projection. Valid solution to 20×20×20, 500 voxels, and no voxel having "7" in str(x + y + z). "Noise" voxels are used to plug gaps and break symmetry.
3D Maze (1). A valid 3D maze with 7 jumps (shown in yellow).
Figure 12: 3D Maze (1). A valid 3D maze with 7 jumps (shown in yellow).
Polynomial Curve Fitting (2). Expected (left) vs. actual (right): a model's attempt at a 128×128 space partition.
Figure 15: Polynomial Curve Fitting (2). Expected (left) vs. actual (right): a model's attempt at a 128×128 space partition.
Hamiltonian Loop (1). A 16×16 grid with 228 visitable cells and a solved Hamiltonian loop.
Figure 16: Hamiltonian Loop (1). A 16×16 grid with 228 visitable cells and a solved Hamiltonian loop.
Hyper-Snake (1). (Left) 2D snake is trivial. (Right) The snake might struggle to access the food due to being blocked by 3 boxes (in X, Y, and Z). However this is a 4D snake, and the W axis is not blocked, allowing the food to be accessed as the snake's final act.
Figure 17: Hyper-Snake (1). (Left) 2D snake is trivial. (Right) The snake might struggle to access the food due to being blocked by 3 boxes (in X, Y, and Z). However this is a 4D snake, and the W axis is not blocked, allowing the food to be accessed as the snake's final act.
Pipe Loop Fitting (1). 14 lengths of pipe laid out end-to-end in a 3×3 square.
Figure 19: Pipe Loop Fitting (1). 14 lengths of pipe laid out end-to-end in a 3×3 square.
Pack Rectangular Prisms (1). 108 prisms (8 size classes) packed 96% effectively.
Figure 22: Pack Rectangular Prisms (1). 108 prisms (8 size classes) packed 96% effectively.
Fluid Simulation (1). A successful earthworks project that diverts rainfall from the centre of the map to 3 unconnected lakes.
Figure 24: Fluid Simulation (1). A successful earthworks project that diverts rainfall from the centre of the map to 3 unconnected lakes.
Topology Enumeration (1, 2). (Left) Labelling the 4 corners with alternating 1s and 0s ensures that a border between classes must touch all edges, and thus a boundary between the two classes must exist inside the square. (Right) 3 corners labeled 0 and 1 labeled 1 infers a class boundary intersecting 2 edges.
Figure 31: Topology Enumeration (1, 2). (Left) Labelling the 4 corners with alternating 1s and 0s ensures that a border between classes must touch all edges, and thus a boundary between the two classes must exist inside the square. (Right) 3 corners labeled 0 and 1 labeled 1 infers a class boundary intersecting 2 edges.
Shikaku Rectangles. A solved 7×7 instance: each coloured rectangle contains exactly one clue equal to its area.
Figure 36: Shikaku Rectangles. A solved 7×7 instance: each coloured rectangle contains exactly one clue equal to its area.

实验结果

实验一（主评估，Table 1）显示三模型整体得分 Gemini 3 Pro Preview 与 GPT-5.2 并列 57.6%，大幅领先 Claude Sonnet 4.5 的 34.9%，三模型都呈现 Axiomatic > Constructive > Planning 的严格单调下降（Axiomatic 75–81 → Constructive 30–52 → Planning 27–50），证明这是一个模型无关的能力梯度而非模型差异噪声。桶内工具效应差异显著：Constructive 桶三模型都正收益（Sonnet +4.3 / Gemini +12.3 / GPT-5.2 +15.0 pp），其中 GPT-5.2 在 Tetrahedra Shadow Projection 上拿了 +68.5 pp 的工具红利；而 Axiomatic 桶 Gemini (-6.7) 与 GPT-5.2 (-4.0) 开工具反而退步，说明工具开销会挤占原本能解的题；Planning 桶 Gemini 在 Hyper-Snake 单任务拿到 +59.3 pp 的极端提升，但 Sonnet (-7.8) 与 GPT-5.2 (-8.3) 都下滑，表明在多步动力学任务上工具有时反而是干扰。最一致的工具红利在 Delaunay Triangulation（Sonnet +56.0 / Gemini +36.0 / GPT-5.2 +48.0 pp）——直接调库即可。Fluid Simulation（单步盆地构造）所有模型都拿高分（Sonnet 72.7 / Gemini 68.2 / GPT-5.2 100.0），但 Terrain Levelling（多步爆破+落石仿真）所有模型 0%。实验二（预算扫描，Figure 2）：在 axiomatic 桶上 GPT-5.2 的 no-tools 精度从 B=1024 的 0.04 提升到 B=32768 的 0.76，再在 B=65536 略微回落到 0.73；Sonnet 从 B=1025 的 0.12 升到 B=32768 的 0.55 后持平。Sonnet 在可比预算下消耗更多 realized output tokens 但到达更低天花板，证明烧 token 不能替代低效空间推理；高预算下两边 token 继续涨而精度持平，确认空间推理容量存在饱和。实验三（失败模式，Figure 3）：Local-Only 在 Sonnet 与 Gemini 失败中占主导，开工具后 Sonnet 的 Local-Only 从 68% 降到 44%、Evasion/Forfeit 反而三倍上涨，GPT-5.2 的 Evasion 从 68% 降到 44% 而 Local-Only 上升，Gemini 分布几乎不变。代表性案例包括 Two Segments 里模型用对 Euler 公式却产出「应五边形但出四边形」的 Local-Only、Classify Behaviour 子任务 9 仅错一个边界配置的 Near-Miss、Delaunay 子任务 21 直接放弃返回空三角化的 Evasion。

Bucket-level accuracy (%) on SCBench (no tools). Coloured deltas denote tools minus no-tools (percentage points). Per-task breakdown in Table 2 (Appendix A.1).
Table 1: Bucket-level accuracy (%) on SCBench (no tools). Coloured deltas denote tools minus no-tools (percentage points). Per-task breakdown in Table 2 (Appendix A.1).
Per-task accuracy (%) on SCBench (no tools). Per-task accuracy is the mean subtask score; bucket and overall accuracy weight every subtask equally.
Table 2: Per-task accuracy (%) on SCBench (no tools). Per-task accuracy is the mean subtask score; bucket and overall accuracy weight every subtask equally.
Per-provider evaluation settings for the six runs (single-turn, zero-shot, one sample per instance, no self-correction).
Table 3: Per-provider evaluation settings for the six runs (single-turn, zero-shot, one sample per instance, no self-correction).
Accuracy vs. mean realised output tokens across budget caps (highest reasoning mode, no tools).
Figure 2: Accuracy vs. mean realised output tokens across budget caps (highest reasoning mode, no tools).
Failure-mode distribution over judged failed or low-score subpasses, comparing no-tools and tools runs across all three model families.
Figure 3: Failure-mode distribution over judged failed or low-score subpasses, comparing no-tools and tools runs across all three model families.
查看结构化数据
任务指标本文基线提升
SCBench Axiomatic 桶（75 subpass） Accuracy (%) Sonnet 49.3 / Gemini 81.3 / GPT-5.2 74.7 (no-tools) 无；桶内包含 Topology Enumeration、Enumerate Edges、Classify Behaviour、Half-Subdivision Neighbours、Two Segments 5 个任务 Gemini 最高，比 Sonnet 高 32.0 pp；工具下三模型平均+1.2 pp 但 Gemini/GPT-5.2 略退步
SCBench Constructive 桶（171 subpass） Accuracy (%) Sonnet 30.2 / Gemini 51.4 / GPT-5.2 51.9 (no-tools) 无；含 CSG Union、Tetrahedra Shadow、Voxel Grid Projection、Polynomial Curve Fitting、Delaunay、Hamiltonian Loop、Pipe Loop、Hide and Seek、Pack Rectangular Prisms、Interlocking Parts、Largest 3D-Printable Prime、Shikaku 共 12 个任务 工具后三模型普遍 +4.3 到 +15.0 pp，GPT-5.2 在 Tetrahedra Shadow +68.5、Delaunay +48.0
SCBench Planning 桶（39 subpass） Accuracy (%) Sonnet 27.5 / Gemini 39.0 / GPT-5.2 50.0 (no-tools) 无；含 3D Maze、Hyper-Snake、Fluid Simulation、Terrain Levelling 4 个任务 Gemini 工具后 +23.6 pp（Hyper-Snake 单任务 +59.3）；Sonnet/GPT-5.2 工具后反而 -7.8/-8.3 pp
SCBench 整体（285 subpass） Overall Accuracy (%) Sonnet 34.9 / Gemini 57.6 / GPT-5.2 57.6 (no-tools) 无；三桶等权加权 工具后 Sonnet +3.2 / Gemini +8.8 / GPT-5.2 +6.8 pp；最高分仍仅 64.4% (Gemini 工具)
Fluid Simulation（单步构造型规划，11 subpass） Task accuracy (%) Sonnet 72.7 / Gemini 68.2 / GPT-5.2 100.0 (no-tools) 构造仅需单步挖盆地即可 GPT-5.2 满分；工具后 Gemini +4.5，Sonnet -12.1，GPT-5.2 -15.9（出现「装工具反而过度构造」）
Terrain Levelling（多步仿真规划，9 subpass） Task accuracy (%) Sonnet 0.0 / Gemini 0.0 / GPT-5.2 0.0 (no-tools & tools) — 0%（无任何模型能输出让岩石有效滚入谷地的爆破序列）
Delaunay Triangulation（25 subpass） Task accuracy (%) Sonnet 8.0 / Gemini 4.0 / GPT-5.2 16.0 (no-tools) 无工具纯靠空圆准则推理 工具后三模型集体暴涨 +36.0 到 +56.0 pp（直接调 scipy.spatial.Delaunay 即可）
Lego Hemispherical Shell（8 subpass） CSG 体积相似度（%） Sonnet 0.0 / Gemini 0.2 / GPT-5.2 0.0 (no-tools) 无 工具后 Gemini +15.4，其余无改善——构造稳定 Lego 半球壳仍近乎全军覆没

局限与改进

作者明承认的限制：(1) 当前评测是 single-turn、zero-shot、单样本，没有多轮交互或自纠错；(2) 模型覆盖仅三家旗舰（Claude Sonnet 4.5、Gemini 3 Pro Preview、GPT-5.2），没有开源/小模型对照；(3) judge 使用 GPT-5.2-chat Medium 推理，存在「用模型评判模型」的循环依赖，且 Gemini 3 Pro 不暴露推理痕迹，诊断信号天然缺失；(4) 任务集虽 22 个但每个 subpass 仅 1 次采样，无法估计方差；(5) 输出 token 预算扫描只覆盖 axiomatic 桶，结论不能直接外推到 constructive / planning；(6) 工具设置固定为 provider 自带 Python 解释器 + Web Search，没有控制不同 tool 通道的隔离效应。本人额外观察到的限制：(a) 任务高度依赖 OpenSCAD / PyBullet / 自研流体仿真器，对外部开发者复现存在工程门槛；(b) Terrain Levelling 的零分并非「模型不会挖」，而是「prompt 要求按 (x,y,depth) 提交爆破计划，而 PyBullet 仿真揭示出深钻+平地的爆破几乎无效」——这个隐性 domain knowledge 写在了 Appendix B.13 而非主文，模型的 prompt 缺乏这种推理线索；(c) 「Lego Hemispherical Shell」8 子任务全模型接近 0 分，且 prompt 给出 75% 悬挑的具体例子暗示存在死规则，但作者未充分讨论为什么三模型都没利用这种 physics-level 提示；(d) Vertex labelling 类 (Topology Enumeration、Enumerate Edges) 任务 Gemini 工具后从 100 跌到 50，GPT-5.2 从 30 跌到 18——说明简单规则枚举反而被工具扰乱，是评测本身的副作用，论文没有深入剖析；(e) 没有 ablation 区分「Python 解释器」与「Web Search」两个 tool 的独立贡献。

独立分析的弱点

(1) 评估只看零样本首答：所有 22 个任务都 single-turn、no self-correction，这对规划类（3D Maze、Hyper-Snake）尤其不公——人类解 Hamiltonian 回路本身就需要试错，论文用「单次提交」的方式测了一个「极度压缩」的能力。可以改进为允许 k 步 rollout + best-of-k 选优，或借鉴 SWE-Agent 的多轮反思。(2) 失败模式五分类依赖 GPT-5.2-chat 自评：评委与被评者同源会引入系统性偏差，特别是 GPT-5.2 在自己失败时被标 Evasion 比例高、Local-Only 比例低。建议引入 rule-based verifier 信号作为 ground label、用人类专家对 100 条左右 subpass 标定作为校准集。(3) Token 预算扫描只做在 axiomatic 桶：constructive 与 planning 上的饱和曲线才是真正关键，特别是 Terrain Levelling 在 B=65536 下是否还 0%？补一组 scanning 能直接回答「算力是不是空间规划的硬瓶颈」。(4) 评测温度全部用 provider 默认，但 reasoning_effort=high/xhigh 与 thinking_budget 仍属于隐藏变量，导致 Sonnet 与 Gemini 的「最高档」未必可比。改进方向：把所有采样超参显式列出并对每档跑 5 次取平均，给出置信区间。(5) 任务设计存在「Lego Hemispherical Shell 几乎 0%」「Largest 3D-Printable Prime 几乎 0%」的悬而未决项，作者没解释这些任务是否设得过难——可能是 prompt 信息不足（缺物理/材料暗示），也可能是 grader 太严（65% 体积相似度才算 perfect）。改进方向：把 prompt 与评分标准一起改，先在小模型上做 ablation 让 ground truth 难度曲线平滑。(6) 工具调用的副作用没有独立分析：Constructive 桶三模型都正收益，但同时部分任务（如 Vertex labelling）反而退步。论文应把 code_execution 与 web_search 的贡献拆开，否则工具红利的真实机制说不清。

未来方向

作者提出的方向：把评测扩展到多轮交互 + self-correction + 跨模型家族的可比协议。本人基于论文成果进一步延伸：(a) 既然 Local-Only 是主失败模式，可以设计「explicit global constraint checklist」的 prompt 模板，看是否能压低 Local-Only 比例；(b) 把图神经网络、约束求解器（Z3、OR-Tools）作为可调用 tool 暴露给模型，验证工具从「数值计算」升级到「约束传播」后能否进一步打破 Constructive/Planning 天花板；(c) 把 285 个 subpass 拆成「纯空间推理」与「含语义干扰」两层，看模型退化多少，从而把「空间能力」与「指令遵循能力」解耦；(d) 借助 SCBench 的程序化实例生成器，做 RL 训练：把 verifier 分数当 reward，验证自训能否显著压低 Local-Only；(e) 把预算扫描扩展到 chain-of-thought trace 上而非仅 final output，看模型是否在中间步骤已违反全局约束；(f) 探索更细的失败子分类，例如把 Local-Only 拆成「局部形状错」与「局部拓扑错」，给模型反馈时更精准；(g) 在视觉-语言模型上做镜像实验，验证 paper 的结论（视觉通道是缓解还是加剧全局约束整合难题）。

复现评估

代码与数据全部开源（github.com/ashleyharris-maptek-com-au/SpatialCompetenceBenchmark/tree/iclr_2026），包含 22 个任务的 prompt 模板、参数化实例生成器、deterministic / simulator-based verifier、Three.js 风格的可视化工具。复现需要的资源：调用 OpenAI / Anthropic / Google 三家 provider 的旗舰 API（GPT-5.2、Claude Sonnet 4.5、Gemini 3 Pro Preview），按主文 6 个 run × 285 subpass 单样本计算，整体开销属于中等规模 API 预算；额外依赖 OpenSCAD（CSG 验证与流体渲染）、PyBullet（爆破岩石仿真）、自实现的降雨迭代器与 Shikaku / Delaunay / Hamiltonian 的 reference solver，作者都给出了参考实现。复现难度整体偏低，但存在三个工程坑：(1) Gemini 3 Pro Preview 是私有 preview，外部可能拿不到一致的 reasoning trace；(2) 各 provider 的 reasoning_effort 参数语义不同，「最高档」未必真正可比，建议复现者补一遍 ablation；(3) Terrain Levelling 用 PyBullet 做物理仿真，需保证版本一致，否则落石轨迹会偏离原始评分。综合可复现度中等偏上，主要风险来自 API 版本漂移与仿真器版本不匹配。

论文图表

Local-Only failure example on Delaunay Triangulation (curated 28-point subpass, seed 1009; Claude Sonnet 4.5 no-tools).
Figure 4: Local-Only failure example on Delaunay Triangulation (curated 28-point subpass, seed 1009; Claude Sonnet 4.5 no-tools).

左图为 28 点 ground-truth Delaunay 三角剖分，右图为 Sonnet 在 no-tools 下的输出三角集合。Judge 判定为 Local-Only (Global Constraint Integration Failure)，confidence 0.90，因为输出 schema 合规但 verifier 报告大量 missing/extra triangles。

用一个具体案例展示 Local-Only 失败的样子——局部三角形几何合理但全局组合不满足空圆准则，是理解 Figure 3 主失败模式的最佳具象。

Terrain Leveling (1, 2). (Left) Typical starting world, with the largest flat city (5 cells) shown in green, 16×16 with z range 1 to 10. (Right) Typical blasting plan.
Figure 25: Terrain Leveling (1, 2). (Left) Typical starting world, with the largest flat city (5 cells) shown in green, 16×16 with z range 1 to 10. (Right) Typical blasting plan.

左图为典型 Perlin 噪声生成的高度场（16×16，z 范围 1–10），绿色标注当前最大平坦城市 5 格；右图为模型提交的爆破计划（按 (x, y, depth) 排序）。爆破后岩石在 PyBullet 仿真里滚落并堆积在低洼，从而改变最大平坦区域大小。

Terrain Levelling 是 Planning 桶唯一全模型 0 分的任务——直观解释为何多步动力学（爆破→落石→再平衡）超出当前 LLM 一次性输出能力。

Terrain Leveling (3, 4). (Left) Blue cells represent the new city after leveling. (Right) Terrain delta for the blast pattern.
Figure 26: Terrain Leveling (3, 4). (Left) Blue cells represent the new city after leveling. (Right) Terrain delta for the blast pattern.

左图为爆破后形成的更大蓝色平坦城市；右图为爆破前后高程差可视化（红=高程下降、蓝=高程上升）。

Terrain Levelling 任务的最终效果可视化，反向说明 prompt 要模型在生成时预测物理演化，对 LLM 几乎是不可解的。

Largest 3D-Printable Prime (1, 2). (Left) A model's suggestion of 3,317 is not 3D-printable: the brown digit 1 sags without support, scoring 0. (Right) The largest 3D-printable prime without repeating triplets.
Figure 30: Largest 3D-Printable Prime (1, 2). (Left) A model's suggestion of 3,317 is not 3D-printable: the brown digit 1 sags without support, scoring 0. (Right) The largest 3D-printable prime without repeating triplets.

左图为模型提交的 3,317——棕色 1 没有支撑被判定失败；右图为参考最大可 3D 打印素数（数字串 ~3000 位，无重复 3-digit 三元组）。

展示 Largest 3D-Printable Prime 任务的典型失败（左）与参考解（右），解释为何此任务三模型几乎全 0%——既要找大素数又要满足 3D 打印支撑约束。

Delaunay Triangulation (1). This triangulation required 5 triangles; 6 were provided.
Figure 35: Delaunay Triangulation (1). This triangulation required 5 triangles; 6 were provided.

8 点 2D 坐标集的真实 Delaunay 三角剖分需 5 个三角形，模型给出 6 个（多了一个 [0,1,2] 三角形）。

展示 Delaunay Triangulation 任务的典型 Local-Only 失败——多出的三角形局部几何合理但破坏全局空圆准则，与 Figure 4 形成对照。

Two Segments. The model must place two segments on the square boundary to partition the interior into a target set of regions (here: 1 pentagon, 2 quadrilaterals, and 1 triangle).
Figure 37: Two Segments. The model must place two segments on the square boundary to partition the interior into a target set of regions (here: 1 pentagon, 2 quadrilaterals, and 1 triangle).

在单位正方形边界上放两条线段，使内部被分成指定面数与多边形类型（本例：1 个五边形 + 2 个四边形 + 1 个三角形）。

对应 Figure 1(a) 的 Axiomatic 桶细节展开；Sonnet 虽能用对 Euler 公式却仍产 Local-Only 失败，是 Figure 3 主失败模式的经典案例。