CreativityBench：基于可供性工具重用的智能体创造性推理评测基准

通过构建4K实体/15万可供性知识库与1.4万任务，系统揭示LLM在部件级创造性工具重用上的根本性短板

前置知识

可供性(Affordance)

可供性是认知科学和机器人学中的经典概念，由心理学家James J. Gibson提出，指物体因其物理属性而天然支持某些动作的可能性。例如杯子的把手'可供'抓握，玻璃的尖锐边缘'可供'切割。一个物体的可供性来源于其内在属性（材质、形状、硬度）和外部状态（是否完好、温度等），而非其名字或标签。在本文中，可供性被形式化为四元组 $f = (a, C_u, C_e, C_r)$，其中 $a$ 为具体动作，$C_u, C_e, C_r$ 分别为使用条件、环境条件和受体条件。

本文核心论点是创造性智能的本质就是发现物体在非常规情境下的可供性。如果不先理解affordance的概念，就无法理解作者为何要把评测粒度下沉到零件级和属性级，也无法理解为何LLM会'选对物体但用错部件'。

创造性工具使用(Creative Tool Use)

指在面对约束情境时，把手头物品以非其设计初衷的方式用于解决问题。例如用钥匙撬开密封箱、用鞋拔子当锤子等。它强调两点：一是novelty（非显而易见的用法），二是grounded（必须物理上可行）。与普通的工具调用（如'调API查天气'）不同，creative tool use 要求模型理解物体的结构属性并重新组合出功能性方案，是人类生活智能的重要组成。

本文把'创造性'严格操作化为affordance-based tool repurposing，这一定义把过去心理学中含糊的'创造力'测量转化为了可量化、可验证的具体任务形式，是评测方法上的核心创新。

链式思考提示(Chain-of-Thought, CoT)

一种提示工程技巧，让LLM在给出最终答案前显式输出中间推理步骤，例如'先列出工具清单→拆解部件→推断物理属性→推导可供性→验证约束'。CoT 在数学推理等任务上已被证明能显著提升LLM的逐步推理表现，但其在需要发散思维的任务上是否同样有效仍是开放问题。

本文专门做了CoT的对照实验，发现其在creative tool use任务上几乎不提升甚至有时变差，这对'好推理=好创造'这一常见假设形成了直接挑战。

FTS5全文检索与LLM-as-Judge评测

FTS5是SQLite内嵌的全文搜索引擎，常用于论文/任务的快速检索；LLM-as-Judge则是用一个大语言模型替代人类对生成结果打分，常用于自动评测，但需要小心设计prompt以避免偏差。本文使用Gemini-3.1-Flash-Lite作为裁判模型。

理解本文评测协议需要知道：本文用了双重验证机制（intra-entity + inter-entity）确保任务答案唯一性，并用LLM-as-Judge对预测进行六维度打分，这影响了结果可信度的评估。

研究动机

现有LLM评测体系严重偏向分析性智能和实践性智能，而对创造性智能几乎没有系统化的测量。Sternberg的智力三元论指出人类智能包含分析性、实践性和创造性三个维度，但前者已被MATH、GSM8K、GAIA、BrowseComp等基准覆盖，后者却长期缺乏严格评测。具体来说，现有创造力相关基准（如MacGyver、EscapeBench、Creation-MMBench、VisEscape）大多基于场景驱动或prompt生成，任务构造并非围绕物体的细粒度可供性展开，导致评测重心落在'规划'和'执行'上，而非模型能否识别'具体哪一个零件、靠什么物理机制、能完成什么动作'这种零件级、属性级的可供性推理。作者的前置研究（100个MacGyver任务的CoT对照实验）显示，即使给GPT-4.1-mini加上结构化CoT（工具清单→部件分解→属性推断→可供性推导→约束验证），其绝对打分在可行性上仅从3.44升到3.52、物理基础性从3.44升到3.54，创意推理维度甚至出现下降——这说明问题根源不是模型缺推理结构，而是缺乏可灵活重组的、扎根物理的可供性知识。

本文的目标是本文的目标是建立第一个大规模、可物理落地的可供性知识库（KB）以及基于此的创造性工具使用评测基准 CreativityBench，使得'创造性智能'能像分析性智能一样被独立、可重复、可扩展地测量。具体包含三个子目标：(1) 构建一个结构化可供性KB，显式链接 entity → part → attributes → affordance，约含4K实体、26K部件、157K可供性标注；(2) 设计14K个'反推式'任务——从已知可供性反推出场景，要求模型在多条候选工具中找出能执行非常规动作的正确实体+正确部件；(3) 在闭源/开源共10个SOTA LLM上做系统评测，回答'模型规模、推理能力、CoT、交互式探索'哪些因素能真正提升创造性。

与已有工作不同的是，本文的独特切入角度是把'工具'从符号层面的标签（如'这是一把剪刀'）解耦为'物理可供性的载体'。换言之，一把剪刀的真正价值不在于它叫'剪刀'，而在于它的刀刃'锋利且坚硬'所以'可供切割'，它的手柄'有弧度'所以'可供握持'。通过把评测单元下沉到 part-level（部件级）和 attribute-level（属性级），本文绕过了以往创造性评测中'语义对齐代替物理理解'的陷阱。另一个独特之处是采用 reverse-engineering 任务生成：从一个已标注的可供性反推出场景，确保每个任务都有清晰的金标准推理轨迹，而不只是开放式头脑风暴。这种自下而上的构造方式让'什么算创造性解决方案'第一次有了客观、可验证的边界。

核心方法

方法整体上是一个 '自顶向下构建可供性KB + 自底向上反推生成任务 + 双向验证保证唯一性' 的三段式流水线。先用LLM辅助的大规模标注流程把日常实体按 entity → parts → physical/state attributes → affordances 的层级结构展开，得到结构化可供性知识库；再利用reverse-engineering的方式，从KB中已经存在的affordance出发，反向合成需要这一affordance才能解决的自然语言场景；最后通过intra-entity和inter-entity两级比较，自动剔除那些让金标准方案被其他更优方案压制的任务，确保每条任务的正确答案具有唯一性。整个流程都用GPT-5.2做自动化标注与判断，再用外部LLM-as-Judge（如Gemini-3.1-Flash-Lite）做最终打分。直觉上，这相当于把'什么是创造性地使用工具'这个问题，先拆解为'什么是物理上可行的可供性'，再把可供性用部件和属性锚定，最后才让模型在场景中去发现它。

本文与已有创造力评测的本质区别有三点。第一，提出四级层级可供性表示 $e \to P(e) \to A(p) \to F(p)$，把可供性显式锚定到部件的物理属性之上，而非像PIQA那样仅做对象-动作对的语义匹配，或像SYNTHIA那样只做概念上的part-affordance关联。第二，任务生成采用reverse-engineering：不是从场景去找工具，而是从'已知的非显而易见可供性'反推场景，这从根本上保证了每条任务都'必须有创造性思维才能解'，且有可验证的金标准。第三，使用基于affordance聚类的可控难度采样：每个任务的难度可由gold cluster size（常见/长尾）、affordance typicality level（normal到emergency五级）、distractor count、distractor similarity四个旋钮独立调节，使得后续分析可以做'控制变量式'的细粒度实验。

方法步骤详情

方法包含四个关键阶段。**阶段一：实体分解（Entity Decomposition）**。从ConceptNet 5.5中采样八个室内场景（厨房、客厅、卧室等）的常见实体，对每个实体 $e$ 分解为互不重叠的部件集 $P(e) = \{p_1, p_2, ..., p_n\}$，满足完整性（部件并集覆盖整体）、非重叠性、且每一部件在结构或功能上有独立意义。**阶段二：属性标注（Attribute Annotation）**。对每个部件 $p \in P(e)$ 标注两类属性：物理属性 $A_p(p)$（几何形状、材质、刚性、弹性等内禀不变属性）和状态属性 $A_s(p)$（可见性、温度、湿度等可随交互改变的属性）。同一实体在不同状态下可供性可能截然不同（例如干燥且空的真空袋'可供储物'，干燥且装满的真空袋则'可供临时坐垫'），所以同一实体名会按状态属性展开为多个变体实例。**阶段三：可供性标注（Affordance Annotation）**。对每个部件 $p$ 标注可供性集 $F(p) = \{f_1, ..., f_m\}$，每个 $f_i$ 是一个四元组 $(a, C_u, C_e, C_r)$，分别表示动作、使用条件（如'需先打碎玻璃'）、环境条件（如'需有光源'）、受体条件（如'被作用物需比玻璃软'）。同时按typicality分为normal affordance和emergency affordance，后者再用 $l \in \{1, ..., 5\}$ 的等级量化'重用的自然程度'。最终KB含3,816实体、26,238部件、288,318物理属性、124,972状态属性、157,427条可供性。**阶段四：反推式任务采样与验证**。先用 Text-Embedding-3-Large 对每个场景内的affordance做complete-linkage层次聚类（约3.5K簇/场景），然后按可控因子（cluster size、typicality level）采样gold affordance $f^*$，再LLM合成自然语言场景 $S$ 使得 $S \Rightarrow (C_u \land C_e \land C_r) \land a$，并通过两级比较验证 $f^*$ 在intra-entity和inter-entity中均最优，否则重采样，最后再按distractor count和affordance similarity采样干扰项。最终生成约14K任务。

技术新颖性

技术新颖性主要体现在三个层面。在数据表示层面，把'affordance'从传统的对象-动作二元关系升级为'对象-部件-属性-动作-条件'五元结构，并通过状态属性的引入让同一实体名能映射到多个affordance变体，使得知识表达力足够支撑非显而易见的创造性推理。在任务生成层面，reverse-engineering + 双向验证 + 可控难度采样这三件套的组合，避开了已有创造力基准（如MacGyver依赖人工scenario设计、EscapeBench依赖LLM自由生成）中常见的'答案模糊、难度不可控、扩展性差'三个问题。在评测协议层面，把Tool Usage分解为Gold Correct Rate（实体+部件双对）和Entity Correct Rate（仅实体对）两个客观指标，再加上约束覆盖（$C_u/C_e/C_r$ 三细分）、物理基础性、动作可行性、预测正确性四个LLM-judge打分维度，使得主表能同时回答'模型能否选对工具'与'模型能否用对工具'两个不同问题。

**Figure 4**: Annotation pipeline for affordance knowledge base construction.

**Figure 5**: The pipeline for CreativityBench task sampling.

实验结果

在14K任务、10个模型上的主表结果揭示了五条核心发现。**发现一：实体对、部件错——基础物理锚定是最大瓶颈**。所有模型平均的 Entity Correct Rate 达到 0.5149，而 Gold Correct Rate 仅 0.1910，相对下降超过 60%；部分模型（如GPT-5系列、Llama-3-70B）两者差距高达0.35。这说明模型能识别'哪个物体可能有用'，但无法精确锁定'哪一个部件、靠什么物理属性'。**发现二：动作可行 ≠ 物理合理**。Action Feasibility平均3.5860，但Physical Grounding只有3.2003，Prediction Correctness最低（3.0327）。模型倾向于提出'听起来合理'的方案，但对底层物理属性的论证不充分，recipient constraint (Cr) 平均2.8026尤其低，说明模型经常忽略被作用物或预处理步骤。**发现三：推理强 ≠ 创造强**。GPT-5.2在多数推理相关指标上最强（环境约束覆盖、动作可行性、预测正确性均第一），但 Gold Correct 仅 0.1819，反而低于 Qwen3-32B 的 0.2588——后者几乎是前者的1.5倍。这说明通用逻辑推理能力与发现非常规可供性的能力是分离的。**发现四：模型规模很快饱和**。Qwen系列4B→14B提升约30%（0.1882→0.2483），但14B→32B仅再涨约5%（0.2588）；GPT系列Nano→Mini涨40%，Mini→5.2只涨7%；Gemini系列仅涨9%。这说明创造性不能靠单纯堆参数解决。**发现五：标准推理时干预几乎无效**。提高采样温度对Qwen系列等小模型主要带来更多幻觉；Interactive模式（让模型逐个查询实体信息）所有模型性能都暴跌（如GPT-5.2从0.142跌到0.083），原因是模型平均只检查不到3个实体就下结论，gold inspection rate 在 Both Fail 时低于20%；Structured CoT对Qwen系列仅有约5%的小幅提升，GPT系列甚至略降，与前置研究结论一致。

**Table 1**: Comparison of CreativityBench with prior creativity/affordance benchmarks across seven dimensions.

**Table 2**: Overall statistics of the affordance knowledge base.

**Table 3**: Evaluation summary across models on the judged outputs.

**Table 4**: Interactive mode statistics showing the average turns and gold inspection rate.

**Table 5**: Error analysis summary on judged wrong outputs where both the entity and the part are wrong.

**Table 6**: Error analysis summary on judged wrong outputs where the entity is correct but the part is wrong.

**Figure 6**: Gold commonality affects tool-use performance.

**Figure 7**: Distraction severity shapes model performance.

**Figure 8**: Fine-grained trends across distractor types.

**Figure 9**: Inference-time strategies provide limited gains for creative tool use.

**Figure 10**: Statistics showing how auxiliary metrics are affected from multiple perspectives.

查看结构化数据

任务	指标	本文	基线	提升
Gold Correct Rate（实体+部件双对正确率）	比率 (0-1)	10模型平均 0.1910；最佳 Qwen3-32B 0.2588；最差 GPT-5 Nano 0.1192	对应实体的 Entity Correct Rate 0.5149	——（这是基准评测本身，不是相对提升任务；揭示了从'选对物体'到'选对物体+部件'存在60%以上的相对下降）
Entity Correct Rate（仅实体正确率）	比率 (0-1)	10模型平均 0.5149；最佳 Qwen3-32B 0.6246；最差 Gemini-2.5-Pro 0.3552	随机/朴素基线（4候选场景中随机选为0.25-0.33）	相对朴素随机基线，最高模型获得约2.5×提升
Use Condition Coverage ($C_u$)	Likert 1-5	10模型平均 3.1780；最佳 GPT-5 Mini 3.8919；最差 Qwen3-4B 2.5943	对照CoT前置实验中GPT-4.1-mini Direct Prompt 3.44	——（同任务不同模型横向对比，最强闭源模型接近4分阈值）
Environment Condition Coverage ($C_e$)	Likert 1-5	10模型平均 3.1860；最佳 GPT-5.2 4.2428；最差 Qwen3-4B 2.4151	——	——
Recipient Condition Coverage ($C_r$)	Likert 1-5	10模型平均 2.8026；最佳 GPT-5 Mini 4.1566；最差 Qwen3-4B 1.8961	——	——（最弱维度，所有模型均低于4.0分）
Physical Grounding	Likert 1-5	10模型平均 3.2003；最佳 Gemini-2.5-Flash 3.6200；最差 GPT-5 Nano 2.8513	——	——
Action Feasibility	Likert 1-5	10模型平均 3.5860；最佳 GPT-5.2 4.3867；最差 GPT-5 Nano 3.2628	——	——
Prediction Correctness	Likert 1-5	10模型平均 3.0327；最佳 GPT-5.2 3.8696；最差 Qwen3-4B 2.4838	——	——
Human Study（100题10标注者）	正确率	Gold Correct 0.146；Entity Correct 0.450	模型最佳 Qwen3-32B：Gold 0.2588 / Entity 0.6246	模型超过人类（因任务认知负荷高，人仅靠文本描述时表现受限）

局限与改进

作者明确承认的局限主要有三点：(1) 评测目前仅在文本设置下进行，没有引入视觉或多模态输入，对于真实世界中需要看图理解可供性的场景尚未覆盖；(2) 任务生成高度依赖GPT-5.2作为标注者，可能存在GPT-5.2自身可供性盲点的系统性偏差传导到KB中；(3) LLM-as-Judge的评分可能引入偏好偏差，尽管文中用Gemini-3.1-Flash-Lite做了一定缓解。此外还有几个值得读者注意的隐含局限——(a) 评测的ground-truth全部来自KB的affordance标注，本质上等于让模型在一个'已经被结构化定义好'的体系内做回忆与组合，这可能低估了'在完全没有先验知识时凭空发现affordance'的纯生成式创造性；(b) 任务场景集中在八个室内场景，缺少户外、工业、医疗等需要不同物理常识的领域；(c) 由于评测设置是'给定所有实体的属性让模型挑选'，这与真实agent场景中'模型需要先探索环境获取信息'的认知负担有差距——实际上文中Interactive模式实验已经显示了这种'真实探索'设定下模型表现暴跌，但反向也说明静态设置可能高估了模型能力。

独立分析的弱点

本文的弱点可以从四个具体场景逐一分析。**弱点一：KB构建的单源依赖**。所有可供性标注都由GPT-5.2生成，没有人类专家审核或交叉验证，理论上可能存在'模型自以为合理但实际物理上行不通'的affordance被收录为金标准，从而系统性偏置评测。改进方向：引入少量众包/专家标注作为校准集，过滤掉LLM生成中物理不一致的条目；或用物理仿真器（如Drake、Bullet）对candidate affordance做物理可行性二次过滤。**弱点二：评测设置偏静态**。主表是'一次性给所有实体属性，让模型直接选'，这与真实agent场景中'需要主动探索、查询、收集证据'的设定不同；Interactive实验已表明在多轮探索下模型会因过早承诺错误假设而大幅掉点。改进方向：把任务逐步过渡到部分可观察马尔可夫决策过程(POMDP)形式，让模型必须通过交互收集证据。**弱点三：单一裁判模型**。所有LLM-as-Judge打分都用Gemini-3.1-Flash-Lite，可能引入裁判偏好偏差，特别是对于长输出或包含物理推理细节的case。改进方向：引入多裁判模型ensemble + 人工抽查，或训练专用reward model专门打分affordance groundedness。**弱点四：覆盖场景与文化偏差**。八个室内场景全部以西方家居物品为基础（如wine bottle、pool skimmer），缺少非西方文化和特殊工种（电工、厨师、修理工等）所需的物理常识。改进方向：扩展到工业、医疗、户外、传统工艺等场景，并考虑多语言多文化版本。

未来方向

作者明确提出的未来方向有三条：(1) 把Creative tool use扩展到多模态、交互式和具身环境；(2) 探索新的训练目标（如reward unlikeliness），让模型在保持grounded的同时能产生结构化多样性；(3) 把Creative tool use作为基础能力，构建能预见物理后果、拒绝风险方案的'foresight governance'框架。**基于成果可延伸的方向**：第一，本文KB可以反过来用作creative task augmentation：从中采样数千条affordance轨迹作为RL fine-tuning数据，可能比现有基于majority-vote的TTRL等方法更适合创造性目标；第二，可以把KB的e→P→A→F结构与知识图谱嵌入、图神经网络结合，让模型显式地在'实体-部件-属性-可供性'图上做结构化推理；第三，结合物理仿真（如Genesis、MuJoCo）做physical imagination module：在文本推理提出候选affordance后，用仿真器预测'如果这样使用，物体会怎么演变'，从而自动过滤物理不一致方案；第四，本文的affordance taxonomy（normal vs emergency, 5 levels of typicality）可以推广到AI safety评测，用于检测模型是否会过度倾向destructive workaround（B1类）或safety risk（C1类）方案。

复现评估

论文在第1页注明有公开的Code和Project Page，且KB构建流程、任务采样流程、评测prompt都给出了详细描述（Appendix B-F分别对应preliminary prompts、KB细节、task sampling、inference hyperparameters、additional analysis），整体可复现性较好。**有利因素**：所有可控因子（cluster size、typicality level、distractor count、affordance similarity）都做了系统平衡，可直接复现主表实验；标注pipeline虽然依赖GPT-5.2，但其输入输出格式和判断标准都在附录给出。**门槛与挑战**：(1) KB构建本身需要调用GPT-5.2进行大规模标注（约157K affordances × 多次校验），按照OpenAI API公开定价估算整体成本在数万到十几万美元量级，且需要处理大量JSON结构化输出；(2) 主评测使用GPT-5.2、Gemini-2.5-Pro、Qwen3系列、Llama-3-70B、Mistral等模型，其中闭源模型需要付费API，开源模型需要本地部署至少14B/32B/70B多个规格（合计约150-200GB显存）；(3) LLM-as-Judge用Gemini-3.1-Flash-Lite评分约14K × 6维度 = 约84K次判断，再加上Error Analysis的~120K条错误样本分析，裁判成本不容忽视；(4) Human Study需要10名STEM背景标注者参与两阶段协议，人力门槛中等。**总体复现难度：中等偏高**，主要瓶颈是API费用和算力，而非方法本身的清晰度。

CreativityBench：基于可供性工具重用的智能体创造性推理评测基准 CreativityBench: Evaluating Agent Creative Reasoning via Affordance-Based Tool Repurposing