← 返回 2026-05-28

推进大型多模态模型中的创造性物理智能 Advancing Creative Physical Intelligence in Large Multimodal Models

Cheng Qian, Hyeonjeong Ha, Jiayu Liu, Jeonghwan Kim, Emre Can Acikgoz, Bingxuan Li, Kunlun Zhu, Jiateng Liu, Aditi Tiwari, Zhenhailong Wang, Xiusi Chen, Mahdi Namazifar, Heng Ji 📅 2026-05-25 👍 21 2026-07-13 08:36
Affordance推理 创造性推理 多模态学习 工具使用 视觉基础
arXiv HuggingFace PDF

提出MM-CreativityBench基准和affordance-grounded对齐方法，提升LMM在视觉环境中的创造性工具改用能力

前置知识

Affordance（功能可供性）

Affordance是感知心理学概念，指环境中的物体提供给观察者的可能行动方式。例如，杯子的affordance包括可被握持、可盛装液体、可倾倒等。在AI系统中，affordance推理是指将物体的视觉属性（如形状、材质、结构）映射到潜在功能的能力。本论文中的affordance知识库将实体分解为部件，每个部件关联物理属性集A(p) = A_phy(p) ∪ A_state(p)，其中A_phy(p)包含几何、材质、刚性等稳定属性，A_state(p)包含开启、清洁、完整、可访问等情境属性。

论文的核心任务是创造性工具改用，这要求模型能够识别物体的非标准用途。理解affordance概念是读懂本文的基础，因为所有任务构建、训练轨迹和评估指标都围绕属性-affordance映射展开。

直接偏好优化（DPO）

DPO是一种无需显式奖励模型的偏好学习方法。给定偏好对(x, y_w, y_l)，其中y_w是偏好响应（chosen），y_l是拒绝响应（rejected），DPO通过以下损失函数直接优化策略：L_DPO(θ) = -E[(x,y_w,y_l)][log σ(β log(π_θ(y_w|x)/π_θ(y_l|x)) - β log(π_ref(y_w|x)/π_ref(y_l|x)))]。其中π_ref是参考模型，β控制偏好强度，σ是sigmoid函数。相比PPO等需要奖励模型的方法，DPO更简单高效。

论文使用DPO的第二阶段训练来改进属性-affordance推理，帮助模型区分grounded和hallucinated的推理轨迹。理解DPO有助于把握论文的训练方法和实验分析。

监督微调（SFT）

SFT是微调语言模型的标准方法，通过最大化标注数据的似然来学习。给定训练数据D_SFT = {(T^(n), τ_+^(n))}_n=1^|D|，其中T^(n)是任务，τ_+^(n) = {(o_t^(n), r_+^(n))}_t=1^T^(n)是正面轨迹，SFT损失为L_SFT(θ) = -Σ_{n=1}^|D|Σ_{t=1}^{T^(n)}log π_θ(r_+^(n)_t | c_t^(n))。论文中SFT教模型模仿完整的交互轨迹，而不仅是最终答案，使模型学习从粗到细的探索行为。

论文采用两阶段训练：SFT教授结构化探索，DPO改进grounding。理解SFT有助于理解论文的训练设计和消融实验。

视觉基础（Visual Grounding）

视觉基础指将文本、概念或推理步骤与图像中的具体区域或特征对应起来的能力。在论文中，grounding特指将创意解决方案的可行性建立在可观察的视觉证据上，而非语言先验或常识联想。例如，不能仅仅说钥匙可以割胶带，必须指出钥匙的锯齿状边缘具有刚性、锋利等物理属性。论文通过交互式评估协议（先看场景→检查实体→检查部件→给出答案）来测试grounding。

视觉基础是论文的核心挑战。当前LMM经常产生语言上合理但物理上无效的方案，而论文的方法正是为了解决这个grounding问题。

研究动机

现有大型多模态模型（LMM）在感知和推理方面进展迅速，但这些能力是否能泛化到开放环境中的创造性问题解决尚不明确。在现实世界资源受限的设置中，智能体经常需要将可用物体改用于其预期用途之外的功能。例如，钥匙的锯齿状边缘可以割开箱子胶带，这种工具改用需要识别场景中元素的物理可行非显而易见用途。当前模型往往能够描述物体、检索常见工具使用模式或从文本先验生成合理的解决方案，但无法跨功能相似性、物理affordance或任务上下文迁移知识。实验显示，即使最强的闭源模型（如GPT-5.4）也可能表现不如开源模型（如Qwen），这表明仅靠规模扩展不足以实现grounded创造性推理。具体问题包括：模型经常忽视相关实体、对关键部件检查不足、或hallucinate图像不支持的属性。

本文的目标是本文的具体目标是评估和改进大型多模态模型的创造性物理智能，特别是在视觉丰富、物理约束环境中发现非显而易见但物理可行的工具用途的能力。这包括三个方面：（1）构建MM-CreativityBench基准，系统评估模型是否能够通过交互式场景检查、实体部件识别和affordance推理来解决创造性工具改用任务；（2）分析当前LMM在grounded创造性推理中的失败模式，理解为什么它们无法维持grounded探索；（3）提出affordance-grounded对齐方法，通过监督微调和直接偏好优化改进模型的视觉基础能力和探索效率。

与已有工作不同的是，本文的独特切入角度是将创造性工具使用定义为affordance-grounded创造性而非纯粹的语言或联想创造力。与现有方法的关键区别在于：现有工作（如Creation-MMBench、VillagerBench、MacGyver等）主要关注规划、推理或交互，缺乏对affordance-grounded创造性工具使用细粒度机制的系统评估——模型如何从物体属性推导新颖解决方案，特别是在视觉基础条件下。本文引入交互式评估协议，允许模型主动检查场景、实体和部件，使评估能够测量创造性解决方案是来自证据驱动的探索而非无支持的猜测。此外，论文将affordance驱动的创造力重新表述为偏好优化问题，鼓励模型偏好视觉支持的属性-affordance推理，这是现有工作未探索的方向。

核心方法

方法整体思路分为三个阶段：基准构建、训练数据生成、模型对齐。首先，从affordance知识库反向构建测试任务，每个任务需要将日常物体的一部分改用于非标准用途以满足约束条件。每个任务配有三层视觉上下文：场景图像（包含所有候选实体）、实体级图像（显示物体的完整视图）和部件级放大图像（显示特定部件的细节）。其次，构建交互式训练轨迹，使用知识引导的探索栈从场景级搜索到部件级affordance基础，每个共享状态生成三个对齐分支：正分支（结构化知识引导）、负分支（标准可观察反馈）和硬负分支（有效格式但误导性推理）。最后，两阶段对齐：监督微调（SFT）教模型模仿正面轨迹的结构化探索；回合级直接偏好优化（DPO）通过对比grounded推理与流畅但不支持的替代方案，改进属性-affordance基础。

核心创新点是将创造性工具使用表述为偏好学习问题，并将affordance知识注入模型作为创造性重组的组合基元。与已有方法的关键区别在于：（1）反向任务构建：不先写场景后标注答案，而是从知识库采样目标实体-部件对(e*, p*)和支持的affordance f*，然后生成需要f*但不揭示目标实体或部件的任务描述，这使得每个任务都有明确的证据结构支撑正确解决方案；（2）三支轨迹采样：在同一共享状态生成对齐的正面、负面和硬负面响应，正面响应更新探索栈而负面响应仅作为拒绝的替代方案，这支持密集的回合级对比监督；（3）硬负分支设计：保留流畅推理和有效操作格式，但引导至误导性结论，如hallucinate不支持的属性、依赖对象级先验或选择affordance相似的干扰项，这使模型学会区分视觉上合理但不支持的推理；（4）多粒度视觉上下文：场景→实体→部件三层构造强制模型在粗到细的探索过程中ground最终解决方案。

方法步骤详情

方法步骤的完整描述分为三个阶段。第一阶段：基准任务构建。输入是affordance知识库K，其中每个实体e∈E被分解为功能部件P(e) = {p_1, ..., p_m}，每个部件p∈P(e)关联属性集A(p) = A_phy(p) ∪ A_state(p)。步骤：（1）采样目标实体-部件对(e*, p*)和知识库支持的affordance f*，形成黄金解g = (e*, p*, f*)；（2）生成需要f*但不揭示目标实体或部件的任务描述x；（3）采样干扰实体E^-形成候选集E = {e*} ∪ E^-，干扰项包含affordance相似但缺乏关键物理或状态属性的部件，或场景合理但无法满足任务约束的物体；（4）为每个任务生成三层图像：I_e = π_ent(e, P(e), A)（全物体视图）、I_e,p = π_part(e, p, A(p), I_e)（放大部件视图）、I_env = π_env(x, E, {I_e: e∈E})（连贯场景）。保留满足黄金有效性、干扰项可分性、场景连贯性和视觉可观察性的高质量任务，最终得到333个测试任务和868个训练任务。第二阶段：训练轨迹构建。对于每个多模态任务T = (x, I_env, E, g)，交互轨迹表示为τ = {(o_t, r_t)}_t=1^T，其中o_t = (u_t, I_t)是反馈消息和视觉观察，r_t = (z_t, a_t)是推理和结构化操作。操作空间包含三个操作：a_t ∈ {inspect_entity(e), inspect_part(e, p), answer(e, p, h)}。步骤：（1）维护有序探索栈S_t，使用affordance相关性函数J(e, p)∈{0,1}判断部件p是否与目标affordance f*相似或相关；（2）初始化：给定场景和任务，模型提出有序候选实体列表初始化S_t；（3）检查实体：移除被检查的实体e，将其affordance相关部件p∈P(e): J(e,p)=1推入栈进行部件级检查；（4）检查部件：移除被检查的部件p，分配二元判断b_t∈{0,1}表示其观察属性是否满足任务要求；（5）回答：当没有未探索的实体或部件时停止，模型比较所有检查过的b_t=1的部件并选择最终对。第三阶段：affordance-grounded对齐。（1）监督微调：在正面轨迹τ+ = {(c_t, r+_t)}_t=1^T上使用标准token级交叉熵目标训练，L_SFT(θ) = -Σ_{n=1}^|D|Σ_{t=1}^{T^(n)}log π_θ(r_+^(n)_t | c_t^(n))，教模型学习证据寻求行为：选择候选实体、检查相关部件、解释观察属性、在产生最终解之前比较实体-部件对；（2）回合级直接偏好优化：对于每个共享上下文c_t，形成偏好对(c_t, r+_t, r_rej_t)，其中r+_t来自grounded正面分支，r_rej_t ∈ {r-_t, r--_t}来自负面或硬负面分支，DPO损失为L_DPO(θ) = -E[(c_t,r+_t,r_rej_t)]log σ(β log(π_θ(r+_t|c_t)/π_θ(r_rej_t|c_t)) - β log(π_ref(r+_t|c_t)/π_ref(r_rej_t|c_t)))。

技术新颖性

技术新颖性体现在四个方面：（1）反向任务构建：与传统先写场景后标注答案的方法不同，本文从affordance知识库的实体-部件-affordance三元组出发反向生成任务，确保每个任务都有明确的物理证据结构，这提高了任务的可诊断性和训练轨迹的可控性；（2）三支对齐轨迹采样：在同一交互状态生成三种对齐的推理分支（正、负、硬负），正面分支更新探索栈而负面分支仅作为拒绝替代，这为偏好学习提供了密集的回合级对比监督，特别适合视觉不确定性下的属性-affordance推理；（3）硬负分支的系统性构造：保留流畅推理和有效操作格式，但引导至误导性结论（如hallucinate属性、依赖先验、选择相似干扰项），这使得模型学会区分视觉上合理但不支持的推理路径，解决了传统DPO中拒绝响应可能太简单的问题；（4）交互式视觉grounding协议：将创造性工具使用从静态图像-答案评估转向交互式探索评估，允许模型主动检查场景、实体和部件，使评估能够测量解决方案是否来自grounded探索而非无支持的猜测，这是现有基准缺失的维度。

Interactive MM-CreativityBench evaluation and training, where models inspect scenes, entities, and parts to ground creative tool use while learning to avoid hallucinated affordances.
Figure 3: Interactive MM-CreativityBench evaluation and training, where models inspect scenes, entities, and parts to ground creative tool use while learning to avoid hallucinated affordances.

实验结果

论文通过系统实验揭示了当前LMM在grounded创造性推理中的关键瓶颈和改进方向。主要发现包括：（1）基础模型表现有限：在MM-CreativityBench的333个测试任务上，最强的开源模型Qwen3-VL-32B的黄金正确率仅为0.240，闭源模型GPT-5.4为0.192。实体正确率普遍高于黄金正确率（GPT-5.4实体正确率0.435vs黄金0.192，InternVL3.5-38B为0.426vs0.156），表明模型能找到相关物体但无法确定具体部件或属性。（2）探索效率与准确性的矛盾：Qwen3-VL模型平均检查4.8-5.0个实体，而GPT-5.4仅检查1.66个，但更多探索不一定带来更好答案（Qwen3-VL-8B探索远多于GPT-5.4但黄金正确率相同0.192）。交互轮次始终大于探索实体和部件总数，表明存在冗余探索。（3）训练显著改进性能：SFT+DPO（hard negative）将Qwen3-4B-VL的黄金正确率从0.156提升至0.417，将Qwen3-8B-VL从0.192提升至0.393，同时减少平均轮次（4B从18.92降至6.21，8B从13.45降至8.07）。（4）错误分析显示主要瓶颈是物理affordance基础：Category A错误（物理功能无效性）占主导，其中A2（affordance mismatch）是最大子类。SFT+DPO将Qwen3-8B的Category A错误从45.3%降至25.8%，A2从31.2%降至18.9%，消除了大部分Category B（实际不可行）和C（风险或约束不匹配）错误。（5）Affordance相似性分析：当更多实体共享相似affordance时，模型性能下降，但平均探索轮次基本不变，表明失败不是因为探索不足，而是细粒度视觉基础和affordance辨析能力不足。（6）Affordance典型性分析：更高典型性的affordance（更常见的改用方式）不带来更好性能，反而导致更长探索但精度无提升，表明更多自然affordance增加候选实体和部件的模糊性，而非简化任务。（7）视觉grounding影响：无图像设置黄金正确率最低，提供Last Image或All Images条件带来提升，表明MM-CreativityBench需要视觉grounding。（8）探索质量改进：SFT+DPO将Qwen3-4B的部件重复率从46.9%降至9.0%，实体重复率从12.6%降至1.8%，Qwen3-8B的部件重复率从30.0%降至7.8%，同时提高相似密度。

For each existing benchmark, the table indicates whether the corresponding dimension is fully addressed (✓), partially addressed (✓), or not addressed (✗).
Table 1: For each existing benchmark, the table indicates whether the corresponding dimension is fully addressed (✓), partially addressed (✓), or not addressed (✗).
Overall statistics for MM-CreativityBench and the training set used for trajectory sampling.
Table 2: Overall statistics for MM-CreativityBench and the training set used for trajectory sampling.
The benchmarking results on MM-CreativityBench. Models often locate the relevant entity but struggle with fine-grained gold-part grounding.
Table 3: The benchmarking results on MM-CreativityBench. Models often locate the relevant entity but struggle with fine-grained gold-part grounding.
Interactive image-evaluation summary for Qwen3-VL base and trained models. SFT + DPO achieves the highest gold and entity correct rates with more efficient exploration.
Table 4: Interactive image-evaluation summary for Qwen3-VL base and trained models. SFT + DPO achieves the highest gold and entity correct rates with more efficient exploration.
Varying the prompt to require pure JSON outputs does not change the overall trend. Across both raw and SFT settings, SFT + DPO consistently achieves the highest gold-correct rate while generally requiring fewer turns.
Table 5: Varying the prompt to require pure JSON outputs does not change the overall trend. Across both raw and SFT settings, SFT + DPO consistently achieves the highest gold-correct rate while generally requiring fewer turns.
Effect of affordance similarity on performance and exploration. As more entities share similar affordances, model performance often degrades, while the average number of exploration turns remains largely stable.
Figure 4: Effect of affordance similarity on performance and exploration. As more entities share similar affordances, model performance often degrades, while the average number of exploration turns remains largely stable.
Impact of affordance typicality on performance and exploration. Performance does not improve with higher affordance typicality. Although more typical affordances (Lv 3–5) induce longer exploration, they do not lead to higher accuracy.
Figure 5: Impact of affordance typicality on performance and exploration. Performance does not improve with higher affordance typicality. Although more typical affordances (Lv 3–5) induce longer exploration, they do not lead to higher accuracy.
Gold correct rate across different input image conditions.
Figure 6: Gold correct rate across different input image conditions.
Exploration repetition rates across the base and trained 4B and 8B models. SFT and SFT+DPO substantially reduce repetition, indicating clearer state tracking and more effective, efficient exploration.
Figure 7: Exploration repetition rates across the base and trained 4B and 8B models. SFT and SFT+DPO substantially reduce repetition, indicating clearer state tracking and more effective, efficient exploration.
Exploration progress and similarity density for Qwen3-VL variants. Left: Qwen3-4B timing distributions for gold and similar entity/part explorations. Right: average part/entity similarity density for Qwen3-8B and Qwen3-4B across Raw, SFT, DPO, and SFT+DPO variants.
Figure 8: Exploration progress and similarity density for Qwen3-VL variants. Left: Qwen3-4B timing distributions for gold and similar entity/part explorations. Right: average part/entity similarity density for Qwen3-8B and Qwen3-4B across Raw, SFT, DPO, and SFT+DPO variants.
Primary error-category rates reveal that SFT+DPO substantially reduces physical/functional invalidity errors, especially affordance mismatch (A2), and removes most practical and risk/constraint errors.
Figure 9: Primary error-category rates reveal that SFT+DPO substantially reduces physical/functional invalidity errors, especially affordance mismatch (A2), and removes most practical and risk/constraint errors.
查看结构化数据
任务指标本文基线提升
MM-CreativityBench gold correctness Gold Correct Rate Qwen3-4B + SFT+DPO (hard negative): 0.417 Qwen3-4B base: 0.156 +167%
MM-CreativityBench gold correctness Gold Correct Rate Qwen3-8B + SFT+DPO (hard negative): 0.393 Qwen3-8B base: 0.192 +105%
MM-CreativityBench entity correctness Entity Correct Rate Qwen3-4B + SFT+DPO (hard negative): 0.583 Qwen3-4B base: 0.393 +48%
MM-CreativityBench entity correctness Entity Correct Rate Qwen3-8B + SFT+DPO (hard negative): 0.583 Qwen3-8B base: 0.441 +32%
Exploration efficiency (turns) Average Turns Qwen3-4B + SFT+DPO (hard negative): 6.211 Qwen3-4B base: 18.922 -67%
Exploration efficiency (turns) Average Turns Qwen3-8B + SFT+DPO (hard negative): 8.069 Qwen3-8B base: 13.450 -40%

局限与改进

局限性分析包括作者承认的限制和我们自己的观察。作者承认的限制：（1）MM-CreativityBench使用合成图像而非真实世界图像，虽然这提供了受控的可重复评估环境，但可能低估了真实场景中的视觉噪声、遮挡和部分可见性挑战；（2）单黄金答案评估：创造性工具使用本质上是开放式的，现实世界中可能存在多个有效解决方案，但基准需要受控目标以保持可比性，黄金答案应理解为验证的解决方案路径而非声明不存在其他解决方案；（3）交互协议是人为设计的诊断环境：它抽象了低级感知问题（如分割和相机控制），可能不如开放世界具身交互真实，但适合隔离核心问题；（4）SFT和DPO不是算法新颖性：论文贡献不是新的微调目标，而是使用现有工具测试特定假设。我们观察到的额外限制：（1）任务多样性：MM-CreativityBench测试任务均从affordance知识库反向构建，可能无法覆盖所有类型的创造性工具使用，特别是涉及复杂物体-物体交互或多工具协作的场景；（2）视觉复杂性限制：论文使用结构化、清晰可观察的图像，未测试模型在高度杂乱环境、极端光照或严重遮挡下的能力；（3）评估依赖图像生成质量：任务依赖Gemini-2.5-Pro生成场景、实体和部件图像，生成质量可能影响任务的公平性和难度；（4）训练数据规模：868个训练任务的规模相对较小，扩展到更大、更多样化的数据集可能带来额外挑战；（5）未见实体泛化：测试集与训练集在场景、实体和部件上完全不相交，但未测试模型在完全未见物体类别上的泛化能力。

独立分析的弱点

独立分析的弱点包括：（1）合成图像的泛化差距：当前评估使用精心控制的合成图像，虽然这提高了任务的可诊断性，但无法反映真实世界的视觉复杂性。真实场景中的物体可能被遮挡、部分可见、处于不利角度或光线条件，这会显著增加视觉grounding的难度。改进方向：在保留affordance知识库结构的前提下，引入真实世界图像数据，或使用更先进的图像生成模型增加真实感（如随机遮挡、变化光照、不同视角）；（2）硬负构造的复杂性：当前硬负分支需要精心设计引导逻辑，使其产生流畅但不支持的推理，这增加了训练数据构建的复杂性和成本。改进方向：开发自动化硬负挖掘方法，例如使用基础模型生成似是而非的推理，或通过对抗性搜索自动发现模型的薄弱点；（3）探索策略的局限性：当前方法使用固定的affordance相关性函数J(e,p)指导探索栈，这依赖于知识库的完备性。在开放世界中，可能存在知识库未覆盖的affordance映射。改进方向：引入自适应探索策略，允许模型基于当前观察动态调整探索优先级，或使用元学习从成功/失败轨迹中学习更好的探索策略；（4）单一黄金答案的限制：当前评估要求模型精确匹配黄金实体-部件对，这可能过于严格，因为现实中存在多种等效解决方案。改进方向：引入多黄金答案或语义等效性评估，允许模型选择功能上等效的替代方案，同时仍要求物理grounding；（5）交互协议的简化：当前交互协议抽象了低级感知和控制问题，这可能低估了真实具身智能的挑战。改进方向：集成更真实的模拟环境（如Habitat、AI2-THOR），测试模型在需要自主导航、物体操作和物理交互的场景中的能力。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的。作者提出的方向：（1）具身智能扩展：将MM-CreativityBench扩展到更真实的具身设置，测试模型在需要物理交互、力感知和长期规划的场景中的能力；（2）其他创造性任务：将affordance-grounded对齐方法应用于其他创造性问题解决任务，如设计、发明或艺术创作；（3）RL扩展：开发保留假设生成多样性的同时强制执行严格grounding的RL目标，允许模型探索不寻常解决方案而不漂移到hallucinated的物理假设；（4）多工具协作：扩展基准以测试模型协调多个物体实现创意目标的能力，而非仅单个物体的部件改用。基于成果可延伸的方向：（1）开放世界泛化：研究模型在完全未见物体类别、未见affordance映射和未见任务类型上的泛化能力，开发零样本或少样本的创造性推理方法；（2）跨模态创意：探索将视觉grounded创造性推理扩展到其他模态（如音频、触觉），或跨模态affordance推理（如声音判断物体材质）；（3）人机协作创意：研究人类与AI协作进行创造性工具使用，例如人类提出创意方向，AI负责视觉grounding和物理可行性验证；（4）可解释性增强：开发方法可视化模型的affordance推理过程，使其决策更透明，帮助理解模型如何连接观察属性到功能假设；（5）持续学习：研究模型如何从新的物体-功能配对中学习并更新其affordance知识，适应不断变化的环境和任务需求。

复现评估

复现评估包括开源情况、数据、算力和难度。开源情况：论文承诺公开代码和项目页面（摘要中提供链接），这将包括基准数据生成代码、评估协议、训练数据构建脚本和模型检查点。数据：MM-CreativityBench包含333个测试任务和868个训练任务，每个任务包含文本描述、三层图像（场景、实体、部件）和黄金实体-部件-affordance三元组。Affordance知识库提供实体分解、部件属性和功能affordance的标注。算力：SFT训练在4个NVIDIA H100 GPU（80GB内存）上进行3个epoch，每设备batch size为1，梯度累积32步。DPO训练同样在4个H100上进行3个epoch，每设备batch size为1，梯度累积16步。训练使用LoRA rank 4，BF16精度，FlashAttention-2和DeepSpeed ZeRO-3。难度：复现难度中等。主要挑战包括：（1）图像生成：需要使用Gemini-2.5-Pro或等效模型生成高质量的场景、实体和部件图像，这需要API访问和成本；（2）训练轨迹构建：三支轨迹采样和探索栈逻辑需要仔细实现，特别是硬负分支的引导逻辑；（3）评估协议：交互式评估需要实现服务器或模拟环境，支持模型逐步检查实体和部件；（4）模型兼容性：论文基于Qwen3-VL，扩展到其他模型家族可能需要调整训练脚本和超参数。总体而言，如果论文提供完整的代码和数据，复现是可行的，但需要一定的GPU资源（4-8个H100或等效设备）和图像生成API访问。

论文图表

Beyond normal tool use, creative tool repurposing requires visual grounding of physical affordances, enabling the model to discover that a key's serrated edge can cut box tape. MM-CreativityBench shows that such affordance-guided reasoning is poorly captured by frontier VLMs but can be improved through training.
Figure 1: Beyond normal tool use, creative tool repurposing requires visual grounding of physical affordances, enabling the model to discover that a key's serrated edge can cut box tape. MM-CreativityBench shows that such affordance-guided reasoning is poorly captured by frontier VLMs but can be improved through training.

这张图通过钥匙割胶带的示例展示了创造性工具改用与正常工具使用的区别。左边显示钥匙正常用于开锁，右边展示钥匙的锯齿状边缘如何割开箱子胶带，图示标注了相关物理属性。图中还显示了MM-CreativityBench的评估结果，表明前沿视觉语言模型在这类affordance引导推理上表现不佳，但训练可以改进。

这张图对理解论文至关重要，因为它直观地展示了核心研究问题：创造性工具改用需要视觉grounding的物理affordance推理，而不仅仅是语言先验。钥匙割胶带的例子具体说明了非显而易见但物理可行的含义，帮助读者理解任务的本质和挑战。

Preliminary Experimental Results: Comparison between direct prompting and structured affordance-level CoT on creative tool use tasks.
Figure 2: Preliminary Experimental Results: Comparison between direct prompting and structured affordance-level CoT on creative tool use tasks.

这张柱状图比较了直接提示和结构化affordance级思维链在100个创造性工具使用任务上的表现。六个评估维度是Correctness、Feasibility、Physical Grounding、Constraint Coverage、Tool Usage和Creativity。结果显示结构化CoT在过程维度有适度提升，但Correctness仅略微改进，Feasibility和Physical Grounding仍然有限或不一致。

这张图对理解论文动机很重要，因为它验证了作者的初步发现：结构化提示可以组织创造性推理，但不能确保最终解决方案grounded在细粒度视觉证据中。这个发现为后续的MM-CreativityBench设计和affordance-grounded对齐方法提供了动机。