AFFORDANCE20Q：从物理属性评估可供性推理 AFFORDANCE20Q: Evaluating Affordance Reasoning from Physical Properties
把可供性推理改造成20问游戏，屏蔽物体身份，迫使模型从物理属性推理而非记忆物体-可供性映射。
前置知识
可供性（Affordance）
Gibson（1977）提出的概念，指一个物体的物理属性（形状、材质、结构）所能支持的动作可能性，例如'刀刃可以切割'。可供性是物理推理的核心，使人类能够流畅地使用熟悉物体并泛化到陌生物体。
本文所有任务都围绕'从物理属性推断可供性'展开，不理解可供性与物理属性的因果关系，就无法理解为何需要屏蔽物体身份。
20问游戏（20 Questions Game）
一种经典认知科学范式：提问者通过一系列是/否问题在固定轮数内识别隐藏目标。Bruner等人（1966）最早用其研究信息搜寻行为，最近被广泛用于评测LLM的多轮主动提问能力。在本文中目标被替换为'隐藏物体的可供性'。
AFFORDANCE20Q正是把20问范式迁移到可供性推理；理解游戏规则（Questioner/Oracle/Checker三方交互、20轮预算）才能读懂评测设计。
信息增益（Information Gain, IG）
本文用KL散度衡量每轮提问对候选可供性后验分布的压缩程度：$\mathrm{IG}_t = D_{\mathrm{KL}}(b_t \parallel b_{t-1}) = \sum_a b_t(a)\log\frac{b_t(a)}{b_{t-1}(a)}$，其中 $b_t(a)$ 为第 $t$ 轮后各候选可供性的一致性比例。IG越大说明该问题越能区分候选。
IG是诊断模型'为何问得不准'的关键指标；理解它才能读懂Figure 3(b)中模型IG在第5轮后崩塌的诊断结论。
常识知识库（Commonsense KB）与CSKG
CSKG（Ilievski等，2021）把ConceptNet、WordNet等7个常识知识库统一到同一模式（schema），提供如CapableOf、UsedFor、MadeOf等关系。本文从中抽取物体-可供ance正例与物理属性，作为KARI的种子证据。
KARI规则的质量与覆盖完全依赖KB；理解KB才能理解'为何KARI只能提升开源模型、对闭源模型反而下降'以及'为何KB覆盖仅67.4%是核心瓶颈'。
研究动机
现有的可供性推理基准（如PACO、3D AffordanceNet、Text2Afford、AAR、Newton、MACGYVER等）在评测设置中普遍直接给出物体类别或名称。例如面对'这把刀可以做什么？'的多选题，模型只要调用训练时记忆的'刀→切/割'映射就能答对，根本无需推断刀刃锋利、刚性等物理属性。Persiani和Hellström（2019）指出模型高度依赖记忆式召回，这种'召回与推理混淆'使现有基准无法真正衡量物理推理能力；Gjerde等（2025）、Wu等（2024）也证明基于记忆的模型会在未见物体或非常规用途下彻底失效。作者通过把物体身份替换为'金属、尖锐、薄'等物理问题后的对照实验（图1）清晰展示了这一差距：闭源LLM在暴露物体身份时几乎都能答对，但当身份被隐藏时成功率骤降至45.9%左右。
本文的目标是本文的核心目标是构建一个能'剥离记忆、纯化推理'的可供性评测基准，并提供配套方法以缩小模型与人类之间的物理推理差距。具体包含三点：1）发布AFFORDANCE20Q——一个20问格式的、1,009局/454物体/59可供性的人工标注基准；2）系统性评测15个SOTA LLM在物理驱动可供性推理上的能力，量化其与人类基线（64.2%）的差距；3）提出KARI（KB锚定规则归纳）流程，把外部KB知识转化为可供性规则，并验证其在多大程度上能提升LLM的推理表现。
与已有工作不同的是，本文的独特切入角度是把20问范式和Gibson的'主动感知'视角结合，把'识别物体'的20问改造为'识别物体的可供性'——目标物体依然存在但被遮蔽，模型必须从物理属性正向推导出可供性，而不能倒查物体身份。这一'去身份化'设计正是此前所有20问工作（Hutson等2025；Zhang等2024）的盲区：它们都把候选空间设为物体而非可供性。同时本文提出KL-IG这一新的诊断指标和KARI这一KB+LLM协同的规则生成流程，把评测、诊断、改进三件事串成闭环，既能看到模型'为什么不行'，又能定量看到'加入规则后能修复多少'。
核心方法
AFFORDANCE20Q的整体思路是'把可供性推理建模为隐藏目标身份下的多轮是/否问答'。每一局游戏由Questioner（出题者，LLM）、Oracle（持有物体完整物理属性描述，回答是/否）和Checker（守护问题合法性，确保问题只问物理属性维度、不泄露物体身份）三方协作；Questioner拿到8个候选可供ance（如穿孔、擦净、坐、漂在水面等），通过最多20轮关于材料/形状/尺寸/表面的是/否问题，逐步收敛到目标可供性。配套提出KL-IG指标诊断每轮提问的区分能力；并提出KARI流程，从CSKG+Aristo KB里收集(可供性动词,正例物体,物理属性)三元组，让LLM以add-only方式写出形如OR(PART(x, AND(SHAPE:pointed, MADE_OF:rigid_material, SIZE:thin)), PART(x, AND(SHAPE:tapered, MADE_OF:metal)), ...)的组合规则树，并由Validator做正例覆盖检查、Auditor做词汇规范化，最终得到2,223条规则，在推理时按句向量相似度匹配候选可供性，作为系统提示附加给Questioner。
与已有方法的本质区别有三点：1）评测侧把候选空间从'物体'换成'可供性'并强制隐藏物体身份，彻底切断'看到knife→答cut'的捷径，使模型只能用物理证据推理；2）诊断侧提出KL-IG指标追踪每轮提问对候选分布的压缩能力，揭示LLM在前5轮IG较高但之后崩塌的'问不出鉴别性问题'现象；3）改进侧KARI既不像传统符号方法（Zhu等2014）那样受固定schema限制，也不像纯LLM规则生成（West等2022）那样易幻觉，而是让LLM在KB正例上add-only地归纳出树形组合规则，并用Validator/Auditor做后置验证锚定在物理常识上。
方法步骤详情
AFFORDANCE20Q的构建分三阶段。Stage 1：从Jiang and Riloff（2021）的人造物理物体列表出发，在CSKG中查询CapableOf/UsedFor等关系得到初始可供性池。Stage 2（扩展与过滤）：对每个物体查询CSKG的物理属性并由LLM（GPT-4.1）提出额外候选可供性；手工按三个原则过滤——剔除依赖外部上下文的（'可作为礼物'）、依赖隐藏内部机制的（'播放视频'）、过度抽象的（'有用'），同时过滤掉非离散物理物体或依赖隐藏机制的物体（微波炉、电视机），并精修可供性名称、补充定义。Stage 3（标注与特化）：LLM先对每个(物体,可供性)对打YES/NO/MAYBE并给出缺失属性，6名人工标注员做最终校验，对MAYBE补充属性后重新核验一致性；为了衡量一致性，另请3名标注员对1,298对子集重新标注，得到85.2%多数一致（Fleiss κ = 0.82）。最终得到454物体×59可供性，从中按可供性均衡采样1,009局作为测试集。KARI流程（图2）将KB数据分3组循环：对组1调用Proposer起草种子规则树、Auditor规范原子值并入词表；对组2/3先用Validator检验上一轮规则对组内正例的覆盖率，再由Proposer仅以add-only方式追加OR分支覆盖未覆盖物体，最后Auditor统一更新词表。最终生成2,223条规则，在推理时按Sentence-T5相似度≥0.7匹配候选可供性。
技术新颖性
技术新颖性主要体现在三个层面。第一，'去身份化20问'范式本身是评测设计上的创新：把目标从物体改成可供性、把观测从物体名改成物理问题，从而把'召回 vs 推理'在评测层面解耦，这比Gjerde等（2025）'基于物理属性的QA'走得更彻底。第二，KL-IG指标把20问游戏中的信息搜寻行为首次形式化追踪为KL散度序列，能够定位'模型在哪一轮失去鉴别力'，比传统accuracy+turns双指标更精细。第三，KARI的三组件协同（Proposer-Validator-Auditor）首次把'LLM自由生成规则'与'KB正例覆盖+词表规范'耦合起来：用add-only约束让Proposer的修改可追溯、用Validator避免规则过松、用Auditor控制值词表不漂移；同时保留KB的物理常识锚定，避免COMET类（Bosselut等2019）的纯神经方法的幻觉问题。
实验结果
在1,009局测试集上OPTIMAL（信息论上界）以100%成功率仅用2.5轮即可解题，验证了基准本身可解性；人类5名标注员平均达到64.2%±7.3%成功率、用时10.7±1.3轮，是当前SOTA的强上界。15个LLM中表现最强的GEMINI-2.5-PRO也只有45.9%成功率，与人类相差近20点，且需要平均18.5轮。闭源LLM整体优于8B-14B开源模型（最强开源DEEPSEEK-V4-FLASH 41.3% vs 闭源最强45.9%，差距4.6点），多数8B-14B模型与FIX20Q基线（24.8%）相当，说明它们并没有做出真正的可供性推理。诊断层面（Figure 3）LLM偏好前几轮问material、之后切到shape，但IG在前5轮后迅速崩塌接近0，揭示模型在中期已无法提出鉴别性问题。可供性层面难度差异极大（3.1%–56.0%）：单一物理属性可判定的容易（如transmit_light 51.4%、conduct_heat 55.2%），需多属性协同或多种规则路径的难（如sink_in_water 3.8%、hang_from_above 10.6%）。KARI对8B-14B开源模型提升4.1–15.2点（QWEN3-14B从27.3→32.9、NEMOTRON-9B从14.9→30.0是最大跨度的两个例子），但对闭源LLM和DeepSeek-V4系列反而出现下降（GPT-5从35.5→32.4、GEMINI-2.5-PRO从45.9→40.0）。按KB覆盖拆分（图4）后真相清晰：在67.4%有规则覆盖的局里，KARI平均提升17.7点；而在无覆盖的局里，干扰规则的注入使LLM被误导，平均下降25.0点，说明KARI的天花板完全由KB覆盖决定。案例研究（图5）也佐证了这一点：同一道'穿孔'题，无KARI的DeepSeek-V4-Flash需要18轮反复确认才正确，MiniMax-M2.5则在证据充分时仍错答'擦净'，而加入KARI后DeepSeek-V4-Flash在两轮'金属+尖端'后就锁定正确答案。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AFFORDANCE20Q 主基准（1,009局） | 成功率（SR, %） | GEMINI-2.5-PRO 45.9；GPT-5 35.5；DeepSeek-V4-Flash 41.3；最强开源+DeepSeek组 41.3 | 人类标注员 64.2±7.3；FIX20Q 24.8；OPTIMAL 100 | 人类与最优LLM差距约18.3点；闭源vs开源最优差距4.6点；OPTIMAL揭示仍有50+点理论提升空间 |
| AFFORDANCE20Q（KARI增强） | 成功率提升（百分点） | QWEN3-14B +5.6（27.3→32.9）；NEMOTRON-9B +15.1（14.9→30.0）；LLAMA-3.1-8B +12.9（18.4→31.3）；平均开源 +8~9点 | 无KARI vanilla版本；闭源平均出现-0.3到-8.0点下降 | KB覆盖的局（67.4%）平均+17.7点；无覆盖局平均-25.0点；总体受KB覆盖天花板限制 |
| Oracle准确率（300题人工对照） | 与人类标签一致率（%） | QWEN3-14B 93.4 | QWEN3-8B 85.2；GPT-5 95.5 | QWEN3-14B作为Oracle在可用准确率与成本之间提供最佳折中 |
| 标注一致性（1,298对子集重标） | Fleiss κ / 多数一致率 | Fleiss κ = 0.82；多数一致 85.2% | 随机一致性约 κ ≈ 0 | 验证了Stage 3手工标注具有高可信度，是基准质量的支撑 |
| 可供性难度分布（所有15个LLM平均） | 成功率极差 | transmit_light 51.4% vs sink_in_water 3.8%（差距47.6点） | FIX20Q 24.8%为参考线 | 揭示单一属性可供性远易于多属性协同可供性，为难度分层提供依据 |
局限与改进
作者在论文第8节明确承认三个局限。第一，物理可供性的覆盖范围有限：基准仅涵盖59个可供性、454个物体，且刻意剔除依赖隐藏内部机制的（如微波炉的加热、电视的播放），因此像'灯泡发光靠电热'这类非物理机制驱动的可供性无法测试，对现实世界丰富性的覆盖仍然偏窄。第二，纯文本域限制：所有问题都通过文字描述，未来应扩展到视觉-语言多模态，让MLLM在看到真实图像时进行可供性推理，这才能与真实机器人/具身场景接轨。第三，QA设置简化：现实中的可供性推理往往嵌入在叙事理解或开放规划等更丰富的上下文中，模型需要从隐含线索而非显式问答中推断可供性，而AFFORDANCE20Q目前剥离了这种上下文依赖。从我们自己的观察还补充两点：1）KARI的'add-only OR-branch'机制虽然安全，但限制了Proposer修正已有分支错误的能力，Auditor只能管值不能管结构，可能导致规则树冗长且不可读；2）Oracle使用QWEN3-14B + 物体属性集，虽然准确率93.4%，但仍有约6.6%的回答错误会被LLM误读为噪声信号而影响游戏走向，这种'Oracle误差'在评测中并未被单独量化；3）闭源LLM的得分可能随厂商版本更新而漂移，论文也明确提醒读者该基准不能保证长期稳定的绝对分数。
独立分析的弱点
独立分析可观察到四个弱点。弱点1：KARI对闭源LLM负向影响。闭源模型本身已有较强的内部可供性知识，强行注入KB生成的、风格与模型原生推理不一致的规则文本，反而会让模型做出过早且不自信的猜测（GEMINI-2.5-PRO从18.5轮降到12.1轮、SR从45.9降至40.0就是证据）。改进方向：让KARI规则按置信度软注入，或仅作为'提示'而非'强制'，并对闭源模型默认关闭。弱点2：KB覆盖率天花板。67.4%覆盖意味着KARI对近三分之一目标可供性无能为力，且规则只能描述'静态物理'，对依赖'物质+结构+位置'复合判定的可供性（如sink_in_water）仍然薄弱。改进方向：让LLM在KB未覆盖的可供性上自举补全，再用Validator反向验证，或纳入更细粒度的属性图谱如ATOMIC。弱点3：规则匹配相似度阈值0.7过刚。新候选可供性短语若与KARI训练的'动词'略有不同（如同义改写）就会被拒之门外；改进方向：换成top-k候选+模型自判，或在词表层做同义词归一化。弱点4：IG诊断只用了KL而没有归一化轮间总信息预算，难以比较不同模型在不同时刻的'相对效率'；改进方向：定义$\mathrm{nIG}_t = \mathrm{IG}_t / H(b_{t-1})$这种相对信息增益，把IG除以剩余熵，更公平地度量'在剩余不确定性下的提问效率'。
未来方向
作者提出的方向包括三点。1）从物理扩展到非物理可供性：系统纳入依赖电子、化学等机制的物体（如微波炉、灯泡），建立物理-机制二维的可供性分类体系。2）从文本扩展到视觉-语言多模态：在AFFORDANCE20Q基础上加入MLLM，构建'看到图像后问物理问题'的多模态版本，对齐PaLM-E等具身模型的实际使用场景。3）从QA扩展到上下文推理：把可供性推理嵌入到叙事理解（如NarrativeQA）、开放规划（如VOYAGER）等任务中，研究模型如何从隐含文本线索中抽取可供性。基于本文成果可延伸的方向至少还有四个：a）把KARI的树形规则用于可解释性分析，作为可供性推理的'思维链骨架'用于微调小模型；b）开发'KARI-style'的多模态规则，把视觉物体属性也作为规则原子，构建跨模态可供性知识库；c）把AFFORDANCE20Q作为RL环境，训练Questioner学会主动最大化IG，结合过程奖励塑造更高效的提问策略；d）将KARI与RAG结合，针对每个候选可供性动态检索最相关的KB证据而非预先硬编码2,223条规则，以应对KB稀疏问题。
复现评估
复现可行性整体较高。作者明确在 https://github.com/1171-jpg/Affordance20Q.git 开源了完整代码与数据；数据侧包括1,009局测试集、(物体,可供性,属性集)三元组、KARI生成的2,223条规则、6名标注员的标注结果以及Oracle验证用的300题人工子集。算力侧开源模型用sglang部署在8×RTX A6000（48GB）上推理，闭源模型通过OpenAI/Google/OpenRouter API调用；每个Questioner/Oracle/Checker的max_tokens分别为512/20/50，温度0，单局≤20轮，整体算力门槛对中等实验室是可达的。复现难度主要在KARI：需要调用GPT-4.1做LLM辅助扩展和QHEM-QWEN3-14B做Proposer/Validator/Auditor，并需要6名标注员做Stage 2/3的手工过滤与校验，跨阶段耗时较长；同时闭源LLM得分会随厂商版本变化，绝对数难以完全复现。总体上数据+代码齐全，弱项在人工标注流程和闭源API版本稳定性。
论文图表
上图展示传统基准直接把'Knife'作为对象公开，模型只要在'cut/fold/pour/wear'等候选中选'cut'即可得分；下图展示AFFORDANCE20Q把物体隐去，要求模型通过对'金属/尖锐/薄'等物理属性的二轮是/否问题（T1金属、T2尖锐边缘、T3薄）后才能锁定'cut'，从而剥离召回路径。
全文最核心的概念图，一图说明'为什么要隐藏物体身份'这一评测设计动机，也是论文标题和摘要的核心图示。
KARI为动词'pierce_through'归纳的OR树规则：OR( PART(x, AND(SHAPE:pointed, MADE_OF:rigid_material, SIZE:thin)), PART(x, AND(SHAPE:tapered, MADE_OF:metal)), PART(x, AND(SHAPE:cylindrical, MADE_OF:metal, SIZE:long)) )，包含3个替代物理路径，全部通过PART作用域到物体的一个特定部分而非整体。
展示KARI规则的具体语法与'一个可供性可能对应多种物理路径'的归纳能力，是理解Figure 5第三局KARI增益的关键。
KARI为动词'fold_flat'归纳的OR树规则：OR( AND(MADE_OF:flexible_material, SHAPE:flat, SURFACE:smooth), AND(MADE_OF:flexible_material, SHAPE:rectangular, SIZE:thin), AND(MADE_OF:flexible_material, SHAPE:cylindrical), AND(MADE_OF:flexible_material, SHAPE:curved, SIZE:broad) )，4条分支全部描述整体而非某个PART，体现KARI能自动决定何时用PART、何时用whole。
与Listing 1形成对照，展示KARI规则的多样性：有的可供性靠单一零件、有的靠整体属性的多种组合，强化了'add-only OR分支+PART作用域'机制的表达力。