从感知到行动：面向视觉推理的交互式基准测试 From Perception to Action: An Interactive Benchmark for Vision Reasoning
提出交互式3D物理基准CHAIN，揭示VLM在结构化物理推理中的系统性失败
前置知识
Vision-Language Model (VLM)
视觉-语言模型是一类能够同时处理图像和文本输入的多模态大模型，如GPT-5.2、Claude-4.5、Qwen3-VL等。这类模型通过将视觉编码器（如ViT）与语言模型融合，实现对图像内容的理解和推理。在本文的上下文中，VLM被用作交互式环境中的决策智能体，需要根据多视角视觉观察和任务指令，在物理约束下选择可行的操纵动作。
本文的核心就是评估VLM在物理交互场景中的推理能力，理解VLM的架构和能力边界是理解本文动机和结论的基础。
闭环交互评估 (Closed-loop Interactive Evaluation)
与传统的单轮VQA（视觉问答）不同，闭环交互评估要求智能体在每个时间步观察环境状态、选择动作、获得反馈，然后基于新的观察继续决策。这是一个'感知-行动-反馈'的循环过程。智能体的每一步决策都会改变环境状态，从而影响后续可行的动作空间。这种评估方式更贴近真实世界的物理问题解决场景。
本文提出的核心评估范式就是闭环交互式的，这是与现有基准最本质的区别，理解这一概念才能理解为什么CHAIN能揭示现有评估遗漏的问题。
因果依赖与约束传播 (Causal Dependency and Constraint Propagation)
在物理交互任务中，早期的动作选择会因果性地约束（或保留）后续的可行动作空间。例如，在拆解榫卯结构时，必须先移除'关键件'才能解锁其他部件；在3D堆叠中，早期放置会逐渐限制剩余的自由空间。约束传播指的是这种因果链在多步交互中的级联效应——一个早期错误可能导致整个任务无法完成。
这是CHAIN基准测试的核心推理能力要求。论文发现即使是最先进的模型也难以内化这种因果约束结构，导致系统性的规划失败。
Pass@1 与 Best-of-K 评估
Pass@1衡量模型在单次尝试中成功完成任务的比例，是最严格的评估指标。Best-of-K则允许模型进行K次独立尝试，报告至少有一次成功的比例。在交互式任务中，由于每次交互涉及多轮API调用和环境交互，Pass@1的评估成本已经很高，Best-of-K的成本更高。本文主要报告Pass@1，并在消融实验中验证多采样策略的效果。
理解这些评估指标有助于正确解读实验结果——本文报告的Pass@1数字反映了模型的真实能力上限，而非评估设计的局限。
研究动机
当前主流的视觉-语言模型评估体系存在根本性的设计缺陷。现有基准如VQA、OlympiadBench等主要采用静态、单轮的评估格式，模型只需要观察一张图片并输出一个文本答案，完全无法测试模型在交互式物理场景中的规划和执行能力。具体来说，这些基准无法评估三个关键维度：（1）智能体能否推理早期动作如何约束或保留未来的可行动作空间；（2）智能体能否在多步交互中维持连贯的策略，而不是陷入试错式的随机探索；（3）智能体能否将感知到的物理结构（几何形状、接触关系、支撑关系）转化为有效的行动序列。与此同时，扩散模型也被探索用于推理和规划，但其评估主要集中在简化的2D环境中，回避了3D几何、接触约束和支撑关系带来的真正挑战。因此，现有评估严重低估了物理推理在交互场景中的难度，留下了巨大的评估盲区。
本文的目标是本文的具体目标是设计并开源一个名为CHAIN（Causal Hierarchy of Actions and Interactions）的交互式3D物理基准测试，将视觉-语言模型的评估从被动感知转向闭环问题解决。CHAIN包含109个交互式任务实例（32个机械拼图和77个3D堆叠），覆盖三个难度等级，旨在系统性地测试模型能否推断和利用物理结构——包括隐藏的几何约束、接触诱导的依赖关系和多体支撑关系——在多步交互中选择可行的动作。同时，本文在统一的交互协议下对最先进的VLM和扩散模型进行全面的实证研究，暴露当前模型在物理结构感知推理方面的持续性局限。
与已有工作不同的是，本文的独特切入角度在于将评估范式从'被动观察+静态回答'转变为'主动探索+闭环执行'。关键创新在于：（1）任务设计强调因果层级结构——拼图任务来自真实的孔明锁、鲁班锁等榫卯结构，需要理解运动学可行性和碰撞避免；堆叠任务需要全局空间规划和稳定性推理。（2）评估不仅关注任务成功率，还设计了多维度效率指标（平均步数、距离最优解的差距、归一化距离、token效率、成本效率），全面刻画模型的决策质量。（3）通过对比交互式与单轮设置，量化了交互反馈带来的增益，证明CHAIN确实评估了闭环推理能力而非静态识别。这种从'看到什么'到'能做什么'的评估转变，填补了现有物理推理评估的重要空白。
核心方法
CHAIN的整体思路是构建一个物理引擎驱动的交互式评估平台，让模型在受控的3D环境中反复观察、决策、执行和反馈。直觉上，这就像让一个人蒙着眼睛只通过触觉来组装或拆解一个复杂机械结构——你必须在每一步理解当前的约束状态，预测哪些动作是可行的，然后选择最优的下一步。技术路线上，首先通过三步流水线（问题筛选、环境构建、指标定义）构建标准化的评估环境；然后在统一的解码和交互协议下评估多种模型，确保公平比较；最后通过多维度指标和消融实验深入分析模型的能力边界和失败模式。
本文的核心创新在于'因果层级评估'的设计理念。与现有基准的本质区别在于：CHAIN的任务不是简单的识别或问答，而是需要理解'动作的因果后果'——每一步决策都会改变环境的物理状态，进而改变后续可行的动作空间。例如，拆解鲁班锁时，你不能随意拉拽任何一个部件，必须先找到那个'关键件'（key piece），移除它后其他部件才能沿特定方向滑出。这种'约束传播'和'可行空间压缩'的推理能力，是静态VQA完全无法测试的。另一个关键创新是将任务难度自然分级——拼图的难度由部件数量和互锁复杂度决定（6件简单→30+件复杂），堆叠的难度由容器大小、物件数量和形状复杂度联合决定，这种设计使得难度分离是可控且可扩展的。
方法步骤详情
方法分为基准构建和评估两个阶段。基准构建阶段：（1）问题筛选——从Puzzlemaster等来源筛选候选拼图，评估其因果依赖性（需要顺序推理）、可行性（可控的动作空间和稳定的状态转移）和人类难度（由两位专家试玩，按完成时间分为简单<5分钟、中等5-15分钟、困难>15分钟）；堆叠任务通过代码程序化生成，可扩展到近无限复杂度。（2）环境构建——使用Unity实现复杂的榫卯结构（精确控制运动学约束和接触交互），使用3D Python实现堆叠任务（开发效率更高）。统一的颜色提示控制方案（每个物件分配特定颜色，暴露给模型作为元数据）避免了引入额外动作控制器的混淆因素。多视角观察减少遮挡导致的失败。（3）评估协议——每个评估回合从预定义初始状态开始，模型接收任务指令、交互历史摘要和当前多视角视觉观察，从预定义动作空间选择动作，环境执行动作并返回新观察，循环直到任务完成或达到步数预算（30-60步）。
技术新颖性
CHAIN的技术新颖性体现在多个层面。首先，这是首个专门针对'物理约束下的因果推理'设计的交互式3D基准，填补了从被动感知到主动行动的评估鸿沟。其次，拼图环境的精确物理建模（Unity实现的运动学约束、碰撞避免、力方向推理）和堆叠环境的可扩展生成（程序化控制容器尺寸、物件形状和数量）提供了前所未有的可控性和可复现性。第三，多维度评估指标的设计——特别是Dist2Opt（距离最优解）和NormDist（归一化距离）——能够将效率与任务难度解耦，更精确地刻画模型的决策质量。最后，通过对比交互式与单轮设置、对比VLM与世界模型、对比奖励模型与验证器检查，提供了多角度的能力诊断。
实验结果
实验结果揭示了当前模型在物理结构推理方面的系统性失败。在整体性能上，GPT-5.2以22.9%的Pass@1取得最佳成绩（成功完成25个任务），其次是Gemini-3-Pro（19.3%，21个任务）和Claude-Opus-4.5（15.6%，17个任务）。开源模型中Kimi-k2.5表现最好（13.8%，15个任务）。然而，这些数字掩盖了任务类型间的巨大差异：拼图任务对所有模型都是'近零'级别的挑战——最好的模型也只有3.1%的成功率，大多数模型为0.0%；而堆叠任务相对'可达'——GPT-5.2达到31.2%，Gemini-3-Pro达到26.0%。这种差距表明，3D互锁结构的推理（需要推断隐藏的阻塞约束和可行的多步解缠轨迹）是当前模型的根本性瓶颈。在效率方面，更强的模型往往通过回溯和修订计划来提高成功率，但这增加了平均步数和距离最优解的差距。例如GPT-5.2的AvgSteps为9.6，Dist2Opt为1.43，而更轻量的Seed-1.6-Flash虽然成功率低，但AvgSteps仅为4.5，Dist2Opt为0.23。世界模型（SORA 2、WAN 2.6、VEO 3.1、KLING 2.6、HUNYUANVIDEO 1.5）在鲁班锁拆解任务上全部失败，表现出系统性的灾难性幻觉——包括物体恒常性丧失、结构腐蚀和约束违反。交互式设置显著优于单轮设置：GPT-5.2在交互式下达到22.9%，单轮下仅为7.1%（差距15.8个百分点）；Claude-Sonnet-4.5的差距为5.7个百分点。这证明CHAIN确实评估了闭环推理能力。奖励模型（RM）在长时程交互规划中的作用有限——VLM配对判断带来+1.3%的提升，但RM重排序仅带来+0.6%的提升，表明当前视觉RM难以提供可靠的长序列选择信号。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CHAIN整体 | Pass@1 | GPT-5.2: 22.9% | 最强开源 Kimi-k2.5: 13.8% | 闭源模型领先约9个百分点 |
| 拼图任务 (Puzzle) | Pass@1 | GPT-5.2: 3.1% | 大多数模型: 0.0% | 所有模型接近随机水平 |
| 堆叠任务 (Stacking) | Pass@1 | GPT-5.2: 31.2% | Seed-1.6-Flash: 10.4% | 约3倍提升 |
| 交互式 vs 单轮 | Pass@1 (All) | GPT-5.2 交互式: 22.9% | GPT-5.2 单轮: 7.1% | 交互反馈带来15.8个百分点提升 |
| 成本效率 | Solved/USD | Qwen3-VL-235B-Inst: 0.66 | Gemini-3-Pro: 0.04 | 开源模型成本效率高16倍 |
局限与改进
论文承认了两个主要局限性。首先，交互环境的规模有限，特别是拼图任务。虽然堆叠任务可以通过程序化生成扩展到近无限复杂度，但高保真的互锁拼图需要精确的物理建模（Unity中的运动学约束和接触交互），每个新环境都需要大量的手动建模和调试工作，导致显著的时间和成本开销，目前仅包含32个拼图实例。其次，评估主要报告Pass@1，部分原因是闭环交互的评估成本很高——每个评估回合涉及多轮API调用，步数上限为30-60步。虽然初步分析表明Pass@1与多采样评估（如Avg@4）的趋势一致，但更稳健的Best-of-K结果需要更大的API预算。从我自己的观察来看，还有一个未被充分讨论的局限性：颜色提示控制方案虽然避免了动作控制器的混淆，但也降低了任务的真实感——在真实世界中，识别'哪个部件是红色的'并不是一个有挑战性的感知问题，但识别'哪个部件是关键件'才是真正的挑战。此外，堆叠任务的程序化生成虽然保证了可扩展性，但可能牺牲了与真实物理场景的对应性。
独立分析的弱点
基于对论文的独立分析，我识别出几个值得改进的弱点。（1）动作空间设计过于简化——当前的动作是'选择物件+选择操作'的离散组合，而真实世界的物理操纵涉及连续的力控制、精细的手眼协调和柔顺操作。这种简化可能掩盖了模型在底层控制方面的真实能力差距，也可能让模型'作弊'——通过系统提供的颜色提示绕过真正的视觉识别挑战。（2）评估指标可能过度惩罚探索性行为——Dist2Opt和NormDist将额外的探索步骤视为'效率损失'，但在不确定的物理环境中，适度的探索可能是最优策略。当前的最优解长度$oi$是基于已知环境规则计算的，但模型在不完全信息下可能需要更多步骤来发现约束。（3）缺乏对模型'理解'的直接测试——当前评估只看最终结果（成功/失败），不测试模型是否真正理解了物理结构。一个模型可能通过暴力搜索碰巧成功，但完全不理解为什么某个动作序列是可行的。建议增加中间状态的物理一致性检查和约束满足测试。（4）奖励模型的评估可能不够公平——Table 4中的RM评估使用的是通用视觉RM，而非针对物理推理微调的RM。如果使用领域特定的RM，结果可能会显著改善。
未来方向
论文提出了几个重要的未来研究方向。首先，随着足够的API预算，报告更稳健的Best-of-K结果（如Pass@4）将提供更可靠的模型能力评估。其次，扩展拼图环境的规模是一个关键方向——虽然每个新环境需要大量手动工作，但开发半自动生成工具（结合程序化几何建模和物理仿真验证）可能实现可控的扩展。第三，将CHAIN的评估范式扩展到更广泛的物理推理场景——如工具使用、流体操作、柔性物体操纵等——将测试模型能力的泛化性。从论文的成果出发，还可以延伸出几个有价值的方向：（1）开发专门针对物理推理的强化学习训练方法，利用CHAIN作为训练环境；（2）研究多智能体协作的物理推理——多个VLM协同完成更复杂的物理任务；（3）探索将世界模型（视频生成模型）与VLM结合的混合架构，利用世界模型的物理先验来增强VLM的规划能力；（4）研究如何将CHAIN中发现的失败模式（如约束传播推理、全局空间规划）转化为有针对性的训练数据。
复现评估
CHAIN的可复现性评估相对积极。论文明确承诺将项目开源（https://social-ai-studio.github.io/CHAIN/），这包括评估环境、任务实例和评估协议。堆叠任务通过代码程序化生成，提供了完整的生成流水线（Algorithm 2），包括精确覆盖求解（DLX）、物理可行性检查和去重机制，理论上可以复现或扩展。拼图环境虽然依赖Unity物理引擎，但论文提供了详细的构建流程和评估协议。数据方面，109个任务实例（32拼图+77堆叠）的规模虽然不大，但足以进行有意义的评估。算力方面，评估主要依赖商业API（闭源模型）和开源模型推理，成本可量化（论文报告了Solved/USD指标）。复现的主要难度在于：（1）Unity环境的搭建和调试需要专业技能；（2）闭源模型的API调用成本不低（GPT-5.2约$1.3/level）；（3）论文使用的模型版本（如GPT-5.2、Claude-Opus-4.5）发布于2025年底，未来可能被更新版本替代。总体而言，CHAIN是可复现的，但需要一定的工程投入和API预算。
论文图表
左侧(a)展示传统VQA的被动观察模式——模型观察一张图片并输出文本答案；右侧(b)展示CHAIN的多步交互模式——模型需要通过多步操作来执行程序化评估，实现规划和结构理解的过程化评估。
这张图是理解论文核心贡献的关键——它直观地展示了评估范式的转变，从'看图说话'到'动手解决'，是论文所有设计选择的出发点。
展示用于生成鲁班锁拆解视频的详细提示，包括六条物理约束：所有部件为刚性木块（无弯曲变形）、无穿透（接触和碰撞被尊重）、无瞬移（运动时间连续）、每个部件仅沿允许的轨道轴对齐滑动（完全释放前无旋转）、使用现实的解锁序列（先移除关键件）、精确匹配参考几何和部件数量。
这张图展示了论文在评估世界模型时使用的详细提示设计，说明了即使提供了非常具体的物理约束描述，当前视频生成模型仍然无法产生物理有效的输出。
以Kimi-k2.5为基础模型，对比不同选择策略的效果：Avg@4（9.3%）、Pass@1（9.4%）、Pass@2（11.2%）、Pass@4（11.2%）、VLM judge（10.3%）、Reward model（9.9%）。关键发现：Pass@1和Avg@4几乎相同，表明采样方差有限；多采样通过选择有帮助但饱和（Pass@4不优于Pass@2）；RM重排序提升有限（+0.6%）；VLM配对判断更好（+1.3%）但仍落后于Pass@2。
这个表格探讨了'如何进一步提升交互式推理性能'的问题，发现当前视觉RM在长时程规划中的信号质量有限，这可能是因为RM偏好'局部合理'的动作，而非'全局最优'的动作。
列出所有评估模型的发布时间、上下文窗口大小和参数规模。闭源模型包括GPT-5.2（400K上下文）、o3（200K）、Claude-Opus-4.5（200K）、Claude-Sonnet-4.5（1M）、Gemini-3-Pro（1M）、Gemini-3-Flash（1M）、Seed-1.6（262K）。开源模型包括Qwen3-VL系列（2B到235B）、GLM-4.6V（106B）、MiMo-v2-Flash（309B）和Kimi-k2.5。MoE模型报告了每次前向传播的活跃参数数（如235B A22B表示总参数235B，活跃参数22B）。
这个表格提供了评估模型的规模背景，帮助读者理解不同模型的能力差异可能部分源于规模差异。