ViGoR-Bench：视觉生成模型距离零样本视觉推理器还有多远？ ViGoR-Bench: How Far Are Visual Generative Models From Zero-Shot Visual Reasoners?
首次提出统一的视觉生成推理基准，揭示当前AIGC模型在物理和因果推理上的严重缺陷
前置知识
CLIP-Score
CLIP-Score 是一种基于 CLIP 模型的文本-图像相似度指标，用于评估生成图像与文本提示之间的语义对齐程度。它通过计算文本和图像在共享嵌入空间中的余弦相似度来量化匹配质量，分数越高表示语义一致性越好。该指标已成为 AIGC 评估的标准工具之一，但主要关注表面的语义匹配而非深层逻辑推理。
理解 CLIP-Score 对于认识传统评估方法的局限性至关重要，因为本文指出此类指标只能捕捉统计保真度，而无法评估模型的物理和因果推理能力。
FID (Fréchet Inception Distance)
FID 是一种用于评估生成图像质量的指标，通过比较生成图像和真实图像在 Inception 网络特征空间中的分布距离来计算。它基于 Fréchet 距离衡量两个多元高斯分布之间的差异，数值越低表示生成图像的质量越接近真实分布。FID 已成为 GAN 和扩散模型评估的事实标准。
FID 作为传统评估指标的代表，本文用它来说明现有评估框架的性能幻象问题——高 FID 分数并不等同于模型真正理解物理世界，这正是本文要解决的核心问题。
VLM-as-a-Judge
VLM-as-a-Judge 是一种将视觉-语言模型作为评估代理的方法，利用多模态大模型对生成结果进行自动评价。该方法通过精心设计的提示词让 VLM 评估生成图像的质量、符合度、逻辑一致性等多个维度，相对于传统指标能提供更细粒度的评估。本文使用 Gemini-2.5-Pro 作为评估器。
本文的评估框架完全基于 VLM-as-a-Judge 范式，理解这一概念有助于理解论文如何实现大规模自动化评估，以及如何通过证据驱动的机制提升评估的客观性和可靠性。
Chain-of-Thought (CoT) Prompting
CoT 提示是一种通过要求模型显式展示推理步骤来提升复杂任务性能的技术。在视觉生成中，CoT 可以让模型先输出文本化的思考过程，再逐步生成中间状态，最终达到目标图像。本文中部分模型通过外部规划器生成 CoT 序列来辅助生成过程。
本文的一个重要发现是 CoT 提升了生成过程的可解释性但不保证最终准确性，理解 CoT 有助于理解论文对显式推理与实际执行能力之间关系的分析。
GRPO (Group Relative Policy Optimization)
GRPO 是一种强化学习算法，用于在给定奖励信号的情况下优化策略网络。本文在实验中使用 GRPO 对 Qwen-Image-Edit 模型进行微调，通过 ViGoR-Bench 的评估指标作为奖励信号，训练模型在迷宫导航任务上获得更高的推理成功率。这种方法超越了传统的监督微调方法。
GRPO 的应用展示了如何利用 ViGoR-Bench 作为训练信号来提升模型推理能力，这是论文证明基准实用性的关键实验，理解该算法有助于理解奖励驱动训练的潜力。
研究动机
现代 AIGC 模型在视觉保真度方面取得了惊人的进步，从早期 GAN 的像素级合成发展到如今高度复杂的内容生成。然而，这种视觉卓越往往掩盖了一个逻辑沙漠：在 Photorealism 的表面下，当面临需要深度物理定律或因果推理的任务时，系统会崩溃。这种缺陷被传统的 CLIP-Score 和 FID 等指标所掩盖，因为这些指标优先考虑语义对齐和统计保真度，而非真实的结构完整性。值得注意的是，生成图像可以实现与真实数据的高统计相似性，同时仍然包含荒谬的物理故障。因此，现有指标无法区分真正理解物理世界的模型和仅仅执行高维概率拼接的模型。随着评估从像素保真度转向认知深度，虽然出现了 GenExam、KRIS-Bench、RULER-Bench 等关注知识广度、物理因果性和过程导向时间逻辑的基准，但当前评估格局仍然支离破碎。如 Table 1 所示，现有基准通常在孤岛中运行，要么狭窄地限制在 I2I 编辑，要么限制在视频生成，缺乏评估跨不同模态推理的统一机制。
本文的目标是本文的目标是引入 ViGoR，这是一个旨在拆除这种性能幻象的统一评估框架。ViGoR 旨在全面评估视觉生成模型的零样本推理能力，不仅仅评估最终的视觉输出质量，而是深入考察模型在生成过程中的推理链路是否合乎物理规律和因果一致性。通过构建包含物理推理、知识推理和符号推理三大领域的多样化基准，覆盖从物理力学和社会常识到复杂空间规划的 20 个不同维度，ViGoR 旨在为生成智能提供统一的测试平台。最终目标是推动评估范式从评估保真度转向严格评估定义真正视觉智能的生成推理能力，促使研究者开发出不仅看起来漂亮而且真正理解世界的下一代视觉基础模型。
与已有工作不同的是，本文的独特切入角度在于提出了一个全面跨模态的评估框架，这是首个连接 I2I、Sequential I2I 和 I2V 任务的基准，填补了现有评估工具只能处理单一模态任务的空白。更重要的是，ViGoR 实现了双轨过程-结果评估机制，超越了对最终结果的二元评估，不仅评估最终输出，还验证中间状态和逻辑是否遵守物理定律和因果一致性。本文还创新性地提出了基于证据的自动化评估机制，通过多智能体系统减少 LLM 评估器的主观性，实现了与人类专家前所未有的对齐。此外，ViGoR 引入了细粒度诊断分析，将模型性能分解为特定的认知维度，使研究者能够精确定位特定的推理差距，而不是依赖单一的总分。这种全方位的评估视角与现有基准形成鲜明对比，后者通常只关注最终结果或某一特定类型的推理能力。
核心方法
ViGoR-Bench 的方法整体思路是从构建一个全面覆盖多种推理类型的基准数据集开始，然后设计一个能够同时评估生成过程和最终结果的双轨评估协议。首先，通过三管齐下的数据构建管道——生成合成、真实世界获取和算法构建——创建包含物理推理、知识推理和符号推理三大领域的多样化基准。物理推理涵盖需要具身智能的场景，如分类、空间推理、属性识别、物体组装、测量与验证和情境决策。知识推理评估对世界知识的推理能力，涵盖生物学、物理学、化学、地理学、历史学、体育和常识。符号推理则要求精确的逻辑操作，如数字华容道、积木搭建、迷宫导航、拼图游戏、数独、代数计算和函数绘图。然后，采用多智能体证据驱动评估系统，以 Gemini-2.5-Pro 作为 VLM-as-a-Judge 评估器，通过提供 Ground Truth 参考来稳定判断。评估分为过程指标和结果指标两个轨道，分别评估动态输出和最终输出。这种方法确保了对推理能力的全面考察，不仅仅是最终结果的对齐程度。
ViGoR-Bench 的核心创新点在于首次提出了跨模态统一评估框架，能够同时处理 I2I、Sequential I2I 和 I2V 任务，这与现有基准只能在单一模态上评估形成本质区别。另一个关键创新是双轨过程-结果评估机制，将评估对象从单一的结果扩展到整个生成过程，这是与现有评估方法最本质的区别。通过评估中间状态的逻辑连贯性和遵守物理定律的程度，ViGoR 能够揭示模型是否真正理解任务还是仅仅在执行表面模式匹配。第三个创新是证据驱动的自动化评估机制，通过提供 Ground Truth 参考来稳定 VLM 评估器的判断，实现了与人类专家的高对齐度。最后，细粒度诊断分析将性能分解为特定的认知维度，使研究者能够识别模型在哪些具体推理能力上存在缺陷，而不是只得到一个模糊的总分。这些创新共同构成了一个比传统评估更全面、更深入的评估框架。
方法步骤详情
ViGoR-Bench 的方法步骤从数据构建开始，采用三种不同的构建范式。首先，生成合成利用大型语言模型和图像生成模型创建高保真的物理场景，例如为物理推理任务编写详细的场景描述，然后进一步使用大型语言模型丰富，这些描述作为最先进生成模型的提示词来合成输入图像，所有生成的图像随后由人类标注者进行合理性和相关性验证。其次，真实世界获取涉及权威网站策划和手动摄影以确保与现实的一致性，例如从权威教育网站和科学存储库策划知识推理数据以确保事实准确性，所有样本都附带人类验证的文本答案。第三，算法构建利用基于规则的引擎产生逻辑严谨的样本，例如使用符号求解器验证代数计算任务的解，使用 Matplotlib 绘制二维函数表达式的对应曲线作为 Ground Truth 图像。数据构建完成后，建立双轨评估协议，过程指标评估动态输出，定义为 VLM 函数输入输入图像、编辑提示、模型输出序列、视觉和文本 Ground Truth 以及评估模板。输出分数向量包括四个维度，分别是背景一致性、规则遵守、视觉质量和推理准确性。结果指标评估最终输出，定义为 VLM 函数输入输入图像、编辑提示、最终生成图像、视觉和文本 Ground Truth 以及评估模板。分数向量包括背景一致性、规则遵守、视觉质量和推理成功，使用二元评分系统进行严格的通过或失败评估。最后，通过可靠性分析验证评估管道的可信度，比较 VLM-as-a-Judge 与人类专家的对齐程度，证明自动化管道提供与人类共识相竞争的一致性水平。
技术新颖性
ViGoR-Bench 的技术新颖性体现在多个方面。首先，它是首个实现跨模态统一评估的基准，连接了 I2I、Sequential I2I 和 I2V 任务，这与现有基准只能在单一模态上评估形成鲜明对比。其次，双轨过程-结果评估机制是前所未有的，它不仅评估最终的视觉输出，还考察中间推理状态是否符合物理定律和因果一致性，这种细粒度的评估能够揭示模型思考过程中的缺陷。第三，证据驱动的自动化评估机制通过提供 Ground Truth 参考来稳定 VLM 判断，实现了 Process 指标 73.3% 准确率和 0.267 MAE、Result 指标 78.6% 准确率和 0.213 MAE 的高人类对齐度，这是相比传统 VLM-as-a-Judge 方法的重要改进。第四，细粒度诊断分析将性能分解为背景一致性、规则遵守、视觉质量和推理准确性四个认知维度，使研究者能够精确定位模型的推理差距，而不是依赖模糊的总分。最后，ViGoR 的数据构建管道整合了生成合成、真实世界获取和算法构建三种范式，确保了数据的质量和多样性，这与主要依赖单一数据源的现有基准不同。
实验结果
通过对 20 多个领先模型的广泛实验，ViGoR-Bench 揭示了当前视觉生成模型在推理能力上的严重缺陷。首先，专有模型在性能上保持显著领先于开源对应模型。Nano Banana Pro 在大多数指标上持续保持顶级性能，在复杂领域如物理推理和符号推理中，只有 Nano Banana Pro 和 Sora 2 Pro 等顶级模型展现出生成准确结果的能力。相比之下，Flux.2 和 Bagel-Think 等其他模型经常出现幻觉或未能遵守指定约束，突显了在复杂视觉推理场景中指令遵循的持续挑战。其次，显式 CoT 提示增强了生成过程的可解释性但不保证最终准确性的提升。虽然 CoT 显著增强了中间过程的可解释性并确保逻辑链的完整性，但它并不严格保证更优越的最终结果，模型可能会想正确但画不准确。此外，推理链的延长引入了误差累积的风险，早期步骤的微小执行偏差会级联为最终输出的复合失败。第三，视频生成模型经常表现出推理幻觉，表面上的逻辑一致性在严格评估下站不住脚。Kling 1.6 和 Sora 2 Pro 等视频模型实现了异常的时间一致性，过程视觉质量分数分别达到 77.0% 和 85.5%，与甚至超过顶级统一 CoT 模型相当。然而，它们的逻辑效能存在鲜明对比，结果推理成功分数仍然不成比例地低，例如 Kling 1.6 仅为 1.6%。这种差异表明当前视频模型擅长模拟流畅运动和维护视觉连贯性，但难以内化严格推理任务所需的潜在逻辑约束。第四，问题复杂性的影响随任务类型不同而异。对于迷宫导航和拼图游戏，我们观察到随着网格大小扩大，推理成功率的急剧单调下降。然而，数独呈现出有趣的倒 U 模式，性能在中间维度达到峰值，但在两端下降。我们假设这源于训练数据分布偏差，其中标准网格尺寸相比非标准变体被过度代表。最后，奖励驱动的强化学习在推进视觉推理能力方面表现出卓越潜力，监督微调表现出饱和。通过在 ViGoR-Bench 数据上训练，Qwen-Image-Edit-2511-RL 模型在 8 乘 8 数据上训练实现了 97.0% 的推理成功率和 99.0% 的平均分数，这不仅代表了对其基础模型的量子飞跃，而且令人信服地超越了最先进的专有模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理推理（迷宫导航） | 推理成功率 RS | Qwen-Image-Edit-2511-RL 97.0% | Nano Banana Pro 11.0% | 提升 782% |
| 符号推理（数独） | 平均分数 | Qwen-Image-Edit-2511-RL 在 6x6 上 81.0% | Nano Banana 在 4x4 上 5.0% | 提升超过 1500% |
| 过程评估 - 视觉质量 | VQ 分数 | Sora 2 Pro 85.5% | Kling 1.6 77.0% | 提升 11% |
| 结果评估 - 推理成功 | RS 分数 | Nano Banana Pro 46.4% | GPT-image-1 13.4% | 提升 246% |
| 统一模型 w/o CoT - 规则遵守 | RO 分数 | Nano Banana Pro 62.0% | GPT-image-1 29.3% | 提升 112% |
局限与改进
作者承认的局限性包括：首先，ViGoR-Bench 的评估依赖于 VLM-as-a-Judge 范式，尽管与人类专家实现了高对齐度，但仍然可能存在系统偏差或盲点。其次，基准的构建虽然采用了三种范式，但仍然可能在某些推理维度上覆盖不足，特别是在需要长期记忆或复杂多步推理的任务上。第三，虽然实验涵盖了 20 多个模型，但评估仍然可能受到模型版本更新和 API 限制的影响，特别是在专有模型的情况下。我观察到的额外局限性包括：首先，ViGoR-Bench 主要关注零样本推理能力，但没有充分探索 few-shot 或 in-context learning 设置下的推理性能。其次，评估指标虽然细粒度，但仍然主要依赖于生成输出的静态分析，缺乏对生成过程中计算资源消耗、推理速度等实际部署因素的考虑。第三，基准主要针对图像和视频生成任务，对于其他模态如 3D 生成、音频生成等推理能力的评估尚未覆盖。第四，虽然通过 RL 微调展示了基准的实用性，但 RL 训练的计算成本和稳定性问题没有得到充分讨论。最后，基准的多样性虽然丰富，但可能仍然存在文化偏差，特别是在知识推理任务中可能主要基于西方教育体系的知识体系。
独立分析的弱点
本文的独立分析揭示的弱点包括：首先，在复杂物理推理任务上，即使是顶级专有模型也表现不佳，如 Nano Banana Pro 在物理推理上的推理成功率仅为 11.0%，这表明模型对物理定律的理解仍然非常表面。改进方向可以是在预训练阶段引入更多的物理仿真数据和因果推理训练。其次，视频生成模型的推理幻觉问题严重，Kling 1.6 虽然视觉质量达到 77.0%，但推理成功仅为 1.6%，这表明时间连贯性与逻辑推理能力之间存在巨大鸿沟。改进方向可以是设计专门的视频推理预训练任务，强化对动态因果关系的理解。第三，开源模型与专有模型的性能差距仍然显著，最好的开源模型 FLUX.1-Kontext-dev 的结果推理成功仅为 1.6%，而专有模型达到 46.4%。改进方向可以是开源更大的预训练数据集和更强大的训练架构。第四，CoT 提示虽然提升可解释性但不保证准确性，这表明显式推理与实际执行之间存在断层。改进方向可以是设计更好的 CoT-执行对齐机制，确保推理步骤能够准确转化为生成操作。第五，问题复杂性的影响随任务类型不同而异，这表明模型对不同类型复杂度的泛化能力不均衡。改进方向可以是设计更复杂度自适应的训练策略。第六，评估虽然与人类对齐，但 VLM 评估器本身可能存在偏见，这可能导致评估结果不公平。改进方向可以是通过更大规模的人类标注和更公平的评估器设计来减少偏见。
未来方向
作者提出的未来研究方向包括：首先，扩展 ViGoR-Bench 以覆盖更多的模态和任务类型，如 3D 生成、音频生成等，以及需要长期记忆或复杂多步推理的任务。其次，探索如何利用 ViGoR-Bench 作为训练信号来提升模型的推理能力，本文已经展示了 RL 微调的潜力，未来可以探索更多样的训练策略，如课程学习、多任务学习等。第三，深入研究 CoT 与执行准确性的关系，探索如何设计更好的推理-执行对齐机制。基于成果可延伸的未来研究方向包括：首先，开发更细粒度的推理能力诊断工具，不仅识别模型在哪些维度上存在缺陷，还能提供具体的改进建议。其次，探索跨模态推理能力的迁移学习，研究在一个模态上训练的推理能力如何迁移到其他模态。第三，研究推理能力的涌现机制，探索在什么规模和架构下模型会涌现出真正的推理能力而不仅仅是模式匹配。第四，开发更高效的评估方法，减少对 VLM 评估器的依赖，提高评估速度和降低成本。第五，研究推理能力与安全性的关系，探索提升推理能力是否同时减少有害内容的生成。第六，开发更公平的评估基准，减少文化偏差和训练数据偏见对评估结果的影响。第七，探索推理能力的可解释性，不仅评估模型是否能推理，还要理解模型如何推理。第八，研究推理能力与创造力的平衡，探索如何在提升推理能力的同时保持生成的创造性和多样性。
复现评估
ViGoR-Bench 的复现性评估如下：开源情况方面，论文声称基准已开源，但未提供具体的 GitHub 仓库链接，Demo 网站为 vincenthancoder.github.io/ViGoR-Bench。数据方面，论文详细描述了数据构建的三种范式，包括生成合成、真实世界获取和算法构建，但未明确说明完整数据集的发布情况。算力方面，实验评估了 20 多个模型，包括专有模型和开源模型，但未报告具体的推理时间和硬件需求，特别是对于视频生成模型的评估可能需要大量计算资源。难度方面，复现论文的主要实验需要访问多个模型的 API 或下载多个开源模型的 checkpoint，这可能涉及较高的设置成本。评估管道的实现需要使用 Gemini-2.5-Pro 作为 VLM 评估器，这需要相应的 API 访问权限。RL 微调实验需要构建训练数据集和使用 GRPO 算法，这需要一定的机器学习专业知识。总体而言，虽然论文提供了足够的方法细节来理解基准的设计和评估流程，但完全复现所有实验可能面临数据获取、模型访问和算力需求的挑战。建议作者发布完整的数据集、评估代码和训练脚本以提高可复现性。
论文图表
Figure 1 展示了 ViGoR-Bench 的整体框架，包括三个子图。子图 a 展示了数据在各领域的分布情况。子图 b 展示了生成模型的推理过程示例，包括 NanoBanana Pro 的文本 CoT、Bagel 的交错 CoT 和 Sora2 Pro 的音视频 CoT。子图 c 展示了在 ViGoR-Bench 上领先模型的性能比较。这张图直观地呈现了 ViGoR-Bench 的数据覆盖范围、评估方式和实验结果的概览。
这张图对理解论文至关重要，因为它提供了一个完整的视觉概览，展示了基准的数据多样性、评估方法和主要结果。特别是子图 b 展示了不同模型采用不同 CoT 策略的具体示例，帮助理解本文对显式推理的分析。子图 c 直观地显示了专有模型与开源模型的性能差距，支持论文的主要发现。
Table 4 比较了在 4x4、6x6 和 8x8 迷宫网格上使用 SFT 和 RL 微调的 Qwen-Image-Edit-2509 和 Qwen-Image-Edit-2511 模型的性能。评估在 ViGoR-Bench 测试集上进行，涵盖 2x2 到 7x7 的迷宫网格尺寸。报告了 BC、RO、VQ、RS 和 Avg 指标。Qwen-Image-Edit-2511-RL 在 8x8 数据上训练后达到 97.0% 的 RS 和 99.0% 的 Avg，显著超越基础模型和专有模型，证明了 RL 的强大潜力。
这个表格对理解论文应用至关重要，因为它证明了 ViGoR-Bench 可以作为有效的训练信号来提升模型推理能力。特别是展示了 RL 相比 SFT 的卓越潜力，以及训练在更复杂数据上对简单任务泛化的积极影响。这支持了论文关于奖励驱动 RL 在推进视觉推理能力方面具有卓越潜力的核心发现，也为开源模型超越专有模型提供了可行的路径，具有重要的实践意义。