GENIUS：生成式流体智能评估套件 GENIUS: Generative Fluid Intelligence Evaluation Suite
首个评估多模态生成模型流体智能的基准，揭示当前模型存在严重的执行差距
前置知识
统一多模态模型（UMM）
能够同时处理理解和生成任务的多模态大模型，如GPT-Image、Bagel等。这类模型通过融合视觉编码器、语言模型和扩散解码器，实现对复杂交错多模态上下文的处理。它们被认为是通往通用人工智能（AGI）的重要里程碑，因为能够结合广泛的先验知识进行创造性生成。当前主流架构包括基于Transformer的自回归模型和扩散模型两大类。
本文评估的核心对象就是这类模型的生成能力，特别是它们在面对新颖规则时的推理和适应能力，直接关系到通用人工智能的发展方向
流体智能（Fluid Intelligence）
源自Cattell-Horn-Carroll（CHC）认知理论，指在新颖情境中进行推理、归纳和适应的能力，不依赖于预存的知识或既定模式。与之相对的是晶体智能（Crystallized Intelligence），即依赖记忆和检索预训练知识的能力。流体智能强调的是动态问题解决和抽象推理，是衡量人类认知能力的核心指标之一。
本文首次将这一认知科学概念引入视觉生成领域，定义了生成式流体智能（GFI）的概念框架，为评估模型的真正智能水平提供了理论基础
上下文学习（In-Context Learning）
大模型通过在输入上下文中提供示例来学习新任务的能力，无需更新模型参数。近期理论研究表明，ICL在数学上等价于隐式微调过程，模型在生成时实际上在进行梯度下降式的参数更新。这种隐式更新的方向和幅度受到注意力分布的影响，是理解模型如何处理新规则的关键。
本文基于ICL作为隐式微调的理论，分析了当前模型在GFI任务上失败的根本原因，并提出了针对性的改进方案
混合评估协议
本文提出的三维度评估框架，包括规则遵循性（Rule Compliance）、视觉一致性（Visual Consistency）和美学质量（Aesthetic Quality），权重比为6:3.5:0.5。使用Gemini-3-Pro作为评判者，并结合人工标注的eval-hint进行混合评估，确保评估的可靠性和可重复性。
这是本文评估方法论的核心创新，解决了GFI任务难以自动化评估的挑战，为后续研究提供了可靠的评估标准
研究动机
当前统一多模态模型（UMM）的评估主要聚焦于晶体智能，即模型记忆和检索预训练知识的能力。例如，模型能够生成完美的猫图像，往往是因为在训练阶段接触了数十亿个猫的实例，然后在推理阶段进行概率性复现。然而，这种评估范式严重掩盖了模型在流体智能方面的关键缺陷。具体表现为三个方面：第一，缺乏正式的GFI定义，理论空白阻碍了指导模型向通用智能发展的基础；第二，现有基准如GenEval、WISE、DPG-Bench等主要评估静态世界知识、生成质量或安全性，无法解耦先验知识来探测真正的通用智能边界；第三，缺乏系统的失败模式分析，无法回答模型为什么失败以及如何改进的关键问题。
本文的目标是本文旨在填补上述三个空白：首先，基于Cattell-Horn-Carroll认知理论，正式定义生成式流体智能（GFI），将其分解为三个核心原语，即隐式模式归纳、临时约束执行和上下文知识适应；其次，构建首个专门评估GFI的基准测试GENIUS，包含510个专家策划的样本和20个子任务；最后，通过系统评估12个代表性开源和商业模型，揭示当前模型的真实能力边界，并提出无需训练的改进方案作为强基线。
与已有工作不同的是，本文的独特切入角度体现在四个方面：第一，首次将认知科学中的流体智能概念引入视觉生成领域，建立了GFI的理论框架；第二，严格解耦静态知识，确保每个测试样本都呈现动态且新颖的规则，纯粹量化模型的GFI能力；第三，采用多模态交错上下文设计，要求模型同时整合视觉和文本信息才能完成任务，移除任何单一模态都会使任务不可解；第四，不仅停留在评估层面，还通过理论分析和实验诊断追踪失败原因，揭示了注意力机制缺陷是导致GFI能力不足的关键因素。
核心方法
GENIUS的整体方法可以分为三个层次：理论定义、基准构建和评估分析。在理论层面，基于CHC认知理论将通用智能分解为晶体智能和流体智能，进而将生成式流体智能（GFI）定义为三个核心原语的综合：归纳推理是从观察中提炼隐式模式和内在属性；抽象动态推理是在临时定义的规则下执行逻辑推理；适应性抑制是根据上下文线索进行调整，即使需要偏离既定常识。在基准构建层面，为每个维度设计了具体任务：隐式模式归纳包含86个样本，临时约束执行包含213个样本，上下文知识适应包含211个样本，总计510个专家策划的样本覆盖20个子任务。在评估分析层面，采用Gemini-3-Pro作为评判者，结合人工标注的eval-hint进行混合评估。
本文的核心创新在于首次提出了生成式流体智能（GFI）的形式化定义和评估框架。与现有基准的本质区别在于：现有基准如GenEval和WISE主要评估模型的晶体智能，即复现已知概念的能力，而GENIUS专注于评估模型在面对全新规则时的推理和适应能力。具体而言，GENIUS的每个测试样本都包含一个动态且新颖的规则，严格排除预训练知识的影响。例如在简单约束任务中，模型需要识别临时定义的符号规则如抽象符号表示下雨并将其应用于视觉输出，而不是简单地检索静态概念。这种设计迫使模型必须依赖即时上下文进行推理，而非依赖参数化的先验知识。
方法步骤详情
GENIUS的评估流程包含以下关键步骤：首先是样本构建，由多模态专家手动策划，每个样本包含多模态交错上下文，移除任何单一模态都会使任务不可解；其次是任务设计，三个维度共五个任务包括隐式模式生成用于评估从上下文中推断隐式视觉偏好的能力、符号约束生成用于评估在临时定义的符号规则下进行抽象推理的能力、视觉约束生成用于评估在临时定义的视觉约束下生成的能力、先验冲突生成用于评估在与常识冲突的上下文中进行推理的能力、多语义生成用于评估根据上下文区分字面义和比喻义的能力；第三是评估指标，包括规则遵循性衡量执行严格临时规则的准确性、视觉一致性评估在逻辑约束下生成属性的稳定性、美学质量确保模型在处理新颖输入时保持基本视觉真实感；最后是评判方式，使用Gemini-3-Pro作为评判者，结合人工标注的eval-hint，每个指标评分0表示失败、1表示部分成功、2表示完美，最终得分为三次独立运行的平均值。
技术新颖性
本文的技术新颖性体现在多个方面：首先在理论层面，首次将认知科学中的流体智能概念形式化引入视觉生成领域，建立了GFI的三维度定义框架，填补了该领域的理论空白；其次在基准设计层面，GENIUS采用了严格的知识解耦策略，每个测试样本都包含动态新颖的规则，确保评估的是模型的推理能力而非记忆能力；第三在评估方法层面，创新性地提出了混合评估协议，结合自动评估LMM-as-Judge和人工标注的eval-hint，解决了GFI任务难以自动化评估的挑战；第四在分析层面，通过将生成任务重构为理解导向的VQA探针，揭示了知而不能画的现象，模型能够准确理解上下文意图但无法将其转化为符合规则的视觉输出；最后在改进方案层面，基于ICL作为隐式微调的理论，提出了无需训练的注意力干预机制，通过关键词蒸馏、相关性映射和偏置注入三个阶段重新校准注意力分布。
实验结果
本文对12个代表性模型进行了全面评估，结果揭示了当前模型在GFI任务上的严重缺陷。首先GFI仍是主要瓶颈：即使是表现最好的商业模型Nano Banana Pro总体得分仅为57.19，未达到及格水平，而代表性开源模型Bagel仅得26.74。其次当前模型无法有效仲裁预训练先验与给定上下文之间的冲突：在上下文知识适应维度性能一致性地低于其他任务类别，当临时指令与世界知识明确矛盾时如违反直觉的物理定律或重新映射的语义，模型表现出强烈的认知惯性频繁回归预训练先验。第三美学保真度掩盖了深层逻辑缺陷：模型在美学质量指标上得分很高但在规则遵循性上严重滞后，表明先前的模型优化过度关注表面视觉合理性而忽视了深层上下文解释和逻辑遵循。第四生成失败主要源于执行差距而非理解缺陷：通过将生成任务重构为VQA探针发现模型能够准确理解上下文意图VQA准确率达94.11%，但无法将其转化为符合规则的视觉输出，这种知而不能画的现象源于交错上下文的高信息密度和当前UMM架构的结构低效性。第五预规划和后反思策略收效甚微：在Nano Banana Pro和Bagel上实施预规划和后反思策略仅带来边际收益，表明当前架构难以有效利用显式推理进行生成。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 隐式模式归纳 | 规则遵循性（RC） | 39.54 | 26.74 | +12.80（相对提升47.9%） |
| 符号约束生成 | 规则遵循性（RC） | 36.54 | 29.61 | +6.93（相对提升23.4%） |
| 视觉约束生成 | 规则遵循性（RC） | 30.45 | 22.50 | +7.95（相对提升35.3%） |
| 先验冲突生成 | 规则遵循性（RC） | 34.22 | 33.49 | +0.73（相对提升2.2%） |
| 多语义生成 | 规则遵循性（RC） | 23.67 | 22.28 | +1.39（相对提升6.2%） |
| 总体得分 | 加权总分（RC:VC:AQ=6:3.5:0.5） | 32.92 | 26.74 | +6.18（相对提升23.1%） |
局限与改进
本文存在以下局限性：首先评估范围有限，GENIUS目前包含510个样本和20个子任务，虽然覆盖了GFI的三个核心维度但样本量相对较小，可能无法完全代表流体智能的所有方面。其次评估指标具有主观性，尽管采用了混合评估协议并验证了LMM-as-Judge的可靠性，Pearson相关系数达0.9630到0.9659，但美学质量等指标仍具有一定主观性。第三改进方案存在局限性，提出的无需训练的注意力干预机制虽然在Bagel上取得了显著提升，总体得分提升6.18个百分点，但该方法依赖于模型的内部架构如注意力机制，可能无法直接迁移到其他架构的模型。第四评估模型的代表性有限，虽然评估了12个模型但未包含一些最新的多模态生成模型，可能无法完全反映当前技术的最新水平。第五任务设计较为简化，当前任务主要聚焦于静态图像生成，未涉及视频生成或多轮交互生成等更复杂的场景。
独立分析的弱点
基于独立分析，本文存在以下弱点及改进方向：首先理论框架过于简化，当前GFI定义基于三个原语但人类流体智能包含更多维度如工作记忆和认知灵活性等，未来可以扩展理论框架以更全面地覆盖流体智能的各个方面。其次任务设计存在局限性，当前任务主要涉及视觉属性的推理和生成，缺乏对空间关系和时间序列等更复杂推理能力的评估，未来可以设计更具挑战性的任务。第三评估方法有改进空间，虽然混合评估协议提高了可靠性但人工标注的eval-hint成本较高，未来可以探索更高效的自动评估方法。第四改进方案的通用性不足，当前的注意力干预机制针对Bagel架构设计，未来可以研究更通用的改进策略如基于提示工程或微调的方法。第五缺乏人类基线数据，论文未提供人类在GFI任务上的表现数据，难以准确评估模型与人类智能的差距。
未来方向
本文为未来研究指明了多个方向：首先可以扩展GFI评估，将评估范围扩展到视频生成、3D生成和多轮交互生成等更复杂的场景，构建更全面的流体智能评估体系。其次可以深化理论研究，进一步探索ICL作为隐式微调的理论机制，理解模型如何在生成过程中进行参数更新，为改进模型架构提供理论指导。第三可以开发更有效的改进策略，基于本文的理论分析研究更通用的注意力调整机制，或探索基于强化学习和对比学习等方法来提升模型的GFI能力。第四可以进行跨模态迁移研究，探索在视觉生成任务上提升的GFI能力是否能够迁移到其他模态如文本和音频的生成任务。第五可以研究人机协作场景，探索如何将GFI能力应用于实际的人机协作场景如创意设计和科学可视化等，提升AI系统的实用价值。
复现评估
本文的复现评估如下：首先开源情况方面，论文明确表示数据集和代码将在GitHub上发布，地址为https://github.com/arctanxarc/GENIUS，但截至论文发表时尚未正式开源，需要等待作者的正式发布。其次数据可用性方面，GENIUS包含510个专家策划的样本，这些样本需要人工策划和标注，复现成本较高，但作者承诺开源数据集。第三算力需求方面，评估涉及12个模型的推理，其中包含多个商业API如Nano Banana Pro和GPT-Image等，需要相应的API访问权限和计算资源。第四评估框架方面，使用Gemini-3-Pro作为评判者需要Google API访问权限，但作者也验证了开源替代方案Qwen2.5-VL-72B的可行性。第五复现难度方面，整体难度中等偏高，主要挑战在于获取商业模型的API访问权限和人工标注eval-hint，但作者提供了详细的评估流程和提示模板。
论文图表
