CREATE：测试大语言模型的关联创造力 CREATE: Testing LLMs for Associative Creativity
提出关联创造力基准，通过知识图谱路径生成评估LLM的创意联想能力
前置知识
关联创造力（Associative Creativity）
关联创造力是指在不同概念之间建立新颖且有意义联系的能力，是组合创造力（combinatorial creativity）的核心组成部分。这种能力在科学发现、创意写作和问题解决中至关重要。具体来说，它要求模型能够在知识图谱中找到连接两个实体的非显而易见但具有强关联性的路径，类似于人类专家在头脑风暴时建立概念间的联想。关联创造力不同于简单的多跳推理，它需要在巨大的搜索空间中发现高质量、多样化的连接。
这是本文评估的核心能力，理解关联创造力的定义和特征是理解整个基准设计和评估指标的基础
知识图谱路径（Knowledge Graph Paths）
在本文中，知识图谱 G=(E,R) 由实体集 E 和关系集 R 组成。路径 u 是三元组序列 (e1, r1, e2), ..., (en, rn, en+1)，其中连续三元组共享实体。路径需要满足结构有效性（相邻三元组首尾相连）和事实性（三元组表示真实关系）。例如，连接 Dakota Johnson 和 Shrek 2 的路径可以是 (Dakota Johnson, stepdaughter, Antonio Banderas) → (Antonio Banderas, starred in, Shrek 2)。路径的多样性来自不同实体和关系的组合方式。
路径是本文任务的基本单位，模型需要生成多个高质量、多样化的路径来获得高创造力效用分数
特异性（Specificity）
特异性衡量一个三元组中关系的具体程度，通过谓词诱导类（predicate-induced classes）的大小来定义。对于三元组 (ei, ri, ei+1)，定义两个类 CA = {x | (x, ri, ei+1) is true} 和 CB = {y | (ei, ri, y) is true}。特异性 σ(ei, ri, ei+1) = g(max(|CA|, |CB|))，其中 g 是单调递减函数。例如，stepdaughter 关系的类大小很小（一个人只有少数继女），特异性高；而 citizen of 关系的类大小很大（一个国家有数百万公民），特异性低。路径的特异性由其最弱三元组的特异性决定。
特异性是评估路径质量的核心指标，决定了路径是强连接还是弱连接，直接影响创造力效用分数
创造力效用（Creative Utility）
创造力效用是一个综合评估指标，结合了路径质量和多样性。其数学形式为 $s(U) = \max_\tau \sum_{i=1}^{|U|} \gamma^{i-1} f(u_{\tau(i)}) \min_{j<i} d(u_{\tau(i)}, u_{\tau(j)})$，其中 $\gamma$ 是耐心参数（控制对后续路径的衰减），$f$ 是质量函数（特异性×事实性），$d$ 是路径间距离函数。该指标基于贪心最优排序计算，每个路径的边际贡献由其质量、与已选路径的最小距离以及在排序中的位置共同决定。
这是本文提出的核心评估框架，将质量、多样性和数量统一到一个可优化的指标中，是评估模型创造力的基准
LLM-as-a-Judge
使用大语言模型作为评估者来自动评判特定维度的质量。在本文中，gpt-oss-120b 被用作特异性和事实性的评判者。对于特异性，LLM估计谓词诱导类的大小并映射到1-5分；对于事实性，LLM判断关系是否真实存在。这种方法避免了昂贵的人工标注，同时保持了与人类判断的合理一致性（特异性Pearson相关0.67，事实性平衡准确率85.9%）。
理解LLM-as-a-Judge的可靠性和局限性对于信任自动化评估结果至关重要，作者通过人类验证实验证明了其有效性
研究动机
当前评估大语言模型创造力面临根本性困境。一方面，真实世界的复杂创造力任务（如假设生成、研究创意）难以大规模评估，且主观性强，即使是AI生成的论文经过真实审稿流程后仍被发现存在重大缺陷。另一方面，现有的符号化基准（如替代用途任务、远程联想测试）对LLM来说过于简单，这些基准已经被预训练数据饱和，且使用的概念（如book、bottle、brick）是日常熟悉物体，无法真正测试模型在复杂真实概念间的联想能力。具体数据表明，这些人类创造力测试对LLM来说相对容易，因为模型可以利用大上下文窗口、检索工具和并行生成能力。此外，现有模型常被批评为返回同质化输出，这表明即使集成多个模型，也可能面临性能天花板。
本文的目标是本文的具体目标是创建一个既具有现实适用性又可客观验证的关联创造力基准。CREATE基准要求模型在真实世界实体之间生成多个强连接、多样化的路径，类似于人类专家在头脑风暴时建立的概念联想。该任务需要在知识图谱中进行多跳推理，具有极大的搜索空间，但同时允许客观的答案评分。作者希望通过这个基准回答三个关键问题：(1) 前沿模型在创造力任务上的表现如何？(2) 增加推理计算是否能提升创造力？(3) 创造性提示策略是否有效？
与已有工作不同的是，本文的独特切入角度在于找到了现实性与可验证性之间的最佳平衡点。与抽象符号基准不同，CREATE基于真实世界实体和概念（如电影人物、基因、化学化合物），使用Wikidata知识图谱作为事实基础。与完全主观的创造力评估不同，CREATE通过分解评估为特异性、事实性和多样性三个可量化维度，实现了客观评分。更重要的是，本文不依赖单一的正确答案，而是评估模型生成多样化强连接的能力，这更接近真实创造力任务的本质。此外，本文提出了统一的创造力效用指标，将质量和多样性整合到一个可优化的目标函数中，参考了NoveltyBench的思想但做了关键改进，包括使用连续距离而非离散0-1冗余度量。
核心方法
CREATE的整体方法思路是将关联创造力建模为知识图谱中的路径搜索问题。直觉上，创造力可以理解为在概念空间中发现非显而易见但有意义的连接，类似于科学发现中的联想跳跃。技术路线分为三个层次：首先，构建知识图谱查询，从Wikidata中选取关系-类别对，形成实体对并生成自然语言问题；其次，让LLM生成连接实体对的多条路径；最后，通过特异性、事实性和多样性的综合评估框架对路径进行评分。该方法的核心优势在于：任务设计基于真实知识但评估是客观的，搜索空间足够大（知识图谱中存在大量可能路径）但质量分布是右偏的（少数高质量路径价值远超常规路径），这反映了真实创造力任务的特征。
CREATE的核心创新点是将创造力评估从整体主观评分分解为三个可量化的维度，并提出统一的创造力效用指标。与已有方法的本质区别在于：(1) 不同于直接用LLM-as-a-Judge进行端到端创造力评分（作者证明这种评分在不同评估者间排名不稳定），本文的分解评估产生了稳定的排名；(2) 不同于NoveltyBench的离散冗余度量，本文使用连续的语义距离函数，更准确地捕捉路径间的相似性；(3) 不同于单一正确答案的推理任务，本文允许多个高质量答案共存，评估模型覆盖答案空间的能力；(4) 通过谓词诱导类大小来定义特异性，提供了一个可计算的关系强度度量。
方法步骤详情
CREATE基准的构建和评估分为以下步骤：(1) 数据收集：从Wikidata中手动选择11个关系-类别对（如(member of sports team, Scuderia Toro Rosso)），这些对定义了紧凑且语义连贯的类；(2) 查询生成：从每个类中采样实体对，选择一个三元组并扩展一跳关系，用GPT-4o-mini将结构化三元组重写为自然语言问题，共生成931个查询；(3) 路径生成：让目标LLM在温度0.7下生成多条路径，非思考模型最大4096 token，思考模型使用不同的推理预算（16k-32k token或默认预算）；(4) 路径过滤：解析输出为结构化JSON，过滤掉结构无效的路径；(5) 质量评估：使用gpt-oss-120b评估每条路径的特异性（1-5分）和事实性（二元判断），质量 $f(u) = I[q(u)=1] \times \min \sigma(e_i,r_i,e_{i+1})$；(6) 距离计算：使用all-MiniLM-L6-v2获取路径嵌入，计算余弦距离并应用余弦退火变换；(7) 创造力效用计算：通过贪心算法找到最优排序 $\tau$，计算 $s(U) = \max_\tau \sum \gamma^{i-1} f(u_{\tau(i)}) \min_{j<i} d(u_{\tau(i)}, u_{\tau(j)})$；(8) 实验评估：在多个前沿模型上测试，比较不同推理预算和提示策略的效果。
技术新颖性
本文的技术新颖性体现在多个方面：(1) 评估框架创新：将创造力分解为特异性、事实性和多样性三个正交维度，每个维度都有独立的验证机制，避免了端到端LLM评估的不稳定性；(2) 指标设计创新：创造力效用指标结合了子模函数理论和行列式点过程的思想，使用边际贡献递减的贪心优化，γ参数控制耐心程度，反映用户在实际场景中对创意列表的扫描行为；(3) 距离函数创新：余弦退火变换 g(x) 在[0,0.7]区间内重缩放距离，解决了原始余弦距离在高低端的不敏感问题，具体来说距离大于0.7的路径差异过大而距离小于0.4的路径过于相似；(4) 基准设计创新：使用谓词诱导类大小来定义关系强度，这是一个可扩展且领域无关的度量，避免了人工定义关系权重的主观性。
实验结果
实验结果揭示了关于LLM创造力的多个重要发现。首先，在931个查询上，前沿模型在patience=1时创造力效用分数高达18，表明模型平均能找到至少18条路径。GPT-5.5排名第一，Claude-Sonnet-4.6排名第二，GPT-5排名第三，前两名与其余模型的差距在统计上显著（p<0.05）。其次，推理计算的影响因模型而异：GPT-5-mini从更大的推理预算中获益显著，而gpt-oss-120b几乎没有改善，这表明额外推理的收益是模型特异性的，而非普遍规律。第三，某些模型表现保守：Gemini 3.1-Pro表现最差，因为它过于犹豫生成可能不真实的答案；Claude-Opus-4.7即使在高推理努力下也表现不佳，作者将其归因于该模型的自适应思考能力。第四，提示策略的影响有限：迭代提示（iterate）最有效，因为它直接增加了生成路径；创造性提示和原始提示表现相似；语言化采样（verbalized）产生很少的有效路径。第五，尽管模型间差异不大，但不同模型能发现不同的有趣连接，特别是在尾部实体上，没有单个模型能覆盖大多数强路径。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 关联创造力（Creative Utility, patience=1） | 创造力效用分数 | GPT-5.5: 最高分，Claude-Sonnet-4.6: 第二名 | GPT-5-mini (high reasoning): 中等表现 | 前两名与其他模型差距统计显著（p<0.05） |
| 特异性评估（Specificity） | Pearson相关系数 / Krippendorff's alpha | LLM judge与人类：Pearson r=0.67 | 人类标注者间：Krippendorff's alpha=0.68 | 接近人类标注者间一致性 |
| 事实性评估（Factuality） | 平衡准确率 / 召回率 / 精确率 | 整体平衡准确率85.9%，错误关系召回0.94，正确关系精确率0.98 | 无直接基线 | 高召回确保过滤大部分幻觉路径 |
| 创造力效用评估（Creative Utility） | Pearson相关系数 / Krippendorff's alpha | 与人类：Pearson r=0.51-0.55，标注者间alpha=0.62 | 端到端LLM评估：排名不稳定 | 分解评估产生稳定排名，优于整体评分 |
局限与改进
本文存在多个局限性。作者承认的主要局限：(1) LLM评判者的知识限制，特别是在长尾实体上，事实性评估的精确率较低（0.52），说明存在误判；(2) 距离函数依赖于嵌入模型（all-MiniLM-L6-v2）的选择，可能无法完美捕捉语义相似性；(3) 人类验证规模有限（75条路径的特异性评估，346条的事实性评估，105条的创造力评估），可能无法覆盖所有边界情况；(4) 评估仅基于英语查询和Wikidata知识图谱，可能不适用于其他语言或知识库。作者之外的观察：(5) 基准可能偏向于需要百科知识的任务，对需要常识推理或专业领域知识的创造力评估不足；(6) 路径长度限制可能影响创造力的表达，某些有趣但较长的路径可能被截断；(7) 单次生成（而非迭代交互）可能无法充分探索模型的创造力潜力；(8) 批评性分析：基准饱和可能不是真正的创造力不足，而是搜索空间过大导致的覆盖不足，这可能更多反映推理能力而非创造力本身。
独立分析的弱点
独立分析的弱点包括：(1) 评估维度的完整性：本文仅评估特异性和事实性，但忽略了路径的意外性（surprisingness）和有用性（usefulness），某些路径可能特异性高但对实际创意任务无用；改进方向是引入更多评估维度，如路径的新颖性（与常见知识的距离）和实用性（在特定应用场景中的价值）。(2) 搜索效率问题：模型倾向于重复访问相同节点，推理链中存在冗余信息，这降低了搜索效率；改进方向是引入显式的已访问节点追踪或基于图结构的搜索策略。(3) 提示策略的局限：当前的提示变体（创造性提示、语言化采样）效果有限，说明简单的提示工程不足以解决创造力问题；改进方向是开发基于强化学习的创造力训练信号，或设计结构化的探索-利用平衡策略。(4) 单一知识图谱的局限：Wikidata可能不包含所有领域的知识，且某些关系的定义可能不够精确；改进方向是扩展到多个知识源或使用动态知识检索。(5) 缺乏因果分析：虽然观察到不同策略的效果差异，但未深入分析为什么某些策略有效而其他无效；改进方向是对推理轨迹进行更细粒度的策略分类和效果归因。
未来方向
未来研究方向包括：(1) 作者提出的：进一步利用LLM进行关联创造力任务，需要开发新的方法来改善模型的概念空间搜索能力，特别是要理解为什么增加推理token不一定带来更高分数；(2) 基于推理轨迹分析的改进：作者发现模型使用了目标设定、特征枚举、反向链式推理、双向枚举等策略，可以基于这些发现设计更有针对性的训练信号和推理时干预；(3) 创造力训练：当前模型主要通过预训练获得知识，可以设计专门的创造力微调任务，如基于知识图谱的路径生成训练；(4) 多模态扩展：将关联创造力扩展到视觉、听觉等多模态概念间的联想；(5) 交互式创造力：评估人类-AI协作的创造力，而非单一模型的独立表现；(6) 领域特化：针对科学发现、药物设计等特定领域定制创造力基准；(7) 动态基准：随着知识更新，定期更新基准以避免数据泄漏和基准饱和问题。
复现评估
复现评估：本文提供了较好的复现条件。开源情况：论文提供了项目页面和代码仓库（Project Page和Repository在论文标题旁标注），但未明确说明是否开源完整代码和数据。数据方面：基于Wikidata构建的931个查询，Wikidata是公开可用的知识图谱，但基准构建过程中的关系-类别对手动选择部分可能需要人工复现。算力方面：评估涉及多个前沿API模型（GPT-5.5、Claude-Sonnet-4.6等）和开源模型（Qwen3-32B、OLMo-3.1-32B等），API调用成本可能较高；开源模型需要约32B参数的GPU资源。难度方面：基准构建流程（算法1在附录B中描述）相对清晰，但需要Wikidata查询、LLM调用和嵌入计算；评估流程（特异性、事实性、距离计算）需要多个LLM评判者，增加了复现成本。关键挑战：附录中的额外实验（如模型鲁棒性验证）可能需要大量额外计算。
论文图表
