CreativeBench：通过自我演化挑战基准测试和增强机器创造力 CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges

CreativeBench-Combo数据集构建流程包括四个步骤：首先是解决方案融合，提示模型将来自不同领域的代码组件合并成统一解决方案，并在沙盒中验证正确性；其次是测试函数生成，从验证后的解决方案生成输入和获取真实输出，构建标准断言语句；然后是问题合成，要求模型解释代码的语义意图，生成清晰连贯的问题描述；最后是三阶段过滤，包括难度检查（移除过于简单的问题）、质量审计（使用GPT-4o审核）和多样性检查（通过语义去重）。CreativeBench-Explore数据集采用自对弈方法，基于创建约束比求解该约束下的问题更容易的不对称性。流程包括动态约束堆叠，从无约束问题开始，只有当解算器成功解决当前级别时才进入下一级；每步生成器分析前一级的解算器解决方案并引入新的负约束来禁用其特定的算法选择；解算器通过参考引导的细化策略尝试满足累积的约束，最多允许固定次数的细化尝试。

技术新颖性体现在多个层面：理论上，首次将Boden的认知创造力框架具体化为机器创造力评估的量化指标，明确区分组合创造力和探索创造力；方法上，采用逆向工程和自对弈的全自动化数据构建流水线，实现了无需人工参与的高难度任务生成；指标上，定义统一的创造力评分作为质量与新颖性的乘积，质量通过沙盒执行和LLM-as-a-judge验证，新颖性通过嵌入距离和字符级n-gram距离的混合度量，对语义和词汇层面的新颖性都敏感；增强上，提出的EvoRePE方法将演化搜索模式内化为潜在空间引导，实现了无需训练的推理时增强，且与底层演化策略正交，能够叠加在任何进化算法上持续提升创造力。

独立分析的弱点包括：新颖性指标的混合设计虽然旨在平衡语义和词汇层面，但字符级n-gram项可能仍然对轻量级文本编辑过于敏感，尽管通过规范化操作和弱相关性分析缓解了这个问题，但在极端情况下仍然可能产生假阳性；EvoRePE方法的性能依赖于注入层和引导强度的选择，虽然在一定范围内显示鲁棒性，但存在调优敏感性；数据集虽然是自动构建的，但可能仍然存在某些模式或偏差，需要持续的质量监控；评估主要关注最终输出质量，过程级别的创造性信号（如探索轨迹）尚未被充分利用；研究主要在代码生成领域进行，扩展到其他创造性领域需要重新设计评估指标和数据构建流程。

作者提出的未来方向包括扩展评估框架到其他创造性领域，包括讲故事、音乐创作、视觉设计、三维人工制品设计、游戏关卡设计和科学发现。这需要领域特定的结构化表示和可靠的质量与新颖性评估标准。虽然代码提供执行支持的质量信号，但许多领域缺乏标准化表示或可靠的自动评估器。未来工作可以利用领域特定的代理质量指标和更原则性的新颖性估计器，如到参考集的距离或图和树上的结构发散。未来评估框架必须超越结果评分，纳入过程级别信号，利用交互轨迹映射探索轨迹并使模型行为与人类认知工作流程对齐。另一个有前景的应用领域是科学发现，其中想法生成（如提出新颖实验设计）测试生成推理的极限，评估指标必须扩展以严格量化和新颖性，确保生成的假设既可行又与既定文献实质不同。基于成果可延伸的方向包括将EvoRePE扩展到更多基础模型和演化算法组合，探索过程级别的创造性信号，以及开发更鲁棒的新颖性指标。

论文承诺在CreativeBench主页发布数据和代码，数据集的自动化构建流水线具有很好的可重复性，所有步骤都有明确的算法描述和提示词。评估指标的定义清晰，质量通过沙盒执行和Pass@1指标衡量，新颖性通过嵌入距离和字符级n-gram距离测量，这些都可以通过公开的工具和模型重现。人工验证表明数据有效性率为89.1%，自动创造力排名与专家创造力排名高度一致，证实了指标可靠性。EvoRePE方法的实现细节包括选择QWEN2.5-7B-INSTRUCT作为基础模型，选择第26层和默认引导强度alpha等于0.1，这些都提供了明确的复现指导。计算成本方面，代表性端到端运行组合约8.78小时，这在可接受范围内。论文提供了详细的附录，包括算法伪代码、提示词模板、基线超参数设置和鲁棒性分析，这些都极大增强了可复现性。