创意启动：解耦过程与产物以逃逸创意悖论 Creative Priming: Decoupling Process from Product to Escape the Creative Paradox
训练独立的启动模型引导冻结的响应模型，用解耦创意过程的方式逃逸创意悖论
前置知识
GRPO（组相对策略优化）
一种无需价值网络的强化学习算法：对每个 prompt 从当前策略采样一组 G 个回答，每个回答得标量奖励 $r_i$，组内标准化得到优势 $A_i = (r_i - \mathrm{mean}(\{r_1,\dots,r_G\})) / \mathrm{std}(\{r_1,\dots,r_G\})$，再用 clipped 目标加 KL 惩罚更新策略。方法效果好坏完全取决于奖励 $r_i$ 如何定义。
本文所有方法（CP 和两个基线）都以 GRPO 为骨干，区别仅在奖励 $r_i$ 的定义，不懂 GRPO 就无法理解训练流程与实验设计。
P-创意与 H-创意
Boden 对创造力的二分：P-创意（psychological creativity）指对产生者个体而言是新的想法；H-创意（historical creativity）指对全人类历史而言是新的。验证 H-创意几乎不可行，而 P-创意只需记录模型的历史行为即可实证检验，且随着模型吸收海量信息，两者的差距正在缩小。
论文明确声明全文研究的是模型的 P-创意，所有「新颖」的操作化定义（偏离参考集的距离）都建立在这个概念区分之上。
语义嵌入与余弦距离
把文本映射为向量 $\phi(\cdot)$，两段文本的语义距离用嵌入夹角衡量：$d(a,b) = \min(1, 1-\cos\theta_{ab}) \in [0,1]$，其中 $\theta_{ab}$ 是两嵌入向量的夹角，距离大表示语义差异大。本文训练用 Qwen3-Embedding-0.6B 计算距离，评测刻意改用 jina-embeddings-v5-text-small 以避免对训练嵌入模型过拟合。
偏离度（deviation）、多样性（diversity）和 Vendi 分数全部由这个距离函数派生，是本文奖励函数与评测指标的计算基础。
NoveltyBench 与 distinct clusters
NoveltyBench 是含 100 个真实开放式 prompt 的创造力评测基准。每个 prompt 生成大量回答后，用语义等价分类器（deberta-v3-large-generation-similarity）把回答聚类，distinct clusters 即语义不同的回答簇数量，衡量模型能给出多少个真正不同的答案而非同义改写。
这是本文的主评测基准，「每 prompt 64 个回答中同时新颖、高质量且语义不同的数量」这一核心指标直接建立在其聚类方法之上。
Vendi 分数
一种信息论多样性指标，度量样本集合中「有效不同样本」的个数：基于样本间相似度矩阵的指数熵，类似生态学中的有效物种数。它对近似重复的样本连续打折，不需要显式聚类，能更细腻地刻画集合多样性。
Vendi score 是本文五个原子指标之一，其过滤版（filtered Vendi）是衡量系统级创意的核心复合指标，也出现在模型交叉组合实验中。
奖励模型与 LLM-as-a-judge
奖励模型（如 Skywork-Reward-V2-Llama-3.1-8B）输入 prompt 与回答，输出表示回答质量的标量分数；LLM-as-a-judge 则用大模型按评分细则给文本打分。两者都是把「好」这一主观属性转为可优化信号的代理评估器，但都带有噪声与偏置。
CP 的奖励函数中质量项、primer 判分（Llama-3.3-70B）与评测质量分（Qwen3-235B）全靠这类代理信号，其不完美性直接构成方法的局限。
研究动机
LLM 的创造力迟迟未被攻克，最直观的症状是输出同质化：跨模型甚至跨模型家族，开放任务上的输出常常坍缩到相同的少数想法上，只剩措辞的微小变化；对科学构想的研究也发现，模型生成的想法原创性低于人类，且倾向于贴着熟悉的科学方向打转。更根本的障碍是作者提出的创意悖论（creative paradox）：创造力是极难从样本中学习的技能——任何过去的成功创意（哪怕是模型自己的成功输出）一旦被用作训练目标，标准学习方法都会让这类输出在未来更可能出现；而对创造力来说，复现过去的输出恰恰与目标相反，因为一个新事物一旦被生成就不再新颖，任何落在过去分布中的东西按定义都不是新的。现有后训练方法——基于偏好对改造的 DGRPO 类方法、Creative Preference Optimization、用学习型语义划分做奖励的 DARLING、用行列式点过程的 DQO、向量策略优化 VPO、教模型进入创意区间的 CreativeInstruct——虽然都能提升某种多样性，但共同点是直接训练响应模型本身、让模型因产出特定的高奖励回答而被强化，因此全部暴露在创意悖论之下：强化具体的成功回答，就是强化过去。
本文的目标是作者想把创造力从「产物的属性」重新建模为「显式的过程」：真正该问的不是「我刚才做了什么有创意的事」，而是「我能从这次成功的创意生成中抽象出什么可复用的生成性原则」。具体目标是构造一个两阶段生成框架：训练一个独立的创意启动模型（creative priming model），让它针对每个 prompt 生成一段简短的启动文本（primer），作为额外上下文喂给一个完全冻结的响应模型去生成回答；启动模型用 GRPO 训练，奖励完全由它诱导出的回答是否新颖、高质量、彼此多样来决定，同时用 primer 层面的正则信号保证 primer 本身质量高、组内和跨 prompt 都多样。这样系统只强化「产生创意的过程」，不强化任何具体的创意产物，从而绕开创意悖论；由于响应模型冻结，方法天然模块化——在小模型上学到的创意过程有望直接迁移给更强的大模型，甚至与域专用响应模型组合。
与已有工作不同的是，本文的独特切入是解耦二字。此前所有方法都默认要改响应模型本身，结果陷入同一个两难：一个被训练成最大化单条回答质量的模型，很难同时对整个回答分布保持足够覆盖，直接优化只会造成质量与多样性的此消彼长。CP 的洞察是分工：响应模型继续做它最擅长的产出高质量回答，启动模型负责把输入分布推移到输出分布中更多样的区域，两个目标互不妥协。这对应过程与产物的哲学区分——训练数据里只有产物（成功创意的文本），不含产生它们的过程，而 CP 显式地把过程提取出来放进一个单独可训练、可插拔的模块。另一个关键设计是奖励用乘积而非求和：六个取值于 $[0,1]$ 的信号相乘，只有全部同时高才得分，堵死了牺牲某一维度换另一维度的投机路径。评测协议同样是贡献：先过滤掉不合格回答、只对已属创意的集合测扩散度的复合指标，把「系统级创造力」的定义直接变成了可计算的量。
核心方法
直觉上，CP 是给考生（冻结的响应模型）配一位教练（启动模型）：教练不直接答题，而是针对每道题写一段引导文字，把考生带进平时不会踏入的内容区域。技术上，给定 prompt $X$，启动策略先采样启动文本 $Y_{CP} \sim \pi_{CP}(\cdot \mid X)$；$Y_{CP}$ 经提示模板 $T(\cdot,\cdot)$ 与 $X$ 拼接后交给冻结的响应模型生成 $Y_{resp} \sim \pi_{resp}(\cdot \mid T(X, Y_{CP}))$。训练把这个两步流水线当作整体执行：每个 prompt $X_j$ 采 $G_{CP}=8$ 个 primer，每个 primer 再采 $G_{resp}=8$ 个回答，用这 8 个回答的创意程度给对应 primer 打标量奖励，然后按标准 GRPO 在 8 个 primer 的组内计算相对优势 $A_i = (r_i - \mathrm{mean})/\mathrm{std}$，用 clipped 目标加 KL 惩罚只更新 $\pi_{CP}$。整个过程中 $\pi_{resp}$ 参数纹丝不动，奖励从不直接落在任何一条具体回答上。所有组件均为开源模型：Qwen3-8B 同时担任启动和响应模型，Skywork-Reward-V2-Llama-3.1-8B 打质量分，Qwen3-Embedding-0.6B 算嵌入距离，Llama-3.3-70B-Instruct 做 primer 判分。
核心创新是用诱导结果奖励过程的乘积奖励结构：$\mathrm{Reward} = C \cdot D_{\mathrm{intra}} \cdot D_{\mathrm{inter}} \cdot J_{CP} \cdot D^{CP}_{\mathrm{intra}} \cdot D^{CP}_{\mathrm{inter}}$，前三项是响应层信号、后三项是 primer 层正则，全部归一到 $[0,1]$ 且相乘，任一信号低则整个奖励塌掉。响应层：个体创意 $c_k = \mathrm{Dev}_k \cdot \sigma((q_k - T)/\tau)$，即回答到参考集的平均余弦距离（偏离度）乘以经 sigmoid 门控的奖励模型质量分，再组内平均得 $C$；$D_{\mathrm{intra}}$ 是同一 primer 诱导的 8 个回答的组内平均成对距离；$D_{\mathrm{inter}}$ 是这些回答与其他 primer 回答的平均距离。primer 层：LLM judge 按 specificity、thinking strategy、content focus、prompt faithfulness、focus 五个准则各打 0-100 分取均值，若 primer 用第三人称提及响应模型而非直接对话则直接置零；$D^{CP}_{\mathrm{intra}}$ 鼓励同一 prompt 的不同 primer 彼此不同；$D^{CP}_{\mathrm{inter}}$ 鼓励 primer 针对不同 prompt 定制而非复用万金油模板。与已有方法的本质区别在于：$\pi_{CP}$ 从不因复现过去的具体输出而获奖——它只因让另一个模型变得更有创意而获奖，因此可以自由学习生成性原则而非强化过去，这正是逃离创意悖论的机制。
方法步骤详情
第一步，数据准备：从 Infinite-Chats（WildChat 子集）中用 LLM judge 按开放性、复杂性、创意潜力三个 0-3 分维度打分，只保留总分不低于 6 的 prompt，得到 21075 条训练 prompt；再用 32 个手写的创意 primer 提示模板包装 prompt 喂给启动模型；偏离度参考集为初始 Qwen3-8B 每个 prompt 生成 8 个回答。第二步，rollout：每个 prompt 采 8 个 primer（温度 1.0、top-p 0.9），每个 primer 各采 8 个回答。第三步，打分：Skywork 奖励模型按原始 prompt（不含 primer）给每个回答打质量分 $q_k$；Qwen3 嵌入计算回答到参考集的偏离、组内/组间距离与 primer 距离；Llama-3.3-70B-Instruct 按 Figure 16 的模板给 primer 打五维分。第四步，按乘积公式合成每个 primer 的奖励，组内标准化得到优势。第五步，优化：clipped GRPO 目标加 KL 惩罚，只更新 $\pi_{CP}$；超参为 2 个 epoch、batch 256、学习率 $1\times 10^{-6}$、质量门限 $T=-5.0$、$\tau=1.0$。对照的 DGRPO/DARLING 用同样的 GRPO 骨干直接训练响应模型、组大小 $G=8$；DARLING 为忠实原论文训练 10 个 epoch（计算量是 CP 的 5 倍）。评测时每 prompt 生成 $n=64$ 个回答（CP 情形即 64 个 primer 各引导 1 个回答），剥离思考段后打分。
技术新颖性
技术新颖性体现在四个层面。其一，把 Boden 与 Runco 的创造力定义操作化为可计算的奖励：个体创意等于偏离参考集乘以质量，系统创意等于可靠产出彼此多样且各自有创意的回答，并据此设计乘积奖励——图 2 用几何区分讲清了多样性（围绕同一中心散开）与偏离（远离参考中心）是两回事。其二，评测协议创新：复合指标先按质量与偏离阈值过滤掉非创意回答，再对幸存集合测 Vendi 分数和 distinct clusters，并对阈值全范围扫描积分出 AUC-dev、AUC-qual 和联合的 VUS（deviation 与 quality 曲面下的体积），使结论不依赖任意阈值。其三，防过拟合设计：训练用 Qwen3-Embedding-0.6B，评测刻意换用 jina-embeddings-v5-text-small 计算偏离、多样性和 Vendi。其四，模块化架构本身：primer 与响应模型任意组合的交叉实验（图 6）证明这条两阶段流水线对任何响应模型都有增益，且从未被训练过做启动的 DGRPO/DARLING 模型也能充当不错的 primer（filtered Vendi 2.792 与 3.220，远超未训练 primer 的 1.480），暗示引导他模型是一种可泛化的能力而非特定训练的产物。
实验结果
在 NoveltyBench（100 个开放 prompt、每个 64 个回答）上的核心发现可分五块。第一，复合指标上 CP 全面领先：带偏离奖励的 CP 达到 filtered Vendi 4.70、filtered distinct clusters 22.8、VUS-Vendi 186.5、VUS-distinct 1003.2，而 DGRPO 为 2.85/7.59/168.8/658.0，DARLING 为 2.60/16.4/88.0/639.0——相对两个直接生成方法（16.4 与 7.6 个合格 distinct 回答），CP 的 22.8 相当于 39% 到 200% 的相对提升。第二，过程重于奖励项的证据：CP 不加偏离奖励（filtered Vendi 4.04、filtered distinct 16.1）已超过加了偏离的 DGRPO（2.85/7.59）并与 DARLING（2.60/16.4）打平，说明起作用的是启动过程本身而非某个奖励项。第三，创意悖论的实证：DGRPO 组大小扩到 8、16、32、64，偏离度单调升（25.6 到 33.5）但其余原子指标在 64 时全面下滑（质量跌到 69.1、distinct clusters 24.5），compound 指标在 32 达峰也只及 CP 的 93.4%（VUS-Vendi），最差仅 65.2%（AUC-dev distinct clusters）——更多算力无法突破直接强化的天花板。第四，过程可迁移：同一个在 Qwen3-8B 上训练的 CP 模型配四个未见过的 API 模型（Sonnet-4.6、Opus-4.8、GPT-5-nano、GPT-5.4），distinct clusters 提升 4.5 到 10 倍（Sonnet-4.6 从 2.8 到 28.5）、diversity 提升 2.5 到 4.6 倍，质量还提升 0.5% 到 4.6%（Sonnet-4.6 质量从 90.2 到 94.3）；Opus-4.8 增益最小，因其直接生成质量已最高（91.7）而 CP 诱导的偏离最低（17.1）。第五，消融与机制：未训练的 Qwen3-8B 直接当 primer 就把 diversity 从 12.3 提到 20.6（filtered distinct 4.53），RL 训练再带来大头增益；CP 在质量-偏离 Pareto 前沿占 72.6%（无偏离块）和 45.3%（有偏离块）的最大份额；风格分析显示 CP 的功能词 JS 散度仅 0.045（DGRPO 0.087、DARLING 0.138），证明它改变的是内容而非表面文风。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NoveltyBench 开放式生成（系统级创意） | Filtered distinct clusters（过滤后语义不同簇数） | 22.8（CP 加偏离奖励，每 prompt 平均 22.8 个同时新颖、高质量、语义不同的回答） | DGRPO 7.59；DARLING 16.4；未训练 primer 4.53 | 相对最强基线 DARLING 提升约 39%，相对 DGRPO 提升约 3 倍 |
| NoveltyBench 开放式生成（系统级创意） | Filtered Vendi score | 4.70（CP 加偏离奖励） | DGRPO 2.85；DARLING 2.60；未训练 primer 1.48 | 约为基线的 1.65 至 1.81 倍 |
| NoveltyBench（阈值无关聚合指标） | VUS-Vendi（deviation 与 quality 双阈值扫描的曲面体积） | 186.5 | DGRPO 168.8；DARLING 88.0 | 较 DGRPO 高约 10.5%，较 DARLING 高约 112% |
| 前沿 API 模型迁移（Sonnet-4.6、Opus-4.8、GPT-5-nano、GPT-5.4） | Distinct clusters 倍数变化 | 提升 4.5 至 10 倍（如 Sonnet-4.6 从 2.8 到 28.5） | 各 API 模型自身的直接生成 | 同时 diversity 提升 2.5 至 4.6 倍、质量提升 0.5% 至 4.6% |
| 质量与偏离的联合权衡 | 质量-偏离 Pareto 前沿份额（%） | CP 占 72.6%（无偏离块）与 45.3%（有偏离块） | 无偏离块：DGRPO 19.1%、DARLING 8.1%；有偏离块：DGRPO 32.2%、DARLING 22.5% | 两个设置下均为最大份额 |
局限与改进
作者承认三点局限：其一，两阶段生成比直接生成多一次调用，推理成本上升；其二，流水线被冻结响应模型的能力封顶——primer 只能激发响应模型已有的知识和技能，无法注入模型不具备的新能力；其三，训练与评测依赖不完美代理信号，嵌入式的多样性与偏离度量可能漏掉某些创意变化形式，LLM judge 和奖励模型的质量信号有噪声，不过更好的信号会直接改善学到的 primer。我补充几点观察：评测只用 NoveltyBench 一个基准的 100 个 prompt，跨域泛化（如科学假设生成）未经主实验验证；偏离度参考集是训练前冻结的 64 条直接生成回答，静态参考无法刻画对抗自己不断增长的输出历史这种时间维度创意（作者在讨论中也承认非平稳参考集是待解问题）；质量评测的 judge（Qwen3-235B）与被测响应模型 Qwen3-8B 同族，同族偏置风险未讨论；primer judge 的五准则与第三人称置零规则相当手工，可能限制 primer 的探索空间；Opus-4.8 上增益最小，提示方法对最强模型的适用性不均；与 verbalized sampling 等测试时多样性方法的组合只在附录验证了兼容性，未进入主对比。
独立分析的弱点
第一，推理成本结构脆弱：每个回答都要先生成一段 primer，训练时每个 primer 还要 rollout 8 个回答来估奖励（每 prompt 合计 64 次），两阶段调用在延迟敏感场景不实用。改进方向：把 primer 蒸馏进单模型的思考链（作者已提出这是未来方向），或训练一个小参数量的 primer 专司引导。第二，代理指标可能奖励换皮而非真创意：嵌入距离会把表面改写当成偏离、把真正的概念创新漏掉，filtered 指标也继承这些盲区。改进方向：引入更强的语义等价判别器、定期用人类评估校准阈值，或混入 DARLING 式基于聚类的划分信号。第三，静态参考集会漂移：训练后模型分布已变，训练前冻结的参考很快过时，偏离奖励可能退化为偏离一个旧快照。改进方向：滚动更新参考集，或按作者设想对模型全部输出历史计算时间维度偏离。第四，训练域窄：21075 条 WildChat 开放对话不能代表科学发现、工程发明等高价值创意域，primer 学到的原则（如制造悖论式细节）是否跨域成立未知。改进方向：利用流水线模块化特性在科研构想数据上训练领域 primer 并按任务路由。第五，primer 的能力上限受判分规则约束：五准则打分和置零规则都是人工设计，可能惩罚有效但不符合模板风格的引导策略。改进方向：用 primer 诱导回答的实际增益做端到端判分，或让准则本身可学习。
未来方向
作者明确提出的方向有四条：一是把创意启动折叠进单个模型，让模型自己为自己写 primer，只要保持先写引导、再作答的两阶段结构即可，这会消掉外部调用的开销；二是把评测推广到非平稳参考集，对模型全部历史输出计算偏离度，直接度量持续对抗自身过去的时间维度创意，代价是每个系统的参考集各自增长、横向比较更复杂；三是与测试时多样性方法正式组合，附录 E 已验证与 verbalized sampling 等兼容，正交增益的量化分析待做；四是通过实践收益引发社区对为创造力做训练有何独特之处的深入讨论。基于本文成果还可以延伸：把 CP primer 接入自主科研流水线（假设生成、实验设计），检验创意过程能否转化为科学产出；训练多领域 primer 库并按任务自动路由；对 primer 文本做机制可解释性分析，弄清什么样的语言模式能可靠地把输出分布推向低密度区域；将框架扩展到多模态创意生成（图像、分子设计），检验过程与产物解耦是否是跨模态的普适原则。
复现评估
复现条件总体较好。数据已开源：训练集是 HuggingFace 上的 LilaSciences/infinite-chats-scored（21075 条打分后的 WildChat prompt），评测集是 LilaSciences/novelty-bench-llm-judge（含 LLM judge 模板），DARLING 使用的 ModernBERT 相似度分类器也有公开权重。全部组件均为开源模型：Qwen3-8B（启动加响应）、Skywork-Reward-V2-Llama-3.1-8B（质量）、Qwen3-Embedding-0.6B（嵌入）、Llama-3.3-70B-Instruct（primer judge），评测打分用 Qwen3-235B-A22B-Instruct-2507（需 API 或大显存部署）。论文附录相当完整：Algorithm 2 给出训练循环，各奖励分量均有公式，judge 与提示模板（Figure 14 至 17）齐全。算力方面，嵌套采样使每个 prompt 需要 8 个 primer 乘 8 个回答共 64 次 rollout，训练 2 个 epoch、batch 256，属于多卡 GPU 集群数天量级的强化学习工程（8 卡 A100/H100 起步），GRPO 训练循环需自行搭建或改造开源框架——若作者不开源代码，复现奖励拼接细节（sigmoid 门控、置零规则、模板包装）仍有相当工作量。评测需 100 个 prompt 各 64 个回答乘多个方法的生成与判分，成本中等。综合评估：数据与配置文档充分，代码若缺则复现难度中上。
论文图表
