PRISM：从数据中学习设计知识以实现风格化设计改进

通过聚类-对比学习-检索增强生成的三阶段框架，从设计数据中提取风格知识以指导风格化设计改进。

前置知识

视觉语言模型（VLM）

视觉语言模型是一类同时处理图像和文本输入的深度学习模型，如GPT-4V、LLaVA等。在本文中，VLM被用于理解设计图像的内容、提取设计风格知识、以及生成设计改进计划。VLM通过大规模预训练获得了对视觉元素（颜色、形状、布局）和语言描述之间关联的先验知识，但这种知识通常是通用的、缺乏特定领域对齐的。

本文的核心论点是VLM的预训练知识过于通用，无法直接用于特定领域的风格化设计改进，因此需要通过设计数据来学习领域特定的设计知识。

检索增强生成（RAG）

检索增强生成是一种通过在生成时从外部知识库中检索相关信息来增强模型输出的技术。传统RAG系统将用户查询编码为向量，从知识库中检索最相关的文档，然后将检索到的内容作为上下文注入到生成模型的提示中。这种方法可以有效弥补模型内部知识的不足，使生成结果更加准确和可控。

本文将RAG思想创新性地应用于图形设计领域，通过构建设计知识库并在推理时按比例检索相关知识，实现风格感知的设计改进。这是将LLM领域的成熟技术迁移到视觉设计任务的关键桥梁。

K-medoids聚类算法

K-medoids是一种基于中心点的聚类算法，与K-means不同，它的聚类中心必须是实际存在的数据点（称为medoid），而非均值点。算法通过最小化所有点到其最近medoid的距离之和来划分数据。K-medoids对异常值更加鲁棒，且聚类结果更具可解释性，因为每个簇的代表是真实样本而非抽象的均值。

本文使用K-medoids对同一风格标签下的设计进行聚类，以捕捉风格内部的多样性。medoid作为簇的代表设计，便于后续的视觉化理解和知识提取。选择K-medoids而非K-means是因为设计空间的复杂性和对实际样本代表性的需求。

GRAD距离度量

GRAD（GRAph-based Design）距离是由Nag等人提出的用于衡量两个图形设计之间相似性的度量方法。它将每个设计表示为一个图结构，其中顶点对应图像块（patch），边是图像编码器（如CLIP或DINOv2）提取的嵌入之间的余弦距离。通过最优传输（optimal transport）匹配两个图，GRAD距离能够捕捉全局嵌入方法常常遗漏的细粒度结构相似性。

选择合适的距离度量对于风格空间划分至关重要。GRAD距离同时捕捉语义和空间关系，能够区分视觉上相似但结构不同的设计，这是本文聚类步骤能够成功识别有意义的设计子集的基础。

对比学习框架

对比学习是一种通过比较正样本和负样本之间的差异来学习表示的方法。在本文中，对比学习被创新性地应用于知识提取阶段：给定一个设计簇，正样本是该簇内的设计（包括medoid及其近邻），负样本是同一风格标签下其他簇的设计。VLM被要求分析正样本的共同特征、负样本的差异特征，最终综合生成区分性的设计知识。

对比学习框架是本文方法的核心创新之一。与仅使用正样本的方法相比，引入负样本使得提取的知识更加区分性和具体，避免了过于泛化的描述。实验表明，去除负样本会导致保真度从0.999下降到0.941。

轮廓系数（Silhouette Score）

轮廓系数是评估聚类质量的指标，取值范围为[-1, 1]。对于每个样本点，轮廓系数衡量该点与其所属簇的紧密度（intra-cluster distance）和与最近邻簇的分离度（inter-cluster distance）之间的平衡。值越接近1表示聚类效果越好，样本被正确分配到了合适的簇中；值接近0表示样本处于两个簇的边界；负值表示可能被错误分配。

本文使用轮廓系数来自动选择最优的聚类数量K（在2到5之间搜索），确保风格空间划分的质量。PRISM的聚类输入达到了0.666的轮廓系数，显著高于基线方法，证明了其数据预处理步骤的有效性。

研究动机

图形设计中的风格化改进是一个重要但困难的任务。当用户希望将一个设计变得更'抽象'、更'优雅'或更'现代'时，现有方法面临根本性挑战。视觉语言模型（VLM）虽然在图形设计任务上展现出初步能力，如布局生成和设计完成，但其预训练知识对设计风格的理解过于通用且与特定领域数据不对齐。例如，VLM可能将'极简主义'与抽象设计关联，而设计师实际上强调的是形状和颜色的选择。直接提示VLM进行风格化改进会产生缺乏细节和密度的编辑结果。现有的设计改进方法（如Layout Corrector、RUITE等）主要专注于空间重排元素以提升视觉吸引力，但不对编辑进行风格条件约束。虽然近期工作展示了利用VLM预训练知识进行布局生成的有效性，但在风格化改进方面，VLM的内部知识与实际设计数据之间存在显著的语义鸿沟。

本文的目标是本文的具体目标是开发一个能够根据自然语言指令对图形设计进行风格化改进的框架。这个框架需要解决VLM预训练知识与特定设计领域数据不对齐的问题，通过从现有的设计数据集合中显式学习设计知识来指导改进过程。具体而言，框架需要：(1) 有效处理同一风格标签下设计的高度视觉差异性，捕捉风格内部的多样性；(2) 从设计数据中提取紧凑、可操作的设计知识；(3) 在推理时检索适当的设计知识以实现与原始数据分布对齐的风格化改进。最终目标是在保真度（fidelity）和多样性（diversity）两个指标上超越现有基线方法。

与已有工作不同的是，本文的独特切入角度在于将设计数据视为隐式编码设计师原则的知识源，而非简单地将其作为训练样本或参考图像。与直接使用设计数据作为VLM输入（无效，因为同一标签的设计可能差异巨大）或依赖VLM内部知识（过于通用）不同，PRISM提出了一种三阶段的知识提炼方法：首先通过聚类将设计空间划分为有意义的子集以处理方差，然后通过对比学习框架从每个子集中提取区分性知识，最后在推理时按比例检索知识以反映原始数据分布。这种方法与现有工作的本质区别在于：(1) 与Prompt2Diverse不同，PRISM从实际数据中学习而非依赖LLM的内部知识；(2) 与Data2One和Data2Diverse不同，PRISM通过聚类和对比学习避免了随机采样带来的高方差和学习过于泛化知识的问题；(3) 与OpenCole不同，PRISM显式注入设计知识以指导下游任务。

核心方法

PRISM（PRior-Informed Stylistic Modification）是一个三阶段框架，用于从设计数据中学习设计知识并指导风格化设计改进。整体思路是：设计数据中蕴含着设计师的隐式原则，但这些原则需要被显式提取和结构化才能有效利用。首先，由于同一风格标签下的设计在视觉上可能差异巨大（例如'抽象'风格包含几何图形、有机形状、单色和多彩设计等），直接将所有设计作为输入会导致学习到过于泛化的知识。因此，PRISM先通过基于图的设计距离（GRAD）和K-medoids聚类将风格空间划分为视觉上连贯的子集。然后，对每个子集应用对比学习框架，通过分析正样本（簇内设计）的共同特征和负样本（其他簇设计）的差异特征，提取紧凑、可操作的设计知识。最后，在推理时采用检索增强生成（RAG）的方法，根据用户的设计和指令检索相关的设计知识，按原始数据分布比例采样以确保改进结果反映真实的设计多样性。

PRISM的核心创新点在于将设计数据的利用从简单的输入提供转变为系统化的知识提炼。与已有方法的本质区别体现在三个层面：第一，数据利用方式的创新——不是随机采样设计作为输入（如Data2One/Data2Diverse），而是先通过聚类识别有意义的子集，显著降低输入的方差（PRISM的平均配对距离为0.146，而基线为0.536）；第二，知识提取方式的创新——引入对比学习框架，同时利用正样本和负样本来提取区分性知识，而非仅从正样本中提取（去除负样本导致保真度从0.999下降到0.941）；第三，知识利用方式的创新——采用按比例检索策略，使聚类大小与检索频率成正比，确保生成的改进反映原始数据分布（相比均匀采样，按比例检索将保真度从0.982提升到1.003，多样性从0.604提升到0.630）。这些创新共同使得PRISM能够学习到具体、有区分度的设计知识，而非过于泛化的指导原则。

方法步骤详情

PRISM的方法分为三个主要阶段，每个阶段都有明确的输入、操作和输出。第一阶段是风格空间划分（Style Space Partitioning）：输入是同一风格标签下的所有设计，首先使用CLIP-ViT-L-14模型提取图像嵌入，然后计算基于图的设计距离（GRAD），该距离将每个设计表示为图结构并通过最优传输匹配来捕捉细粒度结构相似性。接着使用K-medoids算法进行聚类，K值在2到5之间搜索，选择轮廓系数最高的值。输出是若干视觉上连贯的设计簇，每个簇由其medoid（最接近簇内所有其他设计的设计）代表。第二阶段是风格知识提取（Style Knowledge Extraction）：对每个簇，按到medoid的距离排序设计，选择最近的i=25个设计作为正样本（包括medoid），从同一风格标签下的其他簇中选择j=10个设计作为负样本。VLM首先详细分析正样本以识别重复出现的主题，然后分析负样本以识别区分性特征，最终综合生成设计知识，包含必须有的特征（大多数正样本的共同点）、可选属性（部分正样本的特征）和必须没有的决策（负样本与正样本的差异）。最后，使用LLM将每个知识文档总结为单句摘要以便高效检索。第三阶段是先验信息引导的编辑（Prior-Informed Edits）：在推理时，用户提供待改进的设计和语言指令，系统首先识别与指令对齐的设计风格，然后使用Sentence-BERT计算指令嵌入并检索最相关的知识摘要。如果需要多个变体，按簇大小比例采样设计知识以反映原始数据分布。检索到的知识被注入到VLM规划器的提示中，生成具体的设计计划，最后由图像扩散模型（gpt-image-1）根据计划和原始设计生成改进后的设计。

技术新颖性

PRISM的技术新颖性体现在多个方面。首先，将设计数据视为知识源而非简单样本的范式转变是独特的——大多数现有工作将设计数据用于训练生成模型或作为参考图像，而PRISM通过系统化的知识提炼将其转化为可操作的设计知识。其次，对比学习框架在设计知识提取中的应用是新颖的：传统对比学习用于学习视觉表示，而PRISM将其创新性地用于生成结构化的文本知识，通过正负样本的对比来提炼区分性特征。第三，按比例检索策略的设计巧妙地解决了生成多样性与数据分布对齐之间的权衡：较大的簇（代表数据中更常见的设计变体）被更频繁地检索，确保生成结果反映真实的设计分布。第四，GRAD距离在聚类中的应用确保了细粒度的结构相似性被捕捉，而非仅仅依赖全局图像嵌入。第五，迭代知识精炼机制（Algorithm 1）展示了对比框架的可扩展性，通过识别误分类设计并生成反馈来迭代改进知识质量，在3轮迭代后保真度从0.965提升到接近1.0。这些技术创新共同构成了一个完整的设计知识学习和利用管线。

实验结果

PRISM在Crello数据集上的15种设计风格上进行了全面评估，取得了显著优于所有基线方法的性能。在保真度（fidelity）方面，PRISM达到了0.999的最高值和1.49/5的最佳平均排名（1代表始终最优），显著优于Prompt2Diverse的0.744保真度和4.07/5的排名。这表明PRISM能够持续生成与提供的设计数据高度相似的改进结果。在多样性（diversity）方面，PRISM达到了0.683的最高值和2.64/5的最佳排名，与Data2Diverse（2.75/5）和Prompt2Diverse（2.84/5）相近，但显著优于OpenCole（3.27/5）和Data2One（3.49/5）。实验揭示了一个重要现象：明确注入不同设计知识变体的方法（PRISM、Data2Diverse、Prompt2Diverse）在多样性上形成了一个性能组（排名2.64-2.84），而省略设计知识或仅注入单一知识的方法（OpenCole、Data2One）形成了另一个性能组（排名3.27-3.49），支持了显式设计知识引导能产生更多样输出的假设。数据消融实验表明，数据本身不能保证改进——随机采样的设计输入导致高方差（平均配对距离0.536 vs PRISM的0.146）和低轮廓系数，使得Data2One只能学到过于泛化的指导原则，Data2Diverse识别出冗余的子集。用户研究涉及30名设计师，结果显示PRISM在颜色方案、装饰和文本布局三个维度上都被一致性地认为更符合请求的设计风格，且66.2%的情况下被认为输出更多样化。

查看结构化数据

任务	指标	本文	基线	提升
风格化设计改进（15种风格平均）	Fidelity（保真度）	0.999 ± 0.032	Data2Diverse: 0.965; Prompt2Diverse: 0.744; OpenCole: 0.955	相比最佳基线Data2Diverse提升3.5%，相比Prompt2Diverse提升34.3%
风格化设计改进（15种风格平均）	Diversity（多样性）	0.684 ± 0.043	Data2Diverse: 0.671; Prompt2Diverse: 0.664; OpenCole: 0.624	相比Data2Diverse提升1.9%，相比OpenCole提升9.6%
风格化设计改进（15种风格平均）	Expected Rank（期望排名）	Fidelity: 1.49/5, Diversity: 2.64/5	Data2Diverse: Fidelity 2.31, Diversity 2.75; Prompt2Diverse: Fidelity 4.07, Diversity 2.84	保真度排名最优，多样性排名最优

局限与改进

本文承认了PRISM的几个局限性。首先，PRISM目前将设计数据视为静态集合，而实际的设计数据可能随时间演变——新的设计趋势、风格和用户偏好会不断出现。作者提出未来工作将探索高效整合新信息和更新设计知识的策略。其次，设计知识的最优表示可能取决于下游模块——当前的知识格式（包含必须有特征、可选属性和必须没有决策的文本描述）可能不是所有下游任务的最优形式。作者计划研究学习设计知识适配器，利用下游执行信号来确定最有效的知识翻译方式。从独立分析的角度来看，PRISM还存在以下局限：(1) 计算成本较高——聚类步骤需要计算所有设计对之间的GRAD距离，对于大规模数据集可能不切实际；(2) 对VLM的依赖——知识提取和生成都依赖于GPT-4.1和gpt-image-1等闭源模型，限制了可复现性和可控性；(3) 风格粒度受限于预定义标签——系统只能处理数据中已有的风格标签，无法处理全新的或组合性的风格描述；(4) 评估指标的局限——保真度和多样性指标基于GRAD距离，可能无法完全捕捉人类对设计质量的感知。

独立分析的弱点

PRISM的弱点可以从多个维度进行独立分析。第一，聚类阶段的可扩展性问题：计算所有设计对之间的GRAD距离的时间复杂度为O(n²)，对于每个风格标签下有数千个设计的大型数据集，这可能成为计算瓶颈。改进方向包括引入近似最近邻搜索或分层聚类策略来降低计算成本。第二，知识提取的样本数量敏感性：正样本i=25和负样本j=10是经验设定的固定值，不同风格的最优数量可能不同。可以设计自适应策略，根据簇的大小和内部方差动态调整样本数量。第三，按比例检索可能抑制少数风格变体的表达：虽然按比例检索反映了数据分布，但可能使较小簇的设计变体很少被检索到，限制了输出的多样性上限。可以考虑引入温度参数来控制检索的均匀性。第四，迭代精炼的收敛性未被充分分析：实验仅运行了3轮迭代，且多样性在迭代过程中波动而无显著提升，说明精炼过程可能在保真度和多样性之间存在权衡。需要更深入的理论分析和收敛准则。第五，用户研究的局限：仅在30名设计师上进行评估，且测试案例是从保真度分数相近的风格中选择的，可能引入选择偏差。

未来方向

基于本文的成果，可以从多个方向延伸未来研究。作者明确提出的方向包括：(1) 动态设计数据管理——开发能够高效整合新设计数据并更新知识库的增量学习策略，避免每次数据更新都重新运行完整的聚类和知识提取流程；(2) 自适应知识表示——学习一个设计知识适配器，根据不同下游任务（如布局生成、字体合成、颜色推荐）的特点自动调整知识的表示形式。基于PRISM框架还可以延伸的方向包括：(3) 多模态知识融合——将文本形式的设计知识与视觉原型（visual prototypes）结合，提供更直观的风格指导；(4) 交互式知识精炼——允许设计师在知识提取过程中提供反馈，通过人机协作提高知识质量；(5) 跨数据集知识迁移——探索在一个设计数据集上学到的知识是否可以迁移到其他数据集或设计领域；(6) 细粒度风格控制——将粗粒度的风格标签（如'抽象'）分解为更细粒度的风格维度（如形状偏好、颜色饱和度、空间密度），实现更精确的风格控制；(7) 探索PRISM在其他创意领域的应用，如室内设计、时尚设计、UI设计等。

复现评估

PRISM的复现面临一定的挑战和机遇。在开源方面，论文使用了Crello数据集，该数据集公开可用（HuggingFace上以CDLA-Permissive-2.0许可证发布），这降低了数据获取的门槛。然而，知识提取和设计改进阶段依赖于闭源模型GPT-4.1和gpt-image-1，这意味着完全复现需要OpenAI API访问权限和相应的费用。聚类阶段使用的CLIP-ViT-L-14模型来自OpenCLIP，是开源的。在算力方面，聚类阶段需要计算GRAD距离矩阵，对于Crello数据集的约21K设计需要显著的计算资源和内存。知识提取阶段需要对每个风格的每个簇进行多次VLM调用（分析25个正样本和10个负样本），API成本可能较高。在复现难度方面，论文提供了算法伪代码（Algorithm 1）和详细的超参数设置（温度0.3、i=25、j=10、K搜索范围2-5），但GRAD距离的实现细节需要参考Nag et al.的原始论文。总体而言，PRISM的核心思想（聚类-对比学习-按比例检索）是可以复现的，但完全复现所有实验结果需要闭源模型访问和相当的计算资源。

PRISM：从数据中学习设计知识以实现风格化设计改进 PRISM: Learning Design Knowledge from Data for Stylistic Design Improvement