← 返回 2026-03-10

PureCC：面向文生图概念定制的纯学习微调方法 PureCC: Pure Learning for Text-to-Image Concept Customization

Zhichao Liao, Xiaole Xian, Qingyu Li, Wenyu Qin, Meng Wang, Weicheng Xie, Siyang Song, Pingfa Feng, Long Zeng, Liang Pan 📅 2026-03-08 👍 10 2026-07-13 08:35
扩散模型 文生图 概念定制 模型保护 流匹配
arXiv HuggingFace PDF

通过解耦学习目标与双分支流水线，实现既学得新概念又不破坏原模型行为的概念定制。

前置知识

概念定制（Concept Customization）

给定3-5张同一概念的参考图像（如某只宠物、某件物品、某种画风），通过微调预训练文生图模型或向其注入特征，使模型能在新场景下生成该个性化概念的技术。它一般用特殊标识符 [V] 与目标概念绑定，再通过提示注入实现推理。

本文正是围绕概念定制任务展开，是 DreamBooth、LoRA、Mix-of-Show 等方法所解决的同一类问题；只有先理解该任务才能理解 PureCC 想解决的「行为破坏」与「能力退化」问题。

条件流匹配（Conditional Flow Matching, CFM）

流匹配通过常微分方程（ODE）将源分布 $x_0$ 直接映射到目标分布 $x_1$，中间样本定义为 $x_t = (1-t)\,x_0 + t\,x_1$，$t\in[0,1]$，模型 $v_\theta$ 学习预测速度场 $v_t(x_t\mid y)$，目标速度为 $v_t=x_1-x_0$，损失为 $\mathcal{L}_{CFM}=\mathbb{E}_{t,x_t}\|v_t(x_t)-v_t^\theta(x_t\mid y)\|^2$。Rectified Flow 是其代表实现，收敛更快、可控性更强。

PureCC 基于 SD3.5-M（一种 rectified flow 模型），其全部公式都建立在流匹配的速度场预测之上；Eq. 6、Eq. 8、Eq. 13 中的 $v_t^{original}$、$v_t^{target}$ 都是速度场。

无分类器引导（Classifier-Free Guidance, CFG）

引导方向 $\hat v_t^\theta(x\mid y) = v_t^\theta(x\mid y=\emptyset) + w\cdot(v_t^\theta(x\mid y)-v_t^\theta(x\mid y=\emptyset))$，把模型本身当作隐式分类器；其中 $(v_\theta(x\mid y)-v_\theta(x\mid y=\emptyset))$ 被称为「隐式条件引导（Implicit Conditional Guidance）」。

PureCC 直接借用 CFG 的「无条件预测 + 加权引导项」结构（Eq. 5），把它改造成「原始条件预测 + 目标概念引导」的解耦形式（Eq. 6），是整篇论文最核心的形式灵感来源。

LoRA（Low-Rank Adaptation）

对预训练权重 $W$ 叠加低秩分解 $\Delta W = BA$，$B\in\mathbb{R}^{d\times r}$、$A\in\mathbb{R}^{r\times k}$，$r\ll\min(d,k)$。训练时只更新 $A,B$，大幅降低显存与参数量。

PureCC 在 Stage 1 用 LoRA（rank=4）微调表征提取器，并在 Stage 2 同样用 LoRA 微调可训练模型；学习率 $1.0\times 10^{-4}$，与基线方法保持一致以保证公平比较。

研究动机

现有概念定制方法（DreamBooth、LoRA、Mix-of-Show、CIFC 等）都遵循一个固定套路：把自定义集（3-5 张参考图）和基文本「A dog standing on a surfboard…」拼成完整文本，再用 CFM 损失 $\mathcal{L}_{CC}=\mathbb{E}\|v_t(x_t)-v_\theta(x_t\mid y_{complete})\|^2$ 微调整模型或 LoRA。这种「全量对齐」思路存在两个具体但被忽视的问题：其一是「对原模型行为的破坏」（图 1a），例如用 [V] dog 替换原图狗时，背景、光照、构图都跟着变——这是因为 3-5 张图根本不够让模型把目标概念与冗余信息解耦；其二是「对原模型能力的退化」（图 1b、1c），随着训练步数增加，CLIP-T（提示对齐度）与 HPSv2.1（人类偏好美学分）持续下降。作者在 [V] dog 与 [V] bowl 案例中实测了分布漂移（图 2）：现有方法把整个条件分布都拉向了目标，导致与原分布的 KL 散度分别为 1.79 与 3.35，而 PureCC 仅 0.09 与 0.21，差距在一个数量级。

本文的目标是提出一种「纯学习（Pure Learning）」的微调框架，在学会目标概念的同时最大限度保留原模型的「行为」（对非目标元素的不变性）与「能力」（提示跟随度与生成质量）。具体来说，定量目标有三点：① 在 DreamBenchPCC 上 ∆CLIP-T(base) 接近 0，理想情况下甚至能取得正值（HPSv2.1 提升而非下降）；② Seg-Cons 大幅领先基线，证明主体结构不被破坏；③ 概念响应指标（CLIP-I、DINO、CSD）保持在所有 tuning-based 基线中第一梯队。最终目标是让定制后的模型既能 [V] dog 化主体，又能让「bright window」「large steaming pot」等非目标元素保持原模型原本的样子。

与已有工作不同的是，过去的方法要么是「微调所有参数」（DreamBooth），要么是「插入低秩子空间」（LoRA），要么是「在注意力层面注入参考图特征」（tuning-free），但它们的损失函数都没有显式建模原模型。本文的核心切入点是：把学习目标从「拟合自定义集条件分布」改写成「原模型条件预测 + 目标概念的隐式引导」的解耦形式，并借助 CFG 的隐式引导思想实现「纯」概念注入；同时设计自适应引导强度 $\lambda^\star$ 来自动权衡概念保真度与模型保留度。

核心方法

PureCC 的整体思路借鉴 CFG（Eq. 5）—— CFG 把生成拆成「无条件预测 + 隐式条件引导」，PureCC 把概念定制拆成「原始条件预测 + 目标概念隐式引导」（Eq. 6）：$\hat v_t^{PureCC} = v_t^{original} + \lambda\cdot v_t^{target}$。其中 $v_t^{original}$ 用「基文本」（去掉 [V] 的部分，例如 A dog standing on a surfboard 这一类）让可训练模型自己预测，扮演「原模型行为的代理」；$v_t^{target}$ 来自一个冻结的「表征提取器」，它在自定义集上预训练后能给出相对纯净的目标概念表征 $R(y_{tar})=v_t^{\theta_1}(x_t\mid y_{tar})-v_t^{\theta_1}(x_t\mid \emptyset)$。两条分支构成「双分支流水线」：冻结分支专门负责「什么是 [V]」，可训练分支专门负责「在不破坏原模型的前提下，把 [V] 接进去」。最后，通过最小化两分支目标表征的投影误差，得到 $\lambda$ 的闭式解 $\lambda^\star$，让引导强度随训练自适应变化。

与现有方法相比，本质区别在于损失函数的形式。以往方法都只拟合 $v_\theta(x_t\mid y_{complete})$（即 Eq. 3 的 $\mathcal{L}_{CC}$），相当于「强制把整个分布拉向目标」；PureCC 显式把目标拆成「原模型贡献」+「概念贡献」，并加了一项 $\mathcal{L}_{PureCC}$ 单独监督 $\hat v_t^{PureCC}$（Eq. 14），整体损失 $\mathcal{L}_{PCC}=\mathcal{L}_{CC}+\eta\cdot\mathcal{L}_{PureCC}$（Eq. 15）。这相当于给训练过程加了一个「不要破坏原始预测」的硬约束，从优化层面而非架构层面解决了分布漂移问题。另外，自适应 $\lambda^\star$（Eq. 12）也是独有创新——训练初期概念没学会时 $\lambda^\star$ 较小避免污染原模型，训练后期概念已学会时 $\lambda^\star$ 增大强化概念。

方法步骤详情

方法分两阶段（Algorithm 1）。**Stage 1**：以 SD3.5-M 为骨干，用 LoRA（rank=4、lr=1e-4、400 steps）在自定义集上微调；同时引入「层级可调概念嵌入」$\{Y_{tar}^l\}_{l=1}^L$——每层 DiT-Block 把 [V] 替换为可学习 token；结束后冻结 $\theta_1$。**Stage 2**：初始化另一可训练模型 $v_{\theta_2}$。冻结分支输入 $y_{tar}$ 与空条件 $\emptyset$，输出相减得 $v_t^{target}=R(y_{tar})$（Eq. 8）；可训练分支输出 $v_t^{original}=v_{\theta_2}^t(x_t\mid y_{base})$ 与 $v_{\theta_2}^t(x_t\mid y_{complete})$。按 Eq. 13 算 $\hat v_t^{PureCC}$，按 Eq. 12 投影得 $\lambda^\star$，再算 $\mathcal{L}_{PureCC}=\|v_t-\hat v_t^{PureCC}\|^2$。总损失 $\mathcal{L}_{PCC}=\mathcal{L}_{CC}+\eta\cdot\mathcal{L}_{PureCC}$，$\eta=1.0$。推理只使用 $v_{\theta_2}$，无额外开销。

技术新颖性

技术新颖性体现在三点：① 学习目标的解耦——首次把 CFG 的「隐式引导」形式系统迁移到概念定制的损失函数设计中，使「原模型行为保留」从一个「希望」变成「优化目标里有显式监督信号」；② 表征提取器的「层级可调嵌入」设计——在每一层 DiT-Block 都插入可学习的概念 token，让提取器既能学高层语义也能学低层纹理；③ $\lambda^\star$ 的闭式解——把引导强度建模为两分支目标表征的内积投影比，避免了超参搜索，并且作者用实验（图 4 + Table 3）证实固定 $\lambda$ 在 [V] dog 与 [V] bowl 上都会顾此失彼：$\lambda=1$ 保真但学不到（CLIP-I 仅 0.43），$\lambda=5$ 学到但破坏（$\Delta CLIP-T=-2.67$），$\lambda^\star$ 则同时最优。

Overview of our PureCC.
Figure 3: Overview of our PureCC.
Motivation of Adaptive Scale $\lambda^\star$.
Figure 4: Motivation of Adaptive Scale $\lambda^\star$.
Visualization of Pure Learning Process.
Figure 8: Visualization of Pure Learning Process.

实验结果

在 DreamBenchPCC 上 PureCC 全面领先（Table 1）：∆CLIP-T(base)=-0.31（vs CIFC -1.93，6 倍提升）、∆HPSv2.1=+0.10（唯一为正）、Seg-Cons=69.37（vs CIFC 13.23，5.2 倍提升）；响应侧 CLIP-I=0.81/DINO=0.73 也超过 CIFC(0.78/0.65)；风格 CSD=0.63 与 CIFC 持平。图 5/6/7 展示 30 个概念、多概念与风格-实例复合场景下 PureCC 的非目标元素一致性最强。Table 7 用户研究（42 人、138 题）中 98.5% 偏好 PureCC 的「原行为一致性」（vs DreamBooth）。Table 2 消融：仅 LCC 时 Seg-Cons 仅 23.74，加 LPureCC 后跃升至 69.37；Table 3 中 λ★ 相比固定 λ 在 ∆CLIP-T 与 CLIP-I 上同时 Pareto 最优。图 8 训练轨迹显示预测从 $x_0^{original}$ 平滑过渡到 $x_0^{PureCC}$，证明引入是「叠加」而非「覆盖」。

Quantitative Comparison Results on DreamBenchPCC.
Table 1: Quantitative Comparison Results on DreamBenchPCC.
Ablation Study on the Pure Learning.
Table 2: Ablation Study on the Pure Learning.
Ablation Study of the $\lambda^\star$.
Table 3: Ablation Study of the $\lambda^\star$.
Qualitative Comparison with SOTAs including Tuning-based methods and Tuning-free methods.
Figure 5: Qualitative Comparison with SOTAs including Tuning-based methods and Tuning-free methods.
Qualitative comparison in Multi-Concept Customization with Mix-of-show, LoRA-S.
Figure 6: Qualitative comparison in Multi-Concept Customization with Mix-of-show, LoRA-S.
Qualitative comparison of style–instance customization across different methods, including CIFC, B-LoRA, DreamO.
Figure 7: Qualitative comparison of style–instance customization across different methods, including CIFC, B-LoRA, DreamO.
Visualization of the Ablation Study.
Figure 9: Visualization of the Ablation Study.
查看结构化数据
任务指标本文基线提升
实例概念保留（Instance Preservation, DreamBenchPCC） ∆CLIP-T(base) ↑ -0.31 DreamBooth -4.81 / Mix-of-Show -2.71 / CIFC -1.93 相比最强基线 CIFC 提升 6 倍，越接近 0 表示越能跟随基文本
实例概念保留（Instance Preservation, DreamBenchPCC） ∆HPSv2.1 ↑ +0.10 DreamBooth -2.17 / Mix-of-Show -1.08 / CIFC -1.62 唯一为正的方法，说明美学质量在微调后反而提升
实例概念保留（Instance Preservation, DreamBenchPCC） Seg-Cons ↑ 69.37 DreamBooth 18.38 / Mix-of-Show 15.72 / CIFC 13.23 比最强基线 CIFC 提升约 5.2 倍，反映主体结构高度一致
实例概念响应（Instance Responsiveness） CLIP-I(target) ↑ 0.81 DreamBooth 0.63 / Mix-of-Show 0.72 / CIFC 0.78 比 CIFC 提升 0.03，比 DreamBooth 提升 0.18，相似度更高
实例概念响应（Instance Responsiveness） DINO ↑ 0.73 DreamBooth 0.62 / Mix-of-Show 0.61 / CIFC 0.65 提升 0.08，DINO 更敏感于结构相似
风格概念响应（Style Responsiveness） CSD ↑ 0.63 DreamBooth 0.57 / Mix-of-Show 0.62 / CIFC 0.64 与最强 CIFC 基本持平（差 0.01），但风格保留上明显更好
原模型行为一致性（用户研究, 138 题） 用户偏好率 vs DreamBooth 98.5% DreamBooth 1.5% 42 名参与者中绝大多数认为 PureCC 更贴近原模型
纯学习消融（Instance, DreamBenchPCC） Seg-Cons ↑ 69.37（LCC+LPureCC） 仅 LCC: 23.74 加入 LPureCC 后提升 45.6 个绝对点，证明解耦目标本身是关键

局限与改进

作者承认的局限较少，主要在补充材料中通过 Figure 4 承认固定 $\lambda$ 难以同时保真度与保留度（通过 $\lambda^\star$ 解决）。作者未明确列出的局限可观察到：① Stage 1 + Stage 2 的两阶段训练增加了约 2× 时间（Stage 1: 0.13 A100·h、Stage 2: 0.20 A100·h，总计 0.33 A100·h），相比 LoRA 单阶段 0.13 A100·h 慢 2.5 倍；② 自适应 $\lambda^\star$ 的推导假设目标表征与原表征在梯度方向上一致，在某些极端风格（如抽象画风）或训练数据极度不均衡时，投影可能不稳定；③ 用户研究中所有方法只和 tuning-based 方法两两对比，未与 DreamO/UNO 等 tuning-free 方法做用户偏好比较；④ Table 1 显示在风格 CSD 上仍略输 CIFC（0.63 vs 0.64），风格保真度的优势不够显著。

独立分析的弱点

**① 两阶段成本偏高**：Stage 1+Stage 2 合计 0.33 A100·h，是 LoRA 单阶段（0.13h）的 2.5 倍。可考虑端到端联合训练共享的「概念表征库」或用蒸馏压缩 Stage 1。**② $\lambda^\star$ 对表征质量敏感**：Eq. 12 假设 $R(y_{tar})$ 已稳定；当 Stage 1 训练不足或自定义集图像高度相似时，$R(y_{tar})$ 噪声大会导致 $\lambda^\star$ 抖动，建议加 EMA 平滑或 clip 范围 [0.5, 5]。**③ 多概念灵活性有限**：每个概念仍需独立跑一次 PureCC，未给出类似 Mix-of-Show 的单次多概念联合编排方案。**④ 风格 CSD 略输 CIFC**（0.63 vs 0.64），可能因为减法引导抓不到 style 的全局统计量，可考虑在 frozen branch 加 Gram 矩阵全局约束。**⑤ 推理缺可控旋钮**：训练时 $\lambda^\star$ 自动，但推理时无法手动调强概念保真度。

未来方向

作者在结尾给的方向是「自适应 + 双分支架构可以拓展到更多定制场景」。可延伸的方向包括：① 把 PureCC 推广到视频定制（沿用 OmniInsert 等路线）和 3D 资产定制；② 设计共享表征提取器，让多个概念共享 Stage 1 的 backbone，仅微调不同的 $\{Y_{tar}^l\}$，把整体成本降到接近 LoRA 水平；③ 把解耦学习目标与持续学习结合（如 EWC 已被 DreamBooth+EWC 验证可缓解遗忘），看看 PureCC 的解耦形式 + EWC 能否进一步减少单概念微调对其他概念的影响；④ 用更小的 backbone 做表征提取器（如 SD-Turbo）以压缩 Stage 1 时间；⑤ 在更多流匹配架构（Lumina-Next、SANA 等）上验证泛化性，本文只在 SD3.5-M 上验证。

复现评估

**开源**：作者明确在摘要给出 https://github.com/lzc-sg/PureCC，承诺开源，复现门槛较低。**数据**：14 个 DreamBooth 原版概念 + 11 新增实例 + 5 新增风格共 30 个概念用于定性；DreamBenchPCC（DreamBench+12 风格概念）用于定量；新增 caption 用 Claude 3.5 Sonnet 生成，作者未发布自定义集但描述详细可重建。**算力**：单概念在 A100 上 0.33 GPU·h（Stage 1: 0.13h、Stage 2: 0.2h）、显存 28-30GB、Batch Size=2、400 steps×2、推理 28 timesteps，开销中等。**难度评估「中低」**：超参只有 $\eta=1.0$（Table 6 给出 0.5/1/1.5/2 对比）、LoRA rank=4、lr=1e-4。主要难点：① 准确实现 Eq. 6/8/12/13 并保证数值稳定；② 层级可调嵌入需修改 DiT 每层；③ Seg-Cons 依赖 SAM 分割。

论文图表

We introduce PureCC, a novel concept customization approach.
Figure 1: We introduce PureCC, a novel concept customization approach.

三栏对比图：第一栏 (a) 展示把原图狗替换为 [V] dog 时，DreamBooth/LoRA 改变了背景、光照、构图，而 PureCC 仅替换主体；第二栏 (b) 提示「placed on a bright window」时 DreamBooth/LoRA 完全忽略该描述，PureCC 保留；第三栏 (c) 是曲线图，X 轴是训练步数（200/400/600…2000），Y 轴是 HPSv2.1 与 CLIP-T 分数，纯学习能保持两条曲线接近原模型基线，而基线方法随步数增加显著下滑。

这是论文的「症状展示页」，把动机里提到的两个核心问题（行为破坏、能力退化）用一张图同时可视化，是理解 PureCC 想解决什么的关键。

Original Distribution Drift. Visualization and KL Divergence results demonstrated that existing methods, which adjust pre-trained models to align with the target distribution for learning personalized concepts, lead to distribution drift.
Figure 2: Original Distribution Drift. Visualization and KL Divergence results demonstrated that existing methods, which adjust pre-trained models to align with the target distribution for learning personalized concepts, lead to distribution drift.

两个子图：(a) [V] dog 与 (b) [V] bowl 案例下，把生成图像的 pixel 分布画成直方图并叠加原模型的分布。PureCC 与原分布几乎重合，KL 散度仅 0.09 与 0.21；LoRA 略偏，KL=0.21 与 0.86；DreamBooth 严重偏移，KL=1.79 与 3.35——与 PureCC 相比差距达 10-20 倍。直方图本身也直观展示了 PureCC 的分布峰值位置、宽度与原分布几乎相同，而 DreamBooth 的分布明显向一侧倾斜并出现新峰。

用定量证据（KL 散度）证明现有方法的「分布漂移」是真实存在且严重的，比 Figure 1 的定性观察更让人信服。