扩散模板：面向可控扩散模型的统一插件框架

把可控能力当插件，用KV-Cache/LoRA作统一接口注入扩散模型

前置知识

扩散模型 (Diffusion Models) 与 UNet/DiT 骨干

扩散模型通过迭代去噪从噪声生成图像，主流架构包括基于 UNet 的 Stable Diffusion 系列和基于 DiT 的 FLUX、SD3 等。本文基座是 FLUX.2-klein-base-4B（4B 参数 DiT）。生成由文本编码器、去噪主干、VAE 解码器组成，去噪在潜空间执行 50 步。

理解 DiT 主干是阅读本文的基础，因为 Template cache 的接口正是定义在'主干可接受的输入参数集合'上，而非外部脚本式封装——这是与 ControlNet 等做法的本质区别。

KV-Cache 及其在扩散中的复用价值

KV-Cache 原本是大语言模型推理加速机制，缓存注意力层的 K/V 矩阵。近年研究（Preble、InferCept）把它推广为可携带上下文、可断点恢复的运行时状态。本文进一步把它用于扩散：让 Template 模型输出 KV-Cache 形式的'能力载体'，再注入主干。

这是本文最核心的工程抽象。Template cache 不强制 KV-Cache 单一形式，但本文强烈推荐 KV-Cache 因为它天然支持序列维度拼接——多个插件可同时注入同一扩散运行期而不冲突。

可控扩散方法谱系 (ControlNet / T2I-Adapter / IP-Adapter / LoRA)

ControlNet 给冻结 UNet 加可训练残差分支注入结构信号；T2I-Adapter 是轻量同类；IP-Adapter 解耦图像与文本条件；LoRA 用低秩 $\Delta W=BA$ 以极小参数量做适配。它们各有独立训练脚本、参数格式、推理 hook，难以混用——正是本文要解决的痛点。

本文正是要解决这些方法'各自为政'的痛点，必须先理解它们各自的输入输出格式与训练机制，才能体会为何统一接口有工程价值。

插件式 / 工具调用架构 (MCP / Skills / Function Calling)

大模型生态中，Function Calling、MCP (Model Context Protocol)、Skills 等通过标准化契约把外部能力挂载到基座模型上，能力之间互相独立、可插拔。本文受此启发，把扩散模型视为'基座运行时'，把各种可控能力视为'插件'，通过统一中间表示通讯。

作者明确表示论文的灵感来自 LLM 插件体系，理解这一类比对把握论文的抽象层次至关重要：本文贡献的是'系统级抽象'而非具体算法。

研究动机

随着 FLUX、SD3、Hunyuan-Image、SANA、Qwen-Image 等 DiT 主干快速迭代，可控生成方法（LoRA、Textual Inversion、DreamBooth、ControlNet、T2I-Adapter、IP-Adapter 以及作者此前的 AttriCtrl、EliGen）被开发为一个个孤立系统：每个方法都绑定特定骨干架构、条件类型、训练脚本、参数格式、运行时 hook。ControlNet 注入残差分支，T2I-Adapter 是轻量 adapter，IP-Adapter 解耦图像条件，AttriCtrl 学习标量属性——它们训练阶段需要不同的参数化和预处理代码，部署阶段又各自暴露不同钩子。多个控制同时启用时，条件通路会争夺同一组中间激活、需要不一致的输入格式，冲突仲裁完全靠手写工程。在 FLUX.2-klein-base-4B 这类 4B 模型上做局部重绘，要么外接专用 inpainting 模型，要么手动 hack 主干 forward，每加一种新控制都要重写 pipeline。这种'功能强大但模块化差'的现状是当前可控扩散生态的真正瓶颈。

本文的目标是本文的目标是提出一个统一、开源的插件框架 Diffusion Templates，把基座模型推理与可控能力注入彻底解耦。具体而言有三个目标：(1) 定义一个标准化的中间接口（Template cache），让所有控制方法都把输出映射到这一统一表示，而非各自绑定特定架构；(2) 让每种可控能力都封装为独立可训练、可加载、可组合的 Template 模型，可以在不同骨干间迁移；(3) 让多个 Template 模型能在同一推理流水线中并发生效，且不显著增加 GPU 显存。作者在 FLUX.2-klein-base-4B 上展示了 10 种能力（结构控制、亮度、颜色、图像编辑、超分、锐化、美学对齐、内容参考、局部重绘、年龄控制）以及它们的组合融合，以证明框架的通用性。

与已有工作不同的是，现有工作的空白有三层：第一，工程层面，没有系统级的统一接口，所有方法都绑定特定骨干，无法跨架构迁移；第二，能力层面，几乎没有方案同时支持 KV-Cache 类和 LoRA 类异构载体，更没有把它们放到同一抽象下；第三，组合层面，融合多个控制目前依赖手写仲裁，没有可复用的'按 cache 类型自动拼接'机制。本文独特切入角度是把插件抽象从 LLM 系统（MCP、Skills）移植到扩散——把基座模型当作核心运行时，把控制模块当作可在共同接口上激活、组合、调度的独立插件。这一视角让'扩散生态的工具调用协议'成为可能，而不只是又一个具体的可控生成方法。

核心方法

Diffusion Templates 的整体思路可类比为'给扩散模型装 USB 接口'：把基座模型推理视作稳定的主机，把各种可控能力视作可热插拔的 USB 设备。技术分三层：(1) Template cache——标准化中间表示，约束为基座pipeline 输入参数的子集，目前最推荐 KV-Cache，LoRA 也可作特殊形式；(2) Template model——任意能把任务输入映射到 Template cache 的神经网络，结构不受限，可自带 model.py 入口和 .safetensors 权重；(3) Template pipeline——编排层，加载多个 Template、合并 cache、再注入基座推理。训练和推理都被组织为两阶段：Stage I 无梯度的输入预处理（可激进缓存），Stage II 涉及梯度的 forward（产出 Template cache）。推理时 Template 不进 denoising loop，KV-Cache 沿序列维拼接，LoRA 沿秩维拼接，异构 cache 并行启用。

本文最核心的创新是把可控能力注入从'架构耦合'变为'接口契约'。传统 ControlNet 把控制信号做成 UNet 主干上的残差分支，这意味着每换一个主干、每加一个控制都要重写 forward；AttriCtrl 把控制做成属性 token 注入注意力，与其他基于注意力的控制互相干扰。本文的 Template cache 定义在'pipeline 输入参数空间'，所以新能力的接入只需'扩展 pipeline 现有参数'，无需重写 denoising 内部。这种设计带来三个本质区别：(1) 能力载体异构——KV-Cache 序列级拼接支持任意数量控制，LoRA 秩维拼接支持权重级融合，二者在同一接口下并存；(2) 训练解耦——Template 只训练自己引入的旁支，基座参数完全冻结，loss 直接复用原预训练 loss；(3) 推理高效——Template 不进denoising loop，可懒加载、轮询调度，GPU 显存不随 Template 数量线性增长。这种'把抽象提到系统层、把算法留在模型层'的解耦方式借鉴自 LLM 工具调用协议，是首次系统地用于扩散生态。

方法步骤详情

方法分四层。**Template cache**：约束为基座 pipeline 输入参数子集，主推 KV-Cache（支持序列拼接），LoRA 作'参数化 cache'辅助形式。**Template 模型**：每个 Template 含 model.py 与可选 .safetensors，暴露 process_inputs（无梯度预处理）与 forward（产 Template cache）两接口。**Template pipeline 三步推理**：(1) 各 Template 跑 forward 得 cache；(2) KV-Cache 沿序列维拼接、LoRA 沿秩维拼接，异构 cache 并行启用；(3) 合并 cache 与常规参数送入基座。**Template 训练**：冻结基座、只训旁支，loss 等于原预训练 loss。10 个 Template 都在 FLUX.2-klein-base-4B 训练覆盖 10 种能力；编辑 Template 比基座加速约 $1.8\times$。

技术新颖性

技术新颖性体现在四个层面。第一，**接口级抽象的提出**：把'可控能力 = 架构修改'的传统思路改为'可控能力 = 可注入的 cache'，抽象层次从模型层提升到系统层，这与 LLM 生态从纯算法到 MCP/Function Calling 的演进是平行关系；第二，**异构 cache 的统一承载**：KV-Cache（序列维张量）与 LoRA（低秩参数矩阵）在数学上完全不同，但都被解释为'Template cache 的具体形式'，是论文最富想象力的地方；第三，**两阶段训练框架**：把预处理做成无梯度可缓存模块，显著减少冗余计算；第四，**懒加载 + 轮询调度**：Template 不进 denoising loop，任意数量 Template 的融合不会让显存线性爆炸，从系统设计上保证可扩展性。值得指出的是，KV-Cache 与 LoRA 在严格意义上不是同一类对象（前者是运行时状态、后者是参数），把它们并列为 cache 是务实的工程抽象而非严格数学等价——这是新颖性的来源也是潜在的争议点。

**Figure 1**: Overview of Diffusion Templates framework.

**Figure 10**: Local inpainting results.

实验结果

本文以定性案例为主（CFG=4、50 步、固定种子 0）。**结构控制**（图 2）：深度 Template 对不同 prompt 都生成符合结构与语义的图像。**亮度**（图 3）：标量 0.3/0.5/0.7 呈光照梯度。**颜色**（图 4）：目标色 #D0B98A/#808080/#5EA3AE 产生方向性色彩。**图像编辑**（图 5）：达基座相当质量并获约 $1.8\times$ 加速（唯一明确数字）。**超分**（图 6）：大倍率下仍锐利但比 Real-ESRGAN 慢。**锐化**（图 7）：Canny 边缘密度 0.1 偏柔、0.8 偏锐。**美学对齐**（图 8）：LoRA 载体、90 对偏好数据训练，scale=0/1/2.5 呈基准/更柔/加入粉色花饰——仅在 {0, 0.5, 1.0} 训练却外推到 2.5。**局部重绘**（图 10）：Template 软控制 + VAE 硬替换。**年龄控制**（图 11）：20/50/80 三档皱纹渐进加深。**融合**（图 12-15）：4 组融合案例。全文无 FID/CLIP-Score 等定量指标。

**Figure 2**: Structural control results with a shared depth input.

**Figure 3**: Brightness adjustment results with a shared prompt.

**Figure 4**: Color adjustment results with a shared prompt.

**Figure 5**: Image editing results with a shared reference image.

**Figure 6**: Super-resolution results with a shared prompt.

**Figure 8**: Aesthetic alignment results with a shared prompt.

**Figure 11**: Age control results with a shared prompt.

**Figure 12**: Fusion of super-resolution and sharpness enhancement capabilities.

**Figure 13**: Fusion of structural control, image editing, and color adjustment.

**Figure 14**: Fusion of structural control, sharpness enhancement, and aesthetic alignment.

**Figure 15**: Fusion of local inpainting, image editing, and brightness adjustment.

查看结构化数据

任务	指标	本文	基线	提升
图像编辑推理加速（FLUX.2-klein-base-4B 上编辑 Template vs 基座编辑）	推理速度倍率 (speedup)	编辑 Template 获约 $1.8\times$ 加速	FLUX.2-klein-base-4B 原生编辑 (1.0×)	$1.8\times$ 速度提升，质量与基座相当
结构控制 Template（深度条件）	定性生成质量（图保真度）	支持 depth/outline/pose/normal 四种条件，输出与 ControlNet 风格相当（图 2）	无直接数字对比，作者仅展示定性效果	定性可比较，无定量提升数字
美学对齐 Template（LoRA 载体，90 对偏好数据训练）	训练-测试标量外推能力	训练 scale 仅 {0, 0.5, 1.0}，测试时可外推到 2.5 仍产生合理美学效果	无明确基线	展示连续标量控制外推能力，定性证明泛化
局部重绘 Template	非蒙版区域保真度	Template 软控制 + denoising 步内 VAE 硬替换，蒙版外区域精确保持（图 10）	单独使用 Template 只能做软控制（蒙版外有概率变化）	通过 pipeline 级硬约束叠加获得精确保真

局限与改进

本文局限性主要来自'框架演示'而非'算法对标'的定位。**缺乏定量基准**：全文没有 FID/IS/CLIP-Score 等常用指标，也没有在统一基准上和 ControlNet、IP-Adapter、AttriCtrl 做 head-to-head 数字对比，所有'质量相当'的论断都依赖定性图——这对一个声称'统一框架'的工作是显著的评估缺口。**Template 评估不均**：仅图像编辑给出 $1.8\times$ 加速，其他 9 个仅定性。**可控粒度有限**：作者坦承 SigLIP2→LoRA 模板不能显式控制'从参考图迁移什么'，缺乏可控性的形式化定义。**超分速度慢于专用模型**：用统一抽象换任务特化的必然代价。**KV-Cache 作为 cache 的理论完备性**：KV-Cache 是运行时状态、LoRA 是参数，把二者并列为'cache'是工程抽象而非严格数学等价，对追求形式严谨的读者是值得讨论的点。**视频生成展望未实证**：未来工作提到的'时序一致性、运动模式控制'目前没有任何实验支持。

独立分析的弱点

独立分析本文弱点有四。**(1) 评估深度不足**：作为系统级框架论文，最有说服力的证据应是'用本框架训练的若干 Template 在标准基准上达到或超过专用 SOTA'，但作者只给定性对比，编辑加速也只有 $1.8\times$ 一个数字；改进方向是补充 FID、用户偏好、A/B 测试、可控性指标。**(2) KV-Cache 与 LoRA 的形式差异未充分讨论**：二者本质上是不同数学对象，用'cache'统一抽象简化概念但牺牲严格性；改进方向是给出更严格形式化定义并证明异构 cache 并行启用时的理论兼容性。**(3) 组合冲突没有量化**：图 12-15 展示 3-Template 融合效果，但同时激活时是否会有信号冲突、是否需要强度调节（类似 IP-Adapter scale），作者没有给出机制也没有消融；改进方向是引入 cache 强度参数并在标准融合任务上做消融。**(4) 训练数据/算力不透明**：仅美学 Template 提到 90 对图像，其他 Template 的训练集规模与算力完全没说。

未来方向

作者明确提出三条方向。**第一，探索更高效的 capability 接口**：当前 KV-Cache 和 LoRA 在效率、兼容性、可控性上各有取舍，未来可探索其他 cache 形式（注意力偏置、特征统计量、潜空间 token 等），为不同骨干和任务找到更优 trade-off。**第二，扩展到更多基座模型和视频生成**：当前仅在 FLUX.2-klein-base-4B（4B 参数 DiT）上验证，作者特别指出要把框架扩展到视频生成骨干（Wan、Hunyuan-Video、LTX 等），让可复用 capability 接口支持时序一致性、运动模式、组合结构控制。基于成果可延伸的方向还包括：(a) 扩展到多模态生成（音频、3D、4D）；(b) 探索自动 Template 组合——学习一个调度器按 prompt 自动选择并加权；(c) 建立 Template 市场 / 仓库，让社区共享可组合能力；(d) 把 Template 缓存做成可下载的 'capability asset'，降低下游应用门槛。

复现评估

复现性评估从几方面看。**代码与模型开源**：作者明确表示代码、模型、数据集全部开源——代码在 github.com/modelscope/DiffSynth-Studio，模型与数据集在 modelscope.cn/collections/DiffSynth-Studio/。**基座依赖**：所有 Template 都在 FLUX.2-klein-base-4B （huggingface.co/black-forest-labs/FLUX.2-klein-base-4B）上训练，4B 参数 DiT 推理需至少 24GB 显存，单卡 A100/A800 可行，消费级显卡较困难。**数据规模与算力**：仅美学 Template 提到 90 对图像，其他 Template 训练集规模与训练步数/batch size/GPU 时长均未给出，对希望复现的研究者是关键缺失。**复现难度**：中等偏难——跑通推理 pipeline（验证 10 个 Template 的 demo）相对容易，复现完整训练并达到论文展示质量则需相当资源，且缺乏定量基准使'复现成功与否'难以判定。

扩散模板：面向可控扩散模型的统一插件框架 Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion