基于风格专家混合的多样化图像风格化

提出基于MoE的语义感知风格迁移框架，支持从颜色到深层次的多样化风格

前置知识

Mixture of Experts (MoE)

MoE 是一种神经网络架构，通过引入多个专家网络和一个路由网络来激活专家的子集并组合它们的输出。在图像处理中，MoE 能够通过参数扩展增加模型容量，同时通过稀疏路由保持计算效率。具体来说，每个 MoE 层包含 N 个专家网络和一个路由网络，路由网络根据输入特征动态选择最适合的专家，然后将原始变换与共享专家和选定专门化专家的贡献相结合来计算输出。

本文采用 MoE 架构来处理多样化的风格，因为不同风格类型（颜色、线条、纹理、语义）需要不同的处理策略，MoE 的路由机制可以让模型为每种风格选择最合适的专家，从而实现更好的风格迁移效果。

LoRA (Low-Rank Adaptation)

LoRA 是一种高效的模型微调方法，通过在预训练模型的权重矩阵上添加低秩分解矩阵来实现参数高效适配。具体来说，对于权重矩阵 W ∈ R^(d×k)，LoRA 引入两个低秩矩阵 A ∈ R^(r×k) 和 B ∈ R^(d×r)，其中 r << min(d,k)，使得适配后的权重变为 W' = W + αBA。这种方法只需训练少量参数就能获得与全量微调相当的效果，大大降低了计算和存储开销。

本文将 LoRA 用作 MoE 架构中的专家网络，每个专家都是一个 LoRA 适配器，通过共享专家和多个专门化 LoRA 专家的加权和来处理不同风格，既保持了参数效率又增强了模型的表达能力。

InfoNCE 损失

InfoNCE (Information Noise Contrastive Estimation) 是一种对比学习损失函数，通过最大化正样本对的相似度同时最小化负样本对的相似度来学习判别性表示。给定两个独立采样的批次 B 和 B'，计算风格表示之间的温度缩放余弦相似度，然后通过正样本掩码 M（Mij = 1 表示两个样本共享同一风格标签，否则为 0）加权对数概率，最终损失为 Li = -∑(Mij · ℓij)/∑Mij，其中 ℓij 是 softmax 归一化后的对数概率。

本文使用 InfoNCE 损失训练风格编码器，确保同一风格的图像在潜在空间中距离更近，不同风格的图像距离更远，这种判别性表示能够为 MoE 路由提供有效的先验知识，加速收敛并提升泛化能力。

DiT (Diffusion Transformer)

DiT 是基于 Transformer 架构的扩散模型，用自注意力机制替代传统扩散模型中的 U-Net 架构。DiT 采用多模态注意力机制，将文本标记和噪声图像标记拼接作为输入，通过 Query、Key、Value 的线性投影计算注意力：Attention(Q, K, V) = softmax(QK^T/√d)V。Flux-Kontext 等现代 DiT 模型支持额外的图像控制输入 Z' = [c, zt, zc]，便于注入风格图像控制信息。

本文以 Flux-Kontext 为基础模型，利用其支持图像控制输入的架构灵活性，通过在自注意力层和 FFN 线性层中嵌入 LoRA 专家来注入风格信息，实现高质量的风格迁移。

研究动机

现有扩散基风格迁移方法存在严重局限性，主要体现在两个层面。首先，从数据层面看，现有风格迁移数据集（如 OmniStyle-150K）在风格类别上存在显著不平衡，绝大部分（841/889）风格仅关注简单的颜色转移，而语义和材质风格严重不足。作者通过 Qwen Semantic Score 评估发现，现有数据集中 94.6% 的样本得分低于 2（满分 5），说明绝大多数方法仅进行表面颜色映射，无法捕获纹理、线条、材质等核心语义元素。其次，从方法层面看，现有方法如 OmniStyle 和 DreamO 通过拼接 VAE 潜在码来注入风格信息，但 VAE 潜在空间的语义信息有限，难以捕获和应用风格图像中的高级语义特征。其他方法如 CSGO 和 USO 通过交叉注意力或提示词注入风格图像，但没有考虑风格图像中语义特征的多样性，对所有风格一视同仁，导致迁移效果往往退化为简单的颜色映射，例如只是将图像染成绿色或黄色，而无法传递笔触纹理、线条风格等更深层次的艺术特征。

本文的目标是本文旨在构建一个语义感知的风格迁移框架，能够从单一风格图像中提取并传递多层次语义信息（从浅层纹理到深层语义），同时保持内容图像的结构完整性。具体目标包括：1）开发一个统一的风格编码器，将多样化风格嵌入到一致的潜在空间中；2）利用 Mixture of Experts 架构实现风格的动态路由，使不同风格类型能够被专门的专家网络处理；3）构建一个平衡的颜色-语义风格迁移数据集，为高质量语义风格化研究提供数据基础；4）在保持高内容保真度的同时，实现对未见风格的强大泛化能力。

与已有工作不同的是，本文的独特切入角度在于同时解决了数据不平衡和风格集成方法不足两个根本问题。与现有工作通过拼接 VAE 潜在码或简单注入图像 token 不同，本文创新性地将风格迁移问题转化为经典的 Mixture of Experts 结构，通过预训练风格编码器提供风格先验来引导路由网络。这种设计使模型能够为不同的语义特征（颜色、线条、纹理、材质）动态选择最合适的专家组合，而不是对所有风格采用统一的处理方式。同时，本文通过构建大规模内容-风格-风格化三元组数据集（StyleExpert-500K）来平衡颜色驱动和语义驱动的风格，这是首个专门针对语义风格迁移的大规模数据集，填补了该领域的数据空白。

核心方法

StyleExpert 采用两阶段训练框架。第一阶段训练风格表示编码器，使用 InfoNCE 对比损失学习判别性风格表示，确保同一风格的图像在潜在空间中距离更近；第二阶段使用预训练编码器为 MoE 路由提供先验知识，训练 MoE LoRA 适配器，使每个层能够动态选择最适合不同风格的专家。整体框架基于 Flux-Kontext DiT 模型，在自注意力层和 FFN 线性层中嵌入 16 个 LoRA 专家，通过 Top-K 路由机制（每层选择 top-2 专家）实现高效的风格迁移。方法的核心思想是：不同风格类型（颜色、线条、纹理、语义）需要不同的处理策略，通过 MoE 的路由机制可以让模型为每种风格选择最合适的专家组合，从而实现对多样化语义风格的精确控制。

核心创新点是将风格迁移问题转化为 Mixture of Experts 结构，并通过预训练风格编码器提供风格先验来引导 MoE 训练。与现有 MoE 微调方法（如 ICEdit 和 MultiCrafter）直接使用隐藏状态作为路由条件不同，本文预训练一个风格编码器来提取风格图像的判别性表示，然后将这些表示作为条件输入控制路由网络的专家选择。这种设计的本质区别在于：它让路由网络理解风格的语义含义，而不是仅仅依赖原始特征。具体来说，风格编码器通过 InfoNCE 损失学习将相似风格映射到相近的潜在位置，例如将像素艺术风格和经典像素风格映射在一起，而将插画风格映射到较远的位置，这种结构化的潜在空间能够有效引导路由网络为相似风格分配相似的专家组合，从而实现更好的风格泛化和控制。

方法步骤详情

方法分为两个主要训练阶段。第一阶段：训练风格表示编码器。给定图像 Ii 和风格标签 si，目标是学习表示 ei 使得共享相同风格标签的图像对 (Ii, Ij) 的距离 d(ei, ej) 最小化。具体步骤包括：1）使用预训练的 SigLIP 模型提取 L 个不同层的隐藏状态 {h^(l)_i}；2）将这些隐藏状态拼接并通过 MLP 网络 Φ 计算风格表示 ei = Φ(concat(h^(1)_i, h^(2)_i, ..., h^(L)_i))；3）使用 InfoNCE 对比损失训练 MLP，通过计算温度缩放的余弦相似度 d(ei, ej) = (ei · ej^T)/(τ||ei|| ||ej||)，其中 τ 是温度参数；4）对于两个独立采样的批次 B 和 B'，计算 B × B 对数概率矩阵 ℓ，然后通过正样本掩码 M（Mij = 1 表示 si = s'_j，否则为 0）加权损失 Li = -∑(Mij · ℓij)/∑Mij，最终损失为所有样本的平均。第二阶段：训练 MoE LoRA 适配器。在 DiT 网络的每个 MoE 层，给定输入 h，首先计算风格参考图像 Is 的风格潜在 es，然后将 es 作为路由的条件输入。路由通过函数 g(es) 计算每个专家的权重，并通过 Top-K 操作选择 top-k 值（本文 k=2），权重为 wi = softmax(TopK(g(es), k))_i。最终输出 h' 为原始输出与共享专家和选定专门化专家贡献的组合：h' = l(h) + (α/r) · (Bs · As + ∑(wi · Bi · Ai)) · h，其中 l(h) 是原始输出，Bs 和 As 是共享专家的 LoRA 权重，Bi 和 Ai 是第 i 个专门化专家的 LoRA 权重，α 是缩放因子，r 是 LoRA 秩。训练时使用 Flux-Kontext 作为基础模型，LoRA 秩设为 8，批量大小为 1（共 4 个 GPU），学习率 1e-4，迭代 10,000 步。

技术新颖性

本文的技术新颖性体现在三个方面：1）首次将 Mixture of Experts 架构系统性地应用于语义风格迁移任务，通过专家路由机制处理不同类型的风格特征，而非采用统一的处理方式；2）提出通过 InfoNCE 损失预训练风格编码器并将其集成到 MoE 路由中，这种设计为 MoE 训练提供了稳定的先验指导，解决了 MoE 训练初期的不稳定性问题，实验表明移除风格编码器会导致优化不稳定和收敛缓慢；3）构建了大规模内容-风格-风格化三元组数据集 StyleExpert-500K，通过从 Hugging Face 社区收集风格 LoRA 模型并经过严格的手工筛选和去重，获得 209 个高质量 LoRA，与约 2,700 张内容图像组合生成约 50 万张图像，最终通过 Qwen-VL 过滤得到约 40,000 张高质量图像（StyleExpert-40K），该数据集在颜色和语义风格的平衡性上显著优于现有数据集（Qwen Semantic Score 从 26.3% 提升到 75.12%）。

**Figure 2**: Overview of the proposed StyleExpert. Our method comprises two training stages. In the first stage (Sec. 3.2), a style encoder is trained with the InfoNCE loss to learn discriminative style representations, thereby accelerating convergence. In the second stage (Sec. 3.3), the pre-trained encoder provides style priors to guide the router network in training MoE LoRA adapters, enabling each layer to dynamically select the most suitable experts for diverse styles.

**Figure 4**: Overview of our dataset curation pipeline. We first manually collect content images and style LoRAs from the web. For each content image, we use Qwen [2] to generate a clean caption that excludes color and style information. The content image, its caption, and the corresponding style LoRA are then fed into the model to generate stylized images. A vision-language model (VLM) filters out those with incorrect or failed stylization. Finally, we compute CLIP [36] similarity to select the most suitable style reference for each target, forming the final triplet dataset.

实验结果

实验结果表明 StyleExpert 在多个评估维度上均显著优于现有方法。在内容保真度方面，CLIP Score 达到 70.19%，超越所有基线方法（CSGO 63.41%、DreamO 64.14%、OmniGen2 67.07%、OmniStyle 65.39%、USO 69.39%），说明方法在保持内容结构完整性方面表现优异。在风格相似度方面，CSD Score 达到 73.18%，显著高于所有竞争方法（OmniStyle 59.65%、USO 53.60%），DreamSim 距离降至 28.18%（越低越好，CSGO 42.39%、DreamO 44.95%、USO 48.62%），说明方法能够准确捕捉风格特征。在美学质量方面，Aesthetic Score 达到 6.48，略高于所有基线（CSGO 6.28、DreamO 6.20、OmniStyle 6.07、USO 6.30）。最突出的成就是 Qwen Semantic Score 达到 75.12%，远超所有方法（CSGO 28.93%、DreamO 19.29%、OmniStyle 40.00%、USO 19.88%），这是专门评估语义风格迁移能力的指标，说明方法在传递纹理、线条、材质等深层语义特征方面具有显著优势。消融实验表明，移除风格编码器后 MoE-only 基线在 CSD（从 73.18% 降至 70.88%）和 DreamSim（从 28.18% 升至 36.77%）指标上性能下降，特别是在 Qwen Semantic Score 上从 75.12% 降至 70.71%，验证了风格编码器的重要性。用户研究涉及 30 名参与者和 1,200 次投票，StyleExpert 的 Top-1 选择率达到 74.5%，远超所有竞争方法（CSGO 3.0%、DreamO 1.1%、OmniGen2 8.5%、OmniStyle 4.8%、Qwen-Image-Edit 3.6%、USO 4.5%），说明人类观察者显著偏好本文方法的输出质量。

**Table 1**: Quantitative comparison of our method against other stylization methods, as well as LoRA-only and MoE-only fine-tuning baselines. Best results are marked in bold and second-best results are underlined. All metrics except for the Aesthetic score are presented as percentages(%).

**Table 2**: Computation and Parameter Comparison

**Table 3**: Analysis of MoE expert routing overlap (IoU) between similar styles and dissimilar styles generation.

**Figure 5**: Qualitative comparison of our method, StyleExpert, with other SOTA style transfer methods on unseen styles.

**Figure 6**: Impact of the style encoder on MoE Training.

**Figure 7**: Qualitative comparison of our method against LoRA-only and MoE-only fine-tuning baselines.

**Figure 8**: t-SNE visualization of style embeddings from our style encoder on the test set.

查看结构化数据

任务	指标	本文	基线	提升
内容保真度	CLIP Score (%)	70.19	USO (69.39)	+1.15%
风格相似度	CSD Score (%)	73.18	OmniStyle (59.65)	+22.69%
风格距离	DreamSim (↓)	28.18	USO (48.62)	-42.04%
语义风格迁移	Qwen Semantic Score (%)	75.12	OmniStyle (40.00)	+87.80%
美学质量	Aesthetic Score	6.48	USO (6.30)	+2.86%

局限与改进

作者承认的局限性包括：1）方法依赖 Hugging Face 社区 LoRA 集合，这可能导致某些风格类型覆盖不足；2）MoE 架构引入了额外的计算开销，虽然通过 Top-K 稀疏路由缓解了这一问题，但参数量从标准 LoRA 的 751.48M 增加到 818.71M；3）DINO Score 较低（64.72%），作者解释这是因为 DINO 惩罚了方法成功迁移改变材质的语义风格，而竞争方法默认为简单的颜色迁移，保留了原始材质，因此获得了欺骗性的高分。额外的观察包括：4）方法在处理极端风格（如完全抽象的风格）时可能效果有限，因为训练数据中的风格多样性仍受限于社区 LoRA 的可用性；5）MoE 训练的稳定性依赖预训练风格编码器，如果风格编码器对新风格的泛化能力不足，路由网络可能选择不合适的专家，导致迁移效果下降；6）数据集构建过程中的多个过滤步骤（手工筛选、Qwen-VL 过滤、CLIP 选择）虽然保证了质量，但也可能引入一定的偏差，某些边缘风格可能被过滤掉。

独立分析的弱点

独立分析发现的主要弱点包括：1）计算资源需求较高，MoE 架构虽然通过稀疏路由保持了计算效率，但参数量的增加（增加约 67M 参数）仍然对部署资源提出了更高要求，特别是在移动设备或边缘设备上的应用可能受限。改进方向可以是引入专家共享机制或知识蒸馏来压缩模型。2）对新风格的泛化能力依赖风格编码器的判别性表示，如果遇到与训练数据风格差异很大的新风格，编码器可能无法提取有效的表示，导致路由网络选择不合适的专家。改进方向可以是持续学习策略，在线更新风格编码器的表示空间。3）风格迁移的精细控制能力有限，虽然方法能够成功迁移整体风格，但对于局部风格控制（如仅改变图像某个区域的风格）的支持不足。改进方向可以是引入空间感知的路由机制，使不同区域可以选择不同的专家组合。4）缺乏风格强度的显式控制，用户无法调节风格迁移的强度（如轻微风格化或强烈风格化）。改进方向可以是引入风格强度调节参数，通过调整专家激活权重或与原始输出的混合比例来实现。

未来方向

作者提出的未来研究方向包括：1）扩展风格编码器和专家网络，支持更细粒度的风格分类和更复杂的风格组合，例如支持多种风格的混合迁移；2）探索更轻量级的 MoE 架构，减少参数量和计算开销，使其更适合实际部署；3）将方法扩展到视频风格迁移，处理时间一致性和运动传递的问题。基于成果可延伸的研究方向包括：4）引入自适应专家机制，根据输入风格和内容的复杂度动态调整激活的专家数量，进一步优化计算效率；5）探索跨模态风格迁移，如从文本描述或 3D 模型中提取风格信息并应用到图像上；6）研究风格的可解释性，通过分析路由网络的专家选择模式，理解不同风格的语义特征表示；7）开发交互式风格编辑工具，允许用户通过指定特定风格特征（如线条粗细、纹理密度）来精细控制迁移效果；8）将方法应用于其他视觉任务，如图像修复、超分辨率等，探索 MoE 架构在这些任务中的潜力。

复现评估

论文在复现性方面表现良好。代码和收集的图像已在项目页面公开（https://hh-lg.github.io/StyleExpert-Page/），便于研究社区验证和扩展。数据集构建过程详细描述，包括风格 LoRA 的收集、手工筛选和去重过程（从约 650 个 LoRA 筛选到 209 个高质量 LoRA）、内容图像的收集（约 2,700 张照片，涵盖人物、风景、建筑、动物等类别）、图像生成过程（使用 OmniConsistency LoRA 保持内容一致性）、以及多个过滤步骤（Qwen-VL 过滤布局退化、人口统计属性错误、物体不一致等问题）。实现细节详细披露：风格编码器训练使用 AdaBelief 优化器，学习率 1e-5，批量大小 128，训练 3500 步；MoE LoRA 适配器微调使用 Flux-Kontext 作为基础模型，LoRA 秩为 8，每层 16 个专家，每层选择 top-2 专家，批量大小为 1（共 4 个 GPU），学习率 1e-4，迭代 10,000 步。实验设置详细说明了训练集和测试集的划分（90% 风格用于训练，10% 用于测试，188 个训练风格，21 个测试风格）、评估指标的选取（内容保真度用 CLIP 和 DINO，风格相似度用 CSD 和 DreamSim，美学质量用 LAION aesthetic score，语义风格迁移用 Qwen Semantic Score）以及与基线方法的公平比较（所有方法支持多图像输入，使用相同的测试集和评估协议）。虽然论文未提供具体的硬件配置和训练时间，但详细的实现参数和公开的代码使得复现成为可能。总体而言，论文在复现性方面表现出色，为后续研究提供了坚实的基础。

基于风格专家混合的多样化图像风格化 Mixture of Style Experts for Diverse Image Stylization