CARE-Edit：条件感知专家路由的上下文图像编辑 CARE-Edit: Condition-Aware Routing of Experts for Contextual Image Editing
用动态路由将编辑任务分发给异构专家，解决多条件图像编辑中的信号冲突问题
前置知识
Mixture-of-Experts (MoE)
MoE 是一种稀疏激活架构，模型包含多个「专家」子网络，每个输入 token 只被路由到其中少数几个专家处理。路由网络根据输入内容动态选择最相关的专家，从而在不显著增加推理计算量的前提下大幅扩展模型容量。Switch Transformer 和 GShard 是经典代表。在本文中，MoE 的理念被迁移到扩散模型中，每个「专家」对应一种编辑条件（文本、掩码、参考图、基底）的专用处理模块。
CARE-Edit 的核心就是将 MoE 的稀疏路由思想用于图像编辑中的多条件融合，理解 MoE 的 top-K 路由和负载均衡机制是理解本文方法的前提。
DiT (Diffusion Transformer)
DiT 是将 Transformer 架构应用于扩散模型的骨干网络，替代了传统的 U-Net 结构。它将图像的潜空间表示（latent tokens）通过 Transformer 块进行去噪处理，每个块包含自注意力和前馈层。FLUX.1 是基于 DiT 的开源扩散模型，本文在 FLUX.1-Dev 上进行微调。
CARE-Edit 的所有专家模块都嵌入在 DiT 块中，理解 DiT 的结构才能理解专家路由如何在 Transformer 块间插入。
ControlNet 与条件融合
ControlNet 是一种为扩散模型添加额外空间条件（如边缘、深度图、掩码）的方法，通过并行分支将条件信号注入骨干网络。传统做法是将多种条件通过拼接或加法适配器静态融合，所有条件共享同一个处理路径。OmniControl 等方法进一步扩展了这一范式。
本文正是要解决 ControlNet 范式的根本缺陷——静态融合无法动态分配模型容量来处理冲突的多条件信号。
LoRA 微调
LoRA (Low-Rank Adaptation) 是一种参数高效的微调方法，在预训练模型的权重矩阵旁插入低秩分解的旁路矩阵 $\Delta W = BA$，其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times d}$，$r \ll d$。只训练 $A$ 和 $B$，冻结原始权重，大幅减少可训练参数量。
CARE-Edit 使用 LoRA 在冻结的 FLUX.1 骨干上微调专家适配器和路由器，理解 LoRA 才能理解为什么模型能在保持预训练先验的同时学习多模态编辑能力。
Rectified Flow 扩散
Rectified Flow 是一种扩散模型的训练和采样框架，通过学习从噪声到数据的直线流来生成图像，相比传统 DDPM 具有更直的采样轨迹和更快的收敛速度。FLUX.1 系列模型基于此框架构建。在本文中，扩散时间步 $t$ 不仅控制去噪进程，还影响路由器的专家选择策略——早期步骤侧重语义布局，后期步骤侧重边界精修和风格一致性。
理解时间步在去噪过程中的作用，才能理解为什么 CARE-Edit 的路由器需要感知时间步来动态调整专家激活。
研究动机
当前统一图像编辑器（如 ControlNet、OmniControl 及其变体）普遍采用静态融合策略来整合多种条件信号（文本提示、用户掩码、参考图像），即通过简单的拼接或加法适配器将所有条件注入共享骨干网络。这种方法在单条件场景下效果尚可，但在多条件上下文编辑中暴露出严重缺陷。具体而言，当文本语义、空间掩码和参考风格同时存在时，静态融合无法动态分配模型的有限容量来优先处理最关键的信号。这导致了多种视觉伪影：颜色在掩码边界处渗透（color bleeding），参考图像的身份或风格被错误地应用到未编辑区域（identity drift），全局调整意外泄露到应保持不变的区域。更关键的是，这些条件信号的重要性在整个去噪轨迹中是变化的——早期步骤需要语义布局指导，后期步骤需要边界精修和风格一致性——但静态方法无法适应这种动态变化。
本文的目标是本文的目标是设计一个条件感知的专家路由框架，将不同编辑模态的处理解耦到专用的异构专家中，并通过动态路由机制根据输入条件和扩散时间步自适应地分配计算资源。具体而言，CARE-Edit 要实现四个目标：（1）将文本语义推理、空间掩码精修、参考身份/风格迁移和全局背景保持分别交给四个专用专家处理；（2）通过轻量级路由器实现 token 级和时间步感知的稀疏 top-K 选择，确保每个 token 只激活最相关的专家；（3）通过 Latent Mixture 模块将专家输出连贯融合，避免简单的拼接或平均带来的细节模糊；（4）在仅约 120K 训练数据上实现与大规模统一编辑器（如 OmniGen2 使用 533K+ 数据）可比甚至更优的性能。
与已有工作不同的是，本文抓住了一个被现有工作忽视的关键问题：多条件冲突的本质不是「信号不够」而是「信号冲突」。现有方法要么通过静态拼接强行塞入所有条件（如 ControlNet），要么通过统一接口处理所有任务（如 OmniGen2），但都没有从机制上解决条件间的竞争关系。CARE-Edit 的独特视角是将编辑视为一种「条件能力」（condition-aware competency）——不同编辑任务本质上需要不同的处理策略，应该由不同的专家来处理。这与之前将 MoE 用于同质专家扩展容量的工作（如 EC-DiT）不同，CARE-Edit 使用的是异构专家，每个专家的结构和功能针对特定模态定制。此外，本文还引入了 Mask Repaint 模块来迭代精修用户掩码，解决了粗粒度用户输入与精确空间控制之间的鸿沟。
核心方法
CARE-Edit 的核心思想可以用一个类比来理解：想象一个图像编辑工作室，里面有四位专家——一位擅长理解文字指令的语言专家、一位擅长精确空间操作的掩码专家、一位擅长风格和身份迁移的参考专家、一位擅长保持整体一致性的基底专家。当接到一个编辑任务时，不是让所有四个人同时上手，而是由一个智能调度员（路由器）根据任务需求和当前进度，动态决定每个像素区域该由哪位专家来处理。在技术路线上，CARE-Edit 基于 FLUX.1-Dev 的 DiT 骨干，通过 LoRA 微调注入四个异构专家模块。每个 DiT 块中的 latent tokens 首先经过一个轻量级注意力路由器，该路由器综合考虑 token 的局部特征、全局任务条件和扩散时间步来计算路由概率。然后通过 top-K 稀疏选择（K=3）激活最相关的专家。专家输出经过 LayerNorm 和线性投影后，通过 Latent Mixture 模块进行 token 级、时间步自适应的融合。Mask Repaint 模块在每个去噪步骤迭代精修用户掩码，确保空间控制的精确性。
CARE-Edit 与已有方法最本质的区别在于它实现了「先分工再融合」（specialize-then-fuse）的处理范式，而非传统的「先混合再处理」（mix-then-process）。具体而言，现有方法（ControlNet、OmniControl 等）将文本、掩码、参考图等条件信号通过拼接或加法注入同一个骨干网络，让同一组权重同时处理所有条件——这就好比让一个人同时翻译、画图和调色，必然顾此失彼。CARE-Edit 则将这些条件解耦到四个异构专家中：Text Expert 通过交叉注意力与文本 token 交互进行语义推理，Mask Expert 通过卷积和掩码调制实现空间精确控制，Reference Expert 通过 FiLM 调制注入身份/风格信息，Base Expert 通过交叉注意力保持全局一致性。最关键的是，路由器不仅根据输入内容选择专家，还根据扩散时间步动态调整——早期步骤让语义专家更活跃以确定布局，后期步骤让掩码和参考专家更活跃以精修细节。这种动态性是静态融合方法无法实现的。
方法步骤详情
CARE-Edit 的处理流程分为以下步骤：（1）模态编码——文本通过 Text Encoder $E_{text}$ 产生 $C_p \in \mathbb{R}^{N_t \times d}$，基底图像和参考图像通过 Image Encoder（DINO/VAE）产生 $Z_b$ 和 $Z_r$，掩码通过 Mask Encoder 产生 $Z_m$，所有 latents 拼接为统一 token 序列 $h_0 = [C_p; Z_b; Z_r; Z_m] \in \mathbb{R}^{N \times d}$。（2）DiT 骨干处理——$h_0$ 通过冻结的 DiT 块传播，每 2-3 个块插入一个路由层。（3）Token 路由——每个 token $h_i'$ 的局部特征编码为 key $k_i = W_k h_i'$，全局任务条件编码为 query $q = \phi(T)$，通过 MLP 计算四个专家的 logits $\alpha_{i,e} = MLP_e([k_i \| q]) + b_e$，经 softmax 和 top-K 稀疏化得到路由概率 $\tilde{\pi}_{i,e}$。（4）专家处理——激活的专家分别对 token 进行处理：Text Expert 通过交叉注意力 $h_t' = h' + A_{text}(CrossAttn(h', T))$，Base Expert 通过交叉注意力 $h_b' = h' + A_{base}(CrossAttn(h', Z_b))$，Reference Expert 通过 FiLM 调制 $h_r' = h' + A_{ref}(FiLM(h', Z_r))$，Mask Expert 通过卷积和掩码门控 $h_m' = h' + A_{mask}(Conv(h' \odot Up(Z_m \odot \hat{M}(t))))$。（5）残差聚合——通过共享专家防止路由坍缩，最终聚合为 $h_i'' = h_i' + \sum_e \tilde{\pi}_{i,e}^+ (f^e(h_{i,e}') - h_i')$。（6）Latent Mixture——专家输出通过路由权重凸组合为 $h_{fuse}' = \sum_e w_e \odot h_e'$，再与基底专家输出通过时间步自适应门控 $\gamma$ 融合：$h_{mix} = (1-\gamma) h_{fuse}' + \gamma h_b'$。（7）Mask Repaint——在每个步骤通过残差掩码场 $\Delta_m$ 迭代精修掩码 $\hat{M}(t) = clip(\hat{M}(t-1) + \Delta_m, 0, 1)$。
技术新颖性
CARE-Edit 的技术新颖性体现在三个层面。首先，在架构设计上，它首次在扩散模型中引入异构专家路由——不同于 EC-DiT 等使用同质专家扩展容量的做法，CARE-Edit 的四个专家分别针对文本语义、空间掩码、参考身份和全局一致性定制，实现了「条件即专家」的设计理念。其次，在路由机制上，CARE-Edit 实现了 token 级和时间步感知的双重动态性——路由器不仅根据每个 token 的内容选择专家，还通过时间步嵌入 $\psi(s)$ 调整路由策略，使得去噪早期侧重语义专家、后期侧重精修专家。第三，在训练策略上，本文采用课程学习——先在单任务数据上训练 40K 步让专家形成基础能力，再在复杂多任务数据上训练 60K 步让专家特化——这种渐进式训练有效防止了模式坍缩。此外，Mask Repaint 模块通过在潜空间中迭代精修用户掩码，解决了粗粒度用户输入与精确空间控制之间的鸿沟，这在现有方法中尚属首次。
实验结果
CARE-Edit 在三个主流基准上进行了全面评估。在指令编辑任务上（EMU-Edit 和 MagicBrush），CARE-Edit 使用 FLUX.1-Dev 骨干和仅约 120K 训练数据，达到了与大规模训练的统一编辑器可比甚至更优的性能。具体而言，在 EMU-Edit 测试集上，CARE-Edit 取得了 CLIPim 0.868、CLIPout 0.313、L1 0.082、DINO 0.835 的成绩，其中 CLIPout 和 DINO 均为所有方法中最优，CLIPim 与 AnyEdit（0.866）和 OmniGen2（0.865）相当。在 MagicBrush 测试集上，CARE-Edit 取得了 CLIPout 0.324（最优）和 DINO 0.885（次优，仅次于 OmniGen2 的 0.889），L1 0.052 与 EMU-Edit 持平。在主体驱动的上下文编辑任务上（DreamBench++），CARE-Edit 的表现尤为突出：在单物体设置下，DINO-I 达到 0.874（OmniGen2 为 0.861），CLIP-I 达到 0.792（OmniGen2 为 0.784），CLIP-T 达到 0.325（OmniGen2 为 0.318）；在更具挑战性的多物体设置下，DINO-I 达到 0.568（OmniGen2 为 0.560），CLIP-I 达到 0.720（OmniGen2 为 0.713），CLIP-T 达到 0.327（OmniGen2 为 0.319）。值得注意的是，CARE-Edit 在所有指标上均优于使用约 1M 训练数据的 OmniControl 和 UNO，以及使用 533K+ 数据的 OmniGen2，这表明其条件感知的专家路由设计和精心策划的训练数据具有显著的数据效率优势。消融实验进一步验证了各组件的贡献：移除专家路由（w/o Experts）导致 DINO-I 从 0.568 大幅下降至 0.485，移除 Latent Mixture 降至 0.509，移除 Mask Repaint 降至 0.523。K=3 是最优的专家激活数量，K=2（0.541）和 K=4（0.562）性能略有下降但整体稳健。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EMU-Edit 指令编辑 | CLIPim | 0.868 | OmniGen2 0.865 | +0.003 |
| EMU-Edit 指令编辑 | CLIPout | 0.313 | OmniGen2 0.306 | +0.007 |
| EMU-Edit 指令编辑 | DINO | 0.835 | OmniGen2 0.832 | +0.003 |
| MagicBrush 指令编辑 | CLIPout | 0.324 | OmniGen2 0.306 | +0.018 |
| MagicBrush 指令编辑 | DINO | 0.885 | OmniGen2 0.889 | -0.004 |
| DreamBench++ 单物体 | DINO-I | 0.874 | OmniGen2 0.861 | +0.013 |
| DreamBench++ 单物体 | CLIP-I | 0.792 | OmniGen2 0.784 | +0.008 |
| DreamBench++ 单物体 | CLIP-T | 0.325 | OmniGen2 0.318 | +0.007 |
| DreamBench++ 多物体 | DINO-I | 0.568 | OmniGen2 0.560 | +0.008 |
| DreamBench++ 多物体 | CLIP-I | 0.720 | OmniGen2 0.713 | +0.007 |
局限与改进
作者在论文末尾坦诚地指出了几个局限性。首先，CARE-Edit 引入了额外的超参数（如 top-K 值、负载均衡系数 $\lambda_{load}$、掩码损失权重 $\lambda_{mask}$、混合损失权重 $\lambda_{mix}$），虽然实验表明 K=2/3/4 的差异不大，但这些超参数的调优仍需经验。其次，当前的四个专家（Text、Mask、Reference、Base）覆盖了最常见的编辑模态，但对于更广泛的编辑类型（如草图条件、深度图条件、视频编辑）可能需要扩展专家集合。从我自己的观察来看，CARE-Edit 的定量指标提升幅度相对温和（通常在 0.003-0.018 之间），在某些单项指标上甚至略低于基线（如 MagicBrush 的 DINO），这可能表明在某些特定场景下，静态融合方法也能达到不错的效果，条件感知路由的优势更多体现在复杂多条件场景中。此外，论文缺乏推理速度的对比分析——由于每 2-3 个 DiT 块需要额外的路由计算和四个专家的前向传播，CARE-Edit 的推理开销可能显著高于单骨干方法，这对于实时编辑应用是一个重要的考量因素。
独立分析的弱点
CARE-Edit 有几个值得关注的弱点。首先，路由决策的可解释性不足——虽然论文展示了专家激活热力图，但路由器的具体决策逻辑（为什么某个 token 被分配给特定专家）缺乏深入分析。在实际应用中，如果路由出错（如将需要保留的区域错误路由到 Text Expert），可能导致不可预测的编辑结果。改进方向可以是引入路由可解释性模块或设计路由约束机制，确保关键区域（如掩码外的背景）始终路由到 Base Expert。其次，Mask Repaint 模块依赖于参考图像的几何对应关系来精修掩码，但在参考图像与基底图像差异很大时（如风格迁移场景），这种对应可能不准确，导致掩码精修失效。可以考虑引入语义级别的掩码精修，而非仅依赖几何对应。第三，课程学习的两阶段切换点（40K/60K）是固定的，缺乏自适应机制——如果单任务阶段的学习不充分就切换到多任务，可能导致专家特化不完全。可以探索基于验证集性能的自适应切换策略。第四，论文仅在 512x512 分辨率上进行实验，对于高分辨率编辑场景（如 1024x1024 或更高），token 数量的增加可能显著增加路由计算开销，并可能影响稀疏路由的有效性。
未来方向
基于 CARE-Edit 的框架，有几个有前景的研究方向。首先，动态专家扩展——当前的四个专家是预定义的，未来可以探索根据任务复杂度动态加载或创建新专家（如论文提到的 dynamic expert loading），实现更灵活的编辑能力组合。其次，将条件感知路由扩展到视频编辑——视频中的时间一致性和帧间依赖关系为多条件融合带来了新的挑战，CARE-Edit 的异构专家思想可以自然地扩展到时间维度（如增加 Temporal Expert）。第三，探索更细粒度的路由策略——当前的路由是 token 级的，但编辑操作通常具有空间连续性，可以探索区域级或超像素级的路由来提高效率和一致性。第四，与大语言模型（LLM）的集成——利用 LLM 理解复杂的编辑指令并生成结构化的路由策略，实现更智能的编辑意图解析。第五，作者提到的「数据效率」优势值得进一步挖掘——CARE-Edit 用 120K 数据就达到了 OmniGen2 用 533K+ 数据的水平，这暗示条件感知路由可能是降低数据需求的有效途径，值得在更大规模上验证。
复现评估
从复现性角度来看，CARE-Edit 的情况较为乐观。作者在论文中明确表示将发布代码、模型和数据集，这对学术复现非常重要。在算力需求方面，训练使用 8x NVIDIA L20 GPU，总计约 800 GPU 小时，这对于有一定硬件条件的研究组是可接受的。训练数据来自公开数据集（MagicBrush、OmniEdit、UNO、AnyEdit、Subjects200K），加上论文描述的 Mask-Aware Image-Pair 生成流程（使用 GPT-Image-1 和分割模型），数据获取门槛不高。模型基于开源的 FLUX.1-Dev 骨干和标准 LoRA 微调，依赖的库都是主流框架。不过，有几个复现难点需要注意：（1）Mask-Aware Image-Pair 的生成流程涉及 GPT-Image-1 API 调用和手动质量过滤，这部分的复现成本较高；（2）课程学习的两阶段策略和超参数组合需要仔细调整；（3）路由温度 $\tau$ 的退火策略和 EMA 平滑的具体实现细节对训练稳定性可能很关键，需要参考代码确认。总体而言，对于有 8 张以上 GPU 的研究组，复现难度为中等。
论文图表
