HiFi-Inpaint：面向高保真参考图修复的人-商品图像生成框架 HiFi-Inpaint: Towards High-Fidelity Reference-Based Inpainting for Generating Detail-Preserving Human-Product Images
基于参考图的高保真修复框架，通过高频增强注意力和细节感知损失生成人-商品图像
前置知识
扩散模型（Diffusion Models）
扩散模型是一类通过逐步添加噪声将数据转化为高斯分布，再通过学习逆向去噪过程生成图像的生成模型。其核心思想是前向过程逐步破坏数据结构，反向过程则学习从噪声中恢复原始数据。在本文中，基础模型FLUX.1-Dev采用MMDiT（Multi-Modal Diffusion Transformer）架构，这是一种将文本和视觉token分开处理后再融合的架构设计，能够在去噪过程中同时利用文本条件和视觉条件指导图像生成。扩散模型在文本到图像生成领域取得了巨大成功，但在保留产品细粒度细节方面仍有不足。
理解扩散模型的基本原理是理解本文方法的前提，特别是去噪过程中如何融合多种条件输入。
参考图修复（Reference-Based Inpainting）
参考图修复是一种图像编辑范式，通过利用参考图像来指导待填充区域的生成过程。与传统的基于上下文的修复方法不同，参考图修复可以将参考图像中的特定内容（如产品外观）精确地融入目标图像的指定区域。在本文场景中，给定一张被遮罩的人体图像和一张产品参考图像，目标是将产品无缝地融合到人体图像的遮罩区域，同时保持产品细节的高保真度。现有的参考图修复方法如Paint-by-Example、ACE++等在处理细粒度产品细节时仍然存在不足。
这是本文解决的核心任务，理解参考图修复的工作机制和现有局限性对于把握本文的创新点至关重要。
高频特征提取（High-Frequency Feature Extraction）
高频特征提取是通过频域滤波方法提取图像中快速变化的边缘、纹理和细节信息的技术。本文采用离散傅里叶变换（DFT）将图像转换到频域，然后使用圆形掩膜抑制中心区域的低频分量，再通过逆DFT回到空间域获取高频细节图。高频特征包含产品上的文字、商标、图案等关键细节信息，这些信息对于保证产品图像的真实性和准确性至关重要。与传统的Canny边缘检测相比，本文的高频提取方法更能突出文字和商标等关键元素，同时减少背景干扰。
高频特征是本文方法的核心创新之一，用于指导细节保留和提供像素级监督信号。
注意力机制（Attention Mechanism）
注意力机制是Transformer架构的核心组件，通过计算query、key、value之间的相关性来动态分配权重，使模型能够关注输入中最相关的部分。在本文中，基础模型采用双流视觉DiT块（dual-stream visual DiT blocks），分别处理文本token和视觉token，然后通过注意力机制融合两种模态的信息。本文提出的共享增强注意力（SEA）在原有注意力机制基础上增加了一个高频分支，利用参数共享的方式在不显著增加模型复杂度的情况下增强细粒度特征的保留能力。
注意力机制是本文核心创新SEA的基础，理解其工作原理对于理解SEA如何增强细节特征至关重要。
Token合并机制（Token Merging）
Token合并是一种将多个输入序列的token拼接在一起进行联合建模的技术。在本文中，为了将遮罩人体图像和产品参考图像的条件信息注入到扩散模型中，方法将这些图像的VAE编码token与噪声化的真值图像token拼接在一起，形成联合视觉token序列。具体地，联合视觉token z_0由遮罩人体图像编码、产品图像编码和噪声化真值图像编码拼接而成。这种机制使模型能够在统一的表示空间中同时处理多个图像条件，实现参考图修复任务中的条件融合。
Token合并机制是本文将多种图像条件注入基础模型的关键技术，理解它有助于把握方法的整体架构设计。
研究动机
人-商品图像在广告、电子商务和数字营销中扮演着至关重要的角色，这些图像需要精确地展示人类与产品的融合效果。生成这类图像的核心挑战在于确保产品细节的高保真度保留——产品图像必须忠实地呈现其细粒度特征，如形状、颜色、图案和纹理，以满足商业应用的严格要求。即使是细微的不准确也会削弱消费者信任，降低商业活动的效果。现有的图像定制化方法和文本驱动编辑方法通常关注全局或高层语义操纵，采用自由输入方式，难以稳健地保留细粒度细节。现有的参考图修复方法如Paint-by-Example、ACE++和Insert Anything等，在处理产品文字、商标和复杂图案时仍然存在细节丢失问题。Paint-by-Example在CLIP-I指标上仅为69.1%，DINO为63.4%，说明其在视觉一致性方面表现较差。ACE++和Insert Anything虽然有所改进，但在SSIM-HF（高频结构相似性）指标上分别仅为37.2%和40.0%，表明在高频细节保留方面仍有明显不足。
本文的目标是本文旨在开发一种专门针对人-商品图像生成的高保真参考图修复框架，能够将产品参考图像精确地融入被遮罩的人体图像中，同时最大限度地保留产品的细粒度细节。具体目标包括：构建大规模高质量的训练数据集以支持模型训练；设计有效的网络架构来融合高频细节信息；提出精确的像素级监督方法来指导细节重建。最终目标是在文本对齐、视觉一致性和生成质量三个维度上全面超越现有方法，特别是在高频细节保留方面取得显著提升。
与已有工作不同的是，本文的独特切入角度在于从频域分析的角度出发，将高频特征作为产品细节保留的关键线索。现有方法主要依赖空间域的特征表示，难以充分捕获产品上的文字、商标等高频信息。本文通过三个互补的创新点来填补这一空白：首先，构建专门的人-商品图像数据集HP-Image-40K，通过自合成流水线和自动过滤确保数据质量和多样性；其次，提出共享增强注意力机制（SEA），在不显著增加模型复杂度的情况下利用高频信息增强细节特征；最后，引入细节感知损失（DAL），通过高频像素级监督弥补潜空间MSE损失在细节指导方面的不足。这种从频域分析到架构设计再到训练策略的系统性创新，是本文与现有方法的本质区别。
核心方法
HiFi-Inpaint的方法设计遵循从数据构建到模型架构再到训练策略的完整技术路线。整体思路是：首先，利用预训练的文生图模型FLUX.1-Dev通过自合成流水线构建大规模人-商品图像数据集，解决训练数据不足的问题；然后，在FLUX.1-Dev的基础上设计高频特征引导的DiT框架，通过token合并机制融合多种图像条件；最后，通过共享增强注意力机制和细节感知损失分别从架构和训练两个层面增强细节保留能力。直觉上，产品细节主要体现在高频成分中（如边缘、文字、纹理），因此将高频信息显式地注入模型架构和训练过程，可以有效引导模型关注和保留这些关键细节。整个框架以FLUX.1-Dev为基础模型，采用MMDiT架构，文本和视觉token先分别处理再通过双流块融合。
本文的核心创新点在于提出了高频特征引导的细节保留机制，与现有方法的本质区别体现在三个方面。第一，与直接在空间域处理参考图像不同，本文通过频域滤波提取产品的高频细节图，这种表示方式更能突出文字、商标等关键元素，同时减少背景干扰。第二，现有的参考图修复方法通常将参考图像作为一个整体条件注入，而本文提出的共享增强注意力（SEA）机制专门针对遮罩区域内的产品特征进行增强，通过在双流DiT块中增加高频分支并共享参数，实现细节特征的精细化。第三，现有的扩散模型训练通常仅依赖潜空间的MSE损失，这种粗粒度的监督信号难以指导像素级的细节重建，本文提出细节感知损失（DAL）直接在像素空间的高频成分上施加监督，与潜空间损失形成互补。
方法步骤详情
HiFi-Inpaint的方法包含四个主要步骤。第一步是数据集构建（HP-Image-40K）：使用FLUX.1-Dev生成双联画格式图像，通过专门设计的提示模板引导模型生成语义对齐的双联画；然后使用Sobel滤波器检测垂直边界进行图像分割；接着使用YOLOv8定位产品区域并计算CLIP相似度进行语义过滤；最后使用InternVL提取文本内容并评估重叠度进行文本过滤。每个样本包含文本提示T、遮罩人体图像Ih、产品图像Ip和目标人-商品图像Igt。第二步是高频特征提取：将输入图像通过DFT转换到频域，使用半径为r的圆形掩膜Mh抑制低频分量，再通过逆DFT获取高频细节图。第三步是高频特征引导的DiT框架：通过token合并机制将遮罩图像、产品图像和噪声化真值图像的编码拼接形成联合视觉token z0，同时构建高频视觉token z'0；在每个双流DiT块中，原始分支处理zi，高频分支处理z'i，通过公式zi = Bi(zi-1) + αi * Mask(Bi(z'i-1), Mds)实现细节增强，其中αi是可学习的权重因子，Mds是下采样后的遮罩区域。第四步是细节感知训练：总体损失函数为LOverall = LMSE + LDA，其中MSE损失在潜空间确保全局一致性，细节感知损失LDA = ||H(Igt_hat) ⊙ M - H(Igt) ⊙ M||2^2在像素空间的高频成分上施加监督，H(.)表示高频提取操作。
技术新颖性
本文的技术新颖性体现在多个层面。首先，数据构建方面，采用自合成流水线结合多级过滤策略（语义过滤和文本过滤），在无需大量人工标注的情况下构建了40000+高质量样本的HP-Image-40K数据集，特别是文本过滤步骤通过比较产品图像和人-商品图像中的文字内容确保文本保真度，这在现有数据集构建方法中是少见的。其次，架构设计方面，共享增强注意力机制（SEA）通过参数共享的方式在不显著增加模型复杂度（仅引入一个额外参数αi）的情况下实现了高频信息的有效利用，与简单的特征拼接或交叉注意力相比，SEA通过在双流块中增加高频分支并共享权重，实现了更精细的细节增强。可学习的权重因子αi比固定值为1的效果更好，如论文Figure 4所示。最后，训练策略方面，细节感知损失（DAL）在像素空间的高频成分上施加监督，直接关注细节重建，与潜空间的MSE损失形成多层级监督互补，这种设计在扩散模型训练中是创新性的。
实验结果
本文的实验结果表明HiFi-Inpaint在多个维度上达到了最优性能。在定量比较中（Table 1），HiFi-Inpaint在视觉一致性指标上表现突出：CLIP-I达到95.0%，比次优的Insert Anything（94.1%）高出0.9个百分点；DINO达到91.9%，比次优的ACE++（90.7%）高出1.2个百分点；SSIM达到63.4%，比次优的Insert Anything（62.1%）高出1.3个百分点；SSIM-HF达到42.9%，比次优的Insert Anything（40.0%）高出2.9个百分点，这表明在高频细节保留方面优势最为明显。在文本对齐方面，CLIP-T为36.1%，具有竞争力。在生成质量方面，Q-Align-IQ达到4.36，是所有方法中最高的，LAION-Aes为4.40，接近最优。消融实验（Table 2）验证了各组件的有效性：从基线（Scheme A，CLIP-I=91.8%，DINO=85.4%）到完整方法（Scheme E，CLIP-I=95.0%，DINO=91.9%），CLIP-I提升了3.2个百分点，DINO提升了6.5个百分点。加入合成数据（Scheme A到B）带来显著提升，CLIP-I从91.8%提升至94.5%；加入DAL（Scheme B到C）使DINO从89.9%提升至90.7%；加入SEA（Scheme C到E）进一步使SSIM-HF从41.8%提升至42.9%。用户研究（Table 3）显示HiFi-Inpaint在文本对齐（36.4%）、视觉一致性（41.5%）和生成质量（39.5%）三个维度上均获得最高的人类偏好率，远超其他方法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 人-商品图像生成 | CLIP-I（视觉相似性） | 95.0% | 94.1%（Insert Anything） | +0.9% |
| 人-商品图像生成 | DINO（特征相似性） | 91.9% | 90.7%（ACE++） | +1.2% |
| 人-商品图像生成 | SSIM（结构相似性） | 63.4% | 62.1%（Insert Anything） | +1.3% |
| 人-商品图像生成 | SSIM-HF（高频结构相似性） | 42.9% | 40.0%（Insert Anything） | +2.9% |
| 人-商品图像生成 | Q-Align-IQ（图像质量） | 4.36 | 4.40（Paint-by-Example） | 接近最优 |
| 人-商品图像生成 | CLIP-T（文本对齐） | 36.1% | 36.6%（FLUX-Kontext） | 竞争力 |
局限与改进
尽管HiFi-Inpaint取得了显著的性能提升，但仍存在一些局限性。首先，数据集构建依赖于自合成流水线，使用FLUX.1-Dev生成的双联画图像可能存在分布偏差，难以完全代表真实世界的人-商品图像场景。合成数据的质量受限于基础生成模型的能力，可能无法覆盖所有产品类型和人体姿态的多样性。其次，当前方法主要针对静态图像生成，尚未扩展到视频序列中的人-商品融合，这在实际商业应用中（如动态广告、视频营销）是一个重要的需求。第三，方法的推理效率方面，由于需要同时处理原始视觉token和高频视觉token两个分支，且高频分支增加了额外的计算开销，这可能影响实际部署的实时性。第四，论文使用的评估指标（如CLIP-I、DINO）主要衡量全局和语义层面的相似性，对于产品细节（如微小文字、复杂商标）的精确评估可能不够充分。最后，用户研究的样本量（31名参与者）相对较小，可能影响统计显著性。
独立分析的弱点
本文存在几个可以改进的弱点。首先，数据集构建方面，HP-Image-40K完全依赖合成数据，缺乏真实世界的人-商品图像，这可能导致模型在真实场景中的泛化能力受限。改进方向是构建真实数据与合成数据混合的训练集，或者引入领域自适应技术来缩小合成数据与真实数据之间的分布差距。其次，高频特征提取采用固定的DFT滤波参数（半径r），缺乏针对不同产品类型的自适应调整能力。可以考虑设计可学习的频域滤波器或引入多尺度高频特征提取来捕获不同频率范围的细节信息。第三，共享增强注意力机制中的遮罩约束Mds是在训练前预先计算的下采样遮罩，无法动态适应遮罩区域的变化。可以探索自适应遮罩生成机制，根据输入内容动态调整注意力约束范围。第四，细节感知损失仅关注高频成分，可能忽略低频区域的结构一致性。可以设计多频段的损失函数，分别对不同频率范围施加监督。最后，方法的计算复杂度方面，高频分支增加了额外的前向传播开销，可以研究更高效的高频信息注入方式，如轻量级的适配器模块。
未来方向
论文作者提出未来工作将聚焦于增强生成图像的多样性和真实性，并将方法扩展到视频生成领域。基于本文的成果，可以进一步延伸多个研究方向。第一，多产品场景的人-商品图像生成，当前方法主要处理单一产品的融合，未来可以扩展到同时融合多个产品（如服装搭配场景），需要设计更复杂的多参考图融合机制。第二，交互式产品定制，允许用户通过文本提示或草图对产品外观进行微调（如改变颜色、添加图案），在保留产品身份的同时实现个性化定制。第三，视频序列中的人-商品融合，需要考虑时序一致性，确保产品在不同帧中的外观保持稳定，可以引入时序注意力机制或光流约束。第四，3D感知的人-商品融合，结合深度估计和3D重建技术，实现产品在不同视角下的一致融合。第五，真实数据集的构建，收集真实商业场景中的人-商品图像，建立更贴近实际应用的评估基准。第六，轻量化模型设计，通过知识蒸馏或模型压缩技术降低推理延迟，满足实时应用需求。
复现评估
本文的复现评估显示其具有中等偏上的可复现性。开源方面，论文提供了项目主页（https://correr-zhou.github.io/HiFi-Inpaint），但代码和预训练模型的开源情况未在论文中明确说明，这对复现构成一定障碍。数据方面，HP-Image-40K数据集的构建流程相对清晰，包括双联画合成、分割、语义过滤和文本过滤四个步骤，但依赖于FLUX.1-Dev、YOLOv8和InternVL等多个预训练模型，需要下载和配置这些模型。算力方面，论文使用内部数据集（约14000样本）加上HP-Image-40K数据集进行训练，总batch size为24，训练10000步，图像分辨率为1024x576，这对GPU显存和计算资源有较高要求，估计需要多张高端GPU（如A100）。难度方面，方法的整体框架基于FLUX.1-Dev，如果该基础模型开源且提供预训练权重，复现难度会显著降低。关键的实现细节（如高频滤波的具体参数r、SEA中的可学习权重初始化方式）在论文中有描述，但可能需要根据具体硬件环境进行调优。总体而言，具备中等算力资源和扩散模型开发经验的研究者应该能够在合理时间内复现本文的核心结果。
论文图表
该图展示了HiFi-Inpaint的生成效果示例，包含四个场景，每个场景展示一张产品参考图像（Ref.）和对应的生成图像（Generated Image）。生成图像中产品被无缝地融合到人体图像中，产品上的文字、商标和细节得到高保真度的保留。
这张图直观展示了本文方法的核心能力——高保真度的产品细节保留，让读者快速理解任务目标和方法效果。