基于结构化推理引导对齐的上下文感知图像生成与编辑

提出IC-CoT结构化推理和GRPO对齐训练，提升多参考图像的生成与编辑能力

前置知识

In-Context Image Generation and Editing (ICGE)

上下文感知的图像生成与编辑任务，允许用户通过灵活交错的图像-文本来指定视觉概念。例如用户可以提供多张参考图片并给出指令，让模型将图片1中的人、图片2中的衣服、图片3的背景组合成一张新图像，或者用图片2的物品替换图片1中的物品。这要求模型既能理解复杂的图像-文本交错输入，又能忠实执行用户的创作意图。

这是本文的核心任务类型，理解ICGE的挑战所在（多参考图像的语义理解与关联、推理与生成的对齐）是读懂本文的前提。

Rectified Flow

一种生成模型框架，通过学习从高斯噪声分布到真实数据分布的直线流来生成样本。与扩散模型通过多步去噪不同，Rectified Flow通过学习速度场来预测从x0到x1的方向，其中xt等于1减t乘以x0加上t乘以x1。目标是最小化预测速度与真实速度v等于x1减x0之间的差距，损失函数数学形式为对t、x0从p0采样、x1从p1采样的期望，计算v减去v_theta的xt、t、P、R的L2范数平方。

本文基于BAGEL架构，使用Rectified Flow进行图像生成，理解这个损失函数有助于理解模型如何学习从推理条件到图像的映射。

Group Relative Policy Optimization (GRPO)

一种强化学习算法，是PPO（Proximal Policy Optimization）的改进版本。与PPO不同，GRPO不需要单独的价值网络，而是通过组内样本的相对优势来计算策略梯度。具体来说，它采样一组候选输出，计算每个输出的奖励，然后用相对优势来更新策略。这减少了内存消耗，特别适合大规模模型训练。本文中GRPO用于优化推理文本与生成图像之间的对齐。

本文第二阶段训练使用GRPO进行推理-生成对齐，理解GRPO如何通过替代奖励工作，是理解本文训练策略的关键。

CLIP Score

衡量图像与文本语义一致性的指标，基于CLIP模型计算。给定图像x和文本c，分别通过CLIP的图像编码器和文本编码器得到特征向量，然后计算余弦相似度，公式为E的x的转置乘以T的c，除以E的x的L2范数乘以T的c的L2范数。数值范围是负1到1，越高表示语义越相关。本文用它作为替代奖励来衡量推理文本中预测的caption与生成图像的对齐程度。

本文的核心创新之一就是用CLIP Score作为替代奖励来指导GRPO训练，理解这个公式有助于理解奖励信号是如何计算的。

研究动机

现有的统一多模态模型在理解任务上表现良好，但难以将这些理解能力有效迁移到图像生成任务中。以BAGEL为例，论文Figure 2展示了一个典型案例：给定提示词要求将特写图像中的仓鸮放在舒适家庭办公室场景的软垫椅上，BAGEL生成了冗长且看似合理的推理文本，但最终生成的图像却完全偏离了推理内容，图像中没有出现仓鸮，场景也不匹配。这种推理与生成之间的不对齐是当前ICGE任务面临的核心挑战。用户输入往往是复杂的交错图像-文本，可能包含1到5张参考图片，模型需要理解每张图片的作用、它们之间的关系，以及如何将这些视觉概念组合成符合用户意图的输出。

本文的目标是本文的目标是构建一个统一的框架，通过结构化推理引导对齐来弥合模型的理解能力与生成能力之间的鸿沟。具体来说，作者希望设计一种推理机制，能够明确地将语义指导与参考关联解耦，为图像生成提供清晰的文本目标；分析每个参考图像在多图像上下文中的角色，防止参考混淆；通过强化学习训练，确保推理内容与生成的图像保持对齐。

与已有工作不同的是，本文的独特切入点在于提出了In-Context Chain-of-Thought这一结构化推理范式。与BAGEL等模型使用的非结构化推理不同，IC-CoT将推理过程显式分解为两个互补的组件：语义指导和参考关联。前者预测最终图像的描述，将复杂的ICGE任务部分简化为文本到图像生成；后者明确指定每个参考图像在生成目标图像中的作用，其数量与提供的参考图像数量相匹配。这种结构化的表示方式不仅提供了清晰的语义和参考线索，降低了训练和推理开销，还使得后续的对齐阶段能够有效提取关键元素用于桥接推理和生成。

核心方法

Re-Align是一个两阶段的训练框架。第一阶段是监督微调，让模型学会基于IC-CoT推理生成图像。给定图像-文本交错提示P包含多张参考图片和文本指令，模型首先生成结构化推理文本R，然后基于推理文本和原始提示生成图像I。推理token的训练目标是标准语言建模，损失函数为对i求和log p_theta的ri给定P和r小于i。图像生成的训练目标是Rectified Flow的速度预测，损失函数为对t、x0从p0采样、x1从p1采样的期望，计算v减去v_theta的xt、t、P、R的L2范数平方。第二阶段是推理-生成对齐，使用GRPO通过替代奖励来增强推理与生成的一致性。

核心创新点有三个：第一，IC-CoT的结构化设计提供明确的生成目标，这是与非结构化推理的本质区别；第二，替代奖励设计不是为每个ICGE子任务构建专门的奖励模型，而是利用结构化IC-CoT的格式，提取预测的caption c，计算它与生成图像x之间的CLIP相似度作为奖励信号，公式为E的x的转置乘以T的c，除以E的x的L2范数乘以T的c的L2范数，间接提升模型在所有ICGE任务上的表现；第三，推理诱导多样性策略针对ICGE任务中参考图像带来的强约束导致样本多样性降低、奖励方差变小的问题，通过为组内每个样本生成不同的IC-CoT推理链，引入多样化的推理轨迹来自然地差异化输出，从而以可控方式增加奖励方差，提供更多学习信号。

方法步骤详情

完整流程分为数据构造和模型训练两个部分。数据构造包含6步：参考图像准备从源图像池覆盖人物、物体、场景，根据任务类型采样多个参考图像；自适应指令生成使用Gemini 2.5根据参考图像生成可执行的指令，鼓励关注次要视觉细节以增加复杂度；推理文本生成使用MLLM生成结构化IC-CoT注意不提供目标图像以避免引入额外视觉输入；目标图像生成使用GPT-4o根据参考图像和指令合成目标图像；数据过滤计算推理caption与目标图像的图像-文本相似度、评估视觉质量美学和人类偏好指标、评估指令遵循和语义一致性，低于阈值的数据被丢弃，最终得到410K高质量样本；任务分布涵盖8种任务类型3种生成加5种编辑。模型训练分两阶段：SFT阶段在64张NVIDIA H20 GPU上训练100000步，学习率为5乘以10的负6次方；RGA阶段训练200步，组大小32，学习率为1乘以10的负6次方，默认生成1024乘以1024分辨率图像，使用50步去噪。

技术新颖性

技术新颖性体现在多个方面：首先，这是首次将结构化的In-Context Chain-of-Thought应用于ICGE任务，与Mint等将CoT用于文本条件生成的工作不同，IC-CoT专门针对多参考图像的挑战设计；其次，替代奖励的设计巧妙地利用了IC-CoT的结构化特性，避免了为复杂的ICGE任务构建专门奖励模型的高昂成本；第三，推理诱导多样性策略是针对ICGE任务特性的创新设计，通过多样化推理而非增加噪声来提升样本多样性，避免了过度的噪声对图像质量的负面影响；第四，构建了专门针对ICGE任务的410K规模数据集，覆盖了从单主体到场景、从添加到替换的全谱系编辑任务。

**Figure 1**: Our proposed Re-Align supports image synthesis conditioned on flexible image-text interleaved prompts

**Figure 3**: The two-stage training pipeline of Re-Align

**Figure 4**: The data construction pipeline of Re-Align-410K and its task distribution

实验结果

在OmniContext基准上的实验表明，Re-Align在平均得分上达到8.21，超过了所有可比规模和计算资源的方法。在SINGLE任务上，Re-Align仅次于Qwen-Image-Edit得分为8.21对比7.69，但在MULTIPLE和SCENE任务上取得了最佳表现，这验证了本文方法在处理多参考图像场景上的优势。在DreamOmni2Bench上，编辑任务包含Add、Replace、Global、Local四种子任务，Re-Align在所有子任务的Overall得分都显著领先：Add任务9.27，第二名Echo-4o为8.51；Replace任务8.61，第二名DreamOmni2为7.05；Global任务7.85，第二名DreamOmni2为7.76；Local任务6.35，第二名DreamOmni2为5.44。生成任务Overall得分7.24，同样领先其他方法。消融实验显示，仅SFT就带来了显著提升，Overall从5.80提升到6.77；加入RGA后CLIPout从33.32提升到33.50但PF提升有限，这表明低样本多样性对RL训练不利；加入RID策略后Overall进一步提升到6.89，验证了多样性策略的重要性。参考图像数量的影响实验表明，Re-Align在1到4张参考图像的各种配置下都能保持稳健的性能。

**Table 2**: Quantitative comparison results on OmniContext

**Table 3**: Quantitative comparison results on DreamOmni2Bench

**Table 5**: Ablation studies on the training stages and strategies

**Figure 5**: Qualitative comparisons of proposed Re-Align with baselines on in-context image generation and editing tasks

**Figure 7**: GSB evaluation results from the ablation study on the reasoning mechanism

**Figure 8**: Ablation visualization of reasoning–generation alignment with reasoning-induced diversity (RGA+RID)

查看结构化数据

任务	指标	本文	基线	提升
OmniContext-单角色	Overall得分	8.25	BAGEL: 5.48; OmniGen2: 8.05; Qwen-Image-Edit: 8.35; DreamOmni2: 7.36	比BAGEL提升50.5%
OmniContext-多角色	Overall得分	8.25	BAGEL: 5.17; OmniGen2: 7.11; Qwen-Image-Edit: 7.65; DreamOmni2: 6.10	比BAGEL提升59.6%
OmniContext-场景	Overall得分	8.21	BAGEL: 4.07; OmniGen2: 6.38; Qwen-Image-Edit: 5.16; DreamOmni2: 5.20	比BAGEL提升101.7%
DreamOmni2Bench-编辑Add	Overall得分	9.27	BAGEL: 4.58; OmniGen2: 7.52; Echo-4o: 8.51; DreamOmni2: 6.87	比BAGEL提升102.4%
DreamOmni2Bench-编辑Replace	Overall得分	8.61	BAGEL: 1.37; OmniGen2: 5.60; Echo-4o: 4.51; DreamOmni2: 7.05	比BAGEL提升528.5%
DreamOmni2Bench-编辑Global	Overall得分	7.85	BAGEL: 2.46; OmniGen2: 6.88; Echo-4o: 5.16; DreamOmni2: 7.76	比BAGEL提升219.1%
DreamOmni2Bench-编辑Local	Overall得分	6.35	BAGEL: 1.63; OmniGen2: 2.99; Echo-4o: 2.41; DreamOmni2: 5.44	比BAGEL提升289.6%

局限与改进

作者在论文中承认的局限性包括：模型规模和数据规模与GPT-4o等生产级工作相比仍然有限，这可能会约束模型在多样化场景中的性能；当前IC-CoT纯粹在文本层面操作，未来可以扩展到视觉CoT推理。从实验中观察到的失败案例显示，在处理复杂的动作语义如come here时，模型偶尔会生成错误的推理文本；对于没有专门训练的编辑任务如基于参考文本风格或对象颜色方案的编辑，模型虽然表现出语义理解能力，但生成的图像参考一致性较低。另外，Re-Align-410K数据集虽然覆盖了8种任务类型，但可能仍不足以覆盖所有长尾的ICGE场景。

独立分析的弱点

独立分析的弱点包括：替代奖励仅依赖CLIP Score，虽然高效但可能无法捕捉到细粒度的语义对齐，例如模型可能生成一张CLIP得分高的图像，但缺失了用户指令中强调的某个特定细节；推理诱导多样性策略虽然增加了奖励方差，但组内不同推理链的质量差异可能引入噪声，影响训练稳定性；IC-CoT仍然基于文本生成，对于高度视觉化或难以用语言准确描述的概念如复杂的纹理、微妙的表情，可能无法充分传达语义信息；数据构造依赖GPT-4o生成目标图像，虽然质量较高但可能引入GPT-4o的某些偏见或风格倾向；模型没有显式的机制来处理参考图像之间的冲突或不一致场景，这可能导致生成结果的模糊或混合。改进方向可以是引入多模态奖励模型如结合VQA评估、对推理链进行质量筛选、探索视觉文本混合的CoT表示、增加冲突场景的训练样本。

未来方向

作者提出的未来工作方向包括扩展IC-CoT到视觉Chain-of-Thought推理，让推理过程不仅包含文本描述，还可能包含视觉标注或注意力图。基于本文成果可延伸的方向包括：探索其他替代奖励设计，如使用MLLM直接评估推理生成一致性；将IC-CoT框架扩展到视频生成和编辑任务；研究更精细的参考关联表示，例如显式建模空间关系或层次关系；探索将IC-CoT与交互式生成结合，允许用户在推理过程中提供反馈；在更大规模模型和数据上验证IC-CoT的有效性，看是否存在性能天花板；研究IC-CoT的可解释性，分析不同推理组件对最终生成结果的影响。

复现评估

论文提供了项目页面链接https://hrz2000.github.io/realign，但未在正文中明确说明是否开源代码和模型。数据构造流程描述较为详细，包括使用的模型Gemini 2.5、GPT-4o、过滤阈值等，但未提供原始数据或处理后的Re-Align-410K数据集下载。训练细节相对完整：SFT阶段64张NVIDIA H20 GPU训练100000步，学习率为5乘以10的负6次方；RGA阶段组大小32，学习率为1乘以10的负6次方，训练200步。实验使用的两个基准OmniContext和DreamOmni2Bench都是公开的，评估指标和基线模型都有明确引用。但缺少超参数消融如学习率、组大小、过滤阈值等的计算资源需求估算。总体而言，复现难度中等偏高，主要障碍在于缺少公开的训练数据和模型权重，以及依赖闭源模型GPT-4o、Gemini 2.5进行数据构造。

基于结构化推理引导对齐的上下文感知图像生成与编辑 Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing