MACRO：用结构化长上下文数据推进多参考图像生成 MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data
提出大规模多参考图像生成数据集和基准，解决现有模型在长上下文场景下的性能退化问题
前置知识
上下文学习 (In-Context Learning)
一种机器学习范式，模型通过接收输入示例（如文本描述和参考图像）作为上下文，直接生成符合这些条件的输出，无需显式的任务特定微调。在图像生成领域，模型根据交错的文本和视觉参考直接合成图像。
本文的核心研究对象，论文要解决的就是在上下文学习范式下，当参考图像数量增加时模型性能下降的问题
多参考图像生成 (Multi-Reference Image Generation)
图像生成任务的一种形式，模型需要同时处理多个参考图像作为输入条件，理解它们之间的复杂关系（如时间动态、空间一致性、身份保持等），并生成一个连贯的输出图像。这比单参考或少量参考的生成任务更具挑战性。
论文的核心研究问题，现有模型在这个场景下表现不佳，需要专门的数据集和评估方法
扩散模型 (Diffusion Models)
一类强大的生成模型，通过逐步去噪过程从随机噪声生成高质量图像。它们通过学习数据分布的反向扩散过程来工作，是当前最先进的图像生成技术之一。论文中微调的模型如Bagel、OmniGen2等都基于扩散架构。
论文实验中使用的基线模型架构，理解扩散模型有助于理解论文的技术贡献
长上下文 (Long Context)
指模型能够处理的输入序列长度，在多参考图像生成中特指能够处理大量参考图像的能力。当参考图像数量增加时，模型需要处理的视觉token序列长度线性增长，带来计算效率和信息整合的挑战。
论文要解决的核心技术挑战，现有模型在参考图像超过3-5个时性能严重退化
数据集构建 (Dataset Construction)
创建高质量训练数据集的过程，包括数据收集、预处理、质量过滤、标注等步骤。在多参考图像生成领域，构建包含多个参考图像且具有明确关系的数据集是一个重大挑战。
论文的主要贡献之一，提出了系统化的数据集构建方法论
研究动机
现有图像生成模型在处理多参考图像时面临严重的性能退化问题。具体来说，即使是能力最强的开源模型如OmniGen2也被限制为最多只能处理5个输入图像，而Bagel虽然理论上设计为可以接受无限输入，但在超过3个参考图像后表现出严重的性能下降。例如，Bagel在Customization任务中，当输入图像从1-3个增加到4-5个时，性能从6.78分骤降到3.96分，再到6-7个图像时进一步下降到2.87分。这种性能退化的根本原因在于数据瓶颈：现有数据集主要由单参考或少量参考对组成，缺乏结构化、长上下文的监督数据。例如，OpenSubject和Echo4o等数据集很少包含超过5个参考图像的样本，这严重阻碍了模型学习密集的跨参考依赖关系的能力。
本文的目标是本文的具体目标是创建一个大规模、高质量的多参考图像生成数据集MacroData，包含400K样本，每个样本最多支持10个参考图像。该数据集要系统性地覆盖多参考生成的四个关键维度：定制化（Customization）、插图生成（Illustration）、空间推理（Spatial）和时序预测（Temporal），以全面促进跨参考依赖关系的学习。同时，论文还旨在建立一个标准化的评估基准MacroBench，包含4000个样本，用于在不同任务维度和输入规模下评估生成连贯性，填补该领域缺乏标准化评估的空白。
与已有工作不同的是，本文的独特切入角度是从数据稀缺性而非模型架构入手来解决多参考图像生成问题。与以往专注于改进模型架构（如设计新的注意力机制或生成范式）的方法不同，论文认为问题的根源在于缺乏结构化的长上下文训练数据。现有数据集存在双重局限：1) 任务覆盖范围狭窄，主要集中在定制化和编辑任务；2) 输入规模有限，很少包含超过3-5个参考图像。论文通过构建一个系统性的数据集构建流程，从真实世界语料中提取和筛选高质量样本，而不是依赖嘈杂的网络爬取数据，从而提供了学习复杂跨参考关系所需的训练信号。
核心方法
论文提出了一种以数据为中心的方法来解决多参考图像生成问题。整体思路是：首先识别出现有模型性能退化的根本原因是数据稀缺，然后构建一个大规模、多样化的数据集MacroData来填补这一空白。技术路线包括三个关键步骤：1) 设计系统化的数据集构建流程，针对四个不同任务维度（定制化、插图、空间、时序）分别设计专门的数据收集和预处理管道；2) 建立标准化的评估基准MacroBench，采用LLM-as-Judge范式进行严格评估；3) 通过广泛的实验验证数据集的有效性，并探索处理长上下文的优化策略。
本文的核心创新点在于系统性地构建了一个结构化的长上下文多参考图像生成数据集，这与以往只关注单一任务或少量参考的数据集有本质区别。具体创新包括：1) 任务多样性设计 - 数据集覆盖四个互补的维度，每个维度100K样本，确保模型能够学习不同类型的跨参考关系；2) 长上下文覆盖 - 平均每个样本5.44个输入图像，最多支持10个，远超现有数据集；3) 高质量数据构建流程 - 使用先进的闭源模型进行知识蒸馏和质量过滤，而非依赖嘈杂的网络数据；4) 标准化评估协议 - 建立了覆盖所有任务维度和输入规模的基准测试。
方法步骤详情
论文的方法分为数据集构建和评估基准两个主要部分。数据集构建包括四个任务特定的管道：1) Customization子集：从OpenSubject、MVImgNet等来源收集元数据，使用LLMs评估组合合理性，通过VLMs进行双向一致性评估，最终生成100K样本；2) Illustration子集：从OmniCorpus-CC-210M中识别语义相关的锚点图像，使用VLMs重写和过滤上下文，确保叙事连贯性；3) Spatial子集：从G-buffer Objaverse和全景数据集构建外向物体和内向场景，定义10个规范视图方向，确保视觉重叠；4) Temporal子集：从视频中提取关键帧，使用DINOv2进行场景边界检测，生成描述性摘要和质量分数。评估基准MacroBench包含4000个样本，采用Gemini-3-Flash作为评判模型，设计任务特定的评估指标。
技术新颖性
论文的技术新颖性体现在多个层面：1) 数据集规模和多样性 - MacroData包含400K样本，远超现有数据集，且系统覆盖四个关键维度；2) 长上下文支持 - 平均5.44个输入图像，最多10个，解决了现有数据集只支持少量参考的局限；3) 系统化的构建流程 - 针对每个任务设计专门的管道，结合规则采样和VLM推理；4) 标准化评估 - 建立了覆盖所有维度和规模的基准测试，采用几何平均聚合指标；5) 任务协同效应发现 - 实验证明跨任务共同训练带来协同效益。
实验结果
论文通过广泛的实验验证了MacroData的有效性。在MacroBench基准上，微调后的模型显著优于所有开源基线。具体来说，微调后的Bagel达到5.71分的平均得分，仅次于闭源模型Nano Banana Pro和GPT-Image-1.5，在Customization任务上接近Nano Banana Pro，在Spatial任务上甚至超越它。当输入图像从1-5个增加到6-10个时，MacroData训练的模型表现出更好的鲁棒性，例如微调后的Qwen在Customization任务中从5.49分下降到3.62分，而基线模型下降更剧烈。在OmniContext基准上，MacroData尽管针对更广泛的多参考设置，仍取得了强大性能，达到8.26分，超越了专门为OmniContext设计的Echo4o数据集（8.09分）。消融研究揭示了跨任务共同训练的协同效益，以及数据比例对渐进和非渐进任务的不同影响。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多参考图像生成 | MacroBench平均分 | 5.71 (Bagel) | 3.03 (Bagel基线) | +88.5% |
| 定制化任务 | Customization得分 | 8.02 (Bagel) | 3.95 (Bagel基线) | +103% |
| 空间推理任务 | Spatial得分 | 3.40 (Bagel) | 0.60 (Bagel基线) | +467% |
| OmniContext基准 | 平均得分 | 8.26 (Bagel定制化) | 8.09 (Echo4o) | +2.1% |
局限与改进
论文承认了几个主要局限性：1) 性能退化问题 - 尽管MacroData显著提升了性能，但模型在处理6-10个输入图像时仍然表现出性能退化，表明处理高度复杂的长上下文视觉依赖关系仍然是一个挑战；2) 评估基准的局限性 - MacroBench虽然重要但仍处于初步阶段，覆盖的任务范围相对有限，需要更全面、更通用的评估框架；3) 与闭源模型的差距 - 微调后的模型与最先进的闭源模型之间仍存在明显差距，需要在数据扩展和模型架构方面进行进一步探索。从技术细节看，失败案例显示模型在上下文保留、上下文一致性、文本渲染、3D空间推理和细粒度感知等方面存在不足。
独立分析的弱点
基于论文的分析和我的观察，有几个值得关注的弱点：1) 计算效率问题 - 随着输入图像数量增加，token序列长度线性增长，带来计算开销，论文探索了token选择策略但仍有优化空间；2) 数据构建成本 - 使用闭源模型进行知识蒸馏和质量过滤成本高昂，且可能引入闭源模型的偏见；3) 评估指标的局限性 - 使用LLM-as-Judge可能存在评估偏差，尽管论文验证了Gemini-3-Flash与人类判断的一致性，但仍不够完善；4) 任务覆盖范围 - 虽然覆盖了四个维度，但仍有更多类型的多参考场景未被纳入，如风格迁移、图像编辑等。改进方向包括：设计更高效的注意力机制、开发更经济的数据构建方法、建立更全面的评估框架。
未来方向
论文提出了几个明确的未来研究方向：1) 扩展MacroData以涵盖更广泛、更通用的多图像场景，通过扩展数据集包含更多参考图像来进一步提高输入容量上限；2) 完善MacroBench为更细粒度的评估框架，探索整合详细的评分方法论，如基于清单的评估；3) 探索使模型能够更有效地利用密集多图像信息的先进方法，包括设计专门针对上下文生成优化的token表示和注意力机制。基于论文成果，还可以延伸到：研究更高效的数据构建方法、开发专门针对长上下文的模型架构、探索多模态融合的新范式。
复现评估
论文在可复现性方面做出了良好努力：1) 代码和数据承诺公开 - 论文明确表示数据集和基准将公开发布；2) 详细的构建流程 - 提供了完整的数据集构建管道描述，包括具体的数据来源、预处理步骤、过滤标准；3) 透明的评估方法 - 详细说明了评估指标、计算方式和评判模型选择；4) 实验细节充分 - 提供了完整的训练超参数、评估设置和基线比较。复现需要：32个H800 GPU（4节点）用于微调，闭源模型API访问用于数据构建，以及遵循论文描述的数据筛选流程。整体复现难度中等，主要挑战在于数据构建的规模和成本。
论文图表
展示了MacroData数据集的四个任务维度：(a)定制化 - 基于多个参考图像的组合生成；(b)插图 - 基于多模态上下文的插图生成；(c)空间 - 给定多视图的视图预测；(d)时序 - 基于历史序列的未来帧预测。每个任务包含100K样本，按输入图像数量分为1-3、4-5、6-7和8-10四组。
这张图直观展示了论文的核心贡献 - MacroData数据集的整体架构和任务设计，帮助读者快速理解数据集的多样性和系统性。
包含四个子图：(a)定制化子任务中输入图像数量分布，平均5.84张；(b)所有任务的输入图像数量分布，平均5.44张；(c)不同数据集的比较；(d)每个任务的数据组成分布。展示了MacroData在长上下文覆盖方面的优势。
这张图提供了数据集的量化分析，直观展示了MacroData在输入规模和任务分布上的特点，验证了其作为长上下文数据集的独特价值。
展示了插图数据子集的构建流程：从网络爬取的图文交错数据中识别语义相关的锚点图像，使用VLMs重写和过滤上下文，确保叙事连贯性。
展示了如何从嘈杂的网络数据中提取高质量的插图生成训练样本。
展示了不同输入图像数量分布比例对定制化和时序任务性能的影响。上采样大输入样本显著提升高输入性能，且不影响低输入性能。
揭示了数据比例对渐进和非渐进任务的不同影响，为数据集构建提供实践指导。
展示了数据集规模（1K、5K、10K、20K样本）对定制化任务性能的影响。性能随数据量持续提升，1K到10K之间增益最明显。
展示了数据规模与性能的关系，为确定数据集规模提供依据。
展示了不同文本到图像数据比例（0%、10%、20%、40%）对多参考生成和标准T2I生成性能的影响。10%比例在保持多参考性能的同时显著提升T2I能力。
揭示了多参考生成与标准T2I生成之间的权衡关系。
展示了三种token选择策略：(a)块级选择；(b)图像级选择；(c)文本对齐选择。每种策略有不同的选择机制和效果。
展示了处理长上下文的优化策略，为提高计算效率提供技术方案。
展示了两种辅助方法：(a)生成前思考策略；(b)拼贴作为代理的策略。这两种方法在实验中表现不如基线。
展示了探索性的优化方法及其局限性。
展示了模型在不同任务上的失败案例：定制化中的参考数量问题、插图中的长上下文信息收集问题、空间中的方向错误、时序中的不一致性。
诚实展示模型的局限性，为未来改进提供方向。
展示了用于评估定制化任务的LLM提示，包括评分标准和评估流程。
提供了评估方法的详细信息。
展示了用于评估插图任务的LLM提示。
提供了评估方法的详细信息。
展示了用于评估空间任务的LLM提示。
提供了评估方法的详细信息。
展示了用于评估时序任务的LLM提示。
提供了评估方法的详细信息。