DataEvolver：用于文本丰富图像生成的自进化多智能体数据构建框架

将拒绝样本转化为反馈，实现自适应迭代的多智能体文本图像数据构建

前置知识

文本丰富图像生成

文本丰富图像生成是指生成包含大量文字内容的图像任务，要求模型同时生成视觉上逼真的图像和可读的、语义对齐的、布局一致的文本。这比普通文本到图像生成更具挑战性，因为需要同时处理视觉渲染质量和文字识别质量。该任务的核心难点在于保证文字的清晰度、位置准确性和语义相关性。

本文提出的DataEvolver框架专门针对文本丰富图像生成领域构建训练数据，理解该任务的特殊性（需要同时保证视觉保真度、文字可读性、语义对齐和布局一致性）是理解框架设计动机的基础。

构建策略 πt = (Qt, Pt, Et)

构建策略是DataEvolver框架的核心概念，它是一个三元组：Qt 表示检索策略，定义了如何生成检索查询；Pt 表示生成提示策略，控制合成样本的生成方向；Et 表示经验库，存储来自前几轮的高价值反馈和策略轨迹。在第 t 轮构建中，系统在策略 πt 的指导下执行，并根据反馈更新到 πt+1。

这个策略三元组代表了DataEvolver的创新点：将数据构建视为策略演化而非静态过滤过程。理解策略的组成和迭代更新机制是掌握框架工作原理的关键。

多维度反馈信号 st = (ρt, Ōt, C̄t, Īt, Rt)

反馈信号是每轮构建结果的综合表示，包含五个维度：ρt 是通过率，反映整体质量；Ōt 是平均OCR质量；C̄t 是平均语义一致性得分；Īt 是平均图像质量得分；Rt 是拒绝原因向量，记录主要失败类型的分布（如模糊、OCR失败、语义不匹配、布局损坏）。这些信号既衡量当前策略的有效性，也为后续更新提供细粒度信息。

反馈信号是连接验证器和评论器的桥梁，也是迭代策略改进的依据。理解反馈信号的结构和含义，有助于理解DataEvolver如何将数值化的验证结果转化为可操作的语义反馈。

覆盖率 Gt(u, v) = |{i ∈ It^pass : topic(i) = u, subtopic(i) = v}|

覆盖率是用于衡量数据集对目标领域覆盖程度的指标，对于给定的主题 u 和子主题 v，覆盖率等于当前通过集中属于该主题子主题对的样本数量。系统会计算每个主题-子主题对的覆盖率，将显著低于分布平均值或低于预设最小覆盖数量的区域标记为代表性不足。生成器专门针对这些低覆盖率区域合成候选样本。

覆盖率是Generator组件工作的核心依据，理解覆盖率计算和低覆盖率区域识别机制，有助于理解DataEvolver如何通过有针对性的合成来填补数据分布的结构性空隙，从而提高数据集的多样性和完整性。

研究动机

现有的文本丰富图像数据构建管道普遍采用静态的爬取-过滤-冻结范式，即收集候选样本、应用固定的过滤规则，然后将接受的数据冻结为训练集。这种范式在有效的大规模收集的同时，丢弃了有用的构建时反馈。被拒绝的样本可以揭示不可靠的检索查询、覆盖不足的语义区域、低质量的检索模式以及重复出现的生成或识别失败。然而这些信号通常仅被视为过滤结果，而非用于改进后续构建轮次的指导。在TextScenesHQ和LongTextBench等评估基准上，使用MARIO-10M和AnyWord-3M等固定数据集训练的模型，其OCR-F1分数往往受到数据质量和覆盖率的限制，特别是在复杂布局和长文本场景下表现不佳。

本文的目标是本文提出DataEvolver框架，目标是将文本丰富图像数据构建重构为构建策略演化过程，将被拒绝的样本和失败案例视为改进构建过程的可复用反馈，而非丢弃的过滤副产品。具体而言，DataEvolver旨在通过Retriever、Verifier、Critic和Generator四个协作智能体形成的闭环，将构建反馈转化为可重用的指导，用于后续构建轮次，从而在匹配数据预算下产生比固定数据集基线更有用的训练数据，在TextScenesHQ和LongTextBench等基准上提升OCR导向的指标，同时保持竞争性的语义对齐和视觉质量。

与已有工作不同的是，本文的独特切入角度是将失败案例视为实用的诊断证据，而非不可用的过滤副产品。与AgentInstruct、MMInstruct、Oasis等主要将反馈用于过滤或质量控制的多模态数据构建方法不同，DataEvolver将反馈应用于改进构建策略本身。与RLHF、PPO、DPO、Constitutional AI、RLAIF等应用于模型输出、推理轨迹或任务策略改进的反馈驱动自我改进方法不同，DataEvolver将反馈驱动改进应用于数据构建，将被拒绝的样本转化为用于后续构建轮次的语义策略反馈。这种从静态管道到自适应过程的范式转换，是本文与其他工作的核心区别。

核心方法

DataEvolver框架的整体思路是将数据构建视为反馈驱动的构建策略演化过程，而非一次性爬取过滤流程。框架通过四个协作智能体形成闭环：Retriever从主题需求构建候选图像池，Verifier评估候选并生成通过集和拒绝原因，Critic将轮级反馈汇总为语义反馈，Generator通过有针对性的合成填补覆盖不足区域。直觉上，这就像一个持续改进的质量控制系统：每次构建不仅产生数据，还产生关于如何更好构建数据的反馈。技术路线上，系统采用自然语言策略空间的政策更新，通过LLM将数值化验证反馈转化为可操作的查询多样化和提示精炼指导，同时维护经验库以存储高价值反馈和有效查询模式。

DataEvolver的核心创新点是将构建时失败转化为语义反馈用于后续策略更新，这与静态crawl–filter–freeze范式本质不同。传统方法将被拒绝的样本视为无用的过滤副产品，直接丢弃；而DataEvolver将被拒绝的样本视为实用的诊断证据，其中包含OCR错误、语义不匹配等有用失败信号。例如，当一个构建轮次中重复产生近重复样本时，Critic会将这种失败模式总结为语义反馈，指导下一轮的查询多样化，从而将去重失败从278个减少到148个。另一个关键创新是将策略演化而非梯度优化作为改进机制：策略 πt+1 = Compose(πt, Ft, Et) 通过自然语言反馈 Ft 和经验库 Et 修正，而非更新模型参数。这种设计使构建策略能够在不需要重新训练的情况下适应性地调整检索查询和生成提示。

方法步骤详情

DataEvolver的完整步骤包含四个阶段，每个阶段有明确的输入输出和具体操作。第一阶段是Retriever将主题需求转化为候选图像池，输入为主题需求，在策略条件下的查询空间中操作，生成结构化查询模板并从外部源收集候选图像，每个样本关联主题、子主题、查询模板和源信息等元数据，输出为感知主题的候选池。第二阶段是Verifier将候选转化为通过集和反馈，输入为候选池，应用OCR提取文本信号，使用感知哈希去除近重复样本，评估感知图像质量、文本识别质量和语义一致性，只有满足预定验证准则的样本被接纳到通过集，同时输出包含通过率、平均OCR质量、平均语义一致性、平均图像质量和拒绝原因向量的反馈信号 st。第三阶段是Critic将反馈转化为策略更新，输入为当前轮次反馈信号、前一轮反馈信号和经验库，使用LLM将轮级统计数据和拒绝模式转化为可操作的检索指导和提示级修订信号，输出为用于查询多样化、提示精炼和经验库更新的语义反馈。第四阶段是Generator将覆盖间隙转化为合成补全，输入为验证后的通过集，计算每个主题-子主题对的覆盖率 Gt(u, v)，将显著低于分布平均值或低于预设最小覆盖数量的区域标记为代表性不足，初始化生成提示并使用Qwen-Image合成候选样本，生成的样本通过相同的固定验证管道后才能被接纳到数据集。

技术新颖性

DataEvolver的技术新颖性体现在多个层面。在架构层面，它首次在文本丰富图像数据构建中引入了完全闭环的多智能体框架，四个智能体形成Retriever→Verifier→Critic→Generator的迭代循环，每个智能体专注于特定子任务并通过明确的接口协作。在反馈机制层面，它将数值化的验证反馈通过LLM转化为自然语言策略反馈，实现了从验证空间到策略空间的语义映射，这种设计避免了梯度优化的复杂性，同时提供了可解释的政策更新理由。在覆盖管理层面，它引入了显式的覆盖间隙检测和有针对性合成机制，通过计算每个主题-子主题对的覆盖率并专门生成低覆盖率区域的样本，主动填补数据分布的结构性空隙。在经验管理层面，它维护经验库以存储高价值反馈和有效查询模式，通过保留有用的反馈条目并合并近重复观察，支持后续检索规划重用相关经验而不累积冗余记忆。这些创新共同构成了一个自适应、可解释、可扩展的数据构建系统。

**Figure 2**: Illustration of the DataEvolver framework

**Figure 3**: Example of Critic-guided policy update

实验结果

在TextScenesHQ和LongTextBench基准上的实验表明，DataEvolver在匹配数据预算下产生比固定数据集基线更有用的训练数据。在PixArt-α的0.75M规模上，DataEvolver在TextScenesHQ上的OCR-F1从最强基线的4.56提升到8.45，提升了85.3%；在LongTextBench上的OCR-F1从6.71提升到9.08，提升了35.3%。在Show-o2上，DataEvolver也获得了最强的OCR导向性能，在TextScenesHQ上的F1从0.19提升到0.45，在LongTextBench上的F1从0.27提升到0.44，这表明DataEvolver的优势不绑定到单一下游生成器。消融实验表明，Critic和Generator是闭环构建过程的必要组件：在0.1M规模的PixArt-α上，完整框架在TextScenesHQ的OCR-F1为1.78，去除Critic后降至1.01，去除Generator后降至1.40；在LongTextBench上，完整框架为2.16，去除Critic后降至0.90，去除Generator后降至1.37。构建时统计数据显示，完整框架在0.1M规模上达到了最高的通过率（0.671）、OCR置信度（0.938）和主题覆盖率（0.961）。Critic骨干的敏感性分析表明，使用Qwen3.5-35B作为Critic在TextScenesHQ的10k规模上将OCR准确率从0.41提升到0.66，OCR-F1从0.75提升到1.14。缩放趋势分析显示，DataEvolver在所有完成的数据规模上始终优于两个固定基线，在PixArt-α上，随着预算从0.1M增加到0.75M，在TextScenesHQ上从1.78提升到4.17、6.67和8.45，在LongTextBench上从2.16提升到4.04、8.35和9.08。语义多样性分析显示，DataEvolver在0.5M规模上实现了最高的类别覆盖率（96.97%）和尾部覆盖率（2.45%），这表明反馈驱动的构建过程有助于恢复更广泛的文本丰富图像场景并在相同数据预算下提高长尾类别的包含。

**Table 1**: Main results on TextScenesHQ and LongTextBench under the 0.75M matched data budget

**Table 2**: Module ablation on PixArt-α at the 0.1M scale

**Table 3**: Construction-time statistics at the 0.1M scale

**Table 4**: Sensitivity to the Critic backbone on TextScenesHQ at the 10k scale

**Table 5**: Scaling trend of F1 under matched data budgets

**Table 6**: Coverage-oriented semantic diversity statistics at the 0.5M scale

**Figure 4**: Qualitative comparison of downstream generations

**Figure 5**: Construction-time OCR confidence with and without the Critic

**Figure 6**: Stage-level rejection composition over construction rounds

查看结构化数据

任务	指标	本文	基线	提升
TextScenesHQ on PixArt-α	OCR-F1	8.45	4.56 (MARIO)	↑85.3%
LongTextBench on PixArt-α	OCR-F1	9.08	6.71 (MARIO)	↑35.3%
TextScenesHQ on Show-o2	OCR-F1	0.45	0.19 (MARIO)	↑136.8%
LongTextBench on Show-o2	OCR-F1	0.44	0.27 (MARIO)	↑63.0%

局限与改进

作者在论文中承认了几个局限性：缩放结果最好解释为趋势而非严格的缩放定律，因为正式缩放定律分析需要更多数据点和重复运行；框架依赖于Verifier的可靠性，因此有噪光学字符识别、语义评分或图像质量估计可能会影响后续策略更新；论文专注于文本丰富图像生成，将相同的反馈驱动构建范式扩展到更广泛的多模态领域是未来工作的重要方向。此外，作者没有明确讨论数据集构建的端到端时间和资源成本，在多轮迭代中累积的反馈噪声可能会影响策略更新质量，框架可能对初始检索查询的质量敏感，如果初始查询策略过于偏差，需要更多轮次才能收敛到有效的策略。

独立分析的弱点

独立分析的弱点包括：首先，框架对Verifier的可靠性存在依赖，有噪OCR识别（特别是在手写文本、艺术字体或低分辨率图像上）可能会产生误导性的失败原因，影响Critic的反馈质量和后续策略更新。改进方向是引入多模型OCR集成或人工校准机制来提高失败原因归因的准确性。其次，经验库的管理策略缺乏详细讨论，随着迭代进行，如何避免过时反馈误导新策略、如何动态调整反馈权重是需要解决的问题，改进方向是引入时间衰减机制或反馈质量评分系统。第三，有针对性合成依赖于生成模型的质量，如果生成模型本身在特定文本布局或字体上存在系统偏差，这些偏差可能会通过验证器反馈传播到经验库中，形成反馈循环，改进方向是引入多样性约束或对抗性验证来打破这种循环。第四，框架未考虑跨主题的语义重叠和冲突，如果两个主题共享某些视觉模式但在语义上需要区分，当前的覆盖机制可能无法正确处理这种复杂性，改进方向是引入主题间相关性建模和约束生成。最后，当前反馈信号是聚合级别的，缺乏样本级别的细粒度反馈，这限制了策略更新的精确度，改进方向是开发样本级别的反馈聚合和重要性加权机制。

未来方向

作者提出的未来工作方向是将反馈驱动构建范式扩展到更广泛的多模态领域，这包括视频、音频、3D内容等模态。基于成果可延伸的方向包括：将DataEvolver应用于其他需要高质量数据的生成任务，如文本到3D生成、多模态对话系统或跨模态检索；探索更复杂的策略优化机制，如将自然语言策略更新与基于梯度的元学习结合，实现更精细的策略调整；研究多源数据融合场景，将检索、合成和标注多个数据源统一到同一反馈驱动框架中；开发跨任务的知识迁移机制，使在一个领域学到的构建策略能够迁移到相关领域，减少冷启动成本；引入主动学习机制，使Verifier能够主动请求困难样本的人类标注，进一步提高反馈质量；探索与下游模型训练的联合优化，使数据构建和模型训练形成更大的反馈循环。此外，还可以研究框架在持续学习场景下的应用，使数据集能够随着新概念和新视觉模式的演进而动态更新。

复现评估

论文提供了项目页面（https://github.com/CSU-JPG/DataEvolver），这表明项目是开源的。数据构建实现使用了多个开源模型：查询生成和覆盖规划使用Mistral-7B，ExperienceLibrarian、SemanticFeedback和PromptPlanner智能体使用Qwen3.5-4B，有针对性的合成图像生成使用Qwen-Image，可选的标题/注释使用Qwen3-VL，OCR质量使用PaddleOCR，语义一致性使用CLIP ViT-B/32。然而，论文没有明确说明这些模型的具体版本、超参数配置或训练细节，下游模型PixArt-α和Show-o2的配置在附录A.2中提及但未在此处详述。评估基准TextScenesHQ和LongTextBench的获取和预处理细节也不清楚。从数据规模来看，0.75M的训练数据需要相当的计算资源，特别是考虑到多轮迭代和多个验证步骤，但论文没有提供硬件规格或训练时间。总体而言，虽然框架的主要组件有开源基础，但完整的实验复现可能需要大量资源和依赖细节。

DataEvolver：用于文本丰富图像生成的自进化多智能体数据构建框架 DataEvolver: Self-Evolving Multi-Agent Data Construction for Text-Rich Image Generation