APT：面向文本到图像生成的反馈驱动智能体后训练 APT: Feedback-Driven Agentic Post-Training for Text-to-Image Generation
三个智能体组成评估-诊断-生成闭环，让文生图模型自动生成适配自身弱点的RL训练数据
前置知识
后训练（Post-Training）
指在预训练完成后，用监督微调或强化学习等手段继续优化模型，使其对齐特定目标或纠正特定失败模式的过程。对扩散文生图模型，后训练常用 DDPO、Diffusion-DPO、Flow-GRPO、DiffusionNFT 等策略梯度类算法，以某种奖励信号（人工偏好、VQA 打分、rubric 判分等）直接优化生成质量与提示遵循能力。
APT 的全部贡献发生在后训练阶段：它不改动 RL 算法本身，而是自动化决定每一轮该用什么数据去训练。理解后训练流程与奖励优化范式，是读懂本文动机与方法的全部前提。
Prompt–Rubric 评估范式
为每条生成提示词配备一组针对该提示的评分细则（rubric），每条 rubric 是一个可独立判定的检查项，例如"验证画面中恰好有两只奶油色小狗"，由视觉语言模型逐条输出 0/1 判分，再取算术平均得到标量奖励。相比粗粒度的整体打分，rubric 能把失败精确定位到计数、空间关系、属性、文字渲染等具体能力维度上。
APT 的评估集、训练奖励、诊断报告三层全部建立在 prompt–rubric 对之上；正是这种细粒度二元判分，使"模型弱点可被自动发现并转化为训练目标"成为可能。
DiffusionNFT 与 GRPO
GRPO（组相对策略优化）对同一提示采样一组输出，以组内相对优势替代价值网络来计算策略梯度，广泛用于 LLM 与多模态 RL。DiffusionNFT 是面向扩散/流匹配模型的在线 RL 算法，在前向去噪过程上做"负感知微调"，无需估计似然即可同时利用正负样本更新。本文默认用 DiffusionNFT，在自回归模型 Janus-Pro 上换用 GRPO。
APT 是算法无关的外层框架，这两个算法是它内层更新算子 $U$ 的具体实现。区分"框架贡献"与"算法贡献"，需要知道内层用的是什么 RL 方法。
递归自我改进（RSI）
系统利用自身当前版本的评估结果来决定下一轮训练任务的自我改进循环：模型更新改变其能力分布，新的能力分布又改变训练课程，形成数据与模型共同演化的闭环。该思想源自 LLM 自我提升研究，如 Self-Taught Optimizer、R-Zero、Self-Adapting Language Models 等。
APT 的核心定位就是把 RSI 引入文生图后训练：论文的动机论述、耦合更新公式 $M_{t+1} = U(M_t, G(\mathrm{Diag}(M_t, B_t)))$ 以及迭代反馈消融实验，全部围绕这一概念展开。
LoRA 低秩适配
冻结预训练模型全部权重，只训练注入各层的低秩分解矩阵 $\Delta W = BA$（秩 $r$ 远小于维度 $d$），大幅降低显存占用与训练成本，同时保留原模型能力，是扩散模型微调与 RL 后训练的标准做法。
本文所有基座模型的 RL 后训练均通过 LoRA（rank 64，$\alpha=128$，学习率 3e-4）完成，这解释了为何多轮"评估-再训练"迭代的算力开销可以控制在可接受范围内。
文生图评测基准（GenEval / DPG / CVTG-2K 等）
GenEval 用检测器与分类器验证单对象、双对象、计数、颜色、位置、属性六类结构化约束（553 条提示）；GenEval2 用 800 条更强组合性提示与 Soft-TIFA 原子级问答评分；DPG 用 1065 条长提示测密集语义跟随；CVTG-2K 测多区域复杂文字渲染的词准确率；OneIG-EN 则从对齐、文字、推理、风格、多样性五个维度打分。
论文在五个基准上证明 APT 的"基准无关"性质，消融中还把自动评估集与 GenEval/OneIG-EN 的原始评估集做诊断来源对比，不了解各基准测什么就无法理解偏科现象。
研究动机
现有文生图后训练流程本质上是人肉驱动的：工程团队先人工发现模型弱点，再收集或合成对应训练数据，然后凭经验反复调整训练分布。论文指出两大痛点。其一是劳动密集、难以扩展——随着模型、基准和用户需求不断多样化（海报、自然场景、产品图、文字渲染等），人工策划的训练集无法覆盖所有失效模式，也无法跟上模型与需求的迭代速度。其二是训练分布与模型不匹配——不同基座模型的能力分布差异巨大，一个模型可能文本渲染很好但计数与空间关系很差，另一个恰恰相反；论文把每个基座模型 $M$ 形式化为在生成任务上诱导出自己的能力与失败分布 $p_M$，而现有方法完全没有建模这个分布，为模型 A 精心准备的数据集对模型 B 未必最优。论文用人工专家精心策划的 RL 训练集（来自 Lens 项目）作为对照基线：该基线在四个扩散模型上平均能带来约 9 到 11 分的归一化提升，但始终低于本文全自动生成的数据方案，说明即使是人类专家，也难以预判所有失效模式、难以精确刻画模型特定的输出分布。
本文的目标是本文的目标是把文生图后训练改造成一个完全自动化、模型自适应的闭环系统，让"当前模型应该训练什么"由模型自己的评估结果决定，而非由人工经验决定。具体拆解为四个可验证的性质：其一，基准无关——不需要为任何评测基准设计专用提示集，一次训练产出的模型直接在五个基准上评估且都能提升；其二，模型无关——同一套智能体工作流零修改地应用于 Lens、SD3.5-Medium、FLUX.1 [dev]、LongCat-Image 四个扩散基座，不做任何模型定制的提示集、奖励设计或超参搜索；其三，架构无关——同时适用于扩散模型和自回归模型（Janus-Pro）；其四，完全自动化——评估结果直接驱动下一轮训练提示的生成，无需人工检查失败案例、设计训练分布或策划模型专属数据。此外，在用户未指定评估场景的通用设置下，框架还需能自动构建覆盖广泛场景与能力维度的评估集，保证诊断的广度与代表性。
与已有工作不同的是，本文的独特切入角度有三点。第一，把智能体从推理时移入训练时：此前的 agentic 文生图工作（规划、隐式意图推理、网络搜索接地、测试时自反馈）都在冻结模型的外围搭建脚手架，提升的是"怎么用模型"而非"模型本身"，脚手架一撤失败模式依旧，且每次部署都要付额外推理开销；APT 则让智能体进入后训练循环，通过评估发现弱点，再通过 RL 训练把收益固化进模型参数，标准单次推理即可保留改进。第二，把 LLM 领域的递归自我改进（RSI）思想系统性引入 T2I 后训练：评估结果成为构建下一轮训练课程的信号，形成"学习改变能力分布、能力分布又改变学习内容"的递归耦合。第三，用评估报告作为模型能力分布 $p_M$ 的隐式且持续更新的刻画——不训练任何显式的性能估计器，而是依靠广覆盖评估集、细粒度 rubric、以及 LLM（GPT-5.4）跨样本归纳失效模式的能力，让训练分布随模型共同演化，从而绕开了显式估计 $p_M$ 的技术难题。
核心方法
直觉上，APT 让模型“自己发现哪里弱，就多练哪里”，并且随着变强不断换新的练习题。技术上它由三个协作智能体和一个内外双循环结构组成。外循环是诊断驱动的任务适应：每轮开始时，诊断智能体从评估集中随机采样 120 条 prompt–rubric 对，用当前模型 $M_t$ 为每条提示生成图像，并用评估器 $V$（GPT-4.1-mini）逐条 rubric 输出 0/1 判分，汇总成评估报告 $R_t$；随后 RL 数据生成智能体（GPT-5.4）阅读报告，跨语义类别归纳反复出现的失效模式（如计数错误、物体上的文字渲染失败、属性丢失），按混合难度分布生成 480 条新训练提示及配套 rubric——多数瞄准弱势能力，少部分覆盖中等与已掌握能力以保持多样性、避免过拟合单一失效模式。内循环是 RL 优化：用 DiffusionNFT 在这批数据上执行 20 步更新得到 $M_{t+1}$。更新后的模型在下一轮被重新诊断，训练分布随能力变化而演化。评估集生成智能体在训练前调用一次，把用户指定的评估范围（未指定时用通用评估套件）转成含 2609 个 prompt–rubric 对的固定评估集。整条流水线不需要任何人工标注、失败案例检查或数据策划。
核心创新是“递归数据-模型耦合”：把外层诊断课程与内层 RL 优化正式化为 $R_t = \mathrm{Diag}(M_t, B_t)$，$D_t = G(R_t)$，$M_{t+1} = U(M_t, D_t; V)$，其中 $B_t \subset \mathcal{E}$ 是每轮采样的诊断批次，$G$ 由 GPT-5.4 驱动。奖励设计为提示内所有 rubric 二元判分的算术平均 $r(x_i, p_i) = \frac{1}{|R_i|}\sum_{\rho \in R_i} V(x_i, p_i, \rho)$，轮内优化目标为期望奖励 $J(M_t) = \mathbb{E}_{(p,R)\sim D_t,\, x\sim M_t(\cdot|p)}[r(x,p)]$，同一提示的 rubric 集在其一轮 rollout 内固定共享。与已有方法的本质区别在于：传统后训练使用固定的、人工策划的数据分布 $D$，而 APT 的 $D_t$ 是当前模型行为证据的函数，不同基座模型得到的数据各不相同——论文用迁移实验证明，把为模型 A 生成的数据拿去训练模型 B，效果一致劣于为目标模型自适应生成（迁移矩阵对角线在每一行都是最优）。换言之，“优化模型”之外，“该训练什么”这个问题第一次被系统性自动化了。
方法步骤详情
第一步，评估集构建（训练前执行一次）：场景生成从 Human、Object、Animal、Plant、Scene、Food、Event、Fictional World、Text、UI 与 Graphic Design 十个大类出发，让 LLM 为每类生成数十个细分子类与条目，形成 219 个子类的层级分类；提示词生成把每个条目与属性、空间关系、数量、交互、颜色等描述维度组合（每个条目随机采样 1 到 4 个维度），由 GPT-4.1 合成 30 到 60 词的图像提示；rubric 生成用 GPT-4.1-mini 为每条提示生成至多 10 条针对性检查项（身份一致性、文字正确性、风格对齐、空间关系、计数精度等），最终得到 2609 个 prompt–rubric 对。第二步，诊断：每轮从评估集随机采样 $B_t$（默认 $N=120$ 对），当前模型 $M_t$ 为每条提示生成图像 $x_i^{(t)}$，评估器 $V$ 对每条 rubric 输出 $s_{ij}^{(t)} = V(x_i^{(t)}, p_i, \rho_{ij}) \in \{0,1\}$，汇总为报告 $R_t$。第三步，数据生成与训练：GPT-5.4 从报告归纳失效模式，按“多数弱项、少量中等与强项”的混合分布生成 480 条新提示及配套 rubric；随后以 DiffusionNFT 执行 20 步 RL 更新（LoRA rank 64、$\alpha=128$、学习率 3e-4），FLUX.1 [dev] 总计训练 200 步、其余模型 400 步后结束，回到第二步迭代。
技术新颖性
技术新颖性体现在四个层面。其一，课程全自动化：以往的弱点导向后训练工作仍需人工定义弱点类别与对应数据，APT 把弱点发现、课程构建、数据生成全部交给智能体，实现零人工介入的闭环。其二，隐式分布估计：不训练额外估计器去建模 $p_M$，而是利用评估集广覆盖、rubric 细粒度、现代 LLM 强归纳能力三个条件，让评估报告天然成为能力分布的经验刻画，并随轮次自动刷新——诊断智能体与数据生成智能体合起来提供了对当前模型性能分布的隐式、持续更新的估计。其三，混合难度采样被消融验证为必要设计：只采样最难能力（Hard-Only）得 70.64，删减诊断维度得 69.08，均低于完整版的 71.26，说明"重弱项但保留多样性"的分布优于纯粹的困难样本挖掘。其四，工程通用性：同一工作流零修改跑通四个扩散模型与一个自回归模型（后者换用 GRPO 即可），且跨 GPT、Qwen、Gemini、Grok 四个家族共八个 LLM 主干均有效（平均分 68.83 到 72.27），证明框架贡献独立于具体 LLM 与 RL 算法的选择，是一种可移植的基础设施级方案。
实验结果
主实验（Table 1）在四个扩散基座上对比基座、人工策划 RL 集与 APT 的五基准归一化平均：Lens 57.06/68.61/71.26；SD3.5-Medium 48.34/55.94/57.92；FLUX.1 [dev] 47.11/52.32/57.81；LongCat-Image 55.92/64.05/67.72——APT 在全部四个模型上超过人工基线，且一次训练跨基准一致提升。细看单项：Lens 的 GenEval 从 0.702 到 0.859（计数项 0.547 到 0.822），CVTG-2K 词准确率从 0.480 到 0.795；FLUX 的 CVTG 词准确率从 0.260 近翻倍至 0.513，OneIG-EN 文字渲染从 0.332 跃升至 0.655。迁移实验（Table 2）的对角线在每个目标模型上都是最优：FLUX 用自家数据三基准平均 50.67，用 Lens/SD3.5/LongCat 数据分别只有 47.19、48.53、48.97，证明训练分布是模型特定的。评估集消融（Table 3）：APT 评估集平均最优（Lens 71.26，对比 OneIG-EN 集 70.85、GenEval 集 66.45），且单一基准诊断导致偏科——用 GenEval 集诊断把 GenEval 冲到 0.887，但 CVTG 掉到 0.674。反馈循环消融（Table 4，Lens）：去掉迭代再诊断降 0.92 分，删减诊断标准降 2.18 分，Hard-Only 采样降 0.62 分。架构泛化（Table 5）：自回归 Janus-Pro 上 GenEval 0.781 到 0.815、GenEval2 Soft-TIFAGM 15.25 到 21.61（人工基线 20.42）。LLM 主干鲁棒性（Table 6）：八个主干均在 68.83 到 72.27，开源 Qwen3.5-122B-A10B 甚至最高。
![Qualitative comparison of the base model, handcrafted RL baseline, and APT on FLUX.1[Dev].](/papers/2610.18097/images/figure_6.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文生图综合后训练（Lens） | 五基准归一化平均 | 71.26 | 人工策划 RL 集 68.61 / 原始基座 57.06 | 较基座 +14.20，超人工基线 +2.65 |
| GenEval 组合生成（Lens） | Overall | 0.859 | 基座 0.702 / 人工集 0.815 | +0.157 |
| 复杂文字渲染 CVTG-2K（LongCat-Image） | Word Accuracy | 0.821 | 基座 0.426 / 人工集 0.730 | +0.395 |
| 跨模型数据迁移（FLUX.1 [dev] 为目标） | 三基准平均 | 50.67（用 FLUX 自产数据） | Lens/SD3.5/LongCat 数据 47.19 / 48.53 / 48.97 | 自产数据行内最优，领先次优 +1.70 |
| 自回归模型 Janus-Pro | GenEval2 Soft-TIFAGM | 21.61 | 人工集 20.42 / 基座 15.25 | +6.36（对比基座） |
| OneIG-EN 多维评测（FLUX.1 [dev]） | Average | 0.459 | 人工集 0.435 / 基座 0.388 | +0.071（对比基座） |
局限与改进
作者承认并可由数据佐证的局限：第一，RL 后训练普遍压低生成多样性——OneIG-EN 的 Diversity 维度上 Lens 从 0.257 降到 0.174，SD3.5-M 从 0.254 降到 0.164，LongCat 从 0.309 降到 0.215，严重时甚至可能让 OneIG 平均分低于基座；第二，部分单项提升有限或低于人工基线，如 Lens 的 OneIG 平均仅从 0.521 微升至 0.523（多样性下滑抵消了对齐与文字的提升），SD3.5-M 的 GenEval 位置项 0.260 到 0.335，低于人工基线的 0.370；第三，评估集在训练前一次性构建后固定，若模型演化出评估集未覆盖的新失效模式，诊断会出现盲区。我自己的观察：其一，框架深度绑定闭源 LLM——评估器与智能体分别依赖 GPT-4.1-mini 和 GPT-5.4，API 成本、延迟与版本漂移都影响复现，且评估器自身偏差会直接进入奖励信号，存在把模型往评估器盲区带的风险；其二，每轮诊断仅 120 对、训练仅 20 步，小样本上由 LLM 归纳失效模式可能过度解读噪声；其三，训练与评估共用同一评估器 $V$，论文未系统讨论 reward hacking 与判分一致性问题。
独立分析的弱点
第一，奖励可靠性单点依赖：$V$ 是同一个 GPT-4.1-mini，既做诊断又做训练奖励，论文未报告 rubric 判分与人类判断的一致性。若该评估器在计数或空间关系上自身就弱，APT 会系统性把模型带向评估器的偏好而非真实质量。改进方向：多评估器集成、定期人工校准、报告判分与人工标注的 kappa 系数。第二，评估集静态化：2609 对评估集一次生成后固定，与“训练分布应随模型演化”的核心理念存在张力。改进方向：让评估集生成智能体周期性更新，甚至引入对抗式生成器专门构造当前模型易失败的边角场景。第三，外循环收敛性无保证：论文未讨论迭代多少轮饱和、训练分布是否震荡、是否灾难性遗忘已掌握能力。改进方向：加入能力漂移监控、早停与回滚机制。第四，多样性损失未针对性处理：OneIG Diversity 全面下滑说明奖励只约束对齐、不约束分布熵。改进方向：在 rubric 中加入多样性检查项，或在提示分布中显式鼓励风格与构图多样性。第五，诊断统计功效不足：每轮 120 对面对 219 个子类粒度太粗，LLM 可能从三五个失败样本总结出伪模式。改进方向：按能力分层采样、扩大诊断批次或先用序贯检验确认失效模式。
未来方向
作者提出的方向：扩展通用评估套件以覆盖更多场景与语言文化（目前基准以英文为主）；把 APT 应用到视频生成、图像编辑等更复杂的生成任务上，检验反馈闭环在时序与条件更强的任务中是否成立。基于本文成果可延伸的方向：其一，把"评估报告到训练课程"的机制显式化——维护一个结构化的能力-分数向量并做贝叶斯更新，替代 LLM 的自由文本归纳，提高可解释性、统计严谨性与可控性；其二，研究课程迁移而非数据迁移——Table 2 显示跨模型数据虽次优但仍有正向迁移（Lens 数据训 FLUX 得 47.19，仍高于基座 47.11），可以探索多模型间共享"该练什么"的高层策略而各自生成本地数据；其三，与推理时 agentic 方法互补结合——训练时用 APT 把能力固化进参数，推理时保留轻量脚手架处理长尾失败，兼取两者之长；其四，理论层面分析外循环的收敛性与稳定性，给出轮数、诊断批量与 RL 步数之间的缩放律；其五，用人工标注逐步微调一个开源奖励模型替换闭源 API 评估器，使整条流水线完全开源可复现。
复现评估
论文在该版本中未明确承诺开源代码、评估集或流水线资产（附录 E 给出了评估提示生成、rubric 生成、奖励打分、数据生成及两个消融变体的完整系统提示词文本，但没有附代码仓库链接），这是复现的最大不确定性。可复现性较好的部分：SD3.5-Medium 与 FLUX.1 [dev] 公开可下载，LongCat-Image 有公开技术报告，DiffusionNFT 与 GRPO 有开源实现，五个评测基准全部公开。算力需求相对温和：全部用 LoRA（rank 64、$\alpha=128$、学习率 3e-4）训练，FLUX.1 [dev] 训 200 步、其余模型 400 步，每轮 20 步优化加 480 条提示的 rollout，属于单节点多卡（约 8 张 A100）数天内可完成的规模。主要障碍有三：Lens 是 MSRA 内部模型恐难获取；GPT-5.4、GPT-4.1-mini 的判分行为随 API 版本漂移，奖励信号无法逐位复现；人工策划 RL 基线的数据集未公开，对照列无法重建。综合评估：有经验的工程师约需一至两周工程量、数百美元 API 费用加数天 GPU 时间即可重建框架并复现趋势，但难以精确对齐论文数字，整体难度中等偏高。
论文图表
