Qwen-Image-PE：面向文生图提示词增强的视觉设计学习 Qwen-Image-PE: Learning Visual Design for Text-to-Image Prompt Enhancement

完整流程如下。阶段一（CRD 监督微调）：(1) 构建图像锚定目标——Request-to-Image 路径：用强 T2I 系统对真实与合成请求渲染图片，按设计质量与请求一致性双重筛选；Image-to-Request 路径：把质量过滤后的图片的短 caption 退化成噪声更大、设计信息丢失但保留核心意图的用户请求。(2) 对每张选中图片 $I_i$，多模态 captioner 输出覆盖光照/构图/版式/细节的密集描述 $y^*_i$（式 2），同时记录 $\rho^*_i=\mathrm{width}(I_i)/\mathrm{height}(I_i)$。(3) 用 LLM 以 $(x_i,y^*_i)$ 为输入合成 CoT 设计理由 $z^*_i$（式 3），说明哪些要求需要保留、目标 caption 中的设计选择为何合理。(4) 组成 $\mathcal{D}_{SFT}=\{(x_i,z^*_i,y^*_i,\rho^*_i)\}$（式 4），按式 5 训练增强器依次生成理由、提示词与比例。阶段二（GDR 强化学习）：(1) 从 SFT 模型的失败案例中挖掘弱设计请求，再合成补充请求，构建 RL 提示词池 $\mathcal{D}_{RL}$。(2) 每个请求采 $G$ 个响应，冻结生成器用共享种子渲染 $G$ 张候选图（式 6）。(3) 按维度 rubric 把 $K$ 个随机洗牌网格交给 MLLM 裁判联合打分，归一化到 $[0,1]$ 后按式 8 求平均 $r^{design}_{i,d}=\frac{1}{K}\sum_k r^{design,(k)}_{i,d}$。(4) 按式 9 合成总奖励 $R_i$，其中对齐项保住用户显式要求。(5) GRPO 组内归一化计算相对优势更新增强器，KL 拉向 SFT 初始策略，T2I 生成器全程冻结。基准评测请求与训练请求不重叠，评测指标也与训练奖励独立。

技术新颖性体现在四处。一，CRD 的“逆向”构造在 PE 文献中是新的：以往增强器都用 LLM 正向扩写或人类改写做 SFT 目标，本文证明把“图像→密集 caption”的反向管线当目标，既注入设计知识又顺带解决了提示词与训练 caption 的分布错位问题（这一错位此前很少有人量化，本文给出 JS/FD/MAUVE 三层证据）。二，GDR 的“组内网格互照”评分机制是新的奖励结构：它在 pointwise（无参照、$D\cdot G$ 次调用）与 exhaustive pairwise（有参照、平方级调用）之间开辟了第三条路，用空间网格提供参照、用 $K$ 次洗牌控制偏差、用 $D\cdot K$ 次调用控制成本，并实证其排序信号与人类一致率显著更高。三，首次把 PE 的缩放性质系统化为三条轴：训练数据（12.5K→100K）、模型规模（2B→397B）、信息密度（GPG 14.42→170.36），并发现信息密度是“前提条件”而非普通增益——低密度 caption 的增强器甚至比不增强更差。四，给出跨生成器泛化的系统证据：在不接触目标模型训练 caption 的条件下反超其原生增强器，支持“学到的是通用设计原则”这一论断。同期工作 WanPE 虽然也用 caption 构造监督，但面向视频的跨镜头时序规划，与本文的单图精细设计正交。

独立分析出的弱点：一，裁判噪声直接进入策略梯度——$K$ 次洗牌平均只缓解而非消除 MLLM 的位置偏差与随机性，小 $G$ 组内这种噪声会放大 GRPO 的优势估计方差，改进方向是用裁判集成、分数校准，或对组内分数拟合 Bradley–Terry 排序模型替代算术平均。二，RL 提示词池来自“SFT 失败案例挖掘”，覆盖面受挖掘策略偏置影响；论文展示的样例集中在产品摄影、海报排版等商业设计，对艺术风格类（水彩、概念艺术）的设计 rubric 是否同样有效存疑，改进方向是按风格分域构造 rubric 与提示池。三，宽高比预测 $\rho$ 与提示词耦合输出，但论文没有单独报告比例预测准确率及其对 Overall 的贡献消融，无法判断这一输出头的真实价值。四，各维度权重 $\lambda_d$ 与对齐权重 $\lambda_a$ 未公开取值和敏感性分析，复现者只能盲调；对齐项如何在“保留用户要求”和“允许设计自由”之间取舍也缺少定量刻画。五，35B 中间规模只做了 SFT 缩放测试而未做 RL，GDR 的增益随模型规模的演化曲线缺失，无法判断小模型是否也能从组内奖励中获益。六，Layout 停滞提示纯 MLLM 评分对可验证目标不够敏感，可引入 OCR 文本准确性、网格对齐检测等可计算指标做成 hybrid reward。

作者指出的方向：把视觉设计确立为 PE 的中心目标，推动社区从整体美学优化转向维度化设计优化（结论章展望）；与同期 WanPE 所代表的视频提示词增强合流，把单图设计扩展到跨镜头、时序一致的电影级规划；继续探明信息密度的下限与最优区间，实现 caption 密度的自动调控。基于本文成果可延伸的方向：一，把 GDR 组内比较框架与可验证指标结合（OCR 文字准确性、透视一致性检测、构图黄金比例），构造设计维度上可计算的 hybrid 奖励；二，对数据、模型、信息密度三轴做联合 scaling law 拟合，回答“给定算力预算时三者的最优配比”；三，把 397B 的设计能力蒸馏进 2B–4B 端侧模型（CoT/推理蒸馏），让消费级显卡也能跑设计级增强；四，建立在线学习闭环，把用户对生成图的实际采纳、编辑、重生成行为当作偏好信号继续做 RL，替代人工 GSB 标注；五，把 rubric 扩展到多语言与多文化设计规范（中文海报的字距与竖排、日式留白、阿拉伯文排版），检验“通用设计原则”的边界；六，GDR 的组内互照结构本身可以反哺评估器训练——用组内相对排序做弱监督训练更便宜的设计评估器。

开源情况：Qwen-Image-PE-9B 权重已发布在 HuggingFace（Qwen/Qwen-Image-2.1-PE-T2I），可直接加载使用，这是最容易的复现路径。但复现训练的另一切都缺失：397B 权重不开源；SFT 数据集（10 万级 request–caption–rationale 三元组）未发布；RL 提示词池、四个维度的 rubric 全文、裁判所用 MLLM 的身份、$\lambda_d$ 与 $\lambda_a$ 权重、$G$ 与 $K$ 的取值均未完整给出。算力门槛：SFT 阶段需要强 T2I 系统（Qwen-Image-2.1）批量渲染并筛选约 10 万张图再做密集 caption，仅 Request-to-Image 路径的渲染成本就很高；RL 阶段每步要在线生成 $G$ 张 2K 图并调用 MLLM 裁判 $D\cdot K$ 次，397B-A17B 级别的 GRPO 训练需要多机多卡集群，一般实验室难以承担。低成本的验证路径：研究者可以用开源 9B 模型直接复测 Qwen-Image-Bench 式的人工对比；或用公开高密度 caption 数据集加开源小模型复现 CRD 的 SFT 部分；GDR 的核心结论（组内比较比 pointwise 与人类一致率高 8.2 个百分点）可以用 $G=8$、开源 VLM 裁判在小规模上独立检验，这是本文最值得也最容易验证的声明。总体评价：使用容易、训练复现困难、部分结论可低成本抽查。