把图读回来：预训练多模态大模型即文生图零样本奖励模型 Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
用图像条件下的提示词似然，把多模态大模型变成文生图RL的免训练奖励
前置知识
文本到图像扩散模型（T2I Diffusion Model）
通过逐步去噪从高斯噪声生成图像、以文本提示词为条件的生成模型。训练时学习预测噪声或数据流，推理时从随机噪声出发迭代去噪若干步得到图像，并用 classifier-free guidance（CFG）增强文本控制。代表工作如 SD3、FLUX 以及自回归-扩散混合的 BAGEL，通常用采样步数、CFG 尺度、timestep shift 等超参控制生成。
本文的目标就是给这类 T2I 策略模型提供强化学习训练信号，理解扩散生成流程才能明白奖励是如何反向优化策略的。
奖励模型（Reward Model）
在 RLHF/强化学习后训练中，奖励模型负责给（输入，输出）对打分，指示策略优化的方向。文生图场景中它衡量生成图与提示词的吻合度。传统做法是用大量人类偏好标注训练一个打分网络或微调的多模态模型，但标注昂贵且难以迭代。
本文的核心贡献就是设计一种全新的、免训练、免偏好标注的奖励函数，替代传统奖励模型构建范式。
多模态大语言模型（MLLM）
能同时理解图像和文本的大模型，一般由视觉编码器（如 ViT）、视觉-语言连接器和 LLM 主干构成。通过大规模图文对预训练获得图文对齐能力，可做图像描述、视觉问答（VQA）等任务。代表如 Qwen-VL、Gemma3、InternVL 系列，规模从 4B 到数百 B。
SpectraReward 的关键在于直接复用预训练 MLLM 已学到的图文对齐能力作为奖励来源，无需任何额外训练。
统一多模态模型（Unified Multimodal Model, UMM）
在单一架构内同时集成图像理解与图像生成的模型，如 BAGEL、Show-o、Janus。它通常包含一个理解分支和一个生成分支，二者共享部分参数、tokenizer 和视觉编码器，可在同一预训练分布上学习看图与出图两种能力。
Self-SpectraReward 正是建立在 UMM 之上：让策略模型自己的理解分支为生成分支提供奖励，形成自闭环。
组相对强化学习（Group-relative RL）
如 GRPO、AWM 等方法，对同一提示词采样一组（group）输出，用组内相对优势（advantage）代替绝对价值函数来更新策略，从而避免训练独立 critic。本文默认用 AWM 算法，组大小 G=16，在扩散去噪的前若干步上计算优势。
因为采用组相对优化，提示词的语言先验在组内会被抵消，这正是本文无需 PMI 归一化的关键原因。
研究动机
文本到图像生成的强化学习后训练严重依赖奖励模型的质量，但现有的奖励建模路线各有硬伤。第一条是基于人类偏好的路线（RLHF）：需要大量昂贵的偏好标注数据，数据收集困难、迭代成本高，而且这类奖励模型天生对与文本无关的美学细节存在偏见。第二条是零样本复用预训练 MLLM 的路线，但其中直接让 MLLM 打标量分（如 1–5 分）的方式对裁判校准和打分噪声极其敏感，作者实验显示标量打分竟让 GenEval 从 84.0 跌到 77.7（下降 6.3）；而把提示词分解成原子问题逐一验证的 VQA 路线（如 AlphaGRPO 的 DVReward）虽然更可靠，却引入了复杂的两阶段流水线，且依赖问题分解器的质量。因此，如何为开源文生图模型设计一个高效、免偏好标注、即插即用的奖励模型，仍是一个未解的开放问题。
本文的目标是本文要打造一个无需偏好标签、无需奖励模型微调、无需标量裁判打分、也无需问题分解流水线的奖励函数，能把任意预训练 MLLM 直接变成文生图强化学习的奖励源。更具体地，目标是在多个分布外（OOD）基准上稳定提升生成质量，包括 GenEval、TIIF-Bench、DPG-Bench、GenEval2 和 WISE 五个基准；同时在统一多模态模型上实现策略用自己的理解能力自我改进，摆脱对外部奖励模型和外部知识的依赖，形成一个封闭的自提升框架。
与已有工作不同的是，已有的零样本 MLLM 奖励方法要么让 MLLM 充当裁判打抽象分数，要么把提示词拆成原子问题逐条验证，二者都没有直接利用 MLLM 预训练时学到的最根本能力——看图说话（image-conditioned captioning）。本文抓住了这个被忽视的角度：与其问 MLLM 这张图好不好，不如直接问一个逆问题——这张生成图能不能被读回原始提示词？通过计算图像条件下提示词的对数似然，就能用一次前向传播得到稠密、连续、确定的奖励信号。此外，对于统一多模态模型，本文首次系统地把自奖励与远大于它的外部奖励模型放在同一实验框架下比较，揭示奖励-策略对齐比单纯的模型规模更重要。
核心方法
直觉上，SpectraReward 的做法像回声测试：把生成图喂给 MLLM，看它能多大概率把原始提示词读回来——读得越顺，说明图越符合提示词。技术上，给定 T2I 策略 $G_\theta$ 从提示词 $x=(x_1,\dots,x_T)$ 采样出图 $y$，冻结一个预训练 MLLM $M$，以 $y$ 为视觉条件，对 $x$ 做一次 teacher-forced 前向传播，得到每个 token 的对数似然 $\log p_M(x_{t+1}\mid x_{\leq t},y)$。这些逐 token 的似然构成所谓的语义谱（semantic spectrum），描述图中视觉证据对每个语义词的支持程度，取平均即得标量奖励 $R_M(x,y)=\frac{1}{T-1}\sum_{t=1}^{T-1}\log p_M(x_{t+1}\mid x_{\leq t},y)$。奖励越高，说明提示词越能从图中被预测出来，生成质量越好。整个奖励计算只用一次前向传播，无需任何训练或标注。
核心创新在于把奖励直接建模为图像条件下的提示词对数似然均值，从而原封不动地复用 MLLM 预训练时已学到的图文对齐能力，而不是训练一个新奖励模型或让 MLLM 做抽象判断。这是与已有路线最本质的区别：标量打分得到的是离散、对校准敏感的粗信号；VQA 分解得到的是依赖问题质量的二值信号；而提示词似然是稠密、连续、确定性的，且天然对应 MLLM 最拿手的看图说文任务。更进一步，Self-SpectraReward 把这一思想推向统一多模态模型：让策略自己的理解分支 $G^{und}_\theta$ 为其生成分支 $G^{gen}_\theta$ 打分，由于两分支共享 tokenizer、视觉编码器和预训练分布，奖励信号与策略自身采样分布天然对齐，形成无需任何外部模型的自闭环自我提升框架。作者据此提出假设：奖励-策略的对齐程度可以比奖励模型规模更关键。
方法步骤详情
完整流程如下。第一步，对每个提示词 $x$，用 T2I 策略采样一组共 $G=16$ 张图（默认 BAGEL，扩散采样 $T=16$ 步，从前 10 步随机取 6 步用于训练，分辨率 512×512，CFG 尺度 4，timestep shift 3）。第二步，对组内每张图 $y$，冻结奖励 MLLM（默认 Qwen3-VL-30B-A3B），以 $y$ 为视觉条件对 $x$ 做 teacher-forced 前向传播，计算逐 token 对数似然并排除 EOS token（EOS 似然被序列终止主导、对短提示词影响过大），再取平均得标量奖励 $R_M(x,y)$。第三步，用组相对 RL 算法（默认 AWM，学习率 $1\text{e-}4$）依据组内相对优势更新生成分支，每步 32 个提示词，在 32 块 A100 上训练 380 步，数据为 AlphaGRPO20k。Self-SpectraReward 中第二步改用 BAGEL 自己的理解分支，并额外接入 VAE 特征以获得更好的平均性能。
技术新颖性
技术新颖性体现在三点。其一，奖励形式的本质革新：与标量打分（离散、校准敏感）、VQA 分解（两阶段、依赖分解器、工程复杂）相比，SpectraReward 是单次前向、连续稠密、免裁判的，且直接对应 MLLM 的预训练目标。其二，PMI 问题的优雅回避：公式看似包含语言先验 $\log p(x)$，但因采用组相对 RL，固定提示词下该先验在组内逐项抵消，无需显式 PMI 归一化，这是一个简洁而有洞察力的设计论证。其三，统一模型自奖励的系统化定位：相对于 SRUM、GvU 等仅在 UMM 内部评估自奖励的并发工作，本文首次把自奖励与 4B 到 235B 的外部奖励模型横向比较，揭示对齐胜过规模的结论；相对 PromptEcho（同概念但只评特定 T2I 骨干），本文做了跨骨干、跨算法、跨基准的大规模验证。
实验结果
主实验在五个分布外基准上全面领先。512 分辨率下，SpectraReward 相对 BAGEL 在 TIIF-Bench 短/长提升 +10.0/+6.2（达 85.2/84.8），Self-SpectraReward 达 85.1/84.3 并在 GenEval 带来 +5.5（89.5 分）；对比 AlphaGRPO 再分别 +6.3/+5.3 与 +6.2/+4.8，1024 分辨率下提升同样迁移。奖励骨干分析（Table 2）揭示两个反直觉发现：一是缩放非单调，Qwen3-VL 30B 反优于 235B（GenEval 88.3 vs 86.8），Gemma3-12B-Pretrain 优于 Instruct 版；二是仅 7B 的 Self-SpectraReward 超越 30 倍大的外部模型，对齐胜过规模。奖励函数消融（Table 4）影响巨大：标量打分反让 GenEval 从 84.0 跌到 77.7，唯提示词似然最优（89.5）。RL 算法消融显示 AWM 优于 FlowGRPO、DiffusionNFT，Self-SpectraReward 超越所有先前奖励模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TIIF-Bench Short（512 分辨率） | Overall | SpectraReward 85.2 / Self 85.1 | BAGEL 75.2 / AlphaGRPO 78.9 | 相对 BAGEL +10.0/+9.9，相对 AlphaGRPO +6.3/+6.2 |
| TIIF-Bench Long（512 分辨率） | Overall | SpectraReward 84.8 / Self 84.3 | BAGEL 78.6 / AlphaGRPO 79.5 | 相对 BAGEL +6.2，相对 AlphaGRPO +5.3/+4.8 |
| GenEval（512 分辨率） | Overall | Self-SpectraReward 89.5 | BAGEL 84.0 / AlphaGRPO 84.2 | +5.5（对 BAGEL），+5.3（对 AlphaGRPO） |
| GenEval2（Soft TIFAGM） | Overall | Self-SpectraReward 33.9（512）/ 34.3（1024） | BAGEL 23.6（512）/ 23.5（1024） | +10.3/+10.8 |
| WISE（世界知识，1024 + Self-CoT） | Overall | Self-SpectraReward 0.76 | BAGEL 0.70 / AlphaGRPO 0.71 | +0.06/+0.05 |
局限与改进
作者明确承认三类局限。其一，奖励质量受限于所选 MLLM 的视觉理解与推理能力上限，似然只对提示词中的显式语义对齐敏感，对文本未直接表达的隐式视觉含义捕捉较弱——例如 hot coffee 暗示的蒸汽，其物理与常识推断在原始提示词 token 的似然上反映微弱。其二，该方法不直接优化美学与安全等准则，可能继承奖励 MLLM 的偏见或误判；Self-SpectraReward 的闭环还会强化模型自身理解分支的偏好，未必符合人类偏好或安全要求。从我的观察补充：训练仅在 AlphaGRPO20k 上跑 380 步，对风格化、抽象艺术类提示词的覆盖有限；似然奖励天然偏向可被语言清晰描述的视觉概念，对氛围感、构图等难言属性可能失灵；Self-SpectraReward 依赖理解与生成分支共享分布，若两者能力差距悬殊，可能退化为弱者带弱者；此外类别级结果显示 text 子类在绝对值上仍偏低，说明细粒度文字渲染仍是难点。
独立分析的弱点
第一个弱点：奖励只衡量显式可读语义，对风格、氛围、构图、美学几乎无感，在艺术化、诗意化提示词上优化方向可能偏移，改进方向是与美学/安全专用奖励模型加权组合，或对这类提示词改用风格评分。第二个弱点：奖励能力被 MLLM 视觉推理上限封顶，对 hot coffee→蒸汽这类常识推理场景薄弱，改进方向是扩展到 reasoning 文生图，让中间推理链把隐式需求显式化后再算似然。第三个弱点：Self-SpectraReward 若理解分支偏弱会变成瓶颈甚至引入系统性偏差，改进方向是先独立增强理解分支（或对其输出做校准），再接入自奖励闭环。第四个弱点：实验仅覆盖 BAGEL 与 SD3.5-M 两个骨干、单一训练数据集，泛化性证据不足，改进方向是在更多统一模型（如 Janus、Show-o）和更多领域数据上验证，并报告负面结果以防过拟合到特定分布。
未来方向
作者提出的方向包括：采用具有更丰富世界知识的更强 MLLM 骨干以缓解隐式语义捕捉不足；扩展到推理式文生图，借中间推理显式化隐式需求；与互补的美学、安全奖励模型联合使用。基于本文成果可延伸的方向有：将 token 级语义谱信号用于更细粒度的 token-level 优势优化（目前实验显示未稳定胜过序列级，可进一步探索更好的归一化方案）；把回读式奖励从图像推广到视频、3D 生成等更长序列的模态；深入研究自奖励闭环在持续训练下是否存在奖励塌缩或分布崩溃风险；以及理论分析奖励-策略对齐为何能抵消规模差距。
复现评估
复现性总体较好。奖励函数本身极简，只需对冻结 MLLM 做一次前向似然计算，无需训练奖励模型、无需偏好标注。关键超参齐全：扩散采样 $T=16$ 步取前 10 步中随机 6 步训练、组大小 $G=16$、分辨率 512×512、CFG 尺度 4、timestep shift 3、学习率 $1\text{e-}4$、每步 32 提示词、32 块 A100、batch size 2 加梯度累积 8、共 380 步、训练数据 AlphaGRPO20k。所有骨干模型（BAGEL、Qwen3-VL、Gemma3、InternVL3.5）均开源，且项目页 https://huangrh99.github.io/SpectraReward/ 提供资源。主要门槛在于需要约 32 块 A100 的算力来完成 RL 训练，以及 Self-SpectraReward 需要正确接入 BAGEL 内部 VAE 特征与 EOS 掩码等实现细节（附录 B、C 有说明）。整体属于中等难度、资源需求较高的复现任务。
论文图表
