AlphaGRPO：通过可分解的可验证奖励释放统一多模态模型的自反思多模态生成能力 AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
首个在AR-Diffusion统一多模态模型上应用GRPO强化学习的框架，配套提出基于原子可验证问题分解的DVReward奖励机制，无需冷启动SFT即可解锁推理文生图与自反思修正能力。
前置知识
统一多模态模型（UMM）
Unified Multimodal Model 是指把视觉理解与视觉生成集成在单一端到端模型中的架构。早期 UMM（如 Chameleon）使用纯自回归（AR）方式将图像离散化 token 化后与文本一起序列建模；近期主流则演化为混合 AR-Diffusion 架构（如 Bagel、Janus-Pro），即在同一个 backbone 中先 AR 生成文本/思考 token，再以这些文本为条件通过扩散/流匹配过程生成连续图像 token。UMM 的最大优势是天然具备交错多模态输入输出能力，并内含复杂认知工作流的潜力。
本文是首个系统研究 AR-Diffusion UMM 强化学习的工作，所有方法设计（统一轨迹、AR+Flow 联合损失、FPR 自反思修正）都建立在 UMM 单一 backbone 同时承担理解和生成的特性上，读不懂 UMM 架构就无法理解论文为何要把离散文本与连续图像共同放进一条 trajectory 中优化。
Group Relative Policy Optimization (GRPO)
GRPO 由 DeepSeekMath 提出，是一种去 critic 的 PPO 变体。其核心是：对每个 prompt 采样 G 个输出，用组内奖励的均值 $\mu_r$ 与标准差 $\sigma_r$ 归一化得到优势 $\hat{A}_{i,t} = (r_i - \mu_r)/\sigma_r$，然后用 PPO 风格的 clip 目标 $\mathcal{L}^{clip}_{i,t} = \min(\rho_{i,t}\hat{A}_{i,t}, \mathrm{clip}(\rho_{i,t}, 1\pm\epsilon)\hat{A}_{i,t})$ 优化，并通过 $D_{KL}(\pi_\theta\|\pi_{ref}) \approx \frac{\pi_{ref}}{\pi_\theta} - \log\frac{\pi_{ref}}{\pi_\theta} - 1$ 一阶估计器近似 KL。GRPO 最近被 Flow-GRPO、DanceGRPO 等工作扩展到流匹配扩散模型中：在每一步把 $\pi_\theta(z_{t-\Delta t}|z_t) = \mathcal{N}(\mu_\theta(z_t), \sigma_t^2 \Delta t I)$ 视作策略，用高斯密度比 $\rho_t = \mathcal{N}(z_{t-\Delta t};\mu_\theta,\Sigma_t) / \mathcal{N}(z_{t-\Delta t};\mu_{old},\Sigma_t)$ 代替文本策略比，并把对 token 的求和换成对扩散时间步 T 的求和。
AlphaGRPO 的核心是首次把 GRPO 引入 AR-Diffusion UMM 训练，并推导出统一的优化目标 $\mathcal{J}(\theta) = \mathbb{E}_{\pi_{old}}[\frac{1}{G}\sum_i (\lambda \mathcal{J}^{(i)}_{AR} + \mathcal{J}^{(i)}_{Flow})]$，把 AR 文本策略的 clip 损失和 Flow 扩散策略的 clip 损失通过共享 advantage 联合优化。理解 GRPO 是看懂方法与实验设计的前提。
奖励模型中的可验证奖励（Verifiable Reward）与置信度评分
在 RLHF/GRPO 中，可验证奖励指可以通过客观规则或模型直接判定对错的反馈信号，与人类偏好打分（PickScore、HPSv3）相对。本文提出的 DVReward 把"打一个总分"的传统做法（holistic scalar reward，如 VIEScore）替换为"用 MLLM 答一组原子 Yes/No 问题"的可验证机制：对于每个问题 $s$，用 MLLM 在 'Yes' 与 'No' 两个 token 上的归一化概率 $v_k = P_{Yes}/(P_{Yes}+P_{No}) \in [0,1]$ 作为连续置信度分数，最后用几何平均 $\bar{v}_{sem} = \frac{1}{|Q_{sem}|}\sum_{s\in Q_{sem}} \mathcal{V}(z,s)$，$\bar{v}_{qua}$ 后取 $r(z) = \sqrt{\bar{v}_{sem}\cdot\bar{v}_{qua}}$，既保留细粒度信息又避免 0/1 离散评分的梯度不连续问题。
DVReward 是论文的两大主贡献之一。论文用一组对照实验（图 3、Table 3、Table 4）证明 holistic 标量打分会把语义正确/错误的图都打成 0.848，导致 RL 训练信号被噪声淹没；而基于 token-logit 的置信度问题评分能给出 0.592 vs 0.914 的强判别信号，这是 GRPO 能稳定收敛的核心前提。
False-Positive Rectification (FPR) / 自反思修正
在自反思修正（Self-Reflective Refinement, SRR）任务中，模型对初始图像 $z_{init}$ 进行诊断-再生成。原始 GRPO 仅依赖组内归一化优势，会出现"退化的修正结果因组内基线低而获得正 advantage"的假阳性。FPR 对所有 $r(z_i) \le r(z_{init})$ 的轨迹直接赋以组内最小奖励，确保无效修正始终获得负 advantage，从机制上抑制模型退化的可能。本文还指出 UMM 存在"验证 vs 反思"的确认偏差：在 Verify 模式下 BAGEL 倾向于确认原图正确而漏检错误，在 Reflect 模式（被告知图有错）下反而能正确指出阴影位置不合理，这正是 SRR 训练范式的认知动机。
FPR 是 AlphaGRPO 在自反思任务中能稳定提升 GEdit（+0.52）和 TIIF-Long（77.8→79.5）分数的关键工程技巧；不引入 FPR 时组内 advantage 会被'看似改善'的退化结果污染，导致模型学不会真正的纠错。
研究动机
当前 Unified Multimodal Model（UMM）虽然具备原生理解+生成能力，但想要进一步强化其复杂生成能力（推理文生图、自反思改图）的主流做法是先借助 GPT-4o 等强 proprietary 模型合成大量高质量 SFT 数据做冷启动，再接 RL。这种"冷启动+蒸馏"范式存在两个明确问题：第一，性能提升可能来自对教师模型的蒸馏而非模型自身理解力的激活，泛化能力受限；第二，依赖闭源教师合成数据导致方法不可复现、且无法在小模型上扩展。另一独立问题是 GRPO 训练需要的奖励信号：当前视觉生成 RL 多沿用 holistic scalar reward（如 VIEScore 让 MLLM 直接打 0–10 分）或 human-preference 模型（PickScore、HPSv3、UnifiedReward），但本文图 3 的对照实验清晰显示这种奖励对细微语义差异不敏感——给定"A tree in front partially hides a bench behind it"的 prompt，第一张空间关系错误的图和第二张正确的图，VIEScore 都给 0.848，无法区分。这种"reward overfitting"问题会让 GRPO 训在训练分布的指标上分数虚高，但下游 benchmark（GenEval、TIIF-Bench、DPG-Bench）却无法稳定提升。
本文的目标是本文的具体目标是在不依赖冷启动 SFT 与闭源教师蒸馏的前提下，把 GRPO 强化学习系统地扩展到 AR-Diffusion UMM 上，从而解锁两类能力：（1）Reasoning Text-to-Image Generation——模型在出图前主动生成一段推理文本，主动推断用户隐含意图并规划空间布局与世界知识；（2）Self-Reflective Refinement——模型能自主诊断已生成图与 prompt 的错位并执行修正策略。具体而言，作者在 BAGEL 这一 native UMM 上实现 AlphaGRPO，并配套提出一种能给出稳定、细粒度、可解释奖励信号的机制 DVReward，最终在 GenEval、TIIF-Bench、DPG-Bench、WISE 四个 T2I 基准和 GEdit 编辑基准上同时取得稳定提升，并希望证明"统一模型的内在原语已经够用，无需冷启动也能靠 RL 激活"。
与已有工作不同的是，本文切入角度的独特性体现在三点：第一，从动机机制上，把 GRPO 的应用对象从纯文本 LLM（DeepSeekMath）、纯流匹配扩散模型（Flow-GRPO、DanceGRPO）推进到"文本 AR + 图像 Flow"同体架构的 UMM，并给出统一的 trajectory 形式化 $\tau = (y, z_1 \to z_0)$ 与统一优化目标，使 advantage 同时反传到 AR 文本策略与 Flow 图像策略；第二，从任务设计角度，把自反思修正（SRR）作为显式训练目标，并通过 False-Positive Rectification 解决 GRPO 在"必须比初始更好"约束下的假阳性问题——这是现有 SFT-then-RL 范式没考虑过的；第三，从奖励设计角度，提出 DVReward（Decompositional Verifiable Reward）机制：用 LLM 把用户请求拆解为 10 类语义原子问题 + 8 类质量原子问题（共 18 类，10/8 维），再用通用 MLLM（Qwen3-VL-30B-A3B）通过 token-logit 置信度对生成图像逐题验证，避免 holistic 标量打分对开放世界样本的判别力塌陷。这三步组合是过去 UMM 强化学习文献中缺失的。
核心方法
AlphaGRPO 的整体思路是"把 GRPO 当作端到端优化器直接作用在 UMM 的统一轨迹上"，配合一个能给出稳定奖励的 DVReward 机制。首先，论文把多模态生成形式化为一条混合轨迹 $\tau = (y, z_1 \to z_0)$，其中 $y$ 是 UMM 自回归生成的一段离散思考/推理文本 token，$z_1 \to z_0$ 是以 $y$ 为条件的连续扩散/流匹配反过程；这条轨迹同时承载两类任务——Reasoning T2I（$y$ 充当认知桥梁，规划布局/调用世界知识）和 Self-Reflective Refinement（$y$ 诊断 $z_{init}$ 的错误并指导重生成）。然后在 GRPO 框架内，对每个 prompt 采样 $G$ 条轨迹 $\{y_i, z_i\}_{i=1}^G$，共享 advantage $\hat{A}_i = (r_i - \mu_r)/\sigma_r$ 同时回传给 AR 文本策略（带 PPO clip）和 Flow 图像策略（带高斯密度比 clip），总目标 $\mathcal{J}(\theta) = \frac{1}{G}\sum_i (\lambda \mathcal{J}^{(i)}_{AR} + \mathcal{J}^{(i)}_{Flow})$，$\lambda=0.2$ 控制 AR 部分权重。奖励信号由 DVReward 提供：先把 prompt $q$ 离线拆解为 $(Q_{sem}, Q_{qua})$ 两组原子可验证问题，推理时用 MLLM verifier（Qwen3-VL-30B-A3B）以置信度打分 $\mathcal{V}(z,s) = P_{Yes}/(P_{Yes}+P_{No})$ 逐题作答，最终奖励 $r(z) = \sqrt{\bar{v}_{sem} \cdot \bar{v}_{qua}}$ 作为几何平均，兼顾语义对齐和视觉质量。最后在 SRR 任务中额外引入 False-Positive Rectification：把组内任何 $r(z_i) \le r(z_{init})$ 的轨迹强制置为组内最小奖励，避免 GRPO 把"看似改善的退化结果"作为正向优化信号。训练用 LoRA（$r=32, \alpha=64$）只微调 attention/MLP 线性层，64 张 A100 共训练 380 步。
核心创新可归纳为两点。其一是首次在 AR-Diffusion UMM 上做 GRPO，并显式构造"统一轨迹"让 AR 文本策略与 Flow 图像策略共享 advantage、联合优化，这一形式化是论文的公式核心（公式 4–6），也是过去 UMM 强化学习文献没有的。已有工作要么在纯 AR UMM（Mao et al. 2025、Nie et al. 2025）做统一 RL，要么在纯 flow-matching 扩散模型（Flow-GRPO、DanceGRPO）做 RL，都没有触及 AR-Diffusion 异构轨迹的联合优化。其二是 DVReward 的"可验证奖励"机制。已有 holistic scalar reward（VIEScore）和 human-preference reward（PickScore、HPSv3、UnifiedReward）都存在训练分布窄化或判别力塌陷的问题——论文图 3 用一张例子就把这个问题戏剧化地暴露出来：两张语义对错截然不同的图，VIEScore 给出同样的 0.848。DVReward 通过"先分解 prompt 为 18 类原子可验证问题，再让通用 MLLM 答 Yes/No 取 token 概率"的两步设计，把抽象打分替换为可解释、可定位、可分维度的细粒度信号，本质上把 RL 奖励从"标签级"提升到"证据级"。这两点合起来，使得 AlphaGRPO 可以在没有冷启动 SFT 的前提下，让 BAGEL 这种已具备基础原语的 UMM 通过 RL 自主激活推理和自反思能力。
方法步骤详情
方法完整步骤可拆为四块。第一步，统一轨迹形式化：给定 query $q$，UMM $\theta$ 先自回归采样 $y$（推理/反思文本），再以 $y$ 为条件按 Euler-Maruyama 离散化 $z_{t-\Delta t} = z_t + (v_\theta(z_t) - \frac{\sigma_t^2}{2t}\nabla\log p_t(z_t))\Delta t + \sigma_t\sqrt{\Delta t}\epsilon$ 跑流匹配反过程，输出图像 latent $z$。第二步，GRPO 采样与共享 advantage：对每个 prompt 采 $G$ 条轨迹，用 DVReward 计算 $r(z_i)$，组内归一化得 $\hat{A}_i$。第三步，联合优化：把 $\hat{A}_i$ 同时回传，AR 部分用 PPO clip loss $\mathcal{L}^{clip}_{AR}$ + 一阶 KL 估计；Flow 部分用高斯密度比 clip loss $\mathcal{L}^{clip}_{Flow}$ + 加权 L2 速度场 KL $D_{KL}(\pi_\theta\|\pi_{ref}) = w_t\|v_\theta(z_t) - v_{ref}(z_t)\|^2_2$（其中 $w_t = \Delta t\sigma_t(1-t)^2/t + \sigma_t^{-1}$），按 $\mathcal{J} = \frac{1}{G}\sum_i(\lambda \mathcal{J}_{AR} + \mathcal{J}_{Flow})$ 合并，$\beta_{AR}=\beta_{Flow}=0$，$\lambda=0.2$。第四步，DVReward 推理流程：离线阶段用 LLM 把训练集 19,500 个 prompt 中的每一个分解为 $(Q_{sem}, Q_{qua})$，$Q_{sem}$ 覆盖 10 维（existence/attribute/environment/spatial/count/action/style/text/negative/viewpoint），$Q_{qua}$ 覆盖 8 维（geometry/anatomy/texture/coherence/lighting/physics/legibility/aesthetics），并强制把抽象形容词"physical grounding"成可观测现象（如"咖啡热吗"改写为"杯口有蒸汽吗"）；在线阶段用 Qwen3-VL-30B-A3B 作 verifier，对每题读出 $P_{Yes},P_{No}$，算 $v_k = P_{Yes}/(P_{Yes}+P_{No})$，最后 $r(z) = \sqrt{\bar{v}_{sem}\cdot\bar{v}_{qua}}$。Self-Reflective Refinement 任务额外加 FPR：把组内所有 $r(z_i)\le r(z_{init})$ 的轨迹奖励 clamp 到组内最小值，确保负优势主导退化样本。训练侧用 SGLang 把 verifier 部署在每 8 卡节点的 1 卡上，配合去中心化 reward server 与异步调度，把 bubble time 从 40.8 s 压到 $9.72\times 10^{-6}$ s。
技术新颖性
技术新颖性体现在三处。其一，统一 trajectory + 共享 advantage 的目标函数 $\mathcal{J}=\frac{1}{G}\sum_i(\lambda \mathcal{J}_{AR} + \mathcal{J}_{Flow})$ 是新提出的。传统 GRPO（DeepSeekMath）只对离散 token 求和，Flow-GRPO/DanceGRPO 只对扩散时间步求和，本论文让两套机制共享 $\hat{A}_i$ 同时回传，意味着对图像的奖励会回灌到生成该图像前那段推理文本的 token 概率上，从而让"文字推理质量"也获得监督信号，这是 UMM 内生认知能力被激活的机制基础。其二，DVReward 中基于 token-logit 的置信度评分 $v_k = P_{Yes}/(P_{Yes}+P_{No})$ 而非 0/1 离散评分——Table 4 显示这一改动把 TIIF-Long 从 78.9 提升到 79.5、GenEval 从 84.0 提升到 85.1，因为离散的"勉强正确 vs 完美正确"会丢失梯度信息。其三，FPR 解决了一个被现有 GRPO 视觉工作忽略的假阳性问题——SRR 任务下"比基线稍好但本质上仍错"的轨迹不该获得正 advantage，这一改动让 TIIF-Long 从 77.8 提升到 79.5。三处新颖性共同支撑了"不需要冷启动 SFT 也能解锁自反思能力"的实验现象。
实验结果
实验在 GenEval、TIIF-Bench（Short/Long split）、DPG-Bench、WISE 和 GEdit-Bench-EN 五大基准上系统评测。核心发现可总结为四点：（1）训练在低分辨率 512×512 的 AlphaGRPO 在 1024 高分辨率推理时仍稳定超越 BAGEL 基线，说明学到的不是像素记忆而是语义对齐——TIIF-Bench Short 从 BAGEL 的 75.2 提升到 AlphaGRPO 的 79.1（+3.9），加 inference-time self-reflective refinement（Inf. SRR）后达到 83.9，比 BAGEL 高 5.8 个百分点；TIIF-Bench Long 从 78.6 提升到 79.5（+0.9），加 Inf. SRR 后达 83.2。（2）GenEval 总体分从 BAGEL 84.0 提升到 AlphaGRPO 84.2，加 Inf. SRR 后达 88.2（+4.2）；分维度看，Counting 从 74.1 提升到 75.6、再到 83.4，Position 从 71.0 提升到 69.8、再到 73.8，Color Attribution 从 74.8 提升到 73.3、再到 81.5，加 Inf. SRR 后在空间/计数/属性绑定上都有大幅提升。（3）DPG-Bench 总体从 85.07 提升到 86.25，加 Inf. SRR 后达 87.86，是论文报告的 SOTA；其中 Attribute 91.91、Relation 91.67 都是新高。（4）最有趣的跨任务泛化：在没有见过任何编辑训练数据的情况下，AlphaGRPO 在 GEdit-Bench-EN 上把 Overall 从 BAGEL 的 6.52 提升到 7.08（+0.52），SC 从 7.36→7.67，PQ 从 6.83→7.46，O 从 6.52→7.08——证明 SRR 训练习得的"自反思—修正"能力可以直接迁移到编辑任务，无需任务专属 SFT。WISE 基准的 Self-CoT 设置下，Chemistry 类别从 BAGEL 0.58 提升到 0.64，Overall 从 0.70 提升到 0.71，证明统一对齐策略对世界知识推理有正向帮助。消融实验（Table 3）显示 DVReward 在 SD3.5M 和 BAGEL 上都稳定优于 PickScore/HPSv3/UnifiedReward/VIEScore；FPR（Table 5）单独贡献 TIIF-Long 77.8→79.5；Table 6 验证语义+质量双问题组合的必要性。人类评估（Table 11）显示 200 个 Pick-a-Pic prompt 上 AlphaGRPO 胜率 40.5% vs BAGEL 30.5%（overall），prompt following 36.5% vs 25.5%，perceptual quality 43.0% vs 39.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Text-to-Image Generation（TIIF-Bench Short） | Overall score (%) | 83.9（AlphaGRPO + Inf. SRR @ 512）/ 82.2（@ 1024） | BAGEL 75.2（@ 512）/ 76.4（@ 1024） | +8.7（@ 512）/ +5.8（@ 1024） |
| Text-to-Image Generation（TIIF-Bench Long） | Overall score (%) | 83.2（+Inf. SRR @ 512）/ 81.4（@ 1024） | BAGEL 78.6（@ 512）/ 76.2（@ 1024） | +4.6（@ 512）/ +5.2（@ 1024） |
| Text-to-Image Generation（GenEval） | Overall score (%) | 88.2（+Inf. SRR @ 512）/ 89.5（@ 1024） | BAGEL 84.0（@ 512）/ 86.6（@ 1024） | +4.2（@ 512）/ +2.9（@ 1024） |
| Text-to-Image Generation（DPG-Bench） | Overall score (%) | 87.86（+Inf. SRR @ 512）/ 86.62（@ 1024） | BAGEL 85.07 | +2.79（@ 512）/ +1.45（@ 1024） |
| Image Editing（GEdit-Bench-EN） | Overall score (G_SC/G_PQ/G_O) | 7.67 / 7.46 / 7.08（AlphaGRPO，未在编辑数据上训练） | BAGEL 7.36 / 6.83 / 6.52 | +0.31 / +0.63 / +0.56 |
| World Knowledge T2I（WISE Self-CoT） | Overall score | 0.71 | BAGEL w/ Self-CoT 0.70 | +0.01（Chemistry 子类 0.58→0.64 提升最大） |
| Human Preference（Pick-a-Pic 200 prompts） | Win rate (Overall) | 40.5% | BAGEL 30.5% | +10 个百分点（Tie 29.0%） |
局限与改进
作者在附录 A.1 中明确指出两点限制。其一，BAGEL 本身在 512 分辨率下偶发产生噪声/模糊伪影，self-reflection 阶段偶尔会输出不符合预期的推理模式，这会拖累 AlphaGRPO 的整体效果；建议未来用 RFT（Reinforcement Fine-Tuning）在模型自身分布内采样高质量数据做微调以提升稳定性。其二，目前 SRR 任务只用 outcome reward（基于最终图像的 DVReward 分数），没有引入 process reward——即无法在中间步骤验证"自反思是否真的正确诊断了具体错误"，也缺乏 refinement 前后语义一致性的显式约束。我自己观察到的额外局限包括：（a）DVReward 强依赖 Qwen3-VL-30B-A3B 这一特定 verifier，跨 verifier 迁移性未充分验证；（b）Table 9 显示把问题压缩到 10 个会让 GenEval Spatial 从 74.3 掉到 63.0、Count 从 82.5 掉到 71.8，说明奖励对问题数量与粒度敏感，扩展到更多 prompt 类型时成本会线性增长；（c）论文报告 Inf. SRR 收益大但没有直接和"多次独立采样-挑选最优"做 ablation，难以判断收益来自模型自反思能力还是来自 best-of-N 隐含放大；（d）Figure 8 第 4 行的两个披萨虽然分开了但仍有微妙的形态差异，说明 SRR 对复杂 prompt 的完全修正仍有空间。
独立分析的弱点
独立分析可识别四点可改进方向。第一，DVReward 对 verifier 模型有隐性依赖——Qwen3-VL-30B-A3B 在简单问题（如"树在长椅前吗"）上判别力强（0.592 vs 0.914），但在更复杂、需要链式推理的物理因果问题（如"影子方向与光源一致吗"）上可能仍有判别盲区；改进方向是引入 verifier ensemble 或在物理因果子任务上做 verifier-specific finetune。第二，SRR 任务目前只采一组 G=14 条轨迹以组内最低奖励图作为初始图 $z_{init}$，但若初始图本身已经很好（$r(z_{init})$ 接近上限），所有 14 条 refine 轨迹都可能因"无错可改"而获得低 reward，FPR 把它们全部标为负优势，可能让模型在"已正确"区间失去强化信号；改进方向是在 FPR 中加入"无错样本保持原 advantage"的特例分支。第三，训练数据是 bottom-up 用 19,500 个合成 prompt 构造，prompt 分布偏向 TIIF-Bench 定义的 39 类组合任务，可能低估真实用户长尾 prompt；改进方向是引入 Pick-a-Pic 等真实用户 prompt 做 prompt-level 数据混合。第四，目前 KL 系数 $\beta_{AR}=\beta_{Flow}=0$（Table 13 验证非零反而掉点），意味着模型在远离参考分布，理论上对长尾 prompt 的鲁棒性有风险；可考虑引入 reference-conditioned trust region 或在线 DPO 风格的二次约束。
未来方向
作者在附录中明确提出两个未来方向：用 RFT 在模型自身分布内做高质量数据微调以提升 self-reflection 的稳定性；以及引入 process reward 提供中间步骤监督，确保"自反思诊断"与"实际修改"在语义上一致。基于本文成果可延伸的方向包括：（a）把 DVReward 推广到视频、3D、音频等多模态生成，让奖励机制本身模块化；（b）把 SRR 与 chain-of-thought 风格的多轮修正结合（当前用单轮对话），让模型可以做多步诊断—再生成—再反思的迭代；（c）把 advantage 共享机制推广到其它异构 UMM（如 BAGEL 之外 native UMM 或多模态 Agent），验证统一 GRPO 公式 $\mathcal{J}=\frac{1}{G}\sum_i(\lambda \mathcal{J}_{AR} + \mathcal{J}_{Flow})$ 的普适性；（d）把 DVReward 拆为"可验证"与"不可验证"两部分，前者用规则/检索增强、后者用 MLLM，从而把整体奖励的偏差风险局部化；（e）把 Inf. SRR 拓展为 test-time scaling law 研究，量化自反思轮数与质量提升的关系曲线。
复现评估
复现评估较为友好。论文代码与项目页（https://huangrh99.github.io/AlphaGRPO/）公开，BAGEL 与 Qwen3-VL-30B-A3B 都是公开 checkpoint，没有引入闭源依赖。数据集方面，自合成 19,500 个训练 prompt（500/类 × 39 类，3:5:2 Easy:Medium:Hard）与 1,024 测试 prompt 的生成脚本可复现；评测全部基于公开基准 GenEval / TIIF-Bench / DPG-Bench / WISE / GEdit-Bench-EN。算力门槛较高：64 张 A100 GPU，训练 380 步，每 8 卡节点中 7 张训练 + 1 张通过 SGLang 跑 verifier；单卡 24GB 显存下 LoRA $r=32$ 微调 attention/MLP 可行，但要把 verifier 部署与训练异步调度开需要至少 2 卡。难度集中在两点：（1）DVReward 需要为每个 prompt 离线生成 18 类原子问题，对 LLM 调用与 prompt engineering 要求较高；（2）GRPO 中对 Euler-Maruyama SDE 采样的 $\sigma_t = a(1-t)$ 噪声系数 $a=0.7$、group size $G=14$、KL 系数 $0$、$\lambda=0.2$ 等超参较多，需要完整跑通 380 步才能验证。整体复现难度为中高，主要瓶颈是算力与分布式 reward serving 工程的稳定性。
论文图表
左侧 prompt 为 'A hand is holding a pair of scissors. The hand and scissors are casting a shadow onto the wall behind them. The scene is a sunny outdoors image...'；在 Verification 模式下 BAGEL 输出 'The generated image effectively fulfills the user's original intent'，无法识别影子位置与光源不一致的错误；在 Reflection 模式下 BAGEL 输出 'The image has issues with the shadow's position and shape...the shadow should be adjusted to be consistent with the light source'，成功指出错误。
这是论文'pilot study' 第一个发现的可视化证据：UMM 存在确认偏差，但 Reflection 模式可以激活其内在视觉理解能力。这个现象直接支撑了 Self-Reflective Refinement 任务设计的合理性。
针对 prompt 'A tree in front partially hides a bench behind it' 生成两张图：Image 1 把树放到了长椅后面（空间关系错误），Image 2 正确放在前面。VIEScore（holistic scalar）对两张图都给出 0.848，无法区分；而基于 'Does the tree partially hide the bench?' token 概率的 Question-based Reward 给出 0.592 vs 0.914，判别力强。
这是论文'pilot study' 的第二个发现：用一张具体反例把 holistic scalar reward 的'打不出区分度'问题戏剧化展示，直接证明 DVReward（question-based）设计的必要性。