AutoRubric-T2I：面向文生图对齐的鲁棒规则奖励模型

自动学习稀疏自然语言评分规则，构建可解释的文生图奖励模型

前置知识

Bradley-Terry偏好模型

将两两比较建模为概率的经典模型，假设每个候选项有标量实力分，A胜过B的概率为σ(r(A)-r(B))，文生图奖励模型多用此损失训练。

本文基线与方法都用偏好对训练，需理解BT损失如何把人类偏好转化为可优化目标。

VLM-as-a-judge（视觉语言模型评测）

用视觉语言模型（如Gemini、Qwen3-VL）按文字提示对生成图像打分或评判，常以yes token概率作为分数，能做细粒度视觉正确性检查。

本文核心评测单元就是VLM在单条规则上的打分，理解它才能理解规则奖励的构建。

ℓ1正则化逻辑回归

在逻辑回归损失上加入权重绝对值之和λ‖w‖₁惩罚，会把弱相关特征权重收缩为零实现稀疏特征选择，本文用它筛Top-N规则。

论文把规则选择严格表述为带ℓ1惩罚的无穷维稀疏回归，是方法的理论基石。

Flow-GRPO

把组相对策略优化GRPO适配到扩散模型（Flow Matching）框架，用组内相对优势更新策略，是当前文生图RLHF的主流范式之一。

下游实验用它验证规则奖励能否替代标量奖励驱动T2I扩散模型微调。

奖励攻击（Reward Hacking）

策略为最大化奖励而钻奖励函数漏洞，例如只提升亮度、对比度、人物构图等表层美观特征，却违背提示词的语义约束。

论文核心动机是标量奖励易被攻击，规则奖励可缓解该问题，贯穿全文论证。

研究动机

文生图人类偏好对齐主要依赖两类奖励模型。第一类是Bradley-Terry标量奖励模型（ImageReward、PickScore、HPSv2、HPSv3），它们需要海量人工标注偏好对来微调，把多维偏好压成单一标量，训练昂贵、难迁移且不透明，会掩盖物体计数错误、属性缺失、解剖畸变等细粒度视觉缺陷。第二类是VLM裁判与问答式评测器，能做细粒度检查，但评分规则要么人工编写、要么启发式生成，未必与真实人类偏好相关——表1显示提示式VLM裁判在HPS/PickScore偏好数据上最多比学习型BT奖励低10%。更严重的是标量奖励易被攻击：图1显示HPSv3优化500步后，提示只要求'锥形厨师帽藏在球形雪球后'，策略却生成多余人物仍得高分，说明奖励被人物中心的视觉伪影骗取。

本文的目标是作者希望构建一个免微调、可解释且与人类偏好强相关的文生图奖励模型。具体而言，要从极少量（如M=256对）偏好数据中自动派生并精炼一套紧凑、加权的自然语言评分规则集合，用现成VLM裁判在每条规则上对图像打分，再加权汇总成奖励。这套规则应满足三点：其一，无需微调奖励网络即可用作训练免费的VLM奖励；其二，在OOD偏好基准（MMRB2）上超越微调标量奖励与已有规则方法；其三，作为RL信号经Flow-GRPO改进下游T2I生成质量，缓解reward hacking。

与已有工作不同的是，已有规则学习工作（OpenRubrics、AutoRule、Auto-Rubric、RRD）多面向文本生成，依赖LLM链式提示启发式地提炼规则，缺少与人类偏好的统计对齐。T2I场景中的RubricRL在RL循环内为每个提示动态构建规则，无法离线复用。本文的独特切入在于：把规则学习严格表述为无穷维空间上的稀疏逻辑回归，用块坐标下降动态扩展工作集、ℓ1正则化剪枝冗余坐标，并配合课程式难对挖掘迭代精炼。这是首个从图像偏好数据直接学习全局、加权、可复用自然语言规则集的T2I奖励建模方法，把规则选择从启发式提示提升为可证明收敛的稀疏优化问题。

核心方法

直觉上，与其训练一个黑盒标量奖励网络，不如把'人类偏好'拆成若干可读视觉规则（如'是否有要求物体''空间关系是否正确''文本渲染是否准确'），让VLM逐条判是/否，再学一组权重加权成奖励。技术上，论文把每条自然语言规则视为无穷维空间的一个坐标，其贡献为VLM打分差 $\Delta s^{(i)}_j = s(r_j, x, y_a) - s(r_j, x, y_b)$，目标是 $\min_{R,w}\ \lambda\|w\|_1 + \sum_i \log\sigma(z^{(i)}\sum_j w_j\Delta s^{(i)}_j)$ 做稀疏选择。由于坐标空间无穷，论文用块坐标下降：先建种子规则集，每轮用VLM打分、解当前工作集上的ℓ1回归、保留Top-N正权重规则、再用难对挖掘生成新规则扩充工作集，直至收敛。

核心创新是把'规则学习'重铸为可优化的稀疏恢复问题，而非纯LLM提示工程。三条本质区别：其一，无穷维ℓ1松弛——用 $\lambda\|w\|_1$ 代替ℓ0硬选N条，使选择可微、可用现成求解器（liblinear, C=1.0）；其二，失败驱动的坐标扩展——只对当前模型判错的对（误排序）生成新规则，类似OMP贪婪选坐标，保证新加入维度高信息量；其三，课程难对分桶——把错误对分成小margin、大margin、高奖励错排序三类，早期侧重抓主要缺失维度、后期关注高奖励细粒度错误，被选超4次的对剔除以防噪声。这套组合让不到0.01%的标注数据就能学出高质量规则。

方法步骤详情

完整流程分六步：(1)多样性种子选择——按FiFA用代理奖励模型估计偏好margin并对提示聚类，选256个兼顾高margin与提示多样性的种子对；(2)T2I适配CoT规则生成——VLM逐对检查提示与两图、解释偏好理由、抽取客观可复用规则，去重得 $R_0$；(3)工作集打分与稀疏选择——对当前 $R_t$ 在训练对上算 $\Delta s^{(i)}_j$，解ℓ1逻辑回归，保留权重最大的Top-N正权重规则 $R_t^{retained}$；(4)课程难对挖掘——把误排序对（$\sum w_j\Delta s_j<0$）分三桶，按轮次调采样比例；(5)VLM失败诊断与规则抽取——VLM先诊断缺失维度、再生成可视化规则，去重并入 $R_{t+1}$；(6)验证集评估并循环，每轮后剪枝零权重规则保持紧凑。

技术新颖性

新颖性体现在三方面。理论层面，首次将T2I规则学习形式化为带ℓ1惩罚的无穷维稀疏逻辑回归 $\min\lambda\|w\|_1 + \sum\log\sigma(z\sum w_j\Delta s_j)$，并证明可用块坐标下降收敛（借鉴稀疏随机特征与OMP）。算法层面，提出课程式难对挖掘与失败驱动规则生成的闭环，区别于AutoRule/AutoRubric的纯启发式提示。系统层面，这是首个从图像偏好数据直接学习全局加权规则集的T2I方法，既可训练免费用作推理时VLM奖励，也可作RL固定信号。消融（表4）证实每个组件都贡献正向增益：仅加ℓ1负权重几乎无提升(59.1→59.2)，正权重约束(+0.9)、随机对多轮(+0.2)、难对挖掘(+1.0)、聚类初始化(+1.2)逐级累加。

**Figure 2**: Overview of AutoRubric-T2I.

实验结果

表1在MMRB2（OOD）与in-domain上全面对比。原始pointwise Qwen3-VL-8B仅26.5%，配AutoRubric-T2I后跃升至62.5%(HPSv3规则)/62.4%(PickScore规则)，超过AutoRule/AutoRubric基线，甚至超过微调标量HPSv3(59.4%)与UnifiedReward(59.8%)；换更强裁判，Qwen3-VL-32B达67.7%、Gemini-3-Flash达71.4%。in-domain虽不及微调HPSv3在自家测试集的74.0%，但Gemini版仍达70.3%/70.0%，免微调即具竞争力。表2的TIIF上，SD-3.5-Medium经Flow-GRPO+AutoRubric-T2I(HPSv3)从65.3%→71.6%(短)/62.7%→67.9%(长)，reasoning/relation/text生成增益最大。表3的UniGenBench++从61.0%→62.7%(短)/64.0%→66.9%(长)，relation/layout提升明显。人类评测获44.8%选择率（随机25%，p<0.001）。

**Table 1**: Full comparison across MMRB2 out-of-domain and in-domain benchmarks.

**Table 2**: Evaluation results for T2I RL on TIIF.

**Table 3**: Evaluation results for T2I RL on UniGenBench++.

**Table 4**: Ablation study of AutoRubric-T2I.

查看结构化数据

任务	指标	本文	基线	提升
MMRB2偏好预测（OOD）	整体准确率(%)	62.5%(Qwen3-VL-8B,HPSv3规则)；71.4%(Gemini-3-Flash,PickScore规则)	原始pointwise Qwen3-VL-8B 26.5%；微调HPSv3 59.4%；UnifiedReward 59.8%；AutoRule 59.1%	相对原始VLM点测+36.0pp；超过所有微调标量RM与启发式规则基线
TIIF下游T2I RL（SD-3.5-Medium+Flow-GRPO）	Overall准确率(%)	71.6%(短提示)/67.9%(长提示)，HPSv3规则设置	基座SD-3.5-Medium 65.3%/62.7%；+HPSv3标量 68.8%/64.3%；+AutoRule 69.1%/67.2%	短+6.3pp、长+5.2pp相对基座；在reasoning/relation/text生成维度增益最大
UniGenBench++下游T2I RL	Overall准确率(%)	62.7%(短)/67.7%(长)，PickScore规则设置	基座SD-3.5-Medium 61.0%/64.0%；+HPSv3标量 58.8%/62.6%	短+1.7pp、长+3.7pp相对基座；relation/compound/layout/text渲染显著提升
人类偏好评测（30标注员×20提示）	最佳图像选择率(%)	44.8%（95%CI 40.7%-48.9%）	随机4选1基线25%	+19.8pp，p<0.001统计显著，超过基座/标量/AutoRule三方

局限与改进

作者承认in-domain上微调标量RM仍占优（HPSv3在自家测试集74.0%），说明规则奖励在分布内大量数据面前尚难超越专门微调。我对论文的观察：其一，方法强依赖外部强VLM裁判（Gemini-3-Flash），8B裁判虽达62.5%但与微调RM差距在in-domain明显，裁判质量成瓶颈；其二，规则集与VLM打分耦合，换裁判或换底座扩散模型时规则集能否迁移未充分验证；其三，下游RL提升幅度（UniGenBench++短仅+1.7pp）绝对值不大，且只测SD-3.5-Medium一个底座，泛化性存疑；其四，仅256对种子数据方差可能较大，多次随机种子的稳定性未报告；其五，RL训练中规则评分调用次数（每步对多图×多规则调VLM）的算力账单未给，可扩展性不明。

独立分析的弱点

弱点一：规则集规模与可解释性存在张力，若Top-N较大或规则间语义重叠，可解释性会打折，改进方向是用规则层级化或聚类摘要自动归纳。弱点二：课程难对分桶的百分位阈值(30th)与采样比例随轮次变化均为人工设定，缺自适应机制，可引入bandit或元学习自动调参。弱点三：reward仍由VLM概率打分驱动，VLM本身的偏见与幻觉会传导，可加VLM校准或集成多裁判降低单点偏差。弱点四：仅验证文本→图像，未触图像编辑、视频生成、多图组合等更复杂任务，规则模板需重设计。弱点五：硬对挖掘剔除>4次样本可能丢掉真正难例，可用curriculum-staged重纳入策略。每个弱点都对应明确改进路径。

未来方向

作者隐含方向：扩展到视频生成与图像编辑、与在线规则更新（类比OnlineRubrics）结合减少规则过时、探索自动规则层级化。基于成果可延伸：其一，把无穷维稀疏框架推广到LLM对齐，统一文本/图像规则学习；其二，研究规则集跨裁判、跨底座扩散模型的迁移性与领域自适应微调；其三，将难对挖掘替换为主动学习，在标注预算下进一步降数据；其四，结合可解释AI做规则权重的事后因果归因，区分'美观类'与'语义类'规则对reward hacking的抑制贡献；其五，探索规则奖励与标量奖励的混合ensemble以兼顾in-domain精度与OOD鲁棒；其六，在更大底座（SD-3.5-Large/FLUX）上验证下游增益是否放大。

复现评估

论文提供项目页与代码链接，VLM裁判（Qwen3-VL-8B/32B、Gemini-3-Flash）、底座（SD-3.5-Medium）、RL算法（Flow-GRPO）、基准（MMRB2、TIIF、UniGenBench++、PickScore、HPSv3）均为公开资源，种子数据仅需256对，复现门槛相对友好。关键超参已给出（liblinear C=1.0、Top-N、30th百分位、≤4次剔除）。但不足：附录F的完整实现细节、规则集全文、随机种子稳定性、完整算力账单需查代码与附录；Gemini-3-Flash为闭源，8B/32B版本复现成本可控但精度会打折；下游Flow-GRPO微调SD-3.5-Medium在多GPU上仍属中等算力需求，普通实验室可尝试但全量复现表1-3仍有门槛。整体可复现性中等偏上。

AutoRubric-T2I：面向文生图对齐的鲁棒规则奖励模型 AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment