面向多模态大模型评判器的多任务强化学习框架 Multi-Task Reinforcement Learning for Enhanced Multimodal LLM-as-a-Judge
GRPO 多任务强化学习联合训练 MLLM 评判器，显著提升分布外泛化
前置知识
MLLM-as-a-Judge（多模态大模型评判器）
MLLM-as-a-Judge 是指将多模态大模型（MLLM）作为自动化评估器，用于判断图像质量、文图对齐、内容安全等属性。与基于参考的 BLEU、ROUGE、BERTScore 等传统指标不同，MLLM-as-a-Judge 可以处理开放式输出、与人类偏好对齐，但存在依赖提示工程、训练成本高、跨任务泛化差等局限。判断范式可分为逐点（pointwise，对单个图像输出 yes/no）和成对（pairwise，从两个候选中选优）两种。
理解 MLLM-as-a-Judge 是本文的语境基础。论文的核心问题就是这类评判器在工业部署中面临的多任务泛化瓶颈——通常一个评判器只在单一任务（如安全检测）上训练，难以处理异构的真实业务输入。
GRPO（Group Relative Policy Optimization）
GRPO 是 DeepSeek 等团队提出的强化学习算法，核心思想是为每个 prompt 采样 G 个候选输出（rollout），用这组输出的平均奖励作为基线（baseline），对每个候选进行相对优势估计。形式化地，对于 prompt $x$，策略 $\pi_\theta$ 采样 $\{o_1, ..., o_G\}$，其优势为 $A_i = (r_i - \text{mean}(r_1, ..., r_G))/\text{std}(r_1, ..., r_G)$。GRPO 不需要单独训练值函数（value function），降低了实现复杂度，是当前多模态推理模型 RL 训练的主流算法。
GRPO 是 MT-RL-Judge 的训练算法。论文选择 GRPO 是因为它无需值函数，在多任务 RL 中比 PPO 等算法更稳定；同时其采样-评估-归一化机制天然适配'先推理后判断'的格式约束训练。
SFT 与 RL 在判别任务上的差异
SFT（监督微调）通过最大化 $p_\theta(y|x)$ 的似然进行训练，本质是模仿输入-输出的统计相关性；RL 则通过奖励信号 $R$ 引导模型学习底层决策逻辑。在判别任务（如图像真伪判断）上，SFT 模型常出现'格式过拟合'——只在训练时见过的 prompt 模板上表现良好，无法泛化到新的任务形式；RL 模型则通过'先推理再回答'的格式约束，学习抽象的判别准则而非表层映射。
这是论文的关键论点之一。Table 3 显示 SFT-Unified 在 MJ-Bench 的成对比较任务上 F1 暴跌至 49.40（低于零样本基线的 73.07），而 RL 模型则保持 82.23，这一对比直接验证了 SFT vs RL 的判别泛化能力差异。
Macro-F1 指标
Macro-F1 是对各类别 F1 分数的算术平均，不受类别不平衡影响，适用于二分类任务的整体性能评估。计算公式为 $\text{Macro-F1} = \frac{1}{K}\sum_{k=1}^K \frac{2 \cdot P_k \cdot R_k}{P_k + R_k}$，其中 $P_k, R_k$ 是类别 $k$ 的精确率和召回率。本文所有判别任务（自然度、安全、对齐等）都是二分类，因此 Macro-F1 是合适的统一指标。
论文的主要实验指标。Table 2 和 Table 3 全部以 Macro-F1 报告，理解其计算逻辑有助于正确解读 SFT-Single 在 UnsafeBench 上达到 90.28 vs MT-RL-Judge 85.22 这一'反常'现象——可能源于 SFT 对该数据集特定模式的过拟合。
研究动机
随着多模态大模型（MLLM）被广泛用于生成视觉内容，工业级质量保障对自动评判器的需求急剧增长，但现有的 MLLM-as-a-Judge 框架在实际部署中暴露出三类严重问题。第一，提示工程方法（如 CoT、in-context 示例）对能力不足的模型效果差，对复杂任务往往无法通过提示传递足够领域知识；这迫使工业界采用任务特定的训练。第二，现有可训练评判器普遍是单任务专才——一个模型只会做安全检测，另一个只会做图像质量评估，每个都要单独维护、单独部署，难以处理真实业务中'一个输入同时需要多种评估维度'的混合请求。第三，也是最致命的缺陷：基于 SFT 的判别模型严重过拟合特定的 prompt 模板和任务格式。论文 Table 3 给出了一个惊人的证据——在逐点评估任务上训练的 SFT-Unified 模型，被放到成对比较任务（MJ-Bench）上时，安全性判别的 Macro-F1 从训练集的约 90 暴跌到 49.40，甚至低于零样本基线 73.07，这说明 SFT 模型学到的是'看到这个 prompt 模板就输出这个答案'，而非'理解什么是安全'。这种脆弱性使得现有方法无法适应业务需求快速变化的工业环境。
本文的目标是本文的核心目标是构建一个统一的、跨任务泛化能力强的 MLLM-as-a-Judge 框架。具体而言，作者希望同时实现三个目标：（1）效率——用单一模型处理多样化的判别任务，消除多模型部署的工程开销；（2）有效性——统一训练不牺牲甚至超过单任务专才的性能；（3）泛化能力——在训练时未见过的任务格式（如从逐点切换到成对评估）上仍保持稳定表现。作者在论文中宣称这是首个基于强化学习的统一多任务 MLLM 评判框架，旨在解决可扩展、可靠的工业级多模态评估瓶颈。
与已有工作不同的是，本文的独特切入角度是'多任务强化学习 + 推理先于答案'的组合。具体而言，三个关键差异点：（1）此前 RL 评判器的工作（如 Pi et al., 2025）都是单任务的，本文首次将 GRPO 与多任务统一训练结合，实现 $\theta^* = \arg\max_\theta \mathbb{E}_{(x,p,y)\sim D_{unified}}[R_{total}(M_\theta(x))]$ 这一全局优化目标；（2）奖励函数设计为 $R_{total} = (1-\alpha) \cdot R_{Acc} + \alpha \cdot R_{For}$ 的线性组合，同时鼓励格式合规和判断准确，迫使模型在生成最终答案前显式产出 reasoning trace；（3）作者特别强调在 MJ-Bench 上验证 OOD 泛化——这是现有 SFT-based 评判文献很少做的评估维度，揭示了 SFT 与 RL 在判别泛化能力上的本质差异。这一组合在论文公开时（arXiv 2603.*，Meta AI 投稿）尚未有同类工作系统性地研究。
核心方法
MT-RL-Judge 的整体思路可以这样理解：与其训练多个只会单一任务的判别模型，不如把多种判别任务（安全、对齐、质量、合理性、自然度等）统一收集成一个数据集 $D_{unified} = \bigcup_{k=1}^K D_k$，然后用一个共享的 MLLM 评判器联合训练。关键直觉是：判别任务之间存在共享的'底层评估准则'（如什么是合理、什么是安全），多任务联合训练能迫使模型学到这些通用原则而非任务特定的表面模式。技术路线上，作者选择 GRPO 作为 RL 算法，并设计了两部分奖励——格式奖励（确保输出符合 'reasoning + JSON 答案' 的结构）和准确性奖励（最终判断是否正确）。在每条 prompt 上采样 G=20 个候选输出，用组内相对奖励作为优势信号，跨任务累计梯度。这种'先推理再回答'的训练范式，迫使模型内化判别逻辑而非记忆 prompt-output 映射。
MT-RL-Judge 的核心创新在于将 GRPO 的多任务扩展与显式推理生成结合，形成了一种'抽象准则学习'的训练机制。与已有方法的本质区别有三：（1）vs SFT-Unified——后者用最大似然估计 $\mathcal{L} = -\mathbb{E}_{(x,p,y)\sim D_{unified}}[\sum_i \log p_\theta(y_i|x,p,y_{ 标签内先产出推理过程，再用 JSON 输出最终标签，\boxed{} 内才是答案；这种结构化约束是模型能够泛化到未见任务形式的关键，因为推理能力可以迁移，而特定的 prompt-output 映射则不行。
方法步骤详情
MT-RL-Judge 的方法步骤可分解为四步。第一步，数据聚合：将六个判别数据集（AGIN-Naturalness 4,839 训练样本、AGIN-Rationality 4,839、AGIN-Technical 4,839、SeeTrue 5,544、UnsafeBench 7,298、ImageReward 6,194）按约 8:1:1 大致划分为训练/验证/测试集，形成统一数据集 $D_{unified}$。第二步，SFT 预热（可选阶段）：用 LLaMA-Factory 在 Qwen3-VL-30B-A3B-Instruct 基础上做全参数微调，学习率 $1.0 \times 10^{-5}$，batch size 256，bfloat16 精度，Flash Attention 2，最大图像分辨率 4,194,304 像素；这一步让模型先学会任务的基础格式。第三步，GRPO 强化学习：用 EasyR1 框架，将 prompt 模板改为'先推理再 JSON 答案'格式（如 UnsafeBench 的 RL prompt 要求输出 `{"label": "Safe"}` 并放入 \boxed{}），每个 prompt 采样 N=20 个 rollout，组内归一化计算优势，全局 batch size 256，rollout batch size 512；奖励函数 $R_{total} = (1-\alpha) R_{Acc} + \alpha R_{For}$，其中 $R_{Acc}$ 是判断正确性（1.0/0.0），$R_{For}$ 是格式合规（1.0/0.0）。第四步，推理与评估：模型对未见 prompt 生成推理 + JSON 答案，提取 \boxed{} 内的标签与真值对比，计算 Macro-F1。整个流程的核心操作是把'准确率'与'格式合规'解耦为两个奖励分量，让模型分别优化推理质量和输出规范性。
技术新颖性
从技术新颖性角度看，MT-RL-Judge 做出了三个有意义的贡献。第一，将 GRPO 从单任务文本 RL 扩展到多任务多模态判别场景，并给出了完整的工程实现（EasyR1 框架、LLaMA-Factory 预训练、Qwen3-VL-30B 骨干），这一组合在本文发表时点尚属首次。第二，奖励解耦设计——将格式与准确性分开计算后线性加权——看似简单，但实际上解决了 RL 训练中常见的稀疏奖励问题（如果只有准确性奖励，模型可能通过产生空字符串或简化推理来快速满足），格式奖励提供了密集的中间信号。第三，最具洞察的贡献是发现了 RL 训练的'推理先于答案'机制带来的格式迁移能力：在逐点任务上训练，在成对任务上测试，SFT 失败而 RL 成功——这暗示了 RL 通过 reasoning trace 学习到的'判别概念'是任务无关的，而 SFT 学到的'格式-答案'映射是任务特定的。技术局限性在于：作者没有深入探讨 $\alpha$（格式奖励权重）的最优值，也没有分析推理链长度与最终性能的关系。
实验结果
论文的核心实验在六个判别任务（Table 2）和一个 OOD 测试集 MJ-Bench（Table 3）上展开，主要发现可总结为三点。第一，RL 普遍优于 SFT：RL-Single 在 5/6 任务上超过 SFT-Single，例如 SeeTrue 上从 80.41 提升到 83.41（+3.00），AGIN-Rationality 上从 78.08 提升到 82.71（+4.63），验证了 RL 驱动推理对判别质量的提升。第二，统一训练不降反升：SFT-Unified 在多数任务上超过 SFT-Single（例如 AGIN-Naturalness 从 78.64 升至 81.75，+3.11），证明多任务联合训练促使模型捕获跨任务共享的判别准则，防止单任务过拟合。第三，MT-RL-Judge 综合最佳：在 SeeTrue 上达到 83.67（最高）、AGIN-Technical 81.37、AGIN-Rationality 81.58，均优于 SFT-Unified 和 RL-Single；但在 UnsafeBench 上 MT-RL-Judge 为 85.22，略低于 SFT-Single 的 90.28，作者将其归因于 SFT 对该数据集特定安全模式的记忆。OOD 泛化（Table 3）是最具说服力的结果：MT-RL-Judge 在 MJ-Bench 的 Image-text Alignment 任务上达到 60.59（vs 零样本 59.41、SFT-Unified 55.82），Safety Judge 任务上达到 82.23（vs 零样本 73.07、SFT-Unified 49.40），后者 32.83 分的巨大差距是论文的关键卖点——SFT 在未见任务形式下出现灾难性退化，而 RL 保持了鲁棒性能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AGIN-Naturalness（图像是否自然/像真实照片） | Macro-F1 | 81.63 (MT-RL-Judge) | 78.64 (SFT-Single) / 67.99 (零样本) | +2.99 vs SFT-Single, +13.64 vs 零样本 |
| AGIN-Technical（图像技术质量） | Macro-F1 | 81.37 (MT-RL-Judge) | 77.04 (SFT-Single) / 63.24 (零样本) | +4.33 vs SFT-Single, +18.13 vs 零样本 |
| AGIN-Rationality（图像逻辑合理性） | Macro-F1 | 81.58 (MT-RL-Judge) | 78.08 (SFT-Single) / 64.77 (零样本) | +3.50 vs SFT-Single, +16.81 vs 零样本 |
| SeeTrue（图文对齐） | Macro-F1 | 83.67 (MT-RL-Judge) | 80.41 (SFT-Single) / 80.01 (零样本) | +3.26 vs SFT-Single, +3.66 vs 零样本 |
| ImageReward（图文对齐） | Macro-F1 | 64.97 (MT-RL-Judge) | 64.95 (SFT-Single) / 55.07 (零样本) | +0.02 vs SFT-Single, +9.90 vs 零样本（提升极小） |
| UnsafeBench（内容安全） | Macro-F1 | 85.22 (MT-RL-Judge) | 90.28 (SFT-Single) / 72.78 (零样本) | -5.06 vs SFT-Single（唯一一个 MT-RL 显著落后的任务）, +12.44 vs 零样本 |
| MJ-Bench OOD - Image-text Alignment（成对比较，OOD） | Macro-F1 | 60.59 (MT-RL-Judge) | 59.41 (零样本) / 55.82 (SFT-Unified) | +1.18 vs 零样本, +4.77 vs SFT-Unified |
| MJ-Bench OOD - Safety Judge（成对比较，OOD） | Macro-F1 | 82.23 (MT-RL-Judge) | 73.07 (零样本) / 49.40 (SFT-Unified) | +9.16 vs 零样本, +32.83 vs SFT-Unified（关键泛化证据） |
局限与改进
论文作者坦诚的限制较少，但通过仔细分析可观察到几个值得注意的问题。第一，UnsafeBench 上的性能下降：MT-RL-Judge 在该任务上 85.22 显著低于 SFT-Single 的 90.28，作者将其归因为 SFT 对训练/测试集共享模式（相同类型的安全标注指南）的记忆，但这一解释反过来也暗示 RL 模型的'抽象'可能是双刃剑——它丢掉了某些数据集特定的强信号。第二，ImageReward 上提升微弱：MT-RL-Judge 仅 64.97 vs SFT-Single 64.95，几乎没有改进，作者未给出详细分析，可能是该任务的标注噪声较大或评估指标天花板受限。第三，泛化评估的广度有限：MJ-Bench 是唯一一个 OOD 测试集，作者没有在更多任务形式（如评分回归、多分类、开放式问答）上验证泛化能力。第四，计算成本未充分讨论：30B 参数模型 + GRPO 的 20 个 rollout 意味着每个训练 step 需要 20 倍推理算力，论文没有给出具体的训练时长和硬件成本。第五，从我观察的角度，论文没有提供 reasoning trace 的长度/质量分析，无法判断模型的'推理'是否真的在解决问题，还是学到了某种 shortcut（如基于表面特征快速判断）。
独立分析的弱点
独立分析 MT-RL-Judge，可以识别出以下几个可改进的弱点。第一，奖励函数的简单线性组合：$R_{total} = (1-\alpha) R_{Acc} + \alpha R_{For}$ 缺乏对推理质量的细粒度评估，可能导致模型学会'冗长的套话推理 + 正确答案'的 hack；改进方向是引入推理步骤的忠实度奖励（如验证 reasoning 中的关键论点是否支撑结论）。第二，单一 $\alpha$ 超参数的脆弱性：作者未对 $\alpha$ 做消融研究，但格式与准确性的最优权衡很可能因任务而异（如安全任务可能需要更高 $\alpha$，对齐任务需要更低 $\alpha$）；建议改为任务自适应 $\alpha_k$ 或在奖励中引入动态权重。第三，UnsafeBench 上的失败模式未分析：MT-RL-Judge 在该任务上落后 5 分，但没有 case study 说明是哪些类型的图像被错判，是模型的过度抽象导致无法识别特定攻击模式，还是 reasoning chain 引入了错误推理。第四，缺少人工评估：所有结果都用 Macro-F1 这种自动指标，但工业部署中评判器的可解释性同样重要——用户需要看到 reasoning 才能 trust 判断。第五，30B 骨干 + GRPO 的训练成本过高：每个 prompt 20 个 rollout + 30B 参数使得该方法在中小机构难以复现；建议探索 7B/13B 规模下能否保持泛化能力，或使用 LoRA/PEFT 降低训练成本。
未来方向
作者在论文结尾提出了一些未来方向（如扩展到更多任务、更多模态），基于本文成果还可以延伸多个方向。第一，作者提出的方向：将方法扩展到成对/列表式比较、开放式评语生成、视频质量评估等更多任务形式；探索其他 RL 算法（如 DPO、KTO）作为 GRPO 的替代。第二，可延伸的研究：（1）推理质量度量——研究如何自动评估 MT-RL-Judge 生成的 reasoning chain 的逻辑一致性，可以用更强 LLM 作为评判器做元评估；（2）任务自适应权重——将 $\alpha$ 从全局超参改为任务条件动态值，让模型在简单任务上更看重准确性、复杂任务上更看重推理；（3）奖励模型组合——除了格式和准确性，可以加入校准奖励（confidence calibration）、公平性奖励（跨子群体的性能一致性）、多样性奖励（避免 mode collapse）；（4）多模态扩展——当前框架主要用于图像判别，可以扩展到视频、音频、3D 等模态的判别；（5）在线学习——部署后持续用用户反馈微调，让评判器随业务演化；（6）理论分析——通过 probing 研究 RL 训练前后模型内部表征的变化，理解为什么 RL 比 SFT 更容易学到可迁移的判别逻辑。
复现评估
复现性方面，论文给出了相对完整的工程信息，但仍存在几个门槛。优势在于：（1）骨干模型 Qwen3-VL-30B-A3B-Instruct 是公开开源的，可直接从 HuggingFace 下载；（2）训练框架 LLaMA-Factory 和 EasyR1 均为开源项目，复现者可以直接使用；（3）所有使用的数据集（AGIN、SeeTrue、UnsafeBench、ImageReward、MJ-Bench）均为公开学术数据集；（4）超参数（Table 4、Table 5）详细列出，包括学习率 $1.0 \times 10^{-5}$、batch size 256、rollout N=20、最大图像分辨率 4,194,304 像素等。挑战在于：（1）30B 模型的 SFT 全参数微调需要至少 8 块 A100 80GB GPU，GRPO 阶段因为 20 个 rollout 进一步需要更多显存或使用 LoRA；（2）GRPO 训练的实际时长论文未提及，可能需要数周；（3）作者未明确说明 $\alpha$、GRPO 的 KL 系数等关键 RL 超参的具体取值；（4）数据预处理细节（如图像如何 resize、prompt 模板如何拼接）需要从 LLaMA-Factory/EasyR1 配置中推断；（5）论文没有公开训练好的 checkpoint 链接（截至 v2）。总体复现难度较高，主要瓶颈是算力和工程实现，而非算法本身。
论文图表
SFT 阶段的超参数配置表：bfloat16 精度、学习率 $1.0 \times 10^{-5}$、权重衰减 $1.0 \times 10^{-5}$、AdamW 优化器、batch size 256、最大图像分辨率 4,194,304 像素（约 2048×2048）。
虽然是一个配置表，但对复现至关重要——这些数字决定了 SFT 阶段是否能成功预热，为后续 GRPO 提供一个合理的起点。学习率 $10^{-5}$ 和 batch size 256 是 LLaMA-Factory 推荐的标准配置之一，复现者需要严格遵循。
RL 阶段的超参数配置表：bfloat16 精度、AdamW 优化器、全局 batch size 256、rollout batch size 512、rollout N=20（即每个 prompt 采样 20 个候选）、最大图像分辨率 4,194,304 像素。
GRPO 训练的核心超参都在这张表中，特别是 rollout N=20 直接决定了 GRPO 组内优势估计的方差——N 过小会导致优势估计噪声大，N 过大会增加显存和计算成本。这是理解论文训练成本的关键信息。
这是 SFT 阶段用于安全检测任务的 prompt 模板，扮演内容审核专家角色，列举了暴力、成人内容、仇恨符号等不安全类别，要求模型只输出一个单词 'Safe' 或 'Unsafe'，不提供任何解释。
理解 SFT prompt 对照 RL prompt 可以看出'推理先于答案'机制的引入方式。SFT prompt 是直接的问答格式，而对应的 RL prompt（图 7）强制要求 <thinking>...</thinking> 标签内的推理过程和 JSON 输出格式，对比阅读可以直观感受论文的核心创新——格式约束带来的格式迁移能力。
这是 RL 阶段用于安全检测任务的 prompt 模板，在 SFT 基础上要求模型首先在 <thinking>...</thinking> 标签内写出推理过程，然后输出 JSON 格式 {"label": "Safe"} 或 {"label": "Unsafe"}，最终答案必须放在 \boxed{} 内。
这是论文'推理先于答案'格式约束的典型示例，与图 1 的 SFT prompt 形成鲜明对比。通过比较这两个 prompt，复现者可以精确理解 RL 训练时模型的输出结构约束，这是 GRPO 奖励计算（特别是格式奖励 $R_{For}$）所必需的格式定义。