视觉美学基准：前沿模型能评判美吗？ Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty?
提出 VAB 基准：把美学判断改为同主题集合比较，揭示前沿模型距人类专家仍有 42.4 点巨大差距。
前置知识
多模态大语言模型 (MLLM)
MLLM 是在大语言模型基础上扩展视觉输入的模型，能同时处理图像和文本，常见代表有 GPT-5、Gemini-3-Pro、Claude Sonnet 4.6、Qwen3.5 等。给定一张或多张图和文本提示，模型输出自然语言回答或选择题答案。本文 VAB 的核心评估对象就是 20 个前沿 MLLM 是否能在候选图像集合中选出最佳与最差。
理解 MLLM 才能看懂 VAB 测评目标：到底当前最强模型在「比较图像质量」这件事上能不能接近人类专家水平。
图像美学评估 (IAA) 与奖励模型
IAA 是预测单张图像美学分数（通常是 0–10 的标量）的任务，经典数据集如 AVA、AADB。专用 IAA 奖励模型如 Q-Align、ArtiMuse、PEAS、Q-Instruct 沿用这一范式：给每张图独立打分，再从分数反推偏好。VAB 指出的关键问题是「分数排序 ≠ 直接比较得到的排序」。
VAB 把任务从「打分」改成「成组比较」，需要先理解旧范式为什么「打 8.5 分」和「我更喜欢 A」不能等价，才能体会 VAB 设计动机。
Kendall's τ 与 McNemar 检验
Kendall's τ 是衡量两个排序一致性的统计量，$\tau = (C-D)/\binom{n}{2}$，其中 $C$、$D$ 分别为一致对与不一致对数量，取值 $[-1,1]$，越高表示两个排序越吻合。McNemar 检验是比较两种二分类标注方案在相同样本上是否系统性不同的配对卡方检验。本文用 Kendall's τ 衡量同一标注者「打分序」与「直接比较序」是否一致，用 McNemar 检验比较两种标注协议在最佳/最差标签上的统计差异。
理解这两个统计量是读懂人类研究表格的基础；τ 值低说明同一人的两种标注方式互相矛盾，直接质疑了「打分标签」的有效性。
LoRA (Low-Rank Adaptation) 微调
LoRA 是一种参数高效微调方法，冻结预训练权重 $W$，只训练低秩分解 $W + BA$ 中的 $B \in \mathbb{R}^{d \times r}$ 和 $A \in \mathbb{R}^{r \times k}$，$r$ 远小于 $d$。本文用 rank=64、$\alpha=128$ 对 Qwen3.5-35B-A3B 做 LoRA 微调，冻结视觉塔，只更新多模态投影层。
VAB 用 2000 条专家示例做轻量 LoRA 微调就能让 35B 模型追平 397B 模型，是论文「知识可迁移」结论的关键技术支撑。
Top-k 准确率与 pass^k 指标
Top-1 是候选集合中选出最佳图的准确率；TB-1 (Top-Best & Worst 1) 是同时正确选出最佳与最差的准确率。ap@1 是同一任务在三次随机排列下的平均准确率，pass^3 要求三次全部正确才记 1 分，等价于几何一致的鲁棒性指标。
VAB 设计了 ap@1 与 pass^3 双重指标，后者专门暴露模型对「候选顺序」的脆弱性，是 VAB 区别于普通选择题评测的关键。
研究动机
现有图像美学数据集和评测体系长期把美学判断压缩成「单图 → 标量分数」的回归问题，代表性资源包括 AVA（25 万张图 + 平均分）、AADB、AVA-Reviews、TAD66K、PARA 等。这种范式存在三层系统性缺陷：其一，偏好顺序是从独立分数反推的，而非通过直接比较测量；其二，众包平均的标签混淆了「专家判断、业余品味、标注噪声」三种成分，美学信号难以分离；其三，常见数据集中不同图往往描绘完全不同的主体（人像、风景、动物），模型可以通过「更喜欢某种内容」作弊来获得高分，而非真正辨别 execution quality（构图、色彩、执行等制作质量）。VAB 在 8 名专家标注者上做的对照实验直接量化了这些缺陷：在同主题任务中，打分得到的排序与同一标注者直接比较得到的排序 Kendall's τ 平均仅 0.188，Top-1 自洽率仅 45.5%，即近一半的数值分数无法还原标注者自己直接比较时的真实偏好。
本文的目标是构建第一个「以集合为基本单位、以专家共识为标签、以多域覆盖、且对候选顺序鲁棒」的视觉美学基准 VAB，定量度量前沿 MLLM 与人类专家在「相对美学判断」上的真实差距。VAB 共有 400 个任务、1,195 张图，覆盖 fine art、photography、illustration 三个领域、24 个主题，候选集大小 2–6 张图。评测同时报告 Top-1（只选最佳）与 TB-1（同时选最佳与最差），并在 3 次独立随机候选顺序下报告 ap@1 与 pass^3，用以直接暴露模型的位置敏感性与决策不稳定。
与已有工作不同的是，本文的独特切入角度是把「标注协议」本身作为研究对象。先用 8 人对照实验证明「直接比较比独立打分更可靠」——在同主题任务中，ranking 协议把标注者间在 best label 上一致性提升 42 个百分点，worst label 提升 37 个百分点，best&worst 同时一致提升 51.3 个百分点（p < 0.001），且 top-1 选择熵从 1.213 降至 0.729，一致任务率从 0.8% 上升到 10.1%（Wilcoxon $p = 1.7 \times 10^{-15}$）。基于这一发现再设计基准，从而让「评判美的能力」从「拟合一个标量」变成「在一组匹配主题的候选中做出专家对齐的选择」。这一视角把美学评测从 IAA 范式升级为「比较式高阶多模态推理」，也回应了 MMMU、MM-Vet 等通用基准对「主观判断」长期空缺的问题。
核心方法
直觉上，VAB 的方法论可以类比为「让模型当专业评委」：与其让评委背对背给每幅画打一个 0–10 分，再把分数拼成排名（这显然会被「内部参考标尺不稳定」「跨主题不可比」两个问题困扰），不如把若干主题相同的画作并排挂在一起，让评委在同一视野下直接做比较判断。技术路线分四步：（1）按领域（fine art / photography / illustration）构建「同主题候选集」：fine art 通过 426 个受限 prompt 委托艺术家创作 1,142 张画作，photography 通过 expert-edit（摄影师用 Photoshop / Lightroom 精修）和 agent-edit（ArtiMuse 评审 + GPT-5 生成改进/退化指令 + Gemini-3-Pro-Image 输出图像）两条管线生成 670 套共 1,809 张，illustration 通过文本到图像模型（Midjourney v7、Pixellab、LlamaGen）和 CC0 3D 资产多视角渲染生成 271 套共 908 张；（2）专家评审：每套候选集交由 10 名独立专家（来自 100+ 评审池，总计 1.3 万+ 评估、300+ 小时）在 rubric 指导下直接比较并选出最佳/最差；（3）共识过滤：基于均匀随机零假设按候选集大小 $k$ 设置统计置信阈值（$k=2$ 仅需 best 命中，$k\geq 3$ 要求 best 与 worst 同时命中），只有超过阈值的任务被保留为最终 400 个 benchmark 任务；（4）评测：把每条任务在 3 次独立随机排列下输入模型，要求同时输出最佳与最差（TB-1），再按 ap@1 / pass^3 双指标汇总。
VAB 与已有方法最本质的区别在于把评测的「最小单位」从「一张图」换成「一组同主题图」。已有美学数据集和奖励模型沿用「image → scalar」的回归范式，无论用 NIMA、Q-Align 还是 ArtiMuse，本质都是对单图独立打分，再用分数反推偏好；VAB 反过来，把比较判断做成模型的直接输出，标签直接由专家成组比较产生，且要求 best/worst 双标签必须独立满足共识阈值。这带来三个连锁效应：（a）模型不能再用「内容偏好」作弊——同主题意味着主体一致，必须真的辨别构图、色彩、笔触、瞬间等制作质量差异；（b）评测自动覆盖「比较推理」能力，而非「内部参考尺度」能力；（c）3 次随机排列 × ap@1 / pass^3 双指标可量化模型对位置和决策路径的脆弱性。结果上，Q-Align 等顶级奖励模型 Top-1 准确率 52.2% 与最强 MLLM 55.4% 表面接近，但本质不是 like-for-like：MLLM 是「直接比较」，奖励模型是「独立打分再排序」，前者更接近人类「并排比较」的认知机制（Thurstone 1927; Parducci 1965）。
方法步骤详情
步骤一：原始数据池构建。fine art 委托艺术家在受限 prompt 下创作，photography 启动 expert-edit（专业摄影师用 Photoshop / Lightroom 对单张源图做重组、调色、扩展得到 better variant）和 agent-edit（先用 ArtiMuse 对源图出 critique，再让 GPT-5 据此生成 improvement / degradation 两条 prompt，最后用 Gemini-3-Pro-Image 即 Nano Banana Pro 跑出 better / worse 变体），illustration 用 Midjourney v7、Pixellab.ai、LlamaGen 等 text-to-image 模型生成，以及对 CC0 3D 资产做多视角渲染；总计 1,367 个原始任务、3,859 张图（fine art 426/1,142，photography 670/1,809，illustration 271/908）。 步骤二：去重与语义一致性审查。每个候选集内图必须共享主体，再由审查员剔除 near-duplicate 和语义不一致的组。 步骤三：专家标注。每组交给 10 名独立专家（盲于艺术家身份）按 domain-specific rubric（fine art 看构图/色彩/笔触/完成度/整体表达，photography 看构图/光线/焦点/色调/瞬间情绪，illustration 看焦点/造型/色彩/完成度/风格一致性）做两阶段判断：先对每张图评估 rubric，再做整组比较。$k=2$ 时只选 best；$k\geq 3$ 时强制 best 与 worst 是不同图。10 名专家判断通过统计置信阈值过滤（按均匀随机零假设下不应出现的击中率设定），只有当最佳（与最差）票数同时超过阈值的任务保留。 步骤四：构造最终基准。过滤后保留 400 个任务、1,195 张图，分布为 fine art 161/458、photography 139/389、illustration 100/348；候选集大小分布 $k=2$: 165，$k=3$: 111，$k=4$: 89，$k=5$: 34，$k=6$: 1。 步骤五：模型评测。每个任务在 3 次独立随机候选顺序下提示 MLLM（闭源 16 个 + 开源 4 个，含 Claude Haiku/Sonnet/Opus 4.5/4.6 系列、Gemini 3 Flash/Pro/3.1 Pro、GPT-4.1/5/5.1/5.1 Codex/5.2、o4-mini、Doubao Seed 2.0 Pro、Grok 4.1 Fast、GLM-4.6V、Kimi K2.5、Qwen3-VL-235B-A22B、Qwen3.5-397B-A17B），分别输出 best（或 best+worst）；对 6 个奖励模型（ArtiMuse、PEAS-aes、PEAS-ava、Q-Align、Q-Instruct、RealQA-ava），按其官方接口对每张图独立打分 3 次取平均，再在组内排序。报告 Top-1/TB-1 在 ap@1 / pass^3 下的整体与分域（Fine Art / Photography / Illustration）准确率。
技术新颖性
技术新颖性体现在四个层面。第一，标注协议上的新颖：用 8 人对照实验直接量化「打分序 vs 直接比较序」的不一致（τ 仅 0.188、SC rate 45.5%），首次用统计证据论证「美学标注应优先使用 ranking」；并以 10 人共识 + 统计阈值过滤构造「专家级 ground truth」，相比众包平均更接近真实人类专业判断。第二，任务形式上的新颖：把评测粒度从单图回归改为集合级选择，且强制 best/worst 双标签独立成立（TB-1 设定），让模型无法用「内容偏好」作弊。第三，评测协议上的新颖：在 3 次独立随机候选顺序下报告 ap@1 与 pass^3，专门暴露「位置偏差」与「决策不稳定」——例如 Claude Sonnet 4.6 在 TB-1 下从 ap@1 40.6% 跌到 pass^3 26.5%，相当于 65% 的稳定性。第四，训练信号上的新颖：把同一管线额外标注 2,000 条训练样本，用 LoRA（rank 64、$\alpha=128$，lr $1\times 10^{-4}$，3 epoch，cosine schedule）微调 Qwen3.5-35B-A3B 得到 KALLISTI-35B-A3B，Top-1 pass^3 从 25.5% 升到 29.5%，且接近 397B 模型 29.8%，证明「专家比较信号」可通过轻量适配高效迁移。
实验结果
在 26 个被评测系统上，VAB 暴露了一致的、可量化的「专家差距」。 （1）整体差距。最强 MLLM Claude Sonnet 4.6 在最严格的 TB-1 pass^3 指标下仅 26.5%，比人类专家 68.9% 低 42.4 个百分点；在稍宽松的 TB-1 ap@1 下，最强模型 Doubao Seed 2.0 Pro 达 42.8%，仍比专家低 26.1 个百分点；即使最宽松的 Top-1 ap@1，最强 MLLM 55.4% 也比人类 77.7% 低 22.3 个百分点。这说明「在最公平最宽松的指标下模型刚刚及格，在严格指标下基本失败」。 （2）家族进展不均。Claude Sonnet 4.5 → 4.6 在 TB-1 pass^3 上从 14.5% 跃升到 26.5%（接近翻倍），Claude Opus 4.5/4.6 也在 20% 左右；Gemini-3-Pro/3.1-Pro 分别 22.0% 和 22.2%，进步温和；GPT-5 系列反呈下降趋势：GPT-5 21.8% → GPT-5.1 20.0% → GPT-5.2 15.5%，新一代模型反而更弱。闭源与开源差距在严格指标下显著：最强开源 Qwen3.5-397B-A17B 仅 17.2% TB-1 pass^3，比 Claude Sonnet 4.6 低 9.3 点。 （3）领域难度差异。Illustration 最难（Claude Sonnet 4.6 仅 19.0% TB-1 pass^3），photography 最易（o4-mini 30.2%），fine art 居中。分主题看 sports 等小样本任务在 100% 样本被部分模型命中（Claude/Gemini 在 sports 1 任务上 100%），但 night & astro 之类样本仅 2–6 个的话题各模型波动剧烈（0% 到 100% 不等），暴露小样本的脆弱性。 （4）顺序敏感性。ap@1 到 pass^3 几乎腰斩，例如 GLM-4.6V TB-1 从 34.1% 跌至 11.5%，Sonnet 4.6 TB-1 从 40.6% 跌至 26.5%；平均模型只保留 34%–65% 的 ap@1 准确率才能在三次随机顺序下全部答对。 （5）候选集大小。TB-1 pass^3 上，最强模型从 $k=2$ 的 47.3% 跌到 $k=4$ 的 6.7%（7.1× 衰减），人类则从 87.1% 跌到 43.6%（仅 2.0× 衰减），差距随候选数扩大而放大。 （6）奖励模型对照。Q-Align 最强，Top-1 52.2% / TB-1 38.2%，与 MLLM 在 Top-1 上接近但不可同质比较；Q-Instruct 在 Bot-1（只选最差）上 51.5% 整体 / 77.0% 摄影，但 Top-1 仅 38.5% / 43.9%，说明「检测失败」比「识别最佳」更易，是非对称失败模式。 （7）微调迁移。KALLISTI-35B-A3B（35B）通过 2,000 条专家 LoRA 微调：Top-1 ap@1 47.5% → 51.3%（+3.8）、Top-1 pass^3 25.5% → 29.5%（+4.0）、TB-1 ap@1 36.5% → 38.8%（+2.3）、TB-1 pass^3 15.8% → 17.5%（+1.7）；在 Top-1 pass^3 上 29.5% 已逼近 Qwen3.5-397B-A17B 的 29.8%，约 10× 参数缩小的模型可借轻量适配逼近大模型。 （8）解码与温度。把温度置为 0（greedy）平均提升 Top-1 pass^3 1.1 点、TB-1 pass^3 2.3 点，说明解码噪声贡献部分误差但不解释主差距。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VAB Overall TB-1 pass^3 (全领域严格指标) | best&worst both correct under 3 permutations | Claude Sonnet 4.6: 26.5% | Human Expert: 68.9% | −42.4 点（模型仍远低于人类） |
| VAB Overall TB-1 ap@1 (全领域宽松) | best&worst avg under 3 permutations | Doubao Seed 2.0 Pro: 42.8% | Human Expert: 68.9% | −26.1 点 |
| VAB Overall Top-1 ap@1 | best-image avg under 3 permutations | Gemini-3-Pro: 55.4% | Human Expert: 77.7% | −22.3 点 |
| VAB Fine Art TB-1 pass^3 | best&worst pass^3 | Doubao Seed 2.0 Pro: 32.9% | Human Expert: 74.7% | −41.8 点 |
| VAB Photography TB-1 pass^3 | best&worst pass^3 | o4-mini: 30.2% | Human Expert: 72.4% | −42.2 点 |
| VAB Illustration TB-1 pass^3 | best&worst pass^3 | Claude Sonnet 4.6: 19.0% | Human Expert: 54.4% | −35.4 点 |
| Candidate set size degradation (TB-1 pass^3, k=2 vs k≥4) | ratio of pass^3 | Sonnet 4.6: 47.3% → 6.7% (7.1× drop) | Human: 87.1% → 43.6% (2.0× drop) | 模型退化幅度是人类 3.5× |
| Reward model Top-1 | best-image accuracy | Q-Align: 52.2% | Human Expert: 77.7% | −25.5 点 |
| KALLISTI LoRA fine-tuning (Top-1 pass^3) | best-image pass^3 | KALLISTI-35B-A3B: 29.5% | Qwen3.5-35B-A3B (base): 25.5% | +4.0 点，且逼近 Qwen3.5-397B-A17B 29.8% |
| Human study: ranking vs scoring (homogeneous-content) | inter-annotator accbest&worst | Ranking: 90.8% | Scoring: 39.5% | +51.3 点（p < 0.001, McNemar） |
局限与改进
作者明确承认：（1）领域覆盖有限，目前仅 fine art / photography / illustration 三个大类 24 个主题，没有覆盖电影分镜、工业设计、UI/UX、建筑空间等同样需要「比较式审美」的领域；标注者多样性也限于 100+ 评审池，可能存在文化和训练背景偏置。（2）候选集大小 $k$ 分布偏小（$k=2$ 占 165/400，$k=6$ 仅 1 个），大集合的统计数据可信度低，且模型在 $k=5,6$ 上几乎全败，难以判断「6 张以上比较」是否在原理上不可解。（3）评估指标 pass^3 要求三次完全一致，区分度过强，可能让本身正确率高但回答风格多变的模型受罚。（4）VAB 自身用作「专家 ground truth」，但专家自身一致性也只在 90% 区间（accbest 95.0%、accworst 92.4%），并非绝对真理。 我自己观察到的额外局限：（a）所有图像是「主题匹配」但「执行差异」是人工合成或 AI 改图产生的，可能带有「制作痕迹」会让模型利用低层统计线索（如噪声模式、压缩痕迹）作弊；（b）illustrate 域大量使用 Midjourney / LlamaGen 等生成图，模型对生成图的判断力可能受训练数据同源问题影响；（c）fine-tuning 仅在 Qwen3.5-35B-A3B 上实验，结论「比较信号可迁移到轻量模型」是否在更小（如 7B）或更大规模模型上同样成立尚待验证；（d）实验未深入分析 prompt 敏感性与图像分辨率/尺寸归一化策略，模型表现差异是否部分来自预处理而非美学判断本身，也未排除。
独立分析的弱点
（1）候选顺序敏感性是 VAB 揭示的最尖锐弱点——模型在 pass^3 下只保留 34%–65% 的 ap@1 准确率，说明模型确实在「位置而非内容」上做决策。可改进方向：在 prompt 阶段强制多视角/多顺序投票集成，或在 reward model 训练中显式加入 permutation-augmented loss，让模型在内部做位置不变性归一化。（2）Illustration 域最差，Claude Sonnet 4.6 仅 19.0% TB-1 pass^3，原因是 illustration 候选集普遍为 4 张（Concept Art 22 任务、Pixellab 21 任务、Stylized 3D 11 任务、Digital & AI Art 23 任务），且大量使用 AI 生成图，模型可能把 AI 痕迹与「美学差」混淆。可改进方向：构建更细的 illustration 主题（区分日式漫画与美式漫画、像素艺术与矢量艺术），并在 rubric 中明确禁止对「是否 AI 生成」做判断。（3）GPT 系列出现回退（GPT-5 21.8% → GPT-5.2 15.5%），说明「通用 RLHF 训练」可能反而损害美学比较这种「主观、相对、文化敏感」任务的能力。可改进方向：在通用 RLHF 后专门加入「comparative preference」微调阶段，让模型在「A vs B 选 X」分布上重新对齐。（4）评估协议只对每个任务做 3 次随机排列，没有「位置平衡」「难度梯度」设计。可改进方向：把 3 次随机改成「固定 6 个排列的完整覆盖」，并按位置（首、中、末）报告子指标，量化位置偏差的统计特征。（5）bot-only 与 top-only 准确率不对等（如 Q-Instruct Bot-1 51.5% / Top-1 38.5%）说明任务可拆解；可改进方向：把 TB-1 拆为 Bot-1 与 Top-1 两阶段，对模型分别优化「识别最差」与「识别最佳」两个能力。
未来方向
作者明确点出的方向包括：扩大领域（其他文化、其他艺术形式）、扩大标注者多样性（跨文化、跨审美传统的专家池）、提升对候选顺序排列的鲁棒性、把 2,000 条训练样本扩展到更大规模的专家比较语料。 基于成果可延伸的方向：（a）把 VAB 的「同主题+多版本+共识标签」范式扩展到视频、3D 场景、网页/UI 设计等更广泛的多模态比较任务；（b）把 VAB 的 35B LoRA 微调结果（KALLISTI）作为起点，验证在 7B/13B 模型上是否仍能保持「轻量适配逼近大模型」效应；（c）用 VAB 作为「美学 reward」信号微调图像生成模型（如 Midjourney / SDXL），看是否能反哺生成质量；（d）把 VAB 与 GEB（人类偏好 benchmark）做 joint 训练，看「专家比较」与「用户偏好」信号是否互补；（e）扩展到 6 张以上候选集的真实评委场景（如电影/产品 final round），检验模型在 8–10 张候选下是否仍存在 7.1× 衰减。
复现评估
复现难度：低-中。（1）代码与数据完全开源：GitHub `BakeLab/Visual-Aesthetic-Benchmark`、HuggingFace 数据集同名、Project page `vab.bakelab.ai`，三方齐备；（2）评测方法简单——3 次随机顺序 + ap@1/pass^3 双指标 + 简单 prompt（在附录 H.3 公开），无复杂推理管线；（3）模型部分为闭源 API（Claude/Gemini/GPT 等 16 个），需付费调用，但开源模型 4 个（GLM-4.6V、Kimi K2.5、Qwen3-VL-235B-A22B、Qwen3.5-397B-A17B）足够做主结论复现；（4）数据构造部分复现成本高：1,142 张委托艺术品、1,809 张摄影图（含 188 套 agent-edit + 92 套 expert-edit 摄影主题）需要艺术家、专业摄影师、agent pipeline（ArtiMuse + GPT-5 + Nano Banana Pro），但最终 benchmark 任务和图像可直接下载使用；（5）微调实验极轻量：单卡 35B LoRA（rank 64, $\alpha=128$, 3 epoch, lr $1\times 10^{-4}$）即可在合理时间内复现。整体而言，「复现评测指标」很容易，「复现数据集构造」是主要门槛。
论文图表
