CAPEval：面向理解与生成的解耦式图像描述质量评估基准 CAPEval: A Decoupled Caption Evaluation across Understanding and Generation
解耦图像描述的覆盖率与精度，发现理解靠覆盖、生成靠精度
前置知识
Coverage 覆盖率
覆盖率衡量一段候选描述（caption）试图提及的基准事实比例。在 CAPEval 中，每张图配有人工核验的原子化清单（平均约 50 条 yes/no 事实陈述），覆盖率定义为候选描述覆盖到的清单条目数（无论对错）除以清单总数再乘以 100。它刻画的是描述在语义层面'想写多少'，公式为 $C = 100(N_{yes}+N_{no})/(N_{yes}+N_{no}+N_{nm})$。
理解'覆盖率'是读懂本文核心结论'理解任务靠覆盖'的前提，它把'描述详尽程度'量化成了一个可比较的标量。
Precision 精度
精度衡量候选描述中被它实际提及的事实里有多少是正确的。判定模型把每条清单标为 yes（正确）、no（错误）或 not mentioned（未提及），精度定义为 $P = 100 N_{yes}/(N_{yes}+N_{no})$，刻画描述'写得准不准'，与覆盖率是两个正交维度。
本文另一个核心结论'生成任务靠精度'完全建立在精度的定义之上，它和覆盖率一起构成解耦评估的两根支柱。
LLM-as-judge 原子化清单评估
一种评估范式：把图像内容拆成大量原子化的二元判断（如'描述里是否提到紫色过山车轨道'），再用大语言模型作裁判（本文用 Qwen2.5-72B），仅依据候选描述文本（不看图）对每条做 yes/no/not-mentioned 标注。相比 BLEU/CIDEr 的字面匹配，它能判断语义层面的覆盖与事实正确性。
CAPEval 的两个指标都由这种裁判打分聚合而来，理解其工作方式才能判断结论是否可信。
两阶段视觉语言模型训练
主流 VLM（如 LLaVA 系列）通常分两阶段：第一阶段在图文对上训练视觉-语言投影器做模态对齐（本文用固定的 LLaVA 558K 预训练集）；第二阶段做指令微调（SFT），把描述作为唯一变量混入固定指令集。本文严格保持模型架构、图像池和优化配置不变，只换描述来源，从而隔离描述质量的影响。
本文'受控实验'的设计正依赖这种两阶段范式，否则无法把下游性能差异归因到描述质量。
普通最小二乘回归与 p 值
本文用 OLS 把每个描述器的下游分数对它的 Coverage 和 Precision 做线性回归 $U_{i,t} = \beta_{0,t} + \beta_{C,t} C_i + \beta_{P,t} P_i + \epsilon_{i,t}$，系数 $\hat{\beta}$ 表示某维度每升 1 分下游分数的预期变化；p 值在'该系数真实为 0'的原假设下衡量观测概率，p<0.05 通常被视为统计显著。
全文结论'理解靠覆盖、生成靠精度'都建立在系数符号与显著性上，看懂这张回归表才能判断结论是否站得住。
研究动机
在大规模图文语料（如 LAION-5B、DataComp）成为训练视觉语言模型（VLM）和文生图（T2I）模型的主监督信号后，'描述质量'本身已是一个显式的数据变量，会显著影响下游能力——ShareGPT4V、DALL-E 3、Qwen-Image 都验证了换更好的描述能带来可测收益。然而现有评估几乎都把描述质量压缩成单一标量：早期 BLEU、METEOR、CIDEr、CLIPScore 用字面重叠或图文相似度打一个分；近期的细粒度基准 DOCCI、DetailCaps、PerceptionRubrics、GAVEL、Unison 虽然用了原子化清单或评分准则，却仍把'描述写了多少（覆盖）'和'写得对不对（可靠）'揉进同一个分数里，没有解耦。这带来实务困境：当你要为 VLM 或 T2I 训练挑选/生成描述时，并不知道该追求'写得更全'还是'写得更准'。此外，旧基准分辨率偏低（MS COCO 约 640×640）、GT 描述很短（约 13–18 词）、清单稀疏（多数为 N/A），难以支撑细粒度诊断；而且几乎所有基准都把描述当作独立的生成产物来评，并不测量它作为训练监督到底有没有用。
本文的目标是本文要实现两个目标。第一，构建一个能把描述质量显式拆成两个正交维度的基准 CAPEval：Coverage（C）量化描述覆盖了多少基准事实、Precision（P）量化被覆盖的事实里有多少正确。基准采用高分辨率图像（最高 8000×6618）、长 GT 描述（平均 346 词）、密集人工核验的原子清单（平均约 50 条/图，共 14,965 条事实，覆盖 8 个语义维度）以支撑可靠打分。第二，更关键的是把'描述的内在质量'与'下游任务表现'端到端连起来：在固定图像池、固定模型架构、固定训练配置的前提下，只换描述来源这一个变量，跑两条 VLM 理解流水线和两条 T2I 生成流水线，再用 OLS 回归量化 C 和 P 分别对理解、生成分数的边际贡献及其统计显著性，从而给出'哪种任务该用哪种描述'的可操作结论。
与已有工作不同的是，本文抓住了一个被前人忽视的关键点：描述质量的'有用程度'不是绝对的，而是依赖下游目标的。此前的工作要么只看描述本身好不好（standalone），要么只用单一分数评判，从未把'覆盖'与'可靠'解耦并分别追问它们对不同任务的影响。CAPEval 同时做了两件此前没人合起来做的事——把质量拆成两个维度，又用严格受控的端到端训练把这两个维度和真实的下游性能挂钩。正是这种组合让作者发现了一个反直觉且可重复的规律：理解任务和生成任务偏好的描述维度恰好相反（覆盖 vs 精度），而且小模型只要 C-P profile 对路就能赢过更大的模型，由此把'描述评估'升级为'面向目标的描述效用评估'。
核心方法
可以用一句话概括直觉：把'描述好不好'这道单选题拆成两道独立题——'它写全了吗（Coverage）'和'它写对了吗（Precision）'，再分别去问'哪道题更影响 VLM、哪道题更影响 T2I'。技术路线是一条四阶段流水线：阶段一，人工标注高质量 GT 描述并拆解成原子化清单；阶段二，用裁判模型对每个描述器的候选描述逐条打标，算出每个描述器的 C 和 P；阶段三，把每个描述器生成的描述作为唯一变量，喂进固定的下游训练流水线，得到每个描述器的聚合理解分 U 和生成分 G；阶段四，对 10 个描述器拟合 OLS 回归，看 C 和 P 的系数符号与 p 值，判定哪个维度是显著的预测因子。整个设计的灵魂是'控制变量'——任何下游差异都被尽量归因到描述质量本身。
核心创新是'解耦 + 端到端受控'的组合，由此产生全文最重要的发现：描述质量对下游的影响是任务依赖且方向相反的。理解任务里 Coverage 是唯一显著的预测因子（如 SigLIP-Qwen3 上 $\hat{\beta}_C = +0.118$, $p = 0.026$），Precision 不显著（$p \geq 0.274$）；而生成任务恰好反过来，Precision 是唯一显著因子（SD3.5M 上 $\hat{\beta}_P = +0.189$, $p < 0.001$；Qwen-Image 上 $\hat{\beta}_P = +0.235$, $p < 0.001$），Coverage 不显著。这和已有方法'用单一分数排个序、谁高谁好'有本质区别：它告诉你该按目标选不同的描述属性。一个直接推论是 InternVL3.5 家族里最小的 1B 因 Coverage 更高（48.3 vs 46.5）反而理解分超过 8B（U=58.5 vs 57.3），打破了'模型越大描述越好用'的常识。
方法步骤详情
步骤一（基准构建）：选 300 张覆盖 4 大域的高清图，人工按 5 类维度写长描述并二审，再拆成跨 8 个语义维度的原子 yes/no 清单（约 50 条/图）。步骤二（打分）：用 Qwen2.5-72B 仅依据候选描述文本对每条清单打标为 yes/no/not-mentioned，按 $C = 100(N_{yes}+N_{no})/(N_{yes}+N_{no}+N_{nm})$ 与 $P = 100N_{yes}/(N_{yes}+N_{no})$ 聚合出每个描述器的 C、P。步骤三（受控训练）：理解侧用 CLIP-L/336+Vicuna-7B 与 SigLIP-SO400M/384+Qwen3-4B 两条流水线，第一阶段共享 558K 对齐集不变，第二阶段只在 1.2M 图像池上换描述、其余 665K 指令集与配置固定；生成侧在共享的 50K（SD3.5M）和 100K（Qwen-Image）子集上只换描述微调。步骤四（回归分析）：对每条流水线拟合 $U_{i,t}$（或 $G_{i,t}$）对 $C_i, P_i$ 的 OLS，报告系数与 p 值。
技术新颖性
新颖性体现在三处与已有技术的本质区别。第一，与 BLEU/METEOR/CIDEr/CLIPScore 等字面或相似度指标相比，CAPEval 用语义级原子清单，能区分'写了但写错'和'根本没写'，而这正是解耦覆盖与精度的前提。第二，与 DOCCI、DetailCaps、PerceptionRubrics、GAVEL、Unison 等同样用清单/准则的新基准相比，CAPEval 是首个把质量显式拆成 C 与 P 两个正交维度、而非揉成单一分数的；它的清单也更密（约 50 条/图 vs CapArena 约 36、多数旧基准为 N/A）、分辨率更高（最高 8000×6618 vs COCO 的 640×640）、GT 更长（346 词 vs 13–18 词）。第三，几乎所有前作都把描述当独立生成产物来评，CAPEval 是少数把'内在描述质量'通过严格受控的端到端训练直接接到'下游效用'上的，把评估从'描述好不好'升级成'描述对某任务有没有用'。
实验结果
核心发现可归纳为四点。其一，描述器 C-P profile 高度分化且与规模非线性相关：开源模型 Coverage 从 41.2 到 68.5、Precision 从 45.1 到 86.1，闭源 Gemini-3.1-Pro 两维都最高（C=80.2, P=82.5）。其二，规模不是效用的可靠代理：InternVL3.5 家族理解分排序 1B(58.5)>4B(57.5)>8B(57.3)，生成分排序 4B(71.6)>8B(71.0)>1B(70.1)，而 1B 恰好 Coverage 最高、4B 恰好 Precision 最高。其三，跨 10 描述器 OLS 证实任务依赖的非对称：理解侧 Coverage 显著（$\hat{\beta}_C=+0.118, p=0.026$），Precision 不显著；生成侧 Precision 高度显著（$\hat{\beta}_P=+0.189, p<0.001$），Coverage 不显著。其四，幻觉鲁棒性更受 Precision 驱动（$p=0.124$）而非 Coverage（$p=0.914$）。综合：理解要广覆盖、生成要高精度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VLM 理解（SigLIP+Qwen3 流水线） | Coverage 回归系数 / p 值 | $\hat{\beta}_C = +0.118$, $p = 0.026$（显著） | Precision $\hat{\beta}_P = -0.034$, $p = 0.274$（不显著） | Coverage 是理解任务的唯一显著预测因子，Precision 无额外解释力 |
| VLM 理解（CLIP+Vicuna 流水线） | Coverage 回归系数 / p 值 | $\hat{\beta}_C = +0.215$, $p = 0.047$（显著） | Precision $\hat{\beta}_P = -0.049$, $p = 0.445$（不显著） | 换一套视觉编码器/LLM 后结论一致，验证 Coverage 主导理解 |
| 文生图（SD3.5M） | Precision 回归系数 / p 值 | $\hat{\beta}_P = +0.189$, $p < 0.001$（高度显著） | Coverage $\hat{\beta}_C = +0.028$, $p = 0.322$（不显著） | 生成任务完全由 Precision 驱动，与理解任务方向相反 |
| 文生图（Qwen-Image） | Precision 回归系数 / p 值 | $\hat{\beta}_P = +0.235$, $p < 0.001$（高度显著） | Coverage $\hat{\beta}_C = -0.076$, $p = 0.171$（不显著） | 第二个生成流水线复现 Precision 主导，结论可推广 |
| InternVL3.5 家族规模对照（理解） | 聚合理解分 U | 1B：U=58.5，C=48.3 | 8B：U=57.3，C=46.5 | 最小的 1B 因 Coverage 更高反超 8B，证明规模非效用代理 |
| 幻觉鲁棒性（HallusionBench/POPE/AMBER 平均） | Precision 回归系数 / p 值 | $\hat{\beta}_P = +0.030$, $p = 0.124$ | Coverage $p = 0.914$（不显著） | 理解内部的幻觉更受 Precision 影响，提示少而准更抗幻觉 |
局限与改进
作者承认的与我自己观察到的局限叠加起来看：作者主要把结论限定在他们测试的 4 条流水线与 10 个描述器范围内，并未声称外推到任意架构。而我观察到几个更硬的约束。第一，样本量极小——回归只在 10 个描述器上做，自由度低，p 值对离群点敏感；几处被当作'显著'的结果其实处在 0.05 边缘（如理解的 $p=0.047$、幻觉的 $p=0.124$ 严格说并不显著），稳健性存疑。第二，C 与 P 都依赖单一裁判模型 Qwen2.5-72B 的判定，论文未报告裁判一致性（如与人工标注的一致率）或多裁判交叉验证，裁判本身的 yes/no 错误会直接污染两个指标。第三，清单只覆盖人工注意到的事实，描述里清单外的内容（包括幻觉但恰好没被清单捕捉的部分）无法计入 P，可能系统性低估错误。第四，OLS 假设线性且 C、P 之间可能存在共线性（图中显示二者非单调，但相关结构未报告），系数解释需谨慎。第五，基准只有 300 张图，统计代表性有限，且理解/生成下游只各测两条流水线，结论在更多架构上的普适性仍待验证。
独立分析的弱点
我的独立分析集中在三个具体场景。场景一：裁判单点失效。CAPEval 把 C/P 全部押在 Qwen2.5-72B 一个裁判上，若该模型在某些维度（如 World Knowledge 名实体的'是否正确'判断）系统性偏颇，整张回归结论都会偏。改进方向是引入多裁判投票（如 GPT-5.5、Gemini-3.1-Pro 交叉）并报告裁判间一致性 Kappa，对部分样本做人工复核校准。场景二：统计功效不足。只有 10 个数据点的 OLS 难以支撑强结论，尤其理解侧的 $p=0.047$ 与幻觉侧的 $p=0.124$ 都不够稳健。改进方向是扩大描述器集合（把 N 提到 30+）并用自助法（bootstrap）给出系数置信区间，而非只报单次 p 值。场景三：清单覆盖盲区。清单未涵盖的事实既不计入 C 优势也不计入 P 错误，等于奖励照着清单写、惩罚清单之外的正确细节。改进方向是允许裁判核验清单外的新事实，或引入开放式幻觉检出（如 GAVEL 的接地错误定位）。此外只测两条理解/两条生成流水线也限制外推，建议补充更多 backbone。
未来方向
作者明确提出的方向是把这套 task-aware 视角用于按目标做描述数据筛选与生成：给理解模型喂高 Coverage 描述、给生成模型喂高 Precision 描述。基于成果可延伸的方向有几条：一是把 C/P 从'事后打分'变成训练时的可验证奖励，类似 CapRL++/ClaimDiff-RL 的强化学习思路，直接用清单作 verifiable reward 来微调描述器、定向提升某一维度；二是扩展到视频描述与区域级描述（作者团队已有 MotionAtlas、region captioning 工作），验证'理解靠覆盖、生成靠精度'是否在时序/局部场景同样成立；三是研究 C 与 P 之间的最优权衡曲线——既然两者方向相反，是否存在一个帕累托最优的描述生成策略；四是把裁判替换为更强的多模态裁判或人工校准，并研究清单外幻觉的度量，补全 P 的盲区。
复现评估
复现门槛中等偏高，主要瓶颈在算力而非数据。基准本身相对开放：论文给出了完整的标注协议（Appendix A.4）、8 维清单 schema、逐维度统计（Table 2）、逐描述器 C/P（Table 3）和逐基准归一化分数（Table 4），并提供项目主页。裁判与指标部分用 Qwen2.5-72B 即可复算，无需额外训练。真正的难点是受控下游训练：理解侧要在 8×GPU 上跑两条流水线 ×10 个描述器（CLIP-Vicuna 约 14,900 步、SigLIP-Qwen3 约 29,800 步，ZeRO-3 + bf16），生成侧要微调 SD3.5M（50K 图）和 Qwen-Image（100K 图）各 10 次，论文给出了学习率、batch size、loss weight 等全部超参（Table 5、6），但这些训练体量对一般实验室是一笔可观开销。结论里那些接近 0.05 的 p 值也意味着，若硬件资源不足以完整复现 10×4 组实验，很难独立验证显著性。总体而言，指标和基准部分易于复现，回归结论部分需要较重算力。
论文图表
用 InternVL3.5 家族的对照（1B 在理解上赢 8B、4B 在生成上赢 8B）配上跨 10 描述器的回归方程，直观传达核心 take-away：更好的 Coverage 带来更好的理解，更好的 Precision 带来更好的生成，'更好的描述器 ≠ 更大的模型'。
这张图浓缩了全文最重要的反直觉结论，是判断论文价值的最快入口。
在最高分辨率、平均 GT 长度、平均清单条目数三个轴上，把 CAPEval 与 CapArena、NoCaps、Flickr30K、TextCaps、HAT、MS COCO、CaptionQA、HallusionBench、PRISM-Bench 等对比，CAPEval 在三项上均领先（8K 分辨率、346 词 GT、约 50 条清单）。
说明了为什么要造新基准：旧基准在分辨率/描述长度/清单密度上都偏弱，难以支撑细粒度的 C/P 诊断。