ProEval：面向生成式AI评估的前瞻性失效发现与高效性能估计框架 ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation
用预训练高斯过程与迁移学习把性能估计和失败发现统一为贝叶斯优化问题。
前置知识
高斯过程 (Gaussian Process, GP)
GP是函数空间上的概率模型，把未知函数 $f$ 视为无限维高斯分布，由均值 $\mu(x)$ 与核 $k(x,x')$ 刻画。输出预测 $\mu_t(x)$ 与不确定性 $\sigma_t(x)$，后验解析可求。
ProEval全部方法都建立在GP之上：性能估计的高斯观测模型、超水平集采样的概率准则、BQ估计方差的解析式推导，全部依赖GP核函数 $k(x,x')$ 的线性结构与Sherman-Morrison快速更新。不理解GP就无法理解"为什么ProEval能用1-27个样本达到1% MAE"。
贝叶斯二次积分 (Bayesian Quadrature, BQ)
BQ把积分 $S=\int f(x)p(x)dx$ 视为随机变量。当 $f\sim\mathcal{GP}$ 时，方差 $\mathbb{V}[S|\mathcal{D}_t]\approx\frac{1}{M^2}\sum k_t(x_j,x_{j'})$ 解析可求，支持主动选最小化方差的输入。
BQ是ProEval性能估计的数学骨架。文章证明在历史模型 $N\gg t$ 的条件下，基于预训练GP的BQ估计器 $\hat S_t$ 是无偏且有界的。读者必须理解BQ与简单Monte Carlo平均的本质区别——后者无法给出估计不确定性，而BQ通过方差解析式天然支持"最少样本达成目标误差"的主动采样。
超水平集采样 (Superlevel Set Sampling)
超水平集 $X_\lambda=\{x\mid f(x)\geq\lambda\}$ 刻画模型失败区域。概率版 $X^\beta_\lambda=\{x\mid \mu_t+\beta\sigma_t\geq\lambda\}$，$\beta$ 控制置信度。获取函数同时鼓励落入失败区与探索。
超水平集是ProEval失败发现部分的方法论核心。SS、SS-Gen、TSS三种策略层层递进：先在静态池中检索、再让LLM基于锚点合成、最后引入topic bandit强制主题多样性。没有这一概念，就无法理解为什么ProEval能2-5×超越随机生成基线。
迁移学习与负迁移 (Transfer Learning / Negative Transfer)
迁移学习指利用源域提升目标效率。ProEval假设不同模型得分共享同一GP先验（Assumption 1）。负迁移指源不匹配时反而损害性能。GMM聚类分组，簇少于3时弃权。
负迁移是预训练GP能否work的关键风险。文章Figure 7实证显示，错误配对源/目标可使MAE上升100×。读者必须理解这一风险以及ProEval如何通过GMM+abstention规则自动化缓解，才能判断该方法在工业部署中是否可靠。
潜在嵌入与Matérn核 (Latent Embedding & Matérn Kernel)
嵌入 $\psi_\theta:\mathcal{X}\to\mathbb{R}^d$ 把文本/图像映射到特征空间。ProEval用Matérn核作用于中心化编码器 $\phi_\theta$。TPF通过最大化历史对数似然预训练MLP参数 $\theta$。
嵌入是把GP扩展到文本/图像模态的关键工程桥梁。TPF预训练机制是ProEval能在New Bench场景下零样本迁移的核心，也是$\psi_\theta$ 通常选用text-embedding-3-large等强嵌入模型的依据。
主动测试与多臂赌博机 (Active Testing & Multi-Armed Bandit)
主动测试用代理模型选择最有信息量的查询。UCB1策略 $\text{UCB}(s)=\bar r_s+c\sqrt{\frac{2\ln T}{n_s}}$ 平衡奖励与探索。TSS把topics视为赌博机臂以避免主题坍缩。
TSS的"主题-锚点解耦"设计依赖UCB1把探索压力分配到未尝试的主题上。如果不理解赌博机框架，就无法理解为什么TSS能在Topic Entropy 99.0%的同时仍保持Failure Rate 26%，而不像纯随机基线那样在主题层面均匀扩散但失败率只有7%。
研究动机
生成式AI评估的算力与人力成本已变得难以承受：单次推理可能耗时数秒，可靠打分需要昂贵的人工标注或LLM-as-a-judge，全量评测多模型多数据集组合要花数千美元和数天时间。模型开发周期中每次超参调整都触发一轮完整benchmark，团队普遍采取降采样测试集的偷工减料做法（Kipnis et al., 2025; Kossen et al., 2021），但这会引入估计偏差并漏掉稀有但致命的失败案例。现有高效评估方法存在两条割裂的路线——benchmark剪枝（Polo et al., 2024; Vivek et al., 2024）寻找固定子集无法适应不同模型的弱点；主动测试（Kossen et al., 2021, 2022）用代理模型采样但方差大。失败发现/红队测试（Perez et al., 2022; Chao et al., 2024）则普遍依赖人工规则或微调，常陷入只发现单一失败模式的模式坍缩。
本文的目标是本文提出ProEval框架，目标是把"性能估计"和"失败发现"两个看似分离的目标纳入同一个贝叶斯优化框架，用同一个GP代理同时回答"模型整体表现如何"和"模型会在哪里失败"两个问题。具体目标包括：(1)用1-27个样本达到1% MAE的全局性能估计，相对随机基线取得8-65×的样本效率提升；(2)在100次合成预算内发现2-5×多于随机生成的失败案例，且保持主题与嵌入双重多样性；(3)给出首个不依赖已知GP先验的BQ无偏性+有界性理论保证；(4)验证框架在新模型(NM)、新benchmark(NB)两种零样本迁移场景下仍可工作。
与已有工作不同的是，本文的独特切入是把性能得分函数 $f$ 直接建模为一个可迁移的随机过程——利用历史评估的结构性相关（不同模型在同一问题上倾向于"一起成功"或"一起失败"）构造信息丰富的GP先验，再在贝叶斯框架下用同一后验同时驱动BQ估计和超水平集采样。这与既有"性能估计用一类算法、失败发现用另一类算法"的范式形成本质差异：现有方法把评估视作"采样+统计"问题，而ProEval把它视作"主动学习+贝叶斯决策"问题，并通过embedding-based的prompt特征实现了从"同一benchmark内不同模型"到"跨benchmark跨模态"的迁移能力，最后用GMM聚类+abstention规则工程化地解决了负迁移风险。
核心方法
ProEval把模型得分当成未知函数，用历史数据预训练GP代理驱动两个目标。迁移学习层：基于Assumption 1（不同模型得分共享同一GP先验），提出两种先验——Score Features (SF) 用 $N$ 个历史模型得分向量作特征 $\phi(x_j)=\sqrt{\frac{1}{N-1}}[(y_{ij}-\hat\mu_j)]_{i=1}^N$ 重建协方差；RPF/TPF用text-embedding-3-large作encoder $\psi_\theta$、Matérn核作GP核。主动性能估计层：把全局得分形式化为BQ，选 $x_{t+1}=\arg\max_x(\mathbb{V}[S|\mathcal{D}_t]-\mathbb{V}[S|\mathcal{D}_t\cup x])$，线性核下用Sherman-Morrison实现 $O(d^2)$ 更新。失败发现层：先用 $\alpha_{SS}=\mathbb{1}(\mu_t+\beta\sigma_t\geq\lambda)\cdot k_t(x,x)$ 检索，再扩展到SS-Gen与TSS。
ProEval的核心创新是把"性能估计"和"失败发现"统一为同一个GP后验下的两个互补贝叶斯目标——BQ用于回答"平均有多差"，超水平集采样用于回答"差在哪里"。这与既有方法的本质区别有三点：(1)ProEval不把得分函数当作黑箱点估计，而是继承历史模型的协方差结构（如Figure 2展示的模型间协方差块状图），用同一先验让"少量观测就能推断全局"；(2)性能估计和失败发现共享同一个GP，避免维护两个独立代理的成本；(3)失败发现不是被动检索，而是引入topic-level bandit让合成环节强制主题多样，从"反复出counting apple题"的模式坍缩中跳出来。文章还在理论上首次证明：即便GP先验 $\hat\mu, \hat k$ 完全从经验估计得到，只要 $N\gg t$ 且 $\kappa\geq k(x,x)$，BQ估计器 $\hat S_t$ 仍然无偏且偏差上界为 $a'\sqrt{\kappa+\sigma^2}$。
方法步骤详情
方法分六步。(1)数据准备：收集历史评估 $\mathcal{D}=\{\mathcal{D}_i\}_{i=1}^N$。(2)GP先验学习：同一benchmark下用式(7)算经验均值与协方差，把得分向量作为特征 $\phi$；跨benchmark下用text-embedding-3-large提取 $\psi_\theta(x)$，TPF通过 $\hat\theta=\arg\max_\theta\sum_i\log p(\mathbf{y}_i|\theta)$ 优化MLP。GMM聚类在PCA降维的score profile上自动选源，簇少于3时弃权。(3)主动性能估计（Algorithm 1）：循环计算方差缩减获取函数、真实评估、更新GP后验。(4)失败发现SS：在静态池用 $\alpha_{SS}$ 选最可能落入超水平集且不确定性最大的样本。(5)SS-Gen：把 $\alpha_{SS}$ 最大的 $m$ 个锚点作为in-context示例让LLM合成。(6)TSS（Algorithm 2）：BERTopic分主题、UCB1选topic、LLM把失败模式转置到新主题。
技术新颖性
新颖性体现在四层。理论上，Theorem 3首次给出BQ在预训练GP下的无偏性与有界性保证：$\mathbb{E}[\hat S_t]=\mathbb{E}[S|\mathcal{D}_t]$ 且 $|\hat S_t-S_t|\leq a'\sqrt{\kappa+\sigma^2}$，$a'$ 在概率 $1-\delta$ 下成立。算法上，TSS首次把多臂赌博机引入失败模式主题分配，用UCB1把生成压力分散到不同主题，使Rand-Anchor-Gen主题熵99.5%但FR仅22.3% vs TSS-RPF 26.0%。工程上，Sherman-Morrison式(4)把线性核BQ获取函数复杂度从 $O(t^3)$ 降到 $O(d^2)$。负迁移防御上，GMM+abstention机制自动化判定源模型可用性，Figure 7显示错配MAE上升100×而正确配对MAE<0.01。
实验结果
实验在9个benchmark和16个LLM/VLM上展开。性能估计效率：Table 1显示BQ-SF在1%预算下MAE最低（DICES 0.067、GSM8K 0.013、StrategyQA 0.011），Figure 6显示达到1% MAE仅需7-74个样本而基线需50-105个，相对取得8-65×样本缩减。负迁移防御：Figure 7显示G0作源时MAE>0.10，G1↔G2配对MAE<0.01，证明GMM过滤必要。失败发现：Figure 8显示SS-Gen/TSS累积失败数近线性增长，Table 3显示TSS-RPF在StrategyQA取得Topic Entropy 99.0%、Overall Diversity 0.74、FR 26.0%。Table 4泛化到5个目标模型：GPT 5上TSS-TPF失败率18.9% vs Rand-Gen 5.1%（3.7×提升）。Table 5显示生成器GPT 5→Gemma3时FR从41.5%降到26.3%。理论验证：人工评估80个合成问题显示Gemini 3 Pro正确率90%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| StrategyQA 性能估计（Default setting, Gemini 2.5 Flash为目标） | MAE @ 1% budget (越低越好) | BQ-SF 0.011, BQ-TPF 0.022 | Random Sampling 0.062, RF+LURE 0.028, LR+IS 0.059 | 相对Random提升约5.6×,相对RF+LURE提升约2.5× |
| GSM8K 性能估计（Default setting） | MAE @ 1% budget | BQ-SF 0.013, BQ-TPF 0.044, BQ-RPF 0.018 | Random Sampling 0.040, RF+LURE 0.034, LR+IS 0.060 | BQ-SF相对Random提升3.1×,BQ-RPF相对RF+LURE提升1.9× |
| JigSaw 性能估计（Default setting） | MAE @ 1% budget | BQ-SF Rounded 0.001, BQ-TPF 0.033 | Random Sampling 0.053, RF+LURE 0.103, LR+IS 0.094 | 相对Random提升约53×,相对最强基线提升约100× |
| GQA 性能估计（Default setting） | MAE @ 1% budget | BQ-SF 0.016, BQ-TPF 0.079 | Random Sampling 0.052, RF+LURE 0.108, LR+IS 0.052 | BQ-SF相对Random提升3.3×,相对RF+LURE提升6.8× |
| StrategyQA 失败发现（100次合成预算） | Failure Rate / Overall Diversity / SFF | TSS-RPF: FR 26.0%, Diversity 0.74, SFF 4.3; SS-Gen-RPF: FR 40.3%, Diversity 0.71, SFF 3.0 | Rand-Anchor-Gen: FR 22.3%, Diversity 0.74, SFF 4.3; Rand-Gen: FR 30.3%, Diversity 0.64, SFF 3.7 | TSS-RPF相对Rand-T-Gen(FR 20.0%)提升30%;SS-Gen-RPF FR绝对提升18.0% |
| GSM8K 失败发现（100次合成预算） | Failure Rate / Overall Diversity / SFF | TSS-RPF: FR 31.3%, Diversity 0.73, SFF 3.3; SS-Gen-RPF: FR 27.7%, Diversity 0.73, SFF 4.3 | Rand-Anchor-Gen: FR 6.3%, Diversity 0.75, SFF 27.3; Rand-Gen: FR 7.3%, Diversity 0.69, SFF 27.0 | TSS-RPF相对Rand-Gen提升4.3×,SFF从27.0降到3.3(8.2×加速) |
| 跨模型失败发现泛化（5个目标模型, StrategyQA） | Failure Rate (TSS-TPF) | Gemma3(27b) 67.8%, Qwen3(32b) 44.2%, Gemini 2.5 Flash 33.0%, Claude 3.7 Sonnet 24.6%, GPT 5 18.9% | Rand-Gen: Gemma3 20.5%, Qwen3 15.2%, Gemini 2.5 Flash 30.3%, Claude 3.7 Sonnet 8.3%, GPT 5 5.1% | GPT 5上TSS-TPF vs Rand-Gen提升3.7×;Gemma3上提升3.3×;在所有目标上一致提升 |
| 跨生成器失败发现（6个生成器, Gemini 2.5 Flash为目标） | Failure Rate (TSS-RPF on StrategyQA) | GPT 5 41.5%, GPT 4o 36.1%, Gemini 3 Flash 35.8%, Gemini 3 Pro 26.0%, Qwen3(32b) 28.7%, Gemma3(27b) 26.3% | Rand-Gen: GPT 5 15.1%, GPT 4o 12.4%, Gemini 3 Flash 10.7%, Gemini 3 Pro 30.3%, Qwen3 8.3%, Gemma3 6.5% | GPT 5上提升2.7×,Gemma3上提升4.0×,证明更强生成器放大ProEval优势 |
| New Bench (NB) 零样本迁移性能估计 | MAE @ 1% budget | BQ-TPF (NB) DICES 0.252, GSM8K 0.045, StrategyQA 0.022, SVAMP 0.014 | BQ-TPF (Default) DICES 0.253, GSM8K 0.044, StrategyQA 0.022, SVAMP 0.017 | NB场景MAE接近Default,证明embedding-based prompt特征跨benchmark迁移有效 |
| 1% MAE所需样本数（4 benchmarks） | Samples to 1% MAE (越少越好) | JigSaw BQ-SF 7-23, GSM8K BQ-SF 16-29, MMLU BQ-SF 23-74, GQA BQ-SF 1-65 | Random 50-105, RF+LURE 50-105 | 整体相对基线取得8-65×样本效率提升 |
局限与改进
作者承认四个局限性。(1)二值观测的高斯假设：失败/成功用 $\{0,1\}$ 并采用Gaussian observation model是计算可行性权衡，更严格的Bernoulli/probit需变分推断/MCMC。GPC在StrategyQA上MAE 0.1653反而差于BQ Gaussian变体。(2)对embedding质量依赖：RPF/TPF在New Bench成功高度依赖text-embedding-3-large等强嵌入。(3)协方差结构依赖Assumption 1：若目标与所有历史模型都不在同一GMM簇，框架只能弃权。(4)BQ有界性条件 $N\gg t$ 在新benchmark上线初期可能不满足。读者还应注意：(a)失败发现结果受query generator能力制约——Table 5显示GPT 5→Gemma3时FR从41.5%降到26.3%；(b)Topic Entropy指标在所有方法上已接近99%，饱和度高；(c)BQ Rounded变体在posterior mean接近0.5时不稳定（MMLU上0.225 vs BQ-TPF 0.073）。
独立分析的弱点
独立分析可识别四个潜在弱点并给出改进方向。第一，GP先验假设严格但实证依赖样本规模。Assumption 1要求所有 $f_i$ 都从同一GP先验采样，但实际模型可能存在系统性偏差（RLHF与基础模型失败模式不同）。当前GMM+abstention只识别簇内至少3个相似模型的情形，建议引入层次贝叶斯GP或mixture-of-priors。第二，二值观测的Gaussian建模在BQ Rounded中产生数值不稳定（Table 1多benchmark MAE>0.15退化），改进方向是Beta-Bernoulli链接或Pólya-Gamma数据增强。第三，TSS对LLM生成器依赖过强——Table 5显示生成器GPT 5→Gemma3时FR从41.5%降到26.3%，建议引入生成器能力感知机制。第四，New Bench下MAE仍偏高（DICES NB=0.252 vs Default=0.253），可改进为用少量标注样本在线fine-tune prompt encoder $\theta$。
未来方向
作者在Discussion部分给出的未来方向包括：开发更好获取函数、surrogate模型、方差缩减技术、考虑不同rater成本与生成成本的策略。这些方向都很自然，但读者还能识别三个有价值的延伸：(1)与LLM-as-a-judge结合——当前失败发现把LLM仅用作query generator，未来可让LLM同时充当judge，让ProEval在生成-评估闭环中端到端工作；(2)跨模态与多任务统一——Table 1提到DICES→DIVE的初步跨模态迁移（MAE从0.111降到0.055），可探索统一文本/图像/视频/音频的多模态GP；(3)主动式安全对齐——TSS已能2-5×发现更多失败案例，可与RLHF/DPO结合，让失败案例直接进入对齐数据集形成评估-发现-训练闭环；(4)贝叶斯非参数化扩展——用deep kernel learning或神经过程替代线性/Matérn核以捕捉更复杂的失败模式相关结构。
复现评估
复现评估总体偏正面但需较多算力。作者开源了代码与数据（https://github.com/google-deepmind/proeval），并提供详细算法伪代码（Algorithm 1和2）、完整LLM prompt模板（§D.1.4和§D.1.5）、baseline实现细节（§C.1.1）、embedding与kernel配置（§3.1）。但存在三个复现摩擦点：(1)部分商用LLM（GPT-5/5.1/5.2、Claude 4.5 Sonnet/Opus）需付费API，且OpenAI/Anthropic未必支持学术机构复现所有snapshot；(2)历史评估矩阵Y依赖16个模型都跑过同一组benchmark，新用户若没有这套历史数据，New Bench场景的embedding预训练将无源可用；(3)失败发现每方法100次合成×10次run×5个目标×6个生成器=30000次LLM API调用，单次运行成本估计数百美元。BQ-SF/TPF实验则相对轻量（1600次评估），按Gemini 2.5 Flash价格约几十美元即可复现性能估计部分。
论文图表
对StrategyQA/GSM8K/MMLU/SVAMP四个benchmark取50题，按mean covariance排序后展示top 25和bottom 25的协方差热图。红色为正协方差（模型一起成功/失败），蓝色为负协方差。可以看到明显的块结构，证明Assumption 1的合理性。
这是迁移学习有效性的关键经验证据。没有这张图，读者会怀疑为什么不同模型的得分函数能共享GP先验，图中的块结构直观回答了因为模型间存在系统性共失败模式。