用代理指标预测大语言模型的下游性能 Forecasting Downstream Performance of LLMs With Proxy Metrics
用专家轨迹上token级统计构建代理指标预测LLM下游性能。
前置知识
交叉熵损失 (Cross-entropy loss)
语言模型最常用的训练目标，衡量模型对真实token的预测概率取负对数 $-\log p(y_t)$。它随计算量平滑下降，常被当作能力标尺，但与下游推理任务相关性很弱。
本文所有对比基线与多个核心指标都建立在交叉熵损失之上，理解它的'平滑但任务无关'特性是把握论文动机的前提。
缩放定律 (Scaling laws)
描述损失或能力随计算量、参数量、数据量变化的经验规律，最经典的是Chinchilla定律 $\mathcal{L}(N,D)$，可外推预测训练终点的损失。
本文要解决的核心问题正是'如何把缩放定律的可预测性从损失迁移到下游能力'，不懂缩放定律就抓不住研究定位。
下一步预测分布 (Next-token predictive distribution)
给定上文 $x$，模型输出词表上的概率分布 $p_M(\cdot|x)$。本文所有代理指标都从这个分布的熵、top-k准确率、专家token排名等统计量算出。
代理指标的全部信息源就是这个分布，看懂公式(1)中 $m_{j,t}$ 与 $w_{j,t}$ 的计算必须先理解它。
Spearman秩相关系数 (Spearman ρ)
衡量两组排名单调一致程度的非参数指标 $\rho\in[-1,1]$。本文用它评估代理分数与下游准确率的排序是否吻合，$\rho=1$表示完美排序一致。
跨家族选择实验几乎全部以 $\rho$ 衡量，0.81与0.36的对比是论文最关键的数字，必须理解其含义。
RankSVM (排序支持向量机)
基于成对偏好 $(M_i\succ M_j)$ 的排序学习方法，在特征空间学打分函数 $f(\Phi)=w^\top\Phi$（线性）或核函数（RBF），使正确序对满足铰链损失约束。
论文最佳代理(线性RankSVM)用它把80维代理向量降为一维排序，是方法核心组件之一。
DataDecide基准
Magnusson等提出的受控测试床，含25个预训练语料与14个代理尺度(4M-90M)及对应1B目标模型，专门评测'小代理模型能否预测大模型语料排序'。
预训练数据选择实验全部在该基准上进行，10000倍算力节省的声明依赖理解其决策准确率与算力占比定义。
幂律外推 (Power-law extrapolation)
用形式 $f(t)=a-b\cdot t^{-c}$ 拟合早期checkpoint的指标，再外推到训练后期。本文证明代理指标比损失更服从幂律，外推误差更小。
训练时预测(第6节)完全建立在'代理服从平滑幂律'这一假设上，理解幂律外推才能读懂NMAE/RMSE指标。
专家推理轨迹 (Expert reasoning trajectory)
由强模型或人类专家针对任务实例写出的完整解题步骤 $y^{(i)}$。本文把它通过候选模型做单次前向，统计模型在每个token处的预测分布与专家的对齐度。
专家轨迹是方法的输入信号载体，'不需候选生成、不需专家logprobs'两大优势都源于此设计。
研究动机
现有LLM性能预测面临两难。第一类信号是交叉熵损失，它虽随计算平滑下降、外推保真度高(Hoffmann等, Kaplan等)，但与下游能力的对齐极差——相似损失的模型下游表现可相差甚远(Liu等, 2023)，尤其在硬推理任务上对通用文本的损失几乎无区分度。第二类是直接下游评测，但在前沿推理任务上往往代价高昂、稀疏、且对早期训练阶段或小模型完全无信号：AIME、USACO这类需要专家判分、代码执行或外部实验循环的评测根本无法在决策时刻快速完成(Patwardhan等, Wijk等)；更糟的是，在硬推理任务上小模型与中间checkpoint的准确率都贴近随机，几乎没有序数信号可供拟合(Phan等, 2026)。近期工作还发现大量下游缩放律本身外推就不可靠(Lourie等, 2025)。因此，在最需要预测的'新架构、单次训练、难评测'场景里，两类主流信号都失效。
本文的目标是本文目标是设计一种既'平滑可外推'又'任务相关'且'计算极廉价'的代理信号，用以在三类实际决策中预测下游性能：(1)跨家族模型选择——在无法直接评测时，排序一组异构(不同架构、语料、后训练配方)的候选模型在某推理任务上的表现；(2)预训练数据选择——在投入目标尺度算力前，用小代理模型对25个候选语料做排序；(3)训练时预测——从早期checkpoint外推训练终点的下游能力。作者希望在三种设置下都用同一套代理指标显著超越损失基线，并量化所节省的计算量。
与已有工作不同的是，本文的独特点在于：不依赖候选模型自行生成(只需单次前向)，也不依赖专家模型的对数概率(只需专家的离散token)，因此可用人类专家或闭源前沿模型作为信号源。本质洞察是——最终benchmark分数只记录成败，但专家轨迹是一长串局部决策，一个还无法解出任务的模型仍可能把高概率分配给关键推理步骤。这把'二元成败'的稀疏信号转化为'每token预测分布'的稠密、任务条件化信号，既继承了损失的平滑性，又因通过专家轨迹条件化于目标任务而避免了损失的任务无关性，从而在损失(平滑但任务无关)与评测(任务相关但昂贵稀疏)之间走出第三条路。
核心方法
方法整体思路分直觉与技术两步。直觉是：把专家写好的解题轨迹喂给候选模型，在每个token位置读取其预测分布，统计'模型与专家有多对齐'——一个分布频繁贴合专家推理每一步的模型，即便自己生成会失败，也已内化了任务的解法。技术路线是构建一个由10个核心指标(交叉熵、top-k准确率、熵、排名、倒数排名、margin、错答置信度等)与8个加权方案(均匀、概率、专家分歧、熵、逆熵、频率、逆频率、高斯NLL)做笛卡尔积得到的80个代理指标库。每个代理指标是某个核心指标在某种加权下的实例加权平均，全部从同一次前向获得，构成对'候选分布如何贴近专家推理'的80个互补视角。
核心创新在于把'模型在专家轨迹上的token级预测分布'作为信息源，而非模型的损失或生成质量。与已有方法的本质区别有三：(1)与交叉熵损失不同，它是任务条件化的——通过专家轨迹绑定到具体推理任务，因此相似损失下能力差异也能被捕捉；(2)与直接评测不同，它是稠密的——每个专家token都贡献一个局部信号，而非整道题一个0/1成败，对小模型与早期checkpoint依然有区分度；(3)与rBridge(Koh等, 2026)不同，只需专家的离散token而非其logprobs，因此可调用闭源前沿模型和人类专家作为信号源。再用RankSVM把80维代理向量学成线性排序器，可在留出任务与未见模型上泛化。
方法步骤详情
步骤分四步。第一步准备专家轨迹：对任务 $T$ 的实例 $\{x^{(i)}\}$ 收集专家轨迹 $\{y^{(i)}\}$(人类或前沿模型所写)，取每条最后1000个token(经验上优于整条)，且不滤错答以模拟不完美专家。第二步单次前向：把 $(x^{(i)}, y^{(i)})$ 喂候选模型 $M$，在每个token $t$ 取预测分布 $p_M(\cdot|x^{(i)}, y^{(i)}_{<t})$。第三步计算token级统计：对每个token算10个核心指标 $m_{j,t}$ 与8个加权 $w_{j,t}$，按 $\Phi_j = ?rac{\sum_t s_j m_{j,t} w_{j,t}}{\sum_t w_{j,t}}$ 聚合，再对实例求均得任务级向量 $\Phi(M,T)\in\mathbb{R}^{80}$，符号 $s_j$ 保证值越大模型越好。第四步学习排序器：在带下游分数的偏好对 $(M_i\succ M_j)$ 上拟合univariate、3-sparse、线性或RBF RankSVM，并用留2任务+模型子采样的双重重采样评估泛化。
技术新颖性
技术新颖性体现在四点。第一，构建了系统化的'核心指标×加权方案'代理指标库(共80个)，覆盖'与专家多一致、分布多集中、错答多自信'三个互补维度，远比单一损失或rBridge的单一重加权丰富。第二，整库仅需单次前向且无需候选生成，计算极廉，每个实例只算最后1000个token。第三，把80维代理向量降为低维排序学习问题，用RankSVM在跨任务、跨模型上泛化——这是把'模型选择'重新表述为'分布对齐度的学习'的关键抽象。第四，作者进一步发现排序信号集中在少数'分叉token'(Wang等, 2025所指驱动RL训练信号的token)上：univariate主导项是逆频率加权top-1准确率(模型在罕见token上与专家的契合)，3-sparse主导项是熵加权熵与频率加权top-5准确率(捕捉模型最不确定位置的承诺度)。
实验结果
三大设置各有核心发现。(1)跨家族选择：在6个推理基准(AIME/HMMT/GPQA/USACO/MMLU-Pro/SuperGPQA)上对18个跨6家族模型做留2任务交叉验证，CE损失仅得 $\rho=0.36$、rBridge $0.33$；而univariate代理 $0.54$、3-sparse $0.78$、线性RankSVM $\rho=0.81$、RBF并列 $0.81$，图1显示六任务关系均单调，且跨不同基座/后训练配方保持。(2)数据选择：在DataDecide上，最佳代理(频率加权top-5准确率)在约 $10^{-5}$ 目标算力下决策准确率超0.85，而下游评测基线要达同等质量需超过 $10^{-1}$ 目标算力，即约10000倍算力节省，且在几乎所有共同算力点上压过此前SOTA的rBridge。(3)训练时预测：代理沿轨迹服从平滑幂律，预训练外推NMAE均值0.03、后训练0.038；从代理外推下游精度的RMSE均值0.024，约为CE损失(0.059)与算力(0.055)的一半，HellaSwag上代理0.003 vs CE损失0.094。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨家族模型选择 (6推理基准留2任务交叉验证) | 平均Spearman ρ | 线性RankSVM ρ=0.81 (RBF并列0.81), 3-sparse 0.78, univariate 0.54 | FineWeb CE损失 ρ=0.36, rBridge ρ=0.33 | 最佳代理ρ比最强损失基线高+0.45(0.81 vs 0.36)，3-sparse已比rBridge高+0.45 |
| 预训练数据选择 (DataDecide 25语料排序) | 决策准确率 (语料对正确排序比例) | 频率加权top-5准确率: 在约10⁻⁵目标算力下决策准确率>0.85 | 下游评测基线需>10⁻¹目标算力才达同等准确率; 此前SOTA为rBridge | 约10000倍算力节省，且在几乎所有共同算力点上压过rBridge，仅需专家离散token而非logprobs |
| 代理指标训练轨迹外推 (OLMo-3-7B) | 归一化平均绝对误差 NMAE | 预训练外推NMAE均值0.03, 后训练(OLMo-3-7B-Think)0.038 | 无直接损失基线对照(本实验仅验证代理可幂律外推) | 六基准预训练外推~4×算力、五基准后训练外推~2×算力均服从平滑幂律 |
| 下游精度外推 (10 OLMES基准, 18×算力) | 外推RMSE (到1.4M步) | 代理幂律外推均值RMSE=0.024, HellaSwag仅0.003 | CE损失指数外推0.059, 算力sigmoid 0.055 | 代理RMSE约为CE损失/算力基线的一半, 在8/10基准上取得最低RMSE |
局限与改进
作者承认的限制：模型与checkpoint覆盖有限——跨家族实验仅18个模型6家族，训练时外推全靠OLMo-3-7B与OLMo-3-7B-Think单一架构与尺度，幂律是否跨尺寸、跨MoE架构成立尚未验证；不存在万能代理，最佳单变量因任务、模型、超参(内划分比例、训练窗大小)而异，未做系统敏感性分析；任务覆盖割裂——跨家族排序只在硬推理基准，数据选择与外推只在非推理的OLMES选择题，未涵盖长上下文检索、开放式生成、agentic评测。我的额外观察：(1)方法依赖专家轨迹质量，论文虽'不滤错答'模拟不完美专家，但未量化弱/噪声专家下信号退化程度，真实部署鲁棒性存疑；(2)80指标库是固定后验筛选，oracle上界($\rho=0.88$)与交叉验证($0.81$)仍有0.07差距，说明可学习空间仍大。
独立分析的弱点
独立分析有五个弱点及改进方向。第一，专家依赖强：若专家轨迹含错答或不完整，代理会受污染，论文未量化噪声水平与性能退化曲线，改进方向是对专家质量做分层消融并引入专家置信度加权或弱专家过滤。第二，任务类型窄：只在推理任务(跨家族)与选择题(数据选择/外推)验证，对开放式写作、翻译、agentic任务完全空白，改进方向是把方法扩到这些任务验证普适性。第三，排序器选择需held-in下游分数：实际部署时往往没有held-in评测，改进方向是构造合成或弱标注的held-in集，或用自监督预训练直接学排序器权重，降低对少量标注下游分的依赖。第四，幂律外推单尺度：仅在OLMo-3-7B上成立，跨尺度外推是否保持需更多架构证据，改进方向是在多尺寸OLMo/Pythia上重复实验。第五，80库固定未端到端学聚合函数，改进方向是用可微聚合网络把oracle gap(0.07)进一步压缩，或针对特定评测失败模式设计指标。
未来方向
作者提出与可延伸的方向分四类。(1)边界拓展：验证代理是否泛化到MoE架构、长上下文检索、agentic评测，以及幂律是否跨模型尺度(不只沿单条训练轨迹)成立。(2)专家质量鲁棒性：系统量化代理信号在弱/噪声专家下如何退化，这对真实部署关键。(3)端到端学习聚合：把80维固定库替换为可微聚合网络或针对特定失败模式设计的指标，缩小oracle上界($\rho=0.88$)与交叉验证($0.81$)的差距。基于成果我认为还可延伸：(4)主动专家选择——对每个候选模型动态选最能区分的专家轨迹，进一步降低前向成本；(5)与RL训练信号打通——既然信号集中在'分叉token'，可把代理指标用作RL训练的密集奖励或课程信号，加速对齐，把'评估时的稠密信号'与'训练时的奖励'统一。
复现评估
复现评估分四方面。开源：论文给出项目页 https://McGill-NLP/proxy-metrics 与代码库McGill-NLP/proxy-metrics，预计开源代理指标计算与RankSVM排序学习代码，但18个候选模型权重(部分闭源)与三个专家模型(Kimi-K2.5/MiniMax-M2.5/Qwen3-Next-80B)需各自获取。数据：FineWeb、DataDecide测试床、OLMo-3-7B及OLMo-3-7B-Think的checkpoint均公开，AIME/HMMT/GPQA/USACO/MMLU-Pro/SuperGPQA六个推理基准可获取。算力：代理指标仅需单次前向(每实例最后1000 token)，计算极廉——跨家族实验对18模型×6任务的前向批处理可在数张A100上完成；DataDecide小代理模型(4M-90M)训练成本也很低，整体远低于目标尺度评测。难度：核心算法(指标聚合+RankSVM)实现直白，最大工程门槛是对18个异构模型统一获取logprobs接口并对齐专家轨迹的tokenization，中等规模团队可复现核心数字。
论文图表
