For-Value：面向 LLM 与 VLM 微调的高效前向数据估值框架 For-Value: Efficient Forward-Only Data Valuation for finetuning LLMs and VLMs
用最后一层隐藏表征与预测误差的对齐代替反向传播，单次前向实现千亿级模型的数据估值。
前置知识
数据估值（Data Valuation）
为训练集中每个样本打分，量化其对模型在某个验证集上表现的影响，常用损失、margin 或似然作为衡量指标。典型方法包括影响函数（Influence Functions）和 Shapley 值，分别通过对样本求梯度近似和博弈论贡献分配来估计每个样本的边际贡献。
本文是数据估值领域的工作，核心目标就是衡量训练样本的价值，因此必须先理解为什么要给样本打分、得分如何与下游任务挂钩。
影响函数（Influence Functions）
源自稳健统计，用模型参数对单个训练样本的隐式依赖来估计「如果把该样本从训练集中去掉，模型在验证点上的预测会如何变化」。其标准推导需要 Hessian-向量积、对所有参数的梯度，计算量随参数量呈二次或三次增长。
本文主要与影响函数类方法（Hessian-free、DataInf、HyperINF）对比，理解它的代价结构能帮我们明白 For-Value 为什么必须放弃反向传播。
LoRA（Low-Rank Adaptation）
一种参数高效微调方法，在 Transformer 每层的 query/value 等矩阵上注入低秩分解 $\Delta W = BA$，其中 $B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times d}$，秩 $r$ 远小于 $d$。训练时只更新 $B, A$，原模型权重冻结。
实验中所有影响函数基线都依赖 LoRA 才能在 13B 量级模型上跑起来，理解 LoRA 才能明白梯度类方法的算力瓶颈来自哪里。
自回归语言模型（Autoregressive LLM）
按 token 顺序生成输出的概率模型，$\pi_\theta(y|x) = \prod_{k=1}^{|y|} \pi_\theta(y_k | x, y_{<k})$，其中 $y_{<k}$ 表示已生成的前缀。第 $k$ 步的隐藏状态 $h_{x,y,<k}$ 经过 unembedding 矩阵 $W \in \mathbb{R}^{|V| \times d}$ 得到 logits，再经 softmax 得到词表上的分布。
For-Value 的全部理论推导建立在自回归结构之上，最后一层 hidden 表征与 token 级预测误差都直接来自该分解式。
Unconstrained Feature 假设
假设预训练 LLM/VLM 的隐藏向量 $h_x \in \mathbb{R}^d$ 可以「自由」取值，与网络结构的具体约束解耦，仅由数据分布决定；模型通过一个 unembedding 矩阵 $W$ 把隐藏向量投影回词表空间。该假设近期在 RLHF、低秩几何等分析中被反复使用。
这是 For-Value 理论成立的基石——只有在该假设下，影响函数才能被化简成只看最后一层梯度，进而只用一次前向即可计算。
研究动机
数据估值是理解、审计 LLM/VLM 训练集的关键工具，传统做法——影响函数（IF）、TracIn、DataInf、HyperINF、In-Run Shapley——都要求对每个训练样本做反向传播。以 DataInf 为例，其计算复杂度是 $O(n d_\text{in} d L)$，HyperINF 还要做低秩 Fisher 近似，单次估值就要数小时；In-Run Shapley 更要求沿训练轨迹保存每个 token 的梯度与激活。这些方法对 1.5B 模型已经吃力，更别提 Qwen-72B 这类千亿参数规模。同时，每样本的反向传播让 batch size 只能为 1，GPU 利用率极低，且长序列场景下的梯度存储本身也是瓶颈。论文 Fig. 4b 给出的时间对比极具说服力：在句式转换任务上，HyperINF 在 Qwen-32B 上要 6 小时，而 For-Value 只需要几百秒。这种「想要好估值就必须付梯度代价」的困局，是当前数据估值领域最大的工程痛点。
本文的目标是作者希望打破「数据估值必须反向传播」的范式，提出一个 batch-scalable、forward-only 的估值框架。具体三个目标：（1）推导出一个只用最后一层隐藏表征与 token 级预测误差就能精确近似影响力的闭式表达式；（2）让整个估值流程只跑一次前向传播，支持大 batch 并行，从而能在 Qwen-72B 这种超大模型上以秒级时间完成；（3）在不损失——甚至提升——估值精度的前提下，覆盖 LLM 和 VLM 两大场景，并扩展到 noisy 数据筛选与下游微调数据选择两个高价值应用。
与已有工作不同的是，已有方法存在三个独特切角都没有覆盖的盲区。第一，理论上的盲区：现有影响函数推导默认对所有层、所有参数求梯度，没人系统地研究「为什么最后一层梯度就够用」；For-Value 用 Unconstrained Feature 假设 + Distinct Input 假设证明，去掉与训练输入完全相同的样本（实际 VLM 中图像几乎都唯一）后，token unembedding 项（Term II）消失，影响力只来自 token 表征对齐（Term I），从而为「只看最后一层」提供了严格保证。第二，工程上的盲区：所有 gradient-based 方法被迫 batch size = 1，无法用大 batch 并行；For-Value 只需一次前向，对 batch 天然友好。第三，方法论的盲区：过去一些 training-free 方法（如 Emb 嵌入相似度）只在图像生成模型上有效（Yang et al., 2025），直接搬到自回归 LLM 会失败（AUC 仅 0.546 vs. For-Value 1.000），说明自回归结构下的 token 级预测误差权重 $\alpha_{k,k'}$ 不可省略。For-Value 的 $\alpha$ 项正是把单纯嵌入相似度升级为带置信度权重的对齐分数。
核心方法
For-Value 的整体思路可以一句话概括：用「最后一层隐藏表征 × token 级预测误差」的稀疏矩阵内积来逼近影响力。直觉上，一个训练样本对某个验证样本有多大价值，取决于两件事：（1）两者在最后一层的语义向量是否对齐——语义相近的训练样本应该更能帮助模型在验证点上做出正确预测；（2）两者的预测误差分布是否互补——训练样本中那些模型「还没学会的 token」才是真正有信息量的。技术上，作者首先在 Unconstrained Feature 假设下做形式化推导，把样本影响力 $d \ln \pi_\theta(y_v|x_v)/dt$ 拆成 Term I（表征对齐）与 Term II（unembedding 项），再借助 Distinct Input 假设让 Term II 消失；然后把得到的双 token 求和公式改写成稀疏矩阵内积，把 $|\mathcal{V}|$ 大小的误差向量压缩到样本相关词表 $\hat{\mathcal{V}}$，把复杂度从 $O(|\mathcal{V}| d)$ 降到 $O(|\hat{\mathcal{V}}| d)$；最后用 batch 内词表进一步裁剪并实现 batch-scalable 计算。整个 pipeline（Fig. 2）就是「一次前向拿到 hidden embedding 和 token 误差 → 算稀疏内积 → 排序得分」，完全不需要反向传播。
For-Value 与已有方法的本质区别有三点。第一，理论锚点不同：传统方法把影响力拆成「梯度 × 梯度」（即 Term I 加 Term II），并假设全部参数都要被考虑；For-Value 用 Unconstrained Feature + Distinct Input 假设严格证明 Term II 消失，从而把梯度计算从「所有层」压缩到「仅最后一层」，同时把误差项化简为 token 级的 $(e_{y_k} - \pi_\theta(\cdot|x, y_{<k}))$ 内积。第二，工程路径不同：DataInf/HyperINF 必须 per-sample 反向传播，TracIn 要保存每个 checkpoint 的梯度，In-Run Shapley 要沿训练轨迹累加；For-Value 只需一次前向，自然支持 batch 并行和大模型扩展。第三，权重机制不同：Emb 直接用 $h_{x,y}$ 相似度，忽略了不同 token 的预测难度差异；For-Value 引入 $\alpha_{k,k'} = \langle e_{y_k} - \pi_\theta(\cdot|x, y_{<k}), e_{y_{k'}} - \pi_\theta(\cdot|x', y_{<k'})\rangle$ 作为 token 级权重，作用类似于「对模型已经信心十足的 token 自动降权，对错误 token 自动升权」，这正是它在 LLM/VLM 自回归场景下大幅领先 Emb 的原因。
方法步骤详情
For-Value 的具体步骤可拆成 Algorithm 1 的 11 行。输入是训练集 $\{(x_i, y_i)\}_{i=1}^N$、验证对 $(x_v, y_v)$、模型 $\pi_\theta$ 与 batch size $B$。第 1 步先对验证样本单独做一次 inference，得到 $\{h_{x_v, y_v, <k}\}_{k=1}^{|y_v|}$ 与每个位置的预测分布 $\{\pi_\theta(\cdot|x_v, y_v, <k)\}_{k=1}^{|y_v|}$，并按 Eq. (2) 的右半部分预先计算验证端的误差项。第 2-4 步进入 batch 主循环：把训练集切成若干 batch $\{(x_j, y_j)\}_{j=1}^B$，每个 batch 跑一次 inference 拿到对应的 hidden 表征与预测分布；第 5-7 步是该 batch 内的关键计算：先合并 batch 内词表 $\hat{\mathcal{V}} = \bigcup_{j=1}^B \mathcal{V}_{x_j, y_j} \cup \mathcal{V}_{x_v, y_v}$（这意味着 $|\hat{\mathcal{V}}|$ 远小于完整词表 $|\mathcal{V}|$），再对 $\hat{\mathcal{V}}$ 内的 token 计算误差向量 $(e_z - \pi_\theta(\cdot))$，最后按 Eq. (2) 的稀疏矩阵内积形式算出 batch 内每个训练样本对验证样本的得分 $S_{v,j}$。第 8 步跳出 batch 循环，第 9-11 步把所有得分聚合、对训练样本按 $S_{v,i}$ 降序排序输出。整个过程只需要一次前向（在 batch 内）和一次稀疏矩阵乘法，没有反向传播。当验证集是多个样本时，只需对每个验证样本分别计算 $S_{v,i}$ 后取平均，复杂度随验证样本数线性增长但每步都仍只是前向。值得注意的是，作者还在论文里加了一个细节：当 batch size 较大时，可以进一步把 $\hat{\mathcal{V}}$ 限制到 batch 内的 in-batch 词表（Algorithm 1 的 Step 6），进一步降低内存。
技术新颖性
技术新颖性体现在三个维度。理论上，作者首次把「数据估值 = 最后一层 hidden × token 误差对齐」这一直觉提升为严格定理（Theorem 1），并证明其与完整影响函数的差距被 Unconstrained Feature + Distinct Input 两个温和假设所约束——前者已被 Razin et al. (2024)、Zhao et al. (2024) 等人在 RLHF 与表征几何分析中广泛采用，后者对 VLM 几乎天然成立（图像几乎唯一）。这种「少做假设但能用」的取舍比 DataInf/HyperINF 的通用 Hessian 近似更符合 LLM 时代「模型已经学得足够好」的现状。算法上，「双 token 求和 → 稀疏矩阵内积」的转化是把 $O(|\mathcal{V}| d)$ 的外积压缩为 $O(|\hat{\mathcal{V}}| d)$，从而让 batch 内词表裁剪成为可能，这一点在以前的 influence estimation 文献里没有出现过。系统上，把估值流程完全 batch 化、并支持 Qwen-72B 这种 70B+ 模型、且时间在「百秒」量级，是工程上的明显贡献（Fig. 4a 显示 1.5B 到 72B 的时间曲线几乎平稳）。最后，$\alpha$ 项把 token 级预测误差作为权重自动降权「已学会」的 token，这种 confidence-weighted alignment 思路是作者原创，且 ablation 实验（设 $\alpha = 1$ 时退化为 Emb，AUC 直接掉到 0.546-0.560）证明它不可省略。
实验结果
For-Value 在四个核心场景上一致打平或超越 Hessian-free、DataInf、HyperINF、Emb 四种基线，同时时间开销大幅降低。**场景 1：LLM 影响力识别（Tab. 1）。** 在 Qwen2.5-1.5B 与 Llama-2-13B-chat 两个模型、句式转换与数学应用题（含/不含 reasoning）三个任务上，For-Value 的 AUC 均达到 $1.000 \pm 0.000$（Llama-2-13B）或 $1.000 \pm 0.001$（Qwen-1.5B），Recall 均超过 0.989；其中 Qwen-1.5B 数学题 recall 比最强基线 HyperINF 高 6%（从 0.934 提升到 0.989）。**场景 2：VLM 影响力识别（Tab. 2 上半）。** 主体生成上 For-Value 的 AUC 0.994-0.995、Recall 0.897-0.985 全面领先；风格生成上 For-Value 在 Qwen-VL-3B 上 AUC 0.895 vs. 基线 0.515-0.560，Llama-3.2-11B 上 AUC 0.974 vs. 基线 0.490-0.553，差距超过 0.35。**场景 3：错标数据检测（Tab. 2 下半 + Tab. 7）。** For-Value 在 Qwen-VL-3B 上的 AUC 比最强基线高 11.5%（从 0.770 到 0.885），recall 高 8.3%；错标率 0.4/0.5/0.6 三档下 AUC 稳定在 0.853-0.902（Tab. 7），说明方法对噪声水平不敏感。**场景 4：微调数据选择（Tab. 3-5）。** GSM8K 上 For-Value 选择 5% 数据微调 Llama-3.1-8B，贪心解码精度达 48.3%，比 HyperINF（42.8%）高 5.5%，甚至超过全量微调 47.8%；时间仅 0.3h，是基线的 1/5-1/8。在含 40% 噪声的 Noise-Huatuo-CoT 上（Tab. 4），For-Value 选 5%/10% 数据微调 Llama-3.1-8B-Ins，平均精度 60.31%/62.35%，比最强基线 HyperINF 高 4.0%/2.1%，且 Tab. 8 显示 For-Value 在 top 10% 数据中识别「干净样本」的准确率高达 84.4%，而 Hessian-free 仅 48.2%、HyperINF 仅 15.1%——这是 For-Value 在 noisy 场景下大幅领先的直接原因。Medical VQA（Tab. 5）上 10% PMC-Reasoning 数据微调 Qwen2.5-VL-3B，For-Value 平均精度 52.23%，比 HyperINF（51.60%）高 0.6%，比 base 模型（49.14%）高 3.1%，且只用 0.4h，远少于基线的 1.3-1.7h。**效率分析（Fig. 4）。** Fig. 4a 显示 For-Value 在 1.5B 到 72B 的 Qwen2.5 系列上时间始终在百秒级；Fig. 4b 显示 HyperINF 在 32B 上要 6 小时、Hessian-free 也要 2-3 小时。Tab. 6 的复杂度对比进一步说明 For-Value 在训练复杂度、计算复杂度、内存复杂度上同时达到最低：训练复杂度为 0、计算/内存复杂度 $O(nd|\hat{\mathcal{V}}|)$，而其他方法最低也要 $O(nd_\text{in} dL)$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Sentence Transformation (Qwen2.5-1.5B) — 影响力识别 | AUC / Recall | AUC 1.000±0.001, Recall 0.989±0.025 | HyperINF 0.993±0.013 / 0.934±0.063 | AUC +0.7%, Recall +5.9% |
| Sentence Transformation (Llama-2-13B-chat) — 影响力识别 | AUC / Recall | AUC 1.000±0.000, Recall 1.000±0.001 | HyperINF 1.000±0.000 / 0.998±0.011 | 基本持平，Recall 略优 |
| Math Problem w/o reasoning (Qwen2.5-1.5B) — 影响力识别 | AUC / Recall | AUC 1.000±0.000, Recall 0.998±0.011 | HyperINF 0.986±0.024 / 0.942±0.080 | AUC +1.4%, Recall +6.0% |
| Math Problem w/ reasoning (Llama-2-13B-chat) — 影响力识别 | AUC / Recall | AUC 1.000±0.000, Recall 1.000±0.000 | HyperINF 0.994±0.018 / 0.961±0.074 | AUC +0.6%, Recall +4.1% |
| Style Generation (Qwen2.5-VL-3B-Instruct) — 影响力识别 | AUC / Recall | AUC 0.895±0.138, Recall 0.916±0.153 | HyperINF 0.516±0.055 / 0.860±0.103 | AUC +73.4%, Recall +6.5% |
| Style Generation (Llama-3.2-11B-vision) — 影响力识别 | AUC / Recall | AUC 0.974±0.059, Recall 0.997±0.013 | HyperINF 0.490±0.090 / 0.821±0.137 | AUC +98.8%, Recall +21.4% |
| Mislabeled Data Detection (Qwen2.5-VL-3B-Instruct) — 错标检测 | AUC / Recall | AUC 0.885±0.055, Recall 0.999±0.010 | HyperINF 0.770±0.077 / 0.916±0.128 | AUC +14.9%, Recall +9.1% |
| GSM8K 5% 数据微调 (Llama-3.1-8B) | Greedy Decoding Accuracy / Time | 48.3% / 0.3h | HyperINF 42.8% / 2.4h | +5.5pp 精度, 8× 加速 |
| Noise-Huatuo-Complex-CoT 10% 数据微调 (Llama-3.1-8B-Ins) | 5 个医学 QA 集平均精度 / Time | 62.35% / 0.8h | HyperINF 60.28% / 5.3h | +2.1pp 精度, 6.6× 加速 |
| PMC-Reasoning 10% 数据微调 (Qwen2.5-VL-3B) | 6 个医学 VQA 集平均精度 / Time | 52.23% / 0.4h | HyperINF 51.60% / 1.7h | +0.6pp 精度, 4.3× 加速 |
局限与改进
作者在 Sec. 7 明确承认两点局限。第一，For-Value 主要面向微调阶段（fine-tuning stage）的数据估值，不直接适用于预训练数据筛选——因为 Unconstrained Feature 假设在预训练阶段未必成立，预训练时模型正在学表征本身，last-layer 表征还没稳定下来。第二，本文聚焦的是「一次性估值」，没有建模数据价值随训练时间步 $t$ 的演化（Theorem 2 给出的是含 $t$ 的版本，但 Theorem 1 只评估 $t=0$ 的情形），因此 stage-aware 或 active learning 类场景暂时不支持。我自己观察到的额外局限包括：（1）Distinct Input 假设在纯文本 LLM 上其实偶尔会被违反——例如对话数据集里多个样本可能共享完全相同的 prompt，Term II 在这种情况下不能直接忽略，作者在脚注里提到可以把 $(x, y_{<k})$ 整体视为输入来缓解，但未做实验验证；（2）$\hat{\mathcal{V}}$ 的稀疏性是 For-Value 效率的核心，但论文没说 $\hat{\mathcal{V}}$ 在不同任务上的典型大小是多少——如果任务相关词表本身就很大（如医疗领域长尾术语），稀疏性优势会被削弱；（3）For-Value 完全没考虑样本对模型训练的「副作用」（如引入偏见、降低鲁棒性），只评估了正确率，这在 fairness-sensitive 场景下需要额外审计；（4）论文的错标检测实验只有 VLM 而没有 LLM，LLM 的错标检测能力其实也是工业界非常关注的问题。
独立分析的弱点
独立分析的弱点与改进方向：（1）**Distinct Input 假设的边界情况。** 当训练集中存在与验证集完全相同 prompt 的样本（典型如 instruction tuning 数据集）时，Term II 仍会贡献影响力，For-Value 会系统性低估这些「同 prompt 异答案」样本的价值。改进方向是按 Theorem 2 直接计算 Term II，即保留 unembedding 梯度项，但代价是放弃纯前向；或者用 Monte Carlo 估计对同 prompt 样本做二次细化。（2）**$\hat{\mathcal{V}}$ 退化场景。** 在医疗、法律等专业领域，训练样本可能涉及大量专有名词和长尾词，单个 batch 内的 in-batch 词表 $|\hat{\mathcal{V}}|$ 可能与 $|\mathcal{V}|$ 同一量级，此时 $O(|\hat{\mathcal{V}}| d)$ 不再是优势。改进方向是先用 TF-IDF 或 BM25 把训练样本按词表相似度预聚类，每个 mini-batch 只取最相关的一批样本，既保持估值精度又控制词表大小。（3）**训练时间步的忽略。** 当前 For-Value 只在 $t=0$（初始 checkpoint）估值，没考虑样本在训练中后期可能变得更/更不重要。改进方向是沿训练轨迹保存多个 checkpoint 的 hidden 表征（不需要梯度），用 $\sum_t \alpha^{(t)}$ 给出时间加权分数，复杂度仍只是多次前向。（4）**缺乏 fairness 视角。** 论文只评测了下游精度，没评估数据选择对 demographic parity、equalized odds 等 fairness 指标的影响。改进方向是在排序分数上加 fairness 正则，或者直接为不同敏感属性的子群体分别估值再合并。（5）**错标检测仅在 VLM 上验证。** LLM 错标检测（如 GSM8K 上人为引入错误答案）在工业界同样重要，但 Tab. 2 显示错标检测只在 cat-dog 数据集上跑。改进方向是把错标检测 pipeline 直接接入 Huatuo-CoT 这种含 reasoning 的 LLM 任务。
未来方向
作者明确提出的未来工作：（a）**Stage-aware 数据选择**：把 For-Value 沿训练轨迹扩展，支持在训练的不同阶段重新估值样本，让冷启动阶段更依赖大样本、中期更专注于 hard sample；（b）**Active learning**：用 For-Value 挑出当前模型最不确定的样本主动标注，替代传统基于 loss 的不确定性采样。基于结果可延伸的方向：（c）**多模态融合估值**：当前 VLM 估值只用到最后一层 hidden，未来可以把视觉编码器与文本解码器分别估值、按 modality 比例加权后再合并；（d）**与 RLHF / DPO 结合**：把 For-Value 引入偏好数据筛选，识别对 reward model 最有信息量的偏好对，降低 RM 训练成本；（e）**隐私保护估值**：For-Value 的前向特性天然支持联邦学习，未来可以研究如何在不暴露原始数据的前提下跨组织做数据估值；（f）**理论扩展**：Theorem 2 给出了含时间步 $t$ 的版本，作者只用 $t=0$，未来工作可以刻画影响力随 $t$ 的演化规律，给出 stage-aware 调度的理论保证。
复现评估
**开源情况**：论文摘要末尾和正文都承诺代码开源（"Our code is available at GitHub"），附录 A.7 还专门给了 license clarification。**数据**：所有使用的数据集（Huatuo-Complex-CoT、PMC-Reasoning、GSM8K、DreamBooth、cartoon-blip-captions、diffusiondb-pixelart、sketch-scene、Dogs vs. Cats）均为公开数据集，附录 A.6 给出 Noise-Huatuo-CoT 的构造方法（随机插入/删除无关词，40% 噪声率），附录 A.5 给出所有 prompt template 和示例，可直接复现。**算力**：实验规模较大但并不夸张：影响力识别任务使用单卡 A100 80G；微调数据选择任务使用单卡 H100 96G；32B 和 72B 模型的 baseline 时间估算做了 10% 子采样外推。基线方法在 32B 上需要 8 卡 A100 加 8-bit 量化；For-Value 在 72B 上仍只需单卡 A100。**复现难度**：整体中等偏易——主要工作量是 baseline 的训练（每个 baseline 需要先 fine-tune 到收敛再算影响），而 For-Value 本身只需要几次 forward，门槛很低。**潜在风险点**：（1）For-Value 对超参（如 in-batch 词表大小、batch size）敏感，论文没给完整的超参搜索表；（2）baseline 需要选「最高 test AUC 的 checkpoint」（附录 A.6.1），不同 checkpoint 间影响函数差异巨大，这一选择对最终结果影响显著，复现者需要注意公平对照；（3）4 张图（Fig. 3、4、5）需要重新跑出，可能耗时数小时到一天。
论文图表
