WARP：恢复训练数据组合的权重空间分析

从模型权重反推训练数据域比例的框架

前置知识

Membership Inference（成员推断）

成员推断是一种检测特定样本是否出现在训练集中的方法，通常通过比较模型对该样本的响应（如损失值或输出logits）与参考分布的差异来判断。传统方法主要关注样本级别的检测，即判断单个样本是否属于训练数据。这种方法通过分析模型对样本的损失变化、置信度变化或其他统计特征来做出推断，是隐私攻击和数据审计的重要工具。

WARP与成员推断都涉及从模型推断训练数据的属性，但WARP突破了样本级别的限制。理解成员推断的原理和局限性有助于理解WARP的创新点：通过权重空间几何分析在域级别而非样本级别恢复训练数据组合，从而提供更全面的训练数据画像。

Model Merging（模型融合）

模型融合是一种将两个或多个模型组合成单个融合模型的技术，融合后的模型继承各个源模型的能力。它操作于权重空间，通过对模型权重进行排列、插值、拼接或平均来产生多样化的技能。常见的融合方法包括线性插值LERP、球形插值SLERP和TIES（Task Incremental Vector Selection）。这些方法在模型集成、技能迁移和多任务学习中有广泛应用。

WARP创新性地将模型融合从能力组合的视角转向模拟训练轨迹的机制。理解模型融合的基本原理对于理解WARP如何通过插值生成伪检查点来近似未观察到的训练路径至关重要。

Mimic Score（模仿分数）

Mimic Score衡量一个样本的负梯度与权重空间中指向更理想参数集的方向的对齐程度。样本的更新能够推动模型沿着该方向移动的会获得更高的分数，因此被视为更有价值的训练样本。具体计算方式是投影样本的梯度到目标方向向量上，然后归一化得到分数。这个指标最初用于数据策展，用于识别对模型训练最有用的样本。

WARP将Mimic Score适应到反向推断场景，在每个伪检查点计算探测样本与指向参考模型方向的对齐程度。理解Mimic Score的几何含义对于理解WARP如何从权重空间提取训练数据的分布足迹至关重要。

研究动机

基础模型公开发布但训练数据配方很少披露，这创造了一种访问不对称性：研究者可以研究产生的模型但缺乏对产生模型的训练分布的可见性。大多数前沿模型背后的混合配方保持专有和不透明，这种不透明性在AI领域反映了更广泛的访问不对称：通用模型越来越多地向公众发布，但精心策划的用于生产它们的数据集却没有。现有方法如成员推断仅在样本级别检测，通过比较单个样本的归属（如损失或输出logits）与参考分布来做出判断，因此无法刻画训练语料库的全局组成。即使将检测到的样本聚合以恢复域混合，得到的估计也局限于探测数据集，并且仍然次优。对于大多数发布的模型，只能获得最终权重（如INSTRUCT、CHAT版本）和基座模型（如仅预训练的），起点和终点之间没有路径记录。

本文的目标是仅从发布的权重——基座模型参数theta_base和微调后的参考模型参数theta_ref——以及一个小型探测数据集D_probe，恢复微调模型的域混合比例hat_pi。目标是在没有访问训练数据D_ref或任何中间训练检查点的情况下，通过分析两个端点之间的权重空间几何来估计产生微调模型的未知混合比例，其中是概率单纯形，代表K个域的混合比例分布。

与已有工作不同的是，WARP通过权重空间分析解决访问不对称问题，突破了传统方法需要中间检查点的限制。与从数据到模型的前向问题（给定语料库搜索优化混合并训练模型）不同，WARP解决从模型到训练数据的逆向问题（给定发布的端点恢复域比例）。WARP的创新点在于论证虽然真实的训练轨迹丢失，但基座和微调模型之间的替代插值仍然暴露了周围权重空间几何中的可用结构。与在样本级别检测的成员推断不同，WARP在域级别恢复训练混合，提供训练数据组合的全局视图。

核心方法

WARP的核心思路是通过模型融合模拟缺失的训练轨迹，提取权重空间中的几何足迹，再将这些几何特征映射到域比例。具体而言，先在基座模型和参考模型之间使用融合算子插值生成伪检查点序列，每个伪检查点代表模拟轨迹上的一个参数状态。然后在每个伪检查点计算每个探测样本的梯度与指向参考模型方向的投影（Mimic Score），该分数反映了样本沿实际微调方向拉动模型的强度。样本在训练数据中占主导地位的域应该产生相对更大的对齐度。最后将每个域内的样本分数聚合到域级别，得到特征矩阵，通过无监督softmax读出或有监督MLP投影器将几何足迹映射到预测的域混合。

使用模型融合技术模拟未观察到的训练轨迹。尽管真实训练路径丢失，但基座和微调模型之间的替代插值仍然暴露了周围权重空间几何中的可用结构。WARP的核心洞察是：模型的参数编码了其训练历史的痕迹，因此也编码了产生它的数据的痕迹。与需要访问中间检查点来重构学习轨迹的传统方法不同，WARP通过模型合并技术（如线性插值LERP、TIES等）创建平滑单调的路径，这种路径比受随机mini-batch、学习率预热和课程效应影响的真实训练路径更干净。更干净的足迹矩阵使2层MLP更容易提取混合信息，这解释了为什么模拟路径有时能匹配甚至超越使用真实检查点的oracle变体。

方法步骤详情

WARP方法分为三个主要步骤。首先模拟训练轨迹：使用融合算子构建伪检查点序列，其中alpha_t在0到1之间变化。当alpha_t接近0时产生接近基座模型的早期状态，当接近1时产生接近参考模型的晚期状态。其次提炼几何足迹：在每个伪检查点计算Mimic Score，即样本负梯度与指向参考模型方向的投影。由于方向向量长度随alpha_t变化，对每步内分数应用min-max归一化。然后聚合到域级信号：对每个域内样本平均得到域级信号，堆叠形成特征矩阵。最后从几何映射到混合：无监督变体通过平均和softmax得到混合估计，有监督变体训练MLP将完整特征矩阵映射到预测混合。

技术新颖性

WARP首次将模型融合从能力组合的视角转向模拟训练轨迹的机制，通过权重空间几何在缺乏中间检查点的情况下恢复训练数据组合。方法的创新性体现在三个方面：(1) 逆向问题建模：与传统的从数据到模型的前向问题不同，WARP形式化了从权重空间足迹恢复微调模型域混合的逆向问题，仅依赖于大多数发布模型可获得的工件；(2) 模拟轨迹：提出通过模型合并技术绕过中间检查点需求，通过重构缺失路径来投影产生的权重空间几何到域混合估计；(3) 双重映射策略：提供无监督的参数免费softmax读出和有监督的MLP投影器两种变体，前者快速且无标签，后者能够利用完整特征矩阵自适应加权不同学习阶段。实验表明WARP不仅在准确率上优于样本级成员推断基线，甚至在某些情况下超越具有真实轨迹访问权限的oracle变体，证明了利用权重空间几何恢复训练分布的可行性。

实验结果

WARP在40次实验试验中展示了强大的恢复能力。在BERT-BASE上，使用TIES融合和有监督2层MLP达到最低平均MAE为0.046，使用LERP和TIES的有监督变体都达到0.048的平均MAE，而使用真实检查点的oracle变体为0.080。这表明模拟路径实际上可以超越真实路径，作者将此归因于平滑度差距：真实微调路径受随机mini-batch和学习率预热影响而引入方差，而LERP和TIES创建的平滑单调路径使2层MLP更容易提取混合信息。在GPT-2-Small上，LERP达到0.117的平均MAE，而oracle为0.138。WARP的最佳有监督变体在BERT和GPT-2-Small上分别达到0.046和0.104的MAE，将最强基线的错误率分别降低35%和30%。无监督softmax读出无需任何学习参数就已超过所有基线。在训练配方稳健性实验中，WARP在早停（9 epoch）、收敛（12 epoch）和过训练（18 epoch）检查点上保持准确，有监督MLP在过训练检查点上达到0.124的最低MAE。

**Table 1**: Domain mixture recovery error (MAE between predicted and ground-truth, averaged over 40 trials) on BERT and GPT-2-Small across datasets

**Table 2**: Domain mixture recovery error on GPT-2-Small (using AG News and TIES merging) across different training stages

查看结构化数据

任务	指标	本文	基线	提升
域混合恢复（BERT-BASE）	MAE（平均绝对误差）	0.046（TIES + 2层MLP）	Sample-level MI: 0.063	27%错误率降低
域混合恢复（GPT-2-Small）	MAE（平均绝对误差）	0.104（LERP + 2层MLP）	Sample-level MI: 0.141	26%错误率降低
域混合恢复（BERT vs Oracle）	MAE（平均绝对误差）	0.048（LERP/TIES + MLP）	Real Trajectory Oracle: 0.080	40%错误率降低
域混合恢复（GPT-2 vs Oracle）	MAE（平均绝对误差）	0.117（LERP + MLP）	Real Trajectory Oracle: 0.138	15%错误率降低
过训练检查点恢复	MAE（平均绝对误差）	0.124（GPT-2-Small + MLP）	Sample-level MI: 0.200	38%错误率降低

局限与改进

WARP需要访问基座模型和微调模型的完整权重，这在某些商业场景下可能不可行，特别是对于仅通过API访问的模型。方法假设可以从源数据源自由采样探测数据集，这在数据源受限或需要特殊许可的情况下可能受限。当前实验主要集中在文本分类任务（SNLI、AGNews、Yelp、Yahoo），在这些任务上每个类别被视为代表性域，但在更复杂的多模态任务或生成任务上的表现尚待验证。有监督变体需要生成多个随机混合的合成数据对，每个需要一次微调运行，虽然可以使用便宜的短期微调，但仍增加了一些计算开销。方法依赖于探测数据集的质量和代表性，如果探测数据集不能充分覆盖域的多样性，可能会影响恢复准确性。当前方法假设域是互斥且已知的，但在现实场景中域可能存在重叠或层次结构，这增加了建模复杂性。

独立分析的弱点

当前方法的域级特征主要通过简单平均获得，未能捕捉域内样本的分布差异或离群值的影响。几何足迹提取依赖于梯度计算，在大规模模型（如GPT-3、PaLM）上可能计算昂贵，需要考虑梯度近似或参数子集分析以提高效率。映射步骤虽然有监督MLP能够学习非线性关系，但MLP的容量有限，可能无法充分表达复杂的混合-几何关系，特别是在域数量很多时。当前方法主要关注域比例恢复，但训练数据配方还包括更复杂的方面如课程安排、动态重weighting等，这些方面当前方法无法捕获。方法在域数量很多时单纯形的维度爆炸问题需要进一步解决，可能需要利用域的结构关系或层次分解。探测数据集的大小和分布对性能有影响，但当前论文未系统分析这个超参数的敏感性。

未来方向

将WARP扩展到更复杂的模型架构和训练范式，如多模态模型（视觉-语言模型）和持续学习场景，在这些场景中域混合可能更加动态和复杂。探索更精细的域级特征提取方法，如利用高阶统计信息（方差、偏度）或注意力机制，而不仅仅是简单平均。研究在大规模模型上的高效实现，可能利用梯度近似（如Fisher信息矩阵）、参数子集分析或低秩分解来降低计算成本。将WARP与其他训练数据推断方法结合，如成员推断、属性推断等，可能提供更全面的训练数据画像，包括域比例、样本级别信息和数据属性。研究在攻击者只能部分访问模型参数（如仅API访问或参数量化）的情况下的变体，这可能需要开发更鲁棒的特征提取方法。探索WARP在数据审计和模型可解释性中的应用，如检测数据污染、解释模型行为差异等。研究域混合恢复的不确定性量化，提供置信区间或概率分布而非点估计。

复现评估

论文声称源代码公开，但未在正文中提供具体链接或代码仓库地址。实验使用四个标准文本数据集（SNLI、AGNews、Yelp、Yahoo），所有训练配置在附录B中提供，便于复现。实验使用BERT-BASE和GPT-2-Small模型，计算需求相对适中，可以在单个GPU上运行。然而，有监督变体需要生成多个随机混合的合成数据对，每个需要一次微调运行，这增加了计算成本。论文未明确说明合成数据集的数量和每个微调运行的epoch数，这些参数会影响复现的计算资源需求。论文未提供关于实验的随机种子设置、超参数敏感性分析或多次运行的统计显著性检验，这些信息对于充分评估复现性很重要。伪检查点数量等于15是一个超参数选择，论文未系统分析其对性能的影响。

WARP：恢复训练数据组合的权重空间分析 WARP: Weight-Space Analysis for Recovering Training Data Portfolios