从重加权到重写：释放训练数据归因中高影响样本的干预效应 From Reweighting to Rewriting: Unlocking the Intervention Effects of Influential Samples in Training Data Attribution

第一步，构建目标查询集：从 CoCoNot、SelfAware、KUQ 抽取 300 道不可答问题（主要覆盖 answer unknown 与 false premise 两场景），用 DeepSeek-Chat 为每题生成单句拒答式目标回答（8 种风格指令随机采样，temperature 1.5，presence/frequency penalty 1.0，并与训练数据去重），格式为两轮对话。第二步，影响分计算：在 Tülu 3 SFT 混合集固定取前 64,000 条，用 Kronfluence 实现 EK-FAC，曲率统计在全部 SFT 数据上估计、对被追踪 MLP 层拟合块对角近似，逐样本计算对 $f(\theta)$ 的影响分。第三步，选样：Top-1600 为 helpful、Bottom-1600 为 harmful，另抽 4 个随机组（每条件 4 个种子报告 95% CI）。第四步，四种干预：上权重 $\alpha=2$、删除、对齐改写（从 80 条通用拒答模板池中选取，刻意多样化以避免依赖单一拒答短语）、对立改写（20 条顺从模板）；只替换回答、指令固定。第五步，受控重训：从各自基座出发，相同数据顺序与配方训 1 epoch（有效 batch 128，学习率 OLMo2-1B $3\times10^{-5}$、Qwen3.5-2B $4.5\times10^{-5}$、Gemma3-4B $9\times10^{-6}$、OLMo2-7B $3\times10^{-5}$），全部实验在 8×H200 上完成。第六步，评估：AbstentionBench 快速模式 1.8k 题、Qwen3.6-35B-A3B 判定拒答，报告拒答召回率全程轨迹 $\Delta R_t$（移动平均去噪），辅以精确率/F1/准确率、分场景召回、通用能力（GSM8K、HellaSwag、ARC-C/E）与 9 个安全基准评测。

技术新颖性体现在四个层面。概念层面：明确指出 IF 的定义式本质是局部重加权分析，因此「IF 预测失败」与「IF 选样失败」是两个命题，并用改写这种脱离 IF 一阶有效域的干预来分离二者。任务层面：区别于分类重标注与视觉投毒 Infusion，本文在真实 LLM SFT 中做语义级回答改写，系统比较三类干预并追踪训练轨迹，避免了 Infusion 式「效应只在短训练可见」的陷阱。诊断方法层面：为解释改写为何有效，设计了固定参照影响分析——保持 checkpoint $\theta^{orig}$、目标梯度 $g_Q^{orig}$ 与曲率 $\hat{H}^{orig}$ 不变，仅把样本梯度从 $\nabla_\theta\ell_i^{orig}$ 换成 $\nabla_\theta\ell_i^{align}$，得到配对差值 $\Delta s_i = (g_Q^{orig})^\top(\hat{H}^{orig})^{-1}(\nabla_\theta\ell_i^{align}-\nabla_\theta\ell_i^{orig})$；再引入贝叶斯影响函数（局部化后验下的损失相关 $\rho_{i,t}^r=\mathrm{Corr}_{p_{\gamma,t}}[\ell_i^r(\theta),\mathcal{L}_Q(\theta)]$）做每个 checkpoint 内的对称配对比较，规避了「影响分跨 checkpoint 不可比」的通病。评估理念层面：倡导 intervention-aware 的 TDA 评估，即按「选样杠杆 × 干预实现方式」两个因子评价归因方法，而非只在重加权一种干预下打分。

弱点一：行为覆盖面窄。改写依赖「能写出对齐/对立回答」这一前提，对数学推理正确性、事实性、写作风格等无法用模板表达的行为不适用。改进方向：用 LLM 对原回答做行为导向的自动重写（保留指令语义、只调整目标属性），或改用 DPO 风格的对比目标（chosen/rejected 对）替代硬模板。弱点二：缺乏过度拒答校准。安全实验中 XSTest 从 0.516 跌至 0.252，拒答实验中精确率也普遍下降。改进方向：在归因目标 $f(\theta)$ 中同时纳入「应当回答」的对照查询，构造双向目标（如对齐-对立损失差），并在选样阶段排除对良性查询影响过大的样本。弱点三：影响分与改写效应之间只有经验联系。改写后的样本不再是 IF 预测的实现，为什么 IF 排名两端恰好是高改写杠杆位置，解释仍停留在「与不可答性表征相关且有改写余量」。改进方向：发展面向「替换监督内容」这一操作的 counterfactual influence 估计，直接预测改写后的行为变化。弱点四：归因成本高、迁移不完美。EK-FAC 需在全部 SFT 数据上拟合曲率，且 Gemma3-4B 的排名结构与其他模型差异明显。改进方向：系统研究小模型→大模型的排名迁移条件（文中已给出初步证据），或用低秩/采样近似降低曲率拟合成本。弱点五：只验证了拒答同构类行为，结论外推需谨慎，应在异构行为上重复同一对照实验。

作者提出的方向：（1）把框架推广到没有明确对齐/对立改写目标的行为，建立更普适的「监督内容干预」理论与工具；（2）为安全拒绝设计更细粒度的归因目标与改写策略，缓解过度拒答权衡；（3）推动 intervention-aware 的 TDA 评估成为社区标准，按「选样杠杆 × 干预方式」两因子评测归因方法；（4）研究影响排名何时、为何能跨模型迁移，利用小模型归因为大模型选样以降低归因成本。基于其成果可延伸的方向：（5）把 IF 选点与 LLM 自动重写结合，形成「归因→改写→再归因」的迭代数据优化循环，可能成为一种新的数据引擎范式；（6）与 DPO/RLHF 数据构建结合，用影响分挑选并改写偏好对；（7）用机制可解释性手段（如作者团队另一工作 mechanistic data attribution）把「不可答性表征方向」的解释升级为因果解释，说明高影响样本为何具有改写杠杆；（8）在预训练数据而非 SFT 数据上检验类似结论，考察改写式干预在更大规模、更长训练下是否仍然有效；（9）探索改写与重加权的联合干预，例如对齐改写后再上权重，检验两种杠杆是否可叠加。

复现条件总体友好但算力门槛较高。论文在附录 A–I 提供了非常完整的细节：EK-FAC 推导与实现（Kronfluence 开源包、默认设置、全 SFT 集统计）、固定参照分析与贝叶斯影响函数的完整公式与超参（RMSProp 预条件 SGLD，步长 $1\times10^{-5}$、定位强度 $\gamma=1000$、有效逆温度 $n\beta=1000$）、四模型训练超参表、三个模板池全文（拒答 80 条/安全 100 条/顺从 20 条）、查询集构造流程与示例，并声明模板与代码将随论文发布。数据与模型全部公开：Tülu 3 SFT mixture、OLMo2/Qwen3.5/Gemma3 开源权重、AbstentionBench、Ai2 Safety 评测工具、公开的 LLM judge（Qwen3.6-35B-A3B）。主要资源需求是算力：完整复现需在 8×H200 上对 4 个模型 × 多种干预 × 多选样条件重训，并对全部 64k SFT 样本计算影响分；单模型（1B）单改写条件的核心验证规模则小得多。难度评估：影响函数工程（EK-FAC 拟合、逐样本梯度）是主要门槛但有 Kronfluence 现成支持；其余流程（选样、模板替换、重训、judge 评测）皆为标准工程，中高级研究者数周内可复现核心结论，建议从 OLMo2-1B 加单一改写条件入手。