后训练在无关决策上留下行为阴影 Post-Training Leaves Behavioral Shadows on Unrelated Decisions
仅凭单个词的教师回复，同源学生即可习得私有小样本微调的能力
前置知识
行为阴影
指模型在私有小样本微调后，在训练任务完全无关的输入上发生的细微行为变化。例如一个做过代码 DPO 微调的模型，在\u201c夹克还是领带\u201d这类日常填空中的词偏好可能已经悄然改变。这些变化本身不表达目标任务，却被证明携带关于更新内容的信息。
本文的全部论点就是“行为阴影存在且可被利用”，理解这个概念才能明白 ATD 为什么能通过无关的单词选择迁移教师能力。
隐蔽学习
已有研究（论文引文[1]）发现教师模型的隐性特质可以通过语义无关的训练数据传给学生：即使数字序列或普通文本与特质毫无关系，学生模仿这些输出后仍会习得教师的特质。但该工作主要研究特质与偏好，需要大量教师输出，未系统考察能力迁移与主动查询设计。
ATD 是对隐蔽学习的直接延伸与对照：从“被动、长输出、传特质”推进到“主动、单词、传能力”，读懂对比才能看清贡献边界。
LoRA 与 DPO
LoRA 用低秩矩阵近似参数更新，只训练少量新增参数，论文中教师和学生都用 rank-16 LoRA；DPO 是直接从偏好对微调的算法而无需奖励模型。本文教师即一个冻结的 rank-16 code-DPO LoRA 适配器，形式上记为 $M_T = M_0 + \delta$。
理解实验设置中“教师更新 $\delta$ 是一个小的低秩私有补丁”，以及鲁棒性实验中更换 LoRA 秩和全参数 SFT 各代表什么。
近平局与决策边界查询
当公共祖先模型对两个候选词的概率几乎相等（$q_i \approx 0.5$）时称该决策处于近平局。一阶近似下教师的 logit 差 $m_i(\theta_0+\delta) \approx m_i(\theta_0) + g_i^\top \delta$，近平局处 $|m_i(\theta_0)|$ 极小，微小的更新分量即可翻转教师的选择。这是主动学习\u201c在边界处采样\u201d思想向模型探查的迁移。
这是 ATD 有效性的核心机制：观测的信息量由查询放在哪里决定，而不是由输出长度决定。
精确混淆匹配对照
一种严格的因果对照：使用与信号组完全相同的载体提示和预算，并固定回复词多重集及各难度桶中与祖先不一致的计数，只打乱提示与回复的对应关系。这样两组差异只能归因于\u201c提示–词配对\u201d本身，无法用词频或教师标签边际解释。
论文 +5.34 pp 的主结论正是在这种对照上取得的，理解它才能正确评估证据强度。
HumanEval+ 与 pass@1
HumanEval+ 是代码生成基准，要求模型根据函数签名与文档字符串写出 Python 函数，通过执行测试用例验证正确性，pass@1 表示一次生成的通过率，它比 HumanEval 增加了更多测试用例。由于要真实执行，学生无法靠模仿载体文本作弊。
论文把执行打分的 HumanEval+ 作为主证据终点，正是为了让“能力迁移”这一主张不可伪造。
研究动机
后训练的价值几乎只用目标任务来衡量：代码微调让模型写更好的代码，数学微调提升解题能力。但这留下一个盲区——一次更新对任务无关输入的影响从未被系统量化。作者把这种任务无关输入上的行为变化称为\u201c行为阴影\u201d。此前的隐蔽学习研究已证明教师可以通过语义无关的数据传递隐性特质，但需要消耗大量教师输出，且聚焦特质与偏好而非能力，也无法说明单次决策能泄露多少更新信息。于是存在两个悬而未决的问题：其一，可观测性——在不接触更新后参数、也不索要目标任务回复的黑盒条件下，一次私有微调能否通过单个无关决策被观测到？其二，能力迁移——从这些决策中学习，能否把教师在目标任务上的提升部分转移给同源学生？例如一个私有代码微调后的模型，在\u201c夹克还是领带\u201d这类与代码毫无关系的填空中偏好可能已经改变，但这些改变是否携带可利用的代码能力，此前没有任何定量证据。
本文的目标是论文的目标是构造一个最小、可控的探针，同时回答可观测性与能力迁移两个问题，并给出严格的因果证据。具体而言：第一，设计主动查询策略 ATD，利用公共祖先模型 $M_0$ 找到它对两个普通词几乎打平的任务无关提示，使教师 $M_T = M_0 + \delta$ 的一次贪心解码就足以暴露更新 $\delta$ 的影响；第二，证明同源学生仅从数千个\u201c提示–单词\u201d对学习后，能在从未见过目标任务数据的情况下，在执行打分的 HumanEval+ 上超过精确混淆匹配对照——主实验锁定 Qwen2.5-1.5B 代码谱系，教师为冻结的 rank-16 code-DPO LoRA，5,664 次单词查询要换来统计显著的提升；第三，刻画行为阴影的结构性：信号是否来源特异、是否可组合、强度是否跟随教师更新幅度，以及\u201c教师提升大\u201d是否就足以保证迁移。
与已有工作不同的是，与隐蔽学习被动收集大段教师输出不同，ATD 的独特切入是查询的放置位置而非数量：先用公共祖先计算候选词归一化概率 $q_i = \exp z_0(b_i \mid x_i) / (\exp z_0(a_i \mid x_i) + \exp z_0(b_i \mid x_i))$，只保留 $|q_i - 0.5| \le 0.02$ 的近平局提示。一阶展开下教师候选词 logit 差满足 $m_i(\theta_0+\delta) \approx m_i(\theta_0) + g_i^\top \delta$，近平局处 $|m_i(\theta_0)|$ 极小，$\delta$ 的微小分量就能翻转教师的选择，于是每次单词回复成为一个关于 $\delta$ 的一比特观测。这把\u201c私有更新可否被观测\u201d改造成主动实验设计问题：信道信息量由查询位置决定。同时，作者以执行打分的 HumanEval+ 为终点，并用固定完成词多重集、打乱提示–词配对的精确对照，排除\u201c泛微调收益\u201d与\u201c标签边际\u201d两种替代解释。
核心方法
ATD 的直觉可以用一个例子说明：公共祖先模型在\u201c夹克\u201d与\u201c领带\u201d之间几乎打平（$q_i = 0.5044$），说明这个决策处在悬崖边上；一次代码 DPO 私有微调把它推离悬崖，教师改选\u201c夹克\u201d。虽然提示和回复都与代码无关，但这一翻转泄露了更新的一比特信息。技术上 ATD 分三步：先用公共祖先 $M_0$ 批量筛选近平局提示并冻结查询集，保证其构造不依赖教师回复；再对私有教师 $M_T = M_0+\delta$ 每个提示只做一次贪心解码，取全词表最高概率的下一个词，仅当该词属于候选对时保留样本——主实验在 128 个词上得到 5,664 条训练对；最后从同一祖先初始化学生（rank-16 LoRA），只对回复词做全词表交叉熵 $\mathcal{L}_{CE} = -\frac{1}{n}\sum_{i=1}^{n}\log p_\theta(w_i^T \mid x_i)$，再在目标任务上与对照学生比较。代码、科学等 7 个任务各配一个专职教师，而学生被评估的目标任务是它在训练中从未见过的。
核心创新是把“私有更新可观测性”形式化为近决策边界上的一比特信道。对候选词对 $(a_i, b_i)$ 定义 logit 差 $m_i(\theta) = z_\theta(a_i \mid x_i) - z_\theta(b_i \mid x_i)$，在祖先处一阶展开得 $m_i(\theta_0+\delta) \approx m_i(\theta_0) + g_i^\top \delta$，其中 $g_i = \nabla_\theta m_i(\theta_0)$。观测到的选择近似 $y_i \approx \mathrm{sign}(m_i(\theta_0) + g_i^\top \delta)$：当 $|m_i(\theta_0)|$ 很小时，$\delta$ 沿 $g_i$ 方向的微小分量就能翻转 $y_i$，而与所有 $g_i$ 正交的分量完全不可见。与经典知识蒸馏需要教师 logits 或目标任务回复不同，ATD 只需要一个黑盒单词；与隐蔽学习的被动长输出不同，ATD 主动把查询集中到决策边界，使同等预算下的信息量成倍提高（主动采集比被动基线高 +4.27 至 +5.03 pp）。学生由此习得的是教师的能力方向，而非答案本身。
方法步骤详情
第一步，构造与筛选载体：从任务无关上下文生成候选提示，每个提示给定两个普通词候选 $(a_i, b_i)$，用公共祖先计算归一化概率 $q_i = \exp z_0(b_i \mid x_i)/(\exp z_0(a_i \mid x_i)+\exp z_0(b_i \mid x_i))$，仅保留 $|q_i - 0.5| \le 0.02$ 且祖先全词表最优词恰为两候选之一的提示，随后冻结查询集。第二步，查询教师：对每个提示向 $M_T$ 做一次贪心解码，取全词表最优的下一个词；若属于候选对则记为 $w_i^T$，否则丢弃且不重采样，每次保留的二元选择是一比特观测。主实验产出 5,664 条“提示–单词”对（覆盖 128 个词），冻结审计确认不含代码、数学、基准或任务词。第三步，训练学生：从同一祖先 $M_0$ 初始化 rank-16 LoRA 学生，最小化 $\mathcal{L}_{CE}(\theta) = -\frac{1}{n}\sum_{i=1}^{n}\log p_\theta(w_i^T \mid x_i)$，损失只计回复词。第四步，评估与对照：在 HumanEval+ 上以贪心 pass@1 打分，与精确混淆匹配、全局标签打乱、公共标签、随机边际等对照比较，区间为跨种子与任务的配对 signal−control 差的 95% bootstrap（100,000 次重采样）。
技术新颖性
技术新颖性体现在四点。第一，观测宽度被压到极限：现有隐蔽学习与黑盒蒸馏都依赖成段教师输出或概率访问，ATD 证明每个提示一个词就足以携带能力信息，把信道成本降到最低，也更贴近真实 API 服务的泄露面。第二，主动性被证明是关键而非装饰：在相同教师查询预算或相同训练行数下，去掉近平局筛选的被动采集分别落后 +4.27 和 +5.03 pp，说明收益来自边界处的查询布局而非数据量。第三，识别策略严格：精确混淆匹配对照固定完成词多重集和各难度桶不一致计数，使 +5.34 pp 的差距只能归因于提示–词配对；附录进一步显示信号与教师方向的对齐随正确配对比例单调上升，且集中于教师–祖先分歧最大的状态。第四，能力与特质被区分开：两个大差距但\u201c不可激发\u201d的教师（背诵 HumanEval+ 答案 +39.02 pp、替换密码约 +97 pp）均不能迁移，说明信道传递的是学生可被激发表达的能力，而非教师的原始优势。
实验结果
主实验（Qwen2.5-1.5B 代码谱系）中，ATD 学生在 HumanEval+ 达到 51.22% pass@1，几乎追平教师聚合分（教师较基座 43.29% 提升 +7.93 pp），并超过全部对照：对精确混淆匹配对照 45.88% 领先 +5.34 pp [1.22, 9.60]，对全局标签打乱 46.19% 领先 +5.03 pp [0.91, 9.30]，对免教师的公共标签对照 46.65% 领先 +4.57 pp。鲁棒性上，5 次独立采集 × 3 训练种子共 15 对 signal−control 全为正，均值 +4.80 pp，采集间标准差仅 0.83 pp；换成 LoRA r32（+6.55）、r64（+9.15）或全参数 SFT（+4.67）效应仍在。跨任务 7 个设置全为正：ScienceQA +2.53、HellaSwag +2.90、OpenBookQA +2.07、CommonsenseQA +1.94、PIQA +1.25、RACE-high +0.81 pp；Llama-3.2-1B、Qwen3-1.7B、Qwen3-4B 上均值亦为正，但置信区间含零。信号来源特异：代码阴影对 HumanEval+ +5.34、科学阴影对 ScienceQA +2.52，非对角效应近零或为负；数学/代码混合阴影（方向余弦 −0.0002）可同时恢复两个方向。学生在教师修复的 19 个 HumanEval+ 任务上解出 64.47%（对照 21.05%），任务级变化向量与教师的余弦 0.701 对 0.398。反向边界同样关键：背诵答案（+39.02 pp）与替换密码（约 +97 pp）教师均不迁移；扩展中 RPM 把打乱对照差提至 +6.30 pp，多词观测（K=20，Qwen2.5-0.5B）使 GSM8K 提升 +6.37 pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码生成（Qwen2.5-1.5B） | HumanEval+ pass@1 | 51.22% | 精确混淆匹配对照 45.88%（教师打乱对照 46.19%） | +5.34 pp [1.22, 9.60]，教师差距为 +7.93 pp |
| 科学知识 | ScienceQA 准确率 | 79.38% | 教师标签打乱对照 76.84% | +2.53 pp [1.57, 3.52] |
| 常识推理（HellaSwag） | 准确率 | 66.82% | 教师标签打乱对照 63.93% | +2.90 pp [2.44, 3.36] |
| 科学问答（OpenBookQA） | 准确率 | 79.73% | 教师标签打乱对照 77.67% | +2.07 pp [0.33, 3.87] |
| 常识推理（CommonsenseQA） | 准确率 | 76.28% | 教师标签打乱对照 74.34% | +1.94 pp [0.76, 3.19] |
| 物理常识（PIQA） | 准确率 | 77.71% | 教师标签打乱对照 76.46% | +1.25 pp [0.15, 2.38] |
| 阅读理解（RACE-high） | 准确率 | 76.74% | 教师标签打乱对照 75.93% | +0.81 pp [0.24, 1.40] |
| 数学应用题（多词观测 K=20，Qwen2.5-0.5B） | GSM8K 精确匹配 | 21.23% | 精确混淆匹配对照 14.86% | +6.37 pp [4.37, 8.42] |
局限与改进
作者承认的局限：ATD 依赖主动构造的载体和已知的公共祖先，无法用于祖先未知或无法访问其 logits 的场景；并非每个设置都能可靠迁移（附录 H），究竟是\u201c观测信息太少\u201d还是\u201c学习程序利用不足\u201d尚无定论；任务间迁移幅度差异大，RACE-high 仅 +0.81 pp，且除 Qwen2.5-1.5B 外其他模型谱系的配对置信区间都包含零；数学对角线弱是因为 Qwen2.5-1.5B 在 GSM8K 已近饱和，说明基准饱和会掩盖真实迁移。我自己的观察：其一，近平局筛选需要公共祖先的全词表 logits，方法对纯黑盒 API 祖先不适用，防御方只需对 logits 加噪或限制输出分布就可能大幅抬高攻击成本；其二，一比特信道效率不高，5,664 次查询换来约 5 pp 提升，其 Scaling 行为未知；其三，多选题基准的提升可能部分来自格式适应，打乱对照只部分缓解了这一担忧；其四，论文对安全性只停留在\u201c私有更新可被观测\u201d的陈述，未给出真实服务中的泄露路径与防御实验。
独立分析的弱点
独立分析其弱点：第一，信道效率低且方差不小——主效应的 95% 区间 [1.22, 9.60] 跨度大，单采集单种子结论不稳，改进方向是扩大候选词与提示池、用信息增益指导提示筛选，而非固定 0.02 的近平局阈值。第二，对祖先模型依赖过强：需要其 logits 构造近平局，还要求学生与其同源，在模型持续迭代、祖先版本混乱的真实部署中难以满足，可探索用有限 API 查询近似祖先分布。第三，\u201c能力可激发性\u201d这一边界条件只有两个反例支持，缺少可操作判据，建议建立教师任务内表示与阴影可迁移性之间的预测指标，避免逐对试错。第四，RPM 与多词观测都被作者标注为探索性且不全面占优（如 OpenBookQA 上 RPM 反而更弱），说明学习目标远未成熟，可在 pair-margin 思想上引入逆倾向加权或信息论目标。第五，潜在滥用面：若私有微调（例如未发布的安全对齐补丁）的能力可被方向性探测，这本身就构成威胁模型，而论文未提供检测与防御实验。
未来方向
作者提出的方向：更好的查询选择与学习目标（RPM 和 K=20 多词观测是两个起点）、放宽已知祖先约束。基于成果可延伸的方向：第一，把\u201c行为阴影\u201d发展成模型审计工具——发布方或第三方可用近平局探针检验某 API 模型是否真的基于宣称的基础模型、做过哪些私有更新，形成模型谱系指纹识别；第二，防御侧研究：对 logits 或输出词分布加噪、近平局拒答、提高输出温度等手段能否切断该信道，给出攻防两端的量化权衡；第三，理论刻画可观测子空间：观测只约束 $\delta$ 在 $\{g_i\}$ 张成方向上的投影，值得推导投影维度与迁移增益的定量关系；第四，与模型合并等技术结合，把多个阴影方向组合成\u201c能力向量库\u201d，研究阴影的叠加与干涉规律；第五，在更大模型与对齐类更新（安全、拒绝行为）上重复实验，检验行为阴影是否也泄露对齐状态，这直接关联 AI 安全评估与合规审计。
复现评估
复现条件较好。代码已开源（github.com/myboker/ATD），所有模型均为公开权重：祖先与学生用 Qwen2.5-1.5B-Instruct，教师是冻结的 rank-16 code-DPO LoRA，跨模型实验涉及 Qwen3-1.7B/4B 与 Llama-3.2-1B。采集成本极低：主实验只需 5,664 次单词查询，单卡即可完成 LoRA 级别的训练与评估。附录 B/C 给出了教师公共源语料、基准去重、数据划分、每次采集的查询预算和对照构造细节，附录 A/D/F 提供案例与诊断分析。主要门槛在统计协议：结论建立在配对 signal−control 差的 100,000 次 bootstrap（跨训练种子与任务）上，鲁棒性部分还需 5 次采集 × 3 种子共 15 组学生训练，完整复现图 2 约需 30 次训练运行，中等 GPU 预算可承受。注意单种子诊断（如 random-marginal 对照 +6.71）未给区间，复现时应按论文建议跑满 4 个种子。
论文图表
