VAD：多模态在策略蒸馏中的视觉证据归因与监督目标重构 VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation
用反事实视觉干预分离教师修正中由视觉解释的部分并重构学生监督目标
前置知识
知识蒸馏（Knowledge Distillation）
由 Hinton 等人提出的训练范式：用一个更强的「教师」模型的软概率分布（soft label）来指导「学生」模型学习，相比硬标签保留了类间相似性等「暗知识」。序列级蒸馏（sequence-level KD）将其扩展到自回归生成，让学生逐 token 拟合教师的分布，常配合前向/反向 KL 或 JSD 作为散度目标。
VAD 的全部讨论都建立在「让学生分布逼近某个教师目标分布」这一框架之上。不理解知识蒸馏，就看不懂论文反复提及的「教师修正（teacher correction）」「目标匹配」「散度监督」以及为什么要比较 JSD、F-KL、R-KL。
在策略蒸馏（On-Policy Distillation, OPD）
OPD 不在固定的离线数据上蒸馏，而是让学生自己生成轨迹（前缀），再由教师在「学生真正会到达的状态」上提供逐 token 的分布监督。由于监督发生在学生自身的生成分布上，它能直接修正学生自己产生的错误，对部署更相关，特别适合多模态推理中「一个早期感知失误就带偏整条回答」的场景。
VAD 属于多模态 OPD 家族，所有反事实教师查询都是在「学生生成的前缀」$y_{<t}$ 上进行的。不理解 OPD，就无法体会论文为什么要在每个学生位置上做这么多教师评估、为什么强调「学生锚定（student-anchored）」。
特权蒸馏（Privileged Distillation）
教师在训练时被赋予学生在部署时不拥有的「特权信息」（如裁剪出的高分辨率局部区域、解题历史、优化过的提示），训练后学生不依赖特权也能学到其中的能力。本文中教师看到裁剪后的证据区域（evidence-present crop $x^+$），学生只看全图 $x^0$。
VAD 的核心问题正是：特权教师给出的修正里，到底有多少成分是「特权视觉信息」带来的，又有多少是语言先验或教师固有偏置？这正是「视觉归因（visual attribution）」要回答的问题，也是全文的出发点。
反事实干预 / 对照视图（Counterfactual Intervention）
通过构造「有证据」与「去证据」两种对照输入并保持文本上下文完全不变，比较同一教师在这两种视图下的输出差异，从而隔离出「揭示证据」这一单一因素对预测的影响。这是因果推断中「控制变量、干预后比较」思想在蒸馏里的直接应用。
VAD 用反事实干预构造的代理方向 $u_t$ 是整套方法的灵魂：$u_t=\phi_t(p^T_+)-\phi_t(p^T_-)$。理解「控制变量做对照」才能看懂为什么 $u_t$ 能近似视觉证据的方向、为什么它是有符号（signed）的。
Jensen–Shannon 散度（JSD）
两个概率分布 $p,q$ 之间对称、有界的散度，定义为 $D_{JS}(q,p)=\tfrac12[D_{KL}(q\|m)+D_{KL}(p\|m)]$，其中 $m=(p+q)/2$。在蒸馏中常作为比单向 KL 更稳定的监督目标，避免学生分布塌缩或过度逼近教师。
VAD 的主监督损失就是 token 级 JSD，且消融实验（Table 4）证明 JSD 比前向 KL、反向 KL 在六个基准上的平均精度都更高（4B：78.32 vs 77.62 vs 77.85）。JSD 是理解训练目标与超参选择的必备知识。
多模态大语言模型（MLLM）
能同时处理图像与文本的大模型（如 Qwen-VL、LLaVA 系列），通过视觉编码器把图像转为 token 喂入 LLM 主干。其常见失败模式是「小的感知失误」——看错一个属性、混淆一个空间关系，导致整条回答虽流畅却建立在错误的视觉证据上。
VAD 正是为修复 MLLM 的细粒度感知错误而设计的，实验基座就是 Qwen3.5-4B/9B 这类 MLLM。不了解 MLLM 的失败模式，就难以体会论文反复强调的「早期感知错误会重定向整条生成轨迹」。
研究动机
在多模态在策略蒸馏（OPD）中，特权教师（看到裁剪后的证据区域）对只看全图的学生提供逐 token 的修正。但作者指出，这些修正本质上是「来源混杂（source-mixed）」的：它们同时混合了（1）揭示证据带来的真正视觉信号、（2）教师的语言先验、（3）教师固有的与视觉无关的效应。为量化这一现象，作者在冻结的 Qwen3.5-4B 与 9B 基座上做了诊断（附录 A，每个模型 512 条确定性样本，分别得到 64340 与 47161 个位置）：在所有最强的（top-quartile）教师修正中，只有 23.2%（4B）和 22.8%（9B）同时与教师自身的「证据条件视觉响应」强对齐——也就是说约 77% 的高修正位置在操作层面是来源混杂的。现有方法都没有正面解决这个问题：Vision-OPD 直接把整个裁剪教师的分布当作目标去匹配（Figure 1A）；VA-OPD、V-Zero 用视觉优势（visual advantage）来重排 token 或门控轨迹，但仍保留「证据在场」的教师作为目标，更关键的是它们用的正向视觉优势 $VA=[b]^+$ 恒非负，结构上无法识别「视觉反驳」（Figure 1B——当证据本应压低学生错误 token 的概率时，错误 token 的 $VA$ 为 0，根本不会被标为高 VA 位置）。这暴露出一个尚无人显式求解的「视觉修正归因问题」。
本文的目标是本文的目标是：通过一个受控的视觉证据干预，估计教师提出的修正中究竟哪一部分是由视觉证据支持的（而不是仅仅决定在哪里蒸馏、蒸馏多强），并利用这部分归因分量来重构一个更好的、以学生自身分布为锚的监督目标。具体而言：（1）引入一个由干预导出的、有符号的代理方向 $u_t$ 来近似视觉证据方向；（2）把完整的教师修正 $r_t$ 投影到 $u_t$ 上，得到「视觉归因分量」$r^{vist}_t$ 与「代理无法解释的残差」$r^{rest}_t$；（3）从全图学生的当前分布出发重构目标，提升被干预支持的候选 token、压低被干预反驳的 token、排除未被代理捕捉的修正分量；（4）加入一个弱的直接教师正则项以保证训练稳定（防止只看视觉分量时出现回答变长、重复、EOS 失稳等漂移）；（5）在六个细粒度视觉基准上、4B 与 9B 两个规模上稳定超越直接的特权视图蒸馏与视觉优势加权，且推理时零额外开销。
与已有工作不同的是，与同类工作相比，VAD 的独特切入角度在于它问的是一个更精确、互补的问题。Vision-OPD 把整个来源混杂的裁剪教师分布原样当作目标；VA-OPD 与 V-Zero 只决定「在哪/多强」地蒸馏，目标分布本身不变。Decomposed OPD 虽然也重构目标，但它用的是「多模态 vs 纯文本」的对照来匹配一般性的视觉信息增益，会混入所有非文本信息。VAD 的差异在于：它用「同一教师、同一前缀」下「证据在场 vs 证据去除」的对照来隔离纯视觉响应；它把特权修正「投影」到这个受控干预方向上（而不是泛泛的信息增益）；它显式地把支持（support）与反驳（refutation）分成两个分支、分别配预算；并且因为有符号代理，它能捕获 VA-OPD 结构上漏掉的视觉反驳。一句话概括其定位：它是去「重构蒸馏什么（what）」而非仅仅「缩放蒸馏多强（how strongly）」。
核心方法
直觉上：特权教师在每个学生位置给出的修正是一团「视觉+非视觉」的混合信号。要剥离出视觉部分，就做一个受控实验——保持教师参数和文本前缀完全不变，只把视觉输入在「证据在场」与「证据去除」之间翻转，由此引起的分布变化就隔离出了教师对视觉证据的响应。把这个变化当作一根「视觉证据方向」的指南针 $u_t$，再把原始修正分解成沿这根针的分量（归因于视觉）与剩余部分（无法解释）。接着从学生自己的当前分布出发重建监督目标，只施加归因分量，并把它拆成「支持（提升）」与「反驳（压低）」两条分支分别配预算。整套流程如 Figure 2 所示，分三步：反事实视图构造、修正归因、目标重构。需要强调的是，额外的教师视图只在训练时使用，推理时就是标准的全图学生，没有任何额外模型调用或视觉视图。
核心创新是「反事实目标重构（counterfactual target reconstruction）」。与其把教师的裁剪分布当作要匹配的真值（Vision-OPD），或仅用视觉对比来重排一个不变的目标（VA-OPD/V-Zero），VAD 重构了一个全新的逐位置目标，其 token 赔率由一个有符号、有预算、来自反事实视觉响应的量来设定。两个子创新让它成立：第一，有符号代理 $u_t$ 使方法能同时识别视觉支持与视觉反驳——这是被正向裁剪（$[b]^+$）结构性地丢弃的能力；第二，单侧投影 $\beta_t=[\langle r_t,u_t\rangle]^+/(\|u_t\|_2^2+\zeta)$ 只在教师修正与视觉方向一致时才保留归因分量，否则置零——非视觉修正因此被构造性地排除。目标是锚定在学生自己的分布上、而非教师的分布上，所以它只改变干预所支持的赔率。
方法步骤详情
分五步。第1步（反事实视图，§3.1）：学生在全图 $x^0$ 上采样响应 $y$，并构造证据在场裁剪 $x^+$ 与退化视图 $x^-$（裁剪区做 $0.1\times$ 双线性下采样再最近邻上采样）。在每个位置 $t$ 于共享 top-$K$ 候选集 $V_t$ 上评估三个分布——全图学生 $p^S_0$、证据在场教师 $p^T_+$、去证据教师 $p^T_-$，再各自映射为中心化对数概率向量 $\phi_t(\cdot)$ 以消除公共 logit 偏移、保留配对赔率。第2步（归因，§3.2，式 3–4）：算完整教师修正 $r_t=\phi_t(p^T_+)-\phi_t(p^S_0)$ 与视觉代理 $u_t=\phi_t(p^T_+)-\phi_t(p^T_-)$，做单侧投影 $\beta_t=[\langle r_t,u_t\rangle]^+/(\|u_t\|_2^2+\zeta)$，得归因分量 $r^{vist}_t=\beta_t u_t$、残差 $r^{rest}_t$、预算 $B_t=\|r^{vist}_t\|_2$。第3步（分支分离，§3.3，式 6–7）：把 $u_t$ 拆成支持与反驳两个有符号分支，按一致性得分在两分支间分配 $B_t$，仅给支持份额设上限 $\tau^+$ 且截掉的质量不重分配，得重构修正 $r^{VAD}_t$ 与目标 $q^{VAD}_{T,t}=\mathrm{softmax}(\phi_t(p^S_0)+\mathrm{clip}(r^{VAD}_t,-c,c))$。第4步（训练，§3.4）：主损失为 token 级 JSD $\mathcal{L}_{vis}=\frac1{|T|}\sum_t D_{JS}(\mathrm{stopgrad}(q^{VAD}_{T,t}),p^S_0)$；弱正则权重随视觉归因比例自适应（归因越少则正则越强），总损失 $\mathcal{L}=\mathcal{L}_{vis}+\lambda\mathcal{L}_{reg}$，所有目标侧量均 detach。第5步（推理）：标准全图学生，零额外视图。
技术新颖性
新颖性体现在五个层面。（1）问题界定：首次把「来源混杂的教师修正」明确为特权多模态 OPD 的核心局限，并用 23.2%/22.8% 的诊断数据量化它。（2）反事实归因机制：用「同一教师、同一前缀」的「证据在场 vs 去除」对照来隔离纯视觉响应，这与 Decomposed OPD 的「多模态 vs 纯文本」对照不同——后者会把所有非文本信息混在一起。（3）有符号代理 + 支持/反驳分离：结构性地修复了 VA-OPD 对视觉反驳的盲区（正向裁剪把反驳映射为 0）。（4）单侧投影：构造性地丢弃与视觉方向不一致的教师修正，而 Vision-OPD 是全盘保留。（5）学生锚定重构 + 非对称分支预算 + 弱正则：给出一个稳定、可控漂移的训练配方。贯穿始终的概念头条是「改变监督目标，而不仅仅是它的权重」。
实验结果
核心结果分四块。RQ1 主表（Table 1）：在六个细粒度基准上 VAD 取得 Avg6 为 78.32（4B）与 79.93（9B），分别领先同规模最佳方法 +2.40 与 +2.80、对 Decomposed OPD 领先 +2.95/+2.88；仅 4B 就超过 Gemini 3 Flash（77.32）、Gemini 3.1 Pro（78.04）与 Qwen3.5-397B（76.49），4B 六基准全领先、9B 领先六个中的五个。RQ2 语义分离（Figure 3）：视觉属性+物体+决策在 $r^{vist}$ 占 42.0%，在 $r_t$ 占 26.7%、在 $r^{rest}$ 仅 17.7%，证明投影选择性富集决策相关视觉内容而非均匀缩放。RQ3 目标消融（Table 2、Figure 4）：分支分离本身（无正则）把 Avg6 从 77.06 提到 78.06（+1.00），弱正则再加约 0.26–0.46；离线下 $q^{VAD}_T$ 给出最大的正确 token 支持 7.89 点与错误 token 压制 6.61 点，均高于教师修正的 7.52/6.29（置信区间重叠，属方向性趋势）。RQ4 域外（Table 3）：在 MMVP/CV/MMStar/POPE 上 VAD 是唯一两规模都正 Δ（+0.24/+0.23）的方法。RQ5（Tables 4–5）：JSD 优于 F-KL/R-KL，训练超参稳健，4B 计算成本仅比 Vision-OPD 多 3.8%（67.9 vs 65.5 GPU·h）却换得 +2.40 Avg6。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六个细粒度视觉基准综合（Avg6，4B） | 平均准确率 (%) | 78.32 | Vision-OPD 75.92 / Decomposed OPD 75.37 | 比最强同规模方法 +2.40；比 Decomposed OPD +2.95 |
| 六个细粒度视觉基准综合（Avg6，9B） | 平均准确率 (%) | 79.93 | Vision-OPD 76.88 / VA-OPD 76.67 | 比最强同规模方法 +2.80；比 Vision-OPD +3.05 |
| V* 细粒度定位基准（4B） | 准确率 (%) | 92.15 | Decomposed OPD 89.80 / VA-OPD 90.05 | +2.35 / +2.10，跨基准全面提升 |
| 4B 模型对比闭源/超大规模模型 | Avg6 (%) | 78.32 (4B) | Gemini 3.1 Pro 78.04 / Qwen3.5-397B-A17B 76.49 / Gemini 3 Flash 77.32 | 4B 小模型即超越 397B 与 Gemini 3.1 Pro，体现参数效率 |
| 域外泛化（MMVP/CV-Bench/MMStar/POPE，4B 与 9B） | Avg4 / 相对 Base 的 Δ | 4B 79.14 (+0.24)；9B 82.62 (+0.23) | 其他蒸馏方法在 9B 上 Δ 均为负（如 Vision-OPD −1.95、VA-OPD −3.18） | 唯一在两个规模上都保持正 Δ 的后训练方法 |
| 训练成本-精度权衡（4B） | GPU 小时（8×H800，单 epoch） | 67.9 GPU·h，步时 7.84 min | Vision-OPD 65.5 GPU·h，VA-OPD 65.9 GPU·h | 仅 +3.8% 算力换取 +2.40 Avg6，性价比显著 |
局限与改进
作者明确承认两点局限。其一，每次干预只用一对视图得到单个对照向量，可能对「组合性证据（compositional evidence）」产生偏置——更丰富的估计需要多视图或学得的方向基。其二，当前投影给出的是「语义富集」而非「可识别分离」：归因分量里仍可能残留非视觉的教师效应，残差也仍是来源混杂的；带接地约束的可学分解或许能给出更干净的归因。我自己的观察还包括：（a）域外增益很小（+0.24/+0.23），且 Figure 4 的 95% 置信区间相互重叠，所谓「最大联合效应」只是方向性趋势，并非统计显著的优越；（b）只测了 4B/9B 两个规模和 Qwen3.5 一个骨干家族，向其他架构的可迁移性未经验证；（c）教师是同一学生的冻结副本，方法会继承基座自身的偏置；（d）评测依赖 GPT-OSS-120B 作为裁判模型，引入了「LLM-as-judge」这一潜在混淆因素，裁判模型的更替可能改变绝对数值。
独立分析的弱点
第一，单视图对干预过于粗糙，难以刻画组合场景。改进方向：使用多个证据裁剪或学得的方向基向量，构造更丰富的 $u_t$，甚至对证据做空间/属性分解。第二，纯视觉消融会出现回答变长、重复、答案延迟、格式与 EOS 失稳等漂移，说明纯归因本身不稳定、强依赖那个「外挂」弱正则项。改进方向：把语言/格式/EOS 的保持直接内建进目标构造（例如类似 Decomposed OPD 的语言保留项），而不是靠正则兜底。第三，23.2% 的对齐诊断只跑在基座模型上，训练后的归因质量未被复测。改进方向：在训练后的检查点上重跑同一诊断，量化「来源混杂」是否随训练下降。第四，缺少在更大规模（>9B）和更多骨干（非 Qwen）上的验证，方法的规模与架构无关性存疑。第五，评测对裁判模型敏感，建议补充规则化或多人裁判的一致性检验。
未来方向
作者提出的方向有两条：（1）用多视图干预或学得的方向基，构造更丰富的视觉证据方向估计；（2）用带接地约束的可学分解实现可识别的归因分离。基于本文成果可延伸的方向包括：（a）扩展到更大规模与更多 MLLM 骨架，验证归因-重构思路的普适性；（b）把 VAD 的归因目标与强化学习（如 GRPO）结合，探索「归因目标 + 结果奖励」的协同；（c）把反事实归因机制用于推理时的可解释性与调试，而非仅训练；（d）将该思路迁移到非视觉模态（音频、视频）甚至纯文本归因（例如分离教师修正中「推理」与「知识」的成分）；（e）与「思考时用图（thinking-with-images）」的智能体结合，用归因分数决定何时该放大裁剪。
复现评估
复现友好度高。代码开源于 github.com/DeepExperience/VAD_Multimodal_OPD，4B/9B 训练好的检查点发布在 HuggingFace（zhangkangning/VAD_for_Qwen3.5-4b 与 _9b）。训练用 Vision-OPD 公开的 6241 条合成 VQA 样例，与六个主基准无重叠。超参完整：batch 96、每 prompt 8 条 rollout、学习率 $2\times10^{-6}$、$\zeta=10^{-3}$、$c=20$、$\lambda=0.1$、$\tau^+=0.8$（4B）/0.7（9B）、top-100 支撑加尾桶、退化视图用 $0.1\times$ 双线性下采样再最近邻上采样。算力适中：单 epoch 约 67.9 GPU·h（4B）/96.3 GPU·h（9B），8×H800 即可。Algorithm 1 给出完整训练循环，附录 B/D 用统一记号给出各基线目标，便于逐项比对。需注意两点：评测依赖 GPT-OSS-120B 裁判，复现绝对数值取决于其可用性；裁剪与退化视图的构造（含区域标注）来自 Vision-OPD 的数据发布，独立重建数据流水线需要那份发布。总体上，拥有 8×H800 与公开产物的研究者可复现主表。
论文图表
三联图。A 面板量化来源混杂：4B 上 76.8% 的修正视觉对齐、23.2% 来源混杂，9B 上 77.2%/22.8%。B 面板用一个 hat pattern 例子说明：学生对 D.checkered 的错误 token 在 VA-OPD 下 $VA=[\log p_+ - \log p_-]^+=0$，因此正向视觉优势无法把错误 token 识别为高 VA。C 面板展示 VAD 的两步分解——把原始教师修正分解为视觉归因分量与未解释残差，再以学生分布为锚重构目标。
这张图一次性讲清了三个竞争对手（Vision-OPD/VA-OPD/VAD）的本质差异，是理解全文动机、尤其是「正向视觉优势为何漏掉反驳」这一关键洞察的最佳入口。
在固定的答案位置上比较四种监督方向。教师修正的正确支持 7.52、错误压制 6.29；标量缩放 7.64/6.37；单侧投影 $q^{one}_T$ 7.76/6.47；VAD $q^{VAD}_T$ 7.89/6.61，两者联合效应最大。须注意置信区间相互重叠。
这是「重构目标比缩放权重更强」这一核心主张的最直接离线证据，且作者诚实标注了置信区间重叠，体现科学严谨。