仅用MLP：多模态语言模型的高效视觉状态重建 Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
用低秩MLP预测每层视觉记忆，免剪枝加速多模态推理且保留全部视觉token
前置知识
多模态大模型（MLLM）与视觉 token
将图像或视频经视觉编码器（如 ViT）和投影层转换成一串与文本同维度的 embedding，与文本 token 拼接后送入语言模型。每个视觉 token 与文本 token 一样，在每一层 Transformer 中都要生成自己的 Query、参与注意力、通过前馈网络（FFN），因此视觉 token 在所有层的重复计算是推理开销的主要来源。
本文讨论的正是“视觉 token 逐层演化”这个计算瓶颈。论文先把视觉 token 的角色拆解为“给文本提供检索上下文”和“自身作为活跃状态被逐层改写”，不理解这个双重角色就无法理解方法砍掉了什么、保留了什么。
注意力中的 Key–Value（KV）上下文
自注意力中每个 token 生成 Query、Key、Value 三组向量；其他位置的 Query 通过与 Key 匹配打分、对 Value 加权求和来“检索”该 token 携带的信息。文本 token 之所以能“看懂”图像，本质是文本 Query 在每一层检索视觉 token 的 K/V。
δ-Vision 保留的恰好是“视觉作为 K/V 上下文”这一角色，省略的是视觉自身的 Query、注意力输出和 FFN。理解 K/V 检索机制，才能看懂为什么预测出 $M_l$ 再过一层冻结的 $W_K, W_V$ 就足以维持模型行为。
低秩分解与 LoRA 式适配器
把一个大的更新量近似为两个瘦矩阵的乘积 $D\in\mathbb{R}^{d\times r}$ 与 $U\in\mathbb{R}^{r\times d}$，其中秩 $r\ll d$，参数量从 $d^2$ 降到 $2dr$。LoRA 微调即用这种结构：残差更新 $\phi(XD)U$ 被限制在低维子空间中，且 $U$ 零初始化保证训练起点是恒等映射、不破坏原模型。
δ-Vision 每层的学习组件就是一个 LoRA 形状的 MLP，“秩 $r$ 的残差校正”是全文的核心假设与参数化方式，论文的大量分析（谱秩 $r_{95}$、恢复实验）都在论证这个低秩假设成立。
知识蒸馏（KD）与 Supervised-KD
让小模型（学生）模仿大模型（教师）的输出分布而非仅拟合硬标签。Supervised-KD（受 Agarwal et al. 2024 启发）在真实答案的 token 位置集合 $\Omega$ 上，令学生的下一 token 分布与教师分布做前向 KL 散度最小化：$\mathcal{L}_{KD}=\frac{1}{|\Omega|}\sum_{t\in\Omega}D_{KL}(p_T\|p_S)$，避免了 on-policy 蒸馏的滚动采样开销。
δ-Vision 只训练参数量很小的适配器，主干全部冻结，教师的行为完全靠这个蒸馏损失“灌”进低秩视觉记忆中。论文附录 E 的消融显示它优于标准 SFT 和 on-policy 蒸馏，是训练目标的基石。
FLOPs、prefill 与 decode 两阶段推理
FLOPs 衡量计算总量。LLM 推理分两阶段：prefill 阶段一次性并行处理全部输入 token（视觉 token 的计算开销集中在此），decode 阶段逐个自回归生成输出 token。压缩视觉计算主要加速 prefill，对 decode 的收益则受 KV cache 大小制约。
论文用 FLOPs 占比（17.90%）、prefill 加速（1.50×）和总加速（1.30×）三个指标论证效率。理解两阶段区别，才能解释为什么保留全部视觉 KV 的 δ-Vision prefill 提速明显、总加速却低于 prefill 加速。
研究动机
多模态大模型为获得强视觉能力，会把图像/视频编码成很长的视觉 token 序列，这些 token 不仅占据输入，还要在语言模型内部每一层 Transformer 中生成自己的 Query、参与注意力、通过前馈网络。以 Qwen3-VL-4B（隐藏维度 2560、36 层）为例，高分辨率图像或视频动辄产生数百到上千个视觉 token，它们逐层的重复计算构成推理开销的大头。主流加速方案是视觉 token 剪枝：FastV、VisionZip、SparseVLM、DART、DivPrune、ZOO-Prune 等在浅层之后丢弃“冗余”token 以缩短序列。但剪枝不可逆——一旦丢弃，后续层永远无法再访问这部分视觉证据。实测代价很大：在 Qwen3-VL-4B 上把视觉 token 保留率压到 5% 时，最强 training-free 基线 DivPrune 的 9 项基准平均分从原模型的 80.1 跌到 65.3，训练式的 LLaVA-Mini、EPIC 也只有 65.0、66.9；像 MMStar 这样的任务从 64.9 掉到 42.8，说明被裁掉的证据其实是模型后续层真正需要的。
本文的目标是本文的目标不是减少视觉 token 的数量，而是减少“构造视觉 token 逐层表示”所需的计算：保留全部 $N_v$ 个视觉 token 及其位置，让文本流在每一层仍然能从完整的视觉证据中做 Key–Value 检索，同时把视觉 token 在每层的完整自注意力 + FFN 演化，替换为轻量低秩适配器对“该层所需视觉记忆”的直接预测。衡量标准是：在与“保留 5% token 的剪枝方法”相当甚至更低的计算预算（FLOPs）内取得显著更高的准确率，并能跨主干（LLaVA、Qwen 系列，含混合注意力架构）、跨模态（单图、多图、视频）泛化，最终在不丢弃任何视觉证据的前提下达到 1.3× 以上的端到端加速。
与已有工作不同的是，本文的独特之处在于把效率轴从“序列长度”（保留哪些 token）切换到“视觉状态如何构造”。支撑这一转向的是两个分析性发现：其一，视觉信息对文本流的影响集中在低维子空间——把视觉到文本的注意力阻断后，仅恢复 $r=128$ 个隐藏方向就能把 Qwen3-VL-4B 在 RWQA 上从 46.1 拉回 70.7（原值 71.2）、MMStar 从 25.6 拉回 64.6（原值 64.9）；其二，各层视觉状态高度可预测——用 $d\to d\to d$ 的轻量 MLP 从初始视觉 embedding 出发即可高余弦相似度、低重建 MSE 地逼近 Transformer 演化后的状态（Figure 1b）。既然每层真正暴露给文本流的视觉信息既低秩又可预测，让视觉 token 跑完整的注意力与 FFN 就是浪费：这直接催生了“用 MLP 适配器替代视觉侧 Transformer 演化”的 δ-Vision 设计，与剪枝路线正交而非竞争。
核心方法
δ-Vision 的直觉是：视觉 token 在 MLLM 中承担两件事——给文本流提供 Key/Value 检索上下文，以及作为“活跃状态”被逐层改写。前者不可省略，后者可以被预测。于是它冻结视觉编码器、投影层和 LLM 主干，只为每层训练一个低秩适配器来直接“预测”该层所需的视觉记忆 $M_l$：适配器 $A_l(X)=X+\Delta_l(X)$，其中 $\Delta_l(X)=\phi(XD_l)U_l$，$D_l\in\mathbb{R}^{d\times r}$、$U_l\in\mathbb{R}^{r\times d}$ 为降/升维矩阵，$r\ll d$，$\phi$ 为 SiLU，$U_l$ 零初始化使起点为恒等映射。预测出的 $M_l$ 经冻结的 LayerNorm 和原版 $W_K,W_V$ 投影成 $K_v^l,V_v^l$，文本 Query 对 $[K_v^l;K_t^l]$、$[V_v^l;V_t^l]$ 做标准因果注意力；视觉侧的 Query、注意力输出与 FFN 全部删除。在 Qwen3-VL-4B 上该框架以约 17.9% 的 FLOPs 把 9 项基准平均分做到 74.4。
核心创新是“视觉记忆预测”（visual memory prediction）范式：它把“视觉状态如何生成”与“哪些视觉证据可见”解耦。与 FastV/DivPrune 等改变 token 集合的方法不同，δ-Vision 保留全部 token，只是不再让它们经历完整的自注意力 + FFN 演化，而是用参数量极小的低秩残差校正 $A_l(X)=X+\phi(XD_l)U_l$ 直接合成每层的 Key/Value 上下文。参数化的关键性质是：约束的是“更新方式”而非“记忆本身”——残差 $\Delta_l(X)$ 的秩不超过 $r$，但经残差连接后的 $A_l(X)$ 仍是全 $d$ 维表示，即“层间视觉位移位于低维子空间”这一假设被显式编码进结构里。这也解释了为何少量参数即可吸收全部监督信号：附录 E 的消融显示 Supervised-KD 优于标准 SFT 与 on-policy 蒸馏，教师（冻结的原版 MLLM）在答案 token 位置上的分布被完整迁移到学生的低秩视觉通路上。
方法步骤详情
流程分五步。（1）视觉编码：图像/视频经视觉编码器与投影层得到 $E=[e_1,\dots,e_{N_v}]\in\mathbb{R}^{N_v\times d}$，与文本 embedding 拼接。（2）构造各层视觉记忆，两种变体：Embedding Adapter 直接预测，$M_l=A_l(E)=E+\Delta_l(E)$，各层条件独立、可完全并行；Recurrent Adapter 递推传播，$M_0=E$，$M_l=M_{l-1}+\Delta_l(M_{l-1})$，把跨层演化压缩为低秩校正的累积。（3）作只读 KV 上下文：$K_v^l=W_{K,l}\,\mathrm{LN}_l(M_l)$、$V_v^l=W_{V,l}\,\mathrm{LN}_l(M_l)$，复用原版冻结投影；$M_l$ 在第 $l$ 层被消费后即丢弃，不回流主干。（4）文本流照常计算 $Q_t^l,K_t^l,V_t^l$，对视觉记忆与文本上下文做联合因果注意力 $O_t^l=\mathrm{Attn}(Q_t^l,[K_v^l;K_t^l],[V_v^l;V_t^l])$，输出只含 $N_t$ 个文本位置，之后走原版输出投影、残差与 FFN。（5）训练：冻结教师（原版 MLLM），仅在真实答案 token 位置集合 $\Omega$ 上最小化前向 KL 散度 $\mathcal{L}_{KD}=\frac{1}{|\Omega|}\sum_{t\in\Omega}D_{KL}\big(p_T(\cdot|I,x_{1:T},y_{<t})\,\|\,p_S(\cdot|I,x_{1:T},y_{<t})\big)$，只更新适配器。
技术新颖性
技术新颖性体现在三个层面。其一，与 token 剪枝家族（FastV、VisionZip、SparseVLM、DART、DivPrune、ZOO-Prune）正交：那些方法通过缩短序列省算力、代价是永久丢失视觉证据，本文证明可以在不缩短序列的前提下省算力，附录 I 还验证了两者可以叠加使用。其二，与“削减层内视觉计算”的 EE-MLLM（直接去掉视觉自注意力）、ShortV 与 Luo et al.（按层重要性跳过视觉计算）不同：它们是删除或保留原计算的一部分，δ-Vision 是学习一条替代通路主动合成视觉状态，因而层重要性可以灵活调度（附录 J 的层跳过实验）。其三，与 KV Prediction（Horton et al., 2024）用小模型预测大模型 KV cache 的思路有亲缘但更彻底：δ-Vision 在 KV 投影之前预测“视觉记忆”并复用冻结的原版 $W_K, W_V$ 与 LayerNorm，蒸馏目标是 token 级输出分布（Supervised-KD）而非 KV 本身，与主干解耦得更干净。
实验结果
（1）单图主结果（Table 1）：Qwen3-VL-4B 原模型 9 项基准平均 80.1，5% token 保留下 δ-Vision（Emb. Adapter）达 74.4，比最强剪枝基线 DivPrune 的 65.3 高 9.1 分，甚至略超 20% 保留下的最好结果（DivPrune 74.2），保留原模型 92.9% 的性能；Rec. Adapter 进一步升至 75.4，对训练式基线 LLaVA-Mini（65.0）、EPIC（66.9）分别领先 9.4、7.5 分。（2）效率（Table 2）：Video-MME 上 FLOPs 降至原模型 17.90%（剪枝基线 16.58–23.90%），端到端 1.30×、prefill 1.50× 加速，与最快的 VisionZip/DivPrune 持平，但峰值显存 12.97GB 略高于剪枝法的 10.58–11.76GB。（3）跨主干（Table 3）：LLaVA-1.5-7B 61.9 vs DivPrune 59.8（原模型 65.6）、Qwen3-VL-30B-A3B 78.6 vs 71.3（82.7）、Qwen3.5-4B 71.6 vs 62.7（74.7），均保留 94–96% 原模型性能。（4）多图/视频（Table 4）：仅单图训练 49.5，加多图视频数据后 52.0，超过最强剪枝基线 50.2，MuirBench 40.7→45.5、MVBench 57.4→59.5。（5）机理分析（Table 5/6、Figure 3）：视觉注意力输出 95% 谱能量只需 38.0–103.5（Qwen3-VL-4B）/29.6–37.6（LLaVA）个方向；全层阻断视觉信息使 RWQA 从 71.2 崩到 46.1、MMStar 从 64.9 崩到 25.6，恢复 $r=128$ 个方向即回到 70.7 和 64.6，中层（13–22 层）最敏感。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单图理解 9 项基准平均（Qwen3-VL-4B，5% 视觉 token 保留） | 各基准 per-question 准确率的非加权平均分 | 74.4（Embedding Adapter）/ 75.4（Recurrent Adapter） | DivPrune 65.3（最强 training-free 剪枝基线）；EPIC 66.9（最强训练式基线） | +9.1 分（vs DivPrune）、+7.5 分（vs EPIC），保留原模型 80.1 分中 92.9% 的性能 |
| Video-MME 推理效率（Qwen3-VL-4B） | FLOPs 占比 / 总加速 / prefill 加速 | FLOPs 17.90%，总加速 1.30×，prefill 加速 1.50× | 5% 保留剪枝基线：FLOPs 16.58–23.90%，总加速 1.13–1.30×，prefill 加速 1.24–1.47× | 与最快剪枝法（VisionZip/DivPrune，均 1.30×/1.45–1.47×）效率持平，但精度高约 9 分，且未丢弃任何视觉 token |
| 跨主干单图平均（Qwen3-VL-30B-A3B / Qwen3.5-4B / LLaVA-1.5-7B，DART 与 DivPrune 保留 5% token） | 9 项基准平均分 | 78.6 / 71.6 / 61.9 | DivPrune：71.3 / 62.7 / 59.8（对应原模型上限 82.7 / 74.7 / 65.6） | +7.3 / +8.9 / +2.1 分，三个主干均保留原模型约 94–96% 的性能 |
| 多图与视频理解平均（MuirBench + Video-MME + MVBench，Qwen3-VL-4B） | 三项基准准确率平均分 | 52.0（多图/视频数据训练）；49.5（仅单图数据训练） | DivPrune 50.2（最强 5% 保留剪枝基线）；EPIC 46.6 | +1.8 分（vs DivPrune）；相对仅单图训练，MuirBench +4.8、MVBench +2.1、Video-MME +0.5 |
局限与改进
作者承认并可观察到的局限：第一，δ-Vision 是训练式方法，需要冻结教师做 Supervised-KD 蒸馏（配方在附录 A），无法像 FastV/DivPrune 那样零训练即插即用。第二，效率收益集中在 prefill（1.50×），端到端只有 1.30×；且因为保留了全部 $N_v$ 个视觉 token 的 KV，峰值显存 12.97GB 甚至略高于未压缩模型的 12.94GB，在长视频或长上下文场景这是硬瓶颈。第三，Recurrent Adapter 必须逐层顺序计算，牺牲了 Embedding Adapter 的层间并行性（尽管每步只是 $d\times r$ 的 MLP）。第四，对 Qwen3.5-4B 这类混合注意力架构需要专门处理（附录 K），说明方法与具体注意力结构存在一定耦合。第五，Table 6 显示视觉依赖在层间高度非均匀（中层 13–22 最敏感、首尾层几乎无关），但 δ-Vision 默认对所有层统一构造记忆、统一开销，尚未利用这一非均匀性做差异化的计算分配。
独立分析的弱点
独立分析几个弱点。（1）KV 显存与解码效率：所有层的完整视觉 KV 都驻留显存，峰值 12.97GB 与原模型 12.94GB 几乎持平，对超长视频或 128K 上下文可能反成短板；改进方向是与 token 剪枝/合并正交叠加（附录 I 已示范与 DART、DivPrune 组合），或对记忆 $M_l$ 本身做 token 级聚类压缩。（2）训练分布依赖：蒸馏依赖特定指令数据，面对分布外的极端 OOD 视觉输入（医学影像、密集文档 OCR），预测的 $M_l$ 可能系统性偏移，且没有 training-free 回退机制；改进方向是基于 PCA/谱分析的免训练记忆初始化或在线校准。（3）秩 $r$ 全局固定：Table 5 显示有效秩随层与任务波动大（$r_{95}$ 从 38.0 到 103.5），统一 $r$ 要么浪费要么欠拟合；改进方向是逐层可学习秩或按样本自适应截断。（4）评测集中在 VQA 类基准，缺少长链多模态推理、GUI/Agent、密集文档理解等强依赖细粒度视觉证据的场景——而这些恰是“不丢 token”最应占优的地方。
未来方向
作者明确提出的延伸方向：与视觉 token 剪枝的组合（附录 I 已给出与 DART、DivPrune 联合的实验）、利用层重要性的非均匀性做灵活的层间跳过（附录 J）、以及混合注意力架构上的适配分析（附录 K）。基于本文成果还可延伸：其一，自适应秩与异构适配器——按 Table 6 揭示的“中层敏感、首尾层迟钝”给不同层分配不同容量甚至完全跳过，把 δ-Vision 从“每层一个适配器”升级为重要性感知的稀疏视觉通路；其二，把“视觉记忆预测”推广到其他模态流（音频、视频帧间、具身传感器），凡是“作为上下文被检索、自身演化冗余”的模态都适用同一范式；其三，与服务侧系统优化结合——预测出的 KV 天然支持量化、分页与跨请求复用，可与 KV cache 管理研究衔接，弥补 decode 阶段收益有限的短板；其四，理论层面把“视觉到文本影响位于低维子空间”与注意力的低秩性、谱分析联系起来，给出何时 $r\ll d$ 即足够的可证明条件。
复现评估
复现评估：论文摘要页标注代码位于 GitHub 的 DeCLaRe Lab，训练配置与多图/视频训练配方在附录 A，开源意愿明确但正文未确认代码是否已发布。算力分两档：训练侧要跑冻结教师前向加学生训练，模型为 Qwen3-VL-4B / 30B-A3B / Qwen3.5-4B / LLaVA-1.5-7B 量级，多卡 A100/H100 较稳妥，但可训练参数只有每层两个 $d\times r$ 与 $r\times d$ 矩阵，显存与优化器压力远小于全参微调；评测侧全部为公开基准（MMStar、RealWorldQA、GQA、MMBench(-CN)、MME、POPE、ScienceQA、VQAv2、MuirBench、Video-MME、MVBench），复现推理结果门槛低。风险点：蒸馏数据构成与 Supervised-KD 的 teacher forcing 实现细节是否完整公开，以及 6 个剪枝基线的官方实现与保留率口径对齐（FastV/DART/SparseVLM 不计前两层，其余计全部层）。总体属中等偏低难度：推理复现容易，训练复现依赖附录细节与代码开源程度。
论文图表
(a) 把视觉隐状态投影到低秩子空间再重建后，不同秩 $r$（0–1024）下 Qwen3-VL-4B（隐藏维 2560）与 LLaVA-1.5-7B（隐藏维 4096）在 SQA、RealWorldQA、MMStar 上的精度恢复曲线：秩远小于原生隐藏维度时精度已恢复大半，LLaVA-1.5-7B 尤其明显。(b) 每层训练一个 $d\to d\to d$ 的轻量 MLP，从初始视觉 embedding 预测该层 Transformer 演化后的视觉状态，随层数推移余弦相似度保持高位、重建 MSE 保持在 $10^{-2}$ 量级以下，说明层间状态强可预测。
这张图给出全文立论的两个经验证据（低秩充分性 + 层间可预测性），是“用 MLP 替代视觉侧 Transformer 演化”这一核心设计的直接出发点，放在引言部分统领全文动机。