余弦相似度误导：辅助损失重塑视觉语言模型而非其潜在变量

余弦相似度与VLM准确率负相关，PRISM揭示潜在变量被绕过

前置知识

潜在视觉推理（LVR）

LVR在视觉语言模型的感知和答案生成之间插入连续值的潜在标记，这些标记在训练时通过重建损失（如MSE或余弦相似度）与教师强制视觉目标对齐，在推理时自回归地反馈回模型。本质上是让模型先生成一个中间的视觉表示，再基于此表示生成答案。

本文的核心研究对象，理解LVR的工作原理是读懂本文的前提。论文围绕LVR训练中使用的余弦相似度是否真正衡量潜在表示质量展开。

信息瓶颈（Information Bottleneck）

信息瓶颈理论将表示学习形式化为在压缩输入和保留关于目标的信息之间的权衡。其拉格朗日形式为LIB = beta * I(X; Z) - I(Z; Y)，其中Z是中间表示，I是互信息，beta > 0控制压缩程度。IB最优的Z在压缩I(X; Z)的同时保留关于答案的信息I(Z; Y)。

本文用来解释LVR损失为何失败的理论框架。论文指出余弦和MSE只优化了IB目标的一侧（压缩），对另一侧（相关性）没有直接约束，导致梯度流向共享参数而非潜在变量。

线性探针（Linear Probe）

线性探针是一种从冻结的隐藏状态训练单个线性分类器来预测目标标签的技术，公式为y_hat = softmax(Wx + b)。通过冻结原始模型的权重并只训练线性层，可以分析隐藏状态中编码了哪些可线性分离的信息。探针准确率越高，表示目标信息在该隐藏状态中越容易解码。

PRISM诊断工具的核心组件之一。本文在答案解码状态和反馈变量两个位置训练探针，通过对比准确率差距G来判断答案信号是否真正存在于潜在变量中。

研究动机

现有潜在视觉推理方法存在根本性假设缺陷。该领域广泛使用余弦相似度或均方误差作为训练损失和事后质量指标，假设更好的对齐意味着更好的答案。例如LVR使用MSE损失LLVR = LCE + lambda * MSE(ht, vt)，Mirage使用余弦损失，Monet和VaLR也采用基于余弦的变体。这些方法隐含的假设是高余弦对齐意味着潜在表示更忠实于视觉目标，从而产生更好的答案，但这个核心假设从未被系统性地直接检验过。

本文的目标是本文的目标是检验LVR训练假设的有效性，即余弦相似度对齐是否真正衡量潜在表示的质量。作者设计了包含五个LVR变体的测试矩阵，覆盖了该领域训练潜在标记的常见设计选择，包括重建约束、噪声正则化和渐进式脚手架等。通过对比不同变体的余弦对齐度和任务准确率，以及对潜在变量进行因果干预测试，作者希望揭示辅助损失真正起作用的机制。

与已有工作不同的是，本文的独特切入角度是不仅质疑余弦相似度作为质量指标的合理性，还提出了替代性诊断框架PRISM来真正定位答案信号在模型中的位置。与之前工作假设潜在变量被直接使用不同，本文发现LVR潜在变量在推理时基本被绕过（corruption测试显示准确率变化最多4个百分点），而辅助损失通过梯度流改变共享参数而非直接优化潜在内容。这一发现挑战了整个LVR领域的方法论基础。

核心方法

方法整体思路是设计系统性的实验来检验LVR训练假设，并提出PRISM诊断框架来揭示模型内部的信息流动。作者首先设计了五个LVR变体矩阵，包括基础LVR、添加噪声的N-LVR、延迟释放的D-LVR、以及两阶段和三阶段渐进式P-LVR。所有变体在相同的主干模型、数据和训练步骤预算上训练，然后对比余弦对齐度和任务准确率的关系。接着应用PRISM的两轴诊断：Axis 1在答案解码状态和反馈变量位置训练线性探针，Axis 2通过腐败测试（截断、噪声、交换）测量潜在变量的因果依赖性。

核心创新点在于PRISM诊断框架，它用两个问题替换了余弦相似度：答案在哪里可解码（线性探针）和潜在变量是否承载答案（腐败测试）。与只测量潜在对齐目标保真度的余弦不同，PRISM揭示了答案信号实际上位于潜在变量的下游而非其中。探针准确率在答案解码状态高达50.2%-69.1%，在反馈变量只有32.5%-41.9%，差距G与任务准确率强相关（r=+0.86）。这表明辅助损失通过梯度流重塑VLM的共享参数，而非通过名义上优化的潜在变量。

方法步骤详情

方法步骤包括四个主要阶段。第一阶段设计并训练五个LVR变体矩阵：LVR使用基础MSE损失，N-LVR添加输入噪声实现局部平滑性正则化（等价于Bishop噪声-Tikhonov），D-LVR在训练中途移除重建约束（lambda从0.1变为0），P-LVR-2和P-LVR-3采用渐进式脚手架，分阶段从扩展的上下文框到精确目标框进行训练。所有变体基于Qwen2.5-VL-3B-Instruct，在Visual-CoT-438k数据集上训练2500步，学习率10^-5。第二阶段测量每个变体的余弦对齐度和V*Bench、MMVP、BLINK三个基准的准确率。第三阶段应用PRISM的Axis 1，在两个位置训练逻辑回归探针：位置a是答案解码状态（消费LVR标记后LM头部读取的第一个答案标记的隐藏状态），位置b是反馈变量（自回归循环重新注入的边界隐藏状态）。第四阶段应用Axis 2，在每个LVR推理步骤对潜在变量进行三种腐败：截断、高斯噪声（sigma取值0.1, 0.3, 1.0）和随机交换，测量准确率变化。

技术新颖性

技术新颖性体现在三个方面：首先发现了余弦对齐度与准确率之间强负相关（Pearson r=-0.94），推翻了LVR领域的核心假设，这是一个意外的反直觉发现。其次提出了PRISM诊断框架，结合线性探针和因果腐败测试来定位答案信号，相比传统的对齐度量提供了更直接的信息流动洞见。第三从信息瓶颈角度解释了辅助损失失败的机制：MSE和余弦只实现了压缩（通过锚定到低速率目标），但相关性压力来自交叉熵损失，而模型自由地将答案路由到除潜在变量之外的任何部分，导致损失通过共享参数而非潜在内容起作用。这种路径错位现象在多模态辅助损失中可能普遍存在。

**Figure 2**: PRISM overview. Two inference-time diagnostics for the LVR family. Axis 1 trains linear probes at two positions in the model: (a) the answer-decoding state the LM head reads, and (b) the feedback variable the autoregressive loop re-injects. Axis 2 perturbs the LVR-injected hidden states (latents) in generation (truncation, noise, swap) and measures the change in accuracy.

**Figure 3**: The matrix of five LVR variants, grouped by their relationship to the IB objective. Top row (reconstruction-only supervision): LVR baseline, P-LVR (progressive 2/3-stage scaffolding), D-LVR (reconstruction loss removed at mid-training). Bottom (IB-consistent regularizer): N-LVR adds zero-mean Gaussian noise to the teacher-forced input during training while keeping the target clean.

实验结果

核心发现包括四个关键实验结果。第一，余弦对齐度与V*Bench准确率呈强负相关（r=-0.94），具体表现为渐进式P-LVR变体将余弦从基准的0.555提升到0.777（提升40%）和0.769，同时V*Bench准确率下降13个百分点（从70.2%降至57.1%）。第二，LVR和N-LVR具有几乎相同的余弦值（0.555 vs 0.556）但不同的V*Bench准确率和相反的交换反应符号（LVR为+1.6，N-LVR为-0.5），余弦无法区分这两个变体。第三，腐败测试显示所有五个变体的每种干预最多只改变4个V*Bench百分点，P-LVR-3在零化潜在时准确率反而提升2.1个百分点，表明潜在变量主动干扰而非帮助。第四，探针对比显示答案解码状态准确率范围50.2%-69.1%（r=+0.98与V*Bench相关），反馈变量准确率范围32.5%-41.9%（r=+0.20），解码差距G与V*Bench相关（r=+0.86），且预测腐败反应（r=-0.77到r=-0.93）。

**Table 1**: Per-variant measurements across the LVR matrix. cos: mean cosine alignment between LVR-position hidden state and target visual embedding. V*B / MMVP / BLINK: benchmark accuracy (%). Acc(a) / Acc(b): linear-probe accuracy (%) at the answer-decoding state Hans and the feedback variable Zfb. G: probe contrast (decodability gap). trunc / sigma/ swap: faithfulness-corruption accuracy on V*Bench.

**Table 2**: Cross-variant Pearson correlations of each diagnostic against V*Bench accuracy, the truncation and small-noise (sigma = 0.1) corruption response.

**Figure 4**: Faithfulness corruption profiles on V*Bench. Change in V*Bench accuracy (acc, pp) under each corruption applied to the LVR latents at latent reasoning steps, against a clean pass. Negative = own latent helps; positive = own latent hurts.

**Figure 5**: The probe contrast predicts latent reliance. Decoding gap G against corruption response under small-noise (sigma = 0.1, left) and truncation (right), across the five variants.

查看结构化数据

任务	指标	本文	基线	提升
V*Bench视觉搜索	准确率(%)	70.2 (LVR) / 71.7 (N-LVR) / 57.1 (P-LVR)	无显式基准，变体互为对照	N-LVR比LVR高1.5点；P-LVR比LVR低13.1点
MMVP成对比较	准确率(%)	49.7 (LVR) / 50.0 (N-LVR) / 48.7 (P-LVR-2)	无显式基准	变体间差异≤1.3点，小于V*Bench的13点差异
BLINK感知选择	准确率(%)	53.4 (LVR) / 52.9 (N-LVR) / 47.3 (P-LVR-2)	无显式基准	P-LVR比LVR低6.1点，趋势与V*Bench一致但幅度较小

局限与改进

局限性包括证据范围有限，主要来自一个基础模型（Qwen2.5-VL-3B-Instruct）和一个微调语料库（Visual-CoT-438k），更大的主干模型或控制初始化复现可能会改变报告的每个变体的数值。诊断轴有界，线性探针测量线性可解码性而非下游层实际使用的内容，使用随机标签控制任务来限制选择性；腐败测试覆盖截断、三个噪声级别和捐赠者交换但没有穷尽扰动空间。基准集中在细粒度感知（V*Bench、MMVP、BLINK），其中潜在质量具有最大杠杆作用；具有较少空间局部化问题的整体推理基准可能表现出不同的余弦-准确率模式。五变体集的样本量限制了相关系数的统计强度，尽管留一敏感性分析表明没有单个变体驱动关系。

独立分析的弱点

论文存在几个具体的技术弱点。第一，余弦与准确率负相关的机制分析主要基于IB理论的解释性框架，而不是直接的梯度流追踪或注意力权重分析，缺乏因果机制验证。第二，变体矩阵的设计可能遗漏了某些LVR配置空间，例如连续退火变体（D-LVR使用两阶段而非连续退火）或不同的噪声注入策略（当前只在教师强制输入注入而非潜在变量本身）。第三，基准选择偏向细粒度视觉推理任务，在更多元化的任务集上（如需要长链推理或跨图像比较的任务）结果可能不同，因为潜在变量在不同任务类型中的有用性可能不同。第四，探针的线性假设可能遗漏非线性编码的答案信息，尽管控制任务显示选择性>25%表明测量不是探针能力的伪影。

未来方向

未来研究方向包括四个可延伸的方向。第一，将PRISM诊断应用到其他多模态设置中的辅助损失，例如在文本-图像生成中检查中间表示是否被实际使用，或在音频-语音模型中检查跨模态对齐假设。第二，探索如何设计真正迫使模型使用潜在变量的损失函数，例如在潜在变量上添加因果约束或通过反向传播强制使用检测。第三，研究不同模型规模对绕过行为的影响，更大的模型可能因为容量增加而更倾向于使用而非绕过潜在变量。第四，开发非线性的探针和更细粒度的腐败测试，例如目标移除、注意力掩码或层级特定干预，以获得更精确的信息流动图。

复现评估

复现评估显示该工作复现难度中等偏易。作者承诺代码开源（https://github.com/xiuyuz/cosine-misleads），包含训练、评估、可解释性和审计脚本。使用的所有研究产物都是公开的：Qwen2.5-VL-3B-Instruct基础模型、Visual-CoT-438k训练数据、V*Bench/MMVP/BLINK基准。计算需求约为每个变体5-12 GPU小时在1-2个H100上，加上每个变体每个基准额外约1 GPU小时的诊断重运行。训练超参数详细记录在附录中，包括有效批大小64、学习率10^-5、余弦调度、bf16精度、2500步等。主要限制是不重新分发原始训练语料库、基准或预训练检查点，但代码记录了预期的产物位置和复现命令。样本量小（5个变体）相关系数的统计不确定性通过自举置信区间处理，95%百分位区间显示符号稳健但幅度有结构性不确定性。

余弦相似度误导：辅助损失重塑视觉语言模型而非其潜在变量 Cosine Misleads: Auxiliary Losses Reshape Vision Language Models, Not Their Latents