← 返回 2026-10-01

反思潜在视觉推理:让潜在推理扎根于视觉证据 Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence

Xi Xiao, Tianchen Zhao, Youngeun Kim, Zhuowei Li, Linghan Xu, Jiaye Wu, Zheng Zhang, Xiang Xu, Xuanbai Chen, Farhan Tejani, Jakub Zablocki, Julia Xu, Yifan Xing 📅 2026-09-28 👍 22 2026-11-11 18:30
GRPO 可解释性分析 多模态大模型 强化学习 潜在视觉推理 视觉定位

用答案对比定位监督位置、视觉对比定义监督内容,让潜在视觉推理真正扎根图像证据

前置知识

潜在视觉推理(Latent Visual Reasoning, LVR)

在输入图像/问题与最终文本答案之间插入 K 个连续隐状态向量(latent tokens,如生成序列 x → <|lvr_start|> → z1…zK → <|lvr_end|> → 答案)。解码器不把这些状态映射成词表 token,而是把隐藏状态 $z_t \in \mathbb{R}^d$ 直接递归传给下一个解码步,让中间计算在连续空间完成,特别适合空间关系、细粒度视觉细节等难以逐步言说的推理。

本文的全部诊断、训练与干预实验都围绕这些自由生成的隐状态展开,不理解 LVR 的生成机制就无法理解'证据-信用缺口'发生在哪里。

GRPO(组相对策略优化)

RL 后训练算法:对同一提示采样 $G$ 个回答(本文 $G=8$),用组内奖励的相对优势 $\hat{A}_i$ 更新策略,配合 PPO 式裁剪文本目标与 KL 惩罚;奖励通常只看最终答案对错与格式。论文中 Stage 2 最小化 $\mathcal{L}^{S2}_{LVR} = -J_{clip} + \beta \hat{L}_{textKL}$。

GRPO 在 replay 时把采样到的隐向量当作固定上下文、梯度不回传生成过程,是'最终答案奖励无法指导 latent 学什么'这一核心问题的根源。

教师强制与自由生成(teacher forcing / free-running)

教师强制(TF)指训练时把目标向量序列直接铺在输入位置供模型对齐;free-running 指模型把自己的隐藏状态 $z_t = T_\theta(c_t(\tau))$ 递归反馈、自回归地生成后续状态。LVR 的 Stage 1 在 TF 状态上做视觉重建监督,而 Stage 2 与推理时模型必须自由生成轨迹,两者不一致正是本文抓住的训练缺口。

理解'TF 状态有监督、free-running 状态无监督'的错位,才能明白 ReaLVR 为什么强调在当前模型自己生成的轨迹上做 on-policy 蒸馏。

注意力读出(attention readout)

把 post-softmax 注意力权重 $A^{(\ell,h)}_{j,t}$ 当作'谁在读取谁'的度量。本文把答案内容 token 对各 latent 位置的注意力在解码器层 $\ell \in L_{dec}$、头 $h \in H$ 和内容位置 $j$ 上求平均,得到读出强度 $r_t(y)$;再用正确答案读出 $r_t^+$ 与错误答案平均读出 $r_t^-$ 之差的正部 $\gamma_t = [r_t^+ - r_t^-]^+$ 作为选择性信用。

它既是 ReaLVR 决定'在哪里加强监督'的路由信号,也是论文机制分析(注意力热图、固定上下文替换)的核心测量工具。

视觉原型对比(visual prototype contrast)

用 ROI 标注 $a$ 对 $N$ 个视觉 token 做掩码平均得到正原型 $p^+ = \mathrm{Pool}(V; a^+)$(无 ROI 时退化为全图均值),再从同 batch 其他样本池化 $N^- = 16$ 个负原型集合。每个 latent 位置的间隔为 $g_t = sim(z_t, p^+) - \max_{p^-} sim(z_t, p^-)$(余弦相似度),铰链损失把 $g_t$ 推向目标间隔 $m_{ev}$。

它定义了 latent token '应该保留什么'——不是泛泛的图像内容,而是能把支持证据与干扰图像区分开的内容。

固定上下文干预(fixed-context replacement)

因果性评估手段:保持其他 latent 状态不动,只替换按答案注意力排序的 top-$k$ 个 latent token,测量正确答案概率或对数似然的变化 $u_t(\tilde{z}_t) = \log \pi_\theta(o^*_{ans}|x, z_{1:K}) - \log \pi_\theta(o^*_{ans}|x, \tilde{z}_{(t \leftarrow \tilde{z}_t)})$。它是评估指标而非训练目标。

论文用它证明 ReaLVR 的答案确实依赖 latent token(替换 top-8 使正确概率 0.70→0.59),区分了'被读取''有定位''真有用'三个层次。

研究动机

潜在视觉推理(LVR)把中间推理放进连续隐状态,但这些状态不可读,训练时无法直接监督它们学到了什么。作者用受控的行为与表征测试发现了一个'潜在证据-信用缺口'(latent evidence-credit gap):在四类图像编辑(改颜色、删物体、换形状、换左右)共 2048 对样本中,正确答案需要改变的比例达 81.45%–86.33%,而 LVR 的预测只有 5.66%–13.09% 跟着改变,两者缺口高达 68.36–80.67 个百分点;其 latent 轨迹在编辑前后几乎纹丝不动(mean-pooled 余弦距离 ≤0.0005,如颜色编辑仅 0.000158)。注意力分析同样显示 latent 查询对目标区域的读取、答案查询对 latent 状态的读取都很弱。根因在训练管线:Stage 1 只对教师强制的目标条件状态做视觉重建监督,推理时模型却要自由生成轨迹;Stage 2 的 GRPO 在 replay 时把采样到的隐向量当固定上下文,不回传梯度,最终答案奖励完全无法告诉模型哪些位置需要更强监督、应该保留什么证据。

本文的目标是本文的目标是把视觉证据监督直接施加到模型自己自由生成的潜在轨迹上,回答两个此前无人同时回答的问题:'在哪里'监督——用正确答案与模型自采样错误答案对各 latent 位置的注意力读出之差,定位真正被答案依赖的位置;'保留什么'——用相关视觉证据与错配证据的对比间隔,定义 latent 应当区分的内容。同时要求不改变模型架构与推理流程(推理仍按原 LVR 生成 K 个 latent token 后直接解码答案),并把这一范式验证到 Qwen3-VL-235B-A22B 的前沿规模,证明 latent 状态保持输入相关、携带答案相关信息而非塌缩成固定轨迹。

与已有工作不同的是,先前的潜在推理工作把精力放在轨迹形态设计上——交错文本与视觉推理、结构化/粗到细轨迹、多假设并行推理等;另一些方法用语义或注意力目标做对齐(Monet 直接优化采样的潜在轨迹,CoLVR 对比潜在轨迹,RIS 监督区域证据),但都没有回答:自由运行轨迹中,哪些位置被正确答案优先读取、应当获得更强监督?ReaLVR 的独特切入是'结果对比式证据信用':用行为策略自己采出的错误答案做参照系,扣除正确与错误答案共有的注意力(格式、过渡 token),把监督集中到正确答案独占读取的位置;并在同一條保留梯度的当前模型轨迹上,先定位置、再用相关-错配视觉对比定义内容,权重 stop-gradient 防止优化捷径。这是对证据-信用缺口的第一次直接、机制层面的修补。

核心方法

直觉上,latent token 像一块连续的草稿纸:最终答案的 RL 奖励只告诉你'这次考过了',却不告诉你草稿纸上哪几行是关键、该写什么。ReaLVR 在 GRPO 之外增加一条证据损失。对每个输入,先用当前模型重新生成一条 latent 轨迹 $z^\theta_t = T_\theta(x, \langle lvr\_start \rangle, z^\theta_{1:t-1})$(递归反馈自身隐状态、保留梯度);用 ROI 掩码对视觉 token 求平均得到正原型 $p^+$,并从同 batch 其他样本池化 16 个负原型 $p^-$;再把正确答案与各个错误答案分别教师强制到共享 latent 段之后,逐层逐头平均注意力得到读出 $r_t^+$ 与 $r_t^-$,其正差 $\gamma_t = [r_t^+ - r_t^-]^+$ 作为位置路由权重;与均匀基底混合成 $w_t = \eta/K + (1-\eta)\gamma_t$ 后做 stop-gradient,用铰链损失 $\ell_{ev} = \sum_t \mathrm{sg}(w_t)[m_{ev} - g_t]^+$ 拉大 latent 与正原型的相似度、压低与最难负原型的相似度。总目标为 $\mathcal{L} = \mathcal{L}^{S2}_{LVR} + \lambda_{ev}\hat{\mathcal{L}}_{ev}$。整个证据监督只发生在训练期,推理完全沿用原 LVR 流程,不需要任何架构改动。

核心创新是把 on-policy 蒸馏原则(监督必须作用在学习者自己生成的轨迹上)引入视觉定位,并与双重对比机制耦合。与已有方法的本质区别有三层。第一,监督对象不同:LVR 的 SFT 只监督教师强制的目标条件状态,GRPO 只对文本给信号、把 rollout 隐向量冻结;ReaLVR 重新生成一条当前模型的可微轨迹,让证据损失的梯度穿过递归生成过程,直接更新推理时实际产生 latent 的机制(消融显示改成 off-policy 监督保存的 rollout 会掉 1.8 分,是最大单项损失)。第二,'where'信号不同:路由权重来自正确答案与模型自身错误答案的读出之差 $\gamma_t$,而非原始注意力——原始注意力会把正确与错误共有的格式、过渡注意力也算作信用。第三,'what'信号不同:相关与错配视觉原型的对比间隔,避免 latent 塌缩到泛泛图像内容(去掉负原型掉 1.6 分)。加上 stop-gradient 权重设计,梯度分解证明它阻断了'降低权重而非改善证据'的局部捷径(去掉掉 1.1 分)。

方法步骤详情

完整流程分两阶段。Stage 1(沿用 LVR 初始化):在 next-token 损失上加 MSE 视觉重建损失(权重 0.1,峰值学习率 1e-5,余弦调度,序列打包 4096 token),把 ROI 的视觉嵌入序列 $v^*_{1:T_v}$ 作为教师强制目标训练隐状态,视觉塔与 merger 冻结,得到参考策略;KL 权重设为 0,即它只作初始化。Stage 2(ReaLVR):第一步,行为策略以温度 0.6 为每个提示采 G=8 个完成,产出 GRPO 组相对优势和可解析错误答案集 $Y^-_x$(去重、剔除解析失败与正确答案);第二步,用当前模型递归再生成 K=8 个 latent 状态并全程保留梯度;第三步,构建正原型 $p^+$(ROI 掩码平均,无 ROI 时用全图均值)与 16 个负原型,计算间隔 $g_t$;第四步,把真实答案与每个错误答案教师强制到共享 latent 段之后,取解码器层、头、答案内容位置上的平均注意力 $r_t(y)$,得 $\gamma_t = [r_t^+ - r_t^-]^+$,与均匀底座混合 $w_t = 0.3/8 + 0.7\gamma_t$(无有效错误答案时退化为均匀权重);第五步,以 $\ell_{ev} = \sum_t \mathrm{sg}(w_t)[0.5 - g_t]^+$、$\lambda_{ev} = 0.2$ 并入 GRPO 目标,学习率 5e-7 训 100 步(每 25 步存档),数据为 ViRL39K 与 Visual-CoT 混合,图像上限 2560 视觉 token(约 2.0 MP)。推理时按原 LVR 生成 8 个 latent token 后直接解码答案。

技术新颖性

技术新颖性有四点。其一,问题层面首次命名并系统诊断了 latent evidence-credit gap,把'答案正确不代表 latent 学到了证据'变成可测量的问题(反事实翻转率、注意力读出、固定上下文干预三件套)。其二,方法层面首次把答案对比读出(correct-versus-wrong readout credit)作为 latent 位置的路由权重,应用在同一条当前模型、可微的再生轨迹上;与 Monet(直接优化采样轨迹)、CoLVR(对比潜在轨迹)、RIS(监督区域证据)都不同,ReaLVR 是'先由答案对比定位置、再由视觉对比定内容'的组合,mass-matched 2×2 实验(Table J.3)证明两个因子缺一不可且存在协同(C± 平均 63.6、严格正确翻转 59.2%,显著高于仅均匀+正向对齐的 U+ 的 61.5/22.4%)。其三,工程层面给出了 detached 权重的完整梯度分解,识别并堵住了路由器捷径。其四,规模层面首次把连续潜在视觉推理训练做到 235B(Qwen3-VL-235B-A22B),此前该领域只验证到 30B 以下。

ReaLVR connects visual evidence to latent reasoning
Figure 1: ReaLVR connects visual evidence to latent reasoning
ReaLVR learns visual grounding on its own latent trajectory
Figure 2: ReaLVR learns visual grounding on its own latent trajectory

实验结果

主结果(Table 1,Qwen2.5-VL-7B,三随机种子):ReaLVR 五任务平均 63.7%,是被评测潜在推理方法中最高,比 LVR-SFT(59.7)高 4.0 分、LVR-RL(60.4)高 3.3 分、Monet-RL(62.2)高 1.5 分、最强基线 ILVR-Stage2(62.9)高 0.8 分;对 LVR-SFT 五项全胜,其中 MMVP +8.4(72.0)、HR-8K +3.3、HR-4K +2.8,非潜在基线 Pixel Reasoner 仅 60.7、Vision-R1 仅 54.0。跨规模(Table 2):Qwen3-VL-8B 平均 61.2(LVR-RL 60.6),30B 达 65.2(64.1,+1.1);235B 上 MMVP 81.9 / BLINK 75.4 / MME-RW 71.0 全面超过 LVR-SFT(80.9/74.2/70.4),是首个 235B 级潜在视觉推理训练。跨家族:InternVL3-8B 58.1(超 LVR-RL 3.1 分),Gemma-3-12B 41.6(+2.6),均不改架构与推理。机制验证:反事实编辑下 ReaLVR 严格配对正确翻转率 53.6%–73.1%(LVR-RL 仅 4.8%–6.7%,Direct 约 49%–54%),latent 轨迹对编辑的余弦距离 0.13–0.34(LVR <0.0005);目标区域注意力富集中层达约 2(Monet 约 1.6、LVR ≤1.3);替换 top-8 答案读取 token 使正确概率 0.70→0.59(−11pp,LVR 仅 −4pp);latent 交换实验中对比选点 k=4 使供体答案频率 +35.2pp(随机选点 +21.5pp),全 span 替换 +46.8pp、margin +0.89 nats。消融(Table F.2):off-policy −1.8、去负原型 −1.6、均匀路由 −1.3、去 stop-grad −1.1,完整方法五项全最优。长度消融(Table F.1):K=8 平均最优,K=0 损失 3.0 分,最优 K 因任务而异(BLINK 峰值在 K=16,MME-RW 在 K=4)。可解释性:47 题 × 8 状态共 376 个 latent 的词表投影全部以概率 1.0 读出'<',但线性探针能以 99.9% 准确率从 mean latent 恢复 BLINK 任务标签,说明连续状态承载任务信息而不表达语言理由。

Applicability across model sizes and families
Table 2: Applicability across model sizes and families
Visual evidence and latent-token readout
Figure 3: Visual evidence and latent-token readout
Latent changes and answer updates after image edits
Figure 4: Latent changes and answer updates after image edits
Image and token views of the same three visual questions
Figure 5: Image and token views of the same three visual questions
A real visual answer and its latent-state text readout
Figure 6: A real visual answer and its latent-state text readout
查看结构化数据
任务指标本文基线提升
MMVP(Qwen2.5-VL-7B) 准确率(%) 72.0 LVR-SFT 63.6 / LVR-RL 64.2 +8.4 / +7.8
五任务平均(Qwen2.5-VL-7B) MMVP+BLINK+HR4K+HR8K+MME-RW 平均(%) 63.7 最强潜在基线 ILVR-Stage2 62.9;LVR-RL 60.4 +0.8 / +3.3
五任务平均(Qwen3-VL-30B) 平均(%) 65.2 LVR-RL 64.1 +1.1
MMVP(Qwen3-VL-235B) 准确率(%) 81.9 LVR-SFT 80.9(Direct 80.0) +1.0
五任务平均(InternVL3-8B) 平均(%) 58.1 LVR-RL 55.0 +3.1
五任务平均(Gemma-3-12B) 平均(%) 41.6 LVR-RL 39.0 +2.6
反事实编辑-严格配对正确翻转(改颜色,Qwen2.5-VL-7B) 正确翻转率(%) 73.1 LVR-RL 4.8 / Direct 53.6 +68.3pp / +19.5pp
固定上下文替换 top-8 latent token 正确答案概率下降(pp) 11(0.70→0.59) LVR-7B 4(0.67→0.63) +7pp

局限与改进

作者承认两点局限:没有 ROI 标注时视觉证据目标退化为全图均值,空间特异性下降;推理使用预设的固定 latent 预算(K=8),不能按问题自适应。我的补充观察:其一,训练成本显著上升——每步要重新生成可微轨迹并对正确答案加多个错误答案分支做教师强制,还需要 Visual-CoT 式的 ROI 标注,纯文本或无标注域只能用全图目标;其二,路由信号依赖注意力读出这一启发式,而作者自己展示'看对区域不等于答对'(Figure G.2 中正确与错误回答的区域富集曲线几乎重合),注意力并非因果证据;其三,评测集中在感知密集型基准(MMVP/BLINK/HRBench/MME-RealWorld),未覆盖数学、文档、图表等文本推理密集任务,235B 只测了 3 个基准且无 HRBench,五任务平均在最大规模上缺席;其四,当组内 G=8 个 rollout 采不出可解析错误答案时 $\gamma_t = 0$,位置选择完全失效,只能靠 η=0.3 的均匀底座;其五,latent 仍不可读(词表投影全部是'<'),可解释性只能靠探针与干预间接推断,且反事实编辑是合成扰动,与自然分布偏移存在差距。

独立分析的弱点

独立分析以下弱点并给出改进方向。(1) ROI 依赖:证据目标质量完全取决于区域标注,迁移到医疗影像、遥感等无分割标注的领域会退化成全图均值,监督退化为'记住整张图'——可用 SAM 类分割器或模型自身注意力自蒸馏生成伪 ROI。(2) 计算开销:证据损失需要重新生成轨迹并对每个错误答案分支做教师强制,前向/反向成本明显高于纯 GRPO——可只在部分样本或部分 latent 位置启用证据损失,或缓存视觉原型跨步复用。(3) 错误答案依赖:当 8 个 rollout 全部正确或全部解析失败时对比信号消失(此时只剩均匀底座),难题上模型全对、简单题上解析失败都会削弱方法——可引入先验混淆答案集或对抗生成的干扰项作为兜底负例。(4) 注意力信度:attention readout 可能继承模型的位置偏置与格式偏好,作者也承认对齐与正确性弱相关——可改用因果干预分数或 |attention × gradient| 显著性做路由,Table J.3 的配对实验框架可直接复用。(5) 固定 K:Table F.1 显示 BLINK 在 K=16 最优(+2.3)、MME-RW 在 K=4 最优(+2.1),统一 K=8 并非每题最优,任务级 oracle 还能再赚 1.1 分——应学习每题自适应的潜在预算。每个弱点都有论文自身数据支撑,属于可信的改进空间。

未来方向

作者明确提出两个方向:从弱监督推导更空间精细的证据目标(摆脱 ROI 依赖);按问题自适应潜在 token 预算。基于本文成果还可延伸:第一,把答案对比读出推广为潜在轨迹的过程奖励,为每个 latent 步提供逐步信用,而不只是位置加权;第二,探索连续 latent 与文本 CoT 的混合策略——本文诊断工具(反事实敏感性、固定上下文替换、区域富集)可以直接用来判断哪类子任务适合连续推理、哪类需要显式语言步骤;第三,扩展到 agent、GUI、文档理解等高分辨率真实场景,HRBench-8K 上小目标定位的增益(66.6)暗示这条路可行;第四,有效秩诊断显示 latent 只占极少数主方向(BLINK 上 Rank90 仅 4),可研究这种低维结构是特性还是瓶颈,并设计信息量更大的正则;第五,把诊断套件固化为社区标准评测,推动该领域超越基准准确率、审视内部动力学;第六,与测试时扩展结合——并行潜在轨迹、可变长度 span 与证据监督的联合训练。

复现评估

论文首页带 Website/Code/Model 链接,代码与模型有开源意向;训练细节披露非常完整:两阶段全部超参(Stage 1 峰值 lr 1e-5、重建权重 0.1;Stage 2 的 $\lambda_{ev}=0.2$、$m_{ev}=0.5$、$\eta=0.3$、K=8、G=8、温度 0.6、16 个负原型、100 步、lr 5e-7)、训练数据(ViRL39K + Visual-CoT,均公开)、评测协议与诊断估计器(附录 G/I/J)都有精确定义,主表报告三随机种子均值±标准差,可复现性设计良好。主要门槛是算力:235B 用 200 节点共 800 张 AMD MI250X(1600 个 64GB GCD)加 DeepSpeed ZeRO-3,≤30B 也要 256 张 MI250X(512 GCD);7B 级别若按比例缩减(全局 batch 512、Stage 2 仅 100 步),单节点多卡 A100/H100 有一定可行性。工程难点在于梯度穿过递归 latent 生成的显存管理与多分支教师强制,建议先在 3B/7B 与小子集上复现 Table F.2 的消融趋势验证实现正确,再尝试完整配置。总体评估:文档与超参层面接近完全可复现,但属于高成本复现,纯 GRPO 基线(LVR-RL)是较易的对照起点。

相似论文推荐

视觉接地思考 🎯 70.5%