面向细粒度多模态感知的区域级策略优化 Region-Level Policy Optimization for Fine-grained MLLM Perception
以区域为动作、答案似然为奖励的强化学习，让轻量提议网络聚焦证据，4倍更少token精度更高
前置知识
视觉 Token 与高分辨率编码
多模态大模型把图像经视觉编码器切成 patch 并映射为嵌入向量，每个 patch 对应一个视觉 token，token 数与图像面积近似成正比。高分辨率方法（切图 tiling、原生动态分辨率）靠增加 token 数换取细节，但这些 token 会同时进入视觉编码器和 LLM 的 prefilling，注意力计算还随 token 数平方增长，因此「更多细节=更贵」是这条路线的核心矛盾。
本文全部动机就是绕开「堆 token 换细节」：只有理解 token 预算如何同时构成编码与推理两份成本，才能看懂它「把预算集中到证据上」的效率主张和 4.2× 压缩实验的含义。
RoI 与区域提议网络（RPN）
RoI（Region of Interest）指图像中与当前任务相关的区域；RPN 源自 Faster R-CNN，用轻量网络在整图上预测候选框。本文的 RPN 更进一步：挂在 MLLM 前 B 个冻结 Transformer 块之后，只附加约 3 个可训练块，从最后一个 prefilling token 的隐状态与视觉特征做归一化线性投影内积，直接输出稠密 RoI logit 图 $Z_\theta$，单次前向、无需生成任何答案即可预测。
Vision-RL2 的全部训练都只作用在这个 RPN 上（MLLM 冻结），理解它的「免解码、单趟」特性是理解方法设计、30× 路由加速和参数量对比的前提。
策略梯度与优势函数
策略梯度（REINFORCE 类方法）直接对随机策略的对数概率做梯度上升：$\nabla \mathbb{E}[r] = \mathbb{E}[A \nabla \log \pi_\theta(a|x)]$，其中优势 $A$ 度量该动作比基准好多少，常用组内标准化（减均值、除标准差加平滑项）降低方差。它适用于不可微的离散动作——只要能给动作打分并算出动作的对数概率即可。
本文的「区域→二值化→裁剪→重编码」链路完全不可微，答案的梯度传不回 RoI 图，作者正是借策略梯度把「区域功能贡献」当作优势信号回传给 RPN。
Teacher Forcing 与答案似然
teacher forcing 指评估序列模型时不使用模型自己的生成结果，而是把金答案 $y^*=(y_1^*,...,y_T^*)$ 逐位喂入，逐步读出 $p(y_t^*|\cdot, y^*_{<t})$。其几何平均概率 $P=\exp(\frac{1}{T}\sum_t \log p(y_t^*))$ 度量「模型有多相信正确答案」，再经 logit 变换 $h=\mathrm{logit}(P)$ 拉到无界实数轴便于比较。一次前向即可打分，无需采样。
本文的奖励就是把这个分数作用在不同掩码上：它连续、可加、便宜，使「移除某个区域伤害答案多少」可以被精确度量，这是整个区域级 RL 的地基。
响应-图像注意力（response-to-image attention）
MLLM 解码时，响应 token 的 query 与视觉 token 的 key 做交叉注意力；把某层注意力对视觉维求和并 reshape 回空间网格，就得到「模型作答时在看哪里」的热图 $M^l$。研究表明模型答错时注意力仍常落在正确区域，因此它是免费的定位信号，但只在解码后可用，且可能含虚假激活或漏掉弱证据。
它既是前作 SD-RPN 自蒸馏的教师信号（其伪标签的缺陷正是本文要修的），也是本文加性组在训练时提名「漏检候选区域」的来源，分不清两者就看不懂两个训练阶段的关系。
研究动机
多模态大模型在细粒度视觉感知上仍有明显短板：小字文本、远距离物体、杂乱的高分辨率场景会让准确率大幅下降，即便粗粒度的场景理解依然可靠。最直接的补救是提高输入分辨率，例如把 4K/8K 图像编码成数千乃至上万个视觉 token，但这会同时推高视觉编码与语言模型 prefilling 两份开销——而答案相关的证据往往只占图像很小一块面积，均匀地把分辨率撒在整张图上是浪费。现有路由方案各有代价：注意力引导的视觉搜索（如 ViCrop）和让 MLLM 自回归解码坐标的方法，都要为定位额外跑一次完整模型前向，每次查询耗时 1.1–1.8 秒；thinking-with-images 类全模型强化学习（DeepEyes 等）训练显存大、不稳定，且推理时要为每个查询支付解码轨迹或多轮交互的成本；特权视角蒸馏（Vision-OPD、ZwZ）则必须全量微调整个 MLLM，且训练完并不留下可复用的定位器。
本文的目标是本文目标是建立一个「分辨率解耦」的推理范式：先在粗视角下完成定位，再把有限的高分辨率预算集中到选中的证据上。具体拆成三件事：其一，用受控实验量化「定位」与「识别」对 token 压缩容忍度的差异，为解耦提供依据；其二，训练一个轻量、免解码的 RoI 预测器——它挂在 MLLM 中间层特征上，单趟前向输出稠密 RoI 图，推理时路由开销仅 31–49 毫秒，且这个预测器要对答案「负责」，即所提区域能被事后验证是否真正支撑正确答案，而不依赖区域标注、响应采样或推理轨迹；其三，配合稀疏视觉编码，把固定的裁剪 token 预算全部花在前景证据而非背景上，同时不增加编码次数。
与已有工作不同的是，本文的独特切入来自一个被量化的诊断观察：定位与识别的压缩容忍度严重不对称——在 Qwen3.5-4B + ZoomBench 的受控实验中（n=238），识别裁剪压缩 9 倍就读错，而定位场景压缩 25 倍仍能重新预测出正确的框。既有方案恰好卡在中间：SD-RPN 用注意力自蒸馏训练出高效免解码 RPN，但其 token 级伪标签从不对照答案校验，会保留虚假激活、漏掉弱注意力证据；让 MLLM 解码坐标虽能从答案端到端优化，却每查询付一次完整前向。关键困难在于：RoI 图到达答案要经过「二值化→取连通区域→裁剪重编码」的离散路径，梯度完全断裂，无法像解码框那样用答案直接监督；几何框标注在细粒度 VQA 中又不唯一。作者据此提出缺失的那块拼图——「答案级信号 + 区域级信用分配」的区域级强化学习 Vision-RL2。
核心方法
直觉上，回答细粒度问题只需「找对地方」和「看清内容」两步，而前者对分辨率的要求低得多（实测容忍 3–4 倍更强压缩）。Vision-RL2 据此搭建两阶段流水线：阶段一用挂在 MLLM 前 B 个冻结块之后的轻量 RPN（仅 3 个可训练块），从最后一个 prefilling token 的隐状态预测稠密 RoI logit 图 $Z_\theta = G(Q_{RoI}K_{RoI}^\top)$，单趟完成定位；阶段二取预测前景的外接框做稀疏重编码后送入 MLLM 作答。训练时用区域级 RL 精修 RPN：把连贯视觉区域视为动作，冻结的 MLLM 作为 reader，以 teacher-forcing 下金答案的几何平均概率 $P_\phi(M) = \exp(\frac{1}{T}\sum_t \log p_\phi(y^*_t|I[M],q,y^*_{<t}))$ 的 logit 变换 $h_\phi(M)$ 作为功能性分数，用留一法定义每个区域的贡献 $\Delta_\phi(R|M_{ref}) = h_\phi(M_{ref}) - h_\phi(M_{ref} \ominus R)$，再经策略梯度只更新 RPN 参数 $\theta$，MLLM 全程冻结。整套训练在 7K 个 VisualCot QA 对上进行，576 token 源限制，一个 epoch。
核心创新是把「区域的功能贡献」而非几何位置作为优化目标：一个掩码好不好，唯一标准是它保留的证据是否仍支撑正确答案。与 SD-RPN 的本质区别在于——SD-RPN 用注意力图做 token 级代理监督，从不验证区域对答案的实际作用，虚假区域会存活、弱证据会丢失；Vision-RL2 让冻结 reader 通过留一法给每个区域打分：移除后金答案似然显著下降即为「有帮助区域」必须保留，几乎无变化则是可剪枝的噪声，而噪声水平用控制区域在线校准（去掉校准掉 1.1 分）。缺失证据由加性组从冻结注意力图（6 个深层）中补回（去掉掉 0.9 分）。与 thinking-with-images 的区别：不需要采样响应或推理轨迹，评估 n 个区域只需 n+1 次 reader 前向；与全模型 RL 的区别：只训练约 3 个附加块的参数，显存与稳定性都友好。
方法步骤详情
训练分五步。第一步区域构造：对当前策略图 $P_\theta=\sigma(Z_\theta)$ 做高斯平滑、按峰值相对阈值 0.3 二值化、提取连通分量，按区域内平均 logit $z_\theta(R)$ 排序保留 top-$K\le 6$ 个预测区域，掩码并集得 $M_p$；掩码图中背景像素替换为通道均值得到 reader 的输入图像。第二步减性组评估：对每个 $R_k^p$ 单独移除，reader 在 $I[M_p \ominus R_k^p]$ 上 teacher-forcing 计算 $h_\phi$，共 $K+1$ 次前向，贡献裁剪到 $[-5,5]$。第三步噪声校准与策略更新：在预测膨胀区外、$P_\theta<0.02$ 处采 2 个面积匹配的控制区域，估计噪声边际 $\hat{b}=\min(\kappa\max_R|h_\phi(M(R^p\cup R))-h_\phi(M_p)|, 1)$；优势 $A_k=(\hat{b}-\Delta_k^p)/(s_p+\epsilon_{adv})$，移除策略 $\pi_\theta^{sub}(a_k|x)=\exp(-z_k)/(1+\sum_j \exp(-z_j))$，损失 $\mathcal{L}_{sub}=-\frac{1}{|K|}\sum_k A_k\log\pi_\theta^{sub}(a_k|x)$。第四步加性组：从 6 个均匀分布的深层（7/11/15/19/23/27 层）冻结响应-注意力图提取 $M_p$ 之外的残差区域，跨层合并取 top-$J\le 4$，以平均包含对数似然 $\ell_\theta^+(R)$ 承接信用：$\mathcal{L}_{add}=-\sum_j A_j^s \ell_\theta^+(R_j^s)$。第五步稳定化：EMA 归一化的可达性权重 $w_i$ 压制 reader 全程低概率的样本，KL 锚向冻结的初始 SD-RPN（$K=1$ 时改用 BCE），总目标 $\mathcal{L}_i=\mathcal{L}_{KL,i}+w_i(\mathcal{L}_{sub,i}+\mathcal{L}_{add,i})+\mathbb{1}[K_i=1]\mathcal{L}_{K1,i}$。推理时启用稀疏视觉编码：测外接框前景占比 $\rho_{fg}$，以 $\eta=\min\{1/\sqrt{\rho_{fg}}, \eta_{max}\}$ 放大重编码，只保留前景 token；位置嵌入在完整 bbox 网格上先行分配再丢背景，源图 KV 缓存部分复用，全程只多一趟轻量提议。
技术新颖性
新颖性有三层。动作空间层面：不同于语言 RL 的离散词表、解码坐标的「画框」接口、或逐 cell 的 keep-set（消融显示 cell 级动作掉 1.2 分），本文以空间连贯的视觉区域为原子动作，契合「裁剪需要空间完整证据、答案级信号只对足够完整的支撑有信息量」的先验。信用分配层面：用冻结 reader 的答案似然构造留一法功能贡献，配合控制区域噪声边际把「似然波动」与「真实贡献」分离，无需区域标注、响应采样或推理轨迹，干净地解决了 RoI 图到答案之间梯度断裂这一结构难题；减性/加性双组还分别匹配了「互斥移除选择」（softmax 归一竞争）与「独立包含决策」（逐项对数似然）两种不同的决策结构。系统层面：优化直接发生在密集 heatmap 原生空间，训练的是免解码预测器而非改 MLLM 本身，与特权视角蒸馏（全量微调、不留定位器）和全模型 RL（显存大、不稳定、推理付轨迹成本）形成清晰对比；稀疏编码则把「选择哪些 token」提前到编码之前，同时节省视觉编码器与 LLM 两侧预算，这是与后置 token 剪枝（只省 LLM 侧）的本质差异。
实验结果
主结果（Table 1，共享 16,384 源 token 上限）：Qwen3.5-9B 版本取得六基准平均 80.1，超过 Gemini-3.1-Pro（79.3）与全量微调的 Vision-OPD-9B（78.7），V* Bench 95.3 与 ZoomBench 68.4 均为全场最佳；4B 版本平均 75.3，在 V* Bench、ZoomBench、HR-Bench 4K/8K 上超过 Vision-OPD-4B，仅在 MME-RealWorld 落后（65.8/65.3 对 74.2/70.6）；Qwen2.5-VL-7B 版平均 71.0，领先同组最好的 ZwZ-7B（69.9）；encoder-free 的 Gemma-4-12B 上比 SD-RPN 高 3.8 分、比基座高 9.5 分，而可训练参数只是一个小预测器。效率（Fig. 4/5）：4B 模型以 4.2× 更少视觉 token 追平 SD-RPN 在 4096 上限的精度，9B 以 2.5× 更少进入半分以内；576 token 下即超基座 4096 全预算 3 分以上、只用约四分之一 token；延迟上 RPN 路由 31–49 毫秒、比注意力路由/坐标解码便宜约 30×，4B@1024 以 2.1× 更低延迟超过 SD-RPN@4096，4B@576 比 Vision-OPD-4B 最大预算快 2.6× 且更准。诊断实验（Fig. 1b、Table 5）：n=238 样本上 r=6 时定位存活率 82.4%（裁剪硬上限版 69.5%）对识别 51.3%，固定裁剪预算下仍有 18.2 分优势；定位框 IoU 从 0.73 降到 0.11 但真值覆盖率反从 0.44 升到 1.00，说明是「软失败」。消融（Table 2）：区域级 RL 贡献 +3.0、稀疏编码再 +1.5、完整系统比基座 +14.9；奖励换成生成准确率掉 2.3、换成原始 log 概率掉 1.5，cell 级动作掉 1.2，去噪声校准掉 1.1，去加性组掉 0.9，成对移除仅 +0.1 不值得。剪枝对比（Table 4）：25% 预算下 VisionZip 在 InfoVQA/OCRBench 只保住全预算的 73.3%/56.5%，DART 更差，本文分别保住 99.1%/82.1%，高分辨率套件上甚至超过全预算基线（101.6%）。与 SD-RPN 的路由接口对比（Fig. 5）确认免解码 RPN 同时是三者中最快最准的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 六基准平均（16,384 源 token 上限，Qwen3.5-9B） | 平均准确率 | 80.1 | Gemini-3.1-Pro 79.3；Vision-OPD-9B（全量微调）78.7 | +0.8 / +1.4，且只训练小型 RPN |
| V* Bench | 准确率 | 95.3（9B）/ 91.1（4B） | Vision-OPD-9B 90.6；Qwen3.5-4B 基座 85.9 | +4.7 / +5.2 |
| ZoomBench | 准确率 | 68.4（9B）/ 65.1（4B） | Vision-OPD-9B 65.1；Vision-OPD-4B 59.5 | +3.3 / +5.6 |
| token 效率：追平 SD-RPN@4096 精度所需预算 | 视觉 token 数/样本 | 约 1/4（4.2× 压缩，4B）；2.5× 压缩进入 0.5 分内（9B） | SD-RPN 4096 源 token 上限 | 4.2× / 2.5× 更少 token |
| 路由延迟（4096 源 token 上限） | 端到端定位开销 | 31–49 毫秒（RPN 头） | 注意力路由/坐标解码 1.1–1.8 秒/查询 | 约 30× 更便宜 |
| 剪枝对比：InfoVQA@25% 预算（Qwen2.5-VL-7B） | 相对全预算基线的准确率保持率 | 99.1% | VisionZip 73.3%；DART 85.9% | +25.8 / +13.2 个百分点 |
局限与改进
作者在附录 D 承认三点：其一，reader 完全冻结，无法修复识别本身的缺陷——这在最小规模的 MME-RealWorld 上清晰可见（4B 版 65.8/65.3 明显落后全量微调的 Vision-OPD-4B 的 74.2/70.6），是有意用识别上限换训练与部署效率的取舍；其二，压缩不对称探针只在 Qwen3.5-4B + ZoomBench 一个组合上做过，是诊断而非普适定律；其三，训练虽不需区域标注，但仍需带金答案的 QA 对来计算功能贡献。我自己的补充观察：teacher-forced 金答案似然作为奖励，可能偏向文本先验强、答案可从问题猜出的证据，与「视觉必要性」并不完全等价（探针里作者用首 token 边际过滤器排除了文本可解题，但训练池没有同样保证）；稀疏编码采用单一外接框，当多个证据区域在空间上分散时框内背景会稀释有效分辨率，且 $\eta$ 被 $\eta_{max}$ 截断后提升有限；ChartQA 这类依赖全局布局的任务在 25% 预算下被剪枝方法反超（60.6 对 VisionZip 66.8），说明区域再分配并非对所有任务形态最优；此外贡献估计需要 $O(n)$ 次 reader 前向，训练成本随区域数线性增长，且探针、训练、消融都在 576–4096 的中低 token 区间完成，极端高分辨率下的行为未单独验证。
独立分析的弱点
第一，冻结 reader 的天花板：识别环节本身的错误无法被修复，MME-RealWorld 小模型上的差距即为例证；改进方向是给 reader 挂可训练的轻量适配（如 LoRA）做可选的第二阶段，或对低可达性样本自适应回退到全分辨率完整前向。第二，奖励依赖金答案：难以直接扩展到无标注数据；可用自一致性投票生成伪答案，或改用无标签的互信息/答案一致性目标。第三，单外接框策略在多目标分散证据上会把大量背景带进裁剪——$\rho_{fg}$ 很小导致 $\eta=1/\sqrt{\rho_{fg}}$ 触及上限、证据分辨率提升受限；可引入共享坐标系的多框裁剪或按区域面积分配 token 预算。第四，留一法只考察一阶边际贡献，无法发现「单独无用、组合必要」的冗余协同区域；可用小规模子集采样或 Shapley 近似补充高阶信号。第五，ChartQA 类全局布局任务落败提示目标函数偏向局部证据；可加一个 query 感知的预算分配器，判断该走区域路由还是保留全局视角。第六，探针结论只在单一骨干、单一基准上验证，而全文的设计（3–4× 压缩差）都建立在它之上；应在更多模型与任务上复测不对称系数。
未来方向
作者展望是把「用冻结 reader 度量提议对答案的功能性影响」这一配方推广到其他决定算力花费位置的接口，例如视频关键帧选择、token 路由与思考预算分配。基于本文成果可自然延伸的方向包括：其一，构建自提升闭环——用 RL 精修后的 RPN 重新生成更干净的注意力伪标签再喂回 SD-RPN 蒸馏，迭代抬高教师质量；其二，把区域级 RL 从空间推广到时空定位（视频问答中「看哪一段」）与 3D 场景；其三，在 encoder-free 架构上系统研究稀疏编码与原生 token 层级的交互，本文 Gemma-4 的 +9.5 分暗示这条路还有空间；其四，摆脱金标签依赖，用跨 reader 集成打分或答案一致性作为奖励，把方法变成无监督的证据定位器；其五，把训练出的免解码定位器作为通用组件接入文档智能与检索系统，做 query-aware 的视觉证据裁剪；其六，结合探针思路做运行时自适应——用轻量探针在线估计当前样本的压缩容忍度，动态决定源图分辨率档位。
复现评估
复现条件较好。代码已在 GitHub 开源（YuHengsss/VisionRL2），方法建立在同组开源的 SD-RPN 之上，RPN 结构与超参沿用其配置（MLLM 前 B 个冻结块后附加 3 个可训练块，B 按骨干取 18–27）。训练数据完全公开：VisualCoT 语料的 7K QA 对（InfographicVQA 5K、TextVQA/DocVQA 各 1K），并按初始 SD-RPN 下区域移除奖励的标准差排序取前一半以挑高信号样本。配方跨四个骨干统一：AdamW、batch 32、峰值学习率 $1.5\times10^{-5}$ 余弦退火、1 个 epoch、576 token 源限制（Gemma-4 用最接近的 560 档），全部常数集中在 Table 3。算力需求温和：只训练 RPN 参数、MLLM 冻结，主要成本是训练时每个样本约 $1+K+|R_c|+J\approx 13$ 次 reader 前向（约等于十几趟 4B–9B 模型的前向），远轻于全模型 RL。评测基于 lmms-eval，论文附全部 benchmark prompt。主要门槛在于需要先复现或获取 SD-RPN 的监督检查点及其注意力蒸馏流程，并在四个骨干上对齐冻结块数与 token 档位；总体属于中等偏低难度，单张 A6000 级别的卡即可完成训练与全部效率实验。
论文图表
四联图： 举「路牌文字颜色」的例子，定位用的场景即使压缩 25 倍仍能重新预测出正确的框，而识别用的裁剪图压缩 9 倍就把答案从 Red 读成 White/Black； 在 238 个锚点正确样本上分别只压缩定位场景与只压缩识别裁剪的存活率曲线，识别随压缩衰减远快于定位，混合随机水平以阴影带标出； 在 Qwen3.5-4B 上本方法用 4.2× 更少的视觉 token 追平 SD-RPN 的精度； 方法总览：RPN 提议候选区域、MLLM 注意力提供补充候选、冻结 reader 给每个区域的功能贡献打分、奖励经策略损失回传更新 RPN。
一张图同时给出全文的实证动机（定位/识别压缩不对称）、效率主张（4.2× token 压缩）与方法框架，是理解整篇论文故事的入口。