Reframe：面向智能体视觉推理的观测对齐多教师在线策略蒸馏 Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning
以观测状态为对齐对象的两阶段后训练，让视觉智能体真正获取并依赖工具返回的证据。
前置知识
GRPO（组相对策略优化）
GRPO 是一种免价值网络的强化学习算法：对每个问题采样一组轨迹（如 8 条），用组内平均奖励作为基线计算相对优势 $A_i = (R_i - \mu)/\sigma$，再用 PPO 式裁剪目标更新策略，并附加对参考模型的 KL 约束。它省去了训练 critic 的开销，是当前 LLM 后训练（如 DeepSeek 系列）的主流 RL 算法。
本文第一阶段 GD-GRPO 直接以 GRPO 为骨架，奖励设计、组归一化与裁剪目标都建立在它之上，不懂 GRPO 就读不懂方法部分的公式 (1)(3)。
在线策略蒸馏（On-Policy Distillation, OPD）
OPD 让学生模型自己采样 rollout，再由教师模型对学生生成的每个 token 给出对数概率，用反向 KL 等目标在学生实际访问的状态上施加密集的 token 级监督。与模仿固定参考答案的 off-policy SFT 不同，OPD 的监督落在学生自己的分布上，同时避免了 RL 结果级奖励的稀疏信用分配和 SFT 的参考偏差。
本文的核心训练范式就是（多教师）OPD，第二阶段 OG-MOPD 是对标准 OPD/MOPD 的改造，读者需要先理解它监督什么、在什么状态上施加。
多教师在线策略蒸馏（MOPD）
MOPD 把 OPD 扩展为多教师版本：先独立训练空间、时间等各领域专家教师，再让共享的学生模型自己生成轨迹，按领域路由到对应专家，由专家对学生轨迹的每个 token 提供密集反馈，从而把多个专家能力整合进一个统一模型。DeepSeek、Kimi 等前沿模型的后训练已采用这一思路。
本文首次把 MOPD 引入带工具使用的智能体视觉推理，并指出其监督质量受学生已获得的观测制约——这正是 OG-MOPD 的出发点。
观测忽视（Observation Neglect）
指智能体模型虽然调用了视觉工具（裁剪图像、选取视频帧），但工具返回的观测对后续推理几乎没有因果影响的现象：把返回的裁剪图换成随机裁剪或灰色空图，最终答案往往不变。近期的因果审计研究发现，'thinking with images' 类模型普遍存在调用工具却不使用工具结果的问题。
这是本文要解决的第一性问题；观测依赖度指标和 GD-GRPO 的原观测 dropout 机制都是围绕'让模型真正使用返回观测'设计的。
IoU（交并比）
Intersection over Union，两个框（或帧段）交集面积与并集面积之比，取值 0–1，是定位任务的标准质量度量。本文用 IoU 同时做三件事：数据清洗时衡量证据覆盖、GD-GRPO 中给观测奖励 $R_{obs}$ 打分的 grounding 质量度量、OG-MOPD 观测门控中判断学生工具动作是否需要修复的阈值判据（图像 $\delta=0.25$、视频 $\delta=0.15$）。
IoU 贯穿奖励设计、观测修复与评测协议，是理解公式 (1)(4) 中证据质量项与动作替换条件的钥匙。
研究动机
智能体视觉推理给 VLM 配备 CropImage、SelectFrames 等工具来获取细粒度证据，但'调用工具'并不等于'使用工具'：近期因果审计研究发现，工具返回的观测对最终预测几乎没有因果影响——把返回的裁剪图换成随机裁剪或空白灰图，模型答案常常不变，作者称之为观测忽视（observation neglect）。这个问题在结果奖励（outcome-based RL）训练下尤其严重：只要最终答案对，中间返回的证据是否被真正看一眼完全无所谓。另一侧，统一图像与视频的智能体训练同样受阻：现有少数同时纳入图像和视频工具的工作依赖混合数据 SFT-then-RL 范式，off-policy 模式冲突加上 RL 监督稀疏，使统一模型明显落后于单模态专家；而即便改用多教师在线策略蒸馏（MOPD），其 token 级监督仍然条件于学生已经获得的观测——一个糟糕的裁剪或选帧动作会把后续所有教师反馈都锁死在无信息量的视觉状态上，蒸馏学得再好也是'在不新鲜的证据上推理'。
本文的目标是本文要把'观测状态'本身变成后训练的对齐对象，并拆成两个可验证的目标：一是让工具返回的观测成为必要信息——通过 GD-GRPO 阶段的证据感知奖励与原观测随机丢弃，把 V* 上的观测依赖度从结果奖励 GRPO 的 52.59 提升到 69.03，工具增益从 +1.97 扩大到 +3.82；二是让参与蒸馏的观测保持有效——通过 OG-MOPD 在工具动作边界用标注证据修复 IoU 低于阈值的动作（图像阈值 0.25、视频阈值 0.15），再从修复后的观测继续蒸馏。工程目标是以 Qwen3.5-9B 为基座、不使用任务特定 SFT 冷启动，把图像与视频智能体推理统一进一个模型，在 14 个图像/视频基准上超过 Mix-RL 与 vanilla MOPD，并冲击乃至超过单模态专家的平均水平。
与已有工作不同的是，已有工作的注意力都集中在'监督如何传递'上：OPD/MOPD 系列改进教师路由、token 预算平衡、收敛漂移与工具 token 漂移，但普遍把 rollout 中工具返回的观测当作给定前提。本文的独特切入点是：对智能体而言，先发生的工具动作决定了'有哪些观测可供监督'，而后续生成的 token 级反馈无法追溯修复前面动作没能拿到的那份证据。于是它把对齐对象从输出分布前移到观测状态：一方面用输入丢弃制造'不看返回观测就答不出'的训练条件（建立必要性），另一方面在动作边界直接替换缺陷动作、让蒸馏从有效观测出发（保持有效性），并论证二者互补——模型先学会依赖观测，修复观测才有价值。
核心方法
直觉上，Reframe 像培养一个会用放大镜的调查员：第一阶段先训练'拿到证据就必须看'（训练时以一半概率没收原始照片，逼他依赖放大镜里的结果），第二阶段在他举错放大镜时悄悄帮他纠正，让他继续在正确的画面上学习。技术上分两个阶段：第一阶段 GD-GRPO（Ground-Drop-GRPO）在 Reframe-100K 上分别训练空间（图像+crop）和时间（视频+select frames）专家，奖励为 $R(\tau; x, p) = R_{ans} + f(p)R_{call} + \lambda_{obs}R_{obs} - R_{pen}$，配合'首次工具调用后以 0.5 概率丢掉原始视觉输入'的 dropout 与按丢弃标记分组的组内优势归一化；第二阶段 OG-MOPD（Observation-Gated-MOPD）让统一的学生模型自己采样多轮工具轨迹，按模态路由到两位专家教师获取密集 token 级反馈，但在每次工具动作处用标注证据检查 IoU，低于阈值就注入规范动作并从修复后的观测继续采样：学生自己生成的 token 用 MOPD 反向 KL 监督、注入的 token 用 NLL 监督。两阶段共享同一语料，全程无需 SFT 冷启动。
核心创新是把'观测状态'而非仅'输出分布'当作对齐对象，落在两个配套机制上。其一是必要性机制：GD-GRPO 的原观测 dropout 在首次工具调用后以概率 0.5 移除原始视觉输入 $o_0$，只保留问题、文本历史和工具返回的观测 $o_t$——这把工具返回从'补充线索'变成答题的唯一视觉信息来源，模型若绕过返回观测就会答错挨罚；同时按预采样的丢弃标记 $d_i \in \{0,1\}$ 分组计算优势 $A_i = (R_i - \mu_{x,d_i})/(\sigma_{x,d_i} + \epsilon)$，避免'丢/不丢'这一外部随机条件混淆轨迹质量比较。其二是有效性机制：OG-MOPD 揭示了 OPD 的结构性盲点——token 级反馈再密集也只能改进'接下来的生成'，无法追溯修复'前面动作已经拿错的观测'，因此在动作边界做选择性干预：无效或 $\mathrm{IoU}(a_t, e^{*}_t) < \delta$ 的动作被替换为标注导出的规范动作 $\tilde{a}_t$，环境执行修复后的动作，学生从正确观测继续采样，既保住 on-policy 探索又保证教师监督落在有效证据上。两阶段互补：先学会依赖观测，修复才有价值。
方法步骤详情
流程分四步。第一步构建 Reframe-100K（63K 图像 QA + 37K 视频 QA）：收集带 grounding 标注的公开数据，删除纯文本可答样本；用 8 次 rollout 审计完整输入得成功率 $F$（剔除 $F=0/8$ 或 $8/8$ 的过难/过易样本），再审计仅证据输入得 $E$（剔除 $E=0$ 或 $F-E \geq 3$ 的证据不足样本），可疑样本由 Qwen 盲测诊断、GPT-5.6-Luna 终审；标注框以中心放大 1.5 倍保留上下文。第二步 GD-GRPO 训练专家：每题采样 8 条多轮轨迹（最多 3 轮、2 次视觉操作），按公式 (1) 计算答案奖励 $R_{ans}$、随进度衰减 $f(p)$（$\kappa=5$）的调用项、$\lambda_{obs}=0.4$ 的证据 IoU 奖励（图像全局一对一匹配、视频只评最新尝试乘 0.85 折扣）与惩罚；首调用后 0.5 概率丢弃 $o_0$ 并按丢弃标记分组归一化优势，各用 32 GPU 训出 Image-RL 与 Video-RL 教师。第三步 OG-MOPD 蒸馏（8 GPU）：学生采样轨迹，工具动作与规范动作比对（$\delta_{crop}=0.25$、$\delta_{select}=0.15$），缺陷动作注入替换，注入 token 用 NLL（权重 1）监督，学生 token 用专家反向 KL（信号差裁剪 $[-5,5]$）监督。第四步推理时关闭 dropout、门控与教师，只保留两个工具与最多 2 次视觉操作。
技术新颖性
与 Mix-RL / SFT-then-RL 的区别：那些方法把图像视频数据混在一起做结果奖励 RL 或离策模仿，本文用密集 token 级 OPD 替代稀疏的轨迹级优势，从机制上回避了模式冲突与粗粒度信用分配（实验显示 Mix-RL 只保留专家 74%/55% 的增益，MOPD 保留 106%/85%）。与 vanilla MOPD 的区别：既往 MOPD 变体只改进路由与监督传递，从不干预轨迹本身；OG-MOPD 首次在动作边界替换工具动作，并以分支感知的 NLL+反向 KL 双目标区分处理注入 token 与学生 token 这两类不同性质的监督信号。与工具适用性判断方法的区别：Pixel-Reasoner、AdaTooler-V 等依赖模型 rollout 或更强模型判断工具是否有益，本文直接从标注覆盖率导出 beneficial/neutral/non-beneficial 标签，避免把模型预测偏差引入监督。与已有观测奖励的区别：单纯增加观测奖励只能鼓励'获取'，GD-GRPO 的原观测 dropout 才建立了'必要性'——这是对'调用不等于使用'这一因果问题更根本的干预。
实验结果
三点核心发现。第一，训练范式排序为 Reframe > MOPD > Mix-RL：14 个基准上 Reframe 图像平均 69.48（基座 Qwen3.5-9B 63.46，+6.02）、视频平均 53.10（基座 49.75，+3.35）；Mix-RL 落后单模态专家 1.17/1.37 分，只保留 74%/55% 的专家增益，而 MOPD 保留 106%/85% 并在 5/14 个基准超过教师；观测修复再带来图像 +1.29、视频 +0.78，最大单项增益在 VisualProbe +4.86（57.48 vs 52.62）。第二，GD-GRPO 的收益主要来自工具而非通用能力：相比结果奖励 GRPO，图像平均 67.92 vs 65.85（+2.07），无工具准确率仅 +0.22，但工具增益从 +1.97 扩大到 +3.82；GT 观测下 V* 准确率 93.19 vs 87.96（+5.23），Random/Blank 下分别 +3.67/+3.14，观测依赖度从 52.59 升至 69.03，且损坏观测下准确率更高，说明是更好地使用了返回观测而非更易被误导。第三，与外部智能体对比全面领先：Reframe 在全部 14 个基准上第一，图像平均超最强外部 Thyme（57.77）11.71 分，视频平均超 Thyme（44.24）8.86 分；V* 观测依赖度 75.53 远超 DeepEyesV2 41.93、Thyme 34.20、Pixel-Reasoner 23.25、DeepEyes 19.47；工具增益 +5.23 对 Thyme +1.47、DeepEyesV2 −2.45；相对无工具基座的总增益 6.02 分中约 87% 来自工具使用，说明优势来自证据交互而非单纯感知提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像理解（7 基准平均） | 平均准确率 | 69.48 | Mix-RL 66.75 / vanilla MOPD 68.19 / 最强外部模型 Thyme 57.77 | 较基座 +6.02，较 Mix-RL +2.73，较 Thyme +11.71 |
| 视频理解（7 基准平均） | 平均准确率 | 53.10 | MOPD 52.32 / Video-RL 52.78 / Thyme 44.24 | 较基座 +3.35，较 MOPD +0.78，较 Thyme +8.86 |
| 细粒度视觉搜索（V*） | 准确率 | 91.62 | 基座 Qwen3.5-9B 83.77 / DeepEyes 83.25 | 较基座 +7.85 |
| 观测依赖度（V* 受控观测实验） | Dependence (%) | 75.53 | DeepEyesV2 41.93 / Thyme 34.20 / DeepEyes 19.47 | 较最强基线 +33.60 |
| 工具增益（7 图像基准平均） | 有工具 − 无工具 准确率 | +5.23（69.48 vs 64.25） | Thyme +1.47 / DeepEyes +1.32 / DeepEyesV2 −2.45 | 较最强基线 +3.76 |
| 专家训练消融（图像专家） | 观测依赖度 / 工具增益 | GD-GRPO：69.03 / +3.82 | 结果奖励 GRPO：52.59 / +1.97 | 依赖度 +16.44，工具增益 +1.85 |
局限与改进
作者没有专门的 limitations 章节，但论文事实层面透露了几点：工具集仅限 CropImage 与 SelectFrames 两个基础工具、最多 2 次视觉操作 3 轮交互，深度多轮交互与更复杂工具生态未被覆盖；观测修复与 $R_{obs}$ 依赖 grounding 标注，无标注样本退化为纯结果监督，修复动作上限受标注质量约束，为此数据清洗占了大量篇幅；训练时视觉编码器与对齐器冻结，细粒度感知瓶颈未被直接处理；观测依赖度研究只在 V* 的 191 道多选题上进行，样本量小；自动评分依赖 Gemini 3.1 Flash Lite 判卷，存在判分器偏差；$\delta$ 阈值、dropout 概率 0.5 等关键超参未报告敏感性消融。我自己的观察：注入动作本质上是 off-policy token，NLL 权重固定为 1 缺乏消融对比；依赖度指标衡量'GT 替换后的纠错率'，无法完全区分'依赖观测内容'与'依赖裁剪动作本身的信息量'；Reframe 在 Random/Blank 下仍有 85.86/88.48 的高准确率（原输入可见），其在误导性观测下的鲁棒性值得深入分析但论文未展开。
独立分析的弱点
独立分析四个弱点。第一，工具生态过窄：只有裁剪与选帧且限 2 次调用，面对需要搜索、代码执行、多工具组合的真实任务（如文档问答、GUI 操作）无法直接迁移；改进方向是把观测门控推广为通用的'动作-证据'校验接口，按工具类型定义可修复动作空间，并放宽轮数限制研究多轮深度交互下的修复策略。第二，修复与奖励强依赖人工 grounding 标注：Reframe-100K 的五步清洗（两轮 8 rollout 审计加大模型终审）成本高，且只能覆盖有标注样本；改进方向是用强化后的教师自举规范动作，或以弱监督/伪标注扩展到无标注语料。第三，观测依赖度测量面窄：仅 V* 191 题、5 个条件、单次采样，且公式 (6) 的归一化依赖各模型自身基线，跨模型比较可能受天花板效应影响；改进方向是在更多基准与开放式问答上复现受控观测实验，并补充推理期 dropout 消融。第四，判分与扰动可能引入偏差：Gemini 判卷一致性未做人工校验，Random crop 以 IoU ≤ 0.1 为目标但仍是有效图像；改进方向是报告判分器与人工标注的一致率，并增加纯噪声、错位标注等更极端的扰动条件。
未来方向
作者在结论与引言中给出的方向是把'观测对齐'推广为更广泛的智能体后训练原则：OG-MOPD 的门控修复思想可以扩展到更多工具类型与更复杂的多轮任务，GD-GRPO 的必要性机制也适用于任何'动作产生中间观测'的智能体场景。基于本文成果可延伸的方向：其一，把两位专家教师扩展为多教师池（OCR、图表、3D、GUI 等专门教师），研究教师数量与路由策略对观测修复的影响；其二，自动生成规范动作以替代人工标注证据，例如用 RL 后的教师自举或对无标注数据做伪标注蒸馏；其三，解冻视觉编码器或引入感知 adapter，检验观测依赖与感知能力的联合提升；其四，把观测门控推广到非视觉模态（音频片段检索、具身操作的视角选择），并接入已在用 MOPD 的前沿模型后训练管线；其五，从理论上刻画 NLL 注入项与反向 KL 之间的梯度关系，给出注入比例随训练进度自适应的调度方案。
复现评估
复现条件较好：论文开源了代码、Reframe-100K 数据集与模型权重（github.com/EliYuan30/Reframe），基座为公开的 Qwen3.5-9B，只训练语言模型部分（视觉编码器与对齐器冻结）。算力需求明确：GD-GRPO 专家训练各需 32 GPU（ZeRO-2、BF16、学习率 $10^{-6}$、1 epoch、每题 8 条 rollout、每批 1,024 条轨迹、最大上下文 32K），蒸馏阶段仅需 8 GPU（每批 224 条轨迹）。复现难点有三：一是数据构建流水线需要大量推理算力做 8 rollout 审计，并依赖 Qwen 与 GPT-5.6-Luna 做诊断终审；二是评测协议依赖 Gemini 3.1 Flash Lite 语义判卷和 14 个基准的预处理，环境配置工作量不小；三是观测门控要求每个训练样本带 grounding 标注，若用自己的数据需自行补标注。总体属于中等偏上难度：有开源权重与数据托底，复现主结果可行，但从零重建完整数据流水线成本较高。
论文图表
四联图对比四种训练范式：(a) 结果奖励 RL 下模型走捷径、绕过工具返回的观测；(b) vanilla MOPD 在条件于错误观测的轨迹上做密集监督；(c) GD-GRPO 用 grounding 奖励奖励工具调用，并用原观测 dropout 强迫依赖返回观测；(d) OG-MOPD 用观测门控修复缺陷动作后，在有效视图上继续专家蒸馏。
一图看清论文的问题定义（观测忽视、坏观测污染蒸馏）与两个组件各自的干预位置，是理解全文逻辑的入口。