Where-OPD：基于合成场景空间引导的多模态大模型策略内自蒸馏 Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

完整流程如下。步骤一，生成场景：每个场景先采样 2–5 种颜色、2–4 种形状组成的小词汇表，然后在 1024×1024 画布上逐一放置 12–40 个物体，颜色形状取自词汇表、半径均匀取自 14–64 像素、中心均匀采样且拒绝与已有物体重叠，背景从 10 种基色加通道抖动中抽取；渲染得到图像 $I$，同时保留场景状态 $z$。步骤二，构造问题与提示：按类别计数加权采样问题 $Q$（偏好实例多的类别，目标计数范围 1–14、中位数 3），4B 模型配多选题格式（干扰项取真实计数的近似值）、9B 模型用开放问答（因为多选题会让 9B 直接出答案、缺少可供蒸馏的中间 token）；由 $z$ 直接算出 $O_c(z)$ 和 $N_c$，模板生成形如 “Scanning for green crosses: found one near (377, 400), found one near (213, 805). Counting: 2 total.” 的提示 $h$。共生成 3000 对训练样本。步骤三，on-policy 采样：每个 prompt 用 vLLM 以随机采样生成 8 条学生轨迹 $y \sim \pi_\theta(\cdot \mid x)$，训练时关闭 thinking。步骤四，教师打分：冻结教师 $\bar{\pi}_\theta$ 在相同前缀 $y_{<t}$ 上以 $x^+=(I,Q,h)$ 计算分布 $q_t = \bar{\pi}_\theta(\cdot \mid x^+, y_{<t})$。步骤五，更新：最小化 $\mathcal{L}_{\text{distill}} = \mathbb{E}_{y \sim \pi_\theta} \left[ \tfrac{1}{|y|} \sum_{t=1}^{|y|} D_{JS}(\tilde{p}_t \| \tilde{q}_t) \right]$，其中 $D_{JS}$ 取 $\beta=0.5$、只在 top $K=100$ token 及尾部概率上计算，教师侧 stop-gradient，梯度只流向学生；学习率 $2\times10^{-6}$、10 步 warmup、全局 batch 96（9B 为 48）、只训 1 个 epoch。步骤六，推理：仅输入 $(I,Q)$，无需任何提示。

技术新颖性体现在四点。其一，特权信息的「文本化 + 空间化」是全新设计：把 grounding 从一笔需要人工标注或外部模型的成本，转化为合成数据生成的免费副产品，同时保留了「指明证据位置」这一对感知任务最有效的信息。其二，结果证明 3000 张极简几何计数场景足以诱导跨任务、跨分布的感知提升，这种规模的合成到真实迁移在 MLLM 后训练中相当罕见——通常合成数据增益会被分布差距锁死在域内。其三，系统的信号消融揭示了清晰的设计规律：空间坐标本身比答案更有价值（只给坐标不给总数 72.35，只给答案 71.27，二者结合 72.94），而把目标物体裁剪图给教师反而有害（68.76，CountQA 崩到 20.22），直接回应了「特权信息该给什么」这一开放问题。其四，发现冻结教师优于 EMA 教师（72.94 vs 最高 72.57），与自蒸馏社区惯常做法相反，作者将其归因于在合成域上更新教师会引入域漂移。注意力富集分析还提供了机制证据：Where-OPD 在第 15 层对目标物体的注意力富集达 5.79（面积归一化基线为 1.0），显著高于基线模型峰值的 1.15。

第一，特权信号表达力受限：提示只有「类别 + 像素坐标 + 计数」的固定模板，无法表达空间关系、遮挡、属性比较等结构。改进方向：程序化生成关系型提示（如「红色方块在蓝色圆的左上方」），或引入多类别组合查询。第二，合成到真实的迁移机制完全黑箱：为什么计数行为能迁移到图表理解和自动驾驶感知？论文只有注意力富集的间接证据。改进方向：设计受控实验（改变提示信息量、坐标表示方式）并分析中间表征变化，把「定位—整合」假设做成可证伪的。第三，坐标系错位问题：提示给的是像素坐标，而模型内部使用视觉 token 索引，学生必须自己学会映射；改进方向是直接以视觉 token 网格坐标为提示，或提供 bbox 而非中心点。第四，缺乏通用能力与感知的联合评估：没有报告 MM MU 类通用推理、数学、代码基准，感知增强是否损害语言能力未知；改进方向是加入综合评测并探索数据混合。第五，单 epoch、3000 样本即饱和，说明简单场景的信息量上限很低；改进方向是课程式提升场景复杂度（更密、遮挡、小目标），延长有效训练窗口。第六，教师能力上限等于学生初始化加一段提示，若模板提示本身表达不了某些推理（如需要视角变换），学生永远学不到；可尝试空间提示与更强视觉前端（更高分辨率教师编码器）组合。

作者方向的延伸：其一，把程序化场景从计数扩展到相对位置、深度估计、遮挡推理等空间任务，生成更丰富的特权提示，检验迁移边界；其二，将空间提示与视觉特权（放大、高分辨率）组合成混合教师，兼顾广泛迁移与细粒度搜索——本文数据显示两者互补（Where-OPD 赢在广度，Vision-OPD 赢在 ZoomBench）；其三，与 RLVR/GRPO 混合训练：OPSD 提供密集 token 级感知信号，可验证奖励保证最终答案正确性，可能优于两者单独使用；其四，在真实图像上用开源 grounding 或检测模型自动产生提示，检验合成场景是否必需；其五，研究 EMA 在合成域失效的机理（域漂移假说需要直接验证，例如在混合真实-合成数据上重复 Fig. 3 实验）。基于本文成果可再延伸：把该方法搬到视频领域（时序定位提示「第 3 秒到第 5 秒之间目标出现两次」）；与 V-GIFT 等视觉指令微调方法正交组合进完整预训练-后训练管线；将空间提示用于 3D 场景理解与具身导航；以及从理论层面刻画「位置监督」比「答案监督」更有利于蒸馏的信息论解释。

复现难度中低，是这篇论文的显著优点。有利条件：数据完全程序化生成，附录 A.1 给出了生成器的全部细节（1024×1024 画布、10 种背景基色加抖动、7 形状 × 12 颜色、12–40 个物体、半径 14–64 像素、拒绝重叠放置、按计数加权选题、近似值干扰项），无任何外部数据依赖；训练超参完整公开（lr $2\times10^{-6}$、10 步 warmup、全局 batch 96/48、每 prompt 8 个 rollout、1 epoch、$\beta=0.5$、top $K=100$）；算力门槛极低——Qwen3.5-4B 只需 4 张 H100 约 1.4 小时，Qwen3-VL-4B 1.2 小时，9B 也只要 5.8 小时，普通实验室甚至单机多卡即可负担。不利条件：依赖 Qwen3.5 与 Qwen3-VL 权重可用性；论文只给出 Project page 占位，未明确承诺代码与场景生成器开源，生成器的精确视觉渲染细节（形状绘制方式等）需要自己实现；基线对比部分依赖作者私下分享的 checkpoint（S2VOPD、Imagine-OPD），第三方想复现完整对比表需要额外跑基线；评测的 LLM judge 具体型号正文未指明，严格对齐数字可能有小偏差。总体而言，核心方法（合成数据 + JSD 蒸馏）结构简单、成本低，复现主结果可行性很高。