无需放大 v2：从看见细节到连接证据的泛化多模态感知 Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception

流水线共八步。（1）图像筛选：仅保留 SA-1B 中长边至少 1280px、平均通道熵不低于 6.5 bit、Canny 边缘密度不低于 0.04、亮度标准差不小于 60 的高分辨率复杂图像。（2）区域发现：Qwen3.5-397B-A17B 判断图像能否支持多区域问题，并提议最多 18 个区域（边界框加短描述），过滤面积占比小于 0.04% 或大于 18% 的框以及与已保留框 IoU 不小于 0.65 的重复框，剩余区域少于 4 个则跳过。（3）任务条件分组：纯文本调用基于图像描述与区域描述提议最多 6 组、每组 3-7 个区域，标注 22 个任务族之一并映射到 4 种必要性模式，丢弃无效或重复组。（4）特权证据布局：每区域按原生分辨率裁剪（四周 8% 边距），用保序重映射排到白色画布上，长边超过 4096px 才下采样；7 色调色板上色（组上限 7）。（5）问题实现：生成器接收布局、区域元数据和从 104 个推理蓝图模板库采出的 4 个模板，每组最多出 8 个候选，每个候选声明问题类型、必要性模式、每个区域的贡献、移除后预期答案以及推理证书；确定性规则拒绝证书含未用区域、主观措辞、轮廓色泄漏答案、算术不一致等候选；每组保留最多 4 个、每图最多 8 个。（6）跨模型答案锚定：Qwen3.5-397B-A17B 与 Kimi-K2.6 在特权视图上各采样作答（最多 4+4 次），不看区域描述与出题答案；每家族至少 3 票一致且两家族指向同一答案才保留，该答案记为 $a^\star$。（7）自适应 drop-one 测试：每区域被灰块加红十字替换后验证器作答 1-3 次，多数恢复 $a^\star$ 才算经验冗余；冗余区域不少于 2 个才拒题。（8）定型：默认策略视图为带彩色轮廓的全图；聚合类问题（计数、属性计数、数字求和）尝试无标记改写，需两家族共 4 次审计全部确认指称唯一、任务保持、答案不变才替换；随后转四选项（3 个干扰项与 $a^\star$ 同格式），难度过滤由 Qwen3.6-35B-A3B 每题作答 4 次，全对或不可解析的丢弃，每图最多保留 4 题。最终 20.4K 样本中 65.74% 为三区域、24.34% 为四区域，hard 加 very hard 占 44.21%。训练配置：GRPO、2 个 epoch、batch 128、学习率 $10^{-6}$、每提示 $G=8$ 个 rollout、温度 0.7、最大响应 32K token、禁用思考模式、解耦裁剪 $\epsilon_{low}=0.2$ 与 $\epsilon_{high}=0.3$、无 KL 惩罚（$\beta_{KL}=0$），奖励只检查预测选项字母。

技术新颖性体现在四个层面。（1）能力抽象层面：把空间感知、长上下文理解与细粒度感知统一到"连接证据"这一原子能力，并论证针对该能力的数据比针对任务本身的数据远容易合成与验证——这是问题设定层面的贡献，与 Euclid's Gift 用几何代理任务训练空间技能的思路同族但更一般：本文代理任务来自自然图像且面向跨任务共享的连接步骤而非纯空间技能。（2）问题结构层面：以连贯区域组为单元，首次把"必要性模式"作为可检验的问题属性引入合成数据，使"每个区域都必要"从希望变成可自动测试的命题，并用推理证书（reasoning certificate）这种结构化中间产物支撑规则检查（每步只能读先前步骤、每个区域必须在通往输出步骤的路径上）。（3）质检机制层面：答案可靠性与证据依赖性被分离验证；drop-one 允许单个冗余区域以容忍裁剪边距重叠与采样噪声，只拒绝多数冗余的题，兼顾质量与合成效率——消融证实该设计值 +1.63 分。（4）视图分离层面：特权视图仅用于构建，策略视图保留彩色轮廓作指称锚点但不泄露答案，并对聚合题自动做去标记改写加双重审计。整条流水线无需人工标注，Table 4 逐项列出每次调用的模型、视觉输入、次数与温度，工程上完全可审计。

独立分析的弱点与改进方向：（1）彩色轮廓改变了训练分布——训练时图像几乎总带彩色框，真实部署没有轮廓；虽然聚合题做了去标记改写，但只覆盖答案不依赖轮廓的题型（计数、属性计数、数字求和），选择与配对题仍保留标记。改进方向：扩大无标记改写的题型覆盖，或训练时对轮廓随机化/概率性省略以弥合分布差。（2）四选一字母奖励信号较粗：模型可能通过选项格式与排除法部分得分而非真正感知。改进方向：混合开放式短答案奖励（规范化字符串匹配），或对选择题额外要求输出证据框坐标并用 IoU 给部分奖励。（3）质检链条依赖单一强模型的自我一致性：出题、锚定家族之一、drop-one 验证器、无标记审计都用 Qwen3.5-397B-A17B，存在共同的系统性偏差（例如同样误读某处文字就会一致通过）。改进方向：审计环节引入第三个异构家族，或用 grounding 坐标交叉验证。（4）数据源仅 SA-1B 自然图像，缺少文档、图表、UI 截图分布——Chartography 仅从 5 分升到 14 分仍远低于 GPT 的 17 分。改进方向：按领域扩展图像源（DocLayNet 类文档、网页截图、图表渲染）复用同一流水线。（5）对需要真正跨图/3D 空间推理的任务帮助有限：MMSI-Bench 27B 仅从 33.50 升至 37.10，绝对水平仍低。改进方向：把证据组从单图扩展到多图或视频帧。（6）每张图约需数十次大模型调用（Table 4），且主力是 397B 级模型，合成成本高。改进方向：研究小模型出题加强模型验证的分工组合。

作者明确提出两个方向：一是把证据合成扩展到视频帧，直接建模跨帧的时序依赖，弥补单图代理无法覆盖的时间维度；二是研究同样的监督对更大规模模型或更早训练阶段（如预训练）是否有效。基于本文成果还可延伸：（1）多图证据组——用跨图像的相关区域替代单图区域组，直接构造"跨图连接证据"数据，有望消除超长上下文处增益收窄的问题，并可直接对标 MMSI-Bench 这类多图空间智能任务；（2）与 Thinking-with-Images 结合——把特权视图从造数据工具变为推理时工具，训练模型在需要时主动请求放大裁剪，验证"先学连接、再学调用工具"的课程式收益；（3）交互式智能体环境——把三区域依赖链扩展为"观察→行动→观察"的轨迹证据链，让 chain_dependency 模式承载真实交互状态；（4）领域适配——对文档、UI、图表图像运行同一流水线，针对性提升 GUI grounding 与图表理解这两个当前仍落后的方向；（5）能力组合研究——把"连接证据"数据与数学、代码 RLVR 数据混合训练，量化感知与推理能力之间的干涉或协同；（6）用论文的注意力 IoU 分析（Table 5，405 个 TreeBench 配对样本上的 layer-wise top-k IoU）作为无标注的数据质量监控信号，在合成时在线过滤让注意力更分散的坏样本。

复现条件总体较好。开源情况：代码在 GitHub（inclusionAI/Zooming-without-Zooming-v2），4B/9B/27B 三个模型发布在 Hugging Face collections（inclusionAI/zooming-without-zooming-v2）。数据与配置：图像源 SA-1B 公开；训练集 20.4K 样本的构成统计完整（区域数分布 65.74%/24.34%/7.93%/1.99%，难度分布 easy 33.75%、medium 22.04%、hard 19.07%、very hard 25.14%）；附录 A 给出全部实现细节与精确阈值（面积 0.04%-18%、去重 IoU 0.65、裁剪边距 8%、7 色调色板、每图最多 4 题），Table 4 逐项列出每次模型调用的模型、视觉输入、次数与温度，附录 B 提供 10 个完整提示模板，附录 D 给出 GRPO 全部超参（2 epochs、batch 128、lr $10^{-6}$、$G=8$、温度 0.7、最大响应 32K token、解耦裁剪 $\epsilon_{low}=0.2$/$\epsilon_{high}=0.3$、$\beta_{KL}=0$）。算力门槛：合成阶段需调用 Qwen3.5-397B-A17B（出题、锚定、验证主力）、Kimi-K2.6（第二锚定家族）、GLM-5.2（语义等价判分）、Qwen3.6-35B-A3B（难度过滤），每个候选锚定最多 8 次采样、每个区域 1-3 次 drop-one 查询，合成 20.4K 样本的 API 成本不低；训练三个规模的 GPU 需求未明确说明，27B 的 GRPO（每提示 8 个 32K rollout）需要多卡集群。难度评估：流程步骤多但每步规则明确，工程实现直白；最大不确定性是依赖的外部大模型版本的可获取性与可复现的输出质量。综合判断：具备大模型 API 与多卡训练资源的小团队可在中等工作量下复现，数据合成成本是主要门槛。