VisionFoundry：用合成图像教视觉语言模型视觉感知

仅凭任务关键词，由LLM生Q&A、T2I生图、多模态裁判过滤，零参考图像构建VLM视觉感知训练集。

前置知识

视觉语言模型 (VLM)

VLM 由视觉编码器（如 ViT）、跨模态投影器和大语言模型组成，先把图像编码成视觉 token，再和文本 token 一起送进 LLM 做条件生成。代表模型有 LLaVA、Qwen2.5-VL、InternVL 等，通常先在图文对上预训练，再用指令数据做监督微调。

本文的目标模型就是 VLM，且声称 VLM 在'视觉感知'类任务上存在系统性短板，论及的训练方式（联合微调 ViT/adapter/LLM、是否冻结 LLM）也是 VLM 后训练的标准动作。

文本到图像模型 (T2I)

T2I 模型接受一段自然语言 prompt、输出一张匹配语义的图像。当前主流是基于扩散模型（如 SDXL、Imagen）或自回归/混合架构（如 Gemini-2.5-Flash-Image）。它已经具备高 photorealism 和较精确的属性、视角、关系控制能力，是合成训练图像的天然生成器。

VisionFoundry 的第二步就是用 T2I 把'答案决定的视觉事实'渲染成图像，T2I 是该管线的核心组件之一。

视觉感知基准 (Visual Perception Benchmark)

专门用于诊断 VLM 是否真正'看懂'图像的评测集，会刻意去除语言先验、强调空间/几何/属性识别能力。代表工作包括 MMVP（Tong 等的 Visual-Pair/Visual-Single 范式）、CV-Bench（2D/3D 分层感知）、RealWorldQA（现实世界几何与空间推理）。

本文的全部实验都建立在这些感知评测之上；声称的 +7% MMVP、+10% CV-Bench-3D 是论文价值的最直接量化证据。

指令微调 (Instruction Tuning)

把 (图像, 指令, 答案) 三元组喂给 VLM、监督其输出目标答案的训练范式。任务是多样的：VQA、OCR、推理、grounding 等。把数据集做成'指令格式'是 VLM 后训练的事实标准，也是本文合成数据的输出形态。

VisionFoundry-10K 的输出格式就是标准 (image, question, answer) 三元组，把合成数据接进 VLM 微调管线不需要任何适配。

模型作为裁判 (Model-as-a-Judge / Multimodal Verifier)

用更强的多模态模型来自动评判一个生成样本是否合格，常见形式是给一张图、一条陈述，让模型给出 YES/NO 或 Likert 分数。相比人工标注便宜、规模化，但要承担'判错'的风险，所以通常配合 precision/recall 的审计。

VisionFoundry 的第三阶段完全依赖 Gemini-3-Pro 做 binary filter；论文附录里还专门做了 verifier 必要性消融，是方法论上的关键决策。

研究动机

近两年的旗舰 VLM（GPT-4o、Gemini、Qwen2.5-VL、LLaMA-3.2-Vision 等）在 OCR、文档理解、GUI grounding 上已经逼近人类，但在 MMVP、CV-Bench、RealWorldQA 这类'把视觉和语言先验解耦'的诊断集上仍然显著低于人类基线。一种被普遍接受的解释是：自然图文语料虽然体量巨大，但对于'左边/右边''前后景''俯视/仰视''颜色精确匹配''物体相对距离'这种低层视觉组合并不提供系统化监督。换句话说，模型见过很多'猫在沙发上'的图片，却很少被显式训练过'红色立方体在蓝色球体左边'这种关系判断。当前的解法要么靠多阶段手工标注构建感知数据（贵、慢、有限），要么直接把 T2I 合成的图文对塞进去但缺乏质量过滤。

本文的目标是作者想把'构造 VLM 视觉感知训练数据'这件事变成一条几乎全自动、零参考图像、零人工标注的流水线，并验证这条流水线在小预算（10k 量级）下产出的合成数据能否显著拉升 VLM 在视觉感知诊断基准上的分数，同时尽量不损失通用能力。具体到数字上：在 Qwen2.5-VL-3B 上让 MMVP-pair 从 35.3 涨到 42.0 以上（+7%）、CV-Bench-3D 从 66.0 涨到 76.5 以上（+10%），且在其他基准上不出现大范围退化。

与已有工作不同的是，之前的合成数据工作大致分两类：(i) 用 GPT-4V 等模型给已有自然图像重写 caption（SynthVLM、ShareGPT4V），仍受限于'图从哪里来'；(ii) 用 T2I 出图但不做对齐校验或人工筛选，导致噪声大。本文的关键切入点是'任务关键词作为唯一输入'——不依赖任何参考图像、不依赖任何参考 caption、不依赖人工打标，所有视觉事实都通过 LLM + T2I 共同生成，并用一个强多模态 verifier 做闭合过滤。这相当于把'数据策展'从'找现有数据 + 写 prompt'升级成'按能力配方生成'。

核心方法

VisionFoundry 的直觉可以类比'自动化教辅工厂'：你只告诉它一个学生要练的能力（比如'深度顺序判断'），它就自动生成一本针对性习题集——习题的文字描述由 LLM 出，插图由 T2I 模型画，每一页印好之后还有一个资深校对员（强多模态 VLM）确认'插图真的能支撑题目答案'，不合格的当场销毁。整条管线三步闭环：(1) LLM 同时生成问题、答案和 T2I prompt；(2) T2I 出图；(3) 多模态 verifier 做对齐过滤。技术上三条原则：controllability（用 task config + concept pool 系统化覆盖）、visual determinism（答案决定的视觉事实必须显式写进 T2I prompt，避免歧义）、verification（强 VLM filter 切断'图不对题'的样本）。

核心创新在于把'数据生成'和'数据过滤'两个环节用同一个'任务关键词'串起来，并显式强制'答案决定的视觉事实必须出现在 T2I prompt 中'。已有合成数据工作普遍存在三个痛点：图像与题目语义脱节、空间关系不对、外观属性被忽略。VisionFoundry 通过让 LLM 在一次对话里输出 (prompt, question, answer) 三元组，并把'答对题所需要的视觉事实'作为显式 constraint 写进 prompt，再用一个 frontier VLM 作为 judge 拒绝'图题不符'的样本，把这三个痛点一次性收敛。区别于 SpatialVLM 用 BLIP2 + metric depth estimation 这种'启发式手工管线'，本文完全靠 LLM/T2I/VLM 的原生能力组合，整条管线换掉任意一个组件仍可工作。本质上，这是把'训练数据构建'从'数据集工程'转化为'能力配方工程'。

方法步骤详情

完整流程可拆成四个环节，每一步输入输出都很明确：(a) Concept Pool 构造：给定任务名（如 Depth Order），GPT-5.2 被提示扩展出对象池（潜艇、刀、帆船…）、属性池（红/蓝/木纹…）、场景池、风格池，再做笛卡尔积采样得到具体实体配置。(b) VQA Triplet 生成：把采样到的配置喂给 GPT-5.2，强制让它一次性输出 (T2I prompt, question, answer)，并在 prompt 模板里硬性要求 (i) 答案必须完全由图像可验证，(ii) T2I prompt 必须显式编码这些视觉事实，(iii) 不能依赖隐式常识或不可见属性。(c) 图像合成：用 Gemini-2.5-Flash-Image 作为 T2I 模型，对 prompt 直接出图；若一轮生成未通过校验，允许一次'局部编辑式'重生成，但不修改 question/answer。(d) Verification & Filtering：把 (question, answer) 用 Prompt B1 改写成一句陈述（如'红色立方体在蓝色球体左边'），然后用 Gemini-3-Pro 作为 binary judge 对图像 + 陈述做 YES/NO 判定，只保留 YES 的样本；FAIL 的样本重新采样实体并重走流程。所有保留的样本形成 (image, question, answer) 三元组，可直接当作 instruction-tuning 数据接入 VLM。

技术新颖性

对比已有合成数据路线，三处技术新颖性值得一提。第一，'能力配方化'——任务名作为唯一输入、无任何参考图像，这在 ShareGPT4V（要 caption）、SpatialVLM（要 metric depth）、StableRep（要自然图像分类）里都没出现过。第二，'显式 deterministic prompt'——把答案决定的视觉事实写进 T2I prompt 是该方向上少有被形式化的设计选择，而不是事后过滤。第三，'LLM + T2I + VLM-judge 闭环'——filter 不只是被动筛，还是回路里主动定义的'训练可行性'判据；附录里 verifer 的审计（precision 99.0%, F1 94.7%, Cohen's κ=0.794）为这种自动化提供了实证支撑。

**Figure 2**: VisionFoundry overview. Overview of our synthetic VQA data generation pipeline

**Figure 3**: VisionFoundry-10K examples. Randomly selected qualitative examples from VisionFoundry-10K, covering all 10 tasks

**Figure 8**: Confusion matrix for the random-sampling audit

实验结果

核心定量结果总结在 Table 1。三款开源 VLM（Qwen2.5-VL-3B-Instruct、MiMo-VL-7B-SFT、Llama-3.2-11B-Vision-Instruct）在 VisionFoundry-10K 上微调 1 epoch 后，全部在视觉感知诊断集上获得稳定提升。Qwen2.5-VL-3B 上 MMVP-pair 由 35.3→42.0（+6.7）、MMVP-single 64.3→68.3（+4.0）、CV-Bench-2D 67.3→72.4（+5.1）、CV-Bench-3D 66.0→76.5（+10.5）、RealWorldQA 65.0→66.9（+1.9）。MiMo-VL-7B-SFT 收益最大：MMVP-pair 43.3→57.3（+14.0）、MMVP-single 66.7→77.7（+11.0）、CV-Bench-3D 72.3→83.7（+11.4）、MMBench-EN 50.5→81.6（+31.1，作者诚实标注这是一个 outlier，推测是该模型 non-thinking 模式下的逻辑短板被视觉短板补偿）。Llama-3.2-11B 因为 LLM 被冻结，感知提升幅度较小但仍为正：MMVP-pair +4.0、3DSRBench +11.7。Figure 4 显示数据量从 0.5k→10k 单调上升，CV-Bench-3D 涨幅最猛（+10.5），说明合成数据对 3D/几何类感知任务尤其有效。Figure 5 的 2k 合成+2k 自然混合 vs 4k 纯自然对比，混合组在所有感知基准上更优（如 MMVPsingle 67.0 vs 65.0、MMVP-pair 42.0 vs 40.0），证明合成为自然数据提供了'互补'的视觉监督。Figure 6 的 epoch 消融显示：单任务 1k 子集在 ~8 epoch 处收敛、16 epoch 略掉点；全量 10k 收敛更快。Figure 7 的任务级切片显示不同任务的迁移差异：Depth Order 在空间任务上大涨但在 ScreenSpot-Pro/MMMU 上略掉，体现了'任务→能力'的非均匀迁移。附录 Figure 9 的 verifier 必要性消融（matched 1k budget）显示加验证能让 CV-Bench-2D、BLINK、MathVista-Mini 等多个基准稳定改善 +0.5 到 +2.6 点；Figure 10 和 Figure 11 通过控制 QA 一致性的'严格版'消融说明合成图像分支在 CV-Bench-3D 上领先自然图像分支 +2.7 至 +5.3 点，证明'合成图像'本身是增益源而不只是合成 QA 文本带来的。

**Table 1**: Main Benchmark Results. Main results on 13 benchmarks with 15 reported metrics across three VLMs

**Table 2**: Main-experiment hyperparameters

**Table 3**: Verifier performance on the audited sample set

**Table 5**: Task-wise benchmark performance across 10 task-specialized models (Part I)

**Table 6**: Task-wise benchmark performance across 10 task-specialized models (Part II)

**Figure 4**: Data-Size Effects of Synthetic Supervision

**Figure 5**: Equal-sized mixture vs. pure natural data

**Figure 7**: Task-wise gains and cross-benchmark divergence

**Figure 9**: Verification is important under a matched 1k-data budget

**Figure 10**: Natural images with synthetic QA vs. synthetic images with synthetic QA under matched 1k-data training

**Figure 11**: Strict control experiment with matched synthetic QA

查看结构化数据

任务	指标	本文	基线	提升
MMVP-pair	accuracy (%)	Qwen2.5-VL-3B Synth 42.0 / MiMo-7B Synth 57.3 / Llama-11B Synth 46.7	Qwen35.3 / MiMo43.3 / Llama42.7	+6.7 / +14.0 / +4.0
MMVP-single	accuracy (%)	Qwen68.3 / MiMo77.7 / Llama71.7	Qwen64.3 / MiMo66.7 / Llama70.3	+4.0 / +11.0 / +1.4
CV-Bench-2D	accuracy (%)	Qwen72.4 / MiMo79.0 / Llama71.7	Qwen67.3 / MiMo74.3 / Llama70.4	+5.1 / +4.7 / +1.3
CV-Bench-3D	accuracy (%)	Qwen76.5 / MiMo83.7 / Llama75.3	Qwen66.0 / MiMo72.3 / Llama74.4	+10.5 / +11.4 / +0.9
RealWorldQA	accuracy (%)	Qwen66.9 / MiMo67.5 / Llama64.6	Qwen65.0 / MiMo65.9 / Llama63.0	+1.9 / +1.6 / +1.6
OCRBench	accuracy (%)	Qwen82.4 / MiMo82.9 / Llama75.2	Qwen82.7 / MiMo83.3 / Llama75.4	-0.3 / -0.4 / -0.2 (小幅下滑，无 OCR 监督)
MMBench-EN v1.1	accuracy (%)	Qwen76.1 / MiMo81.6 / Llama73.8	Qwen75.8 / MiMo50.5 / Llama66.6	+0.3 / +31.1 (异常偏大) / +7.2
3DSRBench (FlipEval)	accuracy (%)	Qwen36.8 / MiMo40.0 / Llama39.2	Qwen35.2 / MiMo32.0 / Llama27.5	+1.6 / +8.0 / +11.7

局限与改进

局限性有四层：第一，任务覆盖窄。10 个任务全部是'低层感知'，缺乏长链推理、多跳组合（如 MathVista 核心题）、开放世界知识（MMMU-heavy）等真正'高难度视觉推理'任务；作者自己也在 Limit/Future Work 里承认这是'first-step validation'。第二，verifier 仍非完美。附录 D 的审计显示 auditor 140 candidates 中只有 99 个 valid（70.7%），false reject rate 9.2%、false accept rate 3.2%，意味着即便有 frontier VLM 过滤，仍有约 3% 的'错图入题'样本溜进训练集。第三，依赖外部闭源模型。LLM（GPT-5.2）、T2I（Gemini-2.5-Flash-Image）、Verifier（Gemini-3-Pro）三个核心组件都是 proprietary，论文明确声称将所有 prompt 公开以便审计，但管线本身可复现性需要这些接口的持续可用。第四，视觉感知的提升对部分'偏推理'基准并不稳定。MiMo 的 MMBench 大涨 31.1 个点属于 outlier，作者诚实标注为'视觉短板被补偿的次生效应'而非真正理解提升；同期 BLINK、MMStar 也都只在 ±1-2 点之间漂移，说明合成数据对'需要强文本/知识先验'的任务几乎没有直接增益（且还有 OCRBench 全部三模型都微跌的小一致趋势）。

独立分析的弱点

独立观察到的弱点有四个方向：(i) 任务多样性瓶颈——10 个任务偏几何/空间，未来若加入细粒度属性（材质、纹理、part-whole）、计数（如何数据化'数清 7 个橘子'）、罕见视角（如鱼眼、显微）等，合成管线是否能维持 fidelity 是开放问题，改进方向是用'任务 DSL'形式化每个任务的输出 schema。(ii) Verifier 选择偏差——Gemini-3-Pro 是闭源裁判，对'正确答案但难判别'的图片有 9.2% 的误杀率，改进方向是引入 ensemble judge（如 Gemini + GPT + open-source VLM 投票）并加入 human spot-check。(iii) T2I 失败模式——Case 5 显示 T2I 可能生成与 prompt 空间关系相反的图像且 verifier 漏检，改进方向是在 prompt 阶段加入 negative constraint（如'确保帆头朝左而非朝右'）或在生成后用规则式空间关系 sanity check。(iv) 训练范式受限——Llama-3.2-11B 因 LLM 冻结只能在感知上获得小幅提升，说明合成视觉信号需要文本侧一起'消化'；改进方向是探索把 question/answer 中显式的语言知识反向注入 LLM，让'看图'和'读题'同步加强。

未来方向

作者明确指出的未来工作是'将管线扩展到更复杂的视觉推理任务，需要更长推理链和更强组合推理'。基于论文成果可延伸的方向至少包括：(1) 把 VisionFoundry 的设计思路迁移到 VLM pretraining，用 verifier-filtered 合成数据替代部分 web 噪声图；(2) 通过失败模式驱动（failure-driven）的合成——先在目标基准上跑当前 VLM、找出失败样本、由 verifier 反向写出对应 prompt、再喂回管线——把'修补能力缺口'做成半自动化的'红队—补货'循环；(3) 任务 DSL 化，让每个视觉能力有结构化 (predicate, role, attribute, viewpoint) 定义，以支持 multi-image、video、3D point cloud 等更复杂模态的合成数据；(4) 引入 closed-loop RL，用 verifier 的判定信号本身作为 reward，做 self-rewarding 的合成数据生成。

复现评估

复现难度中偏低。开源方面：作者承诺发布代码、数据集和完整的 prompt 模板（Appendix B 把 Prompt Set A 和 Prompt Set B 全部原文公开，包括 A1 attribute expansion、A2 QA+T2I 生成、B1 QA→statement、B2 image consistency judge、B3 edit-based re-generation），这对'非闭源模型依赖部分以外的整条管线本身'是可复现的。闭源部分：GPT-5.2、Gemini-2.5-Flash-Image、Gemini-3-Pro 都需要付费 API，单次 10k 数据集生成的 API 费用估算在几十到几百美元量级（取决于 T2I 出图成本）。算力方面：主实验是 1 epoch 全量微调，Qwen2.5-VL-3B/MiMo-VL-7B 在 batch=128、1 epoch、lr=5e-6 设定下用 8 张 A100/H100 级别 GPU 几小时内可跑完；Llama-3.2-11B 因只解冻 ViT+adapter 更轻。复现难度评级：'中等'——核心管线可复现，但 verifier/T2I 的版本变更会影响最终分布，建议固定模型版本号。

VisionFoundry：用合成图像教视觉语言模型视觉感知 VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images