OmniTaskonomy：视觉生成何时能改善视觉理解 OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?
构建19种生成任务×25项理解能力的迁移图谱，发现两阶段课程与梯度对齐决定生成能否提升理解
前置知识
统一多模态模型与 Mixture-of-Transformers（MoT）
统一多模态模型在同一模型中同时支持图像理解与图像生成，代表工作如 BAGEL。MoT 架构为不同模态分配独立的 Transformer 参数（各自的投影、RMSNorm、MLP），但通过共享注意力实现跨模态交互：理解分支处理文本与 ViT 图像 token，生成分支处理 VAE 潜变量。I2I 训练的梯度可经共享注意力回传到理解分支、ViT 连接器乃至 ViT 本身。
本文全部实验基于 BAGEL（MoT 架构），'迁移'具体发生在哪些参数上、梯度对齐为何集中在理解分支的归一化层，都必须先理解这一架构才能读懂。
I2I 生成目标与 Flow Matching 损失
图像到图像（I2I）任务（深度估计、修补、拼图还原等）以图像为输出。BAGEL 用流匹配训练：给目标图像潜码加噪 $z_t=(1-t)z+t\epsilon$，训练网络预测速度场，损失 $\mathcal{L}_{\mathrm{I2I}}=\frac{1}{N_gC}\sum_{j,c}[v_\theta(z_t,t)_{j,c}-(\epsilon-z)_{j,c}]^2$；与之对照，I2T 理解用自回归交叉熵 $\mathcal{L}_{\mathrm{I2T}}=-\frac{1}{N_t}\sum_j\log p_\theta(y_j\mid y_{<j})$。
论文的核心设定是'同一视觉问题、两种输出模态'，这两个损失就是两种监督的具体形式，梯度对齐分析正是比较它们对同一参数的更新方向。
训练课程（training recipe / curriculum）
指多任务数据如何组合训练：两阶段先后训练（A→B）、从头混合（Mixed）、或阶段一冻结部分参数等。不同课程决定了梯度是否能在正确时机塑造共享表征，也涉及灾难性遗忘与优化冲突问题。本文系统比较了 6 种配方。
论文对'何时'问题的答案是课程级的：只有先做更新共享参数的 I2I 训练、再做 I2T 微调才能稳定获益，混训不行——这是全文最重要的实践结论之一。
梯度对齐（gradient alignment）
两个任务损失对同一参数块梯度的方向余弦：正值表示参数更新方向一致、互相支持，负值表示冲突（多任务学习中梯度冲突会损害优化，是 PCGrad 等方法的动机）。本文在预训练检查点计算 $g=\nabla_\theta\mathcal{L}(\theta_0)$，单位化 $u=g/\|g\|_2$，经共享无中心 PCA 子空间投影并按有效维度缩放后取余弦 $s_{b,i}=\sqrt{d_{\mathrm{eff},b}}\cos(P_b^\top u^{\mathrm{I2I}}_{b,i},\,P_b^\top u^{\mathrm{I2T}}_{b,i})$。
这是论文解释'迁移为何发生'的机制性信号：对齐与迁移增益在能力级相关 r=0.795，是识别有效源-目标配对的潜在工具。
Taskonomy 与计算机视觉的 3R 分类
Zamir 等（2018）的 Taskonomy 通过迁移实验刻画视觉任务间的依赖结构；Malik 等（2016）提出视觉三大基础问题：识别 Recognition（语义内容）、重建 Reconstruction（几何与光度属性）、重组 Reorganization（视觉元素的分组、定位与关联）。
OmniTaskonomy 直接以 3R 为顶层骨架，把 19 个 I2I 生成任务与 25 项理解能力放进同一层级的不同叶子上，是读懂分类法和迁移矩阵组织的钥匙。
RMSNorm 与 pre-attention 归一化
RMSNorm 用激活值的均方根进行缩放（不减均值），是现代 Transformer 的标准归一化；每层注意力之前有一个带可学习增益的 pre-attention RMSNorm。BAGEL 理解分支 28 层、每层 3584 维，拼接后共 100,352 个参数。
受控实验发现 I2I 与 I2T 梯度对齐最强的位置正是理解分支的 pre-attention RMSNorm（尤其中早期层），这是论文定位迁移机制的关键证据。
研究动机
此前'理解帮助生成'已有较多证据，而'生成帮助理解'被普遍认为收益甚微：MetaMorph 等混合训练工作报告生成数据对理解几乎没有帮助，形成了'生成对理解价值有限'的流行观点。但这与直觉矛盾——图像生成提供了对象外观、空间关系与几何的稠密像素级监督，而这些恰是识别、计数、空间推理与 3D 感知等理解任务的核心要素。问题在于缺乏受控证据：现有工作把生成与理解数据从头混训，无法区分'监督信号无用'与'训练配方不对'；同时生成基准评测指令遵循与图像质量、理解基准按任务类型组织，两类任务从未被放进同一能力框架，导致'哪个生成任务可能帮助哪项理解能力'无从系统回答。例如，深度图生成训练究竟会不会改善'哪个物体实际更近'这类度量 3D 判断，此前没有可对照的实验证据。
本文的目标是本文要系统回答三个问题：其一，何种训练课程能让图像到图像生成（I2I）的监督迁移到图像到文本理解（I2T），且收益是否随生成数据规模增长；其二，19 种生成任务分别对 25 项细粒度理解能力有何帮助，迁移是否局限于 closely matched 的配对任务；其三，能否用优化层面的信号（梯度对齐）解释并预测迁移成败。为此作者构造了同题异模态的受控配对任务实验，构建统一分类法 OmniTaskonomy 并测出完整的 19×25 迁移矩阵，最终给出可操作路线图：用生成训练建立初始化、按目标能力挑选生成任务、用梯度对齐筛选有希望的源-目标组合。
与已有工作不同的是，独特之处有三。第一，受控配对设计：拼图与变焦排序任务中，同一输入既可要求模型输出还原图像（I2I），也可要求输出文本排列（I2T），只变输出模态、不变视觉问题，把'生成监督本身是否携带可迁移信号'从数据量、任务相关性等混杂因素中剥离出来。第二，OmniTaskonomy 首次把 I2I 生成目标与细粒度理解能力放进同一基于视觉能力的层级（3R），使 Taskonomy 式的任务迁移分析跨过输出模态边界，细化为 19×25=475 个可测量的源-目标对。第三，机制上把多任务学习中的梯度相容性工具改造成跨模态迁移的预测信号，并定位到理解分支 pre-attention RMSNorm 这一具体参数块，而不是停留在现象报告层面。
核心方法
直觉上，'把打散的图块拼回原图'这类生成任务逼迫模型推理空间结构，其梯度应当能塑造对理解有用的表征；但收益能否兑现取决于训练课程——共享参数必须在生成阶段被更新，并在此后有 I2T 微调来兑现。技术路线分三步。第一步受控研究：在 BAGEL-7B-MoT 上以 Jigsaw（4 块乱序拼图还原）与 Zoom-In（变焦视图排序）为配对任务，比较 6 种训练配方，I2T 固定 1k 样本，I2I 数据从 3k 扫到 100k，每点 3 个随机种子。第二步构建 OmniTaskonomy：从 BLINK、MMStar、MMT-Bench、CV-Bench、RealWorldQA、MMVP、VStarBench 七个基准共 10,422 题出发，经'属性抽取→schema 固定→局部树→全局树→3R 归置→人工精修→三 VLM 多数票标注'流水线得到 25 项理解能力与 9,444 道保留评测题，并把 19 种 I2I 任务放入同一层级；随后每个 I2I 源用 50k 样本训练、再以 50k LLaVA-Instruct 微调，测出完整迁移矩阵并用配对置换检验标注显著性。第三步机制分析：在预训练检查点逐参数块计算 I2I 与 I2T 的梯度对齐，检验对齐位置及其与迁移增益的相关性。
核心创新一：'同题异模态'的配对消融。以往'生成无益理解'的结论多来自混训观察，本文证明问题出在配方而非信号：只有先做更新共享参数的 I2I 训练、再做 I2T 微调（I2I→I2T 或 I2I→Mixed）才能随生成数据从 3k 扩到 100k 而单调增益；从头混训（Mixed）或在生成阶段冻结共享参数（Frozen I2I→Mixed）都得不到稳定收益。数据效率上，Zoom-In 用 100k I2I+1k I2T 即达到 10k I2T-only 的水平，Jigsaw 用 100k I2I+3k I2T 达到同样效果，即生成监督可等效替代约一个数量级的理解标注，且 I2T 数据越少收益越大。核心创新二：把'是否帮助'拆成 475 个源-目标对的能力级测量，得到选择性迁移图谱，并给出机制性解释：梯度对齐在理解分支早期 pre-attention RMSNorm 最强，且与迁移增益在能力级相关 r=0.795、任务对级 r=0.529，为挑选任务配对提供了优化层面的先验信号。
方法步骤详情
①配对任务构建：从 VisGym 取 Jigsaw（4 块拼图乱序还原）与 Zoom-In（变焦视图按变焦程度排序），每题生成 I2I 版（输出正确排序图像）与 I2T 版（输出文本排列如 ('reorder',[3,2,1,0])），输入相同、仅输出模态不同。②受控训练：基座 BAGEL-7B-MoT，I2T 固定 1k 样本×15 epoch，I2I 池取 1.9k/9.4k/30k/100k，比较 I2T-only、I2I→I2T、Mixed→I2T、Frozen I2I→Mixed、Mixed、I2I→Mixed 六种配方；AdamW、峰值学习率 $2\times10^{-5}$、4 卡 FSDP、BF16、VAE 冻结，3 种子重复，输出 1k 评测集准确率曲线（±SEM）。③数据替代与实例检验：固定 100k I2I，扫 I2T 预算 1k/3k/10k/30k；同一检查点上以 gemini-3.7-flash 按结构化规则判分 I2I 生成，统计 P(I2T✓|I2I✓) 与 P(I2T✓|I2I×)。④分类法构建：先抽取属性并归纳为 57 字段 schema、标注全部 10,422 题；再分 10 批建局部树（共 474 叶）→合并为 42 叶候选树→人工整理 35 叶→归入 3R→定稿 25 项能力；三个 VLM 独立标注、≥2/3 多数票保留 9,444 题（93.30% 全票）；4 名标注者复审 250 题共 400 次判断验证（97.4% 一致，Cohen's κ 0.956–0.989）。⑤迁移矩阵：每个 I2I 源先 50k 样本 I2I 训练、再 50k LLaVA-Instruct I2T 微调，基线仅 50k I2T，计算 $\Delta_{s,t}=\mathrm{Acc}(M_s,D_t)-\mathrm{Acc}(M_{\mathrm{I2T}},D_t)$（pp），精确配对置换检验 p<0.05。⑥梯度分析：预训练检查点上对各参数块计算单位化梯度，经共享无中心 PCA（保留 99% 特征值能量）投影后取缩放余弦 $s_{b,i}=\sqrt{d_{\mathrm{eff}}}\cos(P^\top u^{\mathrm{I2I}},P^\top u^{\mathrm{I2T}})$，聚焦理解分支 pre-attention RMSNorm（28 层共 100,352 参数），在 19×7=133 个源-目标对上与迁移增益求相关。
技术新颖性
技术新颖性体现在四个层面。问题层面：把被流行观点（生成对理解收益有限）遮蔽的反向迁移作为主研究对象，并证明负结果源于'混训配方'而非'信号缺失'，属于对现有认知的修正。方法层面：同题异模态配对设计在生成-理解迁移研究中少见，它使输出模态成为唯一变量；迁移测量从整体 benchmark 分数细化到能力级单元格，并配精确配对置换检验（对每题的正确性做随机翻转符号的精确 p 值），统计上更严谨。资源层面：OmniTaskonomy 是首个以视觉能力（3R）为骨架同时收纳生成目标与理解能力的分类法，其'VLM 归纳+人工精修+三模型投票+人工验证（Cohen's κ 0.956–0.989）'的构建流水线本身可复用于其他基准的能力重组。机制层面：把 PCGrad、Task Affinity 等多任务学习的梯度相容性工具跨模态化，配合 CountSketch 降维、fold 外推 PCA 与有效维度缩放，给出可复用的对齐估计协议，并定位到早期 pre-attention RMSNorm 这一此前未被关注的参数块。
实验结果
受控研究（图 2）：I2I→I2T 与 I2I→Mixed 随 I2I 数据从 3k 增到 100k 单调增益，而 Mixed、Frozen I2I→Mixed 弱且不稳定；Zoom-In 上 100k I2I+1k I2T≈10k I2T-only，Jigsaw 上 100k I2I+3k I2T≈10k I2T-only，I2T 预算越小收益越大。实例级（表 1）：Jigsaw 的 I2I/I2T 精度为 70.9%/81.3%，I2T 在 I2I 答对时正确率 88.2%、答错时仅 64.3%；Zoom-In 为 90.9% vs 86.7%，对应关系延伸到样本级。迁移矩阵（图 4/10，9,444 题、3 种子、p<0.05 置换检验）：迁移高度选择化，19 个展示能力中仅 5 个有显著正迁移；Metric 3D relation 与 Counting 受益面最广（各 12 个源显著），2D ordering 次之（11 个源）。典型增益：Localization→Counting +2.5pp、Object pointing→Counting +2.0pp（基线 63.58%）；Euclidean depth→Metric 3D +3.8pp、Z-depth +3.6pp、Surface normals +3.4pp（基线 68.65%）；2.5D segmentation→2D ordering +7.9pp、Inpainting→2D ordering +7.2pp、Jigsaw→2D ordering +6.8pp（基线 60.35%）；跨家族惊喜包括 2.5D segmentation→Category recognition +1.2pp（基线 75.09%）。负迁移同样清晰：Visual correspondence 几乎全负（至 −5.5pp），Surface normals→Lighting −7.9pp，Multi-view reasoning 普遍降 2–6.9pp；OCR 与外观理解无任何源显著有益。梯度对齐（图 5、表 14/15）：对齐集中于理解分支早期 pre-attention RMSNorm；能力级平均对齐与平均增益相关 r=0.795（Counting 0.186/+1.32pp、Category 0.108/+0.44、Correspondence −0.246/−2.25），133 个源-目标对上 r=0.529。此外仅做 I2I 训练 30k 后 I2T 损失自发下降（Jigsaw 0.43→0.28，Zoom-In 0.29→0.22），为迁移提供无 I2T 监督下的旁证。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Jigsaw I2T（受控配对任务） | exact-match 准确率 | I2I→I2T 随 I2I 数据 3k→100k 单调提升（约 75%→82%）；100k I2I+3k I2T≈10k I2T-only | I2T-only（1k I2T，约 74–76%） | 小 I2T 预算下增益最大，等效节省约 10 倍理解标注 |
| Zoom-In I2T（受控配对任务） | exact-match 准确率 | I2I→I2T 随 I2I 数据升至约 96%；100k I2I+1k I2T≈10k I2T-only | I2T-only（1k I2T，约 82–85%） | 约 10 倍理解数据效率；混训/冻结配方无此 scaling |
| Counting（1,542 题） | 相对 I2T-only 的准确率变化（pp） | 12/19 源显著为正；最佳 Localization +2.5、Object pointing +2.0、Inpainting +1.5 | I2T-only 63.58% | 最高 +2.5pp（p<0.05 配对置换检验） |
| Metric 3D relation（723 题） | 相对基线的准确率变化（pp） | 12 源显著；Euclidean depth +3.8、Z-depth +3.6、Surface normals +3.4 | I2T-only 68.65% | 最高 +3.8pp |
| 2D ordering（190 题） | 相对基线的准确率变化（pp） | 11 源显著；2.5D segmentation +7.9、Inpainting +7.2、Jigsaw +6.8 | I2T-only 60.35% | 最高 +7.9pp，全文最大单项增益之一 |
| Category recognition（962 题） | 相对基线的准确率变化（pp） | 2.5D segmentation +1.2 显著（重组→识别的跨家族迁移） | I2T-only 75.09% | +1.2pp，超出任务对应关系的预期 |
| 梯度对齐-迁移相关 | Pearson r | 能力级 r=0.795（7 项 >500 题能力）；任务对级 r=0.529（133 对） | 无（新提出的优化级信号） | 首个可预测生成→理解迁移的先验指标 |
局限与改进
作者承认的局限：所有实验基于单一基座 BAGEL-7B-MoT 与单一规模，结论对其他统一架构（全自回归、扩散混合、非 MoT）的外推未经验证；每个源仅 50k I2I 样本，更大规模的 scaling 未探索；迁移高度选择化——19 个展示能力中 15 个没有任何显著正迁移，多数格子落在噪声区间；梯度对齐只在预训练检查点测量且只是相关证据，不构成因果；配对实验中 I2I 生成质量由 gemini-3.7-flash 判分，可能引入判分偏差；能力标注依赖 VLM 多数票（虽有 κ≈0.97 的人工校验）。我的补充观察：其一，小样本能力（20–89 题）被排除在主图外，'无迁移'的判断可能部分源于统计功效不足；其二，第二阶段一律用 50k LLaVA-Instruct，未考察 I2T 数据组成对迁移的调节作用；其三，增益绝对量多为 1–8pp，相对于预训练+两阶段微调的总成本，实用价值尚待放大；其四，混训为何失败只有现象报告没有优化诊断；其五，源数据异构（Taskonomy 合成图 vs COCO 自然图 vs VisGym 谜题）可能混淆'任务监督效应'与'图像域效应'；其六，OCR、情境理解等语言/知识型能力完全无法从生成任务受益，说明该路线只覆盖感知侧理解。
独立分析的弱点
独立分析的弱点与改进方向。①单模型单规模：结论可能随架构（MoT vs 统一参数 vs 扩散混合）与规模改变，应在 BLIP3-o、Show-o、Janus 等不同系统上重复 19×25 矩阵，检验'两阶段课程有效'与'对齐集中于 pre-attention RMSNorm'是否普适。②对齐只是相关：应做干预实验——按对齐排序只训 top-k 源、或对负对齐源做梯度投影/手术，观察增益是否如预测变化，把代理信号升级为因果工具。③增益小且第二阶段固定：可设计课程式退火（I2I 占比随训练衰减）、按能力的实例级数据路由，并把 I2I 扩到百万级验证 scaling 是否持续；当前 1–8pp 的增益可能被更大的 I2I 预算放大。④评测覆盖失衡与判分循环性：小 N 能力（20–89 题）被排除、I2I 生成用 VLM 判分，应为这些能力补造程序化可判分的数据（深度用误差指标、分割用 IoU），并提高人工复核比例。⑤混训失败未诊断：应记录混训过程中的梯度冲突频率与损失景观变化，解释为何联合优化破坏迁移而非仅报告现象。⑥域混淆：源任务的数据域不同，应做同图像不同目标的对照训练，分离任务监督与图像分布的贡献。
未来方向
作者提出的方向：把生成训练当作统一模型的理解初始化，按目标能力选择生成任务，用梯度对齐预筛任务配对，从而设计'以生成促理解'的 omni 模型训练课程。基于成果可延伸：其一，在线课程搜索——以梯度对齐为廉价代理动态调整 I2I/I2T 数据配比，避免全矩阵扫描的昂贵试错；其二，把迁移图谱用于世界模型与具身智能，例如用可大规模自动构造的几何目标（深度、法线、重光照）预热 VLA 模型的空间感知；其三，扩展到视频、3D 与音频模态，检验 3R 骨架与'选择性迁移'结论的普适性；其四，机制研究——为何早期层 pre-attention RMSNorm 是对齐热点，可与归一化层的表征几何、特征方向重排理论建立联系；其五，负迁移治理——用梯度手术、任务分组或专家路由隔离 Visual correspondence、Multi-view reasoning 等易受损能力；其六，实例级迁移——同一能力内按样本特征路由源任务，最大化每题收益；其七，探索冻结配方失败的替代方案，如 LoRA 式低秩共享更新，在不破坏生成能力的前提下注入理解信号。
复现评估
复现条件较好。基座 BAGEL-7B-MoT 开源；训练数据全部公开：Taskonomy tiny（12 个密集预测任务）、COCO 2017（语义分割、修补）、ConceptEdit-12M（编辑对，经能力路由出 61,694/53,652 对）、RefCOCOg UMD split（定位 42,226 条）、VisGym（Jigsaw/指向）、LLaVA-Instruct（I2T 阶段）；评测题来自 7 个公开基准。项目页 omni-taskonomy.github.io，附录 A–F 给出任务定义、逐项超参（AdamW、lr 2e-5、有效批 64、4 卡 FSDP、BF16、每阶段约 781–782 updates）、全部标注与判分提示词、完整 19×25 数值矩阵与图代码，作者声明附带数值导出。算力门槛低：单次两阶段训练仅 4 GPU、约 1.6k updates；但完整复现需 19 源×3 种子约 60+ 次训练、9,444 题评测与梯度分析（CountSketch 存储、5-fold 外推 PCA），加上 Gemini/GPT/Claude 标注与判分的 API 费用。总体难度中等：工程繁琐但无黑箱，种子、fold、prompt 版本等关键随机性均有记录，认真照做应能复现主要结论。
论文图表
三联概览图。(a) 固定 1k I2T 数据时，I2I→I2T 的理解准确率随 I2I 数据（3k→100k）持续上升，而混合训练无一致 scaling；(b) 19 个 I2I 源任务对各项理解能力的迁移热图节选，蓝/红表示相对 I2T-only 的准确率增减（百分点），如 Z-depth→Metric 3D +3.6、Jigsaw→2D ordering +6.8；(c) 理解分支 pre-attention RMSNorm 的平均梯度对齐与平均迁移增益正相关（r=0.795）。
一张图概括论文的三个研究问题与三个核心答案，是全文逻辑（训练课程→任务选择→机制解释）的总览。