图像生成器是通用视觉学习器 Image Generators are Generalist Vision Learners

方法分四步。第一步 RGB 编码设计：分割任务用任意颜色映射（JSON 或自然语言），解码时按 RGB 距离聚类；深度任务用 $f(d,\lambda,c) = 1 - (1 - d/\lambda c)^{\lambda+1}$（$\lambda=-3$, $c=10/3$）把距离压缩到 $[0,1)$，再沿 RGB 立方体 Hilbert 边插值生成可逆假彩色图；法向量用 $R = \text{trunc}((1-x)/2)\cdot 255$ 等线性映射。第二步指令微调：将上述任务数据按低比例混入 Nano Banana Pro 原训练分布，保留生成器先验。第三步解码：实例分割用附录 A 的五阶段聚类（背景初始化→颜色相似分组→噪声剪枝→边界侵蚀→空间受限合并）从彩色图恢复离散 mask；深度和法向量用编码的逆映射直接解码。第四步推理集成：RefCOCOg/ReasonSeg 用 Gemini 2.5 Pro 做单轮 query 翻译，SA-Co/Gold 用 Gemini 3.1 Flash-Lite 做正负样本过滤。

技术新颖性体现在三方面。其一是'零样本生成即理解'的实证：通过简单的 RGB 编码，图像生成器无需任务专属头、专属损失或相机内参就在六个深度基准、四个法向量基准、四个分割基准上击败/追平专用 SOTA，例如 NYU/ETH3D/DIODE/KITTI 四个基准的平均 $\delta_1$ 达 0.929（Depth Anything V3 为 0.918）。其二是'可逆 RGB 编码'的系统化：幂律变换加 Hilbert 边插值形成的 metric depth 与 RGB 的双射，使得生成结果可直接量化评估，这是先前 Wiedemer 2025、Zuo 2025 等工作未能做到的关键。其三是指令微调的极轻量化：仅混入低比例任务数据即可解锁理解能力，并通过 GenAI-Bench 53.5% 与 ImgEdit 47.8% 的胜率证明基础生成能力未被破坏，区别于 Gan 2023、Ke 2024 等全量微调方案。

独立视角看，论文存在四点可改进之处。第一，'零样本'边界模糊：作者用'自研合成数据 + 真实网络图像自标注'训练并强调不含评测基准训练集，但合成管线与真实标注的具体规模、来源、是否真的去污染并未充分审计，存在与 NYUv2 等基准隐式同分布的风险。第二，依赖 MLLM 削弱了'单一通用模型'的叙事——ReasonSeg gIoU 79.3 依赖 Gemini 2.5 Pro 的推理能力，SA-Co/Gold 的 IL_MCC 0.84 主要归功于 Gemini 3.1 Flash-Lite 的判别能力。第三，对失败的诊断集中在定性图，缺乏按图像复杂度、目标数量、类别长尾分布的分层误差曲线。第四，作者声称'AGI-V'但缺乏对任务间干扰（task interference）的定量评估。改进方向：发布完整合成数据管线与去污染审计、用更弱开源 MLLM 替换 Gemini 系列做消融、按场景复杂度报告分层指标、加入跨任务干扰实验。

作者在第 4 节给出四条未来方向。一是扩展任务多样性（除分割、深度、法向量外加入更多密集预测任务），观察是否能涌现更强的跨任务泛化，类似 LLM 中 Wei 2021 报告的 emergent abilities。二是把输入从单目图像扩展到多视图输入（参考 Wang 2025a）与视频输入（参考 Zhang 2025），并探索视频生成器是否蕴含更强的时序表征。三是与 LLM 紧耦合做跨模态推理，例如让生成器直接接收推理链 prompt 而非中间 query 翻译。四是最迫切的加速与降本，因为当前每张图的推理开销远高于判别式专用模型。我们还可以基于此成果延伸：把'RGB 即接口'推广到光流、3D 重建占据网格、NeRF 视角合成等任务；研究用同一模型在多任务间动态切换 prompt 的路由器；探索能否用更小的开源图像生成器（如 SDXL）复现部分结果以降低成本。

复现门槛较高且不透明。论文仅公开项目页 vision-banana.github.io，未承诺发布代码、模型权重或训练数据。基模型 Nano Banana Pro 是 Google 闭源模型，外部研究者无法获取指令微调起点。评估管线依赖 Gemini 2.5 Pro / 3.1 Flash-Lite 等外部 API，可能引入不可控差异。训练数据方面，作者声称使用'自研模型标注 + 渲染引擎合成'，但合成管线、训练时长、所用 TPU 型号与数量、batch size、学习率等关键超参均未披露。合成数据与公开评测基准的去污染审计也未公开。可复现部分相对明确的是解码算法——附录 A 详细给出了五阶段实例分割聚类阈值（$\tau=14$, $\theta_{size}=2\times10^{-4}$, $\theta_{erosion}=0.1$, $\gamma=5.0$），以及度量深度到 RGB 的幂律变换公式与 Hilbert 边插值方法，第三方可独立实现评估。整体看更接近 Google 内部研究报告而非开源复现型论文。