Iris-3B：超越隐空间——像素空间扩散的训练、转换与微调 Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning

全流程五步。①256² 消融：1.3B PixelDiT 复现，统一协议（EMA、25 步 FlowDPM、CFG 4.5），每次只改一个因素：x vs v 预测中 v 稳定且 GenEval 打平、x 在 DPG/FID 更差，保留 v（x 臂同时改用 logit-normal(0.8,0.8) 时间步，未隔离目标）；表示对齐中 REPA+DINOv2 全程领先，DINOv3 教师更差、Self-Flow 全崩，保留前者。②扩展到 3B：总损失 $\mathcal{L}=\mathcal{L}_{\text{flow}}+\lambda\mathcal{L}_{\text{REPA}}$，噪声 $\sigma=\sqrt{su/(1+(s-1)u)}$（s=2/3/4），Muon+AdamW 优化，LR 1e-4（1024 阶段减半），课程 36.7 万+16.3 万+9.5 万步加 SFT 4 万步。③转换：去 VAE 换 patch 接口，增益匹配岭初始化+主干 LR 缩放，batch 112、1K 步 warmup，取 30K 步 PiT 头版本。④深度微调：单步前向、相对对数深度按 2%/98% 分位归一化、掩码 L1+5 倍梯度 L1，LR 3e-5、batch 32、10K 步，仅合成数据 9:1。⑤修复微调：HYPIR 单步配方，损失 $\mathcal{L}_{\text{SR}}=\|\hat{y}-y\|_2^2+5\mathcal{L}_{\text{LPIPS}}+0.5\mathcal{L}_{\text{adv}}$，LR 1e-5、1024² 裁剪，FLUX 两臂 10K 续 30K 步，Iris-3B 另训 10K 步。

新颖性有四。其一，Iris-3B 是首个开源 3B 级像素空间文生图 transformer，证明 PiT 头加混合双/单流主干可扩展到该规模（GenEval 0.798、DPG 86.52、OneIG-EN 0.540 与 Qwen-Image 持平）；共享偏置 adaLN 同 FLOPs 省 28% 参数。其二，隐转像素接口障碍的因果诊断是新的：已发表转换把过程描述得直接，本文发现小 batch 下随机初始化接口根本不收敛——最优逐 patch 线性映射仅解释隐嵌入 14% 方差；增益匹配岭初始化（正则按噪声增益与父模型隐路径一致选取，而非最大化 R²）加 0.12× 主干 LR 缩放，两者单独各把 1K 步损失减半、合用才产生连贯图像。其三，256² 消融系统比较四种表示对齐，发现 DINOv3 教师劣于 DINOv2、Self-Flow 完全失败，是对表示对齐文献有信息量的负结果。其四，首次定量刻画像素扩散模型的 patch 网格伪影（边界曲率比：隐模型 0.97–0.99、像素 Klein 1.31–1.44、Iris-3B 2.14–2.25），归因于 PiT 头 patch 间仅靠压缩 token 通信。

独立分析出以下弱点。其一，最干净的实验缺席：检验像素先验本应做同数据、同算力预训练的像素/隐空间孪生对比，但作者没有训练隐空间版 Iris-3B，与隐 Klein 的对比被规模、数据、算力混杂——应补等算力隐空间对照。其二，下游预算过短：深度仅 10K 步、修复 10–30K 步，若像素优势需更长微调才能兑现会被系统性低估——应做 10K/50K/200K 步的预算扫描。其三，patch 网格伪影与立项动机冲突：PiT 头中 patch 间只经 1280 维压缩 token 通信，Iris-3B 网格比高达 2.14–2.25，而『更细细节』恰是选像素空间的理由——换 PixelUMM 式卷积/PixelShuffle 重叠感受野输出头是应有之义。其四，修复评测全用空 prompt，浪费了文生图先验的语义能力，与 SeeSR 等利用语义提示的方法相比既不公平也不利己；真实退化只有定性图无统计。其五，x vs v 消融混入时间步分布变化，『v 不劣于 x』可信但『x 更优』无法排除，应补只改预测目标的对照。其六，深度训练只见合成数据（Hypersim/VKITTI2），网格伪影在真实图像上的影响未量化。

作者提出三个方向。第一，改进 Iris-3B：用强化学习与少步蒸馏提升生成质量与采样速度。第二，移除 patch 网格：PiT 头中 patch 边界两侧像素从不在像素分辨率上共同处理，换感受野重叠的输出头（PixelUMM 研究的卷积头与 PixelShuffle 头）是自然修复方案，深度估计是其直接试金石。第三，无 VAE 的编辑与参考图生成：编辑要求未改动区域逐像素精确复现，恰是有损隐空间最该吃亏的场景——PixelUMM 已展示以原始像素 patch 作参考条件，而 Iris-3B 本就经 Qwen3-VL 读提示词，加入编辑数据即可得到全像素空间编辑模型；若配以同数据同算力预训练的隐空间对照，可消除本文全部混杂，在像素优势理论上最大的场景正面检验假设。可延伸的方向：把『增益匹配岭初始化+主干 LR 缩放』推广到 SD3、Qwen-Image 等其他隐模型转换并量化损耗曲线；更大算力下重跑深度/修复匹配实验并做显著性检验；探查 REPA-DINOv3 劣于 DINOv2、Self-Flow 失败的机理；研究 patch 网格与下游性能的因果联系。

复现友好度分层明显。最大利好是 Iris-3B 权重与训练代码完全开源（github.com/speridlabs/iris-3b），3B 级像素空间文生图模型完整开源极为罕见。数据层面：预训练数据只描述为大型英文图文对集合（真实照片+合成图+渲染文字图），未给出规模与来源清单，从零预训练无法严格复现；下游数据全公开——深度用 Hypersim、Virtual KITTI 2 与五个标准基准，修复用 DIV2K 加 Real-ESRGAN 二阶退化，评测沿用 Marigold V2 与 HYPIR/PyIQA 公开实现。转换所需 FLUX.2 Klein base 4B 需向 Black Forest Labs 获取。算力未披露，但由 3B 参数、约 6.12 亿样本、1024² 阶段 batch 512 推断预训练需多节点 H100 级集群；下游微调门槛低——深度 batch 32×10K 步、修复 batch 8×30K 步，单节点 8 卡可行。转换配方（增益匹配准则、0.12× 主干 LR、batch 112/warmup 1K 步）有公式级描述。总体：评测与微调易复现，转换中等，从零预训练仅适合大算力实验室。