超越估计：用维纳统计结构简化像素空间流模型的训练 Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models

方法完整流程如下。第一步，统计估计：从 51,200 张随机采样的 ImageNet 训练图（约占训练集 4%），用与训练完全相同的预处理（RGB center crop 到 256×256、缩放到 $[-1,1]$，无其他增广），估计所有非重叠 16×16 RGB patch 的共享 768×768 非中心化二阶矩 $\tilde M$，特征分解得基 $U_0$ 与谱 $\lambda_0$；单 GPU 配 12 个 DataLoader worker 只需约 1 分钟。第二步，初始化：$U_{enc}$、$U_{dec}$ 初始化为 $U_0$，谱在对数空间参数化、初始为 $\log\lambda_0$；系数修正头和原生像素输出投影零初始化；输入端把原 RGB 投影对半拆分，$E=0.5E_0$、$W_F=0.5\,L(E_0)U_0$（$L$ 为 patchwise lift），保证 $L(E)z_{t,i}+W_F U_{enc}z_{t,i}^\top = L(E_0)z_{t,i}$（式 14），即初始特征与原解码器逐位一致、初始总预测等于 patch PCA 维纳估计，训练起点不劣化。第三步，前向传播（每个 patch $i$）：分析得 $c_i = U_{enc}z_{t,i}$；维纳增益 $w_i = a(t;\lambda)\odot c_i$，其中 $a_j(t)=\frac{t\lambda_j-(1-t)}{t^2\lambda_j+(1-t)^2}$；统计预测 $U_{dec}w_i$。同时系数经 $W_F$ 展成宽度 $h$ 的像素级特征，与原生像素嵌入相加：$F_i^0=E(z_{t,i})+\mathrm{reshape}(W_F c_i)$，再经原生解码块 $T$ 与上下文条件 $s$ 得 $F^L=T(F^0,s)$。第四步，双头输出：系数头 $\Delta c_i = W_\Delta\,\mathrm{vec}(N_\Delta(F_i^L))+b_\Delta$（$N_\Delta$ 归一化粒度跟随原生输出头），总预测 $\hat v_i = U_{dec}w_i + \Delta c_i + H_{pix}(F^L)_i$，即维纳分支预测 + 系数修正 + 原生像素预测三者之和。第五步，训练与采样：把各 patch 预测拼合，用原始速度损失 $\mathcal{L}_{FM}=\mathbb{E}\,\|\hat v_\theta(z_t,t,y)-(x-\epsilon)\|_2^2/d$ 监督两者之和，所有引入参数与网络联合训练；REPA 等辅助目标沿用原配方；采样时用同一个总速度场。

技术新颖性体现在四个层面。其一，问题定位新：这是第一个把统计去噪器的『计算结构』而非『估计值』用于生成训练组织的工作，把维纳估计从分析工具升级为架构组件，呼应了 BM3D『变换—维纳滤波—逆变换』的计算组织思想但服务于流匹配训练。其二，诊断方法本身可复用：用 affine 拟合族（包含冻结基为零偏置特例）把预测误差分解为线性与剩余两部分（式 9），用去掉平行分量的 JVP 余弦相似度比较两条输入通路与解析响应的对齐度（式 10、17），这套『把网络响应对齐到解析响应』的分析框架对后续研究有独立价值。其三，接口设计精巧：系数接口是双向的——统计系数注入原生嵌入参与特征处理，解码器又返回系数空间的修正；配合守恒式初始化（输入特征恒等式 14、输出零初始化、初始预测=维纳估计），保证训练从原生配方的等价点出发、只会变好，这是它能无缝叠在 PixelDiT/DeCo 原配方上的关键。其四，参数化自由：$U_{enc}$、$U_{dec}$ 独立演化、不施加正交或互逆约束，谱在对数空间训练，让统计结构从数据先验出发随学习自适应，增益因此比冻结基更持久。开销极小：参数 +0.94%（797.38M→804.86M）、FLOPs +1.33%（311.19→315.32 GFLOPs）。

独立分析几个弱点并给出改进方向。(1) 统计先验绑定数据集：51,200 张图估出的 patch PCA 是 ImageNet/BLIP3-o 的经验统计，换到医疗影像、遥感、漫画线稿等域分布差异大的场景需要重新估计，且论文没有研究统计质量（样本数、预处理）对增益的影响。改进方向：在线/滑动窗口更新统计，或做域自适应的谱校准，并给出『统计先验失配度』的诊断指标。(2) 基的表达力受限：共享 patch 基只编码 patch 内 768×768 二阶矩，无法建模跨 patch 长程结构（这部分仍靠主干），增益形式上固定为逐系数噪声依赖缩放 $a_j(t)$；Table 9 显示 t=0.1 低噪声区像素通路反而更不对齐维纳响应，说明线性高斯近似在该阶段失效。改进方向：分组/分频率谱、用小型可学习增益网络替代标量谱、引入跨 patch 低秩耦合项。(3) 收益随训练边际递减：核心数字是省 37.5% 训练轮数，但最终 FID 提升仅 0.01，统计先验更像『收敛加速器』而非『质量天花板抬升器』。改进方向：在采样器/调度端也利用统计结构，或与数据质量、模型规模协同研究增益的 scaling 行为。(4) 接口与架构耦合：系数头的归一化粒度要逐一跟随原生输出头（PixelDiT 用 per-pixel RMSNorm、DeCo 用非仿射 LayerNorm），输入初始化也要按各解码器的位置编码方式单独推导（式 15），迁移到新架构有工程成本。改进方向：抽象成统一的『统计适配器』层，自动从原生模块推断初始化与归一化。(5) 推理端开销无法关闭：吞吐下降约 4.7%~5.8%（238.8→227.6、260.2→245.1 samples/s），训练完成后统计通路仍占计算。改进方向：训练后把维纳通路与系数头蒸馏/合并回原生架构，或允许推理时旁路统计分支。

作者在附录 C 提出的方向：把统计去噪视角推广到其他流生成任务，包括 latent 空间生成、语言、音频和视频生成；计划把维纳知情结构直接融入 diffusion transformer 本体（而非只挂在外围解码器上），探索面向 flow-matching 的下一代基础架构。基于本文成果可以自然延伸的方向还有：(1) 与预条件化理论统一——WiD 的逐系数增益 $a_j(t)=\frac{t\lambda_j-(1-t)}{t^2\lambda_j+(1-t)^2}$ 本质是噪声依赖的预条件算子，可以推广为一族可学习预条件并给出与 EDM 类方法的统一分析；(2) 高阶统计——用四阶矩、高斯混合或按频段分组的局部谱替代纯二阶矩，逼近自然图像的非高斯结构；(3) 视频时空 patch 的统计基，把运动先验编码进时空 PCA 谱；(4) 从理论上刻画统计坐标与 attention/token mixer 的分工边界，回答『统计结构应该放在网络哪一层』；(5) 把 JVP 对齐度（Figure 2c 的度量）发展成训练健康度的在线诊断信号，用于早期预警优化异常；(6) 与 REPA 类表示对齐做联合理论分析——目前只验证了兼容性，两者的增益机制（统计结构 vs 语义对齐）如何互补值得建模；(7) 数据分布漂移下的持续统计更新，支撑长周期、多域的持续训练场景。

复现条件总体较好但算力门槛高。开源情况：标题页已给出 GitHub 仓库（NUS-HPC-AI-Lab/WiD），作者承诺接收后发布训练代码、模型 checkpoint、训练日志和统计先验；正文与附录对方法的公式化描述（第 3、4 节）和实现细节（附录 A.1/A.2）相当完整。数据与统计先验：只需 51,200 张训练图（ImageNet 约 4%、文生图数据约 1‰，含 26,400 张 Long-Caption、19,200 张 Short-Caption、5,600 张 JourneyDB），单 GPU 配 12 个 CPU worker 约 1 分钟即可重算，随机种子已固定，统计先验本身也会随代码发布。超参与评测透明度高：Table 6 列出五个配置的全部架构与优化超参（深度、隐藏维、batch、学习率调度、EMA、梯度裁剪、sampler/步数/time-shift），Table 7 给出各 epoch 的 CFG 权重与 guidance interval，评测种子固定（256 分辨率用 1600、512 用 10000），训练 checkpoint 保存各 rank 的 RNG 状态以支持断点续训。算力需求：PixelDiT-XL/16 在 256 分辨率前 320 epochs 用 8×H200、后 180 epochs 用 8×B200；512 分辨率与 DeCo-XXL 用 8×H200——学术实验室复现 XL/XXL 全量结果成本很大，但 B 尺寸消融（40 epochs）用少量 GPU 即可验证方法有效性。综合评估：方法组件简单（PCA + 几个线性层 + 初始化规则），小规模复验难度低；全量复现属于中等偏高难度，瓶颈在 GPU 资源而非实现复杂度。