用于视觉合成的生成式细化网络（GRN） Generative Refinement Networks for Visual Synthesis
HBQ近无损离散token+可擦除全局细化AR，2B刷新多任务SOTA
前置知识
扩散模型与流匹配 (Diffusion / Flow Matching)
通过学习一个时变速度场 $v_\theta(x_t, t \mid c)$ 把样本从简单噪声分布沿 ODE 路径运到数据分布的生成范式。训练目标为 $\mathcal{L}=\mathbb{E}\|v_\theta(x_t, t\mid c)-(x_1-x_0)\|_2^2$，DiT 是其代表架构。
GRN 在文中以扩散/AR 之争作为立论起点(扩散无法自适应步数、AR 存在量化损失和错误累积),理解扩散的固定步数限制才能看懂作者要解决的'one-size-fits-all'问题。
视觉自回归模型 (Visual Autoregressive Model)
借鉴 LLM 的 next-token 思路,先把图像/视频编码成离散 token,再用 Transformer 沿空间-时间-通道维度做因果预测。代表工作有 LlamaGen(逐 token)、VAR(逐尺度)、MaskGIT(并行 mask 预测)。
GRN 属于视觉 AR 路线,文中反复把 LlamaGen、VAR、MaskGIT 当作基线;理解'逐 token 因果预测 vs 并行 mask 预测'的差别,才能明白为什么作者强调'全局可细化、可擦除'是新的。
视觉离散 Tokenizer (VQ-VAE / FSQ / Lookup-free)
把连续视觉特征压缩为离散符号的编码器-解码器,通常包含一个码本 $\mathcal{C}$将 VAE 特征 $F$ 映射到 $\{\arg\min_c \|F-c\|\}$。FSQ、LFQ 等无码本方法通过把特征按维度二分桶来隐式构造巨大词表,代表是 Open-MAGVIT2 和 Infinity。
GRN 的 HBQ 正是对这一谱系(尤其 LFQ/bitwise 方案)的进一步设计——它用一棵二进制桶树对每个通道值做多轮二值化,替代隐式码本。理解 VQ-VAE 的重建-生成耦合问题(码本越大越接近连续,代价是训练更慢)对读懂 HBQ 的动机很关键。
图像/视频重建与生成指标 (rFID / gFID / FVD / PSNR / LPIPS)
rFID/gFID 用 Inception 中间特征度量生成分布与真实分布的 Fréchet 距离,FVD 是其在视频域的扩展。PSNR 衡量像素级重建,SSIM 衡量结构相似度,LPIPS 用预训练网络度量感知相似度。越低(对 FID/FVD/LPIPS)或越高(对 PSNR/SSIM)代表越好。
Table 1-5 的所有对比都建立在 rFID/gFID/FVD 上,论文 0.56 rFID vs SD-VAE 0.87(4× 更高压缩率)这种强结论必须用这些指标来读懂。
Classifier-Free Guidance 与 CFG interval
CFG 通过在无条件和有条件预测之间做插值 $\hat\epsilon=(1+w)\epsilon_c-w\epsilon_\varnothing$ 增强条件生成质量, $w$ 即 guidance scale;CFG interval 限定只在某些扩散步应用 CFG,避免早期过饱和。
GRN 在解码时同样需要 grid search CFG、CFG interval 与温度 $\tau$(参见 Table 6、7),理解这组超参含义才能解释为什么 mask-based 基线即使在最优参数下仍崩到 FID 18.13。
研究动机
当前视觉生成被扩散 Transformer(DIT/SiT 系列)主导,虽然能生成高质量图像和视频,但有一个根本缺陷:扩散模型在所有样本上分配相同的去噪步数,无论这张图是简单色块还是复杂场景。扩散通过 MSE 训练速度场、没有显式似然,因此天然缺乏"自适应步数"能力,造成简单 prompt 也得跑满 $50$ 步的算力浪费。同时,另一条路线——视觉自回归(AR)模型虽然具备逐 token 的似然、能天然区分样本难度,但被两个瓶颈死死卡住:一是离散 tokenizer 的重建质量长期落后于连续 VAE(LlamaGen 2.19 rFID vs SD-VAE 0.87 rFID,差距巨大);二是严格因果或单向 mask 预测缺乏错误修正能力,生成过程中的早期错误会沿着序列不断累积(Infinity 假设'<$30\%$ 错误率可随机翻 bit 修正'也只覆盖有限模式)。MaskGIT 的并行 mask 预测虽然快,但高置信 token 固定后无法回改,本质上仍是无修正 AR。
本文的目标是本文目标明确:在 ImageNet 256×256 类别条件生成上把 FID 推到 1.81(gFID)、重建 rFID 推到 0.56,同时把模型规模压到 2B(对标 VAR-d30 2B 的 1.92 FID 和 DiT-XL 675M 的 2.27 FID);并把同一框架扩展到 T2I 和 T2V,在 GenEval 上做到 0.76(2B 规模下超过 SD3 Medium 0.62 和 Infinity 0.71),在 VBench 上做到 82.99(超过同规模 URSA 82.40 和 5B 的 CogVideoX-5B 81.61)。作者希望以此证明:'用离散 token 重新成为视觉生成的主干'是可行的,而且这条路在多任务统一上有结构性优势。
与已有工作不同的是，现有 HBQ 类工作(如 LlamaGen、Open-MAGVIT2、Infinity)虽然在缩窄离散-连续差距,但都靠"扩词表"或"加通道"换取重建质量,代价是收敛慢、生成模型必须更大。GRN 的切入角度有两点独特:其一,HBQ 沿 Harr 小波思路用一棵二进制桶树对每个通道特征做多轮二值化,理论上量化误差 $e_j < 2^{-j}$ 随轮数指数衰减,使得 4-6 轮就能在不增加通道数的前提下追平连续基线(8 轮 HBQ(M=8) rFVD 144.9 vs Wan 2.1 19.5 在 64 通道下达到 50.6);其二,GRN 提出一种"全局可细化、可擦除"的 AR 框架——token map 从全随机出发,每步随机选 25% 预测保留/擦除/重填,而非 mask-based 的"高置信即冻结"。这把 AR 从'逐步固化'变成'渐进修正',使错误传播问题被结构性化解,成为第三个独立维度(量化、效率之外)的贡献。
核心方法
GRN 由 HBQ tokenizer 与生成式细化网络两个组件组成。直觉上可把 GRN 类比成'画家在画布上作画':画布初始全为噪声笔触,每步根据当前画面(部分已画、部分空白)预测下一笔应长什么样,且允许擦掉旧笔触以修正早期错误,既保留 AR 的似然优势又具备扩散式的全局修正能力。技术上,HBQ 在 Wan 2.1 的 3D causal VAE 后接 $\tanh$ 把特征压到 $(-1,1)$,沿一棵二进制桶树做 $M$ 轮二值化,得到 $\{q_1,\ldots,q_M\}$ 共 $C\cdot M$ 个 bit 标签;GRN 用 Transformer $\Phi$ 在部分填充的 token map $F_t$ 上预测下一状态 $p(Y_{t+1}\mid F_t,\text{cond})$。token 数为 $(1+T)\cdot H/16\cdot W/16\cdot C$ 或 $\cdot CM$,按 GRNind 走 INT 预测、GRNbit 走 bit 预测两种路径。
HBQ 的核心是指数衰减的量化误差。给定 VAE 输出 $F$ 经 $\tanh$ 到 $(-1,1)$,第 1 轮二值化把整个区间按中点 $c_1$ 分两段,得到 $q_1\in\{0,1\}$;第 2 轮再把 $q_1=0$ 和 $q_1=1$ 各自的中点分段得到 $q_2$,依此类推。理论上限下第 $j$ 轮误差 $e_j<2^{-j}$,$M=4$ 就能把误差压到 $1/16$ 以下,这等价于把每个标量切成 16 段——与连续 VAE 的 16-bit 精度对齐,但用 bit 而非 lookup 表来表示。GRN 的核心创新则在采样阶段:把 $S_t\cdot Y_t\oplus\overline{S_t}\cdot Y_{rand}$ 作为 Transformer 输入,使得每步 $25\%$ 的旧预测既可能被保留(高置信)、也可能被擦除(低置信),从根本上摆脱了 mask-based AR 的'一次定终身'。再加 entropy-guided 调度函数 $l_t$ 让简单样本少走几步、复杂样本多走几步,自然实现自适应算力分配。
方法步骤详情
训练推理分四步。HBQ tokenizer:VAE 后接 $\tanh$ 把特征压到 $(-1,1)$,每通道做 $M$ 轮二进制桶量化,STE 直通回传梯度,损失为 $\lambda_{recons}=1.0$、$\lambda_{LPIPS}$、$\lambda_{GAN}$ 三项加权和。得两类 token:GRNind 编 $M$ bit 为 INT $Y_{ind}\in\{0,\ldots,2^M-1\}$;GRNbit 拼 C 与 M 为 $Y_{bit}\in\{0,1\}^{CM}$。训练:抽 $Y_{rand}$ 与 $l_t$ 拼 $F_t$,Transformer 预测 $Y_{t+1}$ 与 $Y_{gt}$ 做交叉熵 $\mathcal{L}=-\frac{1}{N}\sum_i \log p(y_i\mid F_t,cond)$。推理:从全随机 $F_0$ 出发,按 $H(Y_t)$ 与 $l_t$ 选 $S_{t+1}$ 更新 $F_{t+1}$。GRN-B 最佳 CFG=2.4、$\tau$=1.33,ImageNet FID 3.56。
技术新颖性
新颖性体现在三点。第一,HBQ 用二叉树而非 lookup-free 大词表,使离散 token 首次在 16 通道、$M=4$ 时拿 0.56 rFID,超 SD-VAE 0.87、RAE 0.62、LlamaGen 2.19,压缩率 24→96;视频 HBQ(M=8) rFVD 144.9 几乎等于连续 144.6,通道扩 64 + 调 $\lambda_{GAN}$ 后 rFVD 30.1、PSNR 33.97 接近 Wan 2.1 19.5。第二,GRN 的'可擦除细化'与 MaskGIT 范式形成本质区别:同解码超参下 Refine 拿 FID 3.63,Mask 崩到 185.62;即便 Mask 调到最佳(CFG=8.0、$\tau$=0.50)也仅 18.13,5× 差距首次明确量化'错误修正'对 AR 的贡献。第三,entropy-guided 自适应步数使简单样本 $T_{min}=20$ 步完成、复杂样本 $T_{max}=50$ 步,63K 样本中 62.7% 步数 <50,代价仅 FID 3.6→3.8,把 AR 的'似然'优势真正转化为算力节省。
实验结果
实验分四块,均 2B 规模开源。ImageNet 重建(Table 1):HBQ(M=4) rFID 0.56、PSNR 23.01,优于 SD-VAE 0.87/RAE 0.62/LlamaGen 2.19,压缩率 24→96。C2I(Table 3):GRN-B/L/H/G 拿 FID 3.56/2.64/2.06/1.81,GRN-G 1.81 优于 DiT-XL 2.27、SiT-XL 2.06、JiT-G 1.82、VAR-d30 1.92。T2I(Table 4):GRN 2B 拿 0.76,超同规模 SD3 Medium 0.62、Infinity 0.71。T2V(Table 5):GRN 2B 拿 82.99,超 URSA 1.7B 82.40、CogVideoX-5B 81.61、HunyuanVideo 13B 83.24,仅落后 Wan 2.1 14B 1.71。消融:bit 预测 T2V 优于 index;Refine 3.63 vs Mask 185.62;complexity-aware 10-50 步下视觉差异极小,是'自适应步数真在工作'的强证据。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet 256×256 图像重建 | rFID (越低越好) / PSNR (越高越好) | HBQ(M=4) 16 通道 4 bits: rFID 0.56, PSNR 23.01, LPIPS 0.13, SSIM 0.71, 压缩率 96× | SD-VAE 连续 16 bits: rFID 0.87, PSNR 24.08, 压缩率 24× | rFID 比 SD-VAE 低 0.31(降低 35.6%),PSNR 仅低 1.07,但压缩率提升 4×;同时 rFID 大幅领先 RAE 0.62、VAR 0.85、LlamaGen 2.19、Open-MAGVIT2 1.17 |
| ImageNet 256×256 类别条件生成 | FID-50K (越低越好) / Inception Score (越高越好) | GRN-G 2B: FID 1.81, IS 299.0;GRN-B/L/H 130M/458M/952M: FID 3.56/2.64/2.06 | DiT-XL 675M: FID 2.27 IS 278.2;SiT-XL: 2.06/277.5;JiT-G 2B: 1.82/292.6;VAR-d30 2B: 1.92/323.1;LlamaGen-XXL 1.4B: 2.34/253.9 | GRN-G FID 1.81 优于 DiT-XL(2.27)、SiT-XL(2.06)、JiT-G(1.82)与同规模 AR 阵营的 VAR-d30(1.92)、LlamaGen-XXL(2.34);GRN-B 130M 即以 FID 3.56 击败 227M MaskGIT 6.18、343M LlamaGen-L 3.07,体现显著参数效率 |
| GenEval 文本生成图像 | Overall score (越高越好) | GRN 2B + re-writer: 0.76(Single Obj 0.99, Two Obj 0.90, Count 0.72, Colors 0.84, Position 0.52, Color Attri 0.60) | SD3 Medium 2B: 0.62;Infinity 2B: 0.71(0.73 with re-writer);SD3.5-Large 8B: 0.71;FLUX.1-Dev 12B: 0.66 | 在 2B 规模下比 SD3 Medium 高 0.14、比 Infinity 高 0.03(同规模 SOTA);虽落后 Qwen-Image 20B 0.87、BAGEL 14B 0.88,但模型小 7-10× 仍保持可比 |
| VBench 文本生成视频 | Overall / Quality / Semantic score (越高越好) | GRN 2B: Overall 82.99(Quality 84.41, Semantic 77.35, Human Action 93.75, Multiple Objects 70.83, Appear. Style 21.30) | URSA 1.7B: 82.40;CogVideoX-5B: 81.61;OpenSora V1.2 1.1B: 79.23;HunyuanVideo 13B: 83.24;Wan 2.1 14B: 84.70;AR 对照 Emu3 8B: 80.96 | 以 2B 参数超过同规模 URSA 1.7B(+0.59)、5B 的 CogVideoX-5B(+1.38)、13B 的 HunyuanVideo(-0.25)及 AR 阵营 Emu3 8B(+2.03);仅落后 Wan 2.1 14B 1.71,展现极强的参数效率 |
| 预测目标消融 C2I (GRN-L 458M) | FID (越低越好) | GRNbit-L: FID 2.47, IS 287.0;GRNind-L: FID 2.64, IS 314.8 | Table 6 内部对照 | L 规模上 bit 预测比 index 预测 FID 低 0.17(2.47 vs 2.64);B 规模上 index 略优(3.56 vs 3.63);T2V 任务上 bit 预测视觉上几乎无伪影(图 7),index 预测有可见 artifact |
| 全局细化机制消融 C2I (GRN-B 130M) | FID (越低越好) | Refine(CFG=2.4, $\tau$=1.23): FID 3.63, IS 285.5 | Mask(CFG=2.4, $\tau$=1.23): FID 185.62(崩溃);Mask 调到最佳(CFG=8.0, $\tau$=0.50): FID 18.13, IS 220.2 | 相同解码超参下 Refine 比 Mask 低 181.99 FID,验证'可擦除'是必要而非 trick;即便给 Mask 调到最优,Refine 仍领先 14.5 FID |
局限与改进
作者在 Limitation 章节明确两点:其一,由于算力限制,没有把 GRN 训练到与 Sora、Wan 2.1(14B)同规模,因此在 T2V VBench 上 82.99 仍落后 Wan 2.1 1.71 分,且长视频/高分辨率生成尚未充分验证;其二,T2V 任务在人类相关场景表现最佳(93.75 Human Action 远超 OpenSora 85.80、URSA 缺值),但在非人物场景存在细节缺失和形变,作者将其归因于数据分布不均和模型规模不足。我们独立观察到三点隐含限制:(a)GRN 训练依赖 3D causal VAE(Wan 2.1)和 LLM 式 Transformer,对显存/算子要求与扩散基本持平但没有减负;(b)复杂度感知采样的 62.7% 样本提前终止带来的 FID 退化(3.6→3.8)目前只能算'小代价',当 $T_{min}$ 进一步压低时是否仍可接受尚无系统研究;(c)Fig.6 视觉上 T2V 在人物手指、文字、细纹理上仍能看到局部失真,与作者承认的'细节缺失'一致,提示该方法尚未在物理一致性/3D 一致性上做专门约束。
独立分析的弱点
独立分析认为 GRN 仍有四个薄弱环节。第一,HBQ 量化误差的指数衰减仅是上界,实际收敛受 VAE 特征分布和 $\tanh$ 饱和区影响;M=4 时 SSIM 仅 0.71,虽 FID 占优但 PSNR 23.01 弱于 SD-VAE 24.08,高频细节(文字/纹理)仍有损失。第二,complexity-aware 调度只在 63K 张图上做直方图分析,缺乏与 DPM-Solver/SA-Solver 的 head-to-head 对比;Eq.9 中 $k$、$b$ 由 grid search 给出,可迁移性未论证。第三,可擦除机制依赖随机选择而非基于置信度,Appendix E.2 提到置信度版本'更差'但未给直觉解释,限制可解释性。第四,T2V 在物理一致性、运动合理性、camera control 等维度未做评测,与 Sora 类工作的差距仍待定量刻画。改进方向:(a)HBQ 引入 variable-round;(b)把 entropy 调度推广为可学习控制器;(c)在 $S_t$ 选择中引入 verifier 反馈;(d)补充物理/3D 一致性 benchmark。
未来方向
作者明确两个方向:(1) refinement-step 蒸馏——把 $T_{max}=50$ 步的 GRN 蒸馏到 $T_{max}=8$ 甚至 4 步,与复杂度感知采样天然兼容,有望再降一个数量级算力;(2)统一离散文本-视觉 token 训练——GRN 全程使用离散符号,与 LLM 词表空间同构,可作为 Transfusion 的强竞争者,推动多模态理解-生成统一。基于成果可延伸三点:(a)把 HBQ 推广到 3D 点云、音频、其他模态的 tokenizer;(b)把全局细化机制用到 LLM 的 chain-of-thought 推理中,实现'可擦除'的 reasoning;(c)用 GRN 替代扩散作为 world model 训练具身智能 agent,在动作空间同样适用 RandLike 选 token 的机制。
复现评估
可复现性评估较好。代码与全部权重在 https://github.com/MGenAI/GRN 公开,涵盖 HBQ tokenizer、GRNind/GRNbit、ImageNet C2I 与 T2I/T2V 推理脚本。训练数据上,C2I 用 ImageNet 原版,T2I 预训练 80M 公开图(规模公开)、精调用小规模高质量专有集(未公开但占比小),T2V 用 ~40M 视频片段(2-10s、≥256×256,自建 160 段高动态验证集)。训练量:C2I 600 epoch,T2I 预训练 150K iter × bs ≈ 15400、lr 2e-4,T2V 150K iter × bs 4096 + 9K iter × bs 1350,作者未公开具体 GPU 数量与时长,这是主要缺失。复现难度中等:HBQ 依赖 Wan 2.1 的 3D causal VAE 权重、CFG/interval/温度需 grid search、T2V 数据集未完全公开,建议从 GRN-B 130M 起步验证。
论文图表
