读-分配-路由：面向像素空间生成Transformer的角色耦合Token化 Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
把token预算拆为空间锚点×频谱槽位，仅最低频载波进全局注意力，细节与通信解耦
前置知识
像素空间生成与修正流（Rectified Flow）
扩散/流类模型通过迭代去噪生成图像；修正流把加噪过程拉直为噪声与数据之间的直线路径：训练时把图像 $x$ 与噪声 $\epsilon$ 按线性插值 $z_t = t x + (1-t)\epsilon$ 混合，网络预测速度并用 MSE 拟合目标 $x-\epsilon$。像素空间生成指扩散状态、预测目标和损失都定义在原始像素上，不需要额外训练的 VAE 自编码器，也就没有其压缩瓶颈，但代价是全分辨率图像必须表示为 Transformer 的 token。
SpecSlot 完全继承 JiT 式像素空间修正流目标，其全部架构改动都建立在这个训练目标之上，不改动状态、目标与损失。
Patch Token 化与注意力的二次复杂度
视觉 Transformer 把图像切成 patch，每个 patch 编码为一个 token；全局自注意力让所有 token 两两交换信息，计算量随序列长度 $N$ 二次增长 $O(N^2)$。patch 越小 token 越多、细节越好，但注意力代价急剧上升：256×256 图像上 patch 从 16×16 缩到 8×8，token 从 256 涨到 1,024，二次项放大 16 倍。传统设计中 patch 大小同时决定读取、输出和通信范围。
论文要打破的核心耦合正是这个：输出细节（patch 粒度）直接决定全局通信的序列长度与开销。
DCT 与径向频率分组
离散余弦变换（DCT）把图像窗口展开为一组频率系数：低频系数编码平滑结构与整体布局，高频系数编码边缘纹理，自然图像的能量谱沿频率平滑衰减。径向频率指按 $\sqrt{u^2+v^2}$ 排序的频率半径；把 $L\times L$ 窗口的系数按半径分成 K 个互不重叠的等大组，相当于把该窗口的输出按从结构到细节切成 K 个频带。
SpecSlot 用固定的径向 DCT 组作为每个 slot 的输出所有权（谁预测哪些系数），并直接用这个组索引决定通信资格（谁能进全局注意力），是方法的中枢概念。
FID 与 Inception Score
FID（Fréchet Inception Distance）用预训练 Inception 网络特征衡量生成图像与真实图像分布的距离，越低越好，是图像生成质量的标准指标；Inception Score（IS）衡量生成图像的类别置信度与多样性，越高越好。类条件 ImageNet 生成通常在 50K 张样本上报告（FID-10K/FID-50K），论文还用五种子均值与 95% 区间保证比较可靠。
论文所有质量结论（如 FID 6.59 vs 6.68）都建立在这两个指标上，且需理解不同 CFG 设置下的公平比较方式。
无分类器引导（CFG）
classifier-free guidance 在采样时用条件预测与无条件预测之差外推（引导权重 $w$），放大条件相关性、提升样本质量，是质量-多样性之间的旋钮，每个模型的最优 $w$ 不同，需逐模型扫描。论文中 JiT 行用 2.9、SpecSlot K4 用 4.0、SF-B/32 在 512 分辨率用 9.50，均为各自扫出的最优值，比较时使用统一协议。
读懂 Table 1/Table 2 中的 CFG 列与公平性声明，才能正确解读各模型 FID 数字的可比性。
研究动机
像素空间生成模型直接从噪声学到像素，省去自编码器及其压缩瓶颈，但全分辨率图像必须表示为 Transformer token。主流设计一个空间 patch 一个 token，patch 网格同时决定模型读取什么、每个 token 预测什么、多少 token 参与全局注意力，细节因此直接推高注意力成本：256×256 图像上 patch 从 16×16 缩到 8×8，token 从 256 涨到 1,024，稠密注意力的二次项放大 16 倍。已有方案并未打破这一耦合：JiT 把每个 patch token 送进全局序列；PixelDiT、DiP、HyperDiT、PixNerd 把细节外包给额外阶段或 detailer 头；Swin/Longformer/Perceiver、可训练稀疏注意力与 PixSGR 用窗口、全局 token 或学习稀疏模式压缩通信，但模式与 token 的输出角色无关；Spectral Forcing 引入频率结构却只用于过滤噪声输入，token 仍是普通空间 patch。
本文的目标是本文的目标是在保持像素空间修正流的前提下（生成状态、预测目标、损失全部留在像素空间，不引入自编码器），把输出细节与全局注意力序列长度彻底解耦：把 token 化从一个单一的 patch 大小选择，升级为显式的质量-算力分配问题——用固定 token 预算 $N=WK$ 在两个独立变量之间自由分配，其中 W 控制空间锚点密度（决定输入读取与全局序列长度），K 控制每个锚点的频谱细分粒度（决定输出细节，不影响全局序列）。量化目标是在 ImageNet-256/512 上给出介于 JiT 低成本与高成本设置之间的非支配操作点，并验证该设计无需改动即可迁移到文本生成图像任务。
与已有工作不同的是，论文的关键观察是：更细的细节并不必然需要按比例更多的全局通信——在频域中，低频结构承载图像的整体组织、真正受益于长程交换，而高频细节基本是局部现象。然而在已有设计中，一个 token 与谁通信由它坐在哪（空间位置）决定，而不是由它产出什么决定。由此引出核心问题：能否让 token 的输出角色反过来决定它的通信方式？SpecSlot 的独特切入是把每个 token 的输出角色显式化——按径向频率给 slot 分配互不重叠的 DCT 系数组——再直接用这个角色索引决定通信资格。在所综述的频率生成、视觉 token 化与稀疏通信三条研究线中，没有任何工作在单一像素空间骨干内让固定频谱组同时充当输出所有权与通信资格，这是本文填补的空白。
核心方法
直觉是低频需要跨图像交换、高频本地算就够了。技术路线以 JiT 式像素空间修正流为基础：按 $z_t=tx+(1-t)\epsilon$ 加噪（$t=\sigma(g)$），网络输出 $r_\theta$ 并换算为速度 $v_\theta=(r_\theta-z_t)/\max(1-t,\tau)$（$\tau=0.05$），最小化速度 MSE。网络围绕三个操作组织：Read 在 $s\times s$ 网格形成 W 个空间锚点读取输入证据；Allocate 把每个锚点扩展成 K 个 slot，按径向频率分配互不重叠的 DCT 系数组，每 slot 每通道拥有 $E=L^2/K$ 个系数；Route 只让最低频的 slot-0 载波进全局注意力，全部 slot 在锚点内局部交互，按 GGLL（两全局块+两局部块）×3 共 12 块调度。末端 slot 状态经共享仿射头解码 lapped-DCT 频谱基底，零初始化 slot 专属头输出像素修正，相加得 $r_\theta=r_{\text{spec}}+r_{\text{sp}}$。
核心创新是角色耦合 token 化：slot 索引同时定义输出所有权与通信资格。最低频组的 slot-0 既负责预测承载全局结构的低频系数，也是唯一有资格跨锚点通信的载波。这与已有方法的本质区别在于：patch 网格模型中细节与通信绑定在同一空间网格上；频率方法（Spectral Forcing、DCTdiff 等）只把频率用于输入过滤、生成顺序或损失分析，不决定架构内的路由；高效注意力（Swin/Longformer/Perceiver）提供局部/全局拓扑但与输出内容无关。在 SpecSlot 中，固定互不重叠的径向 DCT 组既规定谁产出哪些系数、又规定谁能跨锚点说话，使固定预算 $N=WK$ 拆成两个独立旋钮：全局序列只随 W 增长，K 增加时输出频谱更细但全局序列不变——ImageNet-256 上 $s=16$、$K=4$ 时全局序列仅 $W+C=288$ 个 token（C=32 个类上下文态），而非 $WK+C=1{,}056$。
方法步骤详情
第一步 Read：$P_i$ 取第 i 个不重叠 $s\times s$ 小格，共享投影得锚点向量 $u_i$（宽度 B=1536），残差卷积混合器让邻域先交换证据，再展开成 K 个 slot 状态 $q_{i,k}$（加锚点与 slot 位置编码）；WK 个 slot 每个流时刻都计算。第二步 Allocate：DCT-II 系数按径向频率排序均分 K 组，slot k 拥有组 k，组并集覆盖全网格；共享仿射头从 slot 终态预测系数 $\hat{c}_{i,k}$，再经 50% 重叠 lapped 合成消除块缝；零初始化 slot 专属头把状态读成锚点内像素 tile 作空间修正。第三步 Route：全局集合 $A_G=\mathrm{Concat}(Y,Z_{:,0})$，$Y$ 为 32 个类上下文态；局部集合为各锚点内全部 slot；类上下文只在全局组，载波走全部 12 块，二次项由 $12(WK+C)^2d$ 降为 $6(W+C)^2d+6WK^2d$。第四步遵循 JiT 配方训练（120 epochs、batch 512），50 步 Heun 加 EMA 采样。
技术新颖性
技术新颖性有三层。其一，把 token 化从单一 patch 尺寸选择变成显式的 $N=WK$ 双变量分配问题，并用实验证明两条轴不可互换：W 改善输入读取（固定 N 时增大 W 单调降低 FID），K 细化输出写入（收益递减）；这把 tokenization 变成了可优化的质量-算力分配。其二，首次在单一像素空间骨干内用固定频谱组同时充当输出所有权与通信资格：与 DeCo/DiMSUM 把低高频分配给 DiT 加独立像素解码器的双模块设计不同，SpecSlot 不需要额外组件；与 Spectral Forcing 只在输入端滤噪不同，频率角色直接写进了注意力图。其三，工程上用 50% 重叠 lapped-DCT 合成帧保证相邻窗口无缝拼接，并用零初始化空间头实现双基底输出，消融显示两个基底互补而非冗余（FID 6.59 vs 最佳单基底 6.99）。配套的机理分析（最低频带信号最早越过信噪阈值）还为这个看似硬编码的路由规则提供了实证动机。
实验结果
ImageNet-256：K4 取得 FID 6.59，K2 为 7.27，介于 JiT-B/16（7.51）与 JiT-B/8（4.34）间且两点非支配；K4 用 129.20G，与同算力 JiT-CM（6.68，124.24G）持平略优 0.09 且早期收敛更快，较 JiT-B/8 少 40.9% FLOPs。ImageNet-512：K4 达 FID 9.14，比 JiT-CM（11.98，141.21G）改善 2.84 且省 3.9% 算力，距 JiT-B/16（8.45）仅 0.69、成本低 38.2%，IS 208.24 最高。T2I：DPG-Bench 62.21 超 JiT-B/8（61.15）与 JiT-B/16（59.22），成本 129.86G 低 40.6%。消融：同算力 GGLL 6.59 优于 Dense-global-CM 6.81，Full-global 5.84 但贵 74.8%；双基底 6.59 优于最佳单基底 6.99。机理：移除频谱/空间分支使 t=0.90 处 MSE 升 64.1/32.1 倍，载波换成其他 slot 均使 FID 变差。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 类条件生成（ImageNet-256，120 epochs，五种子） | FID-10K（各模型最优 CFG）/ IS / GFLOPs | SpecSlot W256/K4：FID 6.59、IS 215.20、129.20 GFLOPs、9.06 img/s；W256/K2：FID 7.27、82.63 GFLOPs、21.32 img/s | JiT-B/16：FID 7.51（50.45G）；JiT-B/8：FID 4.34（225.72G）；FLOPs 匹配对照 JiT-CM：FID 6.68（124.24G）；SF-B/16：FID 7.81（50.85G） | 同算力下比 JiT-CM 好 0.09 FID 且早期收敛更快；比 JiT-B/8 少 40.9% FLOPs（落后其 2.25 FID）；两个操作点在 JiT 低/高成本设置之间均非支配 |
| 类条件生成（ImageNet-512） | FID-10K / IS / GFLOPs / 吞吐 | SpecSlot W256/K4：FID 9.14、IS 208.24（面板最高）、135.64 GFLOPs、12.69 img/s；W256/K2：FID 10.94（94.52G） | JiT-CM：FID 11.98（141.21G）；JiT-B/16：FID 8.45（219.56G）；SF-B/32：FID 11.41（54.72G） | 比 JiT-CM 改善 2.84 FID 且省 3.9% GFLOPs；距 JiT-B/16 仅 0.69 FID，成本低 38.2%、吞吐高 1.6 倍；K2 距对照 1.04 FID 且省 33.1% 算力 |
| 文本生成图像（256×256，400 epochs，BLIP3o+JourneyDB） | DPG-Bench / GenEval / GFLOPs | SpecSlot W256/K4：DPG 62.21、GenEval 26.99、129.86 GFLOPs（CFG 4.0） | JiT-B/8：DPG 61.15、GenEval 29.78、218.77 GFLOPs；JiT-B/16：DPG 59.22、GenEval 24.89、50.71 GFLOPs | DPG 超最强基线 JiT-B/8 达 1.06 分且前向成本低 40.6%；GenEval 超 JiT-B/16 但低于 1.7 倍算力的 JiT-B/8，延续同一质量-算力权衡 |
局限与改进
作者承认：与每个面板最强的 JiT 模型（约 1.7 倍算力）相比 FID 仍有差距——ImageNet-256 上落后 2.25、512 上 0.69，JiT-B/8 在 ImageNet-256 与 GenEval 上仍是质量标杆；两个分辨率上的操作点只是与 within-anchor 分配机制一致，不能直接归因更大优势的成因；W/K 的分配规律（偏向增大 W）只在实测的 N=2048 范围内成立，作者不做外推声明；GFLOPs 只计条件前向成本。我自己的观察：其一，SpecSlot 的最优 CFG 明显更高（K2@512 用 10.50、K2@256 用 5.00，JiT 全部 2.90），提示模型对引导强度更敏感；其二，T2I 只在 256 分辨率、400 epochs 的中等规模下验证；其三，主干仅 12 块的 B 级模型，方法随参数量放大是否保持优势未知；其四，lapped-DCT 合成、双头解码与 GGLL 路由显著增加实现复杂度，且 slot-0 全局路由是硬编码的二值规则，缺少软路由或可学习路由的对照。
独立分析的弱点
弱点一：全局通信容量受限。跨锚点长程交互只通过每锚点一个载波（全局序列仅 $W+C=288$）进行，对重复纹理对齐、大尺度对称、多物体空间关系等内容可能成为信息瓶颈；Table 3 中 Full-global 的 5.84 对 6.59 说明全局交互本身有质量价值。改进方向：每锚点自适应选多个载波，或全局块内对高频 slot 做低秩/稀疏的廉价跨锚点混合。弱点二：K 的边际收益递减，熵有效 slot 占比从 K=2 的 0.803 降到 K=8 的 0.495，高阶 slot 趋于冗余；可给 slot 引入正交性约束或用轻量门控动态裁剪无效 slot。弱点三：路由不随去噪时间变化，而论文自己的机理分析显示载波边在早期最重要、局部边在后期最重要；可设计时间调制路由（早期全局密集、后期局部为主）进一步省算力。弱点四：基线公平性依赖自训的 JiT-CM 这个 implementation-defined 对照而非公开模型尺寸，社区复现比较可能产生分歧，建议补充与官方 JiT 权重或第三方高效注意力方法的对照。
未来方向
作者在结论中把分配视为像素空间模型新的质量-通信权衡维度，自然延伸包括：对 $W/K/B$ 三个分配变量做缩放律研究与自动架构搜索，回答预算应该怎样随模型大小和分辨率缩放（512 上锚点覆盖四倍像素时优势变大，1024+ 是否更明显值得验证）；把设计推广到更大模型与文本条件的大规模训练，检验 DPG 优势能否在充分训练下转化为 GenEval 等综合指标的提升。基于本文成果可独立延伸的方向：其一，时间调制路由——利用 Figure 6 中早期全局、后期局部的证据时序，在采样不同阶段动态改变通信图，进一步省算力；其二，把固定 DCT 组替换为可学习频带或小波包分解，验证频谱分组的普遍性；其三，频谱 slot 天然提供频率可控的输出接口，可用于局部编辑、修复或频带级引导生成；其四，把锚点-槽位分配扩展到视频的时空锚点，处理时域低频（运动结构）与高频（细节纹理）；其五，与多尺度/级联像素模型或语义辅助流（如 Latent Forcing 一类）组合，让全局序列除了载波外还能携带语义流。
复现评估
开源情况良好：GitHub 代码（JiongfanYang/SpecSlot）与 Hugging Face 权重（Gokottaw434/SpecSlot）齐备，式(1)-(13) 完整覆盖插值、速度换算、径向分组、lapped 合成与路由定义。ImageNet-1K 公开，BLIP3o 与 JourneyDB 需授权。训练合同较细：ImageNet-256 训 120 epochs、batch 512、B=1536、50 步 Heun 采样、EMA、主结果五种子、消融三种子；附录给出 CFG 扫描、T2I 训练表、GFLOPs 口径（H800 BF16、乘加计 2 FLOPs）与有效秩定义。论文未公布 GPU 时数，但 12 块 B 级主干加 120 epochs 属中等规模，估计单节点 8 张 H800 数天可复现主结果。风险在工程细节：lapped-DCT 归一化 overlap-add 的数值实现、GGLL 路由的序列拼装，以及 JiT 基线需按对齐配方自行重训（含自定义对照 JiT-CM）。总体复现难度中等，主结果可信度较高。
论文图表
