AReA：面向高效高分辨率扩散Transformer的自适应感受野注意力 AReA: Adaptive Receptive-Field Attention for Efficient High-Resolution Diffusion Transformers
让注意力感受野随去噪从粗到细演化，免训练实现高效高分辨率文生图
前置知识
扩散Transformer（DiT）与粗到细去噪
DiT 把图像 latent 切成 patch token 序列，用 Transformer 逐步预测噪声/速度场，是 FLUX.1、Qwen-Image 等新一代文生图模型的骨干架构。扩散采样天然是渐进过程：早期高噪声步决定全局构图与布局（低频结构），后期低噪声步渲染纹理与细节（高频信息），模型内建了先构图后细化的归纳偏置。
AReA 的两阶段设计正是把注意力感受野的调度对齐到这条粗到细的时间轴上，不理解去噪的频率进程就无法理解为什么可以前期全局、后期局部。
RoPE 旋转位置编码与长度外推
RoPE 按 2D 网格坐标旋转 Q/K 向量，使注意力得分自然依赖 query 与 key 的相对距离，不同频率分量的周期不同。当生成超过训练分辨率的图像时，token 间相对距离超出训练范围，低频带出现训练中从未见过的旋转角，这就是位置编码的长度外推问题，与 LLM 的上下文扩展同构。
现有直接推理方法（DyPE、UltraImage、SigMa、SEGA）全部通过重校准 RoPE 频率来解决此问题，而 AReA 的核心卖点恰恰是完全不改 RoPE，靠限制感受野让距离和 key 数量都留在训练范围内。
自注意力的二次复杂度
标准自注意力需计算 $N\times N$ 的注意力矩阵，成本为 $O(N^2)$。分辨率按面积翻倍时 token 数同步增长，4096² 的 patch 网格是原生 1024² 的 16 倍，注意力成为主要瓶颈；此外 softmax 会把权重摊到所有 key 上，key 数暴增本身就会稀释注意力、压低细节保真度。
AReA 同时解决成本与分布偏移两个问题，理解二次复杂度才能明白窗口化与池化为何能省算力，以及为何 key 数量过多本身就是一种分布外暴露。
感受野（receptive field）
借自 CNN 的概念，指一个 token 的输出所能看到的空间范围。全注意力给每个 token 全局感受野；窗口注意力限制为局部；跨尺度注意力则让 query 看降采样后的全局视图。感受野的空间覆盖范围、分辨率与 key 子集三者可以独立调整，这是 AReA 设计空间的来源。
论文的核心主张是把感受野从固定常量变成随去噪步数自适应变化的调度量，这个概念是全文的枢纽。
离散小波变换（DWT）
把信号分解为低频近似分量与多个方向高频细节分量的变换。二维 Haar 变换对每个 2×2 块计算一个低通带与水平/垂直/对角三个细节带，逐层向低频推进；细节能量大的区域对应边缘与丰富纹理，平滑区域则几乎为零。
AReA 在 Phase II 用当前 hidden states 的 DWT 细节能量图判断哪些窗口覆盖平滑区域，进而把这些窗口分裂成更小的四象限以节省注意力计算，这是其内容自适应平铺的基础。
研究动机
当 FLUX.1、Qwen-Image 这类在 1024² 附近训练的扩散Transformer被直接用于 4096² 以上分辨率时，输出会严重退化：Figure 2 归纳了典型失败模式——全注意力基线保住主体但布局坍塌（layout collapse），而 UltraImage、SigMa、SEGA 等 RoPE 修正方法虽保住布局，却出现主体碎裂、主体缺失或比例失调。与此同时注意力成本随 token 数二次增长：Aesthetic-4K 实测 FLUX.1 在 4096² 单图需 314 秒、5120² 达 685 秒，Qwen-Image 在 5120² 高达 2014 秒。现有 training-free 方案分两条路线且各有缺陷：两尺度方法（DemoFusion、HiFlow、ScaleDiff）先生成低分辨率图再引导超分，输出质量被 base 图锚定，本质更接近生成式超分；直接推理方法（UltraImage、DyPE、SigMa、SEGA）通过修改 RoPE 频率做长度外推，只解决相对距离超出训练范围这一个问题，每个 query 仍要 attend 全部 token，token 数暴增 16-25 倍带来的分布偏移未被处理，计算代价也依旧二次增长。
本文的目标是本文目标是在完全不训练、不增加任何参数、不修改 RoPE 的前提下，仅通过重新调度推理期注意力，让预训练 DiT 直接在 4K 到 8K 级分辨率端到端生成结构连贯、细节清晰、文字可读的图像。具体可量化为三点：其一，质量上在 Aesthetic-4K 与自建 HRGen-1K 基准的四个高分辨率设定（6144×2048、2048×4096、4096×4096、5120×5120）上全面超越 DyPE、UltraImage、SigMa、SEGA 等直接推理基线，最高生成约 6700 万像素图像；其二，效率上保证任何一步注意力都不超过一次全注意力 pass，整体延迟低于所有基线，且加速比随分辨率增大，6144² 时对全注意力达到 3.2 倍（FLUX.1）与 2.9 倍（Qwen-Image）；其三，通用性上同一套机制零修改迁移到 FLUX.1、FLUX.2、Qwen-Image、Ideogram 4 四个骨干。
与已有工作不同的是，已有工作大多把高分辨率失败归因于位置编码超出训练范围，于是集中火力做 RoPE 频率重校准。本文的独特切入是指出两条病根同源，都来自均匀的全注意力：每个 token 在每个去噪步都 attend 全部 token，既造成二次成本，又把模型暴露给训练中从未见过的 key 数量与相对距离。作者给出关键实测（Figure 3）：随去噪推进，注意力加权的 query-key 距离在全部 key 上只缩小 1.4 倍，但在主导 key（注意力不低于 1/4 峰值）上缩小 5.5 倍，说明后期去噪本质上只需要局部交互。既然早期需要全局构图、后期只需局部细化，那么固定不变的全局感受野在后期既浪费又有害。于是问题从「如何外推位置编码」转化为「如何让感受野跟随粗到细的去噪进程演化」，这一视角转换同时解释了 AReA 为何能兼得质量与速度。
核心方法
直觉上像画家作画：先退后几步看全画布打草稿定构图（此时只需要低分辨率的全局视野），再凑近逐区域刻画细节（此时只需要局部视野）。AReA 把这条直觉形式化为两阶段注意力调度。Phase I（前 $S_c$ 步，直到噪声水平 $\sigma^\star$）做跨尺度粗注意力：query 保持全分辨率，key/value 按 $f\times f$ 块池化（默认取块中心 token），池化 key 被放到 $(W/f)\times(H/f)$ 的粗网格上并按缩放后的 query 坐标加 RoPE，使相对距离贴近训练范围；全局注意力成本因此降为 $1/f^2$，且 $f$ 随步数从 $f_0$ 线性 ramp 下降到 $f_{\min}=2$。Phase II（其余 $S_d$ 步）做自适应窗口细注意力：网格被逐步收缩的局部窗口覆盖，窗口从约长边 70% 的 $w_{\text{start}}$ 几何收缩到原生训练尺寸 $w_{\min}=64$，并用 DWT 细节能量图把覆盖平滑区域的窗口再分裂成四个象限省算力，配合 Halo 边缘环与全局 KV 桥抑制接缝与主体复制。切换点按噪声水平 $\sigma^\star$ 而非步数定义（FLUX.1 取 0.89 即前 8 步，Qwen-Image 取 0.86 即前 20 步），全程不计算目标分辨率上的全注意力。
核心创新是把注意力感受野从一个固定常量变成随去噪进程演化的调度变量，并保证任意时刻 query 与 key 的相对距离和 key 数量都尽量落在训练分布内。与 RoPE 修改类方法的本质区别在于：后者改的是坐标系——把远距离的旋转角映射回训练见过的角度，但每个 query 仍然看全图，key 数从原生 $64^2$ 暴涨 16 到 25 倍的暴露原封不动；AReA 不动坐标系，而是直接控制「谁看谁」：Phase I 用池化让早期步恰好在原生 64×64 尺度的粗网格上做全局注意力，距离与 key 数都等于训练值；Phase II 用收缩窗口让后期步只看局部。Appendix G 的量化测量显示，在 4096² 上 AReA 把距离暴露与 token 数暴露各削减约 60%（归一化坐标 (0.37, 0.39)），而 RoPE 方法只削距离、token 数暴露与裸基线相同；以「输出与模型自身原生分辨率输出的 FID」衡量，AReA 最低且随分辨率几乎持平。这种对两类分布外暴露的同时控制，是它同时改善保真与效率的根本原因。
方法步骤详情
以 FLUX.1 4096² 为例（patch 网格 256×256，原生 64×64）。定超参：由 $\max(H,W)/f_0 \le P$ 得初始池化因子 $f_0=4$；由成本模型 $C(w)=N(w)\,w^4/(HW)^2<1$ 得初始窗口 $w_{\text{start}}=181$（约长边 70%）；按模型定切换噪声 $\sigma^\star=0.89$。Phase I 每步：投影出 Q/K/V，网格切成 $f\times f$ 块各取中心 token 得 $N/f^2$ 个池化 K/V（文本 token 永不池化）；池化 key 置于粗网格加 RoPE、query 坐标除以 $f$；每个 query attend $T$ 个文本 token 加 $N/f^2$ 个池化 key，成本 $1/f^2$；$f$ 按线性 ramp 并吸附到网格公约数，实际序列 [4,4,4,4,2,2,2,2]。到 $\sigma^\star$ 切入 Phase II：窗口按几何 schedule 从 181 收缩到 64（20 步合计仅 6.61 个全注意力 pass，每步不超一次 pass）；先用均匀重叠窗口覆盖全图，再用 3 级 Haar DWT 从 hidden states 通道标准差算细节能量图，把最低半区且低于均值的平滑窗口分裂为四个 $w/2$ 象限，受基础平铺预算约束并做 ≥80% 重叠象限去重；每窗口 KV 追加宽 $\delta\in\{0,\dots,8\}$ 随机 Halo 环与 $R=(0.5w)^2$ 个全局桥 token（按与均值 key 的偏差 $s_i=\lVert k_i-\bar{k}\rVert^2$ 打分、8×8 网格采样，key 保留真实 RoPE 位置），同一 softmax 内计算；重叠区输出按中心加权平均，窗口边界逐步随机移位防接缝。最后解码 latent 输出图像。
技术新颖性
与已有技术逐项对比：（1）对比两尺度方法（HiFlow、I-Max、ScaleDiff），AReA 不需要 base 分辨率引导，构图在目标分辨率上原生形成而不被低清图锚定——Table 6 中 AReA 在全部质量、对齐与保真指标上优于三者；（2）对比 RoPE 外推方法，AReA 不触碰任何架构特定组件，同一实现零修改迁移到 FLUX.1、FLUX.2、Qwen-Image、Ideogram 4，并首次同时处理距离与 token 数两类分布外暴露，而 RoPE 方法只能处理前者；（3）对比经典窗口化先例（MultiDiffusion、HiDiffusion 的移位窗口），AReA 的窗口不是静态平铺，而是几何收缩加 DWT 内容自适应分裂，再叠加 Halo 与全局桥，且每步都有显式成本约束保证不超过一次全注意力；（4）整个方法训练无关、零新增参数，纯粹是推理期对每个 query 的 key 集合做调度，本质上是把稀疏注意力的时机与内容同扩散去噪的频率进程对齐，这一组合在此前的分辨率外推文献中没有出现过。
实验结果
Aesthetic-4K 主表（Table 1）中 AReA 几乎全面第一。FLUX.1 4096²：延迟 151 秒（裸基线 314 秒、最强基线 SEGA 319 秒）；ImageReward 1.3250（SEGA 1.2702、DyPE 1.1070、基线 -0.7177）；FID 148.5 优于 SEGA 的 150.6；FIDp 58.2 比 SEGA 的 71.8 低 13.6，细节保真优势显著。5120² 优势扩大：269 秒对 SEGA 693 秒（约 2.6 倍），IR 1.2319 对 1.1143；6144×2048：107 秒对 188 秒，IR 1.0450 对 0.5357。Qwen-Image 5120²：862 秒对 SEGA 2020 秒，IR 1.4540、FID 146.7 均最优。延迟优势随分辨率拉大：6144² 时对全注意力 FLUX.1 加速 3.2 倍、Qwen-Image 2.9 倍（Figure 6）。在 1000 条自建 HRGen-1K 上（Table 2），AReA 的 IS 13.90 显著最高（SEGA 11.99、DyPE 10.93），PickScore 21.44、HPSv2 0.275、Aesthetic 5.87 最优，但 IR 0.4422 与 CLIP 29.63 略低于 SEGA（0.6001/29.89），复杂 prompt 语义对齐并非全面领先。消融（Table 3）证实两阶段缺一不可：去掉 Phase I 后 IR 从 1.32 跌至 -0.41、FID 恶化到 171.4；去掉 Phase II 延迟升至 248 秒且细节模糊；固定 64 窗口导致内容碎裂；块中心池化最优（IR 1.32 对 mean 的 1.23，Table 4）；去全局 KV 桥使 FID 从 148.5 恶化到 161.3（主体复制）；去 DWT 分裂使延迟从 151 秒升至 187 秒。切换点消融（Table 5）：$\sigma^\star=0.89$ 附近稳定，过早切（第 2 步）IR 掉到 0.77，过晚切（第 22 步）CLIP-IQA 从 0.705 降到 0.528。与多阶段方法对比（Table 6），AReA 以 IR 1.3250、FID 148.5 全面优于 ScaleDiff（1.2339、152.5），AReA-Bootstrap 以 126 秒最快。OOD 分析（Figure 16）：AReA 输出与模型自身原生分辨率输出的 FID 在所有分辨率上最低且几乎持平。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FLUX.1 4096×4096 文生图（Aesthetic-4K） | ImageReward↑ | 1.3250 | SEGA 1.2702（最佳基线）；裸基线 -0.7177 | +0.055（对裸基线 +2.04） |
| FLUX.1 4096×4096 文生图 | FID↓ / FIDp↓ | 148.5 / 58.2 | SEGA 150.6 / 71.8 | FIDp 降低 13.6 |
| FLUX.1 4096×4096 推理延迟 | 秒/图 | 151 s | 裸基线 314 s；SEGA 319 s | 约 2.1× 加速 |
| FLUX.1 5120×5120 推理延迟 | 秒/图 | 269 s | SEGA 693 s；裸基线 685 s | 约 2.6× 加速 |
| FLUX.1 6144² 端到端生成 | 相对全注意力的延迟 | 3.2× 加速 | 全分辨率全局注意力 | 加速比随分辨率单调增大 |
| Qwen-Image 6144² 端到端生成 | 相对全注意力的延迟 | 2.9× 加速 | 全分辨率全局注意力 | 5120² 延迟 862 s 对 SEGA 2020 s |
| HRGen-1K（FLUX.1 4096²） | Inception Score↑ | 13.90 | SEGA 11.99；DyPE 10.93 | +1.91 |
| FLUX.1 4096² 对比多阶段方法 | ImageReward↑ / FID↓ | 1.3250 / 148.5 | ScaleDiff 1.2339 / 152.5 | 全部质量、对齐与保真指标最优 |
局限与改进
作者承认的局限：切换阈值 $\sigma^\star$ 需按各模型的噪声调度与步数经验设定（FLUX.1 前 8 步取 0.89、Qwen-Image 前 20 步取 0.86、FLUX.2 取 0.94、Ideogram 4 取 0.91），并非模型无关的自动量；全局 KV 桥的 register 保留真实位置，仍给 Phase II 引入少量超出训练范围的距离；4096² 时 Phase I 的 ramp 实际只有 [4,4,4,4,2,2,2,2] 两档，调度粒度受网格公约数限制；本文只处理空间冗余，时间冗余留作未来工作。我的补充观察：其一，主表指标以无参考与偏好类为主（IR、PickScore、Aesthetic），裸基线 FID 高达 150 到 252，该区间区分度有限，且 Aesthetic、CLIP 类指标对布局错误不敏感——论文自己展示固定 64 窗口产生不可用图像时这些指标仍不低；其二，HRGen-1K 为自建的 LLM 生成 prompt 基准，其上 IR 与 CLIP 输给 SEGA，语义对齐优势并不全面；其三，实验上限为 6144² 与 67MP，未验证更极端外推倍数，且强非方形网格下 $w_{\text{start}}$ 规则会退化为下界（Appendix B.3 自述）；其四，DWT 门控、Halo、全局桥带有多个人手调超参（$\delta_{\max}=8$、$\rho=0.5$ 等），跨模型稳健性虽有展示但调参成本真实存在。
独立分析的弱点
独立分析四点。其一，两阶段硬切换依赖 $\sigma^\star$ 阈值：面对噪声调度迥异或步数极少的蒸馏采样器（如 4 到 8 步一致性模型）时，Phase I 只剩一两步，整个调度可能失效；改进方向是用在线信号（注意力熵或 DWT 能量增长率）自适应决定切换时机，而非固定噪声阈值。其二，Phase II 每个窗口都要把 $T$ 个文本 token 作为 query 和 key 参与注意力（成本式 $c(k)=(T+n_k)^2$ 中文本块按窗口数重复计算），窗口分裂越多文本开销越大，限制了小窗口的收益；改进方向是让文本 token 只在每步的代表性窗口充当 query、其余窗口仅作 key，或对文本 KV 做低秩压缩共享。其三，全局 KV 桥的 8×8 网格加均值偏差打分是启发式：对重复性纹理（观众席、砖墙）可能选出大量相似 register，对空旷区域只能靠配额保证覆盖；改进方向是按区域聚类选代表或引入可学习的 memory token，按内容复杂度非均匀分配 register。其四，方法只削减注意力内部计算，高分辨率下投影线性层与 VAE 解码的开销并未优化，67MP 图像的解码可能成为新瓶颈；可结合 latent 缓存、分块解码或与蒸馏模型叠加进一步加速。
未来方向
作者明确提出方向是把同样的思路扩展到时间维度：相邻去噪步之间存在高度冗余，AReA 处理的是空间感受野调度，未来可做时间冗余削减进一步加速。基于本文成果还可自然延伸：（1）把两阶段调度推广到视频扩散Transformer，设计时空联合的窗口与池化调度；（2）与少步蒸馏或一致性模型结合，检验并重新设计 $\sigma^\star$ 调度在极短轨迹下的形式；（3）把 Appendix G 的距离与 token 数双轴暴露度量发展成高分辨率外推方法的通用评估协议，便于公平比较 RoPE 类与非 RoPE 类方法；（4）把全局 KV 桥与 memory token、register token 文献联系起来，探索可学习或内容自适应的全局上下文选择；（5）反向思路——在多分辨率训练中直接采用 AReA 式注意力课程（先粗后细），把免训练技巧蒸馏进权重，可能让原生高分辨率训练更稳定、更省算力。
复现评估
复现门槛中等。方法完全在推理期实现，不需要任何训练或微调算力；骨干 FLUX.1、Qwen-Image 均为开源权重，四个直接推理基线（DyPE、UltraImage、SigMa、SEGA）都有官方实现，作者实验在 NVIDIA H100 上完成，FLUX.1 4096² 单图 151 秒、5120² 为 269 秒。论文给出完整公式体系（Eq.1 到 Eq.18）与五个附录细致说明池化 ramp、窗口成本模型、DWT 门控、Halo 与全局桥的实现细节，连 4096² 的窗口尺寸序列都逐值列出，方法论透明度很高。项目页已上线（rajabi2001.github.io/area），作者承诺公开 HRGen-1K 全部 1000 条 prompt；代码在写作时标注 under review，开源状态待确认。自行实现的主要难点在工程细节：窗口随机移位、重叠象限去重、成本预算约束与 register 的 RoPE 处理都容易出错；另外消费级显卡上 4096² 的激活值与模型权重显存可能比注意力更先成为瓶颈。总体而言，等官方代码发布后在其上跑通是最快路径，凭论文公式从零复现预计需要一到两周工程量。
论文图表
同一 prompt 下对比五种方法：全注意力基线主体完整但布局坍塌；UltraImage、SigMa、SEGA 分别出现碎裂、主体缺失、比例失调；AReA 同时保住连贯结构与精细细节。
直观呈现高分辨率生成的四类典型失败模式，是 motivation 的核心证据，也界定了 AReA 要同时解决的布局与细节两个目标。
在原生 1024² 的 FLUX.1 上统计（24 条 prompt、跨头与块平均）：全部 key 的注意力加权 query-key 距离仅缩小 1.4×，而注意力不低于 1/4 峰值的主导 key 距离缩小 5.5×；右侧为一个中心 query 在早、中、晚步的注意力图（前 60% 质量）。
全文的经验基石——证明注意力的有效感受野随去噪收窄，直接导出「感受野应粗到细调度」的设计，必须先读懂这张图。