UltraTex：释放 2K 多视角扩散能力的高分辨率 3D 纹理生成 UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing
背景token丢弃+块稀疏注意力，将多视角扩散3D纹理生成推至2048分辨率并提速数十倍
前置知识
Diffusion Transformer (DiT / MM-DiT)
用 Transformer 替代 U-Net 作为扩散模型骨干的架构。MM-DiT 是 FLUX 采用的多模态变体，把文本 token 和图像 token 拼接进同一条序列，每个块内对两种模态各设独立的 QKV 投影但联合做自注意力，分为 Double-Stream（前若干层分开处理后再交互）和 Single-Stream（单流融合）两个阶段。
UltraTex 的全部计算优化（背景 token 丢弃、块稀疏注意力）都作用在 MM-DiT 的统一 token 序列上，理解序列如何拼接、每层如何做全注意力，才能明白为什么在进入骨干前缩短序列能对所有层生效。
Flow Matching
一种连续归一化流式的生成训练范式：定义从数据 $z$ 到噪声 $\epsilon$ 的线性路径 $z^{(t)}=(1-t)z+t\epsilon$，训练网络预测该路径上的速度场 $\epsilon - z$，采样时用 Euler 等常微分方程求解器逐步从噪声积分回数据。相比 DDPM 的离散加噪更简洁高效。
UltraTex 基于 FLUX 的 Flow Matching 框架训练，论文公式 (1)(2) 的加噪构造与速度监督、公式 (4) 的前景受限 Euler 更新都建立在这个框架上，不懂它就看不懂训练与推理流程。
多视角扩散 + 重投影的 3D 纹理生成
主流 3D 纹理生成范式：给定参考图和网格，先用多视角扩散模型在固定相机布局（本文为 6 视点）下生成一组几何对齐的纹理图像，再通过 UV 重投影把多视角像素融合回 3D 表面。其质量取决于多视角图像的分辨率、细节与跨视角一致性。
这是本文的任务设定。分辨率被卡在 512/768 导致细节丢失正是本文要解决的核心痛点，理解这条管线才能理解为什么 2048 分辨率的多视角生成如此重要。
RoPE 旋转位置编码
通过把位置信息以旋转变换的形式注入 query 和 key 的内积中，使注意力分数自然依赖 token 间的相对位置。每个 token 携带其在原网格上的绝对索引，序列中 token 是否物理相邻不影响位置编码的正确性。
背景 token 丢弃后序列变成不连续的碎片，模型仍能正确理解空间布局，依赖的正是保留的原始 RoPE 索引。Fig. 4 的探索实验验证了这一点，是整个方法成立的前提。
VAE 潜在空间与潜空间扩散
扩散模型不在像素域而在 VAE 编码的潜空间工作，空间分辨率先被压缩（如 8 倍下采样）再配合 patch 化（如 2×2）进一步缩减 token 数。解码器负责从潜变量重建图像，若输入潜变量偏离训练分布（如混入纯噪声），重建会出现严重伪影。
2048 分辨率下每图 16384 个 token 的估算、以及前景感知 VAE 解码要解决的复合潜变量（干净前景+噪声背景）超出解码器分布的问题，都源于这套机制。
块稀疏注意力与 Top-K 选择
把 $Q,K,V$ 按 token 分成大小为 $b_q \times b_k$ 的块，只为部分 query-key 块对计算注意力，把复杂度从 $O(N^2 d)$ 降下来。Top-K 策略先用均值池化算出粗粒度的块间相关性分数 $S_c$，每个 query 块按分数保留前 $K_\rho$ 个 key 块，其余块对直接跳过。
UltraTex 的第二级加速 BSA 就是这套机制（保留率 $\rho=20\%$），且它是在已压缩的前景序列上运行，与训练无关的推理加速和 ρ 的质量-效率权衡都需要这个概念来理解。
研究动机
基于多视角扩散的 3D 纹理生成（Step1X-3D、UniTEX、Hunyuan3D 2.1、LumiTex 等）近年来已成为主流范式，但它们普遍只能工作在 512 或 768 的低分辨率下。当用户输入高分辨率参考图时，这些方法无法保留高频细节，生成的纹理模糊、全局不一致，达不到游戏与影视的生产标准。根本障碍是计算复杂度：这类方法需要把目标噪声 token、几何条件 token 和参考图 token 拼接成统一序列，经 DiT 全注意力处理。在 2048×2048 分辨率下，每张图经 8 倍 VAE 下采样加 2×2 patch 化产生 16,384 个 token，标准六视角设置的总序列长度高达 $6\times16{,}384$（噪声）$+6\times16{,}384$（条件）$+16{,}384$（参考）$=212{,}992$ 个 token，深层前馈与注意力层的显存和时延使得训练与推理都近乎不可行。
本文的目标是本文的目标是构建一个高效的端到端多视角扩散框架 UltraTex，直接在 2048×2048 分辨率下生成几何对齐的多视角纹理图像，在保留高频细节与跨视角一致性的同时，把训练和推理开销压缩到工程可行的范围。量化目标包括：在数据集常见前景占比（10%–30%）的样本上，相对 FlashAttention 全序列基线取得 20 倍以上的训练加速与 22 倍以上的端到端推理加速，同时在 FID、CLIP-I、LPIPS 等指标上达到 SOTA；并配套构建一个超过 26.8 万资产、渲染分辨率最高 4096×4096 的大规模多视角数据集 G-buffer TexVerse，为 2K 级纹理扩散训练提供数据基础。
与已有工作不同的是，本文的独特切入是把高分辨率多视角扩散的算力瓶颈精确分解为两类空间冗余：其一是背景造成的序列冗余——物体中心的渲染图中前景往往只占画布很小比例（论文示例中仅 7.9% 和 24.9%，数据集中 85% 以上资产的前景占比集中在 5%–30%），但标准 DiT 让这些空白背景以与纹理丰富前景完全相同的预算穿过每一层；其二是前景 token 之间的注意力冗余——可视化显示压缩后序列的注意力图仍高度稀疏。据此，作者没有像 CTR3D 那样只在注意力层内部做 token 压缩（原始序列仍全程保留），而是把冗余拆成序列级、注意力级、解码级三层，分别用确定性几何掩码丢弃、top-k 块稀疏注意力和前景感知 VAE 解码逐一击破，形成正交且可组合的加速方案。
核心方法
直觉上，2K 多视角纹理生成把绝大多数算力浪费在了两处：不需要纹理的空白背景，以及不需要密集交互的 token 对。UltraTex 延续 in-context 条件化的多视角扩散路线：以预训练 FLUX（MM-DiT 架构）为底座，将参考图像 $I_{ref}$、六视角法线条件 $I_{cond}$ 与真值多视角反照率 $I_{tgt}$ 编码为潜 token 序列拼接，按 Flow Matching 训练，噪声构造为 $z_{tgt}^{(t)}=(1-t)z_{tgt}+t\epsilon$，速度目标为 $\epsilon-z_{tgt}$，仅对目标 token 监督。在此底座上做三层减法：序列级用 Background Token Dropping 在进入 DiT 之前删掉全部背景 token，让序列骤然缩短且所有 Transformer 层同时受益；注意力级在压缩后的前景序列上应用保留率 $\rho=20\%$ 的 top-k 块稀疏注意力，跳过大部分 query-key 块对；解码级用 Foreground-Aware VAE Decoding 解决推理时仅前景去噪、背景残留高斯噪声所导致的解码伪影。最终生成的 2048 分辨率多视角图像经重投影融合回输入网格，得到带纹理的 3D 资产。
核心创新是用显式几何先验驱动的确定性计算分配，替代全画布稠密建模。与依赖学习式重要性预测器、在 Transformer 层内动态剪枝的现有 token 削减方法不同，BTD 直接用渲染 alpha 通道得到的几何掩码，在进入 MM-DiT 之前一次性删除背景 token，不引入任何额外模块，后续所有层都直接运行在缩短的序列上。方法成立依赖两个支撑性发现：其一，DiT 对 2D 画布空间布局的理解来自 RoPE 位置编码而非一维 token 连续性——作者用预训练 FLUX 做探索实验，保留原始位置索引并删除全部背景 token 后，模型仍能对不连续的部分序列去噪并产生空间合理的结果（Fig. 4）；其二，压缩后前景序列的注意力本身仍高度稀疏（Fig. 5），因此用均值池化压缩分数 $S_c=\mathrm{pool}(Q)\cdot\mathrm{pool}(K)^\top$ 做 top-k 块选择是安全的。这种先缩短序列、再稀疏化注意力的互补两级分解，是与只在注意力内部做压缩的 CTR3D 等方法的本质区别。
方法步骤详情
第一步，数据构建：对 TexVerse 的 858K 资产做四阶段过滤（GPT-5 视觉质量评估 858K→402K、非 BSDF 材质剔除 402K→348K、反照率香农熵过滤 348K→297K、AI 生成内容剔除 297K→268K），用 Blender Cycles 渲染最高 4096×4096 的 G-buffer 属性图、参考视图与三种 HDR 光照的着色图，训练时统一缩放到 2048。第二步，掩码与序列压缩：从 alpha 通道提取二值前景掩码，下采样到 1/16 分辨率并轻微膨胀以保住边界，作用于噪声目标 token 与几何条件 token（参考图用自身掩码），每个保留 token 携带原始 RoPE 索引。第三步，前景受限训练：损失 $\mathcal{L}_{FM}^{fg}=\mathbb{E}\,\|\hat{v}_\theta^{fg}-\mathrm{Gather}_{M_{fg}}(\epsilon-z_{tgt})\|^2$ 只监督前景速度预测；在 64 块 H200 上以 LoRA rank 64 三阶段训练：512² 全注意力（lr $10^{-4}$，22K 步，1 天）、1024² 全注意力（lr $10^{-5}$，至 70K 步，8 天）、2048² 切换 BSA 且 $\rho=0.2$（lr $2\times10^{-5}$，至 97K 步，9 天），配合 ZeRO-2、梯度检查点与按前景 token 数分桶。第四步，推理：前景受限去噪，Euler 更新 $z_i^{(t_{prev})}=z_i^{(t_{curr})}+(t_{prev}-t_{curr})\hat{v}_{\theta,i}$ 仅对 $i\in M_{fg}$ 执行，背景保持初始噪声。第五步，前景感知 VAE 解码：用冻结的 VAE 编码器编码纯黑图像得到规范背景潜变量 $z_{bg}$，与去噪前景拼合成 $z_{mix}$，再对解码器做 3000 步、批大小 64、lr $10^{-5}$ 的微调，损失 $\mathcal{L}_{dec}$ 只在前景像素 $i\in M_{px}^{fg}$ 上计算。最后重投影多视角结果完成纹理烘焙。
技术新颖性
新颖性有四层。第一，序列级冗余消除的位置感知设计：证明 RoPE 索引足以维持画布空间结构，使删除背景而不破坏 2D 结构理解成为可能；这与 DynamicViT 等需要学习打分器的 token 剪枝本质不同——本文完全确定性、零额外参数、训练前一次性执行。第二，两级正交加速分解：BTD（1.4×–53.0× 训练加速）与 BSA（1.7×–2.9×）作用于不同层级（序列长度 vs 注意力内部块对），收益相乘且互补——BTD 在低前景占比时主导，BSA 随前景占比升高贡献递增，避免了单一机制收益饱和。第三，BSA 在已压缩的前景序列上运行而非原始全分辨率序列，这是与 Sparse-vDiT、MoBA 等通用稀疏注意力工作的关键差异，也解释了为何组合后能突破 200K token 的训练墙（全序列 FlashAttention 在前景占比 ≥90% 时训练直接 OOM）。第四，Foreground-Aware VAE Decoding 发现并解决了一个此前未被注意的推理一致性问题：仅前景去噪产生的干净前景+纯噪声背景复合潜变量超出标准解码器分布，用规范背景替换并前景受限微调后，PSNR 从 29.66 提升到 50.26，甚至超过全图重建的 47.65。此外 Test-Time Foreground Scaling 把同一机制转化为推理时前景像素占比的可控旋钮，也是意外的收获。
实验结果
定量评估在 100 个训练未见的 TexVerse 测试物体上进行，所有方法重建为 Unshaded、Shaded、Relighting 三个赛道，与 32 个视点的真值对比。Unshaded 赛道 UltraTex 全面领先：FID 125.13（对比 LumiTex 147.31、Hunyuan3D 2.1 153.48），CLIP-FID 15.180、CMMD 0.810、CLIP-I 0.929、LPIPS 0.082 均最优。Shaded 赛道 FID 97.6（LumiTex 110.6）、LPIPS 0.064 最佳，CLIP-FID 12.239 与 LumiTex 的 12.265 基本持平。Relighting 赛道 FID 96.4、CLIP-FID 11.583、CLIP-I 0.944、LPIPS 0.062 全部第一，证明无光照 albedo 在新环境光下依然忠实。效率方面（单卡 H200、2048 分辨率）：BTD 把序列从最高 213K 压缩到由前景占比决定的有效长度，FlashAttention 基线在前景占比 ≥90% 时训练 OOM；在数据集常见的 10%–30% 前景区间，BTD+BSA($\rho$=20%) 取得 20.6×–91.1× 训练加速与 22.3×–74.6× 端到端推理加速；分解来看 BTD 单独贡献 1.4×–53.0×（低前景占比时主导），BSA 在其上再贡献 1.7×–2.9×。VAE 消融（Table 2）：噪声背景直接解码 PSNR 仅 29.66，替换规范背景后升至 37.81，加解码器微调达 50.26（SSIM 0.9956、LPIPS 0.0038），超过全图重建的 47.65。$\rho$ 消融（Fig. 8）显示 $\rho$=5% 出现明显纹理退化，$\rho$=20% 是质量-效率平衡点。定性对比中，UltraTex 对 Meshy 6、Tripo v3.1 等商业模型也保持细节优势；补充实验表明换用 FLUX.2-dev 底座可显著改善参考图身份保持，且框架可扩展到粗糙度/金属度 PBR 材质生成。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 高分辨率 3D 纹理生成（Unshaded albedo 赛道，100 个未见物体） | FID (↓) | 125.13 | LumiTex 147.31 / Hunyuan3D 2.1 153.48 | 相对最强基线降低 15.0% |
| 3D 纹理生成（Shaded 赛道，32 视点统一渲染） | FID (↓) | 97.6 | LumiTex 110.6 / UniTEX 133.8 | 相对最强基线降低 11.8% |
| 3D 纹理生成（Relighting 赛道，随机环境光） | FID (↓) | 96.4 | LumiTex 114.5 / Hunyuan3D 2.1 126.0 | 相对最强基线降低 15.8% |
| 感知质量（Unshaded 赛道） | LPIPS (↓) | 0.082 | LumiTex 0.138 / Hunyuan3D 2.1 0.136 | 降低约 40% |
| 与参考图一致性（Unshaded 赛道） | CLIP-I (↑) | 0.929 | LumiTex 0.914 | +0.015 |
| 2048 分辨率训练效率（前景占比 10%–30%，单卡 H200） | 训练步时间加速比 | 20.6×–91.1×（BTD+BSA, ρ=20%） | FlashAttention 全序列（前景占比≥90% 时 OOM） | BTD 单独 1.4×–53.0×，BSA 追加 1.7×–2.9× |
| 2048 分辨率端到端推理效率（前景占比 10%–30%） | E2E 推理加速比 | 22.3×–74.6× | FlashAttention 全序列 | 前景占比 10% 时最高 74.6× |
| 前景受限 VAE 解码重建（测试物体 albedo） | PSNR (↑) | 50.26（SSIM 0.9956, LPIPS 0.0038） | 全图 FLUX VAE 重建 47.65 / 噪声背景复合潜变量 29.66 | 较全图重建 +2.61 dB，较噪声背景 +20.60 dB |
局限与改进
作者明确承认两点局限：其一，对高度重复的纹理模式处理困难，失败案例见 Fig. 11；其二，框架受制于 FLUX 底座能力——一方面最终输出保真度被 FLUX 的 VAE 潜在压缩空间限制，即使微调了解码器，编码-解码流程仍会模糊部分高频细节，另一方面 FLUX 的有效工作分辨率约在 1K–2K，4K 输入远超其适配范围，扩展到 4K/8K 需重新设计原生支持超高分辨率的 DiT–VAE 基础模型。我的补充观察：评估集是从自家 TexVerse 测试集划分的 100 个物体，与训练数据同源且同渲染管线，对真实扫描网格或风格差异大的资产的泛化未经验证；与非 PBR 基线对比时统一使用固定默认材质（粗糙度/金属度 1/0），设置上对 PBR 方法不完全公平；BSA 的池化评分属于低秩近似，对需要远距离精确对应的图案可能系统性漏选关键块；前景掩码下采样加膨胀的策略对细长结构边界敏感，且数据集最大前景占比 51.2%、超过 40% 的样本不足 1.2%，极端前景占比下的质量未被单独报告。
独立分析的弱点
弱点一：推理时背景完全固定为规范黑色潜变量且前景区外不更新，若掩码提取出错（自遮挡边界、半透明材质），误差会直接进入生成与解码且无法自愈；可引入带置信度的软掩码或边界带加权更新。弱点二：BSA 的 $S_c$ 是块级均值池化的全局内积，属于低秩近似，检索远距离但精确对应的能力弱，这可能与 Fig. 11 的重复纹理失败相关；改进可做多尺度池化或局部+全局混合评分。弱点三：数据过滤剔除了全部 AI 生成资产（297K→268K），训练分布偏向人工建模资产，而实际输入网格越来越多来自 AIGC（论文自己就用 Tripo v3.1 提取几何），对这类几何的适配性可能被低估。弱点四：三阶段训练在 512/1024 用全注意力、2048 才切换 BSA，注意力机制切换可能引入分布偏移，论文未分析 Stage 3 初期的质量回退。弱点五：算力门槛高（64 块 H200 约 18 天），且 $\rho$=20% 只在低分辨率验证模型上扫过再迁移到 2K 模型，2K 模型上不同 $\rho$ 的质量曲线并未直接测量。弱点六：多视角一致性只靠 FLUX 先验与几何条件隐式维持，缺少显式跨视角对应约束（如 epipolar），高光或对称结构下可能出现视角间纹理冲突。
未来方向
作者提出的方向：设计原生支持超高分辨率输入的 DiT–VAE 基础模型，把端到端纹理生成推向 4K 甚至 8K；补充材料已验证换用 FLUX.2-dev 底座能显著提升参考图身份保持（Fig. S3），暗示跟随基础模型迭代即可持续获益；并展示了在 FLUX.2-dev 上联合生成粗糙度/金属度 PBR 材质图的扩展（Fig. S4）。基于本文成果可延伸的方向：把 BTD+BSA 的前景感知加速范式迁移到其他物体中心多视角任务，如高分辨率多视角几何生成、新视角合成与稀疏/稠密重建——随数据集发布的 36 视点 sphere 相机配置正是为这些任务预留的；将确定性几何掩码思想推广到视频扩散中的动态前景区域裁剪；在 top-k 选择中注入跨视角对应先验（对极线、代理网格像素对应）替代纯数据驱动评分，进一步压低 $\rho$ 而不损失质量；把 Test-Time Foreground Scaling 与自适应采样步数联合调度，按区域复杂度分配算力；针对重复纹理失败模式，显式检测纹理周期性并建立全局对应机制；以及在压缩序列上研究 KV 缓存复用与跨步注意力稀疏模式共享，进一步压低推理时延。
复现评估
复现条件总体良好但算力门槛高。代码与数据承诺在项目主页开源（https://yiboz2001.github.io/UltraTex），G-buffer TexVerse 数据集规模可观：268K 过滤后资产、canonical 6 视点与 sphere 36 视点两套相机配置、最高 4096×4096 渲染、862 个 Poly Haven HDR 光照池，其中 sphere 配置甚至超出本文所需、服务社区。底座 FLUX 权重公开，LoRA rank 64 微调降低了显存需求；训练在 64 块 H200 上进行三阶段共约 18 天（1+8+9），属于大机构级投入。但各组件高度可独立验证：BTD 是训练前的确定性预处理，BSA 是可插拔的注意力核，VAE 解码器微调仅 3000 步、批 64，效率实验在单卡 H200 完成，且 Table S1 提供了逐前景占比、逐配置的完整训练/推理计时数据，可直接对照验证；推理流程（前景受限去噪+规范背景+微调解码器）自包含，单卡即可复跑。需注意的细节：掩码膨胀量、分桶策略、参考图掩码与目标掩码的差异处理等依赖补充材料与开源代码确认；数据集过滤用到了 GPT-5 评分，复现数据管线时该步骤存在非确定性。总体：开源到位后，小团队可在单卡复现效率结论与推理质量，完整训练复现则需相当算力。
论文图表
展示 UltraTex 为多种 3D 资产生成的纹理结果画廊，涵盖角色、道具、建筑等类型，呈现出高保真、细节丰富的表面效果。
一眼建立对方法输出质量的直观认知，是判断 2K 分辨率带来的细节增益的第一入口。
两个六视角布局示例，前景像素占比分别仅 24.9% 和 7.9%，直观显示物体中心渲染中大面积画布是无纹理的空白背景。
用具体数字建立序列级冗余的存在性，是 Background Token Dropping 动机的直接证据。
失败案例展示：对含高度重复纹理图案的物体，生成结果出现图案错乱。
作者坦承的主要失效模式，对评估方法适用边界非常重要。
展示反照率香农熵过滤各分桶（0–7）的代表性样例：熵值 0–3 的资产纹理过于简单或均匀被剔除，4–7 保留。
说明数据集构建中质量过滤的具体标准，影响对训练数据分布的理解。
渲染数据集的前景占比分布直方图：85% 以上资产集中在 5%–30%，仅约 1.2% 超过 40%，最大 51.2%。
从统计上确立背景冗余的普遍性，支撑加速比在常见样本上可达数十倍的说法。
同一公告板资产的对比：FLUX 底座的结果改变了海报、插画和中央桌子的细节，FLUX.2-dev 底座更忠实保留了参考图的空间布局与视觉元素。
证明最终纹理保真度与底座模型能力强耦合，指出随基础模型升级的免费改进路径。
以参考图和几何为条件，用 FLUX.2-dev 底座联合生成六视角打包的粗糙度-金属度材质图，展示框架向 PBR 材质生成的扩展。
说明方法框架的可扩展性，不限于 albedo 纹理生成。