SUPRA-TEX：超对齐纹理的 3D 生成

先把参考图材质投影为只读观测锚点，再让3D生成器专注补全未见表面

前置知识

PBR 材质

基于物理的渲染（PBR）用内在属性描述表面：反照率 albedo（固有色）、金属度 metallic 与粗糙度 roughness（均在 0–1 区间）。属性与光照分离后，同一套材质可在任意光照下重新渲染（relightable）。本文为表面每点估计材质元组 $T(p)=(a(p),m(p),r(p),\alpha(p))$，含透明度 $\alpha$。

论文主线就是从单张照片估计并补全这些 PBR 通道；读懂 2D 材质翻译、原生观测编码以及 Table 1 的 albedo PSNR、metallic/roughness MAE 等指标都以此为前提。

稀疏材料 VAE 与潜空间

TRELLIS.2 用稀疏变分自编码器把 3D 表面压缩到潜空间：几何 VAE 产生几何潜变量 $G=\{g_s\}_{s\in S}$，材料编码器 $E_{mat}$ 把表面 PBR 属性编码为材料潜变量 $Z=\{z_s\}_{s\in S}$，冻结解码器 $D_{mat}$ 可把潜变量直接还原为表面材质。生成任务即在以 $S$ 索引的潜格上做生成建模。

本文最关键的设计是把投影后的部分材质直接喂给冻结的 $E_{mat}$，得到与生成目标同空间、可直接解码的'原生观测潜变量'，理解这一点才能看懂观测锚点为何有效。

流匹配

一种生成建模范式：网络学习速度场 $v_\theta$，把高斯噪声沿常微分方程连续搬运到数据分布。本文路径为 $Z_t=(1-t)Z_{gt}+[\sigma_{min}+(1-\sigma_{min})t]\,\epsilon$，目标速度 $v^*=(1-\sigma_{min})\epsilon-Z_{gt}$，损失 $\mathcal{L}_{FM}=\mathbb{E}[\mathrm{MSE}(v_\theta,v^*)]$，推理用 25 步欧拉积分。

3D 补全阶段就是一个流匹配模型：观测流携带固定干净时间标记，生成流携带噪声时间 $t$，采样时间表 $t_j=3u_j/(1+2u_j)$ 等细节都依赖此概念。

只读记忆与交叉注意力

交叉注意力中 Query 来自需要更新的序列，Key/Value 来自被引用的序列。'只读'指被引用方不发出 Query、隐状态也不被更新（$O^{(\ell+1)}=O$），相当于不可变的参考记忆；其每层 K/V 可跨采样步缓存复用（KV cache）以节省算力。

这是本文架构与'残差注入''联合更新注意力'两类消融基线的本质差别，Table 5 的质量对比与 Table 6 的 1.2 倍加速都建立在这一机制上。

MLLM 图像编辑与 DiT 一步生成

以多模态扩散 Transformer（DiT）为骨干的图像编辑模型，通过图文联合注意力理解指令并输出图像。本文把 FireRed-Image-Edit-1.1 改造成 2D 材质翻译器：在最大噪声端点 $\sigma=1.0$ 处做单次前向直接预测干净潜变量，无需迭代去噪，单张 H800 上 1.2 秒输出 1024×1024 的 PBR 贴图。

第一步产出的 PBR 贴图是全部下游对齐的证据来源，Table 5 用 Oracle PBR 与预测 PBR 约 2.31 dB 的差距量化了该模块的质量上界。

研究动机

单图 3D 生成的目标是为给定网格穿上可重光照材质，同时忠实保留参考图细节。现有两条路线各有硬伤。多视角管线（Hunyuan3D 2.1、MVPainter、LumiTex 等）先用几何条件化 2D 生成模型在环绕视角合成外观，再投影融合到网格：跨视角预测不一致会在拼接处产生接缝和鬼影，多图加权混合还会模糊参考图上锐利的文字、logo 与花纹，实验中它们与本文差距最大（shaded PSNR 落后超过 2 dB）。原生 3D 管线（TRELLIS.2、TEXGen、NaTex 等）直接在 3D 表示上合成，规避了融合伪影，但细节保真仍难：TRELLIS.2 的图像交叉注意力在图像细节与 3D 表面位置之间没有任何显式对应，生成器必须自己学会'哪个细节该贴到哪'；Pixal3D 把高分辨率图像特征经相机投影抬升到 3D，虽有空间对应，可条件仍是视觉特征而非材质观测，3D 生成器被迫同时承担三件事——从视觉特征推断 PBR 属性、把参考细节放到正确表面位置、为未观测区域合成材质。而 3D 训练数据天然稀缺，让一个模型联合学习这些异构任务，学习负担过重、两头都做不精。

本文的目标是论文提出'超对齐'（super-alignment）目标：在参考图可见区域，把细粒度文字、logo、花纹精确复现到它们对应的表面位置，做到所见即所得（What You See Is What You Get）；在未观测表面，生成与可见外观全局一致、可重光照的完整 PBR 材质。框架还有两条硬约束：训练只能用公开数据集（Objaverse 渲染材质对等），不依赖私有 3D 资产；要在两项任务上同时达到 SOTA——几何条件化的 PBR 纹理生成（Table 1）与端到端单图到 3D 资产生成（Table 3），并进一步在与 Rodin、Tripo、Meshy、Hi3D、Hunyuan3D 五个商业系统的对比中，仅凭参考图加一张 2D 合成的背面图，取得 51.1%–84.8% 的人类偏好胜率与并列最高的 VLM PBR 评分 8.67。

与已有工作不同的是，独特切入点是职责解耦加原生观测。作者的关键洞察：与其让数据稀缺的 3D 生成器从抽象视觉特征里反推物理材质，不如在 3D 生成开始之前，就把可见证据翻译成生成器的'母语'——先用强大的 2D 生成先验估计参考视角的光照分离 PBR 贴图，把材质估计这个视觉问题完全卸载给 2D 模型；再通过相机投影建立显式表面对齐，把贴图写入可见表面体素，并用预训练材料 VAE 编码成原生观测潜变量。这样'看懂材质''对齐位置'两件事在生成前就已完成，3D 生成器只需围绕这些已落地、可直接解码的材料证据做一件事：补全看不见的表面。观测与生成共享同一潜空间，是本方法与以往图像特征条件化的分水岭。

核心方法

直觉上，这是把'照着参考图上色'拆成'先抄写、再补全'：先把参考图的物理材质抄到看得见的表面，再让 3D 模型照着抄好的笔记补全看不见的地方。技术路线三步走。第一步图像到材质翻译：训练 MLLM 图像编辑模型 $F_{2D}$，对输入照片 $I$ 一次前向输出参考视角光照分离的 albedo、metallic、roughness 贴图（1024×1024，H800 上 1.2 秒）。第二步原生观测编码：经相机投影 $\pi$ 把有效像素关联到首次可见表面命中点，用掩码腐蚀和深度不连续过滤剔除不可靠对应，体素化成部分表面属性 $P_o$，用冻结的材料编码器 $E_{mat}$ 编码为原生观测潜变量，并附上覆盖率 $\rho_s$ 与边界距离 $d_s$ 元数据，构成观测表示 $C_o$，只算一次、全程固定。第三步观测引导补全：交错流 Transformer（60 层）以 $C_o$ 为只读锚点，在几何潜变量 $G$ 条件下从纯噪声流匹配生成完整材料潜变量 $Z_0$，25 步欧拉采样后由冻结解码器 $D_{mat}$ 还原为全表面可重光照 PBR 材质。

核心创新有三点，环环相扣。其一，原生观测编码：与 Pixal3D 注入的抽象图像特征不同，投影后的部分材质直接进入与生成目标相同的潜空间、可被冻结解码器直接解码，是'材料观测'而非'视觉特征'，3D 生成器不必再学从特征到 PBR 的翻译；并利用稀疏坐标架构只编码可见支撑 $S_o$，避免零填充把黑色 albedo 之类的虚假材质赋给未观测区域。其二，固定只读锚点：观测流 $O$ 在全部 60 层中只提供 Key/Value，不发 Query、不被更新（$O^{(\ell+1)}=O$），保证证据在整个采样过程中不被噪声化、不被改写。其三，交错更新调度：偶数层只查询未观测格 $U=S\setminus S_o$、奇数层查询全表面 $S$，把生成容量向未观测区域倾斜又保留全局一致性，比每层全表查询少约 17% 的 Query token，带来 1.2 倍采样加速。由于锚点按 3D 坐标索引，同一接口无需重训即可融合额外视角（如 2D 合成的背面）与交互式 2D 编辑。

方法步骤详情

输入为参考图 $I$、网格 $M$、相机投影 $\pi$（真值或由 Pixal3D* 预测几何）。步骤一（2D 材质翻译）：FireRed-Image-Edit-1.1 改造的多模态 DiT 计算 $F_{2D}(I)=(\hat a,\hat m,\hat r)$，用模态-轴联合注意力同时预测 albedo、metallic-roughness 与辅助 normal；MR 与常量通道打包成 3 通道以复用预训练图像 VAE；在最大噪声端点 $\sigma=1.0$ 处单步前向（H800 上 1.2 秒），解码出 1024×1024 贴图。步骤二（滤波投影）：对前景像素 $u$ 求网格首次可见命中 $p$，掩码腐蚀加深度不连续过滤剔除不可靠边界，体素化为部分表面属性 $P_o$。步骤三（原生编码）：冻结编码器 $E_{mat}$ 取后验均值得 $(s,z^o_s)$，$s\in S_o$；计算覆盖率 $\rho_s=|V_s\cap V_o|/|V_s|$ 与六邻域图上到未观测格的最少步数 $d_s$（不可达记 -1），组成 $C_o=\{(s,z^o_s,\rho_s,d_s)\}$，只编码一次、全程固定。步骤四（交错流补全）：生成流 $X^{(0)}_s=W_{in}([Z_{t,s};g_s])$，观测流 $O_s=W_{in}([\bar z^o_s;g_s])+W_{meta}([\rho_s;d_s])+b_o$；$O$ 恒定只供 K/V，偶数层查询未观测格 $U$、奇数层查询全表面 $S$，注意力用 3D RoPE；输出投影得全表面速度场，25 步欧拉采样（无 CFG，$t_j=3u_j/(1+2u_j)$），$D_{mat}$ 解码导出 PBR；KV 缓存可再提速约 6%。

技术新颖性

与最近工作的本质区别在'条件的物理性与用法'。TEXTRIX 也把投影外观用预训练属性 VAE 编码到目标潜空间，思路相近，但本文进一步用实验证明部分编码不等于完整材质潜变量的对应切片（标准化潜变量 RMS 差均值 0.713，95% 区间 0.684–0.742），并为此配套了只读锚点加交错调度的架构来利用这种'有缺陷但可解码'的证据，还附加覆盖/边界元数据量化观测范围；TEXGen、NaTex 的部分观测条件化面向 UV 精修或场景块补全，不针对单图材质对齐；CUPID、Pixal3D 的相机投影条件停留在视觉特征层面，把'推断材质'的负担留给 3D 生成器；多视角 PBR 方法（LumiTex、MVPainter）依赖视角融合，天然受跨视角不一致拖累，实验中 shaded PSNR 落后本文 2 dB 以上。工程层面，本文全部用公开数据训练（64 卡、全局 batch 576、self-attention 从 TRELLIS.2 初始化），却在细节对齐类指标上超过闭源商业系统，说明收益来自设计而非数据护城河。

**Figure 2**: Overview of SUPRA-Tex: image-to-material translation, native observation encoding, and observation-guided completion.

**Figure 7**: Interleaved update schedule of the flow transformer (Appendix A.2 illustration).

实验结果

四组实验支撑结论。给定几何纹理生成（Table 1，16 视角平均）：DTC-Tex 上 shaded PSNR 30.89 dB，比最强特征条件化基线 Pixal3D*（29.19）高 1.7 dB，albedo PSNRfg 19.55（对方 17.60），金属度/粗糙度 MAE 0.043/0.041 全场最低；Complex-Tex 上 30.05 对 28.84；多视角方法差距更大，LumiTex shaded PSNR 落后逾 2 dB。换 Qwen-Image-2.1 做 2D 估计器（Ours‡），DTC-Tex 升至 32.08 dB。参考/新视角拆分（Table 2）：参考视角 shaded PSNRfg 25.37，比次强 TEXGen（22.81）高 2.56 dB，LPIPS 0.0132 约为基线一半；新视角比 Pixal3D* 高 1.76 dB，对齐与泛化兼得。端到端生成（Table 3）：与共享几何的 Pixal3D* 相比四视角 PSNR 提升 1.77/2.49 dB，LPIPS 降 64.8%/58.6%，CLIP-I 0.971、FID 23.0 均最优。商业对比（Table 4，45 张图加合成背面）：人类偏好胜率对 Hunyuan3D 84.8%、Rodin 2.5 75.5%、Hi3D 3.0 也有 51.1%，VLM PBR 分 8.67 并列最高。消融（Table 5）：只读交错比残差注入高 0.87 dB，albedo 比联合更新注意力高 0.15/0.16 dB 且快约 1.2 倍；预测 MR 比固定值/均值高 0.44/0.26 dB；Oracle PBR 再涨 2.31 dB，指明瓶颈在 2D 材质估计。Table 6：采样 8.44 秒，KV 缓存后 1.277 倍加速，峰值内存增约 1.9 GiB。

**Table 1**: PBR texture generation with given geometry. Per-view metrics are averaged over 16 views.

**Table 2**: Reference/novel-view fidelity on the valid objects per method and metric in Table 1.

**Table 3**: End-to-end single-image-to-3D generation by dataset.

**Table 4**: Comparison with commercial models (preference win rate % and VLM scores out of 10).

**Table 5**: Observation ablations: residual injection vs. joint-update attention vs. ours, plus MR estimation and Oracle PBR.

**Table 6**: Runtime and sampling memory (one H800, 25 Euler steps, seed 42).

**Figure 3**: Qualitative comparison with given geometry. Enlarged crops compare reference-view details; novel views show the completed appearance.

**Figure 4**: Comparison with commercial systems: each row shows the input and reference-view/back-view renderings from commercial systems and SUPRA-Tex.

**Figure 5**: Native observation encoding with GT geometry and materials: (a) Partial-versus-complete latent differences; (b) Decoded albedo details.

查看结构化数据

任务	指标	本文	基线	提升
给定几何 PBR 纹理生成（DTC-Tex）	Shaded PSNR (dB)	30.89（Ours‡ 达 32.08）	Pixal3D* 29.19；LumiTex 28.29	+1.7 dB
给定几何 PBR 纹理生成（DTC-Tex）	Albedo PSNRfg (dB) / MR MAE	19.55 / 0.043, 0.041	Pixal3D* 17.60 / 0.051, 0.076	+1.95 dB，金属度与粗糙度误差均为全场最低
给定几何 PBR 纹理生成（Complex-Tex）	Shaded PSNR (dB)	30.05	Pixal3D* 28.84	+1.21 dB
参考视角保真（DTC-Tex）	Shaded PSNRfg (dB) / LPIPS	25.37 / 0.0132	TEXGen 22.81（次强）	+2.56 dB，LPIPS 约为基线一半
新视角泛化（DTC-Tex，15 视角）	Shaded PSNRfg (dB)	22.13	Pixal3D* 20.38	+1.76 dB
端到端单图到 3D（DTC-Tex）	PSNR / LPIPS	28.65 / 0.025	Pixal3D* 26.88 / 0.071（共享同一预测几何）	+1.77 dB，LPIPS 降 64.8%
端到端单图到 3D（Complex-Tex）	PSNR / CLIP-I	28.73 / 0.968	Pixal3D* 26.24 / 0.909	+2.49 dB
商业系统对比（45 张真实+合成图）	人类偏好胜率 (%)	对 Hunyuan3D 84.8、Rodin 2.5 75.5、Hi3D 3.0 51.1	五个商业系统（Hi3D/Rodin/Tripo/Meshy/Hunyuan3D）	VLM PBR 评分 8.67 并列最高
采样效率（210 个给定几何案例）	采样时间 (s)	8.44；KV 缓存后 7.91	Joint-update attention 10.10	1.20× 加速，KV 缓存后 1.277×

局限与改进

作者承认四类局限。其一，图像与几何差异大时，投影观测会落到错误的表面位置，对应过滤只能剔除不能纠正，而几何在材质生成期间是固定的；其二，上游几何生成器（Pixal3D*）可能在未观测区域幻觉出不合理结构，材质生成器无法删除它们，导致纹理无法连贯覆盖；其三，文字或花纹跨越可见性边界时（如罐身环绕文字），模型可能只保留可见片段、无法在隐藏面延续笔画与排版；其四，2D 材质估计会出错，例如给亮漆木质表面赋高金属度，误差会传导到最终资产的重光照表现。我的补充观察：整套方法依赖相机与几何基本正确这一强前提，端到端场景中几何误差会直接变成纹理错位，两种误差耦合却未被联合建模；unseen 表面的补全质量缺乏真值定量评估（作者也说明 Figure 6d 仅为定性）；评测以参考视角重建指标为主，'补全得好不好'缺少直接度量；对透明、镜面反射、次表面散射等复杂材质的处理亦未讨论。

独立分析的弱点

第一，单视角观测的覆盖率天花板：一个视角至多看到约一半表面，未观测区完全依赖生成先验，环绕文字断裂就是典型症状；改进方向是默认自动合成多视角观测——接口已支持，实验却只在商业对比中用了合成背面，可做成常规流程并用跨视角一致性约束锚点。第二，2D 材质估计是质量瓶颈：Oracle PBR 差距 2.31 dB，且金属度误判（Figure 6c）缺少真值校验；可引入可微渲染的物理一致性损失或材质检索先验做后校验。第三，几何与纹理解耦得过死：几何错误直接变成纹理错位，可探索材质生成对几何扰动的一阶鲁棒性训练，或轻量几何精修与投影的迭代交替。第四，交错调度的奇偶交替是人工设定，论文未给出层数比例的敏感性分析，存在调参与自适应调度空间。第五，部署门槛高：60 层 3D Transformer、64 卡训练、H800 级推理，虽有 KV 缓存（1.277 倍）加速，落地消费级场景仍需蒸馏或更小骨干。

未来方向

作者明确提出的方向包括：改进上游几何与相机对齐（并承认未做校正几何的对照实验）、增强 2D 材质估计精度。基于本文成果还可延伸：其一，把多视角观测接口做实——用 2D 模型合成背面甚至环绕视角、或直接吸收视频帧，形成真正的多视角材质观测，覆盖单视角不可见区域；其二，交互式纹理编辑已在附录 G.1 给出接口（2D 编辑重投影即可生效，无需重训 3D 骨干），可发展为面向设计师的材质编辑工具；其三，'原生观测锚点'范式可迁移到场景级生成（WorldGrow 一类上下文条件补全）与 4D 动态资产，把真实捕获的部分观测作为生成锚点；其四，用可重光照渲染构建自监督闭环，让 3D 侧渲染误差反过来校正 2D 材质估计，压缩 2.31 dB 的 Oracle 差距；其五，把材质表示扩展到透明、次表面散射等更广的属性空间。

复现评估

开源情况较好：论文声明代码与 checkpoint 在项目页 supra-3d.github.io/supratex 发布。训练只用公开数据：2D 估计器用 Objaverse 渲染的 RGB-材质-法线对，3D 生成器训练源在附录 B.1 汇总；评测集公开可得——DTC-Tex 取自 Digital Twin Catalog 的 100 个纹理丰富产品扫描，Complex-Tex 为 110 个 Sketchfab 网格。关键组件均可获取：2D 骨干 FireRed-Image-Edit-1.1 与 Qwen-Image-2.1、几何与材料 VAE 来自开源 TRELLIS.2。算力门槛高：3D 生成器 60 层 Transformer、全局 batch 576、64 卡 GPU 训练；推理需单张 H800，2D 估计 1.2 秒加采样 8.44 秒。总体复现难度中等偏上：若代码与权重如期放出，主要成本是工程复刻与 64 卡训练；商业对比部分依赖 VLM 打分与人类偏好实验，严格复现较难。

SUPRA-TEX：超对齐纹理的 3D 生成 SUPRA-TEX: 3D Generation with Super-Aligned Texture