UniForge3D：共享锚点引导空间中的联合三维重建与生成 UniForge3D: Joint 3D Reconstruction and Generation in a Shared Anchor-Guided Space
在锚点引导共享空间中联合多视图重建与3D生成，从无位姿稀疏图像产出高保真完整3D资产
前置知识
点图（Point Map）
前馈重建模型（如 DUSt3R/VGGT）为每张输入图像的每个像素直接回归一个三维坐标，得到 $H\times W\times 3$ 的逐像素 3D 位置图，所有点默认在某个参考相机坐标系下表达。相比深度图，点图天然编码了跨视图几何关系，无需显式三角化即可拼出点云，是当代无位姿重建的事实标准输出。
本文重建分支的输出、像素到体素的对应关系、以及共享空间的监督目标定义全部建立在点图上，不懂点图就无法理解方法主线。
VGGT 与前馈多视图重建
VGGT（Visual Geometry Grounded Transformer）输入若干无位姿图像，一次前向即可输出相机参数、深度图和点图，无需 SfM+MVS 那样的逐场景优化。它预测的几何位于第一相机空间（camera-relative），即以第一张输入图的相机为参考系。
本文以 VGGT 为重建分支：它的第一相机空间正是与生成分支规范空间产生坐标冲突的源头，也是锚点引导空间要改造的对象。
稀疏体素原生 3D 生成（TRELLIS）
TRELLIS 类方法先由图像预测一个活跃体素集合（稀疏结构），再在活跃体素位置上用 DiT 对形状/纹理潜变量做去噪，最后解码为网格与 PBR 纹理。相比 VecSet（潜在向量集合），稀疏体素保留了显式空间组织，更利于局部几何细节，是当前原生 3D 生成的主流表示之一。
本文生成分支基于 TRELLIS.2 初始化；稀疏结构既是生成的中间目标，又是第二阶段结构引导重建与视图选择的几何载体。
流匹配（Flow Matching）
一类生成建模训练目标：学习一个速度场，把高斯噪声分布沿常微分方程输运到数据分布，训练损失是预测速度与真实速度的均方误差 $\mathcal{L}_{flow}$，推理时数值积分采样。相比 DDPM 路径更直、采样步数更少。
本文所有生成阶段的损失核心都是 $\mathcal{L}_{flow}$；生成到重建方向注入特征的时间门控 $g^t$ 也依赖去噪时间步 $t$。
LoRA 低秩适配
冻结预训练权重，只训练注入到注意力层的低秩分解矩阵 $\Delta W = BA$（秩 $r$ 远小于矩阵维度），显著降低显存与训练成本，是大模型下游适配的常用手段。
本文对 TRELLIS.2（rank 64/128）和 VGGT（rank 32）均用 LoRA 微调，只有新增的交互模块全量训练，复现时必须遵循该配置。
研究动机
现有方法处理「从稀疏无位姿图像生成完整 3D 资产」时有三条路线，各有硬伤。第一类是纯生成路线：Hunyuan3D-2MV、MV-SAM3D 等把多视图图像特征直接条件化到原生 3D 生成器，但图像条件并不能严格约束生成表面与观测几何对齐——生成模型可能偏向其先验中「看起来合理」的形状，牺牲输入特有的结构。第二类是先重建后生成：用重建特征或点云作为生成条件（ReconViaGen、RecGen3D 等），但上游重建的误差会直接传播进生成阶段，几何引导不可靠时保真度随之受限。第三类是联合建模：Mix3R 用 Mixture-of-Transformers 连接预训练重建模型与生成模型，但重建分支工作在第一相机空间、生成分支在规范物体空间，坐标系不一致，必须额外学习一个相似变换来对齐点图与生成几何。此外还有一个被忽视的问题：同一 3D 区域在不同视图中的信息量差异巨大——论文 Fig. 2 中三颗蓝莓在三个视图里分别清晰可见、斜视角难以分辨、完全遮挡，不加区分地把所有视图喂给每个 3D 位置，会把有用证据与无关内容混在一起，妨碍局部细节恢复。
本文的目标是本文的目标是：仅给定 $N$ 张（实验中固定为 4 张）无相机位姿的稀疏 RGB 图像，生成一个完整的高保真 3D 资产——在输入视图可见区域忠实保留观测到的几何与外观，在不可见区域补全出结构合理的完整形状，且输出几何天然位于统一坐标系。量化目标是在 Toys4K 与 GSO 各 500 个 held-out 物体上，全面超越 Hunyuan3D-2MV、Mix3R、MV-SAM3D、ReconViaGen、Stream3D+TRELLIS.2 等基线的全部外观指标（PSNR/SSIM/LPIPS）与几何指标（Chamfer Distance、F-score@0.01）；重建点图与生成网格无需任何配准即可直接对齐（Fig. 10/11 验证）；为每个体素自动选出信息量最大的输入视图用于细节恢复；并能泛化到真实世界照片（Fig. 5）。
与已有工作不同的是，本文抓住的核心空白是：联合重建与生成虽有价值，但此前没人从「坐标系定义」层面解决两个任务的坐标不匹配。前馈重建（VGGT 系）在第一相机空间输出，原生 3D 生成（TRELLIS 系）在规范物体空间输出；Mix3R 选择保留两个空间、额外学习相似变换做对齐，几何交互因此变成间接的，对齐误差还会干扰两个任务本身。UniForge3D 反其道而行：不去迁就既有坐标系，而是重新定义一个「锚点引导共享空间」——水平朝向跟随锚点视图 $I_1$ 的方位角、竖直方向保持规范直立轴，让两个分支的监督目标从一开始就落在同一空间。第二个被忽视的点是视图证据的空间非均匀性：已有方法要么全局融合所有视图，要么按视图槽位分配，没人做到「逐体素」粒度的视图选择。本文利用共享空间中点图与体素的天然对应，把「每个 3D 区域该看哪张图」转化为一个可计算的像素支撑度问题，这是重建与生成两个社区都未触碰的角度。
核心方法
直觉上，UniForge3D 像是让一位「看图测距的测量员」（重建分支）和一位「脑补完整形状的雕塑家」（生成分支）在同一间工作室协作：测量员只看得见表面，雕塑家只会想象整体，两人共用同一张坐标纸（锚点引导共享空间），互相修正对方的草图。技术路线分两大阶段。第一阶段「锚点引导联合重建与生成」：VGGT 重建分支与 TRELLIS.2 DiT 生成分支在共享空间中双向交换特征，同时预测每个视图的点图 $P_v \in \mathbb{R}^{H\times W\times 3}$（含置信图）和完整的稀疏体素结构，损失为 $\mathcal{L} = \mathcal{L}_{flow} + \mathcal{L}_{point}$。第二阶段「结构引导视图选择与条件化」：把生成的稀疏结构反喂给重建网络做结构条件化的点图预测，在共享空间中建立显式的像素-体素对应，据此为每个体素选出最具信息量的输入视图，再用选中视图的图像特征通过交替的全多视图注意力与选中视图注意力引导粗到细的形状生成；最后用同架构的纹理 DiT 生成 basecolor、金属度、粗糙度与透明度并烘焙为 UV 贴图。
最核心的创新是锚点引导共享空间：对规范空间中任一点 $p_{can}$，定义 $p^\star = R_a p_{can}$，其中 $R_a$ 是绕规范竖直轴的旋转，使锚点视图 $I_1$ 的方位角成为共享空间的正前方向，同时保持物体直立。关键洞察是：重建输出天然依赖输入相机方位，生成输出天然锚定物体本身，而两者差异其实只在于绕竖直轴的一个旋转——竖直方向本可保持一致。于是把该旋转「烧进」监督目标的构造（可见表面点变换后作为逐视图点图目标，完整几何体素化后作为稀疏结构目标），两个分支无需任何对齐模块即可直接交换几何信息。这与 Mix3R 有本质区别：后者要联合学习「跨空间相似变换 + 两个任务」，几何交互是间接的；此处交互显式且零成本。消融证明这绝非可有可无：规范空间联合训练 IoU 0.4601、跨空间 0.4563，锚点引导达 0.5827，CD 从约 $1.6\times 10^{-2}$ 降至 $1.0563\times 10^{-2}$。第二个核心创新是逐体素视图选择：支撑度 $s_v(x_j)$ 定义为映射到体素 $x_j$ 的像素在图像上最大连通域的像素数，取 $v^\star_j = \arg\max_v s_v(x_j)$，让每个体素只消费与自己最相关的图像证据。
方法步骤详情
完整流程分四步。第一步，锚点引导联合训练：输入 4 张无位姿图像，VGGT 与 TRELLIS.2 DiT 分别以 LoRA rank 32/64 微调并在选定层交互。重建到生成方向：重建特征经适配器 $\phi$ 预测残差加到 DINOv3 特征上得 $C_v = D_v + \phi(R_v^l)$，各视图沿序列维拼接供 DiT 交叉注意力查询。生成到重建方向：$\tilde{R}^l = R^l + g^t \odot A(R^l, \tilde{G}^t, \tilde{G}^t)$，门控 $g^t$ 按噪声水平调节注入量。损失 $\mathcal{L}_{joint} = \mathcal{L}_{flow} + \mathcal{L}_{point}$，含 98% 分位鲁棒平均、置信项 $\hat{\rho}_i e_i - 0.2\log \hat{\rho}_i$ 与三尺度法向余弦误差。第二步，结构引导重建：全量微调 VGGT 40K 迭代后冻结；生成的稀疏结构各体素中心经 Fourier 位置编码与 MLP 编码，重建网络经交叉注意力消费结构特征，输出共享空间点图与置信图。第三步，逐体素视图选择：保留置信度前 95% 的有效前景像素并量化到体素网格，按最大连通域像素数选视图，无直接支撑的体素从 26-邻域继承、再退回锚点视图。第四步，粗到细生成：512/1024 两级形状去噪器交替全多视图注意力与选中视图注意力，网格解码后由纹理 DiT 生成 PBR 属性并烘焙 UV 贴图。
技术新颖性
新颖性有三层。其一，坐标系设计层面：以往联合框架（Mix3R）把坐标不匹配当作「学习问题」（额外预测相似变换），本文把它当作「设计问题」，在数据构造阶段就消除冲突，这是框架级而非模块级的改动——Table 2 显示锚点引导空间比跨空间方案 IoU 高 12.6 个百分点（0.5827 对 0.4563）。其二，重建与生成的耦合方向：不只是重建辅助生成（DINO-VGGT 条件化已有人做），生成结构也显式反哺重建——点图 Overall 误差从 Image-Only VGGT 的 $4.846\times 10^{-3}$ 降到结构条件化的 $3.313\times 10^{-3}$，形成闭环。其三，条件化粒度：多视图条件化从「每层全视图拼接」细化到「逐体素选视图」，交替注意力让每个体素只消费最相关的图像区域，同等结构下 F-score 从 0.8758 提至 0.8897。工程上全部基于公开的 TRELLIS.2/VGGT 做 LoRA 微调，仅新交互模块全量训练，DINOv3 冻结，训练成本可控且各组件可替换。
实验结果
主实验（Table 1）在 Toys4K 与 GSO 各 500 个 held-out 物体、每物体 4 张无位姿图上进行，指标经 GICP Sim(3) 对齐后计算。UniForge3D 在全部 10 项指标上第一：Toys4K PSNR 27.428 / SSIM 0.9616 / LPIPS 0.0401 / CD $1.4196\times 10^{-2}$ / F-score 0.8899；GSO PSNR 24.826 / SSIM 0.9363 / LPIPS 0.0591 / CD $1.4047\times 10^{-2}$ / F-score 0.8897。最强基线 Mix3R 对应 Toys4K PSNR 23.907 / CD $2.3445\times 10^{-2}$ / F-score 0.7343——CD 降低约 39.5%、F-score 提升 15.6 个百分点、PSNR 提高 3.5 dB。消融一（Table 2）：DINO 条件化 IoU 0.4261，加冻结 VGGT 特征升至 0.5533，锚点引导联合训练达 0.5827；规范/跨空间联合训练仅 0.4601/0.4563，证明共享空间本身才是增益来源。消融二（Table 3）：联合训练使点图 Overall 从 $4.846\times 10^{-3}$ 降至 $4.152\times 10^{-3}$，加结构条件化进一步降至 $3.313\times 10^{-3}$（降 31.6%）。消融三（Table 4）：逐体素视图选择对比全多视图条件化，PSNR 26.892→27.207，CD $1.4739\times 10^{-2}$→$1.4047\times 10^{-2}$，F-score 0.8758→0.8897。定性上（Fig. 4/5）竞品常丢件或扭曲局部结构，本方法在真实照片上仍保真；Fig. 10/11 显示重建点云与生成网格无需配准即可直接对齐，验证了共享空间的核心声明。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多视图 3D 生成（Toys4K，外观） | PSNR / SSIM / LPIPS | 27.428 / 0.9616 / 0.0401 | Mix3R：23.907 / 0.9498 / 0.0506（次优 ReconViaGen v0.5 PSNR 25.020） | PSNR +3.52 dB，LPIPS 降低 20.8% |
| 多视图 3D 生成（Toys4K，几何） | CD ($\times 10^{-2}$) / F-score@0.01 | 1.4196 / 0.8899 | Mix3R：2.3445 / 0.7343 | CD 降低 39.5%，F-score 提升 15.6 个百分点 |
| 多视图 3D 生成（GSO，外观+几何） | PSNR / CD ($\times 10^{-2}$) / F-score | 24.826 / 1.4047 / 0.8897 | Mix3R：21.040 / 2.3202 / 0.7174 | PSNR +3.79 dB，CD 降低 39.5%，F-score 提升 17.2 个百分点 |
| 稀疏结构生成（GSO 消融，64³ 体素） | IoU / CD ($\times 10^{-2}$) | 0.5827 / 1.0563（锚点引导联合训练） | 跨空间联合训练：0.4563 / 1.6291；DINO 条件化：0.4261 / 2.0019 | IoU 较跨空间方案 +12.6 个百分点，CD 降低 35.2% |
| 点图重建（GSO 消融） | Acc. / Comp. / Overall ($\times 10^{-3}$) | 3.539 / 3.086 / 3.313（结构条件化 VGGT） | Image-Only VGGT：5.025 / 4.667 / 4.846 | Overall 降低 31.6% |
| 细节形状生成（GSO 消融，法向图） | PSNR / CD ($\times 10^{-2}$) / F-score | 27.207 / 1.4047 / 0.8897（逐体素视图选择） | 全多视图条件化：26.892 / 1.4739 / 0.8758 | PSNR +0.315 dB，CD 降低 4.7%，F-score +1.39 个百分点 |
局限与改进
作者明确承认：模型完全在合成渲染数据（TRELLIS-500K 的 210K 物体子集）上训练，严重遮挡、强反射和极端光照仍是难点。我的补充观察：其一，评测协议要求所有方法先做 GICP Sim(3) 对齐再算指标，等于给每个方法发了一张「事后最优相似变换」的牌，这会掩盖坐标系层面的系统性偏差，也让共享空间的优势在 Table 1 绝对数字中被部分稀释（对齐只用于评测，不影响方法内部）。其二，视图选择是人工设计的启发式级联——最大连通域像素数、95% 置信截断、26-邻域继承、平局偏置锚点——在镜面、透明或重复纹理物体上，像素支撑度未必等价于信息量。其三，输入固定 4 视图，论文未做视图数量鲁棒性扫描；48 个附加渲染视角只用于训练。其四，流程仍是串行依赖：结构生成出大错时，结构条件化重建与视图选择都会跟着错，共享空间缓解而非消除了误差传播。其五，训练用 32 张 A800，复现门槛被限制在大型实验室。
独立分析的弱点
第一，合成到真实的域差距：训练全部使用受控渲染，真实世界的复杂光照与反射材质（Fig. 5 已暴露部分风险）会使点图置信度系统性偏低，进而连带误伤视图选择。改进方向：引入真实扫描数据混合训练、光照/材质域随机化，或对置信图做温度校准。第二，视图选择不可微：$s_v(x_j)$ 的连通域计数与 $\arg\max$ 是离散启发式，无法端到端学习更合理的「信息量」定义，且消融显示其收益有限（F-score 仅 +1.39 个百分点），说明该模块远未到上限。改进方向：改为可微软选择（对视图分布做注意力加权）或蒸馏一个选择策略网络。第三，单锚点绑定：共享空间完全由 $I_1$ 的方位角决定，若首图恰好是信息最差的背面视角，空间定义虽仍合法但语义次优。改进方向：多锚点候选打分或按信息熵自动选锚。第四，误差仍单向流动：结构错了，下游重建条件与视图选择一起错，缺少迭代修正。改进方向：结构生成与结构条件化重建交替精化，或为结构引入不确定性，低置信区域交给生成先验、高置信区域锁死观测。第五，任务限于单物体，未验证场景级、多物体或开放词汇设定。
未来方向
作者提出的方向是用仿真手段在训练中模拟严重遮挡、强反射与极端光照，提升真实场景鲁棒性。基于本文成果还可延伸：把锚点引导共享空间推广到场景级重建与生成——空间锚定到第一视角在场景设定中同样自然，有望从稀疏场景照片生成可编辑场景；把逐体素视图选择升级为学习式/可微机制，并系统研究选择粒度与生成质量的关系；接入视频输入，利用时序一致性作为额外约束；利用点图-体素直接对应做交互式应用，如从局部观察做 3D 局部重绘与补全编辑；框架对骨干是正交的，可替换为更新的前馈重建模型与原生 3D 生成器持续受益；还可以探索把共享空间思想用于 VecSet 或 3D 高斯等其它表示，检验其普适性。
复现评估
论文未提及开源代码或权重（仅给出项目主页 xishuxishu.github.io/uniforge3d-project），这是复现的最大障碍。算力需求高：联合训练 32 张 A800、全局 batch 128、60K 迭代；结构引导重建再需 32 卡全量微调 VGGT 40K 迭代；形状与纹理生成各再需 32 卡 batch 64、60K 迭代，共四个独立训练阶段。数据依赖 TRELLIS-500K 的 210K 物体子集与多视角渲染管线（每物体 2 方位 × 6 锚点候选 + 48 随机视角），评测需 Toys4K/GSO 各 500 物体并复现 GICP Sim(3) 对齐流程。有利因素是方法高度模块化且细节充分：重建分支初始化自公开 VGGT、生成分支自公开 TRELLIS.2、DINOv3 冻结；LoRA rank（32/64/128）、学习率 $5\times 10^{-5}$、AdamW 余弦衰减、CFG 图像丢弃率 0.1、98% 分位鲁棒平均等超参均已写明。小团队的降级路径：只复现第二阶段的结构引导视图选择（冻结 VGGT + TRELLIS.2），数据缩至数万物体、8 卡量级即可验证核心结论。
论文图表
三颗蓝莓组成的局部区域在三个输入视图中分别呈现：清晰正对可见、斜视角难以分辨、完全遮挡，用 3D 框标出同一区域在各视图中的不同观测状态。
这是全文动机的直观来源：不同视图对同一 3D 区域的信息量差异巨大，直接论证了逐体素视图选择（而非全视图混合）的必要性。
相同稀疏结构输入下，对比全多视图条件化与本文交替条件化生成的法向图渲染，红框标出输入图像中的参考细节、黑框标出对应生成区域，本方法局部细节保留更好。
与 Table 4 对应的定性证据，展示逐体素视图选择在局部细节（如雕花、细杆）上的具体收益。
在 Toys4K 与 GSO 上与 Stream3D+TRELLIS.2、Hunyuan3D-2MV、MV-SAM3D、ReconViaGen v0.2/v0.5、Mix3R 的全面定量对比，指标为 PSNR/SSIM/LPIPS 与 CD/F-score。Ours 在全部 10 项指标上最优，如 Toys4K PSNR 27.428、CD 1.4196、F-score 0.8899。
论文主结果表，是判断方法有效性的第一依据，也是与其他工作横向比较的基准锚点。
相同预测稀疏结构下，全多视图条件化（PSNR 26.892/CD 1.4739/F-score 0.8758）与逐体素视图选择条件化（PSNR 27.207/CD 1.4047/F-score 0.8897）的对比，PSNR/SSIM/LPIPS 在法向图渲染上计算。
隔离出视图选择模块的净收益，是评估该启发式设计性价比的直接依据。