UniRecGen：统一多视角三维重建与生成 UniRecGen: Unifying Multi-View 3D Reconstruction and Generation

Stage I 重构训练：对 VGGT 沿用原训练目标 $\mathcal{L}=\mathcal{L}_{camera}+\mathcal{L}_{depth}+\mathcal{L}_{pmap}+\lambda\mathcal{L}_{track}$，但去掉 tracking 损失以提升吞吐，并把点图头改写为输出 $P_c^{can}$ 的规范空间监督；输入为随机采样的 4 视图，batch size 32，学习率峰值 $1\times10^{-5}$，1K 步 warmup，共 80K 步，约 5 天（4×H800）。Stage II 几何条件生成训练：冻结 Stage I 权重，对 Hunyuan3D-Omni 的 DiT 使用 flow-matching 损失 $\mathcal{L}=\mathbb{E}_{t,x_0,x_1,c_{cond}}\|u_\theta(x_t,t,c_{ond})-(x_1-x_0)\|_2^2$，其中条件信号 $c_{cond}=[F_{MV}^1,\dots,F_{MV}^N,\beta]$，$F_{MV}^i = F_D^i + MLP_{view}(F_V^i) + MLP_{cam}(\hat{t}_{cam}^i)$；训练时采样真实点云并以相似变换对齐到预测点云后再编码进潜空间，同样 80K 步，约 8 天。推理时先用 Stage I 得到 canonical pointmap 与 VGGT 中间特征，再把它们与 DINO 特征联合送入 Stage II 生成器，最终通过 Marching Cubes 从 SDF 解出网格。

技术新颖性体现在三处：其一，Branch Repurposing 探索了"仅修改一个预测头、保留其它预训练头"的策略，相比直接全部监督迁移（导致预训练先验退化、ATE 高达 0.2517）或显式 SE(3) 变换回归（梯度信号弱、ATE 0.5934），本文策略在 ATE 0.0353 的同时不损害深度估计；其二，Latent-Augmented View Conditioning 把重建模型的潜 token 通过 MLP 注入到 DINO 特征空间，与 Point-Guided Sampling（Chamfer 0.0260）相比 F-Score 提升约 0.02，并避免了对稀疏点采样造成的稠密上下文丢失；其三，把模块化解耦训练作为统一两类范式的设计原则——先训重建器做"事实锚点"、再训生成器做"先验细化"，既稳定训练又支持模块互换与中间可解释监测。

其一，方法对输入图像质量与位姿扰动敏感：当相机平移扰动过大时 VGGT 的相对位姿预测仍可能漂移，进而污染 Stage I 的规范点云，影响 Stage II 的几何锚点。改进方向是引入鲁棒位姿正则化或在 Stage II 中对几何锚点做概率化采样。其二，Branch Repurposing 仅在 VGGT 单一 backbone 上验证，迁移到 DUSt3R、$\pi^3$ 等其它前馈模型时规范点云的精度可能因几何头结构差异而下降，需要针对新 backbone 设计专用分支。其三，Latent-Augmented 条件把 VGGT 潜 token 通过 MLP 直接注入 DINO，没有显式建模多视图之间的几何一致性约束；当输入视角重叠很少时，可能在不同视图注入的特征之间产生不一致，改进方向是加入 cross-view attention 或显式几何一致性 loss。其四，整体框架在 GPU 显存与时间上的代价较高（13 天 H800 训练，单次推理需两次完整前向），难以做实时应用。其五，缺乏对失败案例的系统性分析，例如反光、透明物体上的误差分布。

作者在 Conclusion 中提出要把框架扩展到场景级生成并加入纹理合成，这要求把当前物体级 canonical 空间扩展为场景级共享坐标系并解决多物体拓扑。基于成果可延伸的方向还包括：把"重建-生成"协同范式推广到动态 4D 场景，让前馈重建提供时序几何锚点、生成器补全运动；引入显式 3D 高斯或神经辐射场作为中间表示，把 UniRecGen 与 3DGS 渲染管线衔接；探索不同前馈 backbone（如 MASt3R-SfM、$\pi^3$）与不同扩散生成器（TRELLIS、CraftsMan）的可替换组合，进一步验证模块化解耦的通用性；以及把 AIGC 内容生成扩展为可控条件（文字、草图、物理属性）驱动的稀疏视图生成系统。

作者明确开源代码（GitHub: zsh523/UniRecGen），论文对超参与流程描述详尽：训练数据来自 Objaverse-XL，按 TRELLIS 的美学评分过滤并去除透明物体，得到 40K 高质量 3D 模型，每个物体用 Blender 渲染 50 个视角；评测用 GSO 与 Toys4K 各 100 个物体，每个物体渲染 24 张 RGB（FOV、仰角、方位角随机，相机平移加扰动），从中随机采 4 张作为输入。Stage I 与 Stage II 均 80K 步、4×H800 GPU、batch size 32、峰值学习率 $1\times10^{-5}$、1K 步线性 warmup，分别约 5 天与 8 天。所有评测指标（Chamfer-$\mathcal{L}_2$、Precision/Recall@0.01、F-Score、Normal Consistency、IoU、ATE、RPE$_t$、RPE$_r$、Abs Rel、RMSE）均给出公式或标准定义，并提供 baseline 的统一复现脚本。整体复现难度为中高：算法本身实现并不困难，但 13 天 H800 算力门槛较高，对个人研究者不够友好；可以通过降训练步数、减小 batch 或在较小 Objaverse 子集上做近似复现，但完整指标需要完整算力预算。