NAMVIS：下一尺度自回归多视角图像合成

以几何条件化的下一尺度自回归替代扩散去噪，高效生成稀疏视角多视图

前置知识

稀疏视角新视角合成

给定一个未见物体的一张或几张带相机位姿的图像，在不做逐场景优化的前提下从新视角生成照片级真实图像。该任务严重欠约束：单张照片对应无穷多一致的三维场景，模型必须内建几何、外观与光照的强先验，早期显式重建方法在极少图像下会因深度与形状歧义而崩溃。

这是论文要解决的核心任务，所有架构设计与评测指标都围绕它展开，不理解任务设定就无法理解几何条件注入的必要性。

下一尺度自回归建模

由 VAR 提出并由 Infinity 扩展的图像生成范式：多尺度 VQ-VAE 把图像分解为空间分辨率递增的残差 token 图 $(r_1,\dots,r_K)$，Transformer 从粗到细逐尺度预测，同一尺度内所有 token 并行采样。相比逐像素扩散或光栅扫描自回归，它在速度和质量上同时占优。

NAMVIS 把整个多视角生成过程建立在此范式上，论文的序列布局、掩码设计与推理流程全部由它派生。

位级离散化

Infinity 用 $\{-1,+1\}$ 二值码替代传统码本量化：每个 token 隐式构成大小 $2^d$ 的词表，Transformer 通过 $d$ 个二元分类器独立预测每一位，并配合位级自校正策略稳定训练，避免了码本学习的额外开销。

NAMVIS 完全保留这一建模方式，其尺度加权交叉熵损失与逐位预测解码细节都基于位级 formulation。

投影位置编码 ProPE

一种把相机投影矩阵直接注入注意力的位置编码：query、key/value、输出三个注意力分支分别乘以 $P_v^\top$、$P_v^{-1}$、$P_v$，使注意力运算天然感知源相机与目标相机之间的射影关系，同时每个头保留两个局部 RoPE 分量编码当前分辨率的图像平面坐标。

多尺度 ProPE 是 NAMVIS 注入显式 3D 相机几何的核心机制，也是消融实验中相对 Plücker 光线条件增益最明显的组件。

分类器自由引导（CFG）

一种提升条件生成质量的推理技巧：训练时以一定概率丢弃条件使同一模型同时学会有条件与无条件两种分布，推理时用无条件预测与条件预测的外推组合放大条件的影响，从而改善生成质量与条件遵循度。

NAMVIS 训练时以 10% 概率把源视图特征替换为可学习无条件嵌入来启用 CFG，理解这一点才能明白其训练目标的完整设计。

COLMAP 可重建性

用 COLMAP 对生成的多视角图像做稀疏重建，以重建出的稀疏点数和相机配准率作为跨视角几何一致性的代理指标：如果各视角之间几何不一致，特征跟踪、相机配准与三角化都会失败，重建点数随之下降。

PSNR/SSIM/LPIPS 只衡量单视角保真度，论文靠这个指标证明联合生成的多视角在几何上真正自洽，这是读懂其一致性实验的关键。

研究动机

零样本新视角合成是 3D 内容创作、增强现实与机器人领域的核心问题：给定一个未见物体的一两张带位姿图片，要在不做逐场景优化的情况下生成新视角图像。早期方法显式重建 NeRF、3D Gaussian Splatting 或网格，需要数十到上百张视角，且在极少图像下因深度与形状歧义直接崩溃。以 Zero-1-to-3 为代表的扩散路线通过微调 Stable Diffusion 并注入相对位姿条件首次实现零样本 NVS，随后 Wonder3D、SyncDreamer、EscherNet 等不断改进多视角一致性，但迭代去噪使推理代价居高不下：论文同设置评测中 Wonder3D 生成一个目标视角需 2.0 秒，SyncDreamer 高达 16.6 秒，Zero-1-to-3 约 2.6 秒，当目标视角数量增多时延迟成倍放大，多视角生成在推理阶段非常昂贵。

本文的目标是本文的目标是构建一个完全摆脱扩散去噪的稀疏视角多视图生成框架：输入为若干带 $SE(3)$ 位姿的源图像加一组目标相机位姿，输出为直接一次粗到细自回归解码得到的全部目标视角，尺度内与跨视角的所有 token 并行预测，从而把单视角推理压到 0.6 秒、比最快的扩散基线快约 3.3 倍；同时质量不能妥协——要在 Objaverse（域内）、GSO（零样本）、OmniObject3D（真实扫描）三个数据集上把 PSNR、SSIM、LPIPS 全面超过 Zero-1-to-3、Zero-1-to-3 XL、Wonder3D、SyncDreamer、EscherNet，并用 COLMAP 重建性证明跨视角几何自洽。

与已有工作不同的是，切入角度来自两条成熟路线的交汇处。其一，VAR 与 Infinity 已证明下一尺度自回归在文生图上可匹敌甚至超越扩散模型，但其 3D 感知潜力几乎未被开发；其二，已有的自回归多视角尝试如 CausNVS 只是把扩散步当作序列元素，每个视角内部仍需迭代去噪，并未真正去掉扩散。NAMVIS 的独特之处在于首次把离散 next-scale 范式引入多视角新视角合成，并把文本条件整体替换为源视图视觉特征加显式相机几何：通过多尺度投影位姿编码把相机变换注入自注意力与交叉注意力，让纯自回归模型获得几何感知能力，形成一条 diffusion-free 的新技术路线。

核心方法

核心直觉是：既然粗到细的自回归模型能从文本提示合成照片级图像，那么把文本条件换成源视图特征与相机几何，就能把同样的生成过程导向新视角合成。技术上 NAMVIS 基于 Infinity 架构：一个共享且冻结的位级 VQ-VAE 把源图像编码为连续特征 $f^{src}$，并为目标图像计算 $K$ 个分辨率递增的残差 token 图 $(r_1,\dots,r_K)$；Transformer 按 $p_\theta(r^{tgt}_{1:K}\mid f^{src},P^{src},P^{tgt})=\prod_{k=1}^{K}p_\theta(r^{tgt}_k\mid r^{tgt}_{<k},f^{src},P^{src},P^{tgt})$ 逐尺度预测，每个尺度内部所有 token 以及所有 $N$ 个目标视角的 token 全并行，块因果掩码保证只 attend 先前尺度。位姿通过多尺度 ProPE 注入，源图像通过全局 [SOS] token 与密集交叉注意力双路条件进入模型。1B 参数的模型在约 20 万个过滤后的 Objaverse-XL 物体上训练 500 轮。

核心创新是几何条件化的下一尺度预测，与扩散方法的本质区别在于生成范式的替换：扩散每步都要对全部视角去噪，而 NAMVIS 一次粗到细解码即可完成所有视角，且同尺度内跨视角自由通信。几何注入靠多尺度投影位姿编码：把每个注意力头拆成一个投影分量加两个局部 RoPE 分量，对尺度 $s$ 的特征 $x^s=[x^s_{proj},x_u,x_v]$ 施加 $\Psi^b_{v,s}(x^s)=[M_b(P_v)x^s_{proj},\mathrm{RoPE}(x_u,u_s),\mathrm{RoPE}(x_v,v_s)]$，其中分支矩阵 $M_q(P_v)=P_v^\top$、$M_{kv}(P_v)=P_v^{-1}$、$M_o(P_v)=P_v$，使 3D 相机关系在每个分辨率都进入目标视角间自注意力与源到目标交叉注意力。第二个创新是双路图像条件：可学习查询对源特征做交叉注意力得到全局 [SOS] token 驱动 AdaLN，同时每个 Transformer 块再做保持源特征全分辨率的密集几何感知交叉注意力。

方法步骤详情

第一步，数据处理：对 Objaverse-XL 做三阶段过滤（渲染失败与几何伪影剔除、美学质量打分、字幕退化剔除），得到约 20 万物体，每个物体渲染 100 个带内外参、掩码、点图与字幕的 RGBA 视角。第二步，训练准备：从同一场景随机采样源/目标图像与位姿，冻结的 VQ-VAE 把两者编码为连续特征，仅为目标计算多尺度残差。第三步，自回归训练：Transformer 优化按尺度加权的位级交叉熵损失，以 10% 概率丢弃源条件（换成可学习无条件嵌入）以支持推理期 CFG；多视角序列按尺度交错排布 $S=(S_1,\dots,S_K)$，块因果掩码允许同尺度内跨视角互相 attend，并加可学习的尺度嵌入区分分辨率。第四步，几何注入：目标自注意力中 q/k/v/o 全用目标相机矩阵，源到目标交叉注意力中 query 与输出用目标相机、key/value 用源相机，源特征保持全分辨率不被降采样。第五步，推理：逐尺度解码并启用 KV 缓存与全局 ProPE 缓存（每种源-目标相机配置和尺度只算一次、跨层复用），1→1 设置每个目标视角仅 0.6 秒。

技术新颖性

技术新颖性体现在三点。第一，把 ProPE 从单尺度扩散模型扩展到分辨率逐尺度变化的自回归生成：每个自回归尺度都要重建坐标网格与旋转系数，源特征却始终停在 VQ-VAE 全分辨率，形成不对称的密集注意力——最粗糙阶段的生成也被高保真源证据锚定。第二，多视角交错序列加块因果掩码的设计，让任意两个目标视角在所有分辨率上都能互相通信，这是扩散方法靠逐步同步注意力才勉强实现的性质。第三，消融实验证明这些组件缺一不可：用 Plücker 光线替代 ProPE 掉到 20.26 PSNR，用前缀条件替代交叉注意力暴跌至 14.54，去掉密集交叉注意力只剩 17.89，LoRA 微调只有 18.91，而完整模型达 21.36，说明几何感知自回归必须全参数训练。此外还开源了约 20 万物体的过滤数据与预处理脚本，工程贡献扎实。

**Figure 2**: NAMVIS 架构总览。源图像经冻结 VQ-VAE 编码为源特征，池化为序列起始 token [SOS]，同时作为密集交叉注意力的 key-value 对。自回归 Transformer 逐尺度预测目标残差 token，多尺度 ProPE 同时注入目标视角自注意力与源到目标交叉注意力。冻结的 VQ-VAE 解码器把最终累积特征映射为图像。

实验结果

在 256×256 分辨率、平均九种源-目标配置（1→1 至 3→3）下，NAMVIS 全面领先：域内 Objaverse 达 22.485 PSNR、0.861 SSIM、0.091 LPIPS，超过 Zero-1-to-3（19.097）、SyncDreamer（19.368）、EscherNet（19.078）等全部扩散基线；零样本 GSO 达 21.715/0.843/0.111，比最强的 EscherNet 高约 2.84 dB；OmniObject3D 达 21.098/0.845/0.104，说明自回归先验可迁移到真实扫描。速度上 1→1 每目标视角仅 0.6 秒，比最快的扩散基线 Wonder3D（2.0 秒）快约 3.3 倍。扩展到 6→6 联合生成仍有 26.12 PSNR、0.9015 SSIM、0.0473 LPIPS，耗时 1.56 秒、峰值显存仅 5.0 GB。几何一致性方面，COLMAP 平均重建 221 个稀疏点，高于 EscherNet 的 214、Wonder3D 的 172；240 视角的相机配准覆盖率达 67.5%（162/240），逼近真值 70.0%，明显高于 EscherNet 的 60.4%。消融确认全量微调、ProPE 与密集交叉注意力缺一不可。

**Table 1**: 在 Objaverse、GSO 和 OmniObject3D 上的定量对比，包含各方法 PSNR、SSIM、LPIPS 与推理时间。

**Table 2**: 在 Objaverse 上扩展到更大源与目标视角数量的结果，报告 LPIPS、SSIM、PSNR、时间与显存。

**Table 4**: 跨 30 个场景的 COLMAP 相机配准覆盖率对比。

**Table 5**: 消融实验。每行替换或移除完整 NAMVIS 架构的一个组件，所有变体在 1 万 Objaverse-XL 子集上训练 200 轮。

**Figure 3**: 在 OmniObject3D (OO3D) 上的定性对比，对比对象包括输入视图、Zero123、Zero123-XL、SyncDreamer、EscherNet、Ours 与真值（GT）。

**Figure 4**: 在 GSO 上的定性对比，对比对象包括输入视图、Zero123、Zero123-XL、SyncDreamer、EscherNet、Ours 与真值（GT）。

查看结构化数据

任务	指标	本文	基线	提升
域内多视角合成（Objaverse，九种源-目标配置平均）	PSNR / SSIM / LPIPS	22.485 / 0.861 / 0.091	EscherNet 19.078 / 0.816 / 0.147	PSNR +3.41 dB，LPIPS 降低约 38%
零样本泛化（GSO）	PSNR / SSIM / LPIPS	21.715 / 0.843 / 0.111	EscherNet 18.878 / 0.799 / 0.156	PSNR +2.84 dB，LPIPS 降低约 29%
真实扫描物体	PSNR / SSIM / LPIPS	21.098 / 0.845 / 0.104	EscherNet 17.767 / 0.780 / 0.167	PSNR +3.33 dB
推理速度（1→1 设置，256×256）	秒 / 目标视角	0.6 s	Wonder3D 2.0 s（最快的扩散基线）	约 3.3× 加速
大视角数扩展（Objaverse 6→6）	PSNR / 推理时间 / 峰值显存	26.12 / 1.56 s / 5.0 GB	无（评测的扩散基线不支持该联合生成设置）	唯一支持 6 源 6 目标联合生成的方法
跨视角几何一致性（COLMAP 重建性）	平均重建稀疏点数（越高越好）	221	EscherNet 214，Wonder3D 172，SyncDreamer 151	比最强基线高 3.3%
相机配准覆盖率（30 个场景 240 视角）	配准视角比例	67.5%（162/240）	EscherNet 60.4%（145/240），真值 70.0%	比 EscherNet 高 7.1 个百分点，逼近真值

局限与改进

作者明确承认两点局限：模型仅在 256×256 分辨率上训练与评测，直接推 512×512 需要额外训练或微调；训练数据是物体中心的 Objaverse-XL，学到的几何先验未必能直接迁移到复杂真实场景。我的补充观察有四点：一是与基线的评测协议不完全对齐，Wonder3D 因架构限制被迫在 0° 仰角评测而其余方法在 30°，跨方法对比的严格公平性有折扣；二是 COLMAP 重建点数与配准率只是几何一致性的间接代理，且真值图像自身也只有 70% 配准覆盖，说明该指标本身噪声不小；三是方法不产出显式 3D 表示，无法像 LRM 类前馈重建方法那样渲染任意新视角，用途限定在指定目标位姿的图像生成；四是逐尺度块因果注意力带来 KV 缓存随尺度数增长的问题，更高分辨率与更密集视角的可扩展性尚未验证，位姿噪声鲁棒性也缺乏实验。

独立分析的弱点

独立分析几个弱点并给出改进方向。首先，块因果注意力要求后面尺度 attend 全部先前尺度，KV 缓存与注意力开销随尺度数线性增长，限制高分辨率扩展——可借鉴作者提到的 Switti：当前尺度表示已累积了低尺度信息，可用尺度局部或窗口化的目标间注意力替代全因果注意力，只保留几何感知的源到目标交叉注意力。其次，物体中心训练分布使其难以处理遮挡、复杂光照与场景级布局，可用物体与场景混合的多视角数据缓解。第三，CFG 依赖 10% 条件丢弃与推理期双前向，可用引导蒸馏把引导效果压进单次前向。第四，LPIPS 偏向感知相似度，对细粒度几何误差不敏感，建议补充深度一致性或法向误差等几何指标。第五，位级逐位独立预测假设各比特条件独立，可能与更强的 token 级解码或掩码生成策略存在差距。第六，未探索与显式 3D 表示结合，若能直接输出可渲染的 3D Gaussian 资产会更实用。

未来方向

作者提出的研究方向包括：用 Switti 式尺度局部或窗口化注意力替代对全部先前尺度的完整块因果注意力，在不改变几何条件化粗到细框架的前提下降低高分辨率的内存与 KV 缓存成本；把训练数据从物体中心扩展到融合物体级与场景级的更大规模多视角数据集以弥合域差距；提升对位姿噪声的鲁棒性；以及压缩序列长度瓶颈以支持更高分辨率和更密集的目标视角生成。基于本文成果还可延伸：把多尺度 ProPE 的几何注入思想移植到视频自回归生成，实现相机可控的视频合成；与前馈 3D 重建（LRM、3D Gaussian Splatting）级联，构成生成加重建的完整 3D 资产管线；利用其开源的约 20 万物体数据（RGBA 渲染、位姿、掩码、点图、字幕）训练更大参数量或更高分辨率的几何感知自回归基础模型；把下一尺度范式推广到 4D 动态物体的时空联合生成。

复现评估

复现条件总体较好。作者承诺发布过滤后的场景清单、约 20 万物体的渲染 RGBA 图像、相机内外参、掩码、点图、生成字幕与全部预处理脚本，项目页 corl-team.github.io/namvis 提供更多定性结果、视频与注意力可视化；消融实验只在 1 万物体子集上训练 200 轮即可复现主要结论，门槛较低。主要成本在正式训练：1B 参数 Transformer、全局 batch size 512、AdamW 学习率 $1\times10^{-4}$、20 轮 warmup 后余弦衰减、共 500 轮，需要多卡 GPU 训练相当长时间。推理侧很轻量：6→6 设置峰值显存仅 5.0 GB，1→1 单视角 0.6 秒，消费级 GPU 即可运行。评测需按附录 H 的场景清单渲染 256×256 真值，并对每种方法在相同设置下运行 COLMAP 统计重建点数与配准率，流程明确可复现。

NAMVIS：下一尺度自回归多视角图像合成 NAMVIS: Next-Scale Autoregressive Multi-View Image Synthesis