PixARMesh：自回归网格原生单视图室内场景重建 PixARMesh: Autoregressive Mesh-Native Single-View Scene Reconstruction

**步骤1：多模态感知输入**。给定输入RGB $I\in\mathbb{R}^{H\times W\times 3}$，调用Grounded-SAM得到实例mask $\{M_i\}_{i=1}^N$、Depth Pro得到深度图$D$、DINOv2得到特征图$F_{img}$。用相机内参$K$将$D$反投影得到全局点云$P_{scene}$，按mask切分得到per-object点云$P_i = P_{scene}\odot M_i$。BPT分支采样4096点/物体、EdgeRunner分支采样8192点/物体，全局点云采样16384点。所有点云和最终预测的位姿都被归一化到$[-1,1]^3$单位立方体，并施加$\pm 45°$绕竖直轴旋转、$[0.75,1]$缩放、$[0,0.2]$平移的数据增强。**步骤2：像素对齐PC-Encoder**。对$P_i$中每个3D点$p$用$K$投影到图像平面取像素$(u,v)$，拼接几何特征$f_p^{pc}$和外观特征$f_p^{img}=F_{img}(u,v)$，送入Transformer block的cross-attention作为key-value；一组可学习query embedding作为query聚合成per-instance latent $z_i$：$z_i = \mathcal{E}_{pc}(\{f_p^{pc}, f_p^{img}\})$。同一encoder也处理$P_{scene}$得到$z_{scene}$。**步骤3：场景上下文聚合**。$z_i$作为query与$z_{scene}$做cross-attention：$z_i^{agg}=\text{CrossAttn}(q=z_i,k=z_{scene},v=z_{scene})$，让每个物体在编码时能感知邻近物体的分布，缓解遮挡歧义。**步骤4：自回归位姿-网格解码**。BOS起，先用EdgeRunner的词表生成7-DoF bbox的8个角点坐标（每个角点$x,y,z$各一个token，共24个token；BPT用block-wise tokenization只需16个token）。SEP分隔后，再生成mesh token（EdgeRunner通过EdgeBreaker半边结构遍历三角形，词表518，序列压缩率约0.46@512分辨率；BPT用Blocked and Patchified Tokenization，词表40960，压缩率约0.26@128分辨率）。EOS结尾。整个序列长度通常为数千token。**步骤5：位姿解码**。将8个角点token解码为normalized scene坐标$X_{global}\in\mathbb{R}^{8\times 3}$，与canonical box角点$X_{local}$用最小二乘拟合$T^\star=\arg\min_T \|T X_{local}^T - X_{global}^T\|_F^2$得到gravity-aligned affine变换$T^\star\in\mathbb{R}^{3\times 4}$，施加到后续mesh的所有顶点上。**步骤6：训练**。两阶段策略：先在layout prefix上warm-up（EdgeRunner 100k iter / BPT 30k iter），再全序列联合训练（30k / 25k iter）。损失是标准的next-token cross-entropy：$\mathcal{L}_{ce}=-\sum_{t=1}^T \log p_\theta(s_t|s_{<t}, z^{agg})$。8×H100，AdamW，lr=$1\times 10^{-4}$，500-step warmup+cosine decay到$1\times 10^{-5}$，batch=64。

PixARMesh的技术新颖性主要体现在三个层面的"第一次"：(a) **范式层面**：首次将自回归mesh生成从物体级扩展到场景级，把"场景重建"从implicit representation转回explicit mesh representation，输出直接可用；(b) **架构层面**：首次为单视图场景重建引入"像素对齐PC-Encoder+场景上下文cross-attention"的双注入机制，让物体级生成器能应对严重遮挡和partial observation，这是现有方法（包括同期的MIDI、DepR）都没考虑过的几何-外观协同融合；(c) **训练目标层面**：首次把位姿估计建模为mesh vocab上的离散token生成（共享EdgeRunner的518词表），并通过端到端CE loss与mesh联合优化，证实了"layout reasoning + geometry reasoning"在一个decoder里涌现的能力（Table 2显示Two-stage基线参数翻倍仍劣于本文联合方案）。除此之外，作者在数据侧也做了细致工程：用平面简化+quadric边折叠+基于Hausdorff距离$\tau=0.01$的quality selection对3D-FUTURE的1.8k面/物体目标做后处理，让生成器能学到紧凑的artist-style网格。

**(1) 自回归解码的串行瓶颈**——每场景数千token必须顺序生成，是推理慢的根因。可改进方向：用speculative decoding做并行draft、蒸馏为非自回归模型（如MaskGIT-style）、对pose token单独做non-autoregressive回归。**(2) 上游感知误差的级联放大**——Table 5显示GT-segmentation能F-Score +12.6pp，说明mask错误会直接传到点云质量再到mesh。可改进方向：joint training segmentation/Depth Pro with the mesh decoder、加入mask noise-robust训练（训练时随机mask掉部分实例）。**(3) 缺乏背景重建**——墙/地板/天花板被忽略，限制了完整场景的实用性。可改进方向：增加一类"background plane token"或独立轻量平面重建分支用同一decoder生成。**(4) 量化分辨率天花板**——物体被强制归一化到单位立方体，物理尺寸差异大的物体细节共享同一token预算。可改进方向：hierarchical tokenization（先粗后细）、自适应量化步长、或对长物体局部tokenization后拼接。**(5) 类别不平衡与OOD**——3D-FRONT/3D-FUTURE以家具为主，训练分布外类别表现未知。可改进方向：纳入Objaverse、3D-FUTURE之外的物体库，用text-to-3D priors做zero-shot扩展。**(6) 真实域定量证据不足**——仅展示定性，缺少真实图像F-Score。可改进方向：在Pix3D等数据集上建立真实域benchmark并报告。

**作者明确指出的方向**：从Table 4/5的oracle上限（F-Score 68.48%场景级、87.19%物体级）反推，提升感知模块（特别是分割）是最高性价比的下一步。**基于成果可延伸的方向**：(a) 视频输入扩展——多视图时序信息可以替代单图深度估计，从根本上缓解遮挡问题，把CD-S从49.1再降一个台阶；(b) 文本引导的编辑——mesh已经是explicit表示，可以在BOS之前插入text-conditioned token实现"把这把椅子换成沙发"之类的编辑；(c) 物理属性推理——3D bounding box已经给出位姿，可以联合回归质量、摩擦系数等物理参数，让重建结果直接进入仿真器；(d) 大规模3D数据预训练——当前只训在3D-FRONT的2.3万场景上，迁移到Objaverse-XL等百万级物体库有望进一步提升物体级F-Score到接近DepR的90%；(e) 与LLM-agent结合——把重建的mesh作为可调用工具，让语言agent能"在3D场景中走来走去"；(f) 自回归-扩散混合架构——用diffusion加速位姿token生成（位姿空间连续性更强），保留自回归生成mesh（离散token空间更优）。

**开源情况**：论文正文与附录未明确声明代码/模型权重开源，arXiv链接为2603.05888v1，需关注后续项目页https://mlpc-ucsd.github.io/PixARMesh的更新。**数据集**：3D-FRONT与3D-FUTURE公开可下载，Pix3D、ScanNet、Matterport3D均有公开链接，作者使用了InstPIFu的预处理版本作为起点——数据获取门槛低。**训练算力**：8×H100，EdgeRunner分支约2天、BPT分支约18小时，属于学术顶会典型配置。**复现难度**：中-高。**难点1**：依赖Grounded-SAM、Depth Pro、DINOv2三个外部模型的精确版本和prompt设置（Grounded-SAM对类别prompt敏感）；**难点2**：mesh tokenization需要严格对齐EdgeRunner/BPT原仓库的量化词表（EdgeRunner 518、BPT 40960），版本差异会导致token不对齐；**难点3**：两阶段训练（layout warm-up + joint training）的具体iter次数和loss balance对最终F-Score影响较大（EdgeRunner 100k+30k、BPT 30k+25k）；**难点4**：数据预处理含Hausdorff距离$\tau=0.01$的经验阈值和平面简化参数，复现时需要重新调校才能匹配作者报告的1.8k面/物体目标。**评估门槛低**：CD与F-Score计算在文中给出了10k均匀采样的标准做法；Box IoU可参考MIDI的评测脚本。