3DTV：面向实时视图合成的可前馈插值网络 3DTV: A Feedforward Interpolation Network for Real-Time View Synthesis

完整流水线分四步。第一步是 **view selection**：把所有相机中心 $\{p_i\}$ 投影到一个拟合于其分布的圆柱面上（轴 $a$、底 $o$、半径 $r$、高 $h$），先做 radial normalization 把深度偏置去掉（公式 1），再做 perspective mapping 把 points 投到原点前方一块平行平面上（公式 2）；然后在该平面做标准的 2D Delaunay 三角剖分，用 Müller-Trumbore 算法让任意查询射线 $q$ 找到包裹它的三角形 $\tau$，并把 $\tau$ 对应的三台相机作为本次合成的源相机。第二步是 **backbone feature extraction**：对每台源相机 $i$ 跑 GhostNet 式的 7 级特征金字塔 (公式中 $l=0$ 为最高分辨率)，每级由 stride-2 的 Ghost bottleneck 做下采样、再一个 bottleneck 做 refine，bottleneck 里加 channel attention (global average pool + channel-wise reweight) 以及 residual shortcut，最深层接了一个 L-ASPP (1×1 conv + 多 dilation 的 depthwise separable atrous + GAP) 来补足大尺度上下文。第三步是 **coarse-to-fine 深度估计与融合**：最粗层 $l=6$ 初始化 $32$ 个深度假设 $D^6=\{0.5, 0.75, ..., 8.5\}$ 米，每层 $l<6$ 把上一层上采样的 $D^{l+1}_\uparrow$ 窗口 $\pm \epsilon_l$ 内精细化 (公式 3)，对每层每个深度用 homography $\mathcal{W}(\mathcal{F}^l_i, H_{i\to4}(d_k))$ (公式 4) 把源特征 warp 到目标相机，并构造分组相关 (公式 5) 喂入 shared encoder-decoder，回归深度残差 $\Delta^l$ 和 alpha $A^l$；decoder 用每层得到的融合 latent $F^l_{fused}=\sum_i W^l_i \odot \mathcal{F}^l_{i\to4}(D^l)$ (公式 6)、depth $D^l$、alpha $A^l$ 以及上一层上采样的 latent $Z^{l+1}_\uparrow$ 做图像合成，并把 $Z^{l+1}_\uparrow$ 也反馈给下一层精化，形成 depth-fusion 闭环。第四步是 **tensorRT 部署**：训练完成的 PyTorch 在 BF16 精度下导出 ONNX，再用 `trtexec` 的 `--best` flag 做 CUDA kernel 自动搜索，得 Ours-RT 在 1024² 上 25 ms / 帧、2.2 GB 显存。

技术新颖性主要在于把三个原本独立的领域组合成一个可端到端学习的 pipeline：(1) Image-based rendering 的几何先验（参考 Chen & Williams 1993）—— 这是 1990 年代就被提出的"用 3 张视角插值出新视角"的想法，但当时没有强学习表达力；3DTV 用 Delaunay 把它现代化成"自动挑 3 台"，是经典几何与学习方法的桥梁；(2) 可微 plane-sweep MVS（MVSNet/CasMVSNet 的 cascade cost volume 思路）—— 通常用于离线三维重建，3DTV 把 coarse-to-fine 的 plane-sweep 借用过来估计自由视点深度，但只在三个已知相机间做，所以远没有完整 MVS 显存爆炸的问题；(3) 帧插值的 autoregressive decoder (受 FILM 启发)—— FILM 用 optical flow + autocorr，3DTV 把 flow 换成 depth-warped correlation，把 autocorr 的 latent $Z^{l+1}_\uparrow$ 变成下一层深度估计的 feedback 条件。第 (3) 个反馈回路的设计是与已有 MVS/插值网络的关键不同点；第 (1) 个 Delaunay-driven view selection 也是本文新提出的、独立于任何先前工作的步骤。

独立分析可见几个具体场景下的弱点：(1) **多目标遮挡处理弱**：Fig. 5d 显示两个交叠的人会被洗掉——confidence 网络只看到 warped 特征和几何，难以判断多个前景目标的相对深度，需要显式引入 instance-level mask 或 semantic prior 才能解决；改进方向是引入 instance segmentation 头或让 alpha 预测吸收额外语义嵌入。(2) **超出训练分布时崩溃**：LLFF 上 PSNR 仅 10.3，比最弱 baseline 都差接近一倍，原因是其 coarse depth 假设窗口 $[0.5, 8.5]$ m 远小于 LLFF 的真实场景尺度；改进方向是用 multi-scale depth hypotheses（在小窗口的基础上加几个粗窗口，例如对数采样）或训练时加入 depth range augmentation。(3) **深度采样数 = 32 不够时无法表达连续空间**：当前最粗层就固定 32 plane，对极端 wide baseline 还是不够；可考虑加 dynamic top-k sampling 或 coarse-to-finer depth search（如 CasMVSNet 那样把 plane 数随级数递增）。(4) **per-view confidence 是加权和 (公式 6) 不够柔性**：当三视角颜色不一致时容易产生 ghosting；可以引入非局部 attention 让每个目标像素学习"从哪个源像素取信息"。(5) **没有 temporal model**：当前完全是单帧前馈；当查询相机沿时间轨迹变化时输出会有抖动 (shimmering)，可加 temporal latent propagation 或 temporal consistency loss，与 RIFTCast 这种 streaming 系统对接。(6) **2-view 配置下掉点严重**：2 views 时 25.9 → 23.6，原因是 single homography 不再够；想要兼容 2-view 场景需要额外的 priors（如 GPS-Gaussian 的像素对齐模块）。

作者提出的后续方向：(1) 量化以突破 60 FPS：他们明确指出 weight quantization 是把延迟压到 16 ms 以下的关键；(2) 支持 large scale scenes，要扩大训练分布到大深度区间；(3) 处理 extrapolation beyond camera hull，引入虚拟视点合成或 proxy geometry。基于其成果可延伸的方向：(1) **视频流化**：把单查询视角扩展到时间序列查询视角并加 temporal loss，可直接对接 Live Telepresence；(2) **跨场景 continual learning**：3DTV 现在是纯合成训练，如果引入少量真实 capture 做 few-shot adaptation，可以让模型在客户 capture stage 上"再校准"；(3) **开放式参考集**：把 view selection 从 3 个固定相机扩展到 N 个动态候选，让模型自适应挑 2-5 个；(4) **多相机 / 鱼眼 / 360° 兼容**：当前内参假设普通针孔，鱼眼或 equirectangular 输入下 homography 会失效，需要 pluggable intrinsics；(5) **结合 diffusion 先验**：当前在复杂区域会 blur，如果把 3DTV 的合成图作为 diffusion 的 conditional input，可在保持几何正确性的同时补足高频细节（参考 SparseFusion 的范式）；(6) **把 Delaunay 视角选择推广到 4D**：把时间也作为一维，把相机选择问题扩展到时空三角剖分，可以让 dynamic scene 自由视点更稳定。

复现评估：(1) **代码与模型权重**：作者承诺 acceptance 后在项目页 https://stefanmschulz.github.io/3DTV_webpage/ 公开代码与训练好的模型，但当前 (2026-04-13 submission) 仅有 project page 链接，代码尚未放出，所以现阶段精确复现存在门栏。(2) **数据**：训练数据集完全自建，包含 $24{,}753$ 个 sample（357 多个 3D asset + 自建 Blender cube 场景 + HumanGenerator3D 渲染的人体），来自 polyhaven、sketchfab、humgen3d 三个免费/付费素材库，没有使用任何受限数据；合成数据本身理论上可以重新渲染但需要 Blender + HumanGenerator3D + 用户自己复现 volumetric rendering pipeline。(3) **算力**：训练需要约 4 天（Phase 1, $512^2$ 分辨率，batch size 2）+ 36 小时（Phase 2, $1024^2$），单卡 NVIDIA A40；推理目标硬件 RTX 4090。从 A40 到 RTX 4090 的硬件跨度意味着没有 RTX 4090 的实验室只能离线 eval。(4) **部署**：作者给出 PyTorch $\to$ ONNX $\to$ TensorRT 的完整 pipeline（BF16 + `trtexec --best`），这块复现门槛较低。(5) **评价难度**：六个 eval 数据集都需要申请或 license（MVHumanNet、THuman2.1、RIFTCast、DNA Rendering 等大多只对学术用途开放），LLFF 是公开的。(6) **协议不一致**：作者承认 LLFF 上把 forward-facing 场景"强行"塞 3-view，选了 2D horizontal level，与原始 3-view split 不一致，这会让复现者疑惑；好在 Table 6 详细列出了每个 LLFF 场景用的相机 ID，减小了二次解读的成本。综合看，作者的复现承诺清晰但当前未兑现代码，仅 intermediate project page 链接；技术上还需要 $1\times$ A40 + 数天训练时间 + RTX 4090 部署 + 多个受限数据集 license。