OmniShowcase：从多视角图像生成全向主体一致视频 OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images

方法完整流程如下。步骤一（资产筛选）：网格经 G0 启发式预筛剔除退化网格（拒绝约 17%），再用 Gemini 2.5 Flash 检查 4 张渲染视图的 6 项二值标准（工艺、几何完整、无底板、有纹理、类别匹配、非薄立形态），G1 从 7,016 个资产保留 4,186 个（60%）。步骤二（渲染）：对每个资产按 88 种轨迹配置之一（4 种轨道族运动 × 4 种旋转量共 16 条，加 8 种 arc/truck/dolly/zoom 运动 × 9 种取景过渡共 72 条）用 Blender 渲染 81 帧目标视频，另渲染偏航间隔 90° 的 $N=4$ 张参考视图。步骤三（主体保持合成）：渲染 alpha 通道提供主体掩码，VACE 视频修补模型围绕固定主体像素合成提示驱动的场景背景（场景位置来自 Claude Opus 5 撰写的 2,000 条场景库，提示组合位置、相机运动与光照），目标裁剪至 80 帧；G2 门（主体不漂浮、场景像刚性三维空间等 6 项标准）只保留 44% 的合成片段。步骤四（几何条件生成）：对 4 张白底参考视图掩码主体，用 Depth Anything 3 预测对齐的逐视图 pointmap，经 MV-SAM3D 融合为 3D 高斯，沿 15° 仰角偏航轨道在 $T_c=25$ 个均匀位姿渲染深度并转为法向；G3 门淘汰偏离参考或破碎的重建，通过率 63%。步骤五（样本构建）：Tarsier2-7B 分别为法向转盘和目标视频写描述，配上 [CONDITION] 与 [VIDEO] 标记。步骤六（训练）：80 帧目标与 25 帧法向分别经因果 VAE 编码为 $T_v=20$ 和 $T_n=7$ 帧潜变量，与 4 张独立编码的参考图潜变量时间轴拼接为 $L=N+T_n+T_v=31$；通道轴堆叠噪声化输入 $\tilde{z}_\tau = m\odot z + (1-m)\odot\tau z + (1-\tau)\epsilon$、掩码 $M\in\{0,1\}^{L\times4\times h\times w}$、干净条件 $m\odot z$ 三流共 $16+4+16=36$ 通道；以损失 $\mathcal{L}=\mathbb{E}\|\hat{v}_\theta^V-(z_V-\epsilon_V)\|^2$ 只在目标片段上训练 LoRA（rank 128），33,000 步、4 张 B200 约 50 小时。步骤七（推理）：对新主体的参考视图重复步骤四得到法向转盘，50 步采样、三方 CFG（参考流 $s_{ref}=5.0$、文本流 $s_{text}=5.0$），27 帧潜变量按因果 VAE 压缩因子 4 解码为 $1+4(27-1)=105$ 帧。

技术新颖性体现在四个层面。其一，数据范式：此前 S2V 训练要么用真实视频（Phantom 约 1M 条、MAGREF 更大，但无法保证多视角对应同一 3D 主体），要么用生成视频（MV-S2V 的 14K 条中 87% 为生成数据），要么用静态多视图做逐主体优化（3DreamBooth 的 200K）；本文首次以「3D 资产渲染为主体真值 + 视频修补生成背景」构造多视角 S2V 语料，并用 Table 5 的配对实验证明数据质量的实质差异——同一主体同一轨迹下，渲染数据的 DINO 相似度 0.8030 显著高于 Uni3C 生成数据的 0.7167，MEt3R 0.1871 优于 0.3052。其二，条件设计：把重建法向转盘作为时间轴独立条件段是新的，它绕开了通道式几何控制（深度/姿态类 ControlNet 方法）必需的逐帧对齐假设，使同一个几何条件可以服务任意目标轨迹。其三，训练-推理一致性原则：几何条件刻意从参考视图重建而非源网格，避免「训练时见到完美几何、推理时只能拿到带噪重建」的分布漂移，这个设计原则对后续工作有普遍参考价值。其四，评测基础设施：SHOWCASEBENCH 首次为多视角 S2V 提供带源网格与相机参数的保留集，使 GT-CD 这类真值几何指标成为可能，配套的 RotCoverage 提供视角覆盖诊断。整条流水线（含 VLM 门控的精确判据）以约 25 美元每千条保留片段的成本实现无人介入，也展示了「生成式模型当质检员」的工程范式。

第一，条件质量无兜底：训练时 G3 门淘汰了 37% 的失败重建，但推理时同样的前馈重建没有任何质量检查，遇到透明、反光、细长结构（G1 中「薄立形态」就是已知难点）的主体，重建可能破碎，法向条件反而会把错误几何「教」给模型。改进方向：推理时加入重建置信度估计，置信度低时退化为纯参考条件或对法向条件降权（可学习条件 dropout）。第二，非刚性主体完全不可用：宠物、人物、有活动部件的物体是 S2V 的高价值场景，而本文条件信号本质上是单一刚体扫描。改进方向：把条件从静态转盘扩展为随生成序列变化的时变几何（4D 重建），或让模型预测逐帧几何残差。第三，背景真实感：修补模型生成的背景缺乏与主体一致的光照传输，可把渲染时的 HDRI 光照传给修补过程做 relighting，或改用真实场景扫描作背景。第四，输出规格偏小：480×832、80 帧，14B 主干加 LoRA 的方案理论上可迁移到更高分辨率主干，但几何条件的注入逻辑和显存开销需要重做。第五，GT-CD 的反常信号未被解释：附录 F 中 Phantom 单参考的 GT-CD（0.1651）好于四参考（0.2843），作者仅以「几乎每个指标上四视图更强」带过，这暗示 GT-CD 对「只生成薄壳」的方法可能系统性偏低（覆盖小的形状更容易贴近真值的一部分），指标设计值得复核，比如加入覆盖度惩罚项。第六，数据规模仅 4K 条，scaling 行为未知，好在其成本曲线（约 25 美元每千条）让扩展实验相当便宜。

作者提出的方向：其一，为非刚性主体设计「随生成序列变化的条件表示」，使几何条件能编码姿态演化而非单一刚体；其二，解决背景合成感，让主体与背景的光传输一致。基于本文成果可延伸的方向：其一，生成-重建闭环——本文证明几何条件能显著提升视频的 3D 一致性，反过来可用这类一致性视频作为 image-to-3D 生成的训练数据或测试时优化信号，形成「多视角视频生成喂 3D 重建」的飞轮。其二，数据规模扩展——把语料从 4K 扩到 50K 并研究 scaling 行为，验证小而精数据的收益是否随规模持续。其三，混合真实数据——用手机环拍真实物体加本文的重建-法向流程构造真实域样本，缩小合成-真实差距，同时绕开修补背景的光照不一致。其四，更长视频与自回归扩展——80 帧限制源于 VAE 时序约束，可研究法向条件的分段重注入以支持分钟级轨道展示。其五，条件信号正交组合——把几何转盘与主体运动轨迹、多主体布局等控制信号组合，向场景级生成推进；非刚性方向上可探索从单目视频提取时变几何作为条件。其六，指标转化为信号——用 GT-CD 类几何指标做推理时引导（几何感知的 CFG 或多采样择优），把评测协议变成生成时的质量控制器。

复现条件总体较好但门槛不低。开源方面：作者承诺公开 SHOWCASE-4K 数据集（4,000 条视频、2,593 个资产、620 个类别，附许可证与原始作者信息）、SHOWCASEBENCH（50 个保留主体带源网格与相机参数）以及数据合成代码；附录 G/I 逐字给出全部 VLM 门控判据（G0-G3 的完整 prompt）、类别与场景词汇生成规则、caption 模板和推理 prompt 格式，训练超参数完整（Wan2.1 I2V-14B-480P 的 Diffusers 实现、LoRA rank 128 与 $\alpha=128$、学习率 $2\times10^{-5}$ 经 100 步 warmup 后恒定、AdamW $\beta=(0.9,0.95)$、权重衰减 $10^{-4}$、梯度裁剪 1.0、33,000 步、bf16、seed 42），评测协议（每视频采样 16 帧、分割模型、点云中心化/归一化/去最外 3% 点/2 万点下采样、固定尺度 ICP）也写得足够细。但需注意：模型权重是否发布未明确承诺，只提了 data、benchmark、code；算力上需要 4 张 NVIDIA B200 训练约 50 小时，对多数实验室是显著门槛，14B 主干推理本身也需高端 GPU；流水线依赖一长串第三方组件（Blender、VACE、Depth Anything 3、MV-SAM3D、3DGS、Tarsier2-7B、Gemini 2.5 Flash、Claude Opus 5），其中两个商用 API 有依赖成本（虽便宜，全程约 120 美元），版本漂移可能改变门控行为；复现评测还需跑通 π3 提升、GroundingDINO+SAM 分割等。综合评估：数据与协议复现难度中等，端到端训练复现难度中高，主要成本在算力与组件拼装。