360Anything：无几何约束的图像与视频360度提升 360Anything: Geometry-Free Lifting of Images and Videos to 360°
几何无关框架用DiT将透视图像/视频提升为360度全景
前置知识
扩散变换器（DiT）
扩散变换器（Diffusion Transformer，DiT）是将 Transformer 架构引入扩散模型的生成范式。传统扩散模型使用 U-Net 作为去噪网络，而 DiT 用 Transformer 替代，将图像或视频的潜在表示划分为 patch token 序列后通过自注意力机制进行去噪。DiT 的核心优势在于：第一，自注意力机制能够捕捉序列中任意两个 token 之间的长程依赖，这对全景图像中跨越整个视野的几何关系建模至关重要；第二，Transformer 架构天然适合扩展到更大模型和更多数据，具备良好的 scaling 特性；第三，DiT 可以通过简单的序列拼接处理多种条件输入，无需设计复杂的条件注入机制。本文使用的基座模型包括图像生成的 FLUX.1-dev 和视频生成的 Wan2.1-14B（140 亿参数），这些模型已在大规模数据上预训练，具备强大的视觉生成能力。在 360Anything 中，DiT 的序列建模能力被用来学习透视图像 token 序列与全景图像 token 序列之间的几何映射关系。
360Anything 的核心设计是利用 DiT 的注意力机制隐式学习透视到全景的几何映射，取代传统的显式几何投影。理解 DiT 的序列建模能力是把握本文方法论的关键。
等距圆柱投影（ERP）
等距圆柱投影（Equirectangular Projection，ERP）是将球面全景映射到二维矩形的标准方式。在 ERP 中，水平轴对应经度（0° 到 360°），垂直轴对应纬度（-90° 到 90°），图像的左边界和右边界在三维球面上实际上是同一条经线。ERP 的优点是保持了方位角的等距性且实现简单，缺点是极地区域存在严重的拉伸变形。'重力对齐'（gravity-aligned）是指将真实世界中竖直向下的重力方向与 ERP 的垂直轴对齐，确保生成的全景图像中天花板在上方、地面在下方，获得自然的视觉效果。这是本文训练数据规范化流程的核心目标之一。与透视投影相比，ERP 能完整表示整个球面视野，但也带来了边界连续性（接缝）的挑战。
论文的目标是生成 ERP 格式的全景图像。理解 ERP 的几何特性（尤其是边界循环连续性）是理解接缝伪影问题和循环潜在编码方案的基础。
流匹配（Flow Matching）
流匹配是一种用于训练连续归一化流的生成建模框架。它学习从标准正态分布到数据分布的确定性映射路径。具体来说，给定干净数据 $y_{\text{equi}}$ 和噪声 $\epsilon \sim \mathcal{N}(0, I)$，前向扩散过程定义为 $y_{\text{equi}}^t = (1-t)y_{\text{equi}} + t\epsilon$，其中 $t \in [0,1]$ 为时间步。去噪器 $G_\theta$ 被训练来预测加入的噪声 $\epsilon$，其训练目标为：$$\mathcal{L} = \mathbb{E}_{t \sim p(t),\, y_{\text{equi}} \sim p_{\text{data}},\, \epsilon \sim \mathcal{N}(0,I)} \| G_\theta(y_{\text{equi}}^t, t, c) - \epsilon \|^2$$ 其中 $p(t)$ 是噪声水平分布，$c$ 为条件输入（透视图像和文本描述）。流匹配相比 DDPM 等扩散框架在训练稳定性和采样效率上都有优势，被 FLUX、Stable Diffusion 3 等现代生成模型广泛采用。
360Anything 基于流匹配框架训练 DiT，条件输入 $c$ 包含透视图像序列，模型通过预测噪声学习透视到全景的映射。理解这一训练目标有助于把握模型的学习方式。
VAE 潜在空间
变分自编码器（VAE）是扩散模型中用于降维的标准组件。在 Latent Diffusion Model 中，高分辨率图像首先通过 VAE 编码器 $E$ 压缩到低维潜在空间 $y = E(Y)$，然后在潜在空间中执行扩散过程，最后通过解码器 $D$ 重构回像素空间 $\hat{Y} = D(y)$。这种设计大幅降低了计算成本（例如将 1024x2048 的全景图像压缩为 128x256 的潜在表示）。然而，现代 VAE 使用卷积神经网络实现，卷积层中的零填充（zero-padding）会在图像边界引入特征图不连续性。对于全景图像，这意味着即使原始像素空间中左边界和右边界是连续的，其潜在表示也会在边界处出现断裂——这正是接缝伪影的根本原因。
论文识别出 VAE 编码器的零填充是接缝伪影的根源，并提出循环潜在编码从架构层面解决。理解 VAE 潜在空间的这一特性是把握核心创新的前提。
接缝伪影（Seam Artifacts）
接缝伪影是全景图像生成中的常见质量问题，表现为 ERP 图像左右边界拼接处出现的可见不连续性——颜色突变、纹理错位或几何结构断裂。在 ERP 表示中，图像最左列（经度 0°）和最右列（经度 360°）在三维球面上是相邻的，但生成模型并不天然知道这种循环关系。现有方法将接缝归因于生成过程，采用推理时技巧来缓解：如旋转增强（cyclically shifting panorama across sampling steps）、VAE 解码器中的循环填充等。但这些方法治标不治本——如果潜在表示本身存在不连续性，推理时的修补难以彻底消除伪影。
本文的核心贡献之一是追溯接缝伪影的根源并提出根本性解决方案。理解接缝问题的严重性（论文中 DS 指标量化了这一问题）有助于评价循环潜在编码的价值。
相机内参与外参
相机参数分为内参（intrinsics）和外参（extrinsics）。内参描述相机的光学属性，最关键的是视场角（Field of View，FoV），它决定了透视图像覆盖的角度范围（如 90° FoV 意味着图像覆盖水平方向 90° 的视野）。外参描述相机在世界坐标系中的姿态，包括偏航角（yaw，左右旋转）、俯仰角（pitch，上下旋转）和滚动角（roll，绕光轴旋转）。在透视到全景生成中，相机参数决定了如何将透视图像'放置'在全景画布上的正确位置。传统方法必须知道这些参数才能进行几何投影，而 360Anything 通过数据驱动的方式隐式推断这些参数。
传统方法的核心瓶颈是依赖相机元数据，而 360Anything 的核心卖点是消除这一依赖。理解相机参数的含义有助于理解论文的动机和零样本标定实验的意义。
研究动机
现有透视到全景生成方法面临的核心困境在于对显式几何对齐的依赖。具体来说，主流方法如 PanoDiffusion、Argus、Imagine360 等都需要两步操作：首先利用外部工具估计输入透视图像或视频的相机参数（FoV、yaw、pitch、roll），然后通过几何投影将透视图像反投影到 ERP 空间，使其与目标全景像素对齐。这种通道拼接（channel concatenation）方式将复杂的全景生成简化为图像外绘问题，看似高效但存在根本缺陷：当相机参数缺失或估计不准时，像素对齐就会失败，导致整个生成管线崩溃。论文在附录 B.1 中明确指出，当现成的相机估计器失效时，通道拼接方法会完全崩溃。Argus 虽然将训练数据扩展到无约束的 YouTube 视频，但仍依赖外部相机估计工具。CubeDiff 使用立方体贴图表示避免了 ERP 的失真，但假设输入图像固定为 90° FoV，当实际 FoV 更小时需要拉伸边界物体导致变形。此外，接缝伪影是全景生成的另一大痛点——现有方法仅在推理时通过旋转增强、混合解码等技巧来缓解，无法从根本上消除。
本文的目标是本文的目标是构建一个端到端、完全几何无关的透视到全景生成框架，具体包括四个层面：第一，彻底消除对相机元数据的依赖，使模型能够处理任意 FoV 和相机姿态的野外数据；第二，从根本上解决接缝伪影问题，从训练阶段而非推理阶段消除边界不连续性；第三，在图像和视频两种模态的透视到全景生成任务上均达到最先进性能，超越依赖相机信息的基线方法；第四，展示模型隐式学到的几何理解能力，实现零样本相机标定等衍生应用。
与已有工作不同的是，本文的切入角度与传统方法有本质区别：将透视到全景生成从'几何投影+图像外绘'重新定义为'序列到序列学习'问题。传统方法用显式几何归纳偏置简化任务（先投影再外绘），而 360Anything 让模型通过注意力机制从数据中自主学习几何关系。具体来说，它将透视输入和全景目标分别编码为 token 序列后直接拼接，DiT 通过全局自注意力学习它们之间的对应关系。这种设计消除了对几何先验的依赖，同时具备三大优势：第一，无需相机估计步骤，彻底避免了估计误差传播；第二，序列拼接方式天然支持任意分辨率和宽高比的输入；第三，Transformer 的 scaling 特性使方法能够随模型和数据规模增长而持续改进。此外，论文识别出接缝伪影的根源不在生成过程而在 VAE 编码器的零填充，提出了循环潜在编码这一架构级修复。
核心方法
360Anything 的整体技术路线可以用一句话概括：把透视到全景生成问题转化为 Transformer 的序列到序列学习，同时从根源上修复接缝伪影。具体来说，给定透视图像或视频，模型首先使用预训练 VAE 编码器将其编码为潜在 token 序列 $x_{\text{pers}}$，同时将目标全景编码为噪声潜在序列 $y_{\text{equi}}^t$。两个序列直接拼接为 $\text{Concat}([x_{\text{pers}}, y_{\text{equi}}^t])$ 送入 DiT，DiT 通过全局自注意力机制学习透视 token 与全景 token 之间的几何对应关系。这个过程中没有任何显式几何投影——模型完全通过数据驱动的方式学会'看到一个透视图像，就知道它应该放在全景画布的什么位置，周围应该生成什么内容'。为了确保生成的全景没有接缝伪影，论文提出循环潜在编码：在 VAE 编码前对全景图像做循环填充，编码后丢弃填充区域的潜在表示，从而保证潜在空间的循环连续性。整个流程包括数据预处理（视频规范化）、训练（流匹配目标）和推理（迭代去噪+循环解码）三个阶段。
本文的两个核心创新点是序列连接（Sequence Concatenation）和循环潜在编码（Circular Latent Encoding）。序列连接的本质区别在于：传统方法通过像素对齐投影（perspective-to-ERP projection）将条件信息注入生成过程，这需要已知相机参数且将任务简化为外绘；而 360Anything 直接将透视和全景的潜在表示作为两个独立序列拼接，让 DiT 通过注意力机制自行学习它们的空间关系。这意味着模型必须隐式推断透视图像的 FoV、位置和方向，才能正确生成全景——这比外绘更难但也更灵活。循环潜在编码的创新在于追溯接缝问题的根源：不是生成过程的问题，而是 VAE 卷积层零填充导致潜在表示在边界处不连续。解决方案是在编码前将全景图像的左端 $w'$ 列拼接到右端、右端 $w'$ 列拼接到左端，编码后丢弃扩展区域的潜在 token。这保证了潜在表示的循环连续性，从根本上消除了接缝伪影，且不增加任何推理开销。
方法步骤详情
360Anything 的完整方法流程如下。第一步，数据预处理（视频规范化）：对训练用的 360° 视频，先用 COLMAP 估计每帧的相机姿态，将所有帧旋转到与第一帧对齐（消除相机运动）；再用 GeoCalib 估计全局重力方向，将视频旋转到重力对齐的正则方向。第二步，训练数据构造：从规范化的全景视频中随机采样相机参数（FoV 均匀采样于 [30°, 120°]，pitch 于 [-60°, 60°]，roll 于 [-15°, 15°]），据此裁剪出透视视频作为条件输入，同时对全景进行水平滚转增强。第三步，潜在编码：使用预训练 VAE 编码器 $E$ 将透视视频编码为 $x_{\text{pers}} = E(X_{\text{pers}})$；对全景视频先做循环填充（扩展 $w' = W/8$ 列），编码后裁剪掉填充区域的潜在 token 得到 $y_{\text{equi}}$。第四步，序列拼接与扩散：将 $x_{\text{pers}}$ 和噪声全景潜在 $y_{\text{equi}}^t = (1-t)y_{\text{equi}} + t\epsilon$ 拼接为一维 token 序列输入 DiT，以流匹配目标训练：$\mathcal{L} = \mathbb{E}\|G_\theta(\text{Concat}([x_{\text{pers}}, y_{\text{equi}}^t]), t, e) - \epsilon\|^2$，其中 $e$ 为文本描述。第五步，推理采样：从纯噪声 $\epsilon$ 出发，使用 FLUX/Wan 的默认采样器执行 50 步去噪（timestep shifting 3.16/3.0），得到全景潜在表示。第六步，循环解码：使用 VAE 解码器 $D$ 将全景潜在解码回像素空间，应用循环填充以确保边界无缝。
技术新颖性
本文的技术新颖性体现在多个维度。第一，范式转换：从显式几何投影到纯数据驱动的序列学习，这是全景生成领域的一次根本性范式转变。传统方法的几何归纳偏置虽然简化了任务，但限制了泛化能力；360Anything 证明了足够强大的 Transformer 可以从数据中自主学习几何关系，且性能更优。第二，根源诊断与修复：论文精确诊断出接缝伪影源于 VAE 编码器的零填充而非生成过程，提出的循环潜在编码是第一个从训练阶段解决该问题的方案，无需推理时技巧且零额外开销。第三，规范化训练流程：通过 COLMAP+GeoCalib 的两步规范化确保训练数据重力对齐，使模型只需学习单一的正则坐标系下的全景生成，避免了学习多种失真模式的复杂性。第四，统一框架：同一架构同时支持图像和视频的透视到全景生成，且无需针对不同 FoV 设计特殊模块。第五，涌现的几何理解：模型在未接受相机标定训练的情况下，展现出竞争性的零样本 FoV 和相机姿态估计能力，证明了数据驱动方法隐式学习几何的潜力。
实验结果
论文在图像和视频两个任务上都取得了全面领先的实验结果。图像生成方面，在 Laval Indoor 和 SUN360 数据集上，360Anything 的 FID 分别为 8.0 和 22.4，相较最强基线 CubeDiff 的 9.5 和 25.5 降低了 15.8% 和 12.2%；最能反映全景整体质量的 FAED 指标分别为 9.8 和 3.8，相较 CubeDiff 的 18.4 和 7.6 大幅降低了 46.7% 和 50.0%，证明生成的全景在几何正确性上有质的飞跃。视频生成方面，在 Argus 的 101 个测试视频上，真实相机轨迹子集的 PSNR 达到 25.75（vs Argus 22.35，提升 15.2%），LPIPS 仅 0.0468（vs Argus 0.2310，降低 79.7%），FVD 为 483.4（vs Argus 1020.7，降低 52.6%），VBench 的成像质量 0.5515、美学质量 0.5427、运动平滑度 0.9885 均为最高。值得注意的是，尽管论文方法不使用任何相机元数据，却在 PSNR 和 LPIPS 上超越了使用像素对齐投影的基线，说明模型通过注意力机制学会了更精确地保持条件区域。零样本相机标定方面，FoV 估计在 NYUv2 上的平均误差为 3.90°，优于多个监督基线（Perspective 5.38°、WildCam 3.82°），仅比专门为 3D 理解训练的 DUSt3R（2.57°）和 MoGe（3.41°）稍差；相机姿态估计在 MegaDepth 上的 Roll 误差为 0.87°，接近 GeoCalib 的 0.36°。消融实验证明：循环潜在编码将接缝分数 DS 从 9.92 降至 3.87（图像）和从 35.52 降至 13.28（视频），远优于混合解码；相机增强训练提升了所有指标（FID 从 8.4 降至 8.0）；规范化训练显著提升 FVD（从 559.5 降至 470.8）和 VBench 指标。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 透视到360度图像生成（Laval Indoor） | FID（越低越好） | 8.0 | CubeDiff: 9.5 | 降低15.8% |
| 透视到360度图像生成（SUN360） | FAED（越低越好） | 3.8 | CubeDiff: 7.6 | 降低50.0% |
| 透视到360度图像生成（Laval Indoor） | CLIP-Score（越高越好） | 29.21 | CubeDiff: 27.02 | 提升8.1% |
| 透视到360度视频生成（真实轨迹） | PSNR（越高越好） | 25.75 | Argus: 22.35 | 提升15.2% |
| 透视到360度视频生成（真实轨迹） | LPIPS（越低越好） | 0.0468 | Argus: 0.2310 | 降低79.7% |
| 透视到360度视频生成（真实轨迹） | FVD（越低越好） | 483.4 | Argus: 1020.7 | 降低52.6% |
| 相机FoV估计（NYUv2） | 平均误差/度（越低越好） | 3.90 | MoGe: 3.41 | 误差高0.49° |
| 相机姿态估计（MegaDepth） | Roll误差/度（越低越好） | 0.87 | GeoCalib: 0.36 | 误差高0.51° |
| 接缝消除（图像） | DS越界分数（越低越好） | 3.87 | 混合解码: 5.29 | 降低26.8% |
局限与改进
尽管 360Anything 取得了全面领先的性能，论文也坦诚地讨论了一些局限性，结合作者论述和独立分析可归纳为以下几个方面。第一，计算成本高昂：基座模型 Wan2.1-14B 拥有 140 亿参数，图像生成训练需要 512 批次大小运行 50k 步，视频生成需要 64 批次大小运行 20k 步，这对算力要求极高，限制了学术界的复现和迭代。第二，数据预处理链路长且有误差传播：视频规范化依赖 COLMAP 估计相机姿态和 GeoCalib 估计重力方向，这些工具在相机运动剧烈、场景纹理不足或动态物体较多时可能产生错误估计，进而影响训练数据质量。第三，3D 重建仅限静态场景：论文使用标准 3D 高斯溅射进行场景重建，无法处理动态主体，限制了在真实视频场景中的应用。第四，领域偏差明显：超过 90% 的训练图像为室内场景（来自 HM3D 等合成数据集），导致在室外数据集 ETH3D 和 iBims-1 上的 FoV 估计误差明显偏高（5.68° 和 5.21° vs 室内 NYUv2 的 3.90°）。第五，接缝未完全消除：循环潜在编码虽然将 DS 从 35.52 大幅降至 13.28（视频），但仍有可观残余伪影，特别是视频场景中时序一致的接缝更难处理。第六，论文未开源代码和预训练权重，降低了可复现性和社区贡献度。第七，评估中使用 Gemini 2.5 Flash 生成文本描述，引入了额外的不确定性，难以区分是模型能力还是 caption 质量带来的提升。
独立分析的弱点
独立分析论文可以发现以下几个值得关注的弱点及改进方向。首先，计算效率是最大的落地瓶颈：Wan2.1-14B 的 140 亿参数使得单帧推理耗时较长，不适合实时交互应用。改进方向包括模型蒸馏（将大模型知识迁移到小模型）、剪枝量化（减少参数和计算量）、或采用更高效的注意力实现（如 Flash Attention、线性注意力）。其次，视频规范化流程的鲁棒性不足：COLMAP 在弱纹理、低视差、动态场景下容易失败，GeoCalib 的重力估计在极端视角下可能不准。改进方向是端到端学习规范化，例如训练一个网络直接预测重力方向和相机轨迹，或在数据增强阶段随机扰动规范化结果以提升鲁棒性。第三，序列拼接的二次复杂度限制了输入长度：DiT 的自注意力计算量随 token 数量平方增长，当透视视频帧数增加或分辨率提高时，计算成本急剧上升。可探索稀疏注意力、cross-attention 替代方案或分层处理策略。第四，缺乏显式几何监督：模型完全通过隐式学习获得几何理解，但零样本相机标定结果仍落后于专门训练的方法。引入轻量级的几何一致性损失（如重投影误差）可能进一步提升精度。第五，接缝分数在视频中仍有 13.28，可探索更强的循环约束（如在损失函数中加入边界一致性项）或在所有卷积层中使用循环填充。
未来方向
基于 360Anything 的技术基础，未来研究可沿多个方向展开。第一，动态场景的 3D 重建：结合动态 3D 高斯溅射（Dynamic 3DGS）或 4D 神经辐射场技术，使生成的全景视频能够重建包含运动人物和物体的完整 3D 场景，这对 VR/AR 体验至关重要。第二，多模态统一框架：将几何无关的序列学习思想扩展到其他跨视角生成任务，如鱼眼到透视、立体到全景、全景到鸟瞰等，构建通用的视角转换基础模型。第三，交互式全景编辑：利用 DiT 的条件生成能力，实现基于文本或草图的全景局部编辑，用户可指定修改全景中特定区域的内容。第四，实时生成系统：通过模型压缩和硬件优化（如 TensorRT 部署），实现实时或近实时的透视到全景转换，支持直播、视频会议等实时应用。第五，自监督几何学习：设计辅助任务（如深度估计、法线预测）让模型同时学习 3D 几何理解，提升生成全景的几何准确性。第六，扩展到更高分辨率和更长视频：探索分块生成、滑动窗口等策略，支持 4K/8K 分辨率和分钟级长视频的全景生成。第七，与其他 3D 任务的联动：将全景生成与 SLAM、场景理解、导航规划等机器人任务结合，构建完整的 3D 感知生成系统。
复现评估
论文的复现难度为中等偏高。有利方面包括：论文提供了详细的超参数设置（学习率、批次大小、训练步数、采样步数、timestep shifting 等）；数据预处理流程描述清晰（COLMAP、GeoCalib 的使用方式）；评估协议沿用 CubeDiff 和 Argus 的标准设置；消融实验覆盖了所有关键设计选择。不利方面包括：第一，代码和预训练权重未开源，需要自行实现序列拼接、循环潜在编码等核心组件；第二，基座模型 FLUX.1-dev 和 Wan2.1-14B 的权重需要从官方渠道获取，可能受许可协议限制；第三，训练数据来自多个来源（HM3D 等合成数据集、YouTube 视频），需要复杂的数据收集和预处理流程；第四，计算资源需求高：图像训练需 512 批次运行 50k 步，视频训练需 64 批次运行 20k 步，通常需要多卡集群（如 64x A100）；第五，视频规范化流程涉及多个外部工具的安装和运行。总体而言，核心方法的概念清晰且实现不复杂（序列拼接和循环填充都是相对简单的操作），主要障碍在于计算资源和数据准备。研究社区可通过分步复现（先图像后视频、先小规模后全量）来降低难度。
论文图表
图1展示了360Anything的核心能力：第一行为图像外绘，输入不同FoV的透视图像（红色/绿色区域），生成完整360度全景并展示四个方向的透视投影；第二行为视频外绘，输入视频的第0、40、80帧被提升为全景视频；第三行展示从生成的全景视频重建3D高斯溅射后的渲染视图。图中清晰展示了模型处理不同FoV和大范围相机运动的能力。
这张图是论文的核心展示，涵盖了图像外绘、视频外绘和3D重建三个应用场景，让读者一眼理解论文的实用价值和技术能力。