Orient Anything V2：统一方向与旋转理解 Orient Anything V2: Unifying Orientation and Rotation Understanding
升级方向估计模型，统一处理旋转对称性和相对旋转估计
前置知识
3D物体方向估计
从单张2D图像推断物体在3D空间中的朝向，通常用方位角（azimuth）、极角（polar）和面内旋转角（in-plane rotation）三个角度描述。方位角表示物体绕垂直轴的旋转，极角表示俯仰角度，面内旋转角表示物体自身的旋转。这是计算机视觉中的基础任务，在机器人操控、自动驾驶、AR/VR等场景中有重要应用。
这是本文要解决的核心任务，理解方向估计的定义和评价指标是读懂全文的基础。
旋转对称性（Rotational Symmetry）
物体绕某轴旋转特定角度后外观不变的性质。例如，一个正方形绕垂直轴旋转90度后看起来一样，具有4重旋转对称性（4个有效的正面）。180度对称意味着有两个不同的有效正面。具有连续旋转对称性的物体（如球体）在任何角度都对称，被认为没有明确的方向。在水平面上，旋转对称性决定了物体有多少个可能的正面朝向。
V1版本的主要局限就是无法处理旋转对称物体，V2的核心创新之一就是让模型能够识别和预测旋转对称性。
相对旋转估计（Relative Rotation Estimation）
预测物体在查询视角相对于参考视角的旋转关系，本质上是6自由度（6DoF）姿态估计问题。传统方法依赖于显式的2D-3D特征匹配，当两个视角之间的旋转角度较大时，匹配点减少导致性能下降。相对旋转与绝对方向之间存在内在耦合：绝对方向本质上就是相对于标准正面视角的旋转。
V2将绝对方向和相对旋转统一到同一框架中，利用两者之间的内在联系实现知识共享和迁移。
周期性高斯分布拟合
用于捕捉方位角的多峰分布特性。与标准高斯分布不同，周期性高斯分布通过余弦函数 $ ext{exp}\left(?rac{\cos(?lpha(i-\phi))}{\sigma^2} ight)$ 来建模角度的周期性，其中 $\phi$ 是主方位角，$?lpha$ 是周期性（即旋转对称的重数），$\sigma$ 是方差参数。当 $?lpha=1$ 时表示无对称性，$?lpha=2$ 表示180度对称，$?lpha=4$ 表示90度对称，$?lpha=0$ 表示无主导方向。
这是V2模型学习目标的核心数学框架，通过周期性分布自然地将旋转对称性融入方向预测。
DINOv2与VGGT
DINOv2是Meta开发的视觉基础模型，通过自监督学习获得强大的视觉特征表示能力。VGGT是一个12亿参数的前馈式Transformer模型，专门在3D几何任务上进行预训练，包括相机姿态估计等任务。V2模型以VGGT为基础初始化，将其原本用于预测相机外参的token重新用于预测物体方向和旋转。
VGGT的3D几何预训练为模型提供了对物体几何结构的先验理解，实验表明这比单独使用DINOv2初始化能带来显著的性能提升。
研究动机
Orient Anything V1是首个实现零样本物体方向估计的基础模型，通过VLM标注真实3D资产（来自Objaverse数据集）来训练。然而该方法存在两个关键问题：首先，真实3D资产存在严重的类别不平衡，建筑物和人物等常见类别占比过大，而不常见动物等类别严重不足；其次，很多人类创建的网格具有固定的姿态（如T-pose），与真实世界物体的多样性存在显著的领域差距。更关键的是，V1将方向定义为基于单一唯一正面的朝向，无法处理具有旋转对称性的物体（如正方形、圆形物体），对于这类物体只能简单地归类为无正面。此外，V1不支持相对旋转估计，无法理解两个视角之间的旋转关系，这限制了其在机器人操控等需要相对姿态估计的应用中的实用性。
本文的目标是本文旨在开发一个增强版的方向估计模型Orient Anything V2，实现对物体3D方向和旋转的统一理解。具体目标包括：1）通过合成数据引擎实现可扩展、类别平衡的3D资产数据集构建；2）让模型能够识别物体的旋转对称性并预测多个有效正面；3）支持多帧输入，直接预测任意两个视角之间的相对旋转；4）在零样本方向估计、6DoF姿态估计和旋转对称性识别三个任务上都达到最先进的性能。
与已有工作不同的是，本文的独特切入角度在于同时从数据和模型两个维度进行升级。在数据层面，不同于依赖人工创建的真实3D资产，本文利用生成模型（文本到图像FLUX.1-Dev和图像到3D Hunyuan-3D-2.0）构建了一个包含60万个合成3D资产的数据集，规模是V1的12倍，实现了类别完美平衡。在模型层面，V2没有将旋转对称性和相对旋转作为单独的后处理步骤，而是通过周期性分布拟合将旋转对称性直接融入学习目标，并通过多帧架构将绝对方向和相对旋转统一到同一框架中，利用两者之间的内在耦合关系实现知识迁移。这种数据引擎+统一模型的设计使得模型能够从单张图像中同时预测多个可能的正面朝向，并支持任意两个视角之间的相对旋转估计。
核心方法
Orient Anything V2的方法可以分为数据引擎和模型框架两大部分。数据引擎采用类标签到描述到图像到3D网格的级联生成流程，利用ImageNet-21K的21K个类别标签，通过Qwen-2.5生成丰富描述，FLUX.1-Dev生成图像，Hunyuan-3D-2.0生成3D网格，最终构建60万个合成资产。标注系统采用内资产集成标注加跨资产一致性校准的两阶段流程，通过多视角渲染和伪标签投票来稳健地识别0到N个有效正面。模型框架以VGGT（12亿参数）为基础，使用DINOv2编码输入图像，通过共享的Transformer块进行联合编码，最后用MLP头预测方向或旋转分布。学习目标采用周期性高斯分布拟合，自然地捕捉旋转对称性。
V2的核心创新在于将旋转对称性和相对旋转估计从后处理问题转变为学习目标。在V1中，旋转对称物体被标记为低置信度并被过滤掉，相对旋转需要通过两次独立的方向估计来间接计算。V2通过周期性分布 Pazi(i|phi_bar, alpha_bar, sigma) = exp(cos(alpha_bar*(i-phi_bar))/sigma^2) / (2*pi*I_0(1/sigma^2)) 将旋转对称性直接编码到方位角的预测目标中，其中周期性参数 alpha_bar 表示对称的重数。对于相对旋转，V2将第一帧的token用于预测绝对方向，后续帧的token用于预测相对于第一帧的旋转，通过共享的Transformer编码器实现知识迁移。这种设计使得模型能够从单张图像中推断出物体的所有可能正面朝向，并直接预测两个视角之间的相对旋转关系。
方法步骤详情
方法分为数据构建和模型训练两个阶段。数据构建阶段：首先从ImageNet-21K的21K个类别标签出发，用Qwen-2.5生成丰富描述（包含物体属性和姿态信息），然后用FLUX.1-Dev生成图像，再用Hunyuan-3D-2.0生成3D网格，最终得到60万个合成资产。标注阶段：先训练一个改进的方向估计模型作为自动标注器（基于V1范式并加入ImageNet3D数据），对每个3D资产的多个视角渲染进行预测，将伪标签投影回3D世界坐标系，然后在水平面上拟合周期性高斯分布来确定主方位角 phi_bar 和周期性 alpha_bar。对于跨资产一致性，假设同类物体应具有相同的旋转对称类型，对不一致的类别进行人工校准。模型训练阶段：输入图像先用DINOv2编码为K个token，加上可学习token后送入共享的Transformer块。第一帧的可学习token初始化方式不同，用于通过周期性分布预测绝对方向；后续帧的token预测相对于第一帧的旋转。使用二元交叉熵损失训练20k次迭代，余弦学习率调度器初始学习率 1e-3，有效批大小48，输入图像调整为518x518像素，使用随机patch遮挡进行数据增强。
技术新颖性
V2的技术新颖性体现在三个方面。第一，合成数据引擎的创新：不同于依赖人工创建的真实3D资产，V2利用生成模型构建了一个完全由合成数据驱动的训练集，实现了类别完美平衡和可扩展性。实验表明，在相同数量下，合成资产在旋转估计任务上甚至优于真实资产。第二，周期性分布拟合的学习目标：将旋转对称性从需要被过滤的噪声转变为模型需要直接预测的目标。通过在方位角分布中引入周期性参数 alpha_bar，模型能够自然地学习到物体可能有0、1、2或4个有效正面，而无需额外的置信度预测头。第三，多帧统一框架：将VGGT原本用于相机姿态估计的架构重新用于物体方向和旋转预测，利用相机姿态与物体旋转之间的内在相关性。这种设计使得绝对方向和相对旋转共享同一个编码器，实现了隐式的知识迁移，避免了传统方法依赖显式特征匹配导致的大角度旋转性能下降问题。
实验结果
Orient Anything V2在三个核心任务上都取得了显著的性能提升。在零样本方向估计方面，V2在Ori_COCO基准上达到86.4%的准确率，相比V1的72.4%提升了14个百分点；在SUN-RGBD上，中位数角度误差从33.94度降至26.00度，准确率从48.5%提升至55.4%。在零样本相对旋转估计方面，V2在小角度旋转场景（平均14.85度）下全面超越现有方法，在LINEMOD上中位数误差仅7.82度（POPE为15.73度），在YCB-Video上达到91.6%的30度准确率（POPE为80.1%）。更重要的是，在大角度旋转场景（平均78.22度）下V2的优势更加显著，LINEMOD上达到51.6%的30度准确率（POPE仅10.3%），证明了基于语义理解的方法比基于特征匹配的方法更鲁棒。在零样本旋转对称性识别方面，V2在Omni6DPose数据集上达到65.2%的准确率，超过了GPT-4o（62.5%）、GPT-o3（53.7%）、Gemini-2.5-pro（44.4%）和Qwen2.5VL-72B（55.8%）等最先进的视觉语言模型。消融实验表明：合成资产在相同数量下与真实资产表现相当，在旋转估计任务上甚至更优；数据规模从40K增加到600K持续带来性能提升，旋转估计对数据规模更敏感；使用VGGT预训练初始化比DINOv2初始化在旋转估计上带来显著提升（LINEMOD上30度准确率从49.1%提升至89.7%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 零样本方向估计 | Ori_COCO 准确率 (Acc) | 86.4% | V1: 72.4% | +14.0% |
| 零样本方向估计 | SUN-RGBD 中位数误差 (Med) | 26.00度 | V1: 33.94度 | -23.4% |
| 零样本相对旋转估计 (小角度) | LINEMOD 30度准确率 | 98.07% | POPE: 77.0% | +21.07% |
| 零样本相对旋转估计 (大角度) | LINEMOD 30度准确率 | 51.6% | POPE: 10.3% | +41.3% |
| 零样本旋转对称性识别 | Omni6DPose 准确率 (Acc) | 65.2% | GPT-4o: 62.5% | +2.7% |
局限与改进
作者在论文末尾坦诚地指出了模型的两个主要局限。首先，单目图像固有的歧义性导致在信息量很低或严重遮挡的视角下预测不够准确。这是单目3D理解的共性问题，需要额外的先验或多视角信息来缓解。其次，当前框架最多支持两个输入帧的输入，限制了其在视频理解等需要多帧连续处理的场景中的应用。从我自己的观察来看，模型的旋转对称性识别能力虽然超过了现有VLM，但65.2%的准确率仍有较大提升空间，特别是考虑到模型只考虑了四种对称类型（0、1、2、4），而真实世界中存在更多种类的旋转对称性。此外，合成数据引擎虽然实现了类别平衡，但生成模型的质量可能影响最终资产的质量，特别是对于复杂几何形状或纹理的物体。评估方面，现有测试数据集通常只为每个物体提供一个真实方向标注，即使对于对称物体也是如此，这使得模型预测多个有效正面时的评估变得困难。
独立分析的弱点
尽管V2取得了显著进步，但仍存在几个值得改进的弱点。首先，合成数据引擎虽然实现了规模和平衡性，但生成的3D资产可能无法完全覆盖真实世界物体的复杂性和多样性。改进方向包括引入更多样的生成模型（如视频生成模型）来获取更丰富的视角和姿态，或者结合真实和合成数据进行混合训练。其次，模型的旋转对称性识别能力有限，65.2%的准确率表明模型对某些对称类型的区分仍有困难，特别是在物体外观复杂或对称性不明显的情况下。可以考虑引入更强的对称性先验或设计专门的对称性检测模块。第三，多帧框架目前仅支持两帧输入，对于视频理解或多视角重建等应用来说信息不足。扩展到更多帧需要解决计算复杂度和序列建模的挑战。第四，模型的推理效率可能受到VGGT 12亿参数规模的影响，在资源受限的场景下可能需要模型压缩或蒸馏技术。
未来方向
作者提出将模型扩展到支持更多帧的输入，以支持视频理解应用。这是一个重要的研究方向，因为视频中的连续帧可以提供更丰富的几何和运动信息。基于V2的成果，还可以延伸出多个研究方向：1）将方向和旋转估计能力集成到机器人操控系统中，实现更精准的物体抓取和操作；2）结合生成模型进行3D感知的图像编辑和生成，利用预测的方向信息控制生成物体的朝向；3）扩展到动态场景中的物体姿态跟踪，利用多帧架构的旋转估计能力实现连续的姿态预测；4）探索将对称性识别能力应用于3D物体生成，确保生成的物体具有物理上合理的对称性；5）研究更细粒度的旋转对称性分类，超越当前的四种类型（0、1、2、4）来支持更多种类的对称性模式。
复现评估
论文的复现条件相对完善。模型以公开可用的VGGT为基础进行初始化，DINOv2也是公开的视觉编码器。训练数据方面，合成数据引擎使用的所有组件（Qwen-2.5、FLUX.1-Dev、Hunyuan-3D-2.0）都是公开可用的模型，理论上可以复现数据生成流程。然而，60万个合成资产的生成需要大量的计算资源，这可能是复现的主要障碍。论文提到使用ImageNet-21K的21K个类别标签作为起点，每个类别生成约30个资产，这需要相当的GPU计算时间。评估数据集（SUN-RGBD、ARKitScenes、Pascal3D+、Objectron、ImageNet3D、Omni6DPose等）都是公开可用的。模型训练在有效批大小48下训练20k次迭代，输入图像为518x518像素，这在现代GPU集群上是可行的。论文未明确提及是否开源代码和模型权重，如果开源的话复现难度会大大降低。总体而言，复现难度中等偏高，主要挑战在于合成数据的生成成本。
论文图表
展示了来自Objaverse的真实3D资产存在的两类质量问题：(a)低质量纹理，物体表面纹理模糊或缺失；(b)有限的姿态和形状，很多人形资产处于T-pose状态，缺乏多样化的姿态。这些质量问题限制了V1的训练数据质量。
这张图直观地说明了为什么需要从真实资产转向合成数据，是理解数据引擎动机的关键视觉证据。
比较了V1和V2在6个基准数据集上的方向估计性能。V2在大多数数据集上都取得了显著提升：SUN-RGBD上中位数误差从33.94度降至26.00度，ARKitScenes上从77.58度降至36.48度，Pascal3D+上从22.90度降至15.02度。在Ori_COCO上准确率从72.4%提升至86.4%。需要注意的是，ImageNet3D用于训练V2，为了公平比较，V1也在ImageNet3D上进行了微调。
这个表格提供了V2在方向估计任务上相对于V1的全面性能对比，是评估模型核心能力提升的关键证据。