Utonia：迈向适用于所有点云的统一编码器 Utonia: Toward One Encoder for All Point Clouds

Utonia的预训练流程分为以下几个步骤：首先，输入准备——将来自不同域的点云统一为坐标+颜色+法线的拼接格式，缺失的模态用默认零填充。预训练数据包括室内（ScanNet、ScanNet++、S3DIS等约3万场景）、室外（NuScenes、Waymo、SemanticKITTI等约11万场景）、物体（PartNet、ScanObjectNN等约3.5万物体）和视频重建（RE10k等约4.6万序列），以及100万Cap3D物体资产。第二步，因果模态遮蔽——在两个层级应用：per-data blinding在数据加载时随机丢弃整个模态组（如整个颜色通道），per-point blinding在局部视图中进一步对单个点遮蔽模态。教师视图始终接收完整模态。第三步，感知粒度重缩放——定义标准观察粒度，对每个点云进行坐标重缩放使其匹配共享感知粒度。场景级数据保留重力对齐，仅做轻微的roll/pitch扰动（正负pi/64）；物体级数据应用完整的SO(3)旋转和更大的缩放范围（正负50%）。重缩放因子从基于原始粒度的范围内采样。第四步，RoPE编码——在粒度对齐的坐标上应用三维可分离的RoPE。对特征向量u按轴分为三部分，对每个子向量用对应的坐标分量施加1D RoPE。同时应用坐标抖动和缩放增强（参考DINOv3）。第五步，两阶段预训练——阶段1在高质量子集（ScanNet、Structured3D、Waymo、PartNet，约8.3万数据）上预训练获得稳定初始化；阶段2在完整混合数据上继续训练100个epoch。批量大小256，使用64块NVIDIA H20 GPU训练。

Utonia的技术新颖性体现在以下几个方面：首先，这是首个在多种点云域（室内、室外、物体、视频重建）上进行联合自监督预训练的工作，打破了以往单域预训练的范式。其次，因果模态遮蔽的设计不同于传统的数据增强或模态对齐方法——它将模态可用性建模为一个随机变量，在训练时通过剥夺来获得鲁棒性，类比于在黑暗中练习行走以增强视觉依赖时的适应能力。第三，感知粒度重缩放引入了标准观察粒度的概念，将不同域的坐标映射到可比较的空间单元，这是一个简单但有效的域对齐策略。第四，将RoPE从1D序列扩展到3D点云并结合粒度对齐坐标，是一种新颖的位置编码范式——它不改变邻域构建，但鼓励注意力关注连续的相对几何，使其对采样引起的密度变化不那么敏感。第五，论文发现了多个有趣的涌现行为：跨域联合训练使各域相互增益而非竞争；表征同时保留场景级重力对齐和物体级重力无关性；统一表征能迁移到空间推理和机器人操作任务。

从独立分析的角度，Utonia存在以下几个可以改进的弱点：首先，在部件分割任务上，线性探测与微调之间的巨大差距（PartNetE上39.8% vs 62.7%）暗示预训练表征中的细粒度信息不够线性可解码。改进方向可以是引入一组轻量级的全局注册token（global registers），用于聚合物体级语义，为分类提供清晰的全局接口；或者设计任务条件化的查询式解码器，从点token中检索和组合细粒度结构信息。其次，Utonia的模态遮蔽策略虽然有效，但仍然是启发式的——遮蔽概率、遮蔽粒度（逐样本vs逐点）的选择缺乏理论指导。可以通过对比学习或元学习来自适应地学习最优的遮蔽策略。第三，感知粒度重缩放依赖于用户定义的标准观察粒度，这引入了一个超参数。可以探索基于数据驱动的自适应粒度对齐，例如通过学习一个域自适应的缩放网络。第四，当前方法对视频序列数据的处理相对简单（仅通过帧聚合），未充分利用时序信息。引入时序一致的预训练目标（如跨帧特征一致性、运动预测）可以进一步提升4D理解能力。

论文提出了三个有前景的未来研究方向，作者在此基础上可以进一步延伸：第一，基于查询的任务接口——当前的线性探测在某些任务上表现不佳，未来可以设计任务条件化的查询式解码器，使预训练编码器能够灵活地服务于不同粒度的下游任务（分类、分割、对应、检索），而无需改变编码器本身。第二，4D空间认知——Utonia目前处理静态点云，但真实世界本质上是动态的。帧聚合增强已经暗示了这一方向，未来可以引入时空预训练目标（如运动感知交互、跨帧一致性约束），使表征能够捕获持久结构和随时间的变化。第三，可扩展的下一代骨干网络——稀疏卷积的内存消耗限制了token预算和序列长度，且算子栈的强内核依赖带来部署摩擦。未来需要探索更内存友好、更匹配现代硬件的计算模式，同时保持几何表达能力。此外，基于Utonia的成果可以延伸：将统一表征用于跨域3D检索（在物体数据库中检索场景中的对应物体）、跨域数据增强（用物体CAD增强室内/室外训练数据）、以及作为VLA策略的几何先验来提升机器人泛化能力。

从复现的角度评估，Utonia的开源情况和复现条件如下：代码和预训练模型已开源在GitHub（https://pointcept.github.io/Utonia），基于成熟的Pointcept代码库构建，降低了复现门槛。数据方面，论文使用的所有数据集都是公开的（ScanNet、Waymo、NuScenes等），Cap3D物体资产也是公开的，但数据预处理流程（如法线估计、坐标投影）需要一定的工程工作。算力需求较高：预训练使用64块NVIDIA H20 GPU，批量大小256，两阶段训练（阶段1在8.3万数据上、阶段2在完整25万+数据上训练100个epoch）。对于学术实验室，这是一个较大的计算投入，但并非不可企及。好消息是，消融实验（表7f）显示8.3万数据+38M模型的设置已经能获得不错的性能，可以作为资源受限情况下的替代方案。复现难度中等：核心设计（模态遮蔽、粒度重缩放、RoPE）都比较简单直接，不需要复杂的工程实现；但两阶段训练策略和数据混合比例的调优可能需要一些经验。总体而言，Utonia的复现性较好，适合有中等计算资源的团队尝试。