基于循环一致性掩码预测的跨视角物体对应关系学习 Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction
用循环一致性约束实现第一人称与第三人称视角间的物体分割对应
前置知识
跨视角物体对应（Cross-View Object Correspondence）
跨视角物体对应是指在不同摄像机视角（如第一人称自我中心视角和第三人称外部视角）下识别同一物体的任务。在人机交互场景中，机器人需要从自身摄像头理解人类佩戴的自我中心摄像头所指向的物体。由于视角差异导致的外观变化、遮挡、空间布局不同等因素，这一任务极具挑战性。传统基于外观匹配或光流跟踪的方法在极端视角变化下表现不佳。
本文的核心任务就是解决自我中心视角与外部视角之间的物体对应问题，理解这个概念是理解整篇论文的基础。
条件二值分割（Conditional Binary Segmentation）
条件二值分割是一种语义分割范式，给定源图像中的物体掩码作为条件，在目标图像中预测对应的二值分割掩码。与通用分割不同，它以物体查询掩码为输入，通过条件令牌（Condition Token）将源物体信息注入视觉Transformer，从而在目标图像中定位对应物体。这种方式将跨视角对应问题转化为一个条件分割问题，架构简洁且端到端可训练。
本文的核心架构就是基于条件二值分割设计的，源物体掩码通过加权平均池化为条件令牌来引导目标图像的分割。
循环一致性（Cycle Consistency）
循环一致性是一种自监督学习信号，核心思想是如果一个映射将A变换到B，那么反过来将B变换回A应该能恢复原始的A。在本文中，源掩码映射到目标掩码后，再将目标掩码映射回源掩码，重建结果应与原始源掩码一致。这种双向约束不需要真值标注，提供了一种强自监督信号，同时可以在推理阶段进行测试时训练。
循环一致性是本文的核心创新点，它既作为训练时的损失函数提供自监督信号，又作为测试时训练的优化目标，在推理阶段进一步提升性能。
测试时训练（Test-Time Training, TTT）
测试时训练是一种在推理阶段利用自监督任务对模型进行在线微调的技术。传统模型在推理时参数固定，而TTT在每个测试样本到来时，利用无标注的自监督信号（如循环一致性损失）对部分参数进行少量梯度更新，使模型适应当前测试样本的分布。这种技术最早用于应对协变量偏移，后来扩展到图像、视频和语言等多个模态。
本文首次将TTT成功应用于跨视角物体对应任务，利用循环一致性损失在推理时对模型进行在线适应，进一步提升了对应关系质量。
DINOv3 视觉基础模型
DINOv3是基于Vision Transformer架构的自监督视觉表征学习模型，采用自蒸馏训练策略学习丰富的语义特征。它在没有监督标注的情况下，通过教师-学生网络的对比学习获得了强大的视觉表征能力。DINOv3提供了ConvNeXt和ViT两种变体，分别用于特征提取和Transformer编码。这些预训练特征具有良好的跨域泛化能力。
本文采用DINOv3的ConvNeXt变体作为源特征提取器，ViT变体作为Transformer编码器骨干网络，其高质量的预训练表征是方法成功的重要基础。
研究动机
在人机交互、自主导航和辅助机器人等应用中，智能体需要在截然不同的视觉视角下一致地识别和推理同一物体。例如，服务机器人需要从可佩戴的自我中心摄像头解读指令，然后从自身的第三人称视角定位所指物体。然而，自我中心（第一人称）和外部中心（第三人称）摄像头之间存在巨大的视角差异，这带来了外观变化、遮挡和空间参考不一致等重大挑战。自我中心视角通常抖动、杂乱且存在运动模糊，而外部中心视角更稳定但可能缺乏细粒度细节。此外，物体在不同视角下的空间布局和上下文差异显著，使得依赖背景线索进行匹配变得困难。现有方法如SEEM和PSALM虽在其他任务上表现强劲，但在跨视角对应任务上泛化能力不足。O-MaMa需要预先用FastSAM生成候选掩码再进行匹配，ObjectRelator需要辅助模块来对齐视角不变嵌入，这些方法都增加了系统的复杂性。
本文的目标是本文的目标是提出一个简单而有效的端到端框架，用于建立自我中心视角和外部中心视角之间的物体级视觉对应关系。具体而言，给定源图像中的物体查询掩码，模型需要准确地在目标视角图像中分割出对应的物体。本文旨在实现以下目标：第一，无需额外数据或辅助模块，仅依靠循环一致性提供的自监督信号进行训练；第二，通过测试时训练（TTT）在推理阶段进一步适应域偏移和分布变化；第三，在Ego-Exo4D和HANDAL-X基准测试上达到或超越现有最优方法的性能。
与已有工作不同的是，本文的独特切入角度在于将跨视角物体对应问题重新定义为条件二值分割任务，并引入循环一致性约束作为自监督信号。与已有方法的本质区别在于：第一，大多数现有方法将自我中心和外部中心视为独立任务分别处理，而本文将两个方向统一到单一框架中，使模型能同时从双向数据中学习；第二，已有方法依赖目标视角的真值标注进行监督学习，而循环一致性损失不依赖目标视角掩码真值，提供了完全自监督的训练信号；第三，本文是首个将测试时训练成功应用于跨视角物体对应任务的工作，利用推理时的循环一致性损失对模型进行在线适应，这在该领域尚属首创。这种设计使得框架既简洁（单一条件令牌注入，最小化架构修改）又有效（自监督+TTT双重提升）。
核心方法
本文提出了一种基于条件二值分割的Transformer框架来解决跨视角物体对应问题。整体思路非常直觉：给定源图像中的物体掩码，首先将其编码为一个紧凑的条件表征，然后用这个条件表征引导目标视角图像中的物体定位。具体来说，框架由三个核心组件构成。源特征提取器使用ConvNeXt-based DINOv3-L从源图像提取特征图，然后通过归一化掩码加权平均得到一个紧凑的物体特征向量，投射为条件令牌（CDT）。Transformer编码器使用ViT-based DINOv3-L处理目标图像的patch tokens，CDT通过交叉注意力机制与目标图像tokens交互，实现跨视角对齐。多任务解码器包含掩码头（预测二值分割掩码）和分类头（判断物体在目标视角是否可见）。训练时引入循环一致性损失：源掩码→预测目标掩码→预测回源掩码，确保闭环映射的一致性。
本文的核心创新点是循环一致性训练目标和测试时训练策略。与已有方法的本质区别在于：已有方法如O-MaMa需要预先用FastSAM生成候选掩码再做匹配，ObjectRelator需要辅助模块强制视角不变嵌入对齐，这些方法都增加了管道复杂性。而本文的方法极为简洁——仅通过一个条件令牌（CDT）将源物体信息注入目标图像的Transformer编码器，不需要任何额外的候选掩码生成或辅助对齐模块。更重要的是，循环一致性损失 $\mathcal{L}_{ ext{cycle}} = \mathcal{L}_{ ext{bce}}(M_s, \hat{M}_s)$ 不需要目标视角的真值掩码，因此可以在推理时用于测试时训练（TTT），对每个测试样本的最后K层进行少量梯度更新。这种自监督信号既是训练时的正则化手段，又是推理时的适应工具，一举两得。
方法步骤详情
方法分为训练和推理两个阶段。训练阶段：第一步，源特征提取。ConvNeXt-based DINOv3-L提取源图像特征图 $F_s \in \mathbb{R}^{C imes H imes W}$，源掩码 $M_s$ 归一化为 $ ilde{M}_s$，加权平均得到物体特征 $z_s = \sum_{i,j} ilde{M}_s[i,j] \cdot F_s[:,i,j]$，线性投射为条件令牌CDT。第二步，目标图像编码。ViT-based DINOv3-L将目标图像分割为patch tokens $[x_1, ..., x_n]$，与CDT和CLS令牌拼接后输入Transformer编码器，CDT通过交叉注意力引导目标特征学习。第三步，多任务解码。掩码头预测二值分割掩码 $\hat{M}_t$，CLS头预测物体可见性。第四步，联合优化。总损失 $\mathcal{L}_{ ext{total}} = \mathcal{L}_{ ext{mask}} + \lambda_{ ext{aux}} \mathcal{L}_{ ext{aux}} + \lambda_{ ext{cycle}} \mathcal{L}_{ ext{cycle}}$，其中 $\mathcal{L}_{ ext{mask}} = \mathcal{L}_{ ext{bce}} + \lambda_{ ext{dice}} \mathcal{L}_{ ext{dice}}$。推理阶段：在测试时，利用循环一致性损失对最后K层进行T步梯度更新，学习率 $lr_{ ext{ttt}} = 5 imes 10^{-6}$。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在架构设计上，仅通过一个条件令牌CDT实现跨视角对齐，这种极简设计保持了与预训练DINOv3骨干的完全兼容性，不需要引入额外的交叉视角模块或候选掩码生成器，这是与O-MaMa和ObjectRelator的本质区别。其次，在训练策略上，循环一致性损失不依赖目标视角标注，这使得Ego2Exo和Exo2Ego两个方向可以在统一框架中联合训练，同时引入同一视角内的同源配对（Ego2Ego、Exo2Exo）和时间松弛配对来增强数据多样性。第三，在推理策略上，首次将测试时训练引入跨视角对应任务，利用循环一致性损失在推理时在线微调模型，实验表明这带来了1.58个百分点的mIoU提升（从42.99%到44.57%）。第四，在训练流程上采用两阶段策略：先冻结DINOv3骨干进行线性探测（64K迭代）稳定跨视角特征对齐，再端到端微调（640K迭代）精细化对应关系。
实验结果
本文在Ego-Exo4D和HANDAL-X两个基准测试上进行了全面实验，取得了多项重要发现。在Ego-Exo4D基准测试上，本文方法取得了44.57%的mIoU，相比之前的最优方法O-MaMa（43.32%）提升了2.9%的相对改进。在Exo Query设置下，IoU达到47.18%，相比O-MaMa的44.08%提升了7.0%的相对改进，是所有方法中提升最显著的。在Ego Query设置下，IoU为41.95%，接近O-MaMa的42.57%。值得注意的是，本文方法在可见性准确率（VA）上表现突出，Ego Query下达到98.92%，Exo Query下达到99.86%，远超其他方法，说明CLS头的可见性预测能力极强。在HANDAL-X基准测试上，零样本（仅在Ego-Exo4D上训练）IoU达到78.8%，相比ObjectRelator的42.8%提升了84.1%，展现了卓越的跨视角泛化能力。消融实验证实了各组件的有效性：移除循环一致性损失导致mIoU明显下降，移除辅助损失和TTT也都造成性能退化。数据增强策略的每个组成部分（双向任务统一、同源配对、时间松弛配对）都对最终性能有正向贡献。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Ego-Exo4D Exo Query | IoU | 47.18% | 44.08% (O-MaMa) | +7.0% 相对提升 |
| Ego-Exo4D Ego Query | IoU | 41.95% | 42.57% (O-MaMa) | 接近SOTA，CA提升+13.4% |
| Ego-Exo4D 整体 | mIoU | 44.57% | 43.32% (O-MaMa) | +2.9% 相对提升 |
| HANDAL-X 零样本 | IoU | 78.8% | 42.8% (ObjectRelator) | +84.1% 相对提升 |
| HANDAL-X 有监督微调 | IoU | 85.3% | 84.7% (ObjectRelator) | +0.7% 相对提升 |
局限与改进
本文存在以下几个方面的局限性。首先，在小物体分割上表现仍有提升空间。实验显示当目标物体在目标视角图像中占比小于0.1%时，IoU显著下降，这对于烹饪、健康和自行车维修等场景中较小物体的分割构成了挑战。其次，作者在补充材料中坦承了常见的失败模式：预测掩码未能完整覆盖真值区域、被场景中视觉相似的物体吸引、以及完全无法检测到目标物体。虽然TTT可以部分缓解这些错误，但仍有改进空间。第三，本文未显式处理循环中物体不可见的边界情况，尽管在Ego-Exo4D数据集中此类实例较为罕见。第四，训练资源需求较高，在8块NVIDIA RTX A800 GPU上需要约72小时的训练时间，TTT在推理阶段也增加了额外延迟（Ego2Exo约3小时，Exo2Ego约12小时）。第五，本文未利用时间维度信息，仅处理单帧图像对，未来可引入视频时序线索来更好地捕捉物体动态变化。
独立分析的弱点
本文存在几个值得深入分析的弱点。第一，Ego2Exo和Exo2Ego两个方向的性能存在不对称性（Ego2Exo IoU 41.95% vs Exo2Ego 47.18%），分析表明这是因为Ego2Exo中包含更多小目标物体，但本文未针对这一分布差异提出专门的解决方案，可以考虑对不同大小的物体采用不同粒度的特征提取或多尺度融合策略。第二，TTT在两个方向需要不同的超参数设置（Ego2Exo仅需K=4层、T=2步，而Exo2Ego需要K=11层、T=6步），这种手动调参在实际部署中不够灵活，可以探索自适应TTT策略，根据输入样本自动确定微调深度和步数。第三，循环一致性损失中仅使用BCE而未使用Dice损失，实验表明在循环损失中引入Dice会损害TTT效果，但作者未深入分析原因，可能是Dice损失改变了梯度分布导致TTT优化景观变差。第四，可见性预测采用后训练策略（冻结网络仅微调CLS头），这种两阶段设计可能不是最优的，可以尝试在主训练中联合优化可见性损失。
未来方向
作者在补充材料中明确提出了未来研究方向：引入时间线索来更好地捕捉物体动态变化，以减少常见失败模式。除此之外，基于本文成果还可以延伸以下方向：第一，将框架扩展到视频级别的跨视角对应，利用时序信息（如光流、物体轨迹）来增强对应关系的鲁棒性，特别是对于运动物体。第二，引入语言模态，实现跨视角的参考表达理解（referring expression comprehension），使智能体能够根据语言指令在不同视角下定位物体。第三，探索更高效的TTT策略，如利用缓存的特征进行快速适应或基于元学习的初始化，减少推理时的计算开销。第四，将循环一致性思想推广到多视角（超过两个视角）的物体对应问题，构建更通用的多视角理解框架。第五，结合3D几何信息（如深度估计、点云）来辅助跨视角的空间推理，特别是在视角差异极大的场景中。
复现评估
本文的复现条件较为便利。代码已在GitHub开源（https://github.com/shannany0606/CCMP），提供了完整的实现。数据方面使用的是公开可用的Ego-Exo4D数据集（含1,335个视频take、180万个标注掩码）和HANDAL-X数据集（44,102个训练对、14,074个测试对），其中Ego-Exo4D因隐私原因有66个训练take被移除。算力方面，训练需要8块NVIDIA RTX A800（40GB显存）GPU，训练约72小时，加上可见性预测训练1小时和TTT推理阶段的额外时间。虽然算力需求不低，但相比ObjectRelator等需要额外辅助模块的方法，本文的管道更为简洁。DINOv3预训练权重也是公开可用的。总体而言，在具备足够GPU资源的条件下，本文的复现难度为中等，主要挑战在于TTT阶段的超参数调优和梯度累积的正确实现。
论文图表