CanViT：迈向主动视觉基础模型 CanViT: Toward Active-Vision Foundation Models
首个任务和策略无关的主动视觉基础模型，用Canvas注意力实现高效序列推理
前置知识
Active Computer Vision (主动视觉)
主动视觉是一种受人类视觉系统启发的计算机视觉范式。不同于传统模型被动地处理整张图像，主动视觉模型通过顺序的、局部化的瞥视（glimpse）来感知场景。在每个时间步，模型选择一个视点（包含位置和缩放级别），从该视点提取一个固定分辨率的图像块，逐步构建对场景的理解。这种方式模拟了人类通过眼跳（saccade）和注视（fixation）来采样视觉环境的过程。
本文的核心就是构建一个主动视觉基础模型，理解主动视觉的基本概念是理解整篇论文的前提。
Vision Transformer (ViT)
Vision Transformer是将Transformer架构应用于计算机视觉的模型。它将图像分割成固定大小的patch（通常是16×16像素），将每个patch线性投影为token，然后通过多层自注意力机制和前馈网络处理。ViT在大规模预训练后展现出强大的视觉特征提取能力，是当前视觉基础模型的主流架构。DINOv3就是基于ViT的自监督视觉模型。
CanViT的backbone就是基于ViT架构，理解ViT的工作原理对于理解本文的双流架构设计至关重要。
Cross-Attention (交叉注意力)
交叉注意力是Transformer中的一种注意力机制，其中Query来自一个序列，而Key和Value来自另一个序列。这允许一个序列中的每个位置查询另一个序列中的相关信息。在标准实现中，Query、Key、Value和Output（QKVO）的线性投影在两侧都会应用。交叉注意力常用于编码器-解码器架构、多模态融合等场景。
本文提出的Canvas Attention本质上是一种非对称的交叉注意力机制，理解标准交叉注意力是理解其创新的基础。
Knowledge Distillation (知识蒸馏)
知识蒸馏是一种模型压缩和迁移学习技术，其中较大的教师模型的知识被转移到较小的学生模型。在密集特征蒸馏中，学生模型被训练来匹配教师模型在每个空间位置的特征表示，而不仅仅是最终的分类输出。这种方法允许将大型预训练模型的视觉理解能力快速迁移到新架构中。Proteus等工作展示了从DINOv2/v3蒸馏到更小ViT的有效性。
本文的核心预训练方法就是从被动视觉教师（DINOv3）向主动视觉学生（CanViT）的密集潜在蒸馏，理解知识蒸馏的原理是理解本文预训练方案的关键。
Rotary Position Embedding (RoPE)
RoPE是一种将位置信息编码到Transformer注意力机制中的方法，通过在Query和Key向量上应用旋转矩阵来实现。对于2D视觉应用，2D RoPE分别对x和y坐标应用旋转编码。RoPE的关键优势是它能够编码相对位置关系，使得模型能够泛化到训练时未见过的序列长度或空间分辨率。在视觉应用中，RoPE根据patch在图像中的位置计算旋转角度。
本文提出Scene-Relative RoPE（SR-RoPE）来统一retinotopic瞥视流和spatiotopic画布流的空间参考框架，是实现跨分辨率泛化的关键技术。
Dense Prediction (密集预测)
密集预测是计算机视觉中需要为输入图像的每个像素或每个patch生成预测的任务类型，包括语义分割（为每个像素预测类别标签）、深度估计（为每个像素预测深度值）、实例分割等。与分类等全局任务不同，密集预测要求模型保持空间信息，输出与输入具有对应的空间结构。在被动视觉中，CNN和ViT通过输入输出特征图之间的直接连接来实现密集预测。
主动视觉模型在密集预测任务上的表现远落后于被动视觉模型，这是本文要解决的核心挑战之一。
研究动机
主动计算机视觉虽然承诺了高效、生物可信的感知能力，但目前缺乏可扩展的通用架构和预训练流程，导致主动视觉基础模型（AVFM）探索不足。现有主动视觉模型存在三个核心问题：第一，大多数模型聚焦于动作选择（选择下一视点）而非视觉理解和记忆能力，这是本末倒置的——给定完美的瞬时视觉和记忆，即使朴素的策略在足够多的瞥视后也能达到相同的准确率，但没有任何策略能弥补糟糕的观察者。第二，在密集预测任务上表现极差：AME和AdaGlimpse作为最先进的主动视觉模型，在ADE20K语义分割上分别仅达到27.6%和25.7%的mIoU，远落后于被动视觉模型。这些模型通过后处理扩展编码器输出来实现密集预测，在高分辨率场景下变得不可行。第三，现有模型通常与特定策略绑定，无法泛化到不同的观看策略，限制了实际部署的灵活性。
本文的目标是本文的目标是构建一个任务和策略无关的主动视觉基础模型（AVFM），能够在任意瞥视序列下理解场景的空间和语义结构，产生丰富的、可跨任务和观看策略迁移的表示。具体来说，作者希望：(1) 实现强大的瞬时视觉能力，能够从单个低分辨率瞥视中提取有意义的特征；(2) 建立持久的、演化的场景表示（记忆），能够在多个瞥视间整合信息；(3) 将如何在主动视觉环境中看与看向哪里解耦，使预训练过程摆脱强化学习的复杂性。最终目标是在ADE20K语义分割和ImageNet-1k分类等基准测试上大幅超越现有主动视觉模型。
与已有工作不同的是，本文的独特切入角度在于将基础模型范式应用于主动视觉，而非像以往工作那样主要关注策略学习。作者认识到，在视觉理解的三个维度——瞬时视觉、记忆、动作选择——中，前两者是根本性的：没有任何策略能弥补糟糕的观察者能力。因此，CanViT聚焦于构建强大的视觉backbone和记忆机制，并通过策略无关的预训练来实现这一目标。另一个关键创新是提出被动到主动的密集潜在蒸馏方案，利用成熟的被动视觉基础模型（DINOv3）作为教师，通过重建场景级DINOv3嵌入来训练主动视觉学生模型。这种跨问题设置的蒸馏（而非跨模型大小的蒸馏）是一个新颖的视角，允许主动视觉预训练专注于主动视觉特有的挑战，如部分可观测性和跨瞥视信息整合。
核心方法
CanViT的核心设计思想是将主动视觉处理建模为一个高容量记忆流（画布，canvas）和ViT骨干的紧凑瞥视处理流之间的交互。直觉上，这类似于人类视觉系统中的视觉工作记忆：瞥视流处理当前看到的内容（类似视网膜输入），画布维持对整个场景的持续理解（类似高级视觉皮层的认知地图）。这两个流通过Canvas Attention机制双向交互：在Read操作中，瞥视token查询画布以获取上下文信息；在Write操作中，画布token查询瞥视以获取新信息并更新记忆。这种设计的关键在于画布流完全不使用自注意力或MLP层，只通过与瞥视token的交互来演化，从而实现了对高分辨率画布网格的高效支持。预训练阶段采用被动到主动的密集潜在蒸馏方案：将DINOv3被动视觉教师的场景级嵌入作为重建目标，训练CanViT从随机瞥视序列中重建这些嵌入。
CanViT的核心创新在于三个相互关联的设计决策。第一，非对称Canvas Attention机制：传统交叉注意力在Query侧和Key/Value侧都应用QKVO投影，但CanViT只在瞥视侧应用投影，画布侧仅使用LayerNorm、RoPE和残差加法。这种设计基于一个关键洞察：画布token数量远多于瞥视token（如64×64画布有4096个token，而瞥视仅有71个token），在画布侧应用投影将使每次Canvas Attention的计算量从2.8 GFLOPs激增至37.3 GFLOPs。第二，策略无关的预训练：通过随机化瞥视位置、缩放级别和序列长度，使模型能够泛化到任意观看策略，完全避免了强化学习的复杂性。第三，被动到主动蒸馏：利用DINOv3的密集特征作为理想场景理解的参考，训练CanViT从部分观察中重建这种理解，这是一种跨问题设置（而非跨模型大小）的知识迁移。
方法步骤详情
CanViT的处理流程包含以下关键步骤：(1) 瞥视提取与编码：在每个时间步t，从场景中提取视点 $v_t = (x_t, y_t, s_t)$ 处的 $128^2$ 像素瞥视，其中 $(x_t, y_t) \in [-1, +1]^2$ 是场景坐标系中的中心，$s_t \in (0, 1]$ 是缩放级别（半边长）。瞥视被分割成 $16^2$ 像素的patch，加上寄存器token、递归CLS token和视点编码（VPE）token，形成瞥视流。(2) 画布初始化：画布由少量画布寄存器（非空间记忆）和 $H \times W$ 的空间网格组成，网格均匀覆盖 $[-1, +1]^2$ 场景坐标空间。在每个rollout开始时，从单个可学习初始patch广播到所需大小。(3) 双流交互：通过交替的Canvas Attention Read和Write操作，每2个ViT块进行一次交互。Read操作中，瞥视token作为Query查询画布；Write操作中，画布token作为Query查询瞥视。两个流的输出通过残差加法注入。(4) 解码与损失：在每个时间步，画布token经过LayerNorm后通过线性投影解码为DINOv3空间的重建 $\hat{Z}_t$，CLS token解码为 $\hat{z}_t$。损失函数为patch级和CLS级重建的均方误差，跨空间和时间平均：$\mathcal{L} = \frac{1}{T} \sum_{t=0}^{T-1} \left( \frac{1}{HW} \|\hat{Z}_t - Z^*\|_F^2 + \|\hat{z}_t - z^*\|^2 \right)$。(5) 预训练策略：使用双rollout方案（R-IID和F-IID），随机化瞥视中心和缩放级别，并通过截断BPTT和 $p_{stop}=0.5$ 的随机停止实现序列长度鲁棒性。
技术新颖性
CanViT的技术新颖性体现在多个层面。首先，Canvas Attention的非对称设计是全新的：不同于Perceiver和RINs等先驱工作，CanViT将外部输入放在token数量少的一侧（瞥视），将潜在表示放在token数量多的一侧（画布），并且画布侧完全不应用QKVO投影、MLP或自注意力。这种设计使画布能够支持细粒度的空间网格而不会带来不可接受的计算开销。其次，Scene-Relative RoPE（SR-RoPE）是一个巧妙的设计：通过在场景的 $[-1, +1]^2$ 坐标系中计算2D RoPE，将retinotopic瞥视流和spatiotopic画布流绑定在统一的空间参考框架中。瞥视patch的位置取决于当前视点，隐式传达了缩放级别信息。第三，被动到主动密集潜在蒸馏方案是首次提出的跨问题设置蒸馏方法，与Proteus等工作（跨模型大小蒸馏）形成对比。最后，递归CLS token的设计允许在每个时间步产生可用于全局预测的表示，同时画布token用于密集预测，实现了两种预测类型的统一。
实验结果
CanViT-B在ADE20K语义分割和ImageNet-1k分类上均大幅超越了所有先前的主动视觉模型。在ADE20K上，冻结权重配合线性探针的CanViT-B在使用EG-C2F策略和 $64^2$ 画布分辨率时达到45.9%的mIoU，相比AME的27.6%提升了18.3个百分点。更令人印象深刻的是效率优势：在单个瞥视下，CanViT-B即达到38.5% mIoU，使用的推理FLOPs仅为AME达到27.6% mIoU时的1/20。在ImageNet-1k上，冻结权重的CanViT-B达到81.1% top-1准确率，微调后进一步提升至84.5%，超越AdaptiveNN的82.2%。CanViT展现出强大的跨策略泛化能力：无论是R-IID、F-IID、C2F还是F2C策略，冻结权重的模型都能有效工作。C2F策略在ADE20K上显著优于R-IID和F-IID，展示了上下文感知处理的重要性。值得注意的是，即使训练时仅使用 $32^2$ 画布，推理时使用 $64^2$ 画布仍能带来一致的准确率提升。在单个被动视觉输入下，CanViT-B在小目标分割上的表现甚至超越了其DINOv3教师模型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ADE20K语义分割 | mIoU (%) | 45.9 (冻结权重, EG-C2F策略, 64²画布) | AME (SETR) 27.6, AdaGlimpse 25.7 | 相比最佳基线提升66.3%相对准确率 |
| ADE20K语义分割 (单瞥视) | mIoU (%) | 38.5 (单个低分辨率瞥视) | AME (SETR) 27.6 (多瞥视) | 用20倍更少的FLOPs超越多瞥视基线 |
| ImageNet-1k分类 | Top-1准确率 (%) | 84.5 (微调), 81.1 (冻结) | AdaptiveNN 82.2, Saccader 75.0, AdaGlimpse 77.5 | 微调后提升2.3个百分点，冻结权重下提升1.0个百分点 |
| ADE20K语义分割 (64²画布, 21瞥视) | mIoU (%) | 45.9 | AME (MAE) 24.4, AME (SETR) 27.6 | 提升18.3个百分点，相对提升66% |
局限与改进
作者承认的主要局限性包括：第一，CanViT与大多数主动视觉模型一样，在静态场景上训练和评估，尚未扩展到视频或动态场景。虽然其常数内存递归设计使其天然适合实时视频处理，但可能需要引入轻量级门控机制来实现选择性遗忘。第二，预训练依赖于预训练的被动视觉教师（DINOv3），这在极高场景分辨率下可能成为瓶颈，因为教师模型的二次自注意力成本和预计算特征的大量存储需求。特别是处理视频时，需要为每个时间步存储不同的目标。第三，仅使用单一模型大小（CanViT-B）和相对有限的计算预算进行预训练，数据集（13.2M ImageNet-21k场景）比DINOv3的LVD-1689M小100倍以上。从个人观察来看，额外的局限包括：画布侧完全不使用自注意力和MLP层虽然提高了效率，但也限制了画布token之间的全局推理能力；策略无关的预训练虽然泛化性好，但可能不如策略感知的预训练在特定策略下表现最优；线性探针评估方式可能无法完全反映模型在实际下游任务中的表现。
独立分析的弱点
CanViT存在几个值得关注的弱点。首先，画布侧完全不使用自注意力和MLP层是一个双刃剑设计：虽然这极大提高了效率，但画布token之间无法直接通信，意味着画布内的全局推理能力可能受限。改进方向可以是引入稀疏的画布内注意力，例如在相邻画布patch之间进行局部注意力，或在特定的全局画布token之间进行注意力。其次，预训练使用的平均序列长度仅为T=4，虽然通过随机停止偶尔暴露更长序列，但在需要长时间推理的复杂场景中可能表现不足。可以考虑课程学习策略，逐步增加训练序列长度。第三，线性探针评估可能低估了模型的实际能力，因为更复杂的解码头（如轻量级Transformer解码器）可能释放更多性能。第四，模型缺乏显式的不确定性估计机制，对于实际部署中的可靠决策可能不够。
未来方向
作者提出了几个有前景的未来方向：第一，将CanViT扩展到实时视频处理和具身主动感知，利用其常数内存递归设计的天然优势。在这些场景中，可能需要引入轻量级门控机制来实现选择性遗忘。第二，基于强化学习的策略学习是一个自然的扩展，特别是在目标导向的视觉搜索等任务中。CanViT的VPE token设计已经为端到端策略学习做好了准备。第三，将CanViT应用于单目深度估计，预期无需重新训练即可工作，类似于其DINOv3教师和从DINOv2/v3特征蒸馏的被动模型。第四，主动到主动自蒸馏是一个值得探索的方向，可以消除对预训练被动教师的依赖。基于当前成果还可以延伸：探索更大的模型规模（CanViT-L、CanViT-G）和更长的预训练；研究画布分辨率与场景复杂度的关系；将框架扩展到多模态场景（如结合语言指令的主动视觉）；以及开发基于画布状态的主动探索策略。
复现评估
从复现角度来看，本文提供了良好的开源支持。作者在论文中明确声明代码、权重和数据将在GitHub仓库（https://github.com/m2b3/CanViT-PyTorch）发布。预训练使用13.2M ImageNet-21k场景和10亿个随机瞥视，在单个H100 GPU上仅需166小时完成，这是相对可行的计算需求。DINOv3教师模型是公开可用的，预计算的参考特征可以存储并跨epoch复用。然而，完全复现仍面临一些挑战：需要获取和处理完整的ImageNet-21k数据集；DINOv3的高分辨率教师推理需要大量计算和存储；线性探针的训练需要为每个画布分辨率单独训练。评估协议相对清晰，使用标准的ADE20K和ImageNet-1k基准。总体而言，对于具备中等计算资源的研究团队，复现本文的核心结果是可行的。
论文图表
