MuRF：释放视觉基础模型的多尺度潜力 MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models
推理时多分辨率特征融合，无需训练即可全面提升视觉基础模型
前置知识
视觉基础模型（Vision Foundation Models, VFMs）
在大规模数据集上预训练的视觉模型，能够提取可广泛迁移的视觉特征表示。典型的代表包括DINOv2（基于ViT架构的自监督模型）和SigLIP2（对比学习模型）。这些模型通常采用Vision Transformer（ViT）架构，将输入图像分割成固定大小的patch，通过多层Transformer编码器提取特征。DINOv2-ViT-B/14使用14×14的patch大小，将输入图像转换为一系列token序列。预训练后的VFM可以作为冻结的特征提取器，服务于语义分割、深度估计等多种下游任务。
本文的核心贡献是提升VFM在推理时的特征质量，理解VFM的基本工作原理是理解本文方法的前提
多分辨率推理（Multi-Resolution Inference）
传统VFM推理时通常将输入图像resize到单一固定分辨率（如224×224或518×518），然后提取特征。多分辨率推理则是对同一张图像在不同尺度下分别提取特征，利用不同分辨率提供的互补信息。低分辨率视图（如266×266）由于patch相对较大，能捕捉全局语义上下文；高分辨率视图（如784×784）则能保留精细的边界细节和高频信息。这种'分工'现象是本文方法的核心观察。
理解不同分辨率提供的互补信息是理解MuRF方法设计动机的关键
特征金字塔（Feature Pyramid）
经典的多尺度特征表示方法，最早由Adelson等人在1984年提出图像金字塔概念，后来被Feature Pyramid Networks（FPN）引入深度学习。传统FPN在网络内部构建多尺度特征图，通常需要针对特定任务进行训练。MuRF则从输入空间构建特征金字塔——对不同分辨率的输入分别通过冻结的VFM提取特征，然后在特征空间中融合。这种做法避免了任务特定训练的需求。
MuRF可以看作是对经典图像金字塔的现代化改造，理解其历史背景有助于认识本文方法的创新点
通道拼接（Channel-wise Concatenation）
将多个特征张量沿通道维度拼接成一个更大的张量。如果原始特征维度为d，拼接|S_res|个分辨率的特征后，总维度变为D = |S_res| × d。与逐元素相加或平均池化不同，通道拼接将特征投影到更高维空间，严格保留各尺度特征的独立性。作者指出ViT特征是高度局部化和尺度相关的语义token，求和或平均可能导致'破坏性干扰'，而拼接则让下游任务头能自适应地选择和路由适当的尺度信息。
这是MuRF的核心技术选择，理解其设计理由对理解方法至关重要
线性探测（Linear Probing）
一种评估特征表示质量的方法，固定预训练模型的参数，只训练一个简单的线性分类头（通常是1×1卷积或全连接层）。在语义分割任务中，线性探针将VFM提取的特征图映射到语义类别数；在深度估计中，映射到单通道深度值。Lin. 1协议使用最后一层特征拼接[CLS]token，Lin. 4协议则拼接第3、6、9、12层的特征。线性探针的结果能直接反映特征本身的表达能力。
本文的实验大量采用线性探测设置来公平比较不同特征表示的质量
研究动机
尽管现代视觉基础模型（如DINOv2）在训练阶段已经支持多分辨率输入，能够处理任意宽高比和尺度的图像，但标准的推理协议仍然惊人地僵化——通常将输入图像resize到单一的'最优'分辨率后才送入VFM处理。这种单尺度推理范式从根本上忽略了视觉数据的多尺度特性。作者通过实验揭示了一个核心现象：不同分辨率的输入提供互补的归纳偏置。具体而言，低分辨率输入（如266×266）由于patch的相对尺寸较大，擅长捕获全局一致的语义上下文，实现稳健的识别；高分辨率输入（如784×784）则对于解析精细的高频细节和精确边界不可或缺，实现精确的细化。然而，将推理限制在任何单一尺度上，现有方法不可避免地要么牺牲全局一致性，要么牺牲局部精度。这种'识别vs.细化'的权衡在语义分割、深度估计和异常检测等多个任务中都有明显体现。
本文的目标是本文的具体目标是开发一种通用的、对尺度鲁棒的视觉表示方法，能够在推理时充分利用冻结的VFM，无需对骨干网络进行任何额外训练。作者希望通过一种简单且统一的策略，将低分辨率视图的全局语义识别优势与高分辨率视图的精细细节细化能力有效融合，从而在多种下游任务上实现一致的性能提升。具体而言，MuRF旨在：（1）在语义分割任务中提升mIoU指标；（2）在深度估计任务中降低RMSE误差；（3）在视觉问答任务中增强多模态大语言模型的理解能力；（4）在无监督异常检测中实现最先进的性能。
与已有工作不同的是，本文的独特切入角度在于将经典的图像金字塔概念重新引入VFM时代，并以完全无训练的方式实现。与现有的多尺度处理方法相比，MuRF有三个本质区别：首先，与Feature Pyramid Networks（FPN）不同，MuRF不需要任务特定的训练来构建多尺度表示；其次，与MLLM中常用的分块（tiling）策略不同，MuRF通过特征空间融合避免了分块带来的边界不连续问题；第三，与FeatUp和JAFAR等特征上采样方法不同，MuRF不是在单次前向传播后恢复高频细节，而是通过融合多个分辨率的前向传播结果来引入真正的新信息。作者提出了一种'通道拼接'的融合策略，将不同尺度的特征投影到更高维空间，保留尺度间的独立性，让轻量级下游任务头自适应选择所需的尺度信息。
核心方法
MuRF的整体思路可以用一个简单的直觉来理解：就像人类观察物体时会先远看获得整体印象，再近看确认细节一样，MuRF让VFM在多个'观看距离'下处理同一张图像，然后综合所有视角的信息。技术上，给定输入图像x，MuRF首先将其resize到一组不同的尺度S_res = {s_1, s_2, ..., s_k}，生成一系列不同分辨率的图像。每个resize后的图像分别通过冻结的VFM编码器提取特征图F_s。然后，所有特征图通过双线性插值上采样到统一的空间分辨率，最后沿通道维度拼接得到最终的MuRF表示F_MuRF。整个过程完全不需要训练VFM骨干网络，只需要训练轻量级的任务特定头。
MuRF的核心创新在于选择通道维度拼接（channel-wise concatenation）作为特征融合策略，而非更常见的逐元素相加、平均池化或可学习注意力机制。这一选择背后有深刻的技术理由：Vision Transformer的特征是高度局部化且尺度相关的语义token。低分辨率特征编码的是'这个区域大概是什么'的全局语义信息，高分辨率特征编码的是'这个区域的边界在哪里'的精细结构信息。如果使用求和或平均池化，这两种正交的信号会发生'破坏性干扰'——宏观语义特征与微观边缘特征混合后变成模糊的表示。通过通道拼接，特征被投影到更高维空间，严格保留了'识别'信号和'细化'信号的独立性。这使得轻量级的下游任务头能够自适应地选择和路由适当的尺度信息，而无需一个重型的参数化融合网络。这种方法的本质优势是：用最简单的操作实现了最灵活的多尺度信息保留。
方法步骤详情
MuRF的方法包含三个主要步骤。第一步是构建输入金字塔：给定原始图像x，使用预定义的缩放因子集合S_res（例如用于异常检测的{0.3, 0.4, 0.5, 0.6, 0.7}，用于分割和深度估计的{0.5, 1.0, 1.5}）将图像resize到多个分辨率。第二步是多分辨率特征提取：每个resize后的图像分别通过冻结的VFM编码器（如DINOv2-ViT-B/14），从最后一层或指定目标层提取patch级特征图F_s，其中d是特征维度（对于ViT-B/14为768）。第三步是特征融合：将所有特征图通过双线性插值上采样到统一的空间分辨率（通常为原始输入尺寸），然后沿通道维度拼接得到F_MuRF。对于不同下游任务，后续的处理有所不同：密集预测任务（分割、深度估计）使用简单的卷积头将D维特征投影到输出通道数；异常检测采用最近邻方法，为每个分辨率构建独立的记忆库，计算L2距离得分后平均；多模态语言模型则通过投影层将视觉特征映射到LLM的词嵌入空间。
技术新颖性
MuRF的技术新颖性体现在多个层面。首先，它是第一个提出在推理时以完全无训练的方式融合多分辨率VFM特征的通用策略。虽然图像金字塔是计算机视觉的经典概念，但将其应用于冻结的VFM并用特征空间融合取代传统的预测空间融合是全新的。其次，作者对融合策略的选择进行了深入的理论分析——通道拼接不是随意选择，而是基于对ViT特征特性的深刻理解：ViT的patch token是尺度相关的，不同尺度的特征本质上是正交的信号，不应被混合。第三，MuRF的'通用性'是其最引人注目的属性：它不绑定于特定架构或任务，而是作为视觉表示的根本性增强。作者验证了这一方法不仅适用于DINOv2，还能泛化到对比学习模型SigLIP2。第四，MuRF在MLLM应用中的设计特别巧妙——通过在视觉投影器层面融合多分辨率特征，确保了送入LLM的视觉token数量不变（保持576个），从而实现了零额外的序列长度计算开销。
实验结果
MuRF在四个核心计算机视觉任务上展示了全面且一致的性能提升。在语义分割任务中，使用DINOv2-ViT-B/14作为骨干网络，MuRF在ADE20K数据集上达到47.4% mIoU，相比单一高分辨率基线（46.1%）提升了1.3个百分点；在PASCAL VOC上达到83.5% mIoU，相比基线（82.5%）提升了1.0个百分点，相对提升2.8%。在深度估计任务中，MuRF在NYU Depth V2数据集上将RMSE从单一最佳基线（中分辨率，0.389）降低到0.361，相对提升7.2%；在SUN RGB-D数据集上从0.432降低到0.419，相对提升3.0%。在视觉问答任务中，MuRF显著提升了多模态理解能力：DINOv2变体在MME感知分数上从1291.6提升到1357.1（+65.5），在认知分数上从278.6提升到366.4（+87.8）；SigLIP2变体在MMBench总分上从211.7提升到216.9（+5.2）。在无监督异常检测任务中，MuRF在MVTec AD 2 TESTpriv,mix子集上达到62.3% AU-PRO0.05，相比次优方法（RoBiS，59.7%）提升了2.6个百分点，实现了新的state-of-the-art。值得注意的是，这些提升是在完全冻结VFM骨干网络的情况下实现的，MuRF仅需训练轻量级任务头，额外计算开销可控。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语义分割（ADE20K） | mIoU (%) | 47.4 | 46.1（单尺度高分辨率） | +1.3 |
| 语义分割（PASCAL VOC） | mIoU (%) | 83.5 | 82.5（单尺度高分辨率） | +1.0（相对+2.8%） |
| 深度估计（NYU Depth V2） | RMSE ↓ | 0.361 | 0.389（单尺度中分辨率） | -0.028（相对+7.2%） |
| 深度估计（SUN RGB-D） | RMSE ↓ | 0.419 | 0.432（单尺度中分辨率） | -0.013（相对+3.0%） |
| VQA（DINOv2变体，MME感知） | MME Percept. | 1357.1 | 1291.6 | +65.5 |
| VQA（SigLIP2变体，MMBench） | MMBench Total | 216.9 | 211.7 | +5.2 |
| 无监督异常检测（MVTec AD 2 TESTpriv,mix） | AU-PRO0.05 (%) | 62.3 | 59.7（RoBiS） | +2.6 |
局限与改进
尽管MuRF展示了全面的性能提升，论文中也存在一些值得关注的局限性。首先，计算开销是一个现实问题：根据Table 2的数据，MuRF的训练延迟为58.35 ms/iter，是单尺度基线（22.61 ms/iter）的约2.6倍；VRAM占用从0.43 GB增加到0.56 GB；下游头参数量从0.39M增加到1.18M。虽然这些开销相对可控，但在资源受限的场景下仍需权衡。其次，MuRF在某些任务上的提升幅度有限：例如在ADE20K上仅提升1.3 mIoU，在POPE基准上DINOv2变体反而没有提升（保持87.1 vs 87.1），SigLIP2变体甚至略有下降（86.7 vs 87.1）。第三，论文的异常检测实验仅使用了5个分辨率（{0.3, 0.4, 0.5, 0.6, 0.7}），而在分割和深度估计中仅使用3个分辨率，在MLLM中仅使用2个分辨率，不同任务的最优分辨率选择策略尚不明确。第四，作者自承的局限性包括：论文主要在ViT-B/14规模的模型上验证，对于更大规模的VFM（如ViT-L或ViT-H）的效果有待验证；此外，MuRF的特征拼接策略在分辨率数量增加时会导致通道维度线性增长，可能在某些架构中造成效率瓶颈。
独立分析的弱点
从独立分析的角度看，MuRF存在几个值得改进的弱点。首先，分辨率选择策略缺乏理论指导：论文中使用的分辨率组合（如{0.5, 1.0, 1.5}或{0.3, 0.4, 0.5, 0.6, 0.7}）是经验性选择，没有提供如何为新任务或新数据集选择最优分辨率集合的系统方法。改进方向可以是开发自适应分辨率选择算法，根据输入图像的内容复杂度和任务需求动态调整分辨率。其次，通道拼接策略虽然简单有效，但当分辨率数量增多时（如异常检测使用5个分辨率），通道维度会线性增长到5d，可能导致下游任务头参数过多或训练不稳定。可以考虑引入轻量级的通道注意力机制来压缩和重加权多尺度特征。第三，论文没有充分探讨不同VFM架构之间的差异：DINOv2和SigLIP2的预训练目标不同（自监督vs对比学习），它们的多尺度特征融合效果可能存在本质差异，但这方面的分析不够深入。第四，对于MLLM应用，MuRF将低分辨率特征直接拼接到高分辨率特征后通过投影器，这种'暴力拼接'可能不是最优的，可以考虑更精细的跨尺度注意力融合机制。
未来方向
基于MuRF的成果，有几个有前景的未来研究方向。作者在论文中暗示的第一个方向是将MuRF扩展到更多VFM家族：虽然论文验证了DINOv2和SigLIP2，但对于CLIP、EVA-02、InternVL等其他流行的视觉编码器，MuRF的适用性值得探索。第二个方向是将MuRF与多层特征融合结合：Table 5的结果显示，MuRF与多层特征拼接（Lin. 3）是正交的，组合使用可以进一步提升性能（NYUd RMSE从0.361降到0.357），这暗示存在更丰富的多尺度-多层次特征融合策略。第三个方向是将MuRF应用于视频理解：视频数据天然具有时间维度的多尺度特性，将MuRF的思路扩展到时空多分辨率融合是一个自然的延伸。第四个方向是探索MuRF在few-shot学习和域适应场景中的应用：在这些场景下，特征表示的质量对最终性能至关重要，MuRF的无训练增强特性可能特别有价值。第五个方向是开发更高效的融合策略：例如，通过知识蒸馏将多分辨率融合的能力压缩回单次前向传播，或者通过神经架构搜索自动发现最优的多尺度融合拓扑。
复现评估
从复现评估的角度看，MuRF的复现条件相当友好。首先，作者承诺开源代码，代码仓库地址为https://github.com/orgs/MuRF-VFM，项目主页为https://MuRF-VFM.github.io。其次，论文使用的所有组件都是公开可获取的：DINOv2-ViT-B/14和SigLIP2-Base都是公开的预训练模型，ADE20K、PASCAL VOC、NYU Depth V2、MVTec AD 2等数据集都是计算机视觉领域的标准基准。第三，方法本身是无训练的（对VFM骨干而言），只需训练轻量级任务头，这大大降低了算力需求。根据Table 2的数据，单次MuRF前向传播在DINOv2-ViT-B/14上的延迟约为58.35 ms/iter，VRAM占用约0.56 GB，这在现代GPU上完全可以承受。对于MLLM实验，MuRF的预训练时间为72分钟，微调时间为274分钟（单尺度基线分别为71分钟和270分钟），额外开销极小。总体而言，MuRF的复现难度较低，适合学术研究者和工程师快速验证和应用。
论文图表
该图展示了同一张图像在三个不同分辨率（266、518、784）下DINOv2提取的特征图可视化。低分辨率（266）的特征图在全局上是一致的，能够稳健地识别物体，但边界模糊；高分辨率（784）的特征图边界清晰锐利，但物体内部出现噪声，可能导致不完整的分割。中分辨率（518）则处于两者之间。这张图直观地展示了'识别vs.细化'的权衡现象。
这张图是整篇论文的核心动机图，直观地展示了为什么单尺度推理是不够的——不同分辨率提供互补的信息，必须融合才能获得最优表示。
该表格是异常检测任务的消融研究，评估了不同分辨率组合的效果。单分辨率中0.5×最佳（55.39），过低（0.3×，52.29）和过高（0.7×，54.87）分辨率都不理想。融合3个分辨率（{0.3, 0.5, 0.7}）提升到56.60，融合4个分辨率（{0.3, 0.4, 0.6, 0.7}）达到57.29，接近完整5分辨率MuRF的57.32。关键是覆盖粗到细的分辨率谱，而非特定的'魔法'分辨率。
这个消融研究揭示了异常检测任务中分辨率选择的规律，为实际应用提供了指导。