隐式神经表示促进统一通用视觉编码

INR超网络统一识别与重建并给出强力压缩表示

前置知识

隐式神经表示（INR）

隐式神经表示是指把图像这类信号编码进神经网络权重里，使网络能够从坐标映射到像素值。本文沿用经典设定，用函数 $f_{\theta}: X \rightarrow I$ 表示图像，其中 $X$ 为像素坐标，$I$ 为颜色向量。训练过程属于'内部学习'，网络通过多次遍历像素来记忆当前样本，从而在推理阶段精确重建。INR 天然适合压缩和超分辨率，但逐图训练昂贵，且缺乏跨样本泛化，因此论文转而采用超网络来统一处理。

HUVR 的核心是把图像转成可重建的 INR 权重，理解 INR 才能看懂为何要预测权重、为何能同时支持重建和生成。

超网络（Hyper-network）

超网络是输出'另一个网络权重'的网络。论文定义 $h: I \rightarrow f_{\theta'}$，输入图像，输出实例特定的 INR 权重。为提升效率，通常引入共享 base 权重 $\theta_b$，再通过调制矩阵 $M_i$ 逐层修改，最终得到 $\theta' = \{W_i \odot M_i\}$。传统超网络还需可学习的 weight token，但本文改为直接用 patch token，既减少冗余又保留空间信息，使分类、分割和重建可以在同一框架内完成。

超网络机制解释了论文为何能在单次前向传播中获得可重建表示，也是后续 patch token 与 global token 设计的基石。

知识蒸馏（Distillation）

知识蒸馏是把教师模型的特征作为监督信号，让学生模型学习对齐。本文在 encoder 和 decoder 输出处对所有 token 计算 L2 损失，其中 t 表示 global/patch 类型，o 表示 encoder/decoder 输出，$\alpha_{t,o}$ 为对应权重。蒸馏使得原本只追求重建的 INR 超网络获得高阶语义，从而兼顾分类和分割。论文发现对全部 token 做蒸馏可以提升分类和分割，但会牺牲部分重建，需用更长训练和更大 teacher 来补偿。

蒸馏是让压缩表示不丢失语义的关键手段，否则 Tiny Token 只能做像素还原，无法支撑识别任务。

Tiny Tokens（TinToks）

Tiny Tokens 是论文提出的压缩表示，维度 $d_t$ 远小于标准 ViT 维度 $d_{\text{ViT}}$（如从 768 降到 8/16/32）。流程为：先用 LayerNorm 加线性层把 token 下采样到 $d_t$，经 transformer decoder 处理后再上采样回 $d_{\text{ViT}}$。TinToks 需要在极小维度中承载分类、分割和像素重建信息，论文通过蒸馏和重建损失协同训练，使其在 96 倍压缩下仍保持强语义和重建能力。

TinToks 代表'统一'理念的压缩端：既要小到可检索或生成，又要保证像素还原，是本文区别于 PCA 或 VAE 压缩的核心创新。

INR 调制（Modulation）

INR 调制是把超网络输出的 token 转换为权重矩阵，并与 base INR 权重逐元素相乘。论文将 patch token 投影到 $d_{in}$，global token 投影到 $d_{out}$，两者相乘得 $M_i \in \mathbb{R}^{d_{in}\times d_{out}}$，再与共享权重 $W_i$ 相乘得到实例特定权重。此乘性结构既保留 INR 拓扑，又注入样本信息。论文只调制第二层以控制参数量，却足以产生高质量重建。该设计是理解 patch-wise 预测和 global token 双重功能的基础。

调制方式直接决定重建质量和 token 效率，理解它才能看懂 patch-wise 设计和 global token 的双重作用。

研究动机

现有视觉表征体系呈现'识别'与'生成'割裂：DINOv3、SigLIP 等对比学习模型在分类、分割上表现出色，但不具备像素重建能力；Stable Diffusion VAE 等生成模型擅长重建，却在语义识别上不足。实践中，系统常需多个专用编码器，并在检索或大规模部署时用 PCA 等手段压缩嵌入维度，但压缩会导致语义快速退化。例如 DINOv3 在 $d=8$ 的 PCA 嵌入上 ImageNet 线性探测只有 16.1%，PSNR 仅 15.51 dB，远不能满足统一需求。传统 INR 超网络虽能重建，但缺少 cls token、patch token 与空间位置脱节，分割效果差，且每张图需独立训练，效率极低。总体而言，现有方法无法在单一架构中同时提供高压缩表示、强语义识别和像素级重建。

本文的目标是本文的目标是提出 Hyper-network for Unified Visual Representation（HUVR），在一个模型中同时解决三件事：其一，生成标准尺寸的 token（如 $d=768$）用于分类、分割、深度估计等识别任务；其二，提供极小维度的压缩 token（TinToks，如 $d=8/32$），在保持语义的同时实现高质量重建和生成；其三，通过 INR 超网络直接输出可重建的隐式神经表示，使压缩表示具备像素级还原能力。论文希望用统一架构取代多个专用模型，让下游任务根据算力约束自由选取合适维度的表示。

与已有工作不同的是，以往的工作要么在生成模型基础上做识别适配，要么在识别模型上用 PCA 压缩并牺牲语义；INR 超网络缺少 cls token、难以处理 patch 级信息，且未与现代 ViT 的蒸馏机制结合。本文的独特切入在于：让 patch token 直接充当权重 token，去掉冗余 weight token；引入可学习 global token，同时用于分类和调制；在 backbone 与 INR 预测之间加入可学习下采样和上采样层，形成 Tiny Tokens；并在 encoder 和 decoder 输出处对所有 token 施加蒸馏，使压缩表示也继承语义。这样，识别与重建不再是事后拼接，而是原生统一在同一训练目标中。

核心方法

方法整体思路可分三层：首先，ViT 编码器把图像转换为标准 patch token 和 global token；其次，通过可学习下采样和上采样得到压缩 token（TinToks），并经 transformer decoder 优化；最后，INR 超网络利用这些 token 预测每个 patch 的 INR 权重，通过乘性调制得到实例特定网络，实现像素重建。直觉上，传统 INR 需要为每张图单独训练网络，成本高且不通用；超网络学习'图像到网络权重'的一般函数，但以往丢弃 patch token，导致空间信息丢失。HUVR 让每个 patch token 直接成为权重预测载体，并用 global token 提供全局语义和调制向量。训练时同时优化像素 MSE、SSIM、LPIPS 与蒸馏损失，使 token 既可用于识别，也能生成高质量重建。

核心创新体现在四点：一是 patch token as weight token，摒弃传统超网络里的可学习 weight token，直接使用 ViT 的 patch token，避免浪费并保持空间对应；二是引入 global token，既作 cls token 用于分类，也投影为调制矩阵的一维，与 patch token 相乘生成 $M_i$，解决维度约束；三是设计 Tiny Tokens（TinToks），在 backbone 和 INR 预测层之间插入可学习下采样和上采样，得到 $d_t \ll d_{\text{ViT}}$ 的压缩表示，同时保持重建能力；四是对 encoder 和 decoder 末层所有 token 施加蒸馏损失，使压缩表示也继承教师模型的语义。与以往只在标准维度做识别或只在重建空间做压缩不同，HUVR 在训练时同时优化分类、分割和像素重建，让识别和生成能力协同提升。

方法步骤详情

具体流程如下：输入图像经 ViT（带 RoPE）编码得到 patch token $p$ 和 global token $g$，维度为 $d_{\text{ViT}}$。为获得压缩表示，先将 token 通过 LayerNorm 和线性层下采样到 $d_t$，得到 TinToks；再经 transformer decoder 处理后上采样回 $d_{\text{ViT}}$，形成标准和压缩两路编码。INR 超网络由三部分组成：标准 ViT 输出用于分类和蒸馏、压缩编码用于高效存储、INR 调制编码用于权重预测。调制阶段，patch token 投影到 $d_{in}$，global token 投影到 $d_{out}$，二者相乘得到 $M_i \in \mathbb{R}^{d_{in}\times d_{out}}$；与共享 INR 权重 $W_i$ 逐元素相乘，生成实例特定权重 $\theta'$。论文只调制第二层以节省参数，随后用 $\theta'$ 对每个 patch 的像素坐标进行前向，得到 RGB 预测，拼接后重建整图。训练时，除像素 MSE、SSIM、LPIPS 等重建损失，还对 encoder 和 decoder 输出的 token 计算蒸馏损失。

技术新颖性

论文的技术新颖性体现在多个层面：首先，INR 超网络首次采用 patch-wise 预测，使每个 patch 拥有独立 INR，避免传统 image-wise 方案对高分辨率图像的重复训练；其次，global token 的双重视角（分类与调制）解决了传统超网络缺少 cls token 的问题，也缓解了维度约束；第三，TinToks 通过可学习压缩和解压层实现 96 倍压缩（$d=8$）但仍保留重建能力，这在以往 PCA 或 VAE 压缩里难以兼顾；第四，论文系统性地蒸馏所有 token（含压缩路径），并在消融中展示该选择对分类、分割和重建的协同效果。相较 TransINR、IPC 等方法，HUVR 在 ImageNette 上用 400 epoch 就达到 48.44 PSNR，而 TransINR 4000 epoch 只有 29.01 PSNR。整体上，论文把 INR、超网络、ViT 设计和蒸馏融合成一个统一框架，是首次在单一模型中同时达到强识别和高质量重建。

**Figure 2**: INR Hyper-Network for unified visual representation.

实验结果

论文在识别、重建和生成三方面给出系统结果。TinToks 表现突出：在 $d=32$ 时，HUVR ImageNet 线性探测达 79.4%（ViT-B），比 DINOv3 PCA 的 64.1% 提升约 15.3 个百分点，同时重建 PSNR 从 17.68 dB 提升到 27.83 dB，说明压缩表示同时具备强语义和强重建能力。标准尺寸 token 在分类和分割上与甚至超过 DINOv3：ViT-B 下 HUVR ImageNet 达 85.0% vs DINOv3 84.6%，ADE20K mIoU 52.0 vs 50.8，RMSE 0.3263 vs 0.3305。ViT-L 结果亦类似，mIoU 53.5 vs 54.2 略低但 RMSE 更优（0.3287 vs 0.3235）。在 INR 超网络对比中，HUVR 在 ImageNette、LSUN、CelebA 分别取得 48.44、34.00、56.91 PSNR，全面超越 TransINR（29.01、24.21、31.96）和 LA-IPC（46.10、不适用、50.74），且训练量仅 400 epoch，远低于对手的 4000 epoch。生成实验显示 HUVR 的 TinTok（$d_t=256$）可训练 DiT-XL，FID 24.72，sFID 76.09，IS 60.17，虽未超越 SD VAE 的 FID 23.05，但证明压缩表示有生成潜力，且重建能力是原生的，无需额外 VAE。

**Table 1**: Tiny token results. We compare our compressed tokens to a principle component analysis (PCA) baseline.

**Table 3**: Standard classification results. Our model is competitive with state-of-the-arts for classification.

**Table 4**: Dense recognition results. We compare our distilled hyper-networks for semantic segmentation and depth estimation.

**Table 5**: Hyper-network results. We compare our INR hyper-network to prior works in terms of PSNR.

**Figure 3**: Training time improves both classification and reconstruction performance, although longer training yields incrementally smaller gains.

**Figure 4**: Generated samples with HUVR embeddings.

查看结构化数据

任务	指标	本文	基线	提升
ImageNet-1k 线性探测（压缩 token d=32）	Top-1 Accuracy	79.4	64.1 (DINOv3 PCA)	+15.3
ImageNet-1k 重建（压缩 token d=32）	PSNR (dB)	27.83	17.68 (DINOv3 PCA)	+10.15
ImageNet-1k 生成（TinTok d_t=256）	FID (lower is better)	24.72	23.05 (SD VAE)	-1.67 (接近 VAE)
ImageNet-1k 线性探测（标准 token d=768）	Top-1 Accuracy	85.0	84.6 (DINOv3)	+0.4
ADE20K 语义分割（标准 token d=768）	mIoU	52.0	50.8 (DINOv3)	+1.2
INR 超网络重建（ImageNette 178x178）	PSNR (dB)	48.44	29.01 (TransINR, 4000 epoch)	+19.43

局限与改进

作者坦承 HUVR 的预训练规模和数据策划不及 SigLIP 2（约 25 倍数据）、DINOv3（专用数据策划）或 RADIO（多教师工程），因此在部分指标（如 ViT-L ObjectNet、某些 FGVC 数据集）并不全面领先。压缩维度极端时（$d=8$）重建仍明显弱于标准 token，且生成 FID 不及成熟 VAE 方案，说明语义与生成质量之间存在权衡。此外，patch-wise INR 在前向时需为每个 patch 计算独立网络，带来额外时间和显存开销；虽然存储更小，但推理效率低于传统 VAE。训练过程需同时优化重建、分割和蒸馏，调参复杂，收敛对 teacher 大小和蒸馏权重敏感。个人观察：论文的生成实验仅限于 ImageNet 子集，且 DiT 训练步数有限（400k vs 7M），难以判断真正生成能力；压缩 token 虽在分类上强，但对更复杂的多模态任务（如 VQA）尚未验证。

独立分析的弱点

一个明显弱点是重建性能对训练时长敏感。论文在消融中显示，分类随训练迭代持续提升，但重建在中后期趋于饱和（见 Figure 3），这意味着若想在有限资源下获得强重建，需要仔细选择停止策略或额外正则化。第二个弱点是依赖单一教师（主要是 DINOv3）进行蒸馏，Table 7 表明不同教师在分类、分割和重建之间存在权衡：RADIOv3 分割最好但分类最差，DINOv2 在压缩 token 上分类高却整体不稳定。若要真正的统一最优，可能需要多教师混合蒸馏，但论文未探索这一方向。第三，patch-wise INR 需要为每个 patch 独立预测权重，推理时显存和计算量随分辨率线性增长，论文虽在存储上更小，但在高分辨率场景仍可能成为瓶颈。改进方向包括：引入更长时间或多阶段蒸馏以平衡重建和识别；设计自适应 teacher 选择或多教师加权机制；探索更高效的 INR 结构（如共享部分层）以减少推理开销。

未来方向

作者在局限和讨论中指出，未来可在更大规模数据和更高分辨率上训练 HUVR，以逼近 SigLIP 2 或 DINOv3 的数据优势；同时可引入文本对齐预训练，使压缩 token 适用于视觉语言模型（VLM），从而扩展到检索和视觉问答。论文还提到，压缩维度增加（如 $d_t=256$）对生成有利，未来可结合 RAE 等技术改善生成质量。基于当前成果，值得探索的方向包括：将 HUVR 扩展到视频或 3D 场景，把 INR 重建用于压缩和超分辨率；把压缩 token 与大规模扩散模型结合，做端到端生成；研究多任务课程学习策略，让重建与识别在不同阶段交替优化；以及尝试把 global token 升级为多粒度 token，实现区域级或实例级调制。

复现评估

论文已公开代码，且模型设计基于标准 ViT 和 INR 结构，易于用 PyTorch 复现。训练数据主要来自 DataComp（公开）和 ImageNet22k（可申请），但要严格复现需大规模 GPU 集群和长时间训练，作者提到会根据资源调整 batch size 和学习率。消融和架构细节在附录详尽列出（如 Table 14 至 Table 16），有助于复现实验设置。难度在于：蒸馏 teacher 需预训练权重（DINOv3、SigLIP 2、RADIOv3 等），若没有这些权重需自行训练；INR 调制的维度和层数需按论文指定配置，否则性能差异显著；此外，生成部分的 DiT 训练步数（400k）与论文引用的官方 DiT（7M）差距大，完整复现生成结果需要更多算力。总体而言，若具备中等规模集群和公开数据，复现分类和分割和重建结果可行，但要在所有指标上完全匹配需仔细调参和足够时间。

隐式神经表示促进统一通用视觉编码 Implicit Neural Representation Facilitates Unified Universal Vision Encoding