← 返回 2026-03-11

TALON：面向即时类别发现的测试时自适应学习 TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li 📅 2026-03-09 👍 0 2026-07-13 08:35

在线学习开放世界测试时自适应类别发现表征学习视觉识别

arXiv HuggingFace PDF

首个将测试时自适应引入即时类别发现任务，用无哈希的连续特征空间联合更新编码器与原型。

前置知识

Generalized Category Discovery (GCD)

广义类别发现要求模型在仅使用一部分有标签类别训练后，能够同时识别已见类与发现未标记流中的未见类，是 Novel Class Discovery (NCD) 的现实扩展。与 NCD 不同，GCD 不假设无标签样本全部来自新类，因此更贴合真实场景，但要求模型具有显式的已知/未知判定能力。

GCD 是 TALON 所处问题域的直接前身，TALON 在此基础上进一步要求测试阶段以流式方式处理样本而非一次性批量推断。

On-the-Fly Category Discovery (OCD)

OCD 由 Du 等人在 2023 年提出，要求模型仅在有标签支撑集上离线训练，随后在线阶段无标签样本以严格串行方式到达，要求对每个实例即时给出预测，且已知类标签空间 $\mathcal{Y}_S$ 是全部类标签空间 $\mathcal{Y}_Q$ 的子集。

OCD 的流式、即时反馈、标签空间漂移特性是本文提出 TTA 框架的直接动机，所有方法设计都围绕这一约束展开。

Test-Time Adaptation (TTA)

测试时自适应指在推理阶段利用无标签测试数据调整已训练模型的参数或归一化统计量，经典方法如 TENT 通过最小化预测熵来微调 BN 层仿射参数。TTA 主要应对 domain shift（输入分布变化但标签空间固定）。

TALON 是首个把 TTA 引入 OCD 的工作，但作者强调传统 TTA 处理的是特征级偏移，而 OCD 需要应对标签空间漂移（即语义偏移），因此需要对 TTA 目标做实质性改造。

Hash-based 类原型（SMILE/PHE）

SMILE 等方法把视觉特征量化成二进制哈希码作为类原型，码长 $L$ 决定预测空间为 $2^L$。这种设计虽然高效，但会带来信息损失、对类内方差敏感，且码长过短时表示能力不足、过长时又会引发类别爆炸（一个真实类被切分为多个伪类）。

TALON 之所以提出 hash-free 框架，正是为了消除这些固有问题，直接在连续嵌入空间操作原型与特征。

Margin-aware Softmax（ArcFace 类损失）

在标准 softmax 之前，对归一化特征 $\tilde{z}_i$ 与类别权重 $\tilde{w}_c$ 之间的余弦相似度施加加性角度 margin $m$。这能在单位超球面上拉大类间角度、缩小类内角度，形成更具判别性的嵌入空间。

TALON 在离线阶段借鉴该机制做 MLC，目的是预先在已知类之间"留出"嵌入空间，为后续在线阶段发现新类提供几何基础。

研究动机

现有的 OCD 方法（如 SMILE、PHE）在线测试时普遍采用"冻结编码器 + 哈希原型"的静态推理范式。具体而言，SMILE 把视觉特征量化成长度为 $L$ 的二进制码作为类原型，预测空间被限制在 $2^L$ 个槽位中，在 CUB-200-2011 上用 64-bit 哈希会爆出 2910 个伪类（真实类只有 200 个），PHE 即便用多原型机制也仍受限于离散哈希空间。这种设计存在三个具体痛点：第一，特征量化带来不可逆的信息损失，原型表达力严重下降；第二，二进制码对类内方差高度敏感，一个真实类容易被切碎成多个伪类，引发"类别爆炸"问题；第三，也是最关键的，整个推理过程中编码器参数和类原型都被冻结，模型完全无法吸收流式到达样本中蕴含的新知识，本质上是把 OCD 退化成了"测试时静态聚类"。实验也证实这一点：在 Stanford Cars 上，SMILE-64bit 仅取得 16.5% 的 All 准确率，PHE-64bit 也只有 32.1%。

本文的目标是本文的核心目标是打破"冻结 + 静态推理"的范式，让模型在测试时能够真正"通过发现来学习"。具体而言，TALON 试图同时实现三个目标：(1) 设计一套真正面向 OCD 的测试时自适应框架，能够在在线阶段持续吸收流式数据中的新知识；(2) 用连续特征空间取代启发式哈希编码，从根源上消除信息损失和类别爆炸；(3) 在不显著牺牲推理效率的前提下，使模型既能稳定识别已知类，又能准确发现并追踪新出现的类别，从而在开放世界流式场景下维持长期有效的判别能力。

与已有工作不同的是，本文的独特切入角度是"首次把 TTA 引入 OCD"。作者敏锐地指出，传统 TTA（如 TENT、OSTTA）针对的是 domain shift——即标签空间固定、仅有输入分布变化，而 OCD 面临的是 semantic shift——标签空间本身在动态扩展。这意味着传统 TTA 的熵最小化目标在 OCD 下会因为新类频繁出现而变得不稳定甚至有害。TALON 因此提出了一个两层互补的自适应策略：上层通过 confidence-controlled EMA 在原型层面做"语义感知"的更新，下层通过熵+对齐+分离的组合目标对编码器做"稳定"的参数更新，两者协同工作以应对标签空间漂移而非单纯的特征漂移。

核心方法

TALON 的整体思路可以概括为"离线打好基础 + 在线持续进化"两阶段。在离线阶段，模型在有标签支撑集 $\mathcal{D}_S$ 上用监督对比损失和带角度 margin 的交叉熵损失联合训练，得到一个类内紧致、类间分离的嵌入空间（这一空间是后续发现新类的"几何基础"）；同时为每个已知类计算均值特征作为初始原型存入原型库 $\mathcal{P}$。在线阶段，每个到来的查询样本 $x$ 经编码器得到 $\tilde{z}$，与原型库中所有原型做余弦相似度比较：若最大相似度超过阈值 $\tau$ 则归入对应已知类，否则创建新原型。关键创新在于：模型并不是判断完就结束，而是同时触发两个互补的更新机制——(1) 语义感知原型更新：对每个原型，用 confidence-controlled EMA 根据分配到该原型的样本置信度自适应调整更新步长；(2) 稳定测试时编码器更新：每隔一定步数收集一批近期样本，对编码器参数做几次梯度更新，目标函数结合熵最小化、原型对齐损失和类间分离损失。这种"双层协同"的设计使得原型层和参数层能够同步吸收新信息，但又互相约束避免漂移。

TALON 与已有方法的本质区别体现在三个层面。第一，**更新机制不同**：SMILE/PHE 在测试时完全冻结模型和原型，是"静态推理"；TALON 同时在线更新编码器参数和原型库，是"通过发现来学习"。第二，**特征空间不同**：已有方法依赖二进制哈希码作为类原型，TALON 直接在连续 $\ell_2$ 归一化嵌入空间操作，避免量化损失。第三，**目标函数不同**：传统 TTA 的单一熵最小化在标签空间漂移下不稳定，TALON 提出 $\mathcal{L}_{TTA}=\mathcal{L}_{ent}+\beta_1\mathcal{L}_{align}+\beta_2\mathcal{L}_{sep}$ 的组合目标，其中对齐损失 $\mathcal{L}_{align}$ 维持特征-原型语义一致性，分离损失 $\mathcal{L}_{sep}$ 防止聚类塌缩，既鼓励对新样本的置信预测，又在语义漂移下保持稳定的几何判别结构。

方法步骤详情

TALON 含离线训练与在线推理两阶段。**离线**：编码器为 DINO/CLIP 预训练 ViT-B/16（仅微调最后 block），后接线性 projector。损失由监督对比损失 $\mathcal{L}_{sup}$ 与角度 logit 校准交叉熵组成（$s\cos(\theta_{i,y_i}+m)$ 对真实类，$s\cos\theta_{i,c}$ 对其他，$m=0.2$, $s=30$）。训练后用每类均值特征作初始原型，构建原型库 $\mathcal{P}=\{(c,\mu_c)\}$。**在线**：每批次遍历样本：(1) 提取归一化特征 $\tilde{z}_i$；(2) 若与某原型余弦相似度 $\geq\tau$ 则归入该类，否则创建新原型；(3) 用 $\alpha_j=\eta\cdot\text{conf}_j\cdot\frac{|S_j|}{|S_j|+\kappa}$ 按 EMA 更新原型；(4) 整批后用 $\mathcal{L}_{TTA}$ 梯度仅更新编码器。

技术新颖性

本文的技术新颖性可归纳为三点。第一，**首次将 TTA 框架引入 OCD 任务**，填补了"测试时完全冻结"与"需要持续吸收新知识"之间的空白，是任务设定层面的创新而非简单方法迁移。第二，**hash-free 的连续特征空间原型机制**，从根本上规避了 SMILE/PHE 因二进制量化导致的信息损失和类别爆炸——TALON 在 CUB 上仅生成 153 个类（真实 200），而 SMILE-64bit 爆出 2910 个，差距近 20 倍。第三，**Confidence-controlled EMA 的原型更新规则**设计精妙：自适应步长 $\alpha_j=\eta\cdot\text{conf}_j\cdot\frac{n_j}{n_j+\kappa}$ 同时编码了"高置信度才大幅更新"和"样本不足时保守更新"两个保守原则，使得早期异常值即使触发了新原型创建，也会因后续缺乏支撑样本而自动衰减。配合 $\mathcal{L}_{TTA}$ 中的 alignment+separation 正则化，整个系统在编码器层面也保持了稳定的几何结构。

**Figure 2**: Overview of the proposed TALON framework. (a) During the offline stage, we introduce margin-aware logit calibration to enlarge inter-class margins and enhance intra-class compactness, reserving embedding space for future category discovery. (b) At test-time, we jointly update the encoder and class prototypes, enabling the model to learn through discovery rather than static inference.

**Figure 4**: Hyperparameter analysis on CUB-200-2011, Stanford Cars, and Oxford Pets datasets. Each column corresponds to one dataset, showing the effects of adaptation batch size, angular margin m, and similarity threshold τ on accuracy (All, Old, New) and the number of newly discovered categories (NDC).

**Figure 5**: Hyperparameter analysis on CUB-200-2011, Stanford Cars, and Oxford Pets datasets. Each column corresponds to one dataset, showing the effects of logit scale s and the smoothing constant κ on accuracy (All, Old, New) and the number of newly discovered categories (NDC).

实验结果

在 7 个 OCD 基准上 TALON 在两种协议下均稳定优于 SOTA。DINO 下 CIFAR10 86.2%/95.4%/79.3%、ImageNet-100 84.1%/94.3%/63.4%，New 类相对 SMILE 提升 47.2 个百分点；CLIP 下细粒度受益更明显，SCars 60.4%/90.6%/45.8%、Food101 61.2%/88.3%/47.3%。**类别爆炸**（Table 3）：CUB 真实 200 类，SMILE-64bit 估计 2910、PHE-64bit 估计 493，TALON 仅 153 但准确率最高（45.5% vs 22.6%/38.1%）；SCars 上 TALON 仅 299。**对比传统 TTA**（Table 4）：baseline+MLC+TENT 在 SCars 仅 48.1%（低于 baseline 49.0%），TALON 取得 53.5%。**MLC 几何效应**（Figure 3）：Pets 上 MLC 把样本-原型角度从 64.55° 压到 35.83°，原型间角度从 27.98° 扩到 74.15°。

**Table 1**: Comparison with other SOTA methods. "DiffGRE+S" and "DiffGRE+P" represent the integration of DiffGRE with SMILE and PHE, respectively. The best results are highlighted in bold, while the second-best results are underlined. Blue numbers indicate results not reported in the original papers but reproduced using the official code.

**Table 2**: Ablation study of various components of our TALON on the CUB and Scars datasets. Here, MLC, TTA-P, and TTA-M denote the margin-aware logit calibration, prototype update, and model adaptation modules, respectively.

**Table 3**: Comparison of estimated category numbers and accuracies on the CUB-200-2011 and Stanford Cars datasets.

**Table 4**: Comparison with existing test-time adaptation methods on the Stanford Cars and Oxford Pets datasets.

**Table 5**: Statistics of coarse-grained datasets.

**Table 6**: Statistics of fine-grained datasets.

**Figure 3**: Angular analysis of the margin-aware logit calibration on the Pets dataset. Left: angles between samples and their class prototypes; Right: angles between different class prototypes.

查看结构化数据

任务	指标	本文	基线	提升
CIFAR10 Greedy-Hungarian	All / Old / New 准确率 (%)	86.2 / 95.4 / 79.3 (DINO) \| 84.7 / 96.0 / 76.3 (CLIP)	SMILE 78.2 / 99.3 / 67.6 \| PHE 53.1 / 19.3 / 70.0 (Strict)	相对 SMILE 在 New 类 +11.7
CIFAR100 Greedy-Hungarian	All / Old / New 准确率 (%)	72.5 / 85.2 / 47.0 (DINO) \| 69.9 / 82.8 / 44.2 (CLIP)	SMILE 61.3 / 70.7 / 42.5 \| PHE 56.0 / 70.1 / 27.8	相对 SMILE 在 All +11.2 / New +4.5
ImageNet-100 Greedy-Hungarian	All / Old / New 准确率 (%)	84.1 / 94.3 / 63.4 (DINO) \| 83.6 / 96.1 / 58.2 (CLIP)	SMILE 39.9 / 87.1 / 16.2 \| PHE 39.2 / 49.3 / 34.1	相对 SMILE 在 New 类提升高达 +47.2
CUB-200-2011 Strict-Hungarian	All / Old / New 准确率 (%)	45.5 / 60.7 / 37.8	SMILE 22.6 / 45.3 / 11.2 \| PHE 38.1 / 60.1 / 27.2 (PHE-64bit 估计类数 493)	相对 PHE 在 All +7.4，类别爆炸显著缓解（153 vs 493）
Stanford Cars Strict-Hungarian	All / Old / New 准确率 (%)	53.5 / 74.2 / 43.6	SMILE 16.5 / 38.2 / 6.1 \| PHE 32.1 / 66.9 / 15.3	相对 PHE 在 All +21.4，在 New +28.3
Oxford Pets Strict-Hungarian	All / Old / New 准确率 (%)	64.0 / 65.4 / 63.3	SMILE 41.2 / 42.1 / 40.7 \| PHE 48.3 / 53.8 / 45.4	相对 PHE 在 All +15.7，Old/New 同步显著提升
Food101 Strict-Hungarian	All / Old / New 准确率 (%)	50.3 / 66.2 / 42.2 (CLIP)	SMILE 24.0 / 54.6 / 8.4 \| PHE 29.1 / 64.7 / 11.1	相对 PHE 在 All +21.2 / New +31.1（CLIP）

局限与改进

作者在附录 C.2 中明确承认三点局限性：(1) TALON 依赖 CLIP/DINOv2 等强预训练视觉骨干以及 GPU 资源，在低资源场景或缺乏预训练权重的部署环境下性能可能下降；(2) 实验主要在标准 OCD 基准上进行，新类数量适中，更极端的非平稳流（如新类持续高速涌现或长尾分布）可能导致原型库膨胀和适应不稳定；(3) 在超大类别数（如几千类）的发现场景下需要额外的工程优化。从我自己观察，至少还有三方面可以讨论：第一，依赖相似度阈值 $\tau$ 的全局常设定（CLIP 时 $\tau=0.75$），在长尾或概念漂移剧烈的场景下难以平衡已知/未知判定；第二，编码器更新频率与遗忘风险之间存在张力，尽管 $\mathcal{L}_{align}$ 维持了语义一致性，但长时间在线更新仍存在对早期已知类的灾难性遗忘风险；第三，对新类数量的估计仍偏多（TALON 在 Stanford Cars 上估计 299 vs 真实 196），novel class detection 的精度仍有提升空间。

独立分析的弱点

从独立分析视角，TALON 仍存在若干可改进的弱点。**第一，单调递增的原型库缺乏合并/淘汰机制**：每个被判定为新类的样本都会创建独立原型，即便后续发现两个原型实际属于同一类，系统也没有合并机制，长时间运行下原型库会无界膨胀，可引入基于相似度的周期性原型合并或基于支持度的低活跃原型淘汰策略。**第二，对参数更新频率与编码器漂移的权衡仍偏经验**：当前所有数据集都用相同的 batch size（64）和 LR（$1\times10^{-4}$），但不同数据集流速和分布差异极大，当新类占比升高时编码器会偏向新类语义而遗忘旧类，可考虑引入 EMA 形式的编码器备份或周期性回放机制。**第三，单一相似度阈值 $\tau$ 无法适应非平稳流**：固定 $\tau$ 可能导致早期弱原型难以被合并、后期真实新类被错分。**第四，离线 MLC 只在已知类上施加 margin，没有显式为新类预留几何空间**；**第五，对极端长尾分布的处理不足**，少数类原型因 $n_j\ll\kappa$ 几乎不更新，难以形成稳定表示。

未来方向

作者在附录 C.3 中提出了几条未来方向：(1) 探索更轻量或蒸馏的 backbone 以便部署到边缘设备；(2) 设计更强的长时分布漂移处理机制，如基于记忆回放或更鲁棒的原型正则化；(3) 引入多模态或人类反馈来更好地命名、合并或过滤已发现类别，提升可解释性与安全性。基于本文成果可延伸的方向还包括：(a) **自适应阈值机制**：将 $\tau$ 设计为基于当前原型库分布的动态量，例如基于原型间相似度的分位数；(b) **原型合并与层次化**：引入在线聚类或层次化原型结构，让系统能够自动识别"同一真实类被分成多个原型"的情形；(c) **编码器漂移检测**：监控编码器在已知类上的验证性能（如回放一个小的已知类验证集），检测到显著下降时停止更新或恢复备份；(d) **元学习框架**：把 TTA 步长 $\eta$、smoothing 常数 $\kappa$ 等设为可学习的，让模型在不同数据流上自适应；(e) **与其他开放词汇识别技术结合**：用 CLIP 的文本侧做原型语义校验，辅助已知/未知判定与新类命名。

复现评估

TALON 复现性较好。代码已开源在 https://github.com/ynanwu/TALON，依赖 CIFAR10/100、ImageNet-100、CUB、SCars、Pets、Food101 等标准数据集。单卡 NVIDIA RTX 3090（24GB）即可完成全部实验，CUB 训练时间 1452.3 秒（vs SMILE 4204.9、PHE 3300.0），效率更高。7 个数据集共用相近超参（$m=0.2$, batch 64/128, LR $1\times10^{-3}$/$1\times10^{-4}$），作者未做大规模搜索，降低调参成本。复现难度中等偏易：backbone（DINOv2-ViT-Base、CLIP ViT-B/16）和优化器（AdamW, weight decay 0.05, cosine schedule）均为标准组件，种子固定 1028。注意作者实际使用 DINOv2（附录澄清），且原型更新对已知/新类用不同 $(\eta,\kappa)$。

论文图表

**Figure 1**: At test time, existing methods (left) rely on static inference and fail to adapt to label space shifts, leading to inaccurate discovery and recognition. In contrast, our TALON (right) continually accumulates knowledge from unlabeled test data to overcome this challenge. Moreover, our hash-free framework (right) replaces heuristic hash-based (left) designs, achieving higher representational expressiveness and better discovery stability.
对比示意图，左半部分展示现有 OCD 方法（Train 阶段得到 Encoder+Projector，测试时用冻结的 Image Encoder+Hash Head 通过 Hash Table 进行 Inference，知识库固定不变）；右半部分展示 TALON 方法（同样离线训练，但在测试阶段 Image Encoder 持续 TTA 更新，Prototype Bank 也动态扩展，且采用无哈希的连续特征空间）。

这张图直观地揭示了本文的核心动机——已有方法的静态推理缺陷与 TALON 的持续学习方案之间的对比，是理解整篇论文 motivation 的关键图。

Figure 6: Display of the proportion of time consumed in the three stages.

在 7 个数据集上用堆叠柱状图展示 Train、Prototype computation、Test 三个阶段的时间占比，可以看出 Test 阶段因 TTA 引入而占比最大，但仍属于可接受范围。

回应潜在的对 TTA 增加计算开销的疑虑，给出定量证据说明 TALON 的额外时间成本可控。

Table 7: Comparison with State-of-the-Art Methods Using Different Backbones

在 DINO 和 CLIP 两种 backbone 下对比 TALON 与 SMILE、PHE 的性能，证明 TALON 在不同特征空间下都稳定优于 SOTA。

排除 backbone 影响，证明 TALON 的方法论层面优势而非仅依赖某个特定预训练模型。

Table 8: Three-stage time consumption proportion display table

在 CIFAR-10/100、ImageNet-100、CUB、SCars、Pets、Food101 六个数据集上分别报告 Train（~748 ms/batch）、Prototype computation（~640-735 ms/batch）、Test（~1496-2324 ms/batch）三阶段的耗时均值与标准差，使用 CLIP backbone 在 RTX 3090 上测量。

量化 TALON 各阶段计算成本，是评估部署可行性的重要参考。

Table 9: Comparison of training times (in second)

在 CUB、SCars、Food、Pets 上对比 TALON 与 SMILE、PHE 的训练总时长，TALON 在所有数据集上都明显更快（CUB 上 1452.3s vs PHE 3300s vs SMILE 4204.9s）。

证明 TALON 不仅性能更好，训练也更高效，回应了"TTA 是否过于昂贵"的潜在质疑。