基于最优传输的在线增量学习潜空间培育方法 An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning

完整训练流程如 Algorithm 1 所示。对每个到来的小批量 $(X, \bar X)$（$X$ 是新类，$\bar X$ 是从记忆缓冲 $M$ 中抽出的旧类），依次执行四步：(1) Step 0：用交叉熵损失做初始训练，让模型具备基本分类能力；(2) Step 1：调用 MMOT（Algorithm 2），对每个类 $c$ 独立地先用对偶损失更新 Kantorovich 网络 $\phi$（通常 $T_\phi$ 步），再用重参数化样本 $\tilde z_c^k = \mu_{k,c} + \epsilon_k\,\text{diag}(\sigma_{k,c})$（其中 $\epsilon_k\sim\mathcal{N}(0,I)$，混合权重 $y_k$ 由 Gumbel-Softmax 给出）反向更新 $\pi_{k,c}, \mu_{k,c}, \sigma_{k,c}$，每类并行处理，互不干扰；(3) Step 2：用 Step 1 得到的质心构造 Dynamic Preservation 损失 $\mathcal{L}_{DP} = \mathbb{E}_c\mathbb{E}_{x\sim X_c} \log \frac{g_c^{cen}}{\sum_{c'\neq c} g_{c'}^{cen} + g_{c'}^{fea}}$，其中 $g_{c'}^{cen} = \sum_k \exp(f_\theta(x)\cdot \mu_{k,c'}/\tau)$，$g_{c'}^{fea} = \exp(f_\theta(x)\cdot f_\theta(x_{c'})/\tau)$，同时间接训练 $\phi$；(4) Step 3：基于质心选记忆样本——对每个类的每个质心挑当前小批量里离它最近的若干样本进入回放缓冲 $M$；若缓冲已满则随机替换旧样本，迫使缓冲持续覆盖最具代表性的旧数据。测试时（Section 4.3）作者直接用 Mahalanobis 距离 $\hat y = \arg\min_c \min_k d_{MH}(f_\theta(x), \mathcal{N}(\mu_{k,c}, \Sigma_{k,c}))$ 做最近邻分类，不再依赖一个全局线性分类头。

本文有三层技术新颖性：第一，**OT 用于 GMM 反向学习**——把 WS 对偶式变成可微期望后做端到端梯度优化，这是与传统 OT-for-GMM 路线（如 Chen et al. 2018 算两个给定 GMM 之间的距离）的根本区别，也是首次将之引入 OCIL 场景；第二，**Gumbel-Softmax 替代 EM**——线性于 $K$ 和 $d$ 的复杂度使 GMM 拟合可在小批量单遍训练中完成，相比 EM 节省了 $I_{EM}$ 次内循环；第三，**多质心驱动的动态保持**——$\mathcal{L}_{DP}$ 把类内吸引锚点从 1 个扩展到 $K$ 个，相当于用 $K$ 个软聚类中心同时约束表示学习，对类别边界的强化比单一 prototype 更细致，也为测试阶段提供了基于 Mahalanobis 距离的天然多模态分类器。三者结合使得 OTC 既是表征学习器、又是聚类器、还是分类器，且三者权重共享。复杂度上 MMOT 单步时间为 $O(T_\phi B + BKd + SBd)$，内存 $O(Bd + Kd)$，当 $I_{EM}$ 较大时显著优于 EM 的 $O(I_{EM} BKd)/O(BK + Kd)$。

**弱点 1：K 和 $\tau$ 的敏感性**：Figure 5 和 Table 3 表明 $K$ 必须根据记忆大小调优——$M=200$ 时 $K>3$ 就退化，$M=1k$ 时最佳为 $K=4$，再大也会回落。这说明当前 MMOT 缺乏自适应 $K$ 的机制，且 $K$ 固定时遇到流分布变化大 (如 Tiny-ImageNet 100 任务) 时容易过拟合或欠拟合。**改进方向**：可以引入 $\pi_k$ 的稀疏性正则（如 KL($\pi\|$Uniform)）让不必要的高斯分量自动衰减，或者用贝叶斯非参数 GMM（DP-GMM）让 $K$ 在训练中自适应。**弱点 2：对角协方差表达力不足**：用 $\text{diag}(\sigma^2)$ 限制了不同维度之间的相关性，特别在 Tiny-ImageNet 这种高维 ($d=512$) 特征空间里会损失结构信息。**改进方向**：可改用低秩协方差 $\Sigma_k = U_k U_k^\top + \text{diag}(\sigma^2_k)$，复杂度仍近似线性；或者对 $\phi$ 网络的输入做 PCA 降维后再算 Mahalanobis。**弱点 3：Kantorovich 网络 $\phi$ 引入额外超参数和算力开销**：$\phi$ 是一个小 MLP，但需要 $T_\phi$ 次内循环更新才能逼近最优对偶变量，文章没给出 $T_\phi$ 的消融以及训练时长对比。**改进方向**：可以借鉴 GAN 的经验，用交替更新比或自适应 $\phi$ 学习率，避免 $T_\phi$ 的手工调节。**弱点 4：测试时 Mahalanobis 距离假设每个高斯都是同方差尺度的类代表，对类别间的尺度差异敏感**。**改进方向**：可改用标准化余弦相似度或可学习的温度参数，让分类决策更鲁棒。**弱点 5：Dynamic Preservation 的负样本选择是 batch 内随机配对**，没有显式的难负样本挖掘。**改进方向**：可结合 OCM 的互信息最大化或 MOSE 的反向蒸馏构造难负样本。

**作者在文末及补充材料中暗示的方向**：(1) 把 MMOT 推广到离线 CIL（如 Table 5 所示 OTC 在离线设定下同样领先，可以进一步研究多轮训练时 $K$ 的最优选择）；(2) 把 OTC 与其他 SOTA（如 BiC+AC 的辅助分类器、OnPro 的在线原型学习）做集成；(3) 在更长的任务序列（>100 任务）和更复杂的数据流（多模态数据如图像-文本）上验证扩展性。**基于成果自然延伸的方向**：(a) **在线非参数 GMM**：用 DP-GMM 或 Chinese Restaurant Process 让 $K$ 自适应，避免手动调参；(b) **OT 与自监督/对比预训练结合**：在骨干 $f_\theta$ 初始化阶段就用 OT 约束潜空间拓扑，可能让 OTC 在第一阶段就获得更优的初始质心；(c) **跨域/跨任务 OT**：当前 MMOT 是 per-class 独立拟合，理论上可以加一个全局 OT 项让所有类的质心共同正则化，进一步抑制语义混淆；(d) **流形上的 OT**：把潜空间距离 $d$ 从欧氏改为流形度量（如双曲距离），可能在类别层次结构明显的任务上带来增益；(e) **理论分析**：本文给出了复杂度对比，但对收敛性和对小批量噪声的稳定性没有理论刻画，未来可以用随机近似理论分析 $T_\phi$ 和学习率的依赖。

**开源情况**：作者补充材料承诺会公开实现，但 arXiv v4 中尚未给出代码链接。**数据**：使用的是公开基准 (MNIST, CIFAR-10/100, Tiny-ImageNet)，无需额外数据获取。**算力**：从实验规模看，骨干网络是 MLP (MNIST) 和 ResNet-18 (其余)，单卡 GPU 即可复现；Kantorovich 网络 $\phi$ 是小 MLP，$K=4$、$T_\phi$ 较小的情况下训练耗时与传统 OCIL 方法同量级。**复现难度**：中等偏低。**可能障碍**：(1) 超参数较多：每个类一个 GMM、$K$、温度 $\tau$、$\phi$ 结构与 $T_\phi$、Mahalanobis 距离是否带温度等都需调优；(2) Gumbel-Softmax 的温度 schedule、$\phi$ 与 $\pi/\mu/\sigma$ 的学习率比会显著影响稳定性；(3) 论文没有公开随机种子的设置细节，5 次运行的方差在某些配置下达到 ±2.0（如 Tiny-ImageNet $M=2k$ 为 $19.5\pm2.0$），需要跑多次取平均才能稳定对比；(4) 数据增强策略引用了 Wang et al. 2024 的方法，需要自己实现。总体来说，复现 OTC 的实验本身门槛不高，但要复现到论文报告的精度需要仔细对齐上述实现细节。