用于域泛化的投影追踪 CPCANet Projection Pursuit CPCANet for Domain Generalization

完整前向见 Algorithm 1。(1) 特征提取 $\tilde F_0=h_\theta(X)$。(2) 对 $t=1,\dots,T$：$Z_t=b_{\psi_t}(\tilde F_{t-1})$；$A_t=S(\theta_t)$；Cayley 得 $\beta_t$；$U_t=Z_t\beta_t$。(3) 域引导调制：$\gamma_t=2\sigma(\mathrm{MLP}_{\gamma_t}(U_t))$，$\Delta F_t=\mathrm{MLP}_{\Delta f_t}(U_t)$，$\tilde F_t=(\tilde F_{t-1}\odot\gamma_t)+\Delta F_t$。(4) PP 散度：每域 $k$ 算锚点 $m_{t,k}=\mathrm{sg}[\mathrm{median}\{U^{(i)}_{t,k}\}]$，再算 $s_{t,k}=w_t^\top\big(\tfrac1{N_k}\sum_i|U^{(i)}_{t,k}-m_{t,k}|\big)$，归一化 $\mathcal L_{ppcpca}=-\tfrac1{KT}\sum_{t,k}s_{t,k}$。(5) 联合目标：由末层 $\tilde F_T$ 算 logits $\hat Y=\tilde F_T W_{cls}+b_{cls}$，$\mathcal L_{total}=\mathcal L_{task}+\lambda_{ppcpca}\mathcal L_{ppcpca}$。级联维度按 $d_{t+1}=\max(d_t/2,16)$ 递减。

技术新颖性体现在四处。(1) 首个 covariance-free 深度 CPCA：用全局可学正交基取代 batch-wise 谱分解，从根本上规避 $n_k\ll p$ 的秩亏，而非像 dual PCA 那样只缓解数值奇异性。(2) detached-median 技巧：stop-gradient 固定中位数锚点，避免非光滑 median 算子反向传播产生稀疏不稳定梯度，借鉴自 SimSiam 系列的 stop-gradient 思路。(3) 对称破缺权重 $w_t$：从理论上指出'正交基下投影总方差旋转不变 → 无加权 PP 无优化信号'的矛盾，并用单调递减权重强制方差集中到前几个分量，这是把 PP 引入深度网络的关键理论贡献。(4) progressive bottleneck cascade $d_{t+1}=\max(d_t/2,16)$：基于信息瓶颈原理逐步过滤高熵域特异变化。这些都是实质性方法创新，而非简单组合。

独立分析的弱点。(1) 优势局限于 SSM：在 ResNet-50/ViT 上退步提示方法对 backbone 特征结构高度敏感，可能仅在 SSM 长程建模能力基础上才互补。改进方向：深入分析为何 VMamba 受益 (是否与其状态空间的低秩隐状态有关)，设计 backbone 自适应的投影维度与散度权重。(2) cascade 失效：T=1 最佳说明级联是冗余设计，浪费参数与显存。改进方向：移除级联或改为可学习深度 / 动态级联。(3) 稳健性未量化：median L1 的理论稳健性未通过对抗扰动、标签噪声、协变量偏移实验验证，与动机中的'域漂移离群点'脱节。改进方向：补做鲁棒性 stress test。(4) 复现门槛高：无代码开源声明。改进方向：开源完整训练脚本与 checkpoint。(5) 对比不充分：未报告 PP-CPCANet 在更强 SSM 基线 (DGMamba、START) 上的结果。改进方向：补齐横向对比。

未来研究方向。(1) 作者暗示可扩展到更多 backbone 与任务。(2) PP 散度与 detached-median 技巧可推广到其他几何对齐、不变性学习、解耦表征场景。(3) 全局 Stiefel 正交层可与其他范式 (mixture-of-experts、adapter、parameter-efficient fine-tuning) 结合，迁移到持续学习、联邦域泛化。(4) 理论层面：可证明 PP-CPCANet 在 $n_k\ll p$ 小样本体制下恢复 CPC 的样本复杂度优势，并刻画对称破缺权重与主分量排序收敛性的关系。(5) 把失效的 progressive cascade 重新设计为可学习深度或与课程学习结合。(6) 将 median L1 推广为可微的 Huber/Cauchy 散度，进一步缓解梯度稀疏。(7) 在跨模态、医学影像、自动驾驶等真实 DG 场景验证。

复现评估：作者提供较完整超参 (每域 batch=32、dropout=0.5、label smoothing=0.1、backbone lr $5\times10^{-5}$、PP 模块 lr $1\times10^{-4}$、$\lambda_{ppcpca}=5\times10^{-3}$、$T=1$、$d_1=128$、Adam/AdamW、5000/10000 步、A100 80GB)，明确遵循 DomainBed 协议与 CPCANet 设置，4 个 benchmark 公开，模型选择规则清晰 (按测试域选模型)，单点复现难度中等。但短板明显：无代码仓库/开源声明；Algorithm 1 虽详尽，瓶颈模块 $b_{\psi_t}$、$\mathrm{MLP}_{\gamma_t}$、$\mathrm{MLP}_{\Delta f_t}$ 具体结构未全列，映射 $S(\cdot)$ 需查文献 [28,29,33]；VMamba-B 总 GPU 时间高达约 4 天×4 数据集×3 seed×80GB，算力开销巨大，普通实验室难复现全表，SOTA 行的复现成本很高。