← 返回 2026-09-02

无梯度测试时自适应：仿射统计传输及其证书的能力边界 Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You

Salim Khazem, Ibrahim Mohamed Serouis 📅 2026-08-31 👍 5 2026-11-02 18:30
分布偏移 无梯度方法 模型部署 测试时自适应 高斯判别分析
arXiv HuggingFace PDF

冻结模型下以类共享仿射映射传输源类统计完成测试时自适应，证书门控拦截失效传输。

前置知识

测试时自适应（TTA）

在模型部署后利用无标注目标数据缓解分布偏移的技术。Tent、EATA、CoTTA、SAR 等主流方法在推理时以预测熵最小化等自监督信号为损失，经梯度反向传播在线更新归一化层参数，因此需要 backward 通路、优化器状态与可变模型参数。

本文研究的正是该假设不成立的场景：模型完全冻结时如何做自适应，理解 TTA 的默认假设才能看清 CASTER 的定位。

高斯判别分析（GDA）与马氏距离

用每类高斯分布 $\mathcal{N}(\mu_c,\Sigma_c)$ 建模特征并按二次型打分分类的生成式分类器；马氏距离 $(x-\mu)^\top\Sigma^{-1}(x-\mu)$ 度量点到类中心的统计距离，能刻画各向异性的类形状，比欧氏距离对协方差敏感。

CASTER 的分类器就是传输后的 GDA，其传输性证书 $r_t$ 也完全建立在马氏几何之上。

白化-着色变换与收缩估计

白化去除特征相关性使协方差变为单位阵，着色再施加目标协方差。本文用对称半正定矩阵平方根构造映射 $A_t=(\hat{C}_t+\lambda I)^{1/2}(C_s+\lambda I)^{-1/2}$，$\lambda>0$ 的收缩项防止小批量经验协方差奇异或病态。

这是 CASTER 从批矩估计仿射映射的核心公式，样本不足时退化为对角版本的规则也由它引出。

BatchNorm 与 LayerNorm 的可适应参数

Tent/EATA 的标准实现只收集 BatchNorm 仿射参数做测试时更新。LayerNorm 网络（ViT、ConvNeXt、Swin、DeiT）没有 BatchNorm，此时可训练参数集为空，方法预测精确退化为冻结源模型，形成惰性配置。

论文据此把基准按归一化族分开报告，指出跨架构混合平均会制造虚假的适应证据，这是读懂实验设计的关键。

腐蚀基准 CIFAR-C 与 ImageNet-C

对 CIFAR-10/100 与 ImageNet 施加 19 种腐蚀（雾、雪、噪点等）乘 5 个强度构成的分布偏移基准，以 top-1 平均精度衡量鲁棒性；ImageNet-C 有 1000 类，在批大小 64 时是类覆盖极稀疏的极端测试场。

论文所有灾难性传输案例与证书阈值 3.9 的实证边界都来自这些基准的 307 个可采信评估单元。

研究动机

主流测试时自适应方法 Tent、EATA、CoTTA、SAR 都假设推理阶段可以用梯度在线更新模型参数，这在三类部署中不可行：推理专用加速器往往不暴露反向计算；冻结的二进制或外部 API 不开放可训练参数；优化器状态违反延迟与内存预算。还有架构层面的问题：标准 Tent/EATA 实现只收集 BatchNorm 仿射参数，因此在 ConvNeXt-T、ViT-B/16、DeiT-B、Swin-T 这四个 LayerNorm 骨干上可训练参数集为空，其预测精确退化为冻结源模型；把这种惰性配置与真正激活的方法混进同一平均，会掩盖方法实际在适应什么。CASTER 自身也面临解析传输不总是安全的问题：ImageNet-C 上每批只有 64 个样本却要覆盖 1000 个类，批级类几何估计过于稀疏，无条件传输相对冻结头损失 21.2 个 top-1 点，因此必须回答何时可以信任解析传输。

本文的目标是本文研究学习模型必须完全冻结时的测试时自适应。方法 CASTER 把源数据每类的均值、协方差、先验统计量存储在判别性线性子空间中，对每个目标批从批矩估计一个类共享仿射变换，解析地把源类分布传输到目标域后再做高斯判别分类，全程不需要反向传播、优化器状态，也不保留随源样本数增长的源特征库。由于解析传输并非无条件可靠，作者同时设计残差-裕度传输性证书：只有证书通过才采用传输后的判别器，否则回退冻结模型头。第三个目标是精确刻画该证书能证明什么、不能证明什么——它能检测灾难性传输，但不能排序适应收益，也不能跨机制迁移到 Tent 等梯度方法。

与已有工作不同的是，现有免反传方法没有真正走入最严格的场景：T3A 只是用置信样本原型替换线性分类器，FOA 用免导数进化搜索优化输入提示但仍依赖测试时搜索，二者都改变了预测器结构或需要迭代寻优；CASTER 则在完全冻结的特征空间用闭式解完成适应，与归一化层类型无关。更独特的是论文的诚实姿态：它把常被混为一谈的两个主张——检测退化传输与排序适应收益——在 307 个评估单元上实证分离，并把同一证书套在 Tent 上证明机制特异性（只接受 4.3% 更新、保留 0.6% 收益）；作者还用 fail-closed 校验脚本从原始日志重算全部聚合结果，主动纠正了自己此前细粒度数据流未打乱、97–100% 批次被单一类主导所导致的错误分析。

核心方法

直觉上，许多实际分布偏移近似等价于源特征空间被一个跨类共享的仿射变换所改变，因此只需传输类统计量而无需改动网络。路线分三步：离线阶段从带标注源数据计算类间与类内散布矩阵的广义特征向量，取前 $k_0=\min(k_{\max},C-1)$ 个方向构成判别子空间，投影存储每类均值 $\mu_c$、协方差 $\Sigma_c$ 与先验 $\pi_c$，状态量 $O(Ck_0^2)$ 与源样本数无关；对每个目标批计算经验矩 $\hat{m}_t,\hat{C}_t$，激活前 $k=\min(k_0,B-1)$ 个方向，估计收缩稳定的白化-着色映射 $A_t=(\hat{C}_t+\lambda I)^{1/2}(C_s+\lambda I)^{-1/2}$ 与平移 $b_t=\hat{m}_t-A_t m_s$；再把源类高斯经 $\tilde{\mu}_{c,t}=A_t\mu_c+b_t$、$\tilde{\Sigma}_{c,t}=A_t\Sigma_c A_t^\top+\beta I$ 传输，按高斯判别得分 $g_c(z)$ 取 argmax 预测。整个流程一次前向完成，无梯度、无优化器，并叠加证书门控决定是否采用传输结果。

核心创新有两点。第一是把 TTA 从更新参数改为传输统计量：网络参数完全冻结，适应发生在特征空间的类分布层面，这使方法与归一化层类型无关，在 Tent/EATA 因缺少 BatchNorm 而完全惰性的 LayerNorm 骨干上仍可运行。第二是残差-裕度传输性证书：把高置信样本逆传输回源坐标 $\bar{z}_i=A_t^{-1}(z_i-b_t)$，计算伪类质心残差 $\hat{\delta}_{c,t}$ 相对最小源类间距 $\gamma_s$ 的比值 $r_t$，分子分母使用同一马氏度量，因此无量纲且对特征的线性重缩放不变；论文证明混合度量版本在 Flowers-102 上即使逆传输质心靠近错误类均值仍数值很小，任何有效拒绝阈值都无法设定。作者强调证书是安全下限而非收益排序器：它能检出全部损失超 10 点的单元（$r_t>3.9$），但原始分数与传输收益正相关，而收益排序需要相反方向。

方法步骤详情

方法分五步。第一步离线构建子空间：由带标注源特征求类间与类内散布的广义特征向量得 $U_{k_0}$，$k_0=\min(k_{\max},C-1)$，输出投影后的每类均值 $\mu_c$、协方差 $\Sigma_c$、先验 $\pi_c$ 与全局 $m_s,C_s$。第二步批矩估计：输入批次 $\mathcal{B}_t$ 的 $B$ 个投影特征，计算 $\hat{m}_t,\hat{C}_t$，仅激活 $k=\min(k_0,B-1)$ 个方向。第三步估计仿射映射：按 $A_t=(\hat{C}_t+\lambda I)^{1/2}(C_s+\lambda I)^{-1/2}$、$b_t=\hat{m}_t-A_t m_s$ 取对称半正定平方根，$B<2k$ 时退化为对角方差版本，自由度从 $O(k^2)$ 降到 $O(k)$。第四步传输与分类：按 $\tilde{\mu}_{c,t}=A_t\mu_c+b_t$、$\tilde{\Sigma}_{c,t}=A_t\Sigma_c A_t^\top+\beta I$ 传输每类高斯，以传输后的 GDA 得分 $g_c(z)$ 取 argmax，网络参数零更新。第五步证书门控：保留高置信样本，逆传输 $\bar{z}_i=A_t^{-1}(z_i-b_t)$ 后算质心残差 $\hat{\delta}_{c,t}$，证书 $r_t=\max_c\lVert\hat{\delta}_{c,t}\rVert_{\Sigma_s^{-1}}/(\gamma_s+\varepsilon)$，仅当 $r_t\le\tau$ 且满足最小样本与类覆盖要求才采用，否则回退冻结头；阈值全局固定，发布版 $\tau=0.8$。

技术新颖性

与已有工作的本质区别：Tent、EATA、SAR 依赖梯度更新归一化参数，CASTER 完全免反传且速度更快（1076 对 667/649/386 img/s）；T3A 与 FOA 虽免反传但分别依赖置信原型替换或免导数进化搜索，CASTER 是一步闭式解；对比刻意选强的非参基线 k-NN，其状态随源样本线性增长（Tiny-ImageNet 上达 781 MiB），CASTER 只存 $O(Ck_0^2)$ 类矩，中位数状态少 18 倍。证书设计上，尺度一致性（分子分母同用马氏度量）是必要修正而非装饰。更重要的是论文首次系统论证证书的机制特异性：把 CASTER 的证书套在 Tent 上只接受 4.3% 更新、保留 0.6% 可得收益，接受率与 Tent 无门控收益呈 $\rho=-0.86$ 负相关；结构性原因是更新前表示上计算的统计量无法为改变表示的更新提供保证，这一反直觉发现对所有 TTA 安全监控工作都有警示价值。

CASTER at test time. Source class moments are transported to the target batch by a class-shared affine map estimated from batch statistics. The transported Gaussian discriminant is used only when the transportability certificate passes; otherwise CASTER returns the frozen model-head prediction. No gradients are computed and no source feature bank is stored.
Figure 1: CASTER at test time. Source class moments are transported to the target batch by a class-shared affine map estimated from batch statistics. The transported Gaussian discriminant is used only when the transportability certificate passes; otherwise CASTER returns the frozen model-head prediction. No gradients are computed and no source feature bank is stored.

实验结果

冻结特征估计器：四骨干（ViT-B/16、ResNet-50、DeiT-B、Swin-T）乘七数据集共 28 单元，CASTER 在 27 个胜过同特征 k-NN，唯一例外 ViT-B/16+CIFAR-10 差距 <0.04 点；Flowers-102 三个骨干领先 18–22 点，k-NN 库在 Tiny-ImageNet 达 781 MiB，CASTER 中位数状态少 18 倍。证书：307 个可采信单元中损失超 10 点者的证书值全部高于 3.9，但有证书高达 8.9 的无害单元，安全与危险带重叠。阈值：无条件传输平均 −3.35 点，$\tau=0.8$ 门控 +1.69 点，$\tau\in[1.0,3.9]$ 内均 +1.85–1.92 点，波动 ≤0.3 点。门控策略（ResNet-50 九数据集）：有益处让出 0.1–2.2 点，有害处挽回 +10.2（CIFAR-100-C）与 +21.2（ImageNet-C）；汇总上总是传输 55.70、从不传输 59.05、门控 60.05。腐蚀基准（Table 1）：LN 家族 CIFAR-10-C 87.4、CIFAR-100-C 68.1，均超 SAR（87.3、66.1）；BN 家族 85.7 与 63.4，与 Tent/EATA/SAR 互有胜负。ImageNet-C：Source-GDA −19.0、无条件传输 −21.2、T3A −33.5，CASTER 拒绝全部批次零伤害，SAR 唯一正增益 +4.6。证书迁移（Table 2）：同一证书套 Tent 只接受 4.3% 更新、保留 0.6% 收益（$\rho=-0.86$）。成本（Table 3）：1076 img/s、1249 MiB，快 Tent 1.6 倍、SAR 2.8 倍。

Corruption benchmarks, aggregated over 19 corruptions and 5 severities and then grouped by normalization family (BN: ResNet-18/50; LN: ConvNeXt-T, ViT-B/16, DeiT-B, Swin-T). Tent and EATA use their standard BatchNorm-only parameter collection here and therefore reproduce the frozen head exactly on the four LN backbones.
Table 1: Corruption benchmarks, aggregated over 19 corruptions and 5 severities and then grouped by normalization family (BN: ResNet-18/50; LN: ConvNeXt-T, ViT-B/16, DeiT-B, Swin-T). Tent and EATA use their standard BatchNorm-only parameter collection here and therefore reproduce the frozen head exactly on the four LN backbones.
A transportability certificate does not transfer automatically to a different adaptation mechanism. Results are over 57 matched CIFAR-10-C cells with ResNet-50. For CASTER, gating both improves top-1 and reduces harm by rejecting destructive transports. Applied to Tent, the same certificate accepts only 4.3% of updates and preserves 0.6% of Tent's available gain.
Table 2: A transportability certificate does not transfer automatically to a different adaptation mechanism. Results are over 57 matched CIFAR-10-C cells with ResNet-50. For CASTER, gating both improves top-1 and reduces harm by rejecting destructive transports. Applied to Tent, the same certificate accepts only 4.3% of updates and preserves 0.6% of Tent's available gain.
Cost of adaptation on CIFAR-10-C fog, severity 3, with ResNet-50. Each method is measured in isolation on an idle device. CASTER avoids backward computation and optimizer state, retaining 90% of frozen-head throughput while using 4.4x less peak memory than the gradient-based methods.
Table 3: Cost of adaptation on CIFAR-10-C fog, severity 3, with ResNet-50. Each method is measured in isolation on an idle device. CASTER avoids backward computation and optimizer state, retaining 90% of frozen-head throughput while using 4.4x less peak memory than the gradient-based methods.
Frozen-feature estimator comparison over four backbones and seven datasets. All methods use identical frozen ImageNet-pretrained features. Left: CASTER versus k-NN top-1 accuracy; points above the diagonal favor CASTER. Right: retained k-NN state relative to CASTER, on a log scale.
Figure 2: Frozen-feature estimator comparison over four backbones and seven datasets. All methods use identical frozen ImageNet-pretrained features. Left: CASTER versus k-NN top-1 accuracy; points above the diagonal favor CASTER. Right: retained k-NN state relative to CASTER, on a log scale.
Certificate score versus realized transport gain, one point per admissible evaluation cell on i.i.d. streams. Every cell losing more than 10 points lies above 3.9, but the safe and unsafe bands are not disjoint. The symmetric-log axis makes both the benign and catastrophic regimes visible.
Figure 3: Certificate score versus realized transport gain, one point per admissible evaluation cell on i.i.d. streams. Every cell losing more than 10 points lies above 3.9, but the safe and unsafe bands are not disjoint. The symmetric-log axis makes both the benign and catastrophic regimes visible.
查看结构化数据
任务指标本文基线提升
冻结特征分类器对比（4 骨干 × 7 数据集） top-1 胜负与保留状态 CASTER 在 27/28 个骨干-数据集单元胜出，保留状态中位数少 18 倍 相同冻结特征上的 k-NN（Tiny-ImageNet 上状态达 781 MiB） Flowers-102 上领先 18–22 个 top-1 点；唯一例外差距 <0.04 点
CIFAR-10-C（LayerNorm 骨干，19 腐蚀 × 5 强度） top-1（均值 ± 标准差） CASTER 87.4 ± 0.62 SAR 87.3、冻结头 86.7、Tent/EATA 惰性等于冻结头 86.7 LN 家族最高，较冻结头 +0.7 点
CIFAR-100-C（LayerNorm 骨干） top-1 CASTER 68.1 ± 0.61 SAR 66.1、Tent/EATA 惰性 65.1、冻结头 65.1 较 SAR +2.0 点，较冻结头 +3.0 点
CIFAR-10-C（BatchNorm 骨干） top-1 CASTER 85.7 ± 0.51 EATA 85.8、Tent/SAR 85.7、冻结头 72.0 与梯度方法基本持平（−0.1 vs EATA），作者不宣称普遍优势
CIFAR-100-C（BatchNorm 骨干） top-1 CASTER 63.4 ± 0.57 Tent/EATA/SAR 62.9、冻结头 48.4、Source-GDA 35.4 较 Tent +0.5 点，是 BN 家族四个自适应方法中最高
ImageNet-C 低覆盖压力测试（1000 类，每批 64 样本） 相对冻结头的 top-1 变化 证书门控 CASTER 零额外伤害（拒绝全部批次，等于冻结头） 无条件传输 −21.2、Source-GDA −19.0、T3A −33.5；SAR +4.6 规避 21.2 点灾难，同时保留回退到冻结头的下限
门控策略对比（ResNet-50，九数据集，307 个可采信单元） top-1 证书门控 60.05 从不传输 59.05、总是传输 55.70 +1.00 vs 从不传输，+4.35 vs 总是传输；损失 >10 点的单元证书全部 >3.9
吞吐与显存（CIFAR-10-C fog 强度 3，ResNet-50，单卡空闲实测） img/s 与峰值显存 CASTER 1076 img/s、1249 MiB、无反传 Tent 667 img/s、EATA 649、SAR 386，均 5510 MiB 且需反传 1.6 倍速于 Tent/EATA、2.8 倍速于 SAR，显存仅 22.7%，吞吐保持冻结头的 90%
证书跨机制迁移（57 个匹配 CIFAR-10-C 单元，ResNet-50） top-1 / 接受率 / 收益保留率 对照：CASTER 门控 87.50、接受 91.0%、伤害 0.92% Tent+证书门 71.61、接受 4.3%、保留 0.6%；Tent+裁判门 76.47、接受 46.3%、保留 32.3% 证明更新前统计量构成的证书无法为改变表示的机制提供保证（$\rho=-0.86$）

局限与改进

作者承认的局限：CASTER 继承表示能力，冻结特征若不能分离目标类，传输统计量无法恢复表示中缺失的信息，这与 k-NN 等冻结特征估计器共享；类共享仿射假设在强类相关偏移或批次太小、不均衡时失败，批内类组成变化会与分布偏移混淆；证书是经验诊断而非形式保证，安全与危险带并不完全分离（良性单元 $r_t$ 可达 8.9），在无灾难的 CIFAR-10-C 上门控反而最多损失 2.2 点、不如直接全传输；证书不能排序非退化区域的收益大小；在 BatchNorm 骨干上梯度方法仍很有竞争力，EATA 在 CIFAR-10-C BN 汇总上以 85.8 略高于 CASTER 的 85.7。我的补充观察：批级矩估计隐含 i.i.d. 数据流假设，作者自己就曾因测试流未打乱而得出错误结论，说明真实部署中流组成漂移是现实风险；$B<2k$ 时的对角回退完全丢弃特征间相关性；全部评估限于图像分类，未涉及检测、分割或语言任务；灾难单元集中在 ImageNet-C 这类极端低覆盖场景，常规类数下证书很少被触发。

独立分析的弱点

独立分析的弱点与改进方向：其一，证书在非退化区域与收益正相关，作为门控会对无害批次过度拒绝（CIFAR-10-C 上最多损失 2.2 点），可结合 MMD、Wasserstein 等分布距离或在线风险监控构造复合收益预测器；其二，$\tau=0.8$ 等阈值全局固定，未随批大小 $B$ 与类数 $C$ 的覆盖比例自适应，而灾难恰好集中在 $B/C$ 极小的场景，可按 $B/C$ 分位数在线校准；其三，$B<2k$ 时的对角近似忽略特征相关性，可改用 Ledoit–Wolf 收缩或低秩加对角的结构化协方差估计，在小批下保留更多几何信息；其四，批级 i.i.d. 假设脆弱，作者自己就曾因流未打乱出错，可引入滑动窗口累积矩或流式重要性重加权以应对类组成漂移；其五，单一类共享仿射映射无法表达多模态或类相关偏移，可扩展为聚类级混合仿射映射或最优传输方案；其六，证书对 Tent 失败的结构性原因提示可为梯度方法设计单步前向探测式的后更新证书，而非简单放弃监控。

未来方向

作者明确提出的方向：为其他适应机制分别推导并验证各自的证书，任何证书都应与其适用的机制一起报告，而不是当作通用安全测试。基于本文成果可延伸的方向包括：为 Tent、SAR 等梯度方法设计低成本的后更新探测证书，例如用一次额外前向评估更新后批的一致性；把 CASTER 的闭式传输扩展到检测、分割等密集预测任务或视觉-语言模型特征；从理论上刻画仿射假设成立的偏移族，例如光照、模糊等低频腐蚀是否满足类共享线性近似；将证书与选择性预测、learning-to-defer 框架结合形成端到端的风险感知部署方案；以及在高效视觉学习语境下把统计传输与量化、蒸馏等压缩手段组合，进一步压低 1249 MiB 的峰值显存；还可以探索流式设置下跨批累积矩估计，摆脱对单一批 i.i.d. 的依赖。

复现评估

复现条件较好。代码已在 GitHub 开源（salimkhazem/Caster），并提供 fail-closed 校验脚本：从原始日志重新生成论文中所有聚合结果，任何必需工件缺失或不一致都会直接报错，大幅降低静默评测错误的风险。数据与骨干全部公开：CIFAR-10/100-C、ImageNet-C/V2/R/Sketch、PACS、Office-Home 及七个细粒度数据集，骨干为 ImageNet 预训练的 ViT-B/16、ResNet-50、DeiT-B、Swin-T、ConvNeXt-T、ResNet-18；源检查点需通过合理性阈值（CIFAR-10 ≥85%、CIFAR-100 ≥55%）且类矩必须由同一检查点生成，运行配置还需与评估模式严格一致以免 dropout 制造虚假适应效果。CASTER 推理单卡即可，峰值显存 1249 MiB、吞吐 1076 img/s，算力门槛低；ResNet-50 重复三个种子，确定性或单种子骨干如实标注。主要工作量在于复现全部 307 个评估单元的完整扫描与 Tent/EATA/SAR 的原版配置。总体难度：中低。

论文图表

figure_1..jpg
figure_1..jpg
figure_2..jpg
figure_2..jpg
figure_3..jpg
figure_3..jpg
table_1..jpg
table_1..jpg
table_2..jpg
table_2..jpg
table_3..jpg
table_3..jpg

相似论文推荐

ATEST：面向大语言模型推理的自适应资源感知测试时扩展 🎯 59.2%
EEG基础模型的测试时自适应：真实世界分布漂移下的系统研究 🎯 58.6%
一次蒸馏，终身适应：探索数据集蒸馏在持续测试时适应中的应用 🎯 58.6%
GradCuit：基于信用分配梯度流的鲁棒可解释测试时潜在推理 🎯 58.2%
用自适应循环Transformer改进测试时扩展 🎯 56.9%