基于参数感知三元组损失的公式驱动监督度量学习 FDSML: Formula-Driven Supervised Metric Learning with Parameter-Aware Triplet Loss
将分形合成预训练从分类重构为度量学习,用生成参数距离构造三元组,大幅提升检索迁移能力
前置知识
迭代函数系统 (IFS)
一组压缩映射的集合 $S = \{(w_k, \pi_k)\}$,每个映射 $w_k: X \to X$ 带选择概率 $\pi_k$ 且 $\sum_k \pi_k = 1$。FractalDB 用二维仿射形式,参数 $\psi_k = (a_k, b_k, c_k, d_k, e_k, f_k)$ 完全决定吸引子形状,从原点迭代施加映射即收敛到分形图形。
本文的全部监督信号都来自 IFS 生成参数:PA-Triplet 用仿射参数的加权期望 $\Psi$ 衡量两张分形图在生成层面的接近程度,不懂 IFS 参数化就无法理解监督从何而来。
三元组损失 (Triplet Loss)
度量学习经典目标:给定锚点 $x_a$、正样本 $x_p$、负样本 $x_n$,损失 $\mathcal{L} = \max(0, \lVert g(x_a) - g(x_p) \rVert - \lVert g(x_a) - g(x_n) \rVert + \alpha)$,迫使锚点到正样本的距离比到负样本至少小 margin $\alpha$。实际效果高度依赖难例挖掘策略,候选选择不当会导致收敛慢或嵌入质量差。
PA-Triplet 是本文核心贡献,它沿用三元组损失的数学形式但彻底改变了正负样本的定义方式——不再由类标签决定,而由生成参数距离排序决定,理解原始定义才能看清创新点在于监督来源而非损失函数。
公式驱动监督学习 (FDSL)
用数学公式生成分形、平铺、轮廓等图像并把生成参数当作类别标签的预训练范式,代表作 FractalDB,后续扩展有 TileDB、RCDB、VisualAtom。全程无需真实图片和人工标注,分类迁移性能可与 ImageNet 有监督预训练竞争。
本文是 FDSL 的直接后续:指出现有 FDSL 把连续参数离散化为标签浪费信息,并把它重构为度量学习,读懂本文需要先了解 FDSL 的面貌。
Chamfer 距离
衡量两个点集相似度的对称指标:将两张渲染图二值化为前景像素集合 $A$、$B$,对每个前景像素取到对方集合最近点的距离再双向平均。渲染有随机性,同参数重渲染存在约 3.6 像素的噪声底,需扣除。
论文以 Chamfer 距离为结构差异参考标准,检验参数距离 $d_\Psi$ 排序的正确率(each 89.2%、same 80.6%),这个验证实验是方法可信度的基石。
度量学习中的采样与候选挖掘
度量学习学习嵌入空间使距离反映语义相似度,检索是典型下游任务。三元组损失的效果强烈依赖样本挖掘:候选池由哪些样本构成(类内还是类间、难还是易)直接影响约束的信息量,常见策略有 batch hard、multi-similarity、proxy-based 等。
本文的四种过滤策略(all/each/same/diff)本质就是候选池设计,需要用采样策略视角理解不同过滤策略在消融实验中的性能差异。
研究动机
现代视觉预训练依赖 ImageNet 等大规模人工标注数据,面临标注成本高昂、隐私风险和固有社会偏见等瓶颈。公式驱动监督学习(FDSL)以 FractalDB 为代表,用数学公式合成图像并以生成参数充当标签,无需真实图片即可获得有竞争力的分类迁移能力。但现有 FDSL 有一个根本缺陷:它把预训练一律当作分类问题,将连续的 IFS 参数空间离散化为 1000 个类别标签,只用交叉熵优化决策边界,丢弃了参数空间的邻域结构——参数相近的两张分形图与参数相远的在标签意义下毫无区别。后果在依赖嵌入几何的任务上暴露无遗:在 Stanford Online Products 检索基准上,FractalDB-1k 预训练的 ResNet-50 经 Proxy-Anchor 微调后 Recall@1 仅 65.6%、Recall@10 仅 81.3%,竟不如不做任何预训练从头训练的 70.4% 和 83.1%。分类目标还促使模型记忆特定分形实例的低层纹理,模型对模糊等扰动敏感,在某些目标域甚至不如从头训练。
本文的目标是本文的目标是把 FDSL 从「类别识别」重构为「关系比较」范式,即公式驱动监督度量学习(FDSML):不再判断分形图属于哪个离散类,而是学习尊重生成参数空间中的相对相似性排序——给定锚点和两张候选,判断哪张在结构上更接近锚点。具体分解为三个子目标:其一,设计能支撑细粒度关系监督的数据集 FineFractalDB,把每类参数扰动从 25 个提升到 1000 个以获得充足类内多样性,同时用严格收缩约束和拒绝采样保证生成稳定;其二,设计参数感知三元组损失(PA-Triplet),从 IFS 参数空间距离 $d_\Psi$ 推导正负样本的序数关系;其三,在分类、检索、鲁棒性三类下游任务上验证参数级关系监督能否比标签式监督提供更强的合成预训练信号,尤其让合成预训练在图像检索上真正可用。
与已有工作不同的是，本文的独特切入角度在于监督信号的来源。度量学习界的既有方法,监督要么来自人工标注的离散标签(监督式 DML,如 Proxy-Anchor),要么来自图像增强构造的实例区分(自监督对比学习,如 SimCLR/MoCo);FDSL 界则清一色用交叉熵分类。本文注意到分形数据有一个被浪费的独有属性:每张图像自带六维连续生成参数向量,参数空间的欧氏距离直接对应形状差异,因此可以免费获得无限量的「相对相似性排序」监督——这是真实图像数据集原则上不可能提供的信号。作者还给离散标签安排了新角色:不再决定正负样本,只作为粗粒度先验限制候选池(all/each/same/diff 四种过滤),正负分配完全由参数距离排序决定。这种「标签过滤 + 参数排序」的两层设计,配合用 Chamfer 距离对描述子可靠性做的定量实证,以及专为关系监督重构的数据集,是已有文献中未见过的组合。
核心方法
直觉上,分形图由连续参数生成,参数越近、形状越相似,这种「接近关系」本身就是免费且无限的监督信号,不必压扁成离散标签。技术路线分四步。第一步,背景:IFS 是压缩仿射映射集合,参数记为 $\psi_k$,从原点迭代施加映射即收敛到分形吸引子,仿射参数决定一切几何。第二步,把每张图 $x_i$ 的生成过程压缩为描述子 $\Psi_i = \sum_{k=1}^{N} \pi_k \psi_k \in \mathbb{R}^6$,即仿射参数按选择概率加权的期望,并定义参数距离 $d_\Psi(i,j) = \lVert \Psi_i - \Psi_j \rVert_2$。第三步,PA-Triplet 训练:对锚点 $x_a$ 与候选 $x_1, x_2$,若 $d_\Psi(a,1) \le d_\Psi(a,2)$ 则 $x_1$ 为正、$x_2$ 为负,套用三元组损失优化编码器 $g_\theta$;关键在于 $d_\Psi$ 只作序数使用(判断谁更近),不被当作感知距离回归。第四步,用离散标签做粗过滤限制候选池以规避跨类参数比较不可靠的问题,并配套构建 FineFractalDB(1000 类 × 1000 张共 100 万张)。骨干用 ResNet-50 与 ViT-Tiny/Base,分别预训练 134 和 536 个 epoch 后微调评估。
核心创新是「正负样本由参数空间距离排序决定,离散标签只限制候选池」。与传统监督度量学习的本质区别在监督来源:传统方法中两图是否相似完全由人工标签决定,同类即正、异类即负;PA-Triplet 中即使两张候选来自不同离散类,只要参数上更近锚点就是正样本。最有力证据是 same 过滤:三张图同类,标签规则按定义退化为随机(50%),而参数描述子仍给出 80.6% 正确的序数判断——这是标签原则上给不出的信息。与自监督对比学习的区别在监督粒度:SimCLR 的正样本是增强视图,学的是实例级不变性;FDSML 监督的是连续生成因子上的相对结构差异。与原版 FDSL 的区别在优化目标:交叉熵只要求类间可分,鼓励记忆实例模式;PA-Triplet 显式建模相对排序,诱导嵌入保留参数邻域结构。另一关键设计是把 $d_\Psi$ 严格作序数使用——作者不假设六维期望描述子是完美感知度量(不同变换集合可能映射到相近 $\Psi$),只假设「参数更近则结构更近」,并用 Chamfer 实验证明该假设在 same/each 区域成立而在 all/diff 失效,据此选择过滤策略。
方法步骤详情
完整流程五步。第一步,数据集构建:采样 $N$ 个变换,$\psi_k \sim U[-1,1]$,$\pi_k$ 正比仿射矩阵行列式绝对值;每类施加 1000 个独立扰动(原 FractalDB 仅 25 个);强制收缩约束避免退化图形;渲染后按前景像素占用率拒绝采样,丢弃低于 0.05% 的样本,得到 FineFractalDB(1000 类 × 1000 张)。第二步,描述子计算:对每张图算 $\Psi_i = \sum_k \pi_k \psi_k$。第三步,三元组构建:采样锚点 $x_a$ 与两个候选;按过滤策略限池——all 全库随机、each 一同类一异类、same 均同类、diff 均异类;过滤后按 $d_\Psi(i,j) = \lVert \Psi_i - \Psi_j \rVert_2$ 排序,小者为正、大者为负。第四步,优化:$g_\theta$ 将图像映射为嵌入,以三元组损失训练;ResNet-50 用 SGD(动量 0.9、权重衰减 $10^{-4}$、前 40% 训练恒定学习率后余弦衰减、134 epochs);ViT 用 AdamW(权重衰减 0.05、Tiny 基准学习率 $10^{-4}$、Base $10^{-5}$、1 万步 warmup、536 epochs)。第五步,下游评估:分类替换末端层(ResNet-50 换 512 维线性层,ViT 按 MoCo v3 换两层 MLP 头)微调;检索用 Proxy-Anchor 微调后测 Recall@K;鲁棒性在 CIFAR-10-C 与 ImageNet-C 上测分类错误率。
技术新颖性
新颖性体现在四个层面。第一,范式层面:首个把 FDSL 重构为监督度量学习的工作,此前的 FractalDB、TileDB、RCDB、VisualAtom 全部沿用交叉熵,本文证明连续生成参数可充当「关系监督」而非仅「类别监督」。第二,监督信号层面:描述子 $\Psi$ 提供的序数监督无需人工标注或增强策略,是合成数据独有的免费信号;作者还定量刻画了其有效边界——same 区域 80.6%、each 区域 89.2% 的 Chamfer 一致率,而 all/diff 低于随机(47.2%/46.8%),这种对信号可靠性的诚实刻画本身即是贡献。第三,目标设计层面:$d_\Psi$ 仅作序数使用、标签仅作候选池过滤的双层设计,化解了「描述子不是完美感知距离」与「跨类参数比较不可靠」两个矛盾,相当于把度量学习界的采样挖掘思想引入合成数据预训练。第四,数据层面:FineFractalDB 的三项改进专为关系监督设计,消融证明其与 PA-Triplet 互补——同样数据在交叉熵 FDSL 下反而有害(CIFAR-100 从 81.18 降至 77.52),说明「高类内多样性数据 + 关系目标」是耦合设计而非独立贡献。
实验结果
证据链分四类。其一,描述子验证(Table 1):以 Chamfer 距离为参考,each 过滤下 $d_\Psi$ 排序一致率 89.2%、same 下 80.6%,远超 50% 随机;all(47.2%)与 diff(46.8%)低于随机;same 下标签按定义只能随机,描述子却达 80.6%,证明参数排序是标签给不出的信号。其二,分类(Tables 2-4):ViT-Tiny 上 FDSML(each) ImageNet-100 达 88.90% 对 FDSL 84.40%,CIFAR-10 98.00% 超过 ImageNet-1k 有监督的 97.92%;ResNet-50 上 FDSML(same) CIFAR-10 91.47%、ImageNet-1k 72.65%,均优于 FDSL 的 90.50%/70.43%;ViT-Base 上 FDSML(each) 最优但差距收窄。消融(Table 5)证明组件互补:换 PA-Triplet 目标即把 ImageNet-100 从 84.40 提到 87.93,再换 FineFractalDB 到 88.90;该数据集在 FDSL 下反而使 CIFAR-100 降 3.66pp。其三,检索(Table 7):提升最显著,SOP Recall@1 从 65.6% 升至 74.0%,超过从头训练的 70.4%;Cars 从 56.2% 升至 78.4%;In-Shop 从 87.3% 升至 89.2%;ImageNet 有监督仍是上界(SOP 79.1%、Cars 87.7%)。其四,鲁棒性(Table 6):ImageNet-C 上 ResNet-50 的 FDSML 五组腐蚀全部优于 FDSL,same 在三组最优(Noise 83.62、Blur 72.87、Digital 57.46);ViT-Tiny 有权衡,Weather 相对改善 6.3%(47.64 vs 50.84)但 Noise 与 Digital 退化。定性上,Grad-CAM 显示 FDSML 激活更集中,与 ImageNet 预训练模型的余弦相似度达 0.8434/0.8462;注意力图显示 FDSML 额外关注纹理与内部区域;参数插值嵌入轨迹显示 FDSML 沿生成参数方向平滑过渡而 FDSL 突变。
![Agreement [%] between the dΨ and Chamfer distance orderings under each filtering strategy](/papers/2610.39423/images/table_1..jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像检索 Stanford Online Products (ResNet-50, Proxy-Anchor 微调) | Recall@1 | 74.0% (FineFractalDB + FDSML) | 65.6% (FractalDB-1k + FDSL 交叉熵) | +8.4 个百分点,超过从头训练的 70.4%,仍低于 ImageNet-1k 有监督的 79.1% |
| 图像检索 Stanford Cars (ResNet-50) | Recall@1 | 78.4% (FDSML, same 过滤) | 56.2% (FDSL) | +22.2 个百分点(Scratch 40.9%、ImageNet 有监督 87.7%) |
| 图像检索 In-Shop Clothes Retrieval (ResNet-50) | Recall@1 | 89.2% (FDSML) | 87.3% (FDSL) | +1.9 个百分点(Scratch 87.2%、ImageNet 有监督 91.1%) |
| 图像分类 ImageNet-100 (ViT-Tiny) | Top-1 准确率 | 88.90% (FineFractalDB + FDSML each) | 84.40% (FractalDB-1k + FDSL) | +4.5 个百分点;消融显示换目标贡献 +3.53、换数据集再贡献 +0.97 |
| 图像分类 CIFAR-10 (ViT-Tiny) | Top-1 准确率 | 98.00% (FDSML each) | 96.65% (FDSL) | +1.35 个百分点,并超过 ImageNet-1k 有监督预训练的 97.92% |
| 图像分类 ImageNet-1k (ResNet-50) | Top-1 准确率 | 72.65% (FDSML same) | 70.43% (FDSL) | +2.22 个百分点(ImageNet 有监督 75.47%) |
| 鲁棒性 ImageNet-C Blur 组 (ResNet-50) | 分类错误率 CE(越低越好) | 72.55% (FDSML all) / 72.87% (FDSML same) | 74.82% (FDSL) | 约 -2.0~-2.3 个百分点;FDSML 在全部五个腐蚀组均优于 FDSL |
| 鲁棒性 ImageNet-C Weather 组 (ViT-Tiny) | 分类错误率 CE(越低越好) | 47.64% (FDSML same) | 50.84% (FDSL) | 相对改善 6.3%;但 Noise 与 Digital 组分别退化 3.38 和 1.47 个百分点 |
局限与改进
作者承认三点局限。第一,验证仅限 IFS 分形,虽然参数感知三元组原则上可推广到 VisualAtom、TileDB 等其他 FDSL 生成器,但每个生成器都需重新定义参数相似度并独立实证,本文未做。第二,结论局限于 100 万张图的规模,参数感知监督的优势是否随数据规模扩大而保持是开放问题。第三,FDSML 相比交叉熵 FDSL 有额外的描述子计算与三元组构建开销,论文未给出训练时间与显存的定量分析。我自己的观察补充四点:其一,描述子 $\Psi$ 是仿射参数的加权期望,把任意多个变换压进六维,不同 IFS 可能映射到相近 $\Psi$,作者自己也承认这导致 all/diff 低于随机——更精细的描述子(如吸引子点云间的最优传输距离)有提升空间;其二,检索实验用 Proxy-Anchor 微调,预训练与微调都是度量式目标,提升有多少来自「目标一致性」而非表征本身,缺少交叉熵微调的对照;其三,ImageNet 有监督预训练在所有检索任务上仍明显占优(SOP 79.1% vs 74.0%),合成预训练尚未追平真实数据;其四,ViT 鲁棒性在 Noise/Digital 退化而 ResNet 全面改善,作者仅归因于高频噪声敏感性需专门频率分析,机理层面解释缺失。
独立分析的弱点
第一,六维期望描述子的表达瓶颈:$\Psi = \sum_k \pi_k \psi_k$ 把任意数量变换压成加权平均,不同变换集合可能得到几乎相同的描述子,同一描述子距离既可能对应细微差异也可能对应巨大结构差异,这直接解释 all/diff 低于随机的表现;改进方向是用吸引子点云间的 Chamfer/EMD/最优传输距离作监督距离,计算更贵但全谱有效。第二,序数监督利用率低:每个三元组只用一个二元偏好,$d_\Psi$ 的数值大小被丢弃,不做难度加权也不做密集成对约束;借鉴 ranked list loss 或 multi-similarity 的密集关系利用可更高效挖掘参数结构。第三,架构依赖性强:ResNet-50 鲁棒性全面提升而 ViT-Tiny 在 Noise/Digital 退化,且 CIFAR-10-C 与 ImageNet-C 上 ViT 结论相反,说明结果对骨干-目标-分辨率耦合敏感,缺乏频谱偏差等机理分析。第四,基线覆盖不全:未与 SimCLR/MoCo 在相同合成数据上的预训练比较,无法判断关系目标相对实例判别的净增益;也缺「FDSML 预训练 + 交叉熵微调」对照来分离目标一致性的贡献。第五,same 过滤依赖离散类划分,而类划分是均匀切分参数空间的任意产物,类数与扰动幅度等超参敏感性未报告,威胁方法稳健性声明的可信度。
未来方向
作者提出的方向:把 PA-Triplet 推广到 VisualAtom(正弦结构)、TileDB(递归平铺)、RCDB(轮廓)等其他公式驱动生成器,为每个生成器定义合适的参数相似度并独立验证;扩大数据规模检验参数感知监督的扩展性;量化描述子计算与三元组构建的训练开销。基于论文成果可自然延伸的方向:其一,把参数排序监督与自监督对比学习结合,在合成数据上做多任务预训练(实例判别 + 参数序数),兼得两类信号;其二,利用参数插值的连续性做课程学习——从参数距离大的简单三元组逐步过渡到距离小的困难三元组,替代静态过滤策略;其三,把描述子距离升级为吸引子点云的结构距离(Chamfer/EMD)并研究其与感知相似度的对齐,把监督的有效范围扩展到 all/diff 区域;其四,探索合成度量预训练对密集预测任务(检测、分割)的迁移,本文只评估了分类与检索;其五,把「生成参数感知排序」思想移植到扩散模型合成数据,用去噪条件(类别嵌入、引导尺度)构造连续监督,检验该范式能否脱离 IFS 特殊性成为通用合成预训练原则。
复现评估
复现条件总体较好。论文提供项目页(https://shineiarakawa.github.io/fdsml),作者团队的 FractalDB 系列工作有开源传统,IFS 生成算法在论文中描述完整:$\psi_k \sim U[-1,1]$ 均匀采样、$\pi_k$ 正比行列式绝对值、严格收缩约束、0.05% 占用率拒绝采样,数据集可完全程序化重建,无真实数据依赖、无版权与隐私障碍。训练成本中等:需在 100 万张图上预训练 ResNet-50(134 epochs)与 ViT-Tiny/Base(536 epochs),作者使用 AIST 的 ABCI 3.0 集群;单卡 A100 复现 ViT-Tiny 级别预计数天可行,ViT-Base 与多过滤策略消融成本更高。评估全部采用公开基准(CIFAR、ImageNet-1k/100、Places-30、SOP、Cars、In-Shop、ImageNet-C/CIFAR-10-C)与公开实现(Proxy-Anchor、MoCo v3 头),4.3 节给出完整超参。需要注意的坑:三元组构建的采样细节(候选池大小、每 batch 三元组数、margin $\alpha$ 的具体取值)论文未完全展开,需参考开源代码;FineFractalDB 的类划分方式需与官方一致,否则 same/each 过滤的可比性受影响;Chamfer 验证需自行实现渲染噪声底估计。总体难度中等,适合有度量学习经验的团队复现。
论文图表
检索主表(Proxy-Anchor 微调):SOP Recall@1 为 Scratch 70.4、ImageNet SL 79.1、FDSL 65.6、FDSML 74.0;Cars Recall@1 为 40.9/87.7/56.2/78.4;In-Shop 为 87.2/91.1/87.3/89.2。FDSML(same) 在 SOP 和 Cars 最佳,FDSL 在 SOP 上竟不如从头训练。
论文标题级主张的直接证据:分类式 FDSL 在嵌入几何任务上甚至不如从头训练,而 FDSML 大幅逆转这一局面,是全文最重要的表格。
对单一 IFS 参数集的六个系数方向分别做受控缩放扰动,绘制 Chamfer 距离随缩放因子 $s$ 的响应曲线:在 $s=1$ 两侧均单调增加,响应幅度约为渲染噪声底(约 3.6 像素)的 4-7 倍。
补充材料中验证 Chamfer 距离作为「结构差异参考标准」的可靠性——排除渲染随机性干扰,是 Table 1 验证逻辑成立的前提条件。
将各扰动扫描中的 Chamfer 距离 $D$ 与参数描述子距离 $d_\Psi$ 画成关系图并按被扰动系数着色,显示 $d_\Psi$ 的排序与 $D$ 的排序总体一致,序数对应在单系数扰动下稳定成立。
直接可视化「参数距离 → 形状距离」的序数对应关系,是「$d_\Psi$ 可以只作序数使用」这一训练设计的直观证据。
展示四种过滤策略下实际采样到的(锚点, 正样本, 负样本)三元组图像示例:same 策略下三张图同类但结构差异细微,diff 策略下跨类候选与锚点的结构差异巨大且序数关系不可靠。
把抽象的过滤策略落到具体图像,直观解释为何跨类参数比较会低于随机(diff 46.8%),补充 Table 1 数字背后的直觉。
FractalDB 随机样本可视化:每行对应一个类别、每列展示类内不同实例,可见实例差异主要来自翻转和渲染样式变化,类内多样性低,并存在结构退化图形。
展示原版数据集的类内多样性瓶颈,是 FineFractalDB 设计动机的直接对照证据。
FineFractalDB 随机样本可视化:同类实例呈现连续、丰富的结构变化,图形稳定无退化,类内形成平滑的形态过渡,适合细粒度关系监督。
与 Figure D 对照,直观确认数据集改进(千级扰动、收缩约束、拒绝采样)达到设计目标,支撑消融实验中数据集因素的结论。
补充材料中更多类别上的 Grad-CAM 对比,最左列为输入与真值标签,对比 ImageNet 预训练、FDSL、FDSML 各变体:FDSML(same) 的激活集中度最接近 ImageNet 模型,FDSL 倾向弥散响应。
扩充正文 Figure 4 的证据覆盖面,排除选择性展示的疑虑,使「关系目标产生空间连贯表征」的定性结论更可信。
各预训练模型的 Grad-CAM 与 ImageNet 预训练模型 Grad-CAM 之间余弦相似度的直方图:FDSML(each/same) 的均值分别达 0.8434 和 0.8462,显著高于 FDSL,分布整体右移。
把 Figure 4 的定性观察定量化,是「PA-Triplet 预训练产生更接近真实数据预训练的激活模式」论断的数字支撑。
补充版层级 CLS-to-patch 注意力图,包含更多预训练策略与全部层的对比,显示 FDSML 的注意力分布更广、持续覆盖内部纹理区域,而 FDSL 集中于突出边界。
扩充正文 Figure 5,支持注意力组织方式存在系统性差异(而非个别样本现象)的结论。
ResNet-50 特征取特定层后做 UMAP 投影:FDSML 类内呈现更结构化的轨迹且类间保持间隔,same 策略下类内组织最平滑;FDSL 的类内结构与类间分布相对无序。
展示嵌入空间几何的直接差异,呼应「检索性能提升源于更好的邻域结构」这一机制性解释,是连接损失设计与下游指标的中间证据。
对两个 IFS 参数集做线性插值并渲染中间分形,按插值系数 $\alpha$ 着色绘制嵌入的 UMAP 轨迹:FDSML 预训练嵌入沿 $\alpha$ 平滑变化,而 FDSL 预训练嵌入在参数连续变化时出现突变。
机制层面的最直接证据:证明模型确实内化了生成参数空间的连续结构,而 FDSL 分类目标没有学到这种连续性,是全文核心主张的定格实验。
ResNet-50 在 CIFAR-10-C 五个腐蚀组的分类错误率:FDSML 总体优于 FDSL,same 在 Weather 和 Geometric 组最优(Geometric 错误从 21.55% 显著下降),Noise 组仅 all 变体有改善。
在小分辨率腐蚀基准上补充 ResNet-50 的鲁棒性证据,与 Table 6 的 ImageNet-C 结果互为补充,检验结论跨分辨率的一致性。
ViT-Tiny 在 CIFAR-10-C 的分类错误率:所有 FDSML 变体在包括 Noise 在内的全部腐蚀组均优于 FDSL(与 ImageNet-C 上 Noise/Digital 退化的结论相反),FDSML(all) 在 Blur 组改善最明显。
揭示 ViT 鲁棒性结论对基准的敏感性:ImageNet-C 上的退化并非普适现象,是准确理解「架构依赖的权衡」这一限制性结论的关键表格。