基于随机共享分类器深度监督的画廊一致早退人脸识别 Stochastic Deep Supervision for Gallery-Consistent Early-Exit Face Recognition
随机采样中间块并共享最终层分类头监督，使 ViT 每个深度都能直接匹配全深度画廊
前置知识
视觉 Transformer (ViT) 与残差流
ViT 把图像切成 $N$ 个 patch 并投影成 $d$ 维 token，经过 $L$ 个 pre-norm Transformer 块 $z^{(l)}=B_l(z^{(l-1)})$。因为每个块的 token 序列形状都是 $N\times d$ 且不改变，任意块的输出都能经同一个头解码；且最终输出是同一残差流的累加 $z^{(L)}=z^{(k)}+\sum_{l>k}\Delta_l$，各深度是同一表示的不同快照。
SD-ViT 的整套方案依赖『所有块输出维度一致』才能共用一个嵌入头、不加任何适配层，这是 CNN 分级变宽结构做不到的；残差流视角也解释了为什么各深度嵌入可以对齐。
边距惩罚 Softmax 损失 (ArcFace/AdaFace)
人脸识别的闭集训练目标：为 $C$ 个身份维护一组 $\ell_2$ 归一化的原型 $W=[w_1,\dots,w_C]$，对嵌入 $e$ 计算 $\cos\theta_j=\hat w_j^\top\hat e$，损失形如 $\mathcal{L}= -\log \frac{\exp(s\,\psi(\theta_y))}{\exp(s\,\psi(\theta_y))+\sum_{j\neq y}\exp(s\cos\theta_j)}$，其中 $s$ 是温度、$\psi$ 是对目标类 logit 加的边距（AdaFace 还按图像质量自适应边距）。它把每个身份的嵌入拉向自己的原型中心。
SD-ViT 的全部魔力来自『中间层嵌入也受这同一个损失、同一组原型 $W$ 监督』，不理解 margin-softmax 的原型结构就无法理解深度间的嵌入为什么会共享一个空间。
早退网络 (Early-Exit Networks)
在深网络的中间层插入分类器，让『简单』输入提前退出以省算力：BranchyNet、MSDNet、BERT 早退、LayerSkip 等。传统设计面向闭集分类，每个出口有自己的分类器，训练后各出口只需对自己的标签集准确，不同出口的内部表示不要求互相可比较。
本文要解决的核心问题正是：闭集式早退（每出口独立头）搬到开集人脸识别时会破坏嵌入空间一致性，导致浅层 probe 无法匹配全深度画廊。
开集人脸识别与画廊 (Gallery) 匹配
人脸识别部署时先把注册图像编码成模板嵌入存成画廊，查询时对 probe 图像编码并按余弦相似度检索最近邻，超过阈值 $\tau$ 即判为同一人。模型只输出嵌入向量，身份集合在部署时才确定（开集），因此不同深度的嵌入若不在同一空间，整个注册-查询流水线就失效。
这是本文的问题设定本身：『gallery consistency』（一次注册、任意深度查询）是作者提出的关键需求，也是与以往早退工作最本质的差异。
深度监督与知识蒸馏
深度监督（DSN、GoogLeNet）在中间层加辅助损失帮助优化，训练后丢弃辅助头；知识蒸馏用教师（软标签或特征匹配 MSE）指导学生，BYOT 则让网络自己当教师。共同点是中间头要么被丢弃、要么使用与最终出口不同的分类器/目标。
SD-ViT 是深度监督的一个变体，但反其道而行：辅助出口不丢弃反而部署为早退出口，且与最终出口共享头和原型；消融还证明特征匹配式蒸馏目标恰恰是行不通的。
研究动机
现代人脸识别的精度由深度网络驱动，ViT 已在基准上超越卷积骨干，但 ViT 对每个输入都要跑完固定的 $L$ 个块，成本与输入难度和设备预算无关。现实部署横跨边缘 Tiny AI、移动端与云端加速器，算力预算相差几个数量级：覆盖多个预算要么训练、存储并切换多个静态网络，要么为每档预算单独做压缩或蒸馏。早退网络看似是灵活答案——一个模型加中间分类器，简单输入提前退出——但 BranchyNet、MSDNet、LGViT、EnViT 等全都为闭集分类设计，每个出口有自己的分类器，不同深度的表示从不被要求可比较。人脸识别是开集问题：probe 必须用余弦相似度去匹配注册好的画廊嵌入。若在每个深度放独立分类头，各深度的嵌入空间互不兼容，浅层 probe 无法匹配全深度画廊；按深度重注册画廊在画廊巨大、分布式或隐私受限的场景下不可行；插入适配层则破坏了注册流水线依赖的单一嵌入空间假设。后果实测非常严重：标准 ViT-S/12 基线在半深度（6/12 块）IJB-C TAR@FAR=$10^{-4}$ 只有 42.22%、四分之一深度只有 11.05%，TinyFace Rank-1 半深度 56.01%、四分之一深度 40.61%；而在更贴近真实部署的 gallery-fixed 协议下，四分之一深度 IJB-C 只有 0.02%、TinyFace 直接是 0.00%，完全不可用。
本文的目标是本文的目标是训练单个 ViT 人脸识别模型，让每一个块深度都成为可用的早退出口，具体拆成四个可检验的属性：(1) 画廊一致性——所有深度的嵌入落在同一个空间，一个以全深度注册一次的画廊可以被任意深度 $k$ 的 probe 直接以余弦相似度查询，无需重注册、无需每出口适配层、无需改动推理架构；(2) 阈值一致性——一个在全深度校准的单一验证阈值 $\tau$ 从四分之一深度起持续可用，不需要按出口重新校准；(3) 精度保持——全深度精度相对传统训练几乎无损（IJB-C 差距控制在 0.4 点以内），早退 probe 在一半计算量下恢复自身全深度性能的 96% 以上；(4) 覆盖性——一次训练让每个块深度都可用，从而替代『为每个算力预算单独训练一个网络』的做法。
与已有工作不同的是，深度监督本身并不新鲜：DSN 和 GoogLeNet 早在中间层加辅助损失，BYOT 与 LayerSkip 也做过辅助头或共享输出头，ViT-FREE 做免训练的早退读取，EX-FIQA 用中间表示做质量评估。本文的独特切入是把『画廊一致性』——跨深度的单一嵌入空间——明确确立为早退人脸识别的中心障碍；闭集分类的早退方法从结构上回避了这个问题，而此前没有工作正面解决它。解法也极其克制：不建出口专属头、不用教师、不加特征匹配项或适配层，只在每次迭代均匀随机采样一个中间块，用最终出口自己的嵌入头 $\mathcal{H}$ 解码、对着同一组原型 $W$ 施加同样的边距损失。作者还用因子化消融给出一个反直觉的机制结论：起作用的不是『监督了中间层』，而是『用最终层的边距损失本身』去监督——把它换成对自身最终嵌入的特征匹配 MSE，四分之一深度会掉 31.5 个 IJB-C 点，外部教师蒸馏更差。
核心方法
直觉上，要让任意浅层的 probe 能匹配全深度注册的画廊，就必须让每个深度输出的嵌入都落在同一个空间里。SD-ViT 在标准 ViT 人脸识别训练之上只加一条随机的辅助监督路径：每个迭代做一次完整的 $L$ 块前向得到主出口嵌入 $e^{\mathrm{p}}=\mathcal{H}(z^{(L)})$；同时从 $\{1,\dots,L-1\}$ 均匀采样一个块 $k$，把中途的 token 状态 $z^{(k)}$ 也送进同一个头 $\mathcal{H}$（包含全局 LN 和投影 $\phi$）得到辅助嵌入 $e^{\mathrm{s}}$。两路嵌入用同一组身份原型 $W$、同一个边距惩罚 softmax（默认 AdaFace，$m=0.4, h=0.333$）打分，总损失为 $\mathcal{L}=\omega\,\mathcal{L}_{\mathrm{cls}}(e^{\mathrm{p}},y)+(1-\omega)\,\mathcal{L}_{\mathrm{cls}}(e^{\mathrm{s}},y)$，$\omega=0.7$。训练结束后推理架构与原模型完全相同——没有任何新增参数或分支——只是允许在第 $k$ 个块后终止并用同一个头读出嵌入 $e_k=\mathcal{H}(z^{(k)})$。出口深度按算力预算固定选择（四分之一、二分之一深度等），而不是逐图自适应。
核心创新在于『共享什么』而非『是否监督中间层』。式 (4) 中没有任何教师、没有 detach 的目标、没有两路嵌入之间的散度项——两个分支都是身份标签损失，更新同一个骨干、同一个头 $\mathcal{H}$、同一组原型 $W$。作者分析了使深度间可比较的两条机制：其一，共享头意味着一个 LN、一个投影 $\phi$、一组 BN 统计必须把最终 token 和所有被采样深度的 token 都变成边距损失能分开的嵌入；在 pre-norm ViT 中 $z^{(L)}=z^{(k)}+\sum_{l>k}\Delta_l$，两个深度是同一残差流的两张快照，迫使两者经同一个 $\phi$ 都可分，会促使后续块去『精炼』$\phi$ 在深度 $k$ 已经读出的身份信息而不是重新编码它（重新编码会让 $e_k$ 远离 $e^{\mathrm{L}}$），每出口独立头则没有这种压力。其二，共享原型：$\mathcal{L}_{\mathrm{cls}}$ 只通过余弦 $\{\hat w_j^\top\hat e\}$ 依赖 $e$，最小化它会把每个身份在所有被监督深度都拉向同一个中心 $\hat w_y$。此外，均匀随机采样是『监督全部 $L-1$ 个出口』的单样本估计器，一次训练就能让每个深度都可用，而辅助计算成本只有确定性全监督的约七分之一。
方法步骤详情
完整流程如下。(1) 前向：对齐人脸切成 $N$ 个 patch，线性投影成 $d$ 维 token 加位置编码，依次经过 $L$ 个 pre-norm 块 $z^{(l)}=B_l(z^{(l-1)})$。(2) 嵌入头 $\mathcal{H}$：对 token 序列做网络级 LN，展平后经投影 $\phi$（$Nd\to D$，带 BN）得到嵌入，推理时做 $\ell_2$ 归一化。(3) 每个训练迭代：完整前向得到 $e^{\mathrm{p}}=\mathcal{H}(z^{(L)})$；采样 $k\sim\mathcal{U}\{1,\dots,L-1\}$，读出 $e^{\mathrm{s}}=\mathcal{H}(z^{(k)})$，$z^{(k)}$ 本来就在前向路上，辅助路径只多一次『头+分类器』计算。(4) 两路共享原型打分：$\mathcal{L}=\omega\mathcal{L}_{\mathrm{cls}}(e^{\mathrm{p}},y)+(1-\omega)\mathcal{L}_{\mathrm{cls}}(e^{\mathrm{s}},y)$。(5) 共享带来的工程细节：$\phi$ 的 BN 层每步被两条分支遍历，各自 batch 统计汇入同一组 running estimates，部署时一套统计服务所有出口；PartialFC（采样率 0.6）下两项看到相同的正原型，负原型各自重采样但更新同一个 $W$；AdaFace 的自适应边距特征范数统计也被两项共同更新。(6) 训练配置：WebFace4M（4.2M 图、206K 身份）或 WebFace12M（12.7M 图、618K 身份），40 epoch、batch 1024、AdamW（$lr=10^{-4}$，wd 0.05）、余弦调度加 3 epoch warmup。(7) 推理：按算力预算固定选择出口 $k$，跑前 $k$ 个块后经 $\mathcal{H}$ 读出 $e_k$ 并归一化，直接与全深度注册的画廊做余弦匹配，阈值沿用全深度校准的 $\tau$。
技术新颖性
与已有工作的本质区别体现在六个对比面上。(a) 相对经典深度监督（DSN、GoogLeNet）与 BYOT：辅助出口训练后不丢弃而是部署为早退出口，且用最终出口自己的头和原型解码打分，而不是独立分类器。(b) 相对 LayerSkip（NLP 中 layer dropout + 共享输出头 + 早退损失）：本文面向开集人脸识别，明确强调画廊一致性这一闭集方法无需考虑的属性，且不依赖 layer dropout、完全不改架构。(c) 相对 ViT-FREE（在固定骨干上免训练地做早退 + 合成数据适配）与 ViT-FREE$^{\mathrm{FT}}$（每深度微调一套投影和原型）：SD-ViT 在训练时就优化每个块产生画廊一致嵌入，免去了适配步骤，gallery-fixed 协议下四分之一深度 93.06% 对 61.78%。(d) 相对 LGViT、EnViT 等早退 ViT：它们的出口被闭集标签集绑在一起，本文的目标是跨深度单一嵌入空间。(e) 相对知识蒸馏（FitNets 特征匹配、triplet/rank/angular/AdaDistill 等 FR 蒸馏）：无需教师、无需特征匹配项，消融证明辅助出口必须由边距损失本身监督。(f) 随机采样作为全出口监督的单样本估计器，以 3.1 GPU-h 的辅助成本取得与 22.8 GPU-h 确定性全监督相当的精度。方法的约束是骨干必须常数 token 宽度（各向同性 ViT），作者用第二个此类骨干 KP-RPE 验证了普适性。
实验结果
核心实验可逐一看。(1) 跨深度可用性（Table 1 / Figure 2a-c，self-evaluation）：ViT-S/12 + WebFace4M 基线在出口 6/3 的 IJB-C TAR@FAR=$10^{-4}$ 仅 42.22%/11.05%，TinyFace 56.01%/40.61%，五个高质量集均值 77.90%/63.68%；SD-ViT 达到 95.11%/87.01%、71.22%/64.62%、96.42%/93.68%，而计算只有 9.26/4.70 对全深度 18.37 GFLOPs。ViT-B/24 WF4M 基线出口 6 IJB-C 21.63% → SD-ViT 91.83%；WebFace12M 规模化后基线四分之一深度仍崩到 12.10%，SD-ViT 达 95.03%。(2) 全深度代价很小：三个配置 IJB-C 分别比基线低 0.38/0.33/0.13 点（96.51 vs 96.89、96.69 vs 97.02、97.56 vs 97.69），WF12M TinyFace 掉 1.18 点（74.60 vs 75.78），推理架构相同零开销。(3) 与专用截断网络（3/6 块从头训练）比，后者在自己预算更强（93.78 vs 87.01、95.94 vs 95.11 IJB-C），但 $N$ 个预算需要 $N$ 个互不兼容的网络；SD-ViT 用半深度让 0.83 点换取覆盖全部预算。(4) 消融（Figure 3 / Table 2）：$\omega=0.7$ 最优——全深度在 $\omega\ge0.5$ 几乎不变（96.20/96.51/96.73），$\omega\to1$ 时早退崩溃（95.52→95.11→93.35→42.22%），$\omega=0$ 则全深度掉到 95.25%；ArcFace 同样成立（出口 6：94.97 vs 57.82，提升 +37.2 点；AdaFace +52.9）；ViT-S/15 上半深度 95.59 vs 70.81；KP-RPE 骨干上半深度/四分之一深度 96.56/94.11 对基线 53.52/12.67。(5) 固定出口 vs 随机采样：固定 {6} 在出口 2/3 只有 17.9%/38.1% IJB-C，采样为 74.4%/87.0%；固定出口在所选深度更准（{3,6} 达 91.89% vs 87.01%）但远离所选深度即失效（48.7% vs 74.4%）。确定性监督全部 11 个出口与采样几乎无差（86.54/95.15 vs 87.01/95.11），但训练成本 88.3 vs 68.6 A100 GPU-h，辅助成本 7.4 倍（22.8 vs 3.1）。(6) 因子化对照（Table 3）：辅助出口换成特征 MSE 掉 31.5 点（55.49 vs 87.01）；共享头下单独一组中间原型 $W'$ 只差约 1 点；ViT-FREE$^{\mathrm{FT}}$ 的每出口头在 gallery-fixed 下只有 61.78%；把 $W$ 冻结在预训练全深度解上反而略升（89.93/93.42）。(7) 蒸馏对比（Table 4）：KD-teacher MSE 21.48%、Feature-MSE 55.49%、外部教师 Feature-MSE 40.26%，均远低于 SD-ViT 的 87.01%，且教师变体因需第二次前向更贵（84.7/85.7 vs 68.6 GPU-h）。(8) 画廊一致性（Table 5 / Figure 2e-h）：gallery-fixed 下 SD-ViT 出口 3 HQ 均值 96.15% vs 基线 66.78%，出口 1 也有 90.98%；TinyFace 出口 3 是 59.31% vs 0.00%，IJB-C 是 93.06% vs 0.02%；与最终嵌入的平均余弦相似度出口 3/6 从基线的 0.14/0.40 升到 0.76/0.91（MSE 变体仅 0.41/0.64）。(9) 单阈值（Table 6）：$\tau=0.382$ 全深度校准后固定使用，IJB-C 上 SD-ViT TAR 出口 9/6/3 为 96.15/95.15/89.08%（每出口重校准为 96.34/95.78/93.05%，仅损失 0.19/0.64/3.97 点）；基线出口 6 只有 19.59%，出口 1/3 为 0。(10) 成本：辅助出口只加 3-6% 训练时间（65.5→68.6 A100 GPU-h；WF12M 411.1→430.2），实测 batch-1 延迟（Table S26）在 RTX 4060 Ti 上 ViT-S/12 从出口 1 的 1.04 ms 到出口 12 的 3.75 ms。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| IJB-C 人脸验证（ViT-S/12, WebFace4M, 四分之一深度出口 3, self-evaluation） | TAR@FAR=1e-4 (%) | 87.01 | 11.05 | +75.96 点（计算 4.70 vs 18.37 GFLOPs） |
| IJB-C 人脸验证（ViT-S/12, WebFace4M, 半深度出口 6） | TAR@FAR=1e-4 (%) | 95.11 | 42.22 | +52.89 点（计算减半） |
| TinyFace 低质量检索（ViT-S/12, WebFace4M, 出口 3） | Rank-1 (%) | 64.62 | 40.61 | +24.01 点 |
| IJB-C（ViT-B/24, WebFace12M, 四分之一深度 6/24） | TAR@FAR=1e-4 (%) | 95.03 | 12.10 | +82.93 点（大规模训练下基线仍崩溃） |
| IJB-C gallery-fixed 协议（出口 3 probe vs 全深度注册画廊） | TAR@FAR=1e-4 (%) | 93.06 | 0.02 | +93.04 点（基线完全不兼容画廊） |
| 单阈值部署（ViT-S/12, IJB-C, 出口 6, 固定全深度校准 $\tau$） | TAR，目标 FAR=1e-4 (%) | 95.15 | 19.59 | +75.56 点（vs 同样固定 $\tau$ 的基线） |
| KP-RPE 第二骨干（WebFace4M, 出口 3） | IJB-C TAR@FAR=1e-4 (%) | 88.19 | 12.67 | +75.52 点（验证方法不限于 plain ViT） |
| 全深度代价（ViT-S/12, WebFace4M） | IJB-C TAR@FAR=1e-4 (%) | 96.51 | 96.89 | -0.38 点（为换取全部早退出口付出的代价） |
局限与改进
作者承认的局限：(1) 全深度有小幅精度损失，三个配置 IJB-C 最多低 0.38 点，WF12M TinyFace 低 1.18 点；(2) 单阈值性质只从四分之一深度起成立，出口 1 即使 SD-ViT 也只剩 15.66% TAR（每出口重校准可达 63.81%），实际 FAR 在浅层远低于目标，说明固定 $\tau$ 在浅层过保守；(3) 出口深度按预算固定选择而非逐图自适应，输入难度未被利用，逐图策略留作未来工作；(4) 方法要求骨干常数 token 宽度（各向同性 ViT），分级变宽的 CNN 不适用；(5) 阈值校准实验只在 ViT-S/12 上做；(6) 专用截断模型在自己单一预算上仍更准（93.78 vs 87.01 IJB-C）。我自己的观察：(a) 全部实验基于 WebFace 训练与标准学术基准，没有报告不同人口群体、低质量或跨年龄下的逐出口性能，『谁被路由到浅层』及其公平性影响完全未知，这对 FR 部署有伦理意义；(b) 画廊一致性只在同一模型内部成立，SD-ViT 与其它模型或升级版模型的嵌入互不兼容，系统换模型仍需重注册；(c) $\omega=0.7$ 是在报告基准上选出的，可能存在轻微基准过拟合；(d) 固定出口消融显示在已知预算点上专用监督能高 4-5 点，说明均匀采样并非精度最优，只是覆盖最优；(e) 每步只采样一个出口，在更深的骨干（$L\ge24$）上估计方差未讨论；(f) IJB-C gallery-fixed 协议把配对模板的第一半全深度嵌入、其余作 probe，这种混合深度模板设定与真实增量注册场景的对应程度值得商榷。
独立分析的弱点
独立分析出的弱点及改进方向：(1) 与专用小模型的精度差距——单一预算点上从头训练的 3 块 ViT 比 SD-ViT 出口 3 高 6.77 IJB-C 点（93.78 vs 87.01），预算固定的产品用蒸馏/剪枝仍更划算；改进方向是把画廊一致训练与逐出口蒸馏结合，在不破坏共享空间的前提下逼近专用模型。(2) 极浅层几乎不可用——出口 1 的 HQ 均值只有 80.53%、单阈值 TAR 仅 15.66%；改进方向是把均匀采样改为偏向浅层的非均匀分布 $k\sim p(k)$，或对最浅的几个块加更强的辅助监督/额外正则。(3) 缺少逐图自适应出口——按预算固定深度忽略了输入难度，简单图像无法更早退出、困难图像可能在浅层被误判；改进方向是结合作者自己 EX-FIQA 的中间表示质量评估或轻量置信度准则，在画廊一致的前提下做 per-image 决策。(4) 固定阈值在浅层退化——$\tau=0.382$ 在出口 3 损失 3.97 点 TAR 且实际 FAR 只有目标的 13%，过保守；改进方向是拟合一个随深度变化的阈值映射 $\tau(k)$，只需极少量开发集分数。(5) 无公平性与鲁棒性审计——不同人群/图像质量的精度-深度曲线未报告，错误可能随深度不均匀分布；改进方向是分群体报告逐出口 TAR/FAR。(6) 单样本采样在高深度骨干上的方差与收敛性未分析；改进方向是每步采样多个出口或设计重要性采样并给出估计器方差的理论界。
未来方向
作者明确提出的方向是输入自适应的逐图出口策略（per-image exit policy）。基于本文成果可以自然延伸的方向：(1) 与 token 剪枝/合并（Token Merging、DynamicViT）正交叠加，作者自己指出二者可组合，得到『少块 × 少 token』的双重加速；(2) 把共享分类器深度监督推广到其它基于相似度检索的开集任务，如行人重识别、图像检索、指纹/虹膜比对，这些任务同样面临『一次注册、多预算查询』的需求；(3) 与 EX-FIQA 联动，用中间出口表示的图像质量分数动态选择出口深度，兼顾公平性（低质量图像走更深出口）；(4) 形式化画廊一致性的理论分析：共享头+共享原型在什么条件下保证跨深度对齐，采样估计器的方差如何随 $L$ 缩放；(5) 与 LayerSkip 式自推测解码结合，把『采样出口』用于验证而非丢弃，在多模态文档理解 ViT 上复用；(6) 非均匀/多出口采样与课程式调度，逼近固定出口监督在已知预算点的 4-5 点优势；(7) 研究量化、低比特（如 QuantFace 路线）与早退的相互作用，因为 BN 统计由两个深度共同更新，量化后是否仍保持画廊一致值得验证；(8) 探索跨模型兼容的画廊一致性，例如通过共享原型空间约定让不同 SD-ViT 模型的嵌入可互换。
复现评估
复现条件较好。代码已在 GitHub 开源（gurayozgur/SD-ViT），论文给出完整训练配置：AdaFace（$m=0.4,h=0.333$）、40 epoch、batch 1024、AdamW $lr=10^{-4}$、wd 0.05、余弦调度 3 epoch warmup、PartialFC 采样率 0.6、$\omega=0.7$，并在补充材料 Table S2 列出每个实验的 A100 GPU-h。算力需求：主配置 ViT-S/12 + WebFace4M 基线 65.5 GPU-h、SD-ViT 68.6 GPU-h（约 3 天单卡 A100，多卡更快），ViT-B/24 WF4M 138.2-143.9 GPU-h，WF12M 411.1-430.2 GPU-h（需要节点级集群）。数据方面 WebFace4M/12M 是公开学术数据集但需向 WebFace260M 项目申请授权，评估基准（LFW、AgeDB、CFP-FP、CPLFW、CALFW、TinyFace、IJB-C）均为标准公开协议。补充材料极其详尽：全部 27 张表给出逐出口、逐基准数字，GFLOPs/参数量表（S1）、实测延迟与显存（S26，RTX 4060 Ti batch-1）、分数分布图（S1 图）都可直接核对。方法本身改动极小——一个采样出口加损失加权，实现门槛低、超参少（$\omega$、均匀采样），且用 AdaFace/ArcFace 两种损失、三个骨干、两个数据规模交叉验证过。总体评估：中等偏低难度，单校配置可在单节点数天内复现，主要障碍是 WebFace 数据授权与大规模配置的算力。
论文图表
补充材料的逐出口成本表：ViT-S（12/15 层共用）与 ViT-B 每个出口 $k$ 的推理 GFLOPs 和截断到该出口的参数量（百万）。ViT-S 从出口 1 的 1.66 GFLOPs/55.5M 到出口 12 的 18.37 GFLOPs/96.0M，ViT-B 从 1.25/54.5M 到 26.74 GFLOPs/114.9M；patch 嵌入和头在所有出口固定增加约 0.14 GFLOPs，每块成本 ViT-S 1.52、ViT-B 1.11 GFLOPs。
早退省算力的量化基础：所有精度对比的 x 轴（GFLOPs）都来自这张表，便于读者把任意出口映射到实际预算。
全部 28 个训练运行的 A100 GPU 小时清单：基线 65.5（ViT-S/12 WF4M）到 411.1（ViT-B/24 WF12M），SD-ViT 相应 68.6 和 430.2（辅助出口仅加 3-6%）；采样一个出口每步只比基线多 3.1 GPU-h，确定性监督全部 11 个出口要多 22.8（总计 88.3）；教师蒸馏变体 84.7/85.7，ViT-FREE$^{\mathrm{FT}}$ 二阶段 40.3，KP-RPE 74.2/76.5。
公开了完整的复现成本账本，支撑『随机采样以约七分之一的辅助成本逼近全出口监督』的效率论断。
实测性能表：三个配置在每个出口的 batch-1 前向时延（ms）和峰值显存（MiB），200 次计时取均值。ViT-S/12 从出口 1 的 1.04 ms 到出口 12 的 3.75 ms，ViT-B/24 从 1.00 ms 到 6.01 ms，时延随实际执行的块数增长；峰值显存几乎平坦（ViT-S/12 恒为 386 MiB），因为共享头和常驻权重占主导。SD-ViT 与基线架构相同，数字通用。
把 GFLOPs 落到真实硬件的时延/显存，回答了『早退到底省不省实际时间』这一 FLOP 数字无法回答的问题。