带理论保证的可调软等变性 Tunable Soft Equivariance with Guarantees
通过把权重投影到精心构造的子空间来构造带理论界的软等变层，可用于任意预训练模型。
前置知识
群等变性 (Group Equivariance)
若函数 $F: \mathcal{X} \to \mathcal{Y}$ 对群 $G$ 满足 $F(\rho_X(g)x) = \rho_Y(g)F(x)$，则称 $F$ 等变。含义是先施加群作用再过网络、与先过网络再施加群作用结果一致。常见对称群含平移、旋转、缩放、置换，CNN 对平移天然等变。
等变性是本文的核心讨论对象，所有推导都围绕严格等变 (Eq. 4) 与软等变 (Eq. 6) 之间的差距展开。
李群与李代数 (Lie Group / Lie Algebra)
李群 $G$ 是光滑群流形；李代数 $\mathfrak{g}$ 是单位元切空间。矩阵李群有指数映射 $\exp(tA)=\sum_n (tA)^n/n!$。对 $\rho(\exp(tA))$ 在 $t=0$ 求导即得李代数表示 $d\rho(A)$，描述无穷小群作用。
本文推导软等变界的核心工具是把 $F(\rho_X(g)x) - \rho_Y(g)F(x)$ 用泰勒展开 (Eq. 3) 写成关于 $d\rho(A_i)$ 的线性组合，因此读者必须理解如何从群切出代数。
奇异值分解与 Schur 分解 (SVD / Schur Decomposition)
SVD 将 $A=U\Sigma V^\top$ 分解为奇异向量与奇异值，$\sigma_1 \le \sigma_2 \le \dots$。Schur 分解对正规矩阵给块上三角 $\Sigma$。截断 (cut-off) 奇异值即得投影算子，是 Eq. (9)/(15)/(20) 的核心工具。
Eq. (9)、Eq. (15)、Eq. (20) 的设计全部基于 SVD/Schur 对李代数表示的截断分解，是构造软等变层的根本工具。
数据增强与正则化 (Augmentation & Regularization)
数据增强通过在训练时把变换后的样本加入训练集，让模型隐式学到近似不变性；正则化 (例如 Tangent Prop) 显式把等变残差加入损失。两者都通过损失函数间接鼓励对称性，但并不提供训练后等变误差的定量保证。
本文将自己与增强/正则化对比，强调通过闭式投影限制参数空间，从而可给出理论上的等变误差界而非仅隐式鼓励对称。
研究动机
现实图像、视频、点云数据往往只近似满足某种对称性，而非严格等变。例如 ImageNet 上旋转 ±30° 后 ViT-B/16 的 aAcc 从 81.67% 降到 77.29%，但绝对意义上的'旋转等变'会让模型表达力下降：完全等变基线 Canon. 在 ViT 上把 Acc 砍掉 5.16%，SegFormer 下降 7.84% mIoU，PASCAL VOC 上的 eErr 甚至从 12.31% 飙到 20.39%。现有方法有三大短板：(1) 数据增强与正则化 $[3, 14, 28, 57]$ 没有训练后等变误差的数学保证；(2) 残差混合类方法 (RPP $[16]$) 需要双倍参数量，并且要求基网络本身是等变结构；(3) 修改卷积核类方法 $[53, 61, 64, 67]$ 依赖特定群卷积架构，无法直接嫁接到 ViT、DINOv2、SegFormer 这类现代预训练骨干上。
本文的目标是本文提出一套通用框架，把任意预训练模型 (ViT、DINOv2、ResNet-50、SegFormer 等) 转换成'软等变'模型。具体目标有三：(a) 用闭式投影算子 $B_\theta$ 直接限制权重空间，得到可调节的'软度'；(b) 给出 $\eta$-soft equivariance (Eq. 6) 的显式理论界 $\eta_b = b\sqrt{n_G}\, r_G + \epsilon_G$；(c) 在保证等变误差可控的同时，不损失下游任务性能。
与已有工作不同的是，本文的切入角度是把 Zhang $[76]$ 在 shift invariance 提出的 anti-aliasing 滤波思路，从信号处理视角抽象为'投影到子空间'，并推广到任意紧连通李群与离散群；通过 SVD/Schur 分解李代数表示 $d\rho$ 并截断奇异值 (cut-off $b$)，让等变性强度由单一超参 $b$ 控制。这使框架完全 architecture-agnostic：投影前的权重 $\theta$ 仍按原模型学习，只是通过 $B\theta$ (Eq. 7/12) 隐式施加软约束，既不需要重训等变骨干，也不会引入额外可学习参数。
核心方法
方法的核心直觉来自经典的 shift-equivariance + anti-aliasing：把权重投影到'对平移无反应'的子空间就能抑制混叠。Rahman 等把这个想法抽象成'把权重投影到由李代数表示 $d\rho$ 的低敏感奇异向量张成的子空间'，并把切群推广到任意紧连通李群 (连续情形) 与有限离散群。具体做法分两步：(1) 离线做一次 SVD/Schur 分解得到投影算子 $B$；(2) 在线训练时权重 $\theta$ 自由更新，但实际生效权重为 $B\theta$。由于 $B$ 与输入无关且只算一次，训练开销与普通微调几乎相同。直觉上，截断奇异值相当于让 $d\rho$ 的'敏感方向'被丢弃，等变性增强；保留更多方向则表达力增强但误差上升。
与已有方法最本质的区别有两点。其一，本文不依赖任何等变骨干，也不需要残差旁路；它把软等变性从'修改架构'变成'修改参数空间'，所以同样的代码可以同时用于 ViT、DINOv2、ResNet、SegFormer 和轨迹预测 Transformer。其二，作者提出一个相对 (scale-invariant) 的 $\eta$-soft equivariance 定义 (Eq. 6)：$\frac{\|F(\rho_X(g)x) - \rho_Y(g)F(x)\|}{\|J_F(x)\|_F \|x\|} \le \eta$，相比常见的绝对误差 $\|\cdot\|\le\delta$，它把误差归一化为关于输入范数与 Jacobian 范数的比例，避免被输出尺度淹没，从而让 $\eta$ 在不同层、不同模型间可比。围绕此定义，作者给出三套投影算子 $B_\mathrm{inv}$ (Eq. 9)、$B_\mathrm{eq}$ (Eq. 15)、$B_\mathrm{Schur}$ (Eq. 20)，并配套 SVD 与更高效的 Schur 分解两种实现。
方法步骤详情
以连续群 soft-equivariant FC 层为例。步骤 1：给定群 $G$ 与李代数基 $\{A_i\}$，计算 $A = [d\rho_X(A_1)|\dots|d\rho_X(A_{n_G})]$ (Eq. 11)。步骤 2：SVD 得 $A=U\Sigma V^\top$，升序排列奇异值。步骤 3：保留 $\sigma_i<b$ 的右奇异向量构成 $B_\mathrm{eq}=\sum_{i:\sigma_i<b} v_i v_i^\top$ (Eq. 15)，$b$ 控制软度。步骤 4：嵌入层 $\mathrm{vec}(W)=B_\mathrm{eq}\theta$ (Eq. 12)，$\theta$ 自由学习，$W=B_\mathrm{eq}\theta$ 实际生效。步骤 5：ViT 注入 patch embedding 与 Q/K/V/MLP；CNN 注入卷积与 FC；Transformer 用于点特征。步骤 6：AdamW + cosine 微调，$b$ 按验证集选。步骤 7：在 $\pm30°$ 增强集上评估 cAcc/cIoU 与 iErr/eErr。
技术新颖性
新颖性有四层。第一，把 anti-aliasing 滤波从 shift-equivariant CNN 推广到任意紧李群 (Remark in Sec. 4.1)，首次给出'bandlimited → 群不变'的完整证明。第二，提出 relative soft equivariance (Def. 1) 与显式界 $\eta_b = b\sqrt{n_G}\,r_G+\epsilon_G$，是首个对'任意'架构都成立的等变误差界。第三，给出 Schur 投影 (Eq. 20)，比 SVD 节省约三个数量级时间 (Tab. 6 中 $14\times14$ 输入从 $8.9\times10^2$s 降到 $2.5\times10^{-1}$s)，复杂度由 $O((d\cdot d')^3)$ 降到 $O(\max(d,d')^3)$。第四，引入 forward-difference operator $\Delta_s$ (Sec. 4.2, Lemma 2) 把方法推广到有限离散群，给出 $f(g)-\hat f(g)\le 2h\,d_S(e,g)$ 的离散泰勒余项界。
实验结果
逐项分析：(1) MNIST 可调软度 (Fig. 2)：$\tilde G_1$ 与 $\tilde G_2$ 上 Ours cAcc 全程高于 RPP，iErr 全程低于 RPP；softness=0.8 时 iErr 约 0.5 vs RPP 接近 1.5。(2) CIFAR-10/100 (Tab. 1)：3 backbone × 2 数据集 Ours 全部最佳；CIFAR-10 ViT cAcc 97.24 vs Base 97.20、iErr 7.02 vs 7.21；Canon. 牺牲 4.56%~5.21% Acc。(3) ImageNet (Tab. 2)：ViT-B/16 81.67→82.28 (+0.61)、aAcc 77.29→80.56 (+3.27)、iErr 0.36→0.15；DINOv2 cAcc 83.52→84.87。(4) PASCAL VOC (Tab. 4)：ViT mIoU 73.40→74.78、eErr 12.31→11.12。(5) 轨迹预测 (Tab. 5)：5 ETH/UCY 场景 4 个最低 cADE。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageNet-1k 图像分类 | cAcc (Acc·aAcc)^0.5 | ViT 81.40 / DINOv2 84.87 / ResNet-50 76.72 | ViT 79.40 / DINOv2 83.52 / ResNet-50 76.48 (Base) | +2.00 / +1.35 / +0.24 cAcc，同时 iErr 分别降低 0.21、0.08、0.13 (×10⁻²) |
| CIFAR-10 分类 | cAcc | ViT 97.24 / DINOv2 98.12 / ResNet-50 93.91 | ViT 97.20 / DINOv2 98.04 / ResNet-50 93.70 (Base) | +0.04 / +0.08 / +0.21 cAcc，iErr (×10⁻²) 由 7.21/8.16/27.29 降到 7.02/7.03/24.20 |
| CIFAR-100 分类 | cAcc | ViT 85.36 / DINOv2 88.90 / ResNet-50 78.66 | ViT 85.22 / DINOv2 88.22 / ResNet-50 78.28 (Base) | +0.14 / +0.68 / +0.38 cAcc，iErr (×10⁻²) 由 23.81/43.02/59.36 降到 23.80/35.17/58.50 |
| PASCAL VOC 语义分割 | mIoU / cIoU | ViT mIoU 74.78 / SegFormer mIoU 66.34 / DINOv2 mIoU 89.48 | ViT 73.40 / SegFormer 65.34 / DINOv2 89.57 (Base) | ViT +1.38 mIoU、+1.45 cIoU、eErr 12.31→11.12；SegFormer +0.99 mIoU、+1.18 cIoU；DINOv2 mIoU 微跌 0.09 但 eErr 由 4.06 降到 3.70 |
| 行人轨迹预测 (ETH/UCY 5 场景均值) | cADE / cFDE | ETH 4.58/6.23、UNIV 7.85/8.07、ZARA1 3.40/4.67、ZARA2 2.91/3.60、HOTEL 5.69/6.26 | ETH 4.73/6.15、UNIV 7.91/8.16、ZARA1 3.61/4.68、ZARA2 3.17/3.79、HOTEL 5.84/6.67 (Base)；EqAuto eErr 全 0 但 cADE 整体偏高 | 5 场景 cADE 改善 0.04~0.26，eErr 普遍低于 Base (例 ZARA1 1.14→0.39, HOTEL 2.50→0.41) |
| 合成 O(5) 不变回归 | Relative MSE (×10⁻¹) | γ=0.3: 0.72；γ=0.4: 0.74；γ=0.5: 0.81 | EMLP-RPP γ=0.3/0.4/0.5: 0.79/0.81/0.84 | 分别比最强基线再降 0.07、0.07、0.03 MSE |
局限与改进
作者在文中坦诚了一些不足，加上读者观察可总结为四点。第一，softness 选取对预训练模型很敏感：当 SegFormer 的 softness<0.6 时 (Fig. 8a) 性能骤降，作者不得不把搜索范围限制到 0.7~1.0 (Fig. 8b)，意味着对每个 backbone 仍需调 $b$。第二，cut-off 是硬阈值会引入抖动，作者提出 smooth cut-off (Eq. 55/56) 后虽在 PASCAL VOC 上提升 (mIoU 73.92→74.78)，但收敛性、可微性细节讨论有限。第三，全等变模式 (Tab. 10) 会严重退化：CIFAR-10 ResNet-50 cAcc 由 95.05 跌到 73.21，Pascal VOC cIoU 由 63.67 跌到 29.20，说明完全截断的策略仍过于激进。第四，仅在 2D 旋转 + 离散反射 + O(5) 合成数据上做了验证，没有在 3D 点云、SO(3)、SE(3) 等更复杂群上验证；离散群部分只覆盖 cyclic 类型的 cyclic rotation，需要更多实验支撑。
独立分析的弱点
独立分析 5 个弱点。弱点 1：$b$ 依赖验证集扫描，无 closed-form 准则；改进是把 $\eta_b$ 界与泛化误差挂钩并用 BO 自动搜索。弱点 2：投影算子是常数，无法随输入分布自适应；可改为 instance-dependent 投影，由小网络根据输入统计量预测 $b$。弱点 3：仅支持紧连通李群与有限离散群，未覆盖非紧群 (Lorentz)；非 normal 表示下 Schur 只能给近似且无界；引入 Jordan 分解是可行方向。弱点 4：ImageNet 只 fine-tune 15 epochs，相比主流 90~300 epoch 训练欠拟合风险高；建议配合 ViT-L/DINOv2-Large 延长训练。弱点 5：消融只比了 Wang et al. [67] 的 2/3/4 filter-bank，与 [23, 26, 54, 70] 缺 head-to-head；应在统一 benchmark 上加入对比。
未来方向
基于成果可延伸 6 个方向：(1) 把 Schur 投影推广到非 normal 表示与非紧群，处理 SO(3)、SE(3) 与缩放-旋转联合群；(2) 把连续 softness 引入 diffusion model 潜空间 (类似 [78] 的 alias-free latent diffusion)，提升生成模型的旋转一致性；(3) 与自监督结合，让 DINOv3 / SigLIP 天然具备软等变性，提升 ImageNet-C/R 鲁棒性；(4) 拓展到 RL / robotic manipulation，处理物理对称性近似成立的 contact-rich 任务；(5) 与 neural ODE / neural operator 耦合 ([64])，对 PDE 解算子施加软旋转对称；(6) 离散群部分拓展到 permutation × reflection 乘积，为图神经网络提供带保证的近似对称性。
复现评估
代码：作者声明开源在 https://github.com/ashiq24/soft-equivariance，附录 G 给出 CLI 级别训练细节。数据：全部公开——MNIST、CIFAR-10/100、ImageNet-1k、PASCAL VOC 2012、ETH/UCY、合成 O(5)，无需额外标注。算力：ImageNet 微调用 1 张 GPU + batch 128 + 15 epochs；CIFAR 用 30 epochs + 224×224 输入，按 timm 脚本运行；总体门槛与常规 ViT 微调相当，单卡 24GB 显存可启动。难度：中等偏易。关键点：(a) 离线 SVD/Schur 必须一次实现正确，文中给出 4×4 案例 (Eq. 59-63)；(b) 替换 timm 的 q/k/v_proj/MLP 与 patch_embed 时保持 token 维度一致；(c) $b$ 需对每个 backbone 网格搜索。普通研究者可在 1~2 周内复现 ImageNet 主结果。
论文图表
