测量对称性-数据交换率

在控制Cn对称任务上测量等变架构用结构先验换取数据的汇率

前置知识

群等变

群等变是指神经网络对输入的某些变换具有不变性或等变性。具体来说，如果输入x通过群G中的元素g变换后，网络的输出也按照某种规则变换。在卷积网络中，平移等变性意味着平移输入图像会导致特征图以相同方式平移。等变架构通过权重共享或轨道池化等机制强制网络保持这种对称性，无需从数据中学习。在本文中，等变模型通过构造Cn旋转轨道并对n个旋转副本的输出求平均来强制旋转对称性，这等价于在函数空间上施加不变性约束。

本文研究的核心就是等变架构如何减少样本复杂度，理解等变性的定义和实现机制是理解论文的前提。论文中比较的等变模型和增强模型的区别就在于：前者在架构上强制等变性（轨道池化），后者仅通过数据增强鼓励等变性。

样本复杂度

样本复杂度是指学习算法达到给定性能目标所需的训练样本数量。在PAC学习框架中，样本复杂度通常表示为关于误差、置信度和假设类复杂度的函数。对于深度学习，样本复杂度更难严格分析，但可以用经验方法测量：固定目标精度T，找到最小训练集大小N使得模型在足够多个随机种子下能达到T。本文定义Ntarget为使至少3/5个种子达到0.80验证精度的最小训练集大小，并研究Ntarget随群阶的变化规律。

本文的核心贡献就是测量等变架构的样本复杂度缩放律，验证理论预测的|G|倍减少是否成立。理解样本复杂度的概念和如何经验测量它是理解本文方法论的基础。

轨道和轨道池化

在群作用理论中，一个元素x的轨道是群G作用于x产生的所有元素的集合。轨道池化是一种强制等变性的技术：对输入x，先计算其轨道中所有元素（例如所有旋转副本）的网络输出，然后对这些输出进行聚合（如平均）。如果函数在轨道上不变，轨道池化会得到相同的标量输出；如果是等变，会得到等变的特征表示。本文中等变模型对输入x构造n个旋转副本，通过共享MLP处理每个副本，然后对输出logits求平均。这种操作没有可学习参数，但强制了Cn不变性。

轨道池化是本文等变模型的核心机制，也是错误群控制和增强模型的关键区别。理解轨道池化如何工作，以及它与训练时数据增强、测试时轨道平均的关系，对理解论文结果至关重要。

Bootstrap置信区间

Bootstrap是一种非参数统计推断方法，通过从原始数据中有放回地重采样来估计统计量的分布。给定原始数据集，进行B次重采样（如B=10000），每次计算感兴趣的统计量（如斜率），得到B个bootstrap统计量。95%置信区间可以通过这些bootstrap统计量的2.5%和97.5%分位数得到。本文还使用了更复杂的变体：成对bootstrap用于比较两个模型的斜率差异，两层次bootstrap同时重采样种子和群大小。Bootstrap不假设数据分布，适用于本文这种样本量小、分布未知的场景。

本文的所有统计推断都基于bootstrap方法，理解bootstrap的原理和不同变体的区别和意义，是正确解读论文结果中置信区间和统计显著性判断的基础。

研究动机

等变理论预测具有对称性先验的架构可以将样本复杂度降低约|G|倍，这个预测被广泛引用但很少在严格控制下测量为缩放律。现有实证研究通常固定样本大小报告准确率差距，或固定准确率报告单点效率比，很少追踪样本复杂度如何随|G|变化的缩放律，且缺乏将结构先验与伴随的混淆因素分离的控制实验。权重共享降低有效容量，轨道池化可解读为隐式数据增强，任何架构约束都有正则化效果。不分离这些混淆的测量无法区分正确的对称性有帮助和这个强度的约束有帮助。例如，如果一个等变模型表现更好，是因为对称性对齐，还是因为轨道池化减少了参数，还是因为类似数据增强的效果？没有恰当控制，无法回答。

本文的目标是本文的具体目标是在一个对称群已知且阶数n可自由调节的任务上，设计严格控制的实验来测量等变架构的样本复杂度缩放律，验证理论预测的|G|倍减少是否成立，并量化其交换率——即用多少结构先验可以换取多少数据效率。核心测量指标是相对交换率βdiff，定义为基线模型斜率减去处理模型斜率。如果理论预测成立，βdiff应该接近1.0，即当群阶n翻倍时所需样本减半。次要目标是区分对齐与约束：错群控制（相同轨道大小但不对齐）是否仍然有帮助？同时测试数据增强与架构等变的等价性。

与已有工作不同的是，本文的独特切入角度是方法论创新，不是简单地比较等变模型和vanilla模型的准确率差距，而是系统地测量样本复杂度的缩放律，并引入一系列精心设计的控制实验来分离混淆因素。与现有工作相比，本文的三个关键方法论贡献是：相对交换率估计器，通过取斜率差值抵消共享的任务难度混淆项；错群控制，保持轨道大小、计算量、有效自由度完全相同，只改变对齐方式，从而分离对齐与约束；预先指定的失效分类学，在分析前就明确什么结果算作反对假设的证据，避免事后合理化。这种严格控制的测量方法可以迁移到任何强度可参数化的归纳偏置。

核心方法

方法的整体思路是构造一个对称性已知且可调节的合成任务，预先指定模型族和分析协议，然后系统测量不同架构的样本复杂度随群阶的变化，最后通过相对交换率估计器量化结构先验换取数据的效率。直觉上，如果任务有n阶对称性，等变模型可以通过轨道平均将n个等效样本的信息压缩到一个，理论上应该需要n倍更少的样本。但实际测量面临困难：任务本身难度随n增加，所有模型的绝对斜率都是正的。解决方案是测量相对交换率：比较等变模型和基线模型的斜率差，这抵消了共享的任务难度项。技术路线上，首先构造Cn对称的花瓣任务，标签为1[cos(nθ) > 0]，n可调。然后定义五个模型族：等变模型、错群控制、增强模型、vanilla基线、正则化基线，每个控制排除一种备选解释。对于每个组合，在训练集大小网格上训练，找到达到目标精度0.80的最小Ntarget。最后拟合log2 Ntarget对log2 n的线性关系，计算相对斜率βdiff。

核心创新点是相对交换率估计器和错群控制。相对交换率估计器解决了一个关键识别问题：朴素预测log2 Ntarget的斜率约等于-1无法识别，因为任务难度随n增长，所有模型的绝对斜率都是正的。理论真正预测的是相对交换率βdiff等于基线斜率减去处理斜率约等于+1，即等变模型比基线模型少需要约n倍样本。如果处理需要特定数量样本，基线需要另一数量样本，共享难度指数在比值中抵消，log比值的斜率恰好为+1。错群控制的创新在于：它使用完全相同的轨道池化架构，相同的轨道大小，相同的计算量，唯一的区别是旋转角度错误地对齐。这分离了约束强度与对齐正确性：如果错群控制仍然有帮助，说明任何轨道池化都有用；如果错群控制比无约束更差，说明对齐正确性才是关键。

方法步骤详情

方法步骤的完整描述如下。第一步，任务构造：从环形区域均匀采样输入，清洁标签为1[cos(nθ) > 0]，施加5%伯努利标签噪声。群阶n是自由参数。对称性破坏ε替换训练标签为非对称参考。第二步，模型族定义：五个族共享相同基础架构，隐藏宽度32，两层ReLU，约1185参数。等变模型对n个旋转副本应用共享MLP后平均输出。错群控制使用相同架构但旋转角度错位0.7倍周期。增强模型训练时看到n个旋转副本并平均损失，测试时单输入前向传播。vanilla是参数不少于等变模型的标准网络。正则化是vanilla加L2权重衰减。第三步，样本复杂度测量：对每个单元，训练集大小从50到6400，使用Adam优化器，学习率0.001，批大小64，最多500个epoch。定义Ntarget为使至少3/5个种子达到验证精度至少0.80的最小训练集大小。第四步，缩放律拟合：对log2 Ntarget对log2 n拟合线性模型，计算相对交换率。第五步，统计推断：使用10000次非参数成对bootstrap估计斜率和置信区间，95%置信区间用经验百分位边界。

技术新颖性

技术新颖性体现在三个方面。第一个方面是识别问题的数学解决方案。朴素预测|G|倍样本减少在实际测量中无法识别，因为任务难度随|G|增长。本文引入相对交换率估计器，通过取斜率差值数学上抵消共享的任务难度项，使理论预测变得可测试。这个估计器不是搜索多个估计器得到有利结果的结果选择，而是理论预测直接翻译到相对斜率。第二个方面是错群控制的实验设计。本文不是简单比较等变与vanilla，而是设计一个精心控制的对立面：相同架构类、相同计算量、相同轨道大小、相同有效自由度，只改变对齐方式。这允许分离正确对齐的约束有帮助与任何这个强度的约束都有用这两个假设。第三个方面是预先指定的失效分类学。在分析前就明确定义了五种失效模式，并设定βdiff匹配理论的标准。这种预先指定将定性的结果符合预期转化为可证伪的分类。

**Figure 1**: The task and the control idea. (a) Inputs are sampled on an annulus and labeled 1[cos(nθ) > 0] for n ∈ {1, 2, 3, 4, 6, 8, 12}, an alternating angular pattern whose symmetry group is exactly Cn by construction; the number of positive lobes is n, while the full alternating pattern has 2n angular sectors. (b) The equivariant model averages a point over its correct Cn orbit; the wrong-group control averages over an orbit of equal size at a misaligned period.

实验结果

核心发现有三个，每个都带具体数字和实验指标。第一，相对交换率βdiff等于+1.28，与理论预测1.0在符号和数量级上一致。单层次95%百分位bootstrap置信区间为+0.92到+2.05，排除零；更保守的两层次bootstrap区间为-0.63到+1.72，包含零。在群阶等于12时，等变模型用400样本达到目标，vanilla需要6400样本，比例16倍，与理论群阶12同数量级，该单网格点比理论高约33%。所有模型的绝对斜率都是正的，因为任务随群阶变难，这解释了为什么相对斜率是必要的。第二，错群控制比无约束更差。等变与错群的斜率差为+1.97，联合成对置信区间+0.79到+3.26排除零，在所有估计器上稳健。错群自身的相对率为-0.77，负号表明错位约束是主动有害而非无用。第三，仅训练时的轨道增强无法达到目标。增强模型在群阶大于等于3时对每个样本大小和每个对称性破坏水平都未达到0.80目标，而等变模型在群阶12时用400样本成功。但在CPU复现中发现，加上测试时轨道平均的增强模型与等变模型在每个群阶处完全相同。

**Table 1**: Relative exchange rate βdiff per treatment at ε = 0, with two intervals. The two-level bootstrap (seeds × group sizes; Section E) is the principled interval and is listed first; it propagates within-cell seed variance into the slope CI. The single-level percentile bootstrap (group sizes only) treats per-cell Ntarget as fixed and understates uncertainty.

**Table 2**: Joint pairwise bootstrap of the slope difference between the equivariant model and each control at ε = 0 (10,000 resamples, shared across the paired estimates). All three intervals exclude zero; the equivariant–wrong-group difference is significant even though the two marginal intervals in Table 1 overlap, because the paired bootstrap cancels shared variance.

**Table 3**: Per-n Ntarget at T = 0.80 for the three families that test the augmentation question (CPU replication). The equivariant and augmented + TTA columns are identical at every n (bit-identical per-epoch trajectories across all matched cells); the augmented column fails for n ≥3.

**Table 6**: Ntarget at ε = 0 (minimum N for which ≥3/5 seeds reach 0.80). A dash denotes failure at every N in the grid. This table is the primary input to the robustness diagnostics of Table 5.

**Table 7**: βdiff (vs vanilla) by treatment and threshold T on the CPU replication. 10,000-sample percentile bootstrap CIs.

**Figure 2**: The measured exchange rate. Relative exchange rate βdiff (slope of log2(Ntarget/Nvanilla_targettreatment) against log2 n) for each treatment at ε = 0, with 95% confidence intervals from a 10,000-sample pairs bootstrap; the dashed line marks the theoretical prediction of +1.0.

**Figure 3**: The scaling law the rate comes from. log2 Ntarget against log2 n at ε = 0 for all five families, with ordinary-least-squares fits. All absolute slopes are positive because task difficulty grows with n; the equivariant slope is the shallowest.

**Figure 4**: The augmentation phase transition. log2 Ntarget for each (model, n) pair, one panel per ε; a dash marks failure to reach the target at any sample size in the grid.

**Figure 5**: Robustness to training-label symmetry breaking. Relative exchange rate βdiff against the symmetry-breaking fraction ε for the three non-baseline treatments, with 95% bootstrap intervals; the dotted line is the pre-specified 50%-of-clean threshold.

查看结构化数据

任务	指标	本文	基线	提升
Cn花瓣分类任务（对称性破坏为0，目标精度0.80）	相对交换率βdiff（log2样本比的斜率）	+1.28，两层次置信区间为-0.63到+1.72	理论预测+1.0	符号和数量级一致，区间包含理论值但不确定度约正负2倍
等变 vs 错群控制（对称性破坏为0）	斜率差值	+1.97，置信区间+0.79到+3.26	0（无差异）	显著优于错群控制，置信区间排除零
等变 vs 增强模型（群阶12，对称性破坏为0）	最小训练样本Ntarget	400样本达到0.80目标	增强模型在所有样本大小下未达到目标	相变：等变可学习，增强模型不可学习
对称性破坏稳健性	βdiff保留率	对称性破坏0.2时保留93.4%，对称性破坏0.3时保留97.2%	预先指定阈值：大于等于50%为通过	远超阈值，结构优势在30%标签破坏下几乎完整保留

局限与改进

局限性包括作者承认的和独立观察的。第一个局限是合成二维完全对称任务，缺乏生态效度。任务是二维合成问题，标签函数精确Cn对称，选择这个任务是为了最大化因果识别性而非生态现实性。它遗漏的现实维度包括近似和潜在对称性、异构变换结构、真实世界噪声变化，正是清洁测量必须排除以将效应归因于对齐的维度，也是外部效度后续研究必须恢复的。作者不声称汇率迁移到视觉、语言或分子任务；结果的价值是在预测明确的设定中的校准测量，加上即使数值不迁移也可迁移的方法论。第二个局限是优势在数据和参数上，不在计算上。等变模型参数高效，但每样本执行n次前向传播，每样本FLOPs是基线的n倍；因为它需要约n倍更少样本，到达目标的总训练FLOPs大致相等。结构将数据预算转换为计算预算，在数据受限时有利，在计算或内存受限时中性到不利。第三个局限是样本效率vs优化效率未分离。结果捆绑了两个机制：更小的有效假设类和可能更易优化的景观，控制排除了通用约束引起的平滑，但正确对齐的结构仍可通过任一通道起作用。

独立分析的弱点

独立分析的弱点包括有限群规模网格的量化效应。训练集大小网格是2的倍数，这给Ntarget施加了量化：每个群阶的log比值在每个群阶处被迫取整数值。普通最小二乘斜率在这些整数上保持连续，但其精度受输入离散性限制，部分明显的与理论一致反映1.0对应群阶翻倍恰好一个网格步，网格能表达的最小非零率。这是一个数量级框架比精确数值主张更可辩护的原因，而非隐藏缺陷：更细网格是自然改进，留给注册复现。目标精度的敏感性未充分探索。目标精度是预先指定的，标题分析未保留每运行验证曲线，所以对目标精度的敏感性在标题分析中未测试。CPU复现保留每单元每epoch验证曲线，重新推导不同目标精度的Ntarget，发现在每个定义斜率的目标精度处率为正，但随目标精度从0.70升至0.85而下降，在目标精度0.80和0.85时单层次置信区间包含零。拟合窗口敏感性。斜率对拟合窗口敏感：排除饱和小群阶区间升至约1.79，群阶大于等于4给约1.18。群阶1时循环群是平凡群，轨道池化单元素是恒等变换，群阶1等变模型数学上与vanilla相同；群阶2时任务异常简单，所有模型在相同训练集大小达到目标，log比值再次为零。它们锚定曲线平坦低端，是否将它们视为信息性或饱和区间要删除是建模选择。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的。注册确认复现是论文明确的最自然下一步，这是这项探索性研究无法为自己做出的确认性移动：在新种子上的外部注册复现，预先指定相对率估计器，在更细训练集大小网格上，并包括测试时平均增强基线作为主要比较。这会消除事后分析选择和网格量化的担忧。不同对称域的泛化是另一个重要方向。作者已注册新种子上的确认复现，并识别模运算为下一个对称域，以确定汇率是常数还是任务依赖量。模运算任务将测试方法在完全不同对称类型上的可迁移性。近似、部分、潜在或学习对称性是主要外部效度前沿。在原则上框架通过使汇率成为失配参数函数来推广到近似对称；对称性破坏扫描是这个想法的有限实例，虽然它破坏训练标签而非任务几何，这是比真正对称破坏参数更弱的几何近似测试。汇率与悬崖的下降本身将是测量。更难的情况是模型必须发现的对称性，群作用未给定；那里汇率将与群恢复有多好一起读取，分离发现错误结构与低效发现正确结构是开放问题。

复现评估

复现评估方面，论文提供了高度可复现的artifact。所有代码、设计文档、配置哈希、每运行记录和分析管道已发布。完整实验在单个GPU上约90分钟复现，第一次未优化运行需约5小时48分钟，关闭差距的优化在artifact中记录但非科学主张的一部分。运行器可恢复并在启动时验证配置哈希。原始单元中约5个在持久层添加前因崩溃丢失；后续阶段完成大量运行零丢失单元，第一阶段重新运行到完成。测试套件约158测试覆盖率86%。开源情况良好：GitHub仓库提供完整实现，使用Python和PyTorch，scikit-learn用于线性探针对抗检查，scikit-dimension用于本征维估计器。数据是合成任务，无需外部数据集下载。算力需求适中：单GPU约90分钟或单CPU更长但可行。难度较低：运行依赖同步后运行实验脚本即可。配置哈希建立发布配置与数据匹配，但未建立配置先于数据收集，外部注册是确认性主张要求标准，作者未满足。这是探索性而非确认性研究。

测量对称性-数据交换率 Measuring the Symmetry--Data Exchange Rate