多样化字典学习 Diverse Dictionary Learning
在非线性潜变量模型下，仅靠依赖结构稀疏性就能可识别地恢复潜变量的集合交、并、对称差，乃至全部因子。
前置知识
字典学习 (Dictionary Learning)
假设观测 X 由潜变量 Z 经未知函数 g 生成，即 $X = g(Z)$，目标是仅从 X 反推 Z 和 g。它是非参数 ICA、因子分析、稀疏编码的统一表达。在线性情形下即 $X = DZ$，经典算法有 K-SVD 等。
本文所提的"多样化字典学习"正是这个一般框架的非线性推广，所有可识别性结论都要建在 $X = g(Z)$ 这个设定之上。
可识别性 (Identifiability)
指在观测分布相同的条件下，潜变量恢复是否唯一（至置换或元素级函数）。在非线性 $g$ 未知时仅有观测数据通常无法保证可识别性，需要额外假设如 $g$ 函数族约束、辅助变量、干预数据等。
全文的出发点就是"在最弱的合理假设下仍有什么可以被识别"——这是论文与线性 ICA、SAE 等"强假设换强可识别"路线的根本区别。
Jacobian 依赖结构
对生成函数 $g$ 取 Jacobian $D_Z g(z) \in \mathbb{R}^{d_x \times d_z}$，其支撑集 $S = \mathrm{supp}(D_Z g; Z)$ 描述了哪些潜变量对哪些观测有"功能性影响"。这是非参数条件独立性的核心，与统计独立不同。
依赖结构是本文整套集合论可识别性、对称差分解以及归纳偏置所在的对象，是连接理论结论与 Jacobian 稀疏正则化的桥梁。
稀疏自编码器 (SAE) 与 Jacobian 稀疏
SAE 用线性字典学习在 LLM 上找可解释特征，对潜变量加 $\ell_1$ 稀疏；Jacobian 稀疏则不稀疏潜变量 $Z$，而是稀疏生成映射的 Jacobian $D_Z g$，让每个潜变量只影响少数观测通道。
作者用 Jacobian 稀疏替代潜变量稀疏正好对应本文定理所需归纳偏置，且在 LLM 机制解释领域有直接的工程意义。
Sufficient Nonlinearity / Sufficient Diversity 假设
前者要求每个观测的 Jacobian 在若干采样点上张成其支撑子空间，类似 faithfulness；后者要求 Venn 图中每个潜变量能由若干观测变量唯一"归属"到某个原子区，是从集合论可识别升级到元素级可识别的结构性充分条件。
这两个假设分别支撑 Thm 1 与 Thm 3：没有 sufficient diversity 时只能恢复"集合语义"，有了才能逐变量恢复。
研究动机
在 $X = g(Z)$ 这类通用潜变量模型中，当 $g$ 未知、$Z$ 也没有时间、环境或干预等附加信号时，恢复每个潜变量在理论上是不适定的。现有研究普遍靠两条强假设来化解：一是把 $g$ 限制为线性（典型如 Olshausen-Field 稀疏编码、K-SVD、Anthropic 的稀疏自编码器 SAE），但这无法刻画 LLM 内部真实强非线性结构；另一类是引入辅助信息，比如 nonlinear ICA 中用时间索引、环境标签做对比学习，或者因果表征学习中用干预与反事实数据。这些假设在实际任务中极难验证或获取，一旦被违反，原本的可识别性结论就全部失效。比如 Locatello 等人 2019 年的大规模实证就显示，无监督非线性 ICA 在合成数据上几乎只能拟合分布而无法恢复潜变量。
本文的目标是论文要回答两个通用场景下的「行动级可识别」问题。第一，在没有强假设的最小设定下，潜变量过程中的哪些部分仍能被严格保证地恢复；第二，估计算法应当引入什么样的归纳偏置，让这种恢复尽可能可靠且通用。具体目标有三层：(i) 给出 set-theoretic 层可识别性的严格定义与定理，即任意两组观测对应的 latent index set 的交、并、对称差、补在 permutation 意义下不可纠缠；(ii) 给出 dependency structure（Jacobian 支撑集）本身的可识别性陈述（Thm 2），它在 Thm 1 之上自然成立；(iii) 把 Thm 1 升级为元素级可识别，只需额外加一组足够弱的结构条件 sufficient diversity（Assum. 2）。形式上，整套理论估计端只施加 Jacobian 稀疏正则 $\|D_Z \hat g\|_0 \le \|D_Z g\|_0$，把现有 linear-ICA、SAE、nonlinear ICA、causal representation learning 等强假设路线统一到一条更弱的归纳偏置上。
与已有工作不同的是，已有工作几乎都把目标定为"恢复所有潜变量"，因此必须用干预、辅助时间索引或函数族约束来填补不适定性。作者的差异化视角是——可识别性不必是"全有或全无"，可以退到"集合层"：先用 set-theoretic operations（交、并、对称差）刻画"在弱条件下仍可拆开的最粗粒度结构"；当这种结构够丰富时，再自动升级到元素级可识别。这套思路把稀疏性、锚点假设、structural sparsity 等多种已有条件统一为更一般的"sufficient diversity"，并且把归纳偏置收敛到一个简单的 Jacobian 稀疏正则——任何能算 Jacobian 的可微模型都可以直接用。
核心方法
直觉上，可以把潜变量想象成一组「语义原子」，每个观测变量只由其中若干原子生成。论文关心的是：当所有函数都未知时，哪些「原子组」的归属关系仍然可以从观测数据里唯一反推。技术上，作者定义 Def. 4 的 latent index set $I_S$——把每个观测变量映射到「生成它所需的潜变量下标集」，通过 Jacobian $D_Z g$ 的支撑集实现可观测化。接着 Def. 5 给出 set-theoretic indeterminacy：对任意两组观测 $X_K, X_V$，其对应 $I_K, I_V$ 的交集、并集、对称差、补集之间都不会发生纠缠。这一约束对估计算法的唯一要求是 $\|D_Z \hat g\|_0 \le \|D_Z g\|_0$——也就是对生成映射的 Jacobian 加 $\ell_0$（近似 $\ell_1$）稀疏正则。当潜变量的集合归属足够多样化时（Assum. 2），set-theoretic 结论自动升格为元素级可识别（Thm 3）。因此，整套理论只靠「Jacobian 稀疏」这一个归纳偏置，就给出了从「部分可识别」到「完全可识别」的无缝桥梁。
核心创新是把「可识别性」从「逐变量唯一性」降到「集合论上的不可纠缠性」。作者没有继续证明 $\hat Z = P_\pi \phi(Z)$ 这种元素级结论，而是证明 latent index set 的交、并、对称差、补在任意函数 $g$ 下都不会被错对——即「哪些潜变量负责哪些观测」这一关系图在 permutation 意义下可识别。这种局部化更弱但更稳：它既不要求 $g$ 线性，也不要求干预或多视图，并且在统计分布与函数族假设缺失时仍能给出保证。最接近的已有工作是 von Kügelgen 等的 block-identifiability 与 Yao 等 2024b 的 identifiability algebra，但前者必须有多个 domain/view，后者先用多视图恢复组再求交集；本文设定更弱（完全没有多视图/干预），却仍能直接谈 intersection、complement、symmetric difference 的可识别性。第二个本质区别是归纳偏置选择：SAE 选的是稀疏 $Z$，本文选的是稀疏 $D_Z g$，并由 Theorem 1 给出保证。
方法步骤详情
方法分两步。先构造集合论框架：给定观察子集 $X_K, X_V$，Def. 4 定义 latent index set $I_S = \{i : \partial X_S/\partial Z_i \not\equiv 0\}$；Def. 5 给出三组不可纠缠条件，对并、交、对称差、补封闭。再证三定理：Thm 1 只需 Jacobian 稀疏正则 $\|D_Z \hat g\|_0 \le \|D_Z g\|_0$、$Z$ 密度正定、加 Assum. 1即保 set-theoretic indeterminacy；Thm 2 permutation 下识别 dependency structure；Thm 3 加 Assum. 2 即升 element-wise。算法上把 Jacobian 稀疏作为正则加进 ELBO：$\mathcal{L} = \mathbb{E}_{q(Z\mid X)}[\ln p(X\mid Z)] - \beta D_{KL}(q(Z\mid X)\|p(Z)) + \alpha \|D_\hat Z \hat g\|_0$。
技术新颖性
技术上共有三处新颖性。第一，构造了 set-theoretic indeterminacy 这一全新可识别性对象，比 block-identifiability 更细、所需假设更弱，且具备代数闭包：基本操作的并、交、对称差仍落在该类内。第二，提出 sufficient diversity 这一最弱结构条件：当图中存在足以让每个潜变量"独占一个 Venn 原子区"的差异时即可识别，并证明它推出并推广了 Zheng 等 2022 的 structural sparsity 条件。第三，把归纳偏置统一为 Jacobian 稀疏正则——以往稀疏字典学习和 SAE 把稀疏性加在 $Z$ 上，本文把它放在生成映射上，既对应本文的可识别性定理，又直接对接近期 Jacobian Sparse Autoencoder (Farnik et al., 2025) 与 mechanistic interpretability 的工程实践。
实验结果
合成与视觉实验均支撑理论。合成实验 VAE + Jacobian 稀疏正则（$\alpha=\beta=0.05$，10,000 样本，{3,4,5} 维潜变量）：图 4 显 set-theoretic 各纠缠对 $R^2$ 远低于完全纠缠参考线 Ref；图 5 显 Ours MCC ≈ 0.83，Base ≈ 0.38。视觉实验比 FactorVAE/DisCo/EncDiff 三主干（表 1）：EncDiff+Dependency 在 Shapes3D 把 DCI 从 0.901 提到 0.947；FactorVAE+Dependency 把 Cars3D FactorVAE 分数从 0.708 提到 0.752、MPI3D DCI 从 0.345 提到 0.384。表 4 显 Jacobian 稀疏在 $d\in\{3,4,5\}$ 上 MCC 全胜 OroJAR 与 Hessian Penalty（0.83/0.84/0.80），$d=5$ 领先 OroJAR 约 0.29。表 3 显 GPT2-Small 上 JSAE 死特征仅 62 个，Top-K SAE 为 439。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Shapes3D 视觉解纠缠 | FactorVAE 分数 | EncDiff+Dependency Sparsity: 1.0000±0.0000 | EncDiff 原版: 0.9999±0.0001 | +0.0001（接近饱和但更稳） |
| Shapes3D 视觉解纠缠 | DCI | EncDiff+Dependency Sparsity: 0.947±0.005 | EncDiff 原版: 0.901±0.050 | +0.046（差距最大档） |
| Cars3D 视觉解纠缠 | FactorVAE 分数 | FactorVAE+Dependency Sparsity: 0.752±0.040 | FactorVAE 原版: 0.708±0.026 | +0.044 |
| MPI3D 视觉解纠缠 | DCI | FactorVAE+Dependency Sparsity: 0.384±0.031 | FactorVAE 原版: 0.345±0.047 | +0.039 |
| 合成 5 维潜变量恢复 | MCC | Dependency Sparsity: 0.8048±0.0080 | OroJAR: 0.5119±0.1482 | +0.293，且 std 大幅降低 |
| GPT2-Small 机制解释 | 死特征数 | JSAE: 62 | Top-K SAE: 439 | 降低约 85.9%；Batch Top-K: 207（降低 70%） |
局限与改进
作者明确给出三点局限：第一，整套理论建立在 $g$ 可逆且为 $C^2$ 微分同胚之上，丧失可逆性或加入通用噪声需要 Hu-Schennach (2008) 类更强条件，目前不支持完全一般的非可逆或非加性噪声情形。第二，sufficient diversity 仅是充分条件，作者猜想它近乎必要但未证明，结构高度对称时只能拿到 set-theoretic 层而非 element-wise 层。第三，依赖稀疏正则对大模型有额外计算开销，附录虽给出 active-latent 切片和闭式 Jacobian 两个工程策略，但训练时间仍约为标准 latent-sparsity 的两倍（Farnik 等 2025 报告）。作者自己的观察还覆盖两点：图 4 仅在 VAE 主干上做，视觉实验只上了稀疏正则，并未对 element identifiability 做对应 set-theoretic 验证；归纳偏置仅作用于估计侧，理论保证隐含模型族 Jacobian 容量足够表示真实稀疏结构，否则仍可偏差。
独立分析的弱点
三个独立弱点可改进。(1) Theorem 1 在 sufficient nonlinearity 违约时未量化恢复退化，建议加 corruption-sweep：逐步去掉若干 Jacobian 行令其不张成支撑，观察 MCC 随违约程度衰减的曲线，给出可识别性鲁棒性的量化描述。(2) Theorem 3 sufficient diversity 用集合覆盖表达，$d_z = 16$ 时穷举原子区不现实，建议补一个可操作判据——例如基于观测子集行随机指纹的统计检验——以估计期近似验证 diversity。(3) set-theoretic indeterminacy 依赖双观测子集 $(X_K, X_V)$，但视觉实验未显式按因子分组；建议在视觉实验里将 Shapes3D 的 wall hue / object color 等已知因子分成 $(X_K, X_V)$，并报告 $I_K \cap I_V$、$I_K \triangle I_V$ 的复原精度，让 set-theoretic 结论落到具体数值上。
未来方向
作者把首要未来工作指向基础模型上的 generalized identifiability：LLM、扩散模型正符合 $X = g(Z)$ 的设定，且 asymptotic 极限下可识别性边界愈发重要。可延展方向至少有四条：(a) 把 sufficient diversity 与结构性因果发现结合，用因果干预作为构造 $(X_K, X_V)$ 的系统化方式，绕开 diversity 难验证问题；(b) 把 sparse Jacobian 正则与 mechanistic interpretability 在 7B–70B LLM 上共训，验证 JSAE 类方法的可识别性收益并对比 weight sparsity；(c) 推广到非加性、非可逆生成过程，结合 Hu-Schennach 类反卷积定理让可识别性在含噪真实数据中落地；(d) 探索 set-theoretic 视角下的多模态对齐——「被多个模态共享的潜变量」天然就是交集，可作为 mis-alignment 的形式化诊断工具，Appx. B.7 已有暗示但未展开。
复现评估
复现门槛分两块。合成实验代码量小，VAE + Jacobian 稀疏正则就是公式 $\mathcal{L}$ 的几行，10,000 样本 MLP、$\alpha=\beta=0.05$、{3,4,5} 维，附录 C 给出完整超参，单张消费级 GPU 数小时可重现。视觉实验涉及 FactorVAE、DisCo、EncDiff 三套公开实现加上 Shapes3D/Cars3D/MPI3D 三标准数据集，技术门槛低但 EncDiff 训练成本高，多卡 GPU 数天。NLP 部分依赖 GPT2-Small 公开权重与 JSAE 官方代码，附录 B.3 给出死特征表 3 的详细对比方案，可直接跑。需注意：Theorem 要求 $\|(D_Z g)_{i,\cdot}\|_0$ 个线性无关采样点，工程实现里往往以 mini-batch 估计，会引入轻微估计偏置，整体可复现性较好。
论文图表
