从通用表征到专用表征：任务相关潜变量表示的可识别性理论

首个非参数框架证明任务结构与任务相关潜变量在无干预、无结构约束的设置下可识别

前置知识

潜变量模型与可识别性 (Latent Variable Model & Identifiability)

潜变量模型假设可观测数据 $o$ 由不可观测的潜变量 $s$ 通过某个生成函数产生，例如 $o = f(s)$。可识别性问的是：在无限数据和算力的极限下，能否从观测分布唯一（至多差一个等价变换）地恢复出真实的潜变量 $s$。如果两个不同的潜变量 $s, \hat{s}$ 通过不同生成函数能产出相同的观测分布，那么仅靠观测就无法区分它们，这就是不可识别情形。

可识别性是任何无监督表示学习的'理论上限'：如果模型本身不可识别，再多数据也无法保证学到正确表征。本文的核心问题就是任务相关潜变量在一般非参数设置下是否可识别。

因果图与 d-分离 (Causal DAG & d-separation)

因果图用有向无环图 (DAG) 表示变量之间的因果关系，节点是变量，边是直接因果作用。d-分离是图上的一种条件独立性判定准则：给定一个集合 $Z$，如果一条路径上所有非碰撞节点都不在 $Z$ 中、且所有碰撞节点或其后代都在 $Z$ 中，则该路径被 $Z$ 阻断。Markov 性质要求图与分布一致，Faithfulness 性质要求分布不引入额外的条件独立。

本文 Theorem 1 证明的关键就是利用任务作为 collider（碰撞节点）$s_t \to a_t \to g_i$ 的结构，在合适的'带状条件集' $Z_{band}$ 下，唯一让两个段 $s_{kL}$ 与 $s_{vL}$ 保持依赖的 d-连接路径就是经过目标任务 $g_i$ 的路径。

条件独立性检验 (Conditional Independence / CI Test)

条件独立性检验判断在给定条件集 $Z$ 时两个变量 $X, Y$ 是否独立，记作 $X \perp\!\!\perp Y \mid Z$。经典做法是检验偏相关、卡方统计量或基于核的方法，高维场景下常用条件互信息 (CMI) 的变分下界 (InfoNCE) 作为代理。

本文把任务结构识别问题完全归约到一组可观测的 CI 检验，Algorithm 1 就是通过枚举所有 (段, 任务) 对并跑 CI 检验来恢复全局任务结构。

稀疏正则化 (Sparsity Regularization)

在损失函数中加入对参数稀疏性的惩罚，如 $\ell_1$ 范数（Lasso）或 $\ell_0$ 范数计数项，鼓励模型只使用最少的输入特征完成任务。数学上即约束 Jacobian 矩阵 $J_u$ 的非零支撑集大小 $\|I(J_u)\|_0$。

Theorem 2 证明：仅靠通用模型的表达力，'学到的'任务相关潜变量只会多不会少 ($\|I(\hat{J}_u)\|_0 \geq \|I(J_u)\|_0$，即 Proposition 2)；必须加入稀疏正则化 $\|I(\hat{J}_u)\|_0 \leq \|I(J_u)\|_0$，才能把任务相关与任务无关的潜变量干净地分开。

研究动机

现代世界模型 (World Model) 的目标是从高维观测 $o_t$ 中提取低维潜变量 $s_t$ 来支撑下游任务，但现有可识别性理论存在两个根本性局限。第一，几乎所有结果都要求干预数据 (interventional)、多视角 (counterfactual)、辅助变量 (auxiliary labels) 或者参数/结构约束 (如线性 ICA、布尔变量、张量分解、$d$-连接准则)，这些假设在现实场景中往往不满足——例如自动驾驶中你无法对其他车辆做受控干预，强化学习中也几乎没有干净的辅助变量。第二，现有理论都追求'全潜变量恢复' (full identifiability)，但实际任务只关心潜变量的一个子集：在机器人抓取中任务只依赖物体位姿和夹爪位置，跟光照和纹理毫无关系。强行恢复全部潜变量既不必要、又会因为模型没有对应约束而把任务相关变量和无关变量混在一起。在路径规划 (planning) 和迁移 (transfer) 中这种纠缠会让决策失效。

本文的目标是本文希望在'完全非参数、仅靠观测数据、不允许干预、没有任何参数/结构约束'的最一般设定下，建立两个层级的可识别性结果：层级一是跨时间步的'任务结构'——即哪些时间步共享哪些任务 $g_i$；层级二是每个时间步内部'任务相关潜变量'与'无关潜变量'的解耦。两个结果合在一起，就把'从通用预训练模型到任务专用模型'这一步给出了第一性原理的 (first-principles) 理论保证。

与已有工作不同的是，本文的独特切入角度是把'任务'显式建模成跨时间步的碰撞节点 (collider) $s_t \to a_t \to g_i$。这种结构抓住了'一个任务内部多个动作相互协调'的本质：如果是 confounder 或 mediator 反而会强制任务内步骤条件独立，与'完成一个任务需要协调多个动作'的常识相悖。围绕这一结构，作者设计了一组被称为'带状条件集' (band conditioning set) 的 CI 检验，只在每个段的边界取状态进行条件化，就能用纯 CI 检验唯一识别任务结构，无需干预、无需参数形式、甚至允许 i.i.d. 或任意断连的序列。然后在每步内部，用 Jacobian 支撑集配合 $\ell_0$ 稀疏正则化，把任务相关潜变量从无关变量里干净剥离出来。

核心方法

论文把问题拆成'先识别任务结构、再识别任务相关潜变量'的两段式框架，整体思路是'先 d-分离、再 Jacobian 支撑'。直觉上：如果你不知道哪些时间步在执行哪个任务，就没办法谈'任务相关'的潜变量——你不知道跟谁相关。所以第一步用纯图论 + CI 检验证明跨步任务结构在没有任何参数假设下可识别；第二步在已知每步关联哪些任务的前提下，利用从潜变量到任务的映射 $g = u(s)$ 的 Jacobian 矩阵支撑集来定位'哪些潜变量维度真的影响任务'，并用稀疏正则化把过完备表示收缩到最小充分集。技术路线上：定义 SCM（图 1）→ Theorem 1 用 d-连接刻画 CI 检验的充要性 → Algorithm 1 聚合成全局任务结构 → Proposition 2 给出'无约束时表示会膨胀'→ Theorem 2 用稀疏性把膨胀精确收紧到 ground-truth。

核心创新是把'任务'显式定义为跨时间步的 collider——这是和已有方法的本质区别。经典做法 (如 SelTask) 把任务当成可分解矩阵的一列、用启发式 NMF 求解，没有可识别性保证；因果表示学习 (CRL) 一派把潜变量恢复当作目标、需要干预或反事实。本文把'任务'提升为图模型中的一类特殊节点，由此把任务结构识别完全归约到一组可观测的 CI 检验，这是第一个完全非参数、无干预的可识别性结果。在每步内部，关键的洞察是'通用模型只保证上界——它能学到的任务相关维度只会多不会少'，必须用 $\ell_0$ 稀疏性把上界'卡紧'到 ground-truth 维度数，才能保证任务相关和无关的潜变量在估计的 Jacobian 支撑集层面就被干净分开，而不是数值上偶然不混合。

方法步骤详情

方法分为两阶段。**第一阶段（任务结构识别）**：输入为观测序列 $\{o_t\}_{t=1}^T$、$T$ 个时间步分成 $N$ 个等长段 $S_1,\ldots,S_N$（每段 $L \geq 2$ 步），以及任务集合 $\{g_i\}_{i=1}^M$。对每对 $(k,v)$ 和每个任务 $g_i$，构造带状条件集 $Z_{band}(k,v,i) = \{s_{kL-1}, s_{kL+1}, s_{vL-1}, s_{vL+1}\} \cap \{s_1,\ldots,s_T\} \cup \{g_i\}$，跑 CI 检验 $s_{kL} \not\!\perp\!\!\perp s_{vL} \mid Z_{band}(k,v,i)$，若拒绝 $H_0$ 则把 $g_i$ 加入 $T(S_k)$ 和 $T(S_v)$。输出 $T(S_k)$ 给出每段关联的任务集合，再按段内同质性赋给每步 $T(t)$。**第二阶段（任务相关潜变量识别）**：在已知 $T(t)$ 的前提下，用 VAE/MLP 学习从 $s_t$ 到任务 $g$ 的映射 $g = u(s)$，其 Jacobian $J_u(s_t)$ 的第 $i$ 行支撑集 $I((J_u)_{i,\cdot})$ 描述任务 $g_i$ 真实依赖哪些潜变量维度。Proposition 2 证明通用模型只能保证 $\|I((\hat{J}_u)_{i,\cdot})\|_0 \geq \|I((J_u)_{i,\cdot})\|_0$；Theorem 2 进一步证明在稀疏正则 $\|I(\hat{J}_u)\|_0 \leq \|I(J_u)\|_0$ 下，支撑集精确对齐到 ground-truth 索引集 $I_k$，且估计的潜变量 $\hat{s}_{t,\pi(I_k)}$ 与 ground-truth 任务相关潜变量 $s_{t,I_k}$ 之间存在可逆函数 $h_k$ 的关系。

技术新颖性

技术新颖性体现在三个方面。第一，'任务作为 collider'的建模打破了 confounder/mediator 的常规假设，物理上对应'任务协调多步动作'的本质，由此推出 $Z_{band}$ 条件集下 d-连接路径的唯一性——这一可识别性结论在 i.i.d. 设置、任意断连序列、任意任务交错下全部成立，是第一个完全非参数、无干预、无辅助信息的层级一结果。第二，'通用模型膨胀'的负面结果 ($\|I(\hat{J}_u)\|_0 \geq \|I(J_u)\|_0$) 形式化地解释了为什么'规模越大越抓不住重点'——前沿基础模型表达力够、能装下所有依赖，但缺乏归纳偏置就分不清哪些维度真相关。第三，'稀疏正则化收紧' 是首个用 $\ell_0$ 范数约束把通用模型从膨胀态精确收缩到 ground-truth 支撑集的工作，区别于 Zheng et al. (2022) 的 'Structural Sparsity'（那是图上的强假设）和 Lachapelle et al. (2022) 的'机制稀疏'——本文不假设潜变量之间的图结构，只用任务-潜变量 Jacobian 的支撑集稀疏性，因此适用范围更广，且能保证'任务 $u_1$ 对应的潜变量不会混入任务 $u_2$ 对应的潜变量'这一跨任务分离性质。

**Figure 1**: An illustration of the generative process. Latent states $s_t$ generate observations $o_t$ via nonlinear functions and interact with actions $a_t$ under varying temporal connectivity, where consecutive steps may be arbitrarily disconnected. Tasks $g_i$ are defined as colliders across time steps, and different tasks can arbitrarily interleave with one another. The zoomed-in view (right) shows how different components of $s_t$ connect to multiple tasks via the intermediate actions.

**Figure 2**: A quick example for Theorem 1. Note that the observed variables in $o_t$ have been omitted for brevity. We test whether $S_k = \{s_3, s_4\}$ and $S_v = \{s_7, s_8\}$ belong to task $g_1$ by checking the conditional dependence $s_4 \not\!\perp\!\!\perp s_8 \mid Z_{band}(k, v, 1)$, where $Z_{band}(k, v, 1) = \{s_3, s_5, s_7, s_9, g_1\}$. Since $s_4$ and $s_8$ are conditionally dependent given $Z_{band}(k, v, 1)$, $g_1$ is identified as (one of) the underlying tasks. Note that our theory accommodates arbitrary disconnections between time steps (e.g., $s_1$ and $s_2$), multiple tasks, and arbitrarily interleaving task structures.

实验结果

**任务结构识别 (Figure 3)**：在合成 SCM 数据上 (10,000 样本, 20% 边随机删除, Fisher z-test p=0.05) 测试两组设置：固定 $T/5$ 个任务、$T$ 从 8 增到 20；以及固定 $T=20$、任务数 $M$ 从 2 增到 10。本方法在 Accuracy 和 MCC 两个指标上均稳定优于 CCA、Group Lasso 和 SelTask 三种基线，且随问题变难（$T$ 或 $M$ 增大）领先优势持续存在。**真实视频结构 (Figure 4)**：在 SportsHHI 数据集 (11,398 视频序列、5 帧一段、55,631 标注的人-人交互) 上，预训练 CLIP 提取视觉特征 $o$、VAE 估计潜变量 $s$、MLP 参数化转移，CMI 作为 CI 代理。本方法 mAP 显著超过 LEAP（一种带潜变量可识别性保证的方法）和直接用观测变量跑算法 1 的版本，证明建模完整的时序任务结构是必要的。**任务相关表示恢复 (Figure 5)**：用 VAE + $\ell_1$ 正则化做潜变量估计，每数据集随机选 $1/5$ 维度为任务相关。Figure 5 显示：相关部分的 $R^2$ 接近 1（精确恢复），无关部分的 $R^2$ 接近 0（干净剥离）——两者形成清晰 gap。**视觉定性 (Figure 6)**：用 Flux 生成'戴眼镜/帽子/领带的猫'图像，GAN 生成器配 $\ell_1$ 掩码，With sparsity 一行精确锁定目标属性，Without sparsity 一行把颜色等无关因素混入。**附录扩展**：Figure 7 进一步在'狗玩球/跳高/躺草地/读书'的可控生成上展示稀疏正则的必要性——无稀疏时狗的品种、形状、背景都会跑偏。Table 2 的运行时间上本方法在 $T=20$ 时仅 0.02 秒，远快于 Group Lasso 的 82.3 秒。Table 3 在 SportsHHI 上比较 Slowfast/VitB/LEAP/Base，本方法 mAP=0.25±0.08，远超次优的 0.12。**Meta-World 下游任务**：7-DoF 机械臂在 door-open/close 交错数据上用 Active Fine-Tuning 框架替换任务嵌入 $\mu_c$ 为识别出的任务表示 $g$，能泛化到新任务 drawer-close（仅 10⁴ 样本）。

**Table 2**: Runtime (expected value) under varying number of time steps.

**Table 3**: Additional results on SportsHHI.

**Figure 3**: Temporal task structure identification. Top: varying the number of time steps $T$ with $T/5$ tasks. Bottom: varying the number of tasks $M$ with 20 time steps. Left: accuracy. Right: MCC.

**Figure 4**: Real-world temporal task structure discovery.

**Figure 5**: R² for relevant and irrelevant parts.

**Figure 6**: Qualitative comparison of identified task-relevant latents. Tasks include 'wearing glasses,' 'wearing a hat,' and 'wearing a tie.' With sparsity, the model isolates a minimal but sufficient subset of latents aligned with each task. Without sparsity, irrelevant factors such as color become entangled with task-relevant ones.

**Figure 7**: Comparison of controllable generation for a task of 'a dog playing ball, jumping high, lying on the grass, and reading a book'. With sparsity, the model learns task-relevant latent representations and modifies only the intended concepts for each instruction. Without sparsity, the representation entangles irrelevant factors, causing unintended changes and reduced precision.

查看结构化数据

任务	指标	本文	基线	提升
合成 SCM 时序任务结构识别 (T=20, M=10)	Accuracy / MCC	本文方法在两个指标上均最高 (具体数值见图3，显著领先基线)	CCA、Group Lasso、SelTask (具体数值见图3)	在最难配置下 (T=20, M=10) 仍保持显著领先优势 (具体差距见图3)
SportsHHI 视频时序任务结构识别	mAP (mean Average Precision)	0.25 ± 0.08	Leap 0.12 ± 0.05；Base 0.09 ± 0.01；Slowfast 0.11 ± 0.02；VitB 0.12 ± 0.03	约为次优基线 (Leap/VitB) 的 2 倍以上，相对 Base 提升约 178%
任务相关潜变量 R² (相关部分)	R² coefficient	接近 1.0 (高精度恢复任务相关维度)	无稀疏正则化时该指标显著下降	稀疏正则化带来质的提升 (具体数值见图5)
任务相关潜变量 R² (无关部分)	R² coefficient	接近 0.0 (干净剥离无关维度)	无稀疏正则化时混入大量无关信息	稀疏正则化实现接近完美的无关部分分离
运行时间 T=20 段	秒 (seconds)	0.02	CCA 0.04；SelTask 2.40；Group Lasso 82.3	比 Group Lasso 快约 4000 倍

局限与改进

作者在 Conclusion 部分坦率承认三个主要局限。第一，虽然可识别性是渐近性质 (无限样本)，前沿模型也通常在 web-scale 数据上训练，但本文没有给出有限样本下的统计收敛率分析，在数据稀疏场景下的实际有效性仍需进一步研究。第二，利用可识别性的方式相对简单——基本是一个标准估计器 + 稀疏正则化；他们明确提出未来可以探索'可识别性启发的架构'，更激进地偏离现有范式。第三，跨度上没给出在更大规模预训练模型 (如 LLM) 上的实验，纯理论和中小规模实验之间存在落地鸿沟。我自己的观察还有：(1) 任务被显式观测或可推断的假设较强，Algorithm 1 在'任务完全不可见'时只能从候选池筛，仍依赖初始池的质量；(2) 段长 $L$ 的选择是精度-算力的 trade-off——论文明示这一点，但实际数据上很难事先知道最优 $L$；(3) 视频任务结构实验中用 CMI 代理 CI，在样本量受限的高维场景可能引入近似误差；(4) 稀疏性约束采用 $\ell_0$ 计数，实际优化需要松弛到 $\ell_1$ 或硬阈值，会引入额外近似。

独立分析的弱点

**弱点 1：段长 $L$ 的依赖性**。算法 1 要求把 $T$ 步分成等长段，每段 $L \geq 2$，且 Corollary 1 要求 $L > 2$。这意味着如果数据真实任务切换频率与所选段长不匹配，要么粒度太粗丢失切换点、要么粒度太细计算成本爆炸。在 SportsHHI 这类任务边界本身不清晰的视频上，需要先做边界检测再分段。改进方向：自适应段长估计，比如先用 change-point detection 找候选边界、再以 CI 检验拒绝率作为目标函数做段长搜索。**弱点 2：任务集合的获取**。Algorithm 1 假设任务集合 $\{g_i\}$ 已知或可从大的候选池中筛。在'零任务标签'场景下 (比如只有视频没有动作标注)，候选池的构造本身就需要另一套机制。改进方向：用无监督的 task discovery (如 SelTask 思路或聚类) 先产生候选，再用本文的 CI 检验筛选和排序，构成两阶段流水线。**弱点 3：稀疏正则的优化难度**。Theorem 2 用 $\ell_0$ 范数 $\|I(\hat{J}_u)\|_0 \leq \|I(J_u)\|_0$，但 $\ell_0$ 优化是 NP 难的，实际只能用 $\ell_1$ 近似。在维度高、真实相关维度比例小时 (如 1/5 维度)，$\ell_1$ 与 $\ell_0$ 的 gap 会被放大。改进方向：使用 $\ell_0$-aware 的优化器 (如 IHT, 迭代硬阈值) 或用 group Lasso 在维度组上做硬筛。**弱点 4：视频实验的可识别性 vs 实际表现的 gap**。Theorem 1/2 是渐近可识别性，但 Figure 4/5 的实验是有限样本下的近似——论文未给出统计置信区间的详细分析，也未做 sample efficiency 曲线。改进方向：在 SportsHHI 上做样本量消融 (1k/5k/10k) 并报告 mAP 的置信区间，量化'渐近'到'实际'的样本量需求。

未来方向

作者明确提出的方向有两条：(1) 有限样本统计收敛率分析——把渐近可识别性结果推进到有限样本界，给出达到 $\epsilon$-recovery 所需的样本量上界；(2) 可识别性启发的架构设计——探索比'标准估计器 + 稀疏正则'更激进地利用可识别性约束的模型结构，例如在 loss 中显式加入 Jacobian 支撑集约束、或设计具有可识别性内置保证的归纳偏置。我自己看到可延伸的方向还包括：(3) 与世界模型结合——把任务结构识别嵌入到 DreamerV3、Genie 等通用世界模型里，让模型在'想象'时自动按任务分块 roll-out；(4) 多智能体任务结构——把 collider 推广到多智能体设置，$g_i$ 是多个 agent 动作的共同 collider，研究协作与对抗的可识别性；(5) 大语言模型中的'任务相关神经元'——把 Theorem 2 的稀疏性结论用在 transformer MLP 层上，用 $\ell_1$ 掩码定位每个 prompt 真正依赖的神经元子集，可能为 mechanistic interpretability 提供新工具；(6) 主动学习——既然可识别性可以指导任务设计，就可以在 multi-task RL 中主动选择'能最大化减少支撑集不确定性'的任务进行训练。

复现评估

**开源情况**：未在论文正文中明确给出代码仓库链接（论文主要贡献是理论）。**数据**：合成 SCM 数据用线性高斯生成，作者明示 10,000 样本；真实数据集是 SportsHHI (Wu et al., 2024) 公开可用，11,398 视频序列；视觉实验用 Flux 生成猫/狗图像，可复现。**算力需求**：从 Table 2 运行时数据看，本方法在 $T=20$ 时仅 0.02 秒，单卡 CPU/GPU 即可跑；Group Lasso 82 秒的实验也不需要大规模算力。Meta-World 7-DoF 机械臂实验需要 RL 训练框架（如 SAC）算力稍大，但仍属常规 RL 实验范畴。**实现难度**：算法 1 本身只需实现 (a) 分段 + 边界状态提取、(b) CI/CMI 检验、(c) 投票聚合，难度低。Theorem 2 的实验需要 VAE + $\ell_1$ 稀疏正则，技术栈成熟。**潜在障碍**：(i) CI 检验在高维下需要 CMI 变分估计，依赖 InfoNCE 训练稳定性，附录 C 给出了 critic 的训练细节可参考；(ii) Jacobian 支撑集计算需要模型可微，建议用 PyTorch/JAX；(iii) 论文提到训练中要'让表示学习与 CI 关系评估独立'以避免 confounding，这点实现上需要分两阶段 pipeline。综合评估：理论部分几乎可复现 (CI 检验是核心)；实验部分需要一定工程投入但门槛适中。

从通用表征到专用表征：任务相关潜变量表示的可识别性理论 From Generalist to Specialist Representation