面向零样本逻辑规则归纳的基座模型 A Foundation Model for Zero-Shot Logical Rule Induction
用统计编码与并行槽解码器实现跨任务零样本DNF规则归纳
前置知识
归纳逻辑编程 (ILP)
ILP 是机器学习的一个分支，目标是仅从正例、负例和背景知识中归纳出可解释的逻辑规则（如 Prolog 子句）。经典系统有 FOIL、Progol 等，输出形如 "发烧 ∧ 咳嗽 → 流感" 的命题。
本文解决的就是 ILP 的核心任务，但把它从转导式（每任务重训）升级为基座模型范式，理解 ILP 的输出形式是看懂 NRI 输出的 DNF 规则的前提。
析取范式 (DNF)
DNF 是若干合取子句的析取：$R = C_1 \lor C_2 \lor \cdots \lor C_K$，每个 $C_k = l_{k,1} \land l_{k,2} \land \cdots$，其中 $l_{k,j}$ 是变量或其否定。DNF 是布尔函数的规范形式，能表达任意命题逻辑。
NRI 的输出空间就是 DNF 规则集，理解其层级结构（子句外 OR、内 AND）是看懂解码器如何用 K 个并行槽填充分句的基础。
T 范数 (T-norm) 模糊逻辑
T 范数将布尔运算松弛到连续值 $[0,1]$。乘积 T 范数定义 $\neg x = 1-x$、$x \land y = x \cdot y$、$x \lor y = 1-(1-x)(1-y)$，从而让逻辑推理可微。
NRI 的端到端训练依赖 T 范数使规则执行可微，没有它就无法用梯度下降优化组合搜索问题，本文方法核心就在于此。
Transformer 与自注意力
Transformer 通过 Query/Key/Value 自注意力机制建模序列依赖，复杂度 $O(N^2)$。编码器-解码器结构中解码器可用交叉注意力融合上下文。
NRI 用 Transformer Decoder 作为规则生成器（带 4 头、3 层），需要理解 slot query、cross-attention 等概念才能读懂解码流程。
基座模型与零样本迁移
基座模型在大规模多样化数据上预训练，通过 prompting 或 fine-tuning 迁移到下游任务而不重训参数。代表是 GPT、CLIP、TabPFN。其核心是任务无关的特征表征。
本文把基座模型范式首次引入符号推理领域，关键在于把"谓词身份"抽象为"统计签名"从而实现跨任务迁移。
FiLM (特征线性调制)
FiLM 通过可学习的 $\gamma_k, \beta_k$ 对特征做仿射变换 $h_k = \gamma_k \odot h + \beta_k$，让同一特征在不同条件下呈现不同视图，常用于多任务/多槽场景。
NRI 用 FiLM 让 K 个子句槽对同一字面量嵌入产生差异化视图，避免槽塌缩到相同模式，是打破对称性的关键设计。
研究动机
传统归纳逻辑编程（ILP）系统无论是符号方法（FOIL、Progol）还是近期可微方法（NeuralLP、DRUM、DeepProbLog、NeurASP、GLIDR），都把模型参数绑定到具体的谓词或关系模式上。在医疗场景中用 "Parent, Grandparent" 训练的模型无法直接迁移到生物学的 "Protein, Enzyme"，必须为每个新数据集从头训练。在 UCI 14 个基准数据集对比中，XGBoost、LGBM、EBM 等通用模型平均达到 82% 左右，而当前零样本 ILP 几乎没有可用方案。即便 Phua 与 Inoue 2024 提出的零样本方案，也是直接消费原始样本，缺少数值噪声和缺失数据的鲁棒性，且未真正在大型真值表上端到端训练。
本文的目标是本文希望构建一个真正的"基座模型"——Neural Rule Inducer (NRI)：只在合成的随机布尔公式（DNF）上预训练，面对全新的真实表格任务（binarized UCI）时无需任何梯度更新、即可在数十毫秒内输出可解释的 DNF 规则，且在 $N \in \{6,...,12\}$ 的训练分布外（含 $N=105$ 的 adult、$N=116$ 的 mushroom 等高维任务）也能给出 60–88% 的分类精度，同时对 30% 标签噪声与 32 个强相关虚假变量保持鲁棒。
与已有工作不同的是，已有工作的切入角度都建立在"谓词身份"这一强假设上：要么固定谓词表（transductive），要么用 LLM 生成假设后接外部证明器（grounding 弱、需要外部语义）。本文的独特之处在于用"统计签名"——类条件率 $P(l_j \mid y)$、熵 $H(l_j)$、共现强度——取代字面量身份，把规则归纳问题转化为与变量命名、个数、领域都无关的统计模式识别任务，从而首次在 ILP 上实现真正的零样本基座模型。
核心方法
NRI 的整体思路是"统计编码 + 并行解码 + T 范数执行 + 端到端训练"。直觉上，与其让模型记住"fever"是什么，不如让模型学习"凡是类条件率很高、熵很低、与正例共现强的字面量，都值得放入规则"——这一统计洞察对任何布尔变量集都成立。技术路线上，输入一个 episode $(X,Y)$（$M$ 个样例、$N$ 个布尔变量），NRI 分四步：(1) 字面量统计编码器为每个字面量 $l_j$ 计算 18 维统计特征 $\phi_j$；(2) 示例条件编码器通过 cross-attention 恢复每个字面量覆盖的正例子集；(3) FiLM 调制让 K=8 个子句槽对同一嵌入产生差异化视图；(4) 槽式解码器并行输出 K 组字面量门 $z_{k,j}$ 与子句门 $w_k$，再通过乘积 T 范数将规则 $R = 1 - \prod_k (1-w_k \cdot C_k)$ 与标签 $Y$ 对齐，用复合损失端到端训练。
与已有方法相比，本文的本质区别是把"规则归纳"重新定义为"对字面量统计签名的模式识别"。传统 ILP 学习的是针对具体谓词的权重，因此无法迁移；LLM 方法则停留在语言概念层。NRI 编码的 $\phi_j = [P(l_j\mid y=1), P(l_j\mid y=0), P(l_j), H(l_j), \text{sgn}_j, \bar{c}_j, ...]$ 与字面量的名字、个数都无关，并行槽解码器同时输出 K 个子句（保持析取置换不变性），再借助 T 范数把布尔推理松弛为可微运算，从而首次让"训练—部署"完全分离的基座模型范式在符号推理上落地。
方法步骤详情
方法分四步。(1)统计编码：每字面量 $l_j$ 算 18 维 $\phi_j$（$P(l_j\mid y)$、$H(l_j)$、极性、共现、观测率），MLP 投到 $h^{(0)}_j$。(2)示例条件编码：每例 $e_m = \text{MLP}_y(y_m) + \text{MLP}_x(l^{(m)})$（64 维瓶颈），$h^{(1)}_j$ 多头关注 $e_m$ 恢复覆盖；$N$ 不匹配时零填充或随机扩展。(3)FiLM 调制：$h_{k,j} = \gamma_k \odot h^{(1)}_j + \beta_k$（$\gamma_k \sim \mathcal{N}(1, 0.5^2)$、$\beta_k$ 正交）让 8 个子句槽差异化。(4)并行槽解码 + T 范数：每 slot query $q_k$ 输出 $s_k$，得字面量门 $z_{k,j}$ 与子句门 $w_k$；互补对 $(x_i,\neg x_i)$ 取高分者。预测 $\hat{y}^{(m)} = 1 - \prod_k (1 - w_k C^{(m)}_k)$，$C^{(m)}_k = \prod_j (1 - z_{k,j}(1 - l^{(m)}_j))$ 由 T 范数松弛，端到端可微。
技术新颖性
技术新颖性体现在五个层面。第一，用域无关的统计签名（18 维）取代谓词身份，灵感来自 TabPFN 对表格的合成预训练，但 NRI 把它推到符号逻辑。第二，并行 slot 解码器（而非自回归）显式保持析取置换不变性 $A \lor B \equiv B \lor A$。第三，多目标复合损失 $L = L_{\text{cov}} + \lambda_b L_{\text{bal}} + \lambda_r L_{\text{rep}} + \lambda_e L_{\text{ent}} + \lambda_m L_{\text{mm}} + \lambda_{cf} L_{\text{cf}}$ 同时约束准确率、槽利用率、子句多样性、门控锐度、间隔约束和反事实必要性，是首个把 MoE 平衡损失 + 反事实因果干预引入 ILP 的工作。第四，"虚假环境训练"通过在前后半样本间注入相反相关性的特征，迫使模型识别真正因果的字面量。第五，FiLM 调制 + 槽丢弃 (25%) + CV² 损失把子句槽方差从 0.35 压到 0.003，有效解决可微逻辑学习中的"少数槽主导"病态。
实验结果
实验分五层。**(1) UCI 14 数据集**（Table 1）：NRI 零样本平均 69.7% ± 12.0%，比 EBM (82.7%) 低 13 个百分点；分布内 diabetes 反超 68.0%，breast-cancer 88.3%；OOD 高维任务 adult (N=105) 69.6%、mushroom 87.8%、kr-vs-kp 72.3%；劣势集中于 car (-43)。**(2) 规则复杂度**（Figure 2）：K=1,L=1 恢复 99.5%，K=4,L=3 跌至 24.0%；K 是主导难度。**(3) 标签噪声**（Figure 3）：0→30% 噪声 NRI 从 92.3% 降至 87.4%，RIPPER 从 98.4% 跌至 70.3%，15% 为交叉点。**(4) 虚假变量**（Figure 4）：32 个 $\rho=0.9$ 特征下仍 97.6%。**(5) 损失消融**（Table 2）：去反事实必要性 -0.6%、去最大间隔 -2.8%、去槽平衡 -1.5%。计算上 N=512, M=512 推理 ≤12 ms、内存 593 MB。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| UCI 14 数据集零样本分类（5折 CV） | 平均准确率 (%) | 69.7 ± 12.0（零样本，仅在合成 DNF 上训练） | EBM 82.7 ± 10.6（逐数据集训练） | 落后 13 个百分点，但具备零样本能力，diabetes 上反超 +0.6 |
| 规则复杂度恢复（N=12，逻辑等价） | Logical Match (%) | K=1,L=1 达 99.5%；K=4,L=3 跌至 24.0% | 无直接对照（传统 ILP 需要任务专属模板） | 首次在合成→合成的零样本框架下量化恢复率 |
| 30% 标签噪声鲁棒性 | 准确率 (%) | 92.3 → 87.4（仅下降 4.9 个百分点） | RIPPER 98.4 → 70.3（-28.1）、DT 100 → 69.9（-30.1） | 在 15% 噪声后稳定超越两个基线，30% 时领先 17+ 百分点 |
| 32 个强相关虚假变量（ρ=0.9） | 准确率 (%) | 97.6 | 无直接对照（多数 ILP 在 >4 个虚假变量时已崩溃） | 虚假变量从 0 增至 32，准确率波动 <5% |
| 消融：去掉最大间隔损失 | UCI 平均准确率 (%) | Full 74.8；-Max-Margin 72.0 | Full 74.8 ± 3.8 | -2.8 个百分点，子句槽利用率方差回升至 0.35 |
局限与改进
作者明确指出的局限：(1) 训练分布 $N \in [6,12]$ 远小于 14 个 UCI 中除 diabetes/breast-cancer 之外的 12 个数据集，NRI 在 adult (N=105)、mushroom (N=116) 上 OOD 性能显著下降（虽然仍保持 70%+）。(2) 规则复杂度 K > 4、L > 3 时逻辑等价恢复率跌至 24%，多子句的独立模式发现仍是开放难题。(3) 数值型特征依赖外部 median binarization，多类问题（car、nursery）被压成二分类后简单 DNF 难以胜任，差距达 43 个百分点。(4) FiLM 在 N 远超 N_train 时的随机初始化扩展是临时方案，缺乏严格的置换不变性保证。本文还观察到 kr-vs-kp 需要 8 个子句（恰好等于 NRI 的槽数），超出槽容量即性能骤降，表明子句数 K 是硬约束。基于这些，建议未来从多值/连续变量（论文结论已提及）和一阶逻辑（关系谓词）扩展。
独立分析的弱点
独立分析有四处可改进。**(1) 统计编码的信息瓶颈**：18 维统计特征对两字面量具有相同边际但覆盖不同正例子集的情况（XOR 类模式）是无能为力的，依赖示例条件编码器补救，但 64 维瓶颈 + MLP 随机扩展的方案缺乏理论保证，N 巨大时性能可能进一步下滑——可考虑引入可学习的对比式统计特征或图同构网络来恢复全局结构。**(2) 子句数 K 硬编码**：T=8 是经验值，kr-vs-kp 正好踩上限即崩；可以引入层次化子句生成（先决定 K 再生成）或 stop-gradient 的槽数量推断。**(3) 反事实损失依赖 z 阈值**：$L_{\text{nec}}$ 和 $L_{\text{spur}}$ 都基于硬阈值划分"选中/忽略"，会引入梯度不连续；可用 straight-through estimator 或 Gumbel-softmax 把门控平滑化。**(4) 没有显式覆盖约束**：当正例分布极度不平衡（如 spambase 仅 39% 正例）时，DNF 退化为常数 0 的情况未做处理；可加入 KL 散度约束规则先验，避免平凡解。
未来方向
作者明确指出三个方向：(a) 把统计编码扩展到多值变量（无需 binarize）和连续变量（通过模糊谓词或自适应分箱）；(b) 升级到一阶逻辑，处理关系谓词 "Parent(x,y) ∧ Ancestor(y,z) → Grandparent(x,z)"；(c) 把 NRI 与 LLM 结合，让 LLM 提出候选概念、NRI 在数据上验证。基于成果可延伸：(d) 用 NRI 蒸馏出可解释特征给下游 GBM，作为 TabPFN 的规则化对偶；(e) 把合成数据生成器扩展为程序化归纳偏置注入（如 "强制子句单调性"），训练可控复杂度的规则；(f) 探索 NRI 与反事实推理文献的深度结合，把 do-calculus 显式嵌入反事实损失；(g) 在视觉-语言任务上验证"统计签名即通用表征"的假设是否成立，例如把目标检测视为离散决策树归纳。
复现评估
复现友好度较高。代码与参考 checkpoint 已在 github.com/phuayj/neural-rule-inducer 公开，完整附录挂在 arxiv.org/abs/2605.04916。训练数据完全合成（随机 DNF + spurious environment），无需下载额外语料，单卡 NVIDIA H100 级别算力足以复现 TSUBAME4.0 实验。关键超参全部明示：AdamW, lr=$6 \times 10^{-4}$, weight decay=$10^{-2}$, batch size=8192, 500 steps, decoder=3 层 4 头 Transformer, T=8 clause slots, 25% dropout, $\tau^+=0.7, \tau^-=0.3$。基线使用各自公开实现，UCI 14 数据集均可直接下载。复现难点在于：(1) 6 项损失的 $\lambda$ 系数需严格对齐；(2) FiLM + 槽丢弃对种子敏感，建议 ≥3 种子取均值；(3) 反事实损失阈值化需小心处理梯度反传。整体难度中等。
论文图表
