树与流的双向桥接：决策树与扩散模型的统一框架

双向统一决策树与扩散模型于 GTSM 框架，提出两个表格算法。

前置知识

梯度提升决策树 (GBDT)

通过迭代加法把多棵 CART 弱学习器组合为强学习器，每轮新树拟合当前模型的负梯度（残差）从而沿函数空间做梯度下降，代表实现有 XGBoost、LightGBM 与 Friedman 的 MART。

本文 Theorem 3.4 证明梯度提升在连续极限下是 GTSM 目标 (4) 的全局最优贪心求解器，因此理解 boosting 的级联结构与残差拟合是把握离散 GTSM 公式的前提。

扩散模型与得分匹配

扩散模型通过前向 SDE 把数据加噪到简单先验，再学习反向 SDE 的得分 $s_t(x)=\nabla_x\log p_t(x)$ 来采样；得分匹配通过最小化 $\mathbb{E}[\|s_\theta(x,t)-\nabla_x\log p_t(x)\|^2]$ 训练，无需归一化常数。

GTSM 公式 (3) 直接在 PF-ODE 得分场做积分，因此必须熟悉前向/反向 SDE、得分函数以及为何得分匹配可让生成过程从噪声回到数据。

概率流常微分方程 (PF-ODE)

PF-ODE 是与扩散 SDE 共享边缘密度 $p_t(x)$ 的确定性常微分方程，速度场为 $v(x,t)=f(x,t)-\frac{1}{2}\nabla\cdot[\sigma\sigma^\top s_t(x)]$，由 Song 等人 2021 年提出，便于精确似然与稳定数值积分。

Theorem 2.5 证明决策树在 dyadic 极限下诱导唯一 PF-ODE，Theorem 2.10 说明 SDE 诱导的树也由对应 PF-ODE 完全刻画——PF-ODE 是 Tree↔Flow 两端共享的代数对象。

条件流匹配 (CFM)

Lipman 等人 2023 年提出的训练框架：对每个样本引入条件概率路径（通常 $x_t=(1-t)x_0+tx_1$），把无条件流匹配拆为简单条件回归 $\mathcal{L}=\mathbb{E}\|v_\theta(x_t,t)-(x_1-x_0)\|^2$，绕开未知边缘得分。

TREEFLOW（第 4.1 节）把 CFM 扩展为带树路径编码 $p$ 与标签 $y$ 条件的版本 $v_\theta(x,t,p,y)$，让连续流在每个树分区学习专属速度场。

Girsanov 定理

刻画等价测度下 Itô 过程漂移差与似然比的关系，把两条 SDE 路径测度的 KL 散度表示成漂移差的二次型时间积分，是 path-space 度量的核心工具。

Theorem 3.2 用 Girsanov 把 $D_{KL}(P^*\Vert P^\theta)$ 化为得分差的 CGTSM 积分，是证明 GTSM 主目标等价性的关键步骤。

知识蒸馏

把大型教师模型学到的知识迁移到小模型；Hinton 经典做法是用教师软标签作为额外监督。DSM-TREE 把这一思想扩展为蒸馏每一层分裂方向而非仅叶预测。

DSM-TREE 首次蒸馏完整决策路径并由有限样本收敛定理（Theorem G.5）支撑，是路径级蒸馏范式的开创工作。

研究动机

表格数据上 XGBoost、LightGBM 这类基于决策树的集成模型长期占据 SOTA，原因在于它们天然契合表格数据「沿特征轴硬分裂、语义离散、缺失值友好」等结构特性；而图像、音频等连续高维数据则被扩散模型与归一化流统治，靠 PF-ODE 反演产生高保真样本。两类模型分别在反欺诈、推荐系统、医学影像等场景独立演化，导致研究社区对它们的联系几乎只停留在「都用梯度下降」的表层。更尴尬的是，把扩散模型直接套到表格上代价昂贵，例如 TabDDPM 在中等规模表格上每生成一个 batch 需要上百次网络调用，远高于基于树的合成方法；反过来，把树蒸馏成神经网络又会丢掉层次偏置，学生网络在 Heart Disease 等小型表格上往往落后教师 5–10%。所以业界一直缺少一个能解释两类模型各自优势、又能指导新算法设计的统一理论框架。

本文的目标是本文要建立决策树与扩散模型之间的严格数学对应，让两套范式共用一套优化目标。具体而言：(1) 证明任意决策树通过 dyadic refinement 在连续极限下诱导出唯一 PF-ODE（Theorem 2.5）；(2) 证明任意熵均匀的平稳 SDE 在反向 PF-ODE 上诱导出超度量树结构（Theorem 2.9–2.10）；(3) 两种范式在共享的 Global Trajectory Score Matching（GTSM）目标下统一（Theorem 3.2），并证明梯度提升是该目标离散形式的全局最优求解器（Theorem 3.4）。在此理论基础上提出两个面向表格的实例化算法 TREEFLOW（生成）与 DSM-TREE（蒸馏），要求在 5 个标准表格基准上至少匹配现有 SOTA 并在效率或结构保持度上有所突破。

与已有工作不同的是，此前对扩散模型的理论分析要么走统计物理路线（如 Biroli 2024、Ramachandran 2025 用自由能/轨迹稳定性刻画训练动态），要么走微分几何路线（如 Bortoli 2023 在数据流形上分析得分函数约束），鲜少给出「层次架构」层面的解释。对决策树的理论研究则集中在 Mondrian 过程（Roy & Teh 2009 的随机树分布）与 boosting 的函数梯度视角（Friedman 2001），从未有人证明一棵树在合理极限下能被写成 PF-ODE、或从 SDE 反推唯一树形。本文的核心切口是同时给出 Tree→Flow 与 Flow→Tree 双向映射，并通过 GTSM 这一「主目标」为 boosting 和 score-based training 提供统一解释，这在前人工作中完全缺失。

核心方法

论文先做直觉铺垫：决策树按特征轴逐层切分是层次粗粒化，扩散模型反向 PF-ODE 同样把噪声逐步去噪到数据也是层次去噪。两者共享「从粗到细编码信息」的本质，于是作者建立双向对应。Tree→Flow：通过 dyadic refinement（定义 2.2）把每层离散分裂插值成无穷多层连续切换，再借 Kramer–Moyal 展开与 Pawula 定理证明二阶以上跃迁矩消失，得纯 Liouville 方程 $\dot{x}=v(x,t)$（Theorem 2.5）。Flow→Tree：对熵均匀平稳 SDE 追踪每个模态在 PF-ODE 上的 $n$ 阶条件矩差，首次低于 $\epsilon$ 的时刻定义为 merger time；熵单调性证 ultrametric 不等式，得唯一树（Theorem 2.9–2.10）。GTSM 主目标：用 Girsanov 把 path-space KL 化为得分差积分（公式 3），证梯度提升残差是该目标离散形式的无偏估计量（Theorem 3.4 用 Bellman 反向归纳）。最后给出 TREEFLOW 与 DSM-TREE 两个表格算法。

本文核心创新在于把「层次分区」和「流动力」两套语言翻译成同一个数学对象——PF-ODE。与已有工作相比：(1) 与统计物理角度的轨迹分析（Biroli 2024、Ramachandran 2025）不同，本文给出可构造的映射，明确写出 $\dot{x}=v(x,t)$ 的速度由树分区唯一决定；(2) 与 Mondrian 过程等随机树模型不同，本文证明的是单棵固定树在 dyadic 极限下的连续流是确定性的，不依赖分布假设；(3) 与 Kontschieder 软决策树或 Hinton 软标签蒸馏不同，DSM-TREE 首次蒸馏完整决策路径（包括每层分裂方向），并由 GTSM 自然解释其一致性；(4) 与 TabDDPM 隐式学结构不同，TREEFLOW 把树分区作为显式先验，把生成任务分解为「分区局部流」，既减少网络调用又提升保真度。

方法步骤详情

Tree→Flow 四步：(a) 定义 dyadic refinement 递归插值；(b) 证明 Kramer–Moyal 展开的高阶跃迁矩几何级消失（Theorem 2.4），由 Pawula 定理得高阶矩全为零；(c) 因粗粒化无随机性，扩散项也为零，方程降为 Liouville 形式；(d) 其特征方程即 PF-ODE，速度由条件密度 $p(x,t)$ 唯一确定（Theorem 2.5）。Flow→Tree 三步：(a) 由超水平集得初始簇；(b) 跟踪 $n$ 阶条件中心矩差，定义 $(n,\epsilon)$-merger time；(c) 熵均匀性证 ultrametric，得唯一 dendrogram（Theorem 2.9）。GTSM 两步：用 Girsanov 把 $D_{KL}(P^*\Vert P^\theta)$ 化为公式 (3) 的得分差积分，再 backward induction 推出 Theorem 3.4。算法层 TREEFLOW 用路径编码 $p$ 做 CFM 条件；DSM-TREE 用 $M_\theta(x,j)$ 预测每层分裂方向。

技术新颖性

本文技术新颖性体现在四个层面。第一，定义 2.2 的 dyadic refinement 把离散树分区与连续 filtration 用参数 $t\in[0,T]$ 显式缝合，是首次出现的「树→流构造性证明」。第二，Theorem 2.4 结合 Kramer–Moyal 与 Pawula 定理的论证链，把「层次分区是确定性粗粒化」翻译成精确数学——二阶以上矩消失是首次被形式化用于决策树。第三，GTSM 框架（公式 3 与 Theorem 3.2）首次用 Girsanov 把 path-space KL 化为得分差的积分，把 boosting 残差 $r_i(x)=y-F_i(x)$ 解释为最优得分更新的无偏估计量（Theorem E.22），是论文最具理论穿透力的贡献。第四，DSM-TREE 是首个把「完整决策路径」而非「叶预测」蒸馏到神经网络的算法，其目标函数与得分匹配自然对齐，并由有限样本收敛定理（Theorem G.5）支撑。

实验结果

论文给出两组核心实验。第一组验证 Tree↔Flow 对应：在 4-Corners 合成数据上训练 MLP 扩散模型，用时间域 agglomerative clustering 跟踪每簇在 PF-ODE 下的中心/方差，所得 dendrogram（Figure 2b）显示 4 个原始簇确实按时间先后合并、$t=0.50$ 中间态已开始重叠（Figure 2c），验证 SDE→Tree 方向。MNIST 上对比决策树按深度的加权类别熵与扩散按时间的 $1/(1+\text{SNR})$ 信息代理曲线（Figure 3），两者形状几乎重合，像素原型同步衰减，证明同构的信息衰减模式。第二组验证算法：TREEFLOW 在 5 个表格基准上 TSTR 准确率 Wine 达 98.1%、Cancer 达 93.9%，Wasserstein 距离 4/5 最低、Correlation error 3/5 最低，且比 TabDDPM 加速约 2×。DSM-TREE 在 5 个分类任务上 4/5 与教师树差距 ≤2%，Heart Disease 反超教师 3.7%。

**Table 2**: DSM-TREE 完整结果表（Section I.2）

**Table 3**: TREEFLOW 详细结果表（Section I.3）

**Figure 2**: Implicit tree structure discovered from a trained diffusion model on the 4-Corners dataset

**Figure 3**: Comparison of information decay on MNIST

**Figure 4**: TREEFLOW compared against baseline generative models across a suite of tabular benchmarks

**Figure 5**: Classification accuracy of the DSM-TREE model compared to its teacher (Base Tree)

查看结构化数据

任务	指标	本文	基线	提升
表格数据生成（Wine）	TSTR 准确率 ↑	98.1%	TabDDPM / TVAE / CTGAN	5 基准中 3 个最高分
表格数据生成（Cancer）	TSTR 准确率 ↑	93.9%	TabDDPM / TVAE / CTGAN	5 基准中 3 个最高分
表格数据生成（5 数据集平均）	Wasserstein 距离 ↓	5 数据集中 4 个最低	TVAE / CTGAN / TabDDPM	最优保真度
表格数据生成（5 数据集平均）	Correlation Error ↓	5 数据集中 3 个最低	TabDDPM	结构保持最佳
表格数据生成（5 数据集平均）	Runtime ↓	约 0.5× TabDDPM	TabDDPM (1×)	2× 加速
树蒸馏（5 数据集平均）	分类准确率差（学生-教师）	4 个 ≤2%	Base DecisionTree	Heart Disease +3.7%
信息衰减（MNIST）	归一化熵曲线	决策树与扩散曲线几乎重合	—	定性证据支持对应

局限与改进

作者在第 7 节明确列出三个局限。(1) 理论层面，连续路径 refinement 与 Lipschitz 算子假设只对「光滑」的特征空间成立；遇到含强不连续或异常值的表格（例如稀疏 one-hot 高维特征），dyadic refinement 的几何压缩率可能失控，Kramer–Moyal 展开的收敛性无法保证。(2) 实验层面，TREEFLOW 与 DSM-TREE 只在连续特征空间的表格基准上做了测试，没有覆盖文本、图像或时间序列等异构模态；DSM-TREE 在 MNIST 这类像素数据上的可扩展性也没有验证。(3) 算法层面，TREEFLOW 在生成阶段需要先选定目标分区与参考点 $x_{\text{ref}}$，无法做无条件全分布采样；DSM-TREE 必须依赖一个先训练好的教师树，教师质量直接决定学生上限，泛化到 deep forest 时训练开销显著。作者自陈未来要把框架扩展到 Lévy 过程与 rough path 理论，从而把离散跳跃与分数阶粗糙度纳入统一目标。

独立分析的弱点

独立观察到的弱点主要有四个。(1) Tree→Flow 证明要求「局部 refinement 步长一致趋零」，但真实数据中分裂阈值常按信息增益贪心选取，dyadic refinement 后的中间分裂可能并不存在（如某节点没有合法 A<7.5 切分），Theorem 2.3 实际依赖隐式插值假设。(2) Flow→Tree 用 $(n,\epsilon)$-merger time 定义合并，但 $n$ 与 $\epsilon$ 都是超参，不同取值得到不同树；中心矩在长尾分布下对离群点敏感。(3) TREEFLOW 生成时强制选分区，其「全分布覆盖」能力实际来自均匀采样所有分区——若某些分区样本极少，参考点估计就会偏差大。(4) DSM-TREE 贪心走子节点无回退机制，一层错则一路错，且各层 loss 简单求和易在深层过拟合浅层。改进方向：dyadic refinement 改为可学习插值；用 KL 散度或 Wasserstein 替代中心矩；TREEFLOW 引入 mixture-of-experts；DSM-TREE 增加 beam search。

未来方向

作者在第 7 节提出三条未来路线：(1) 用 Lévy 过程或 rough path 理论扩展 Tree↔Flow 对应，把内在不连续性与分数阶粗糙度纳入 GTSM 主目标，从而让框架适用于含异常跳跃的真实数据；(2) 把数据驱动、自适应分区的树结构与扩散模型的表达能力结合，构造面向表格、序列等异构模态的 foundation model，应对多模态场景下的不规则分布；(3) 进一步分析 DSM-TREE 与 soft decision tree 的混合架构，把可微决策路径嵌入端到端训练管线。基于本文成果还可延伸的方向包括：用 merger time 作为数据集元特征做迁移学习；把 GTSM 应用于强化学习的策略优化（policy 即一种 tree-over-state-action）；以及在生物序列或图数据上验证层次结构与流动力学的同构性。

复现评估

论文主体未明确公开代码仓库，但附录给出了非常详细的算法伪代码（Algorithm 1–4）、Theorem 证明全文（Section C–H）、网络架构（MLP 速度场、Random Forest 教师、TreeDecision 提取器）、5 个 SDV 表格基准的完整数值（Table 2–3）、4-Corners 与 MNIST 实验细节（Section I.1），整体复现条件较好。主要依赖包括 PyTorch、scikit-learn、SDV 库与 ChromaDB（若启用语义搜索），单卡 GPU 即可训练 TREEFLOW 与 DSM-TREE，扩散模型实验使用简单 MLP 速度场，对算力要求不高。复现难点在于：(a) Theorem 2.4 中 Kramer–Moyal 展开的收敛阶数选取需经验调参；(b) $(n,\epsilon)$-merger time 的 $n,\epsilon$ 选择对最终树形影响较大；(c) 路径编码维度等于树深度，对极深树可能内存压力较大。

树与流的双向桥接：决策树与扩散模型的统一框架 Trees to Flows and Back: Unifying Decision Trees and Diffusion Models