微扩散压缩：面向在线概率估计的二叉树 Tweedie 去噪 Micro-Diffusion Compression -- Binary Tree Tweedie Denoising for Online Probability Estimation
用 Tweedie 去噪逆转先验稀释的纯统计压缩器，单核击败 xz -9。
前置知识
PPM (Prediction by Partial Matching)
一种自适应统计压缩框架，按可变阶（典型 0-5）维护各上下文的字节计数表，预测时从最高匹配阶回退到低阶。当前字节 $x_i$ 的预测分布 $\hat{p}(s)$ 等于该阶上下文对 $s$ 的归一化计数。为避免零概率问题，会叠加 Laplace 或 Jeffreys 先验做平滑。
它是本文 5 层管线第 1 层（也是先验稀释问题的来源），理解 PPM 才知道 Tweedie 要校正什么。
Jeffreys 先验（Jeffreys prior）
在多项式分布下，Jeffreys 先验为每个符号分配 $\alpha_s = 1/2$ 伪计数，总强度 $T_0 = \sum_s \alpha_s = 128$（256 维）。其优势是重参数化不变、保证所有符号概率非零，是 PPM 实现的事实标准先验。在观测数 $n$ 较小时，先验占主导使分布被拉向均匀。
本文把 Jeffreys 平滑重新解读为朝均匀分布的收缩算子（shrinkage operator），其有效噪声水平 $\gamma = 128/(C+128)$ 是触发 Tweedie 去噪的关键。
Tweedie 经验贝叶斯公式（Tweedie's empirical Bayes formula）
对加性高斯噪声污染的指数族模型，Tweedie 给出最优 MSE 贝叶斯估计：$\hat{\theta}_i = \hat{p}_i + \sigma^2 \cdot \nabla_i \log m(\hat{p})$，等价形式 $\sigma^2 \cdot s(\hat{p}) = \mathbb{E}[\theta|\hat{p}] - \mathbb{E}[\hat{p}]$，其中 $m(\hat{p})$ 是观测边缘密度、$s(\hat{p})$ 是分数函数。本文用非参数估计量 $\hat{\delta} = \overline{\text{hits}}/\overline{\text{total}} - \overline{\text{sum\_pred}}/\overline{\text{total}}$ 近似 $\sigma^2 s(\hat{p})$。
它是微扩散层校正量的理论基石，没有它就无法论证为什么加性 $\hat{p}' = \hat{p} + \hat{\delta}$ 是最优的。
扩散模型 / 分数模型（Diffusion / score-based models）
通过学习分数函数 $s_\theta(x_t, t) = \nabla_{x_t} \log p_t(x_t)$ 实现多步反向扩散：前向过程逐步加噪 $x_0 \to x_T$，反向过程用 $x_{t-1} = x_t + \sigma_t^2 s_\theta(x_t, t) \Delta t + \dots$ 恢复。DDPM/DDIM 是代表工作。噪声水平 $t$ 通常作为条件输入，决定不同阶段的去噪强度。
本文把 Tweedie 去噪的 confidence 维度显式类比为扩散时间步 $t$，把校准表看作非参数分数网络，是论文标题 micro-diffusion 的来源。
算术编码（Arithmetic coding）
一种近熵极限的熵编码方法：将整个消息映射到 $[0,1)$ 区间的一个子区间，区间的长度等于符号概率的累积乘积。本文的算术编码器用 32 位寄存器（low/high/range）、14 位频率尺度 $T=16384$、E1/E2/E3 重正规化；概率量化 $f(s) = \max(1, \lfloor P(s) \cdot T + 0.5 \rfloor)$ 后转累积频率表送编码器。
理解算术编码才知道为什么 $- \log_2 p$ bits/符号是预测-压缩对偶（duality），以及 5 层融合的最终产物为何直接喂入编码器。
James-Stein 收缩（James-Stein shrinkage）
经典统计中，对 $k \geq 3$ 维正态均值估计 $\hat{\theta}$，James-Stein 证明向原点收缩后的估计 $\hat{\theta}_{JS} = (1 - \frac{(k-2)\sigma^2}{\|\hat{\theta}\|^2})\hat{\theta}$ 在均方误差意义下严格优于 MLE。本文用其方差感知变体：$\text{SNR} = \delta^2 N / V_{are}$，$\hat{\delta}' = \hat{\delta} \cdot \min(1, \text{SNR}/4)$，$V_{are}$ 是 bin 内预测误差的样本方差。
它是校准表在低观测 bin 上避免过激修正的关键，让 Tweedie 在小文件保守、大文件激进。
上下文混合（Context Mixing, PAQ/CMIX）
用神经网络或自适应 logistic 函数把数百个比特级子模型的概率线性组合。PAQ8px 用几百个上下文，CMIX 加 LSTM 网络，可在 enwik8 上达到 ~1.17 bpb，但需要 16-64 GB 内存和数小时压缩时间。
它代表无 LLM 时代压缩的 SOTA，本文明确以 PAQ/CMIX 为对标（虽然仍落后 0.48-0.58 bpb），并指出字节级 vs 比特级处理是主因。
研究动机
PPM 上下文模型用 Jeffreys 先验（每符号 0.5 伪计数，总强度 $T_0 = 128$）做平滑，在低观测场景下造成严重的"先验稀释"。具体地，对观测次数 $n$ 的上下文，预测分布是真实分布 $q$ 与均匀 $u$ 的凸组合 $\hat{p} = \frac{n}{n+128}q + \frac{128}{n+128}u$。当 $n=5$ 时真实分布仅占 4% 权重，96% 概率质量被均匀摊到所有符号，导致二叉树根节点（$q_R=0.9$）的预测被拉至 $\hat{p}_R \approx 0.515$，编码开销从 $-\log_2(0.9) = 0.15$ 比特膨胀到 $-\log_2(0.515) = 0.96$ 比特，单节点就 6.3× 的浪费，8 个树层级联放大后 PPM 在 enwik8 上仅能跑到约 2.0 bpb，被 xz -9 的 1.989 bpb 接近甚至反超。当 $n$ 很大时先验可忽略，但模型没有机制区分"先验主导"与"数据主导"两种状态，统一输出归一化计数向量，错失了进一步锐化置信预测的机会。
本文的目标是本文目标是设计一个完全在线、无可学习参数、无神经网络的纯统计无损压缩器 Midicoth，通过引入"微扩散"（micro-diffusion）后处理层，逆转 Jeffreys 先验对预测分布造成的均匀化收缩，使预测分布逼近真实分布；最终在两个公开基准（enwik8 100 MB 和 alice29.txt 152 KB）上同时击败所有主流字典压缩器（gzip -9、xz -9、bzip2 -9、Brotli -q 11、zstd -19），同时在单核 CPU 上保持约 60 KB/s 的吞吐。
与已有工作不同的是，现有提升 PPM 性能的方案分两类极端：其一是 PAQ/CMIX 体系（PAQ8px 1.27 bpb、CMIX 1.17 bpb），靠数百个比特级子模型的神经网络级混合，但需 16-64 GB 内存和数小时压缩时间，且实现复杂度高；其二是 LLM-based 压缩器（Nacrith 0.939 bpb、ts_zip 1.11 bpb），依赖预训练 Transformer 和 GPU，硬件门槛高。本文独辟第三条路：保留 PPM 纯统计本质，把 Jeffreys 平滑重新解读为"朝均匀分布收缩"的扩散前向过程（$\gamma = 128/(C+128)$ 类比 $\sigma^2$），借鉴扩散模型的多步反向扩散思想，用 Tweedie 经验贝叶斯公式做后验校正；用二叉树分解（256→8 个二叉决策）解决数据效率，用 27 个位上下文（含父位路径）解决标定模式区分。这条路填补了"无神经网络 + 快速（~60 KB/s）+ 单核 CPU + 强于字典压缩器"的中间生态位。
核心方法
Midicoth 采用 5 层固定级联管线逐字节处理输入：第 1 层是带 PPMC 排除和 Jeffreys 先验的 order-0~4 自适应 PPM；第 2 层是扩展匹配模型，用 5 张 FNV-1a 哈希表（上下文长度 4/6/8/12/16）做长程重复检测；第 3 层是 Trie + bigram 的词模型，处理词边界与词内连续字符；第 4 层是 order 5~8 的高阶上下文模型，独立融合避免 PPMC 排除在高阶稀疏场景下退化；第 5 层（也是最关键的）——微扩散 Tweedie 去噪层，把前 4 层融合后的 256 维分布沿 MSB→LSB 分解成 8 个二叉决策，在每个树节点用 6 维校准表（含 27 个位上下文、4 种分布形态 shape、8 个置信度 conf、20 个概率分箱 pbin、3 个去噪步骤 step，共 $3 \times 27 \times 3 \times 4 \times 8 \times 20 = 155{,}520$ 条目、约 4.7 MB）非参数估计 Tweedie 修正 $\hat{\delta} = \overline{\text{hits}}/\overline{\text{total}} - \overline{\text{sum\_pred}}/\overline{\text{total}}$，再经 James-Stein 收缩抑制噪声，最后 K=3 步级联形成多步反向扩散。算术编码器以 14 bit 频率量化 $T=16{,}384$ 编码最终分布。整个管线约 2000 行 C 代码，仅依赖 libm，编码器和解码器走完全相同的预测管线以保证比特级对称。
核心创新有三点。第一，把 Jeffreys 先验重新解读为"朝均匀分布收缩"的扩散前向过程，收缩强度 $\gamma = 128/(C+128)$ 类比 $\sigma^2$，于是 PPM 预测等价于被噪声污染的观测 $\hat{p} = (1-\gamma)q + \gamma u$，Tweedie 公式的加性修正 $\delta \approx \sigma^2 s(\hat{p})$ 即可通过非参数校准表 $\overline{\text{hits}}/\overline{\text{total}} - \overline{\text{sum\_pred}}/\overline{\text{total}}$ 一致估计。第二，二叉树分解把 256 维校准转化为 8 个二叉校准，使每次预测提供 1 个观测（而非 1/256 个），所需数据量降到原来的 1/256；27 个位上下文（含父位路径编码，level 0 仅 1 个、level 1 索引于 bit 7、level 3-7 按高 4 位的 16 种组合哈希分组）让校准能区分"控制字符内的 LSB 决策"与"ASCII 大写字母内的 LSB 决策"等本质不同的标定模式。第三，把 Tweedie 放在所有融合之后（post-blend）而非 PPM 之后（pre-blend），使其校正的是整个集成（PPM+Match+Word+HighCtx）的系统偏差；消融实验证明该位置带来约 2.6-2.8% 的稳定增益，比放在融合前（仅 1.2-1.6%）高出近一倍，理由是 match/word/high-ctx 各自引入过自信或欠自信偏差，需要 Tweedie 在末端统一校准。
方法步骤详情
完整管线对每个字节 $x_i$ 执行 14 个步骤（Algorithm 1）：① PPM 预测返回三元组 $(p, C, k)$，$p \in \Delta_{255}$ 是 256 维分布、$C = \sum_s c_k(s)$ 是上下文总计数、$k$ 是匹配的 PPM 阶；② 归一化 $p$；③ Match 层用最长上下文匹配，若找到则在 $P_\text{match}(s_\text{predicted}) = (c+\epsilon)/(\sum_{s'} c(s') + 256\epsilon)$ 处加权混合，$P_\text{out} = (1-w_m) P_\text{in} + w_m P_\text{match}$，权重 $w_m = \min(c \cdot 0.85, 0.95)$，$c$ 是连续正确预测的累积信任度；④ Word 层对词内字符用 Trie 续接概率，词边界用 bigram 表预测下一词首字节，混合权重 $w_w = \min(c_w \cdot 0.35, 0.45)$；⑤ HighCtx 层在 order 5~8 中找总计数 $N \geq 4$ 的最高阶，$P_\text{hctx}(s) = (c(s)+\epsilon)/(\sum c(s')+256\epsilon)$ 后用置信度 ramp（$\text{conf} = \frac{N-4}{N+8} \cdot 0.4 + 0.1 \cdot (k-5)$）融合，权重 $w_h = \min(\text{conf} \cdot 2.0, 0.60)$；⑥ Tweedie 去噪 $K=3$ 步（Algorithm 2），每步先建立 256 节点的求和树 $S[i] = S[2i] + S[2i+1]$ 自底向上，对 7 个内部节点 $\ell = 0..6$ 计算右子树概率 $P_R = S[2i+1]/S[i]$，按 $(t, \text{bctx}, \text{ord}, \text{shape}, C, p_\text{bin})$ 6 维索引查表得 $\hat{\delta}$，用 James-Stein $\hat{\delta}' = \hat{\delta} \cdot \min(1, \text{SNR}/4)$ 收缩（$\text{SNR} = \hat{\delta}^2 N / V_{are}$，$V_{are}$ 是 bin 内预测误差方差），然后 $P_R' = \text{clamp}(P_R + \hat{\delta}', \epsilon, 1-\epsilon)$；⑦ 自顶向下传播缩放因子 $s_L = (1-P_R')/(1-P_R)$、$s_R = P_R'/P_R$；⑧ 对 256 个叶子施加缩放并重新归一化；⑨ 重算分布形态分箱（按 $p_\text{max}$ 的阈值 0.05/0.15/0.40 分 4 个 shape bin）；⑩ 循环结束 $K=3$ 步后；⑪ 概率量化 $f(s) = \max(1, \lfloor P(s) \cdot T + 0.5 \rfloor)$，$T=16384$；⑫ 转累积频率 cumfreqs；⑬ 算术编码器编码 $x_i$；⑭ 所有 5 层模型用 $x_i$ 增量更新（PPM 加计数、Match 记位置、Word 更新 trie、HighCtx 加计数、校准表累加 4 个充分统计量 sum_pred/hits/total/sum_sq_err），循环直到流末再 ArithEncoder.finish()。解码端调用完全相同的预测管线，保证比特级对称。
技术新颖性
技术新颖性体现在三个层面。第一，理论视角新颖：把"贝叶斯平滑 → 收缩算子 → 扩散前向过程 → 分数函数去噪"这条链路贯通，是统计压缩领域首次显式建立这种联系；校准表的 confidence 维度对应扩散时间步 $t$（噪声水平 $\gamma$），bit context 维度对应条件信息。第二，工程实现精巧：27 个位上下文的层级编码（level 0 仅 1 个、level 1 索引于 bit 7、level 3-7 按高 4 位的 16 种组合哈希分组）使校准既区分本质又控制稀疏；3 步去噪配合"求和树 O(255) 自底向上 + 自顶向下传播"的优化避免了朴素 O(8×256) 的边际化；校准表用 $W=32$ 个伪观测在 bin 中点先验初始化以保证冷启动平滑。第三，位置选择反直觉：传统 SSE 在 PPM 之前做反向传播式纠错，本文则把同等角色的 Tweedie 放在所有融合之后，并证伪"额外可学习参数越多越好"——测试过 logistic mixer、两阶段 SSE、软匹配分布、比特级 APM、近期加权 5 种扩展全部使压缩变差，理由是 count-based 模型与 gradient-based 模型在同一信号上互相干扰；这揭示了在线压缩的偏差-方差权衡强烈倾向简单计数模型。在算法 1 末尾还巧妙用预测缓存机制（Algorithm 2 line 14）复用 word model 的 trie 遍历避免双倍开销。
实验结果
核心实验数据非常亮眼。表 1 显示在 alice29.txt（152,089 字节）上 Midicoth 达到 2.119 bpb（40,274 字节），相比 gzip -9 的 2.851 bpb 节省 25.7%、zstd -19 的 2.589 bpb 节省 18.2%、xz -9 的 2.551 bpb 节省 16.9%、Brotli -q 11 的 2.445 bpb 节省 13.3%、bzip2 -9 的 2.273 bpb 节省 6.8%——这是在字典压缩器传统优势领域（小文件、文学文本）反超所有对手。表 2 显示在 enwik8（100 MB Wikipedia）上 Midicoth 达到 1.753 bpb（21,914,998 字节），相比 xz -9 的 1.989 bpb 节省 11.9%、Brotli -q 11 的 2.059 bpb 节省 14.9%、bzip2 -9 的 2.321 bpb 节省 24.5%；这一优势随数据规模扩大而扩大（100 MB 上相对 xz -9 节省 11.9%，对比 152 KB 上节省 16.9%，体现了自适应模型的规模红利）。表 3 和表 4 的消融研究证明每层都有可测量的边际贡献：alice29 上 PPMC 排除后 PPM 基线 28.06% → +Match 27.90%（+0.57%）→ +Word 27.60%（+1.06%）→ +HighCtx 27.19%（+1.50%）→ +Tweedie 26.47%（+2.63%），总改进 +5.65%；enwik8_3M 上总改进达 +11.14%，其中 Match 单独贡献 +5.56%（长程重复在大文件上的红利），Tweedie 贡献 +2.77%。表 5 进一步汇总跨数据集贡献：Match 平均 +3.07%、Word +0.91%、HighCtx +2.00%、Tweedie +2.70%——Tweedie 是方差最低、最稳定的贡献者（始终在 +2.6~2.8%），强化其作为通用后处理层的论断。表 7 用经验数据验证扩散解释：小文件（alice29）上 $|\hat{\delta}'|$ 从 $\gamma=0.5$ 时的 0.017 单调降至 $\gamma=0.015$ 时的 0.0002，符合"噪声越大修正越大"的预期；但大文件（enwik8_3M）上高置信 bin 因 SNR 通过 James-Stein 阈值而激进修正（$\gamma=0.015$ 时仍达 0.021），证实了自适应机制的智能切换。表 6 给出吞吐：alice29 ~48 KB/s、enwik8_3M ~60 KB/s、enwik8 ~42 KB/s，全程单核 CPU，比 CMIX 的 0.5-5 KB/s 快约 10-100×。算术编码器 14 bit 量化在 alice29 上反而省了 985 字节（因为舍入作为正则化轻微平滑了噪声概率）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| alice29.txt 压缩（Canterbury Corpus, 152,089 字节） | bpb (bits per byte) | 2.119 | xz -9: 2.551；Brotli -q 11: 2.445；bzip2 -9: 2.273；zstd -19: 2.589；gzip -9: 2.851 | vs xz -9 -16.9%、vs bzip2 -9 -6.8%（全部字典压缩器被反超） |
| enwik8 压缩（LTCB 100 MB Wikipedia） | bpb (bits per byte) | 1.753 | xz -9: 1.989；Brotli -q 11: 2.059；bzip2 -9: 2.321；zstd -19: 2.156 | vs xz -9 -11.9%、vs Brotli -q 11 -14.9% |
| alice29.txt 压缩（vs 重型上下文混合） | bpb | 2.119 | PAQ8px -8L: 1.728；CMIX v21: 1.635；ts_zip: ~1.142；Nacrith: 0.918 | 落后 PAQ8px -8L 约 0.39 bpb、落后 CMIX 约 0.48 bpb、落后 Nacrith 约 1.20 bpb |
| enwik8 压缩（vs 重型系统） | bpb | 1.753 | PAQ8px -12L: ~1.27；CMIX v21: ~1.17；ts_zip: ~1.11；Nacrith: 0.939 | 落后 CMIX 约 0.58 bpb、落后 Nacrith 约 0.81 bpb（约 46% 的剩余可压缩信息来自预训练语言知识） |
| 压缩吞吐（单核 x86-64 CPU） | KB/s | ~42-60 KB/s（alice29 48、enwik8_3M 60、enwik8 42） | CMIX: 0.5-5 KB/s；LLM-based: GPU-dependent | 比 CMIX 快约 10-100×，无需 GPU |
| 消融：Tweedie 层贡献（alice29） | 压缩率相对改进 | +2.63%（26.47% / 40,262 B） | 放在融合前（仅 PPM 后）仅 +1.2-1.6% | post-blend 位置相比 pre-blend 增益近 2× |
| 消融：完整管线相对纯 PPM 改进 | 总压缩率改进 | alice29 +5.65%（28.06%→26.47%）；enwik8_3M +11.14%（28.18%→25.04%） | PPMC 排除后纯 PPM 基线 28.06%/28.18% | 5 层融合在大文件上加倍放大收益 |
| PPMC 排除的基线效应 | 压缩率（无排除） | PPMC 排除后 28.06%/28.18% | 无排除 PPM 60.23% (alice29) / 46.93% (enwik8_3M) | PPMC 排除本身就是最大单一改进点（40-50 个百分点） |
局限与改进
作者在 6.5 节明确承认 4 点局限。其一，小文件性能：alice29（152 KB）已击败所有字典压缩器，但 <50 KB 的文件上上下文观测不足、管线开销相对过大，可能丧失优势。其二，PPM 阶数上限 4：最长只能捕获 4 字节上下文，order 5~8 虽由独立 HighCtx 模型补充但仍弱于 LZMA 的 64 MB 滑动窗口；这是为什么 LZMA 系（xz）在重复数据上仍强。其三，二进制数据差：词模型和高阶上下文模型对可执行文件、图像等几乎没有信号（缺乏词结构和高阶统计稳定性），会被专用二进制压缩器反超。其四，单线程顺序处理：管线的自适应与顺序特性使并行化困难，未利用多核 CPU。我自己的额外观察包括：① 与 CMIX/PAQ 相比，字节级而非比特级处理损失了亚字节统计模式（0.48-0.58 bpb 差距主因），校准虽然做到了二叉树层级但下游算术编码仍是 256-way；② 校准表 6 维（155,520 条目）是经验选择，没有信息论最优性证明；③ 算术编码器用 14 bit 量化虽省 985 字节，但当真实概率分布极偏时（如 $P_\text{max} > 1/16$）仍可能成为瓶颈；④ 完全依赖 Jeffreys 平滑作为前向噪声过程，没有考虑其它更"温和"的先验（如 Helmert、Haldane、Dirichlet($\epsilon$) for $\epsilon \ll 0.5$）对去噪管线的影响；⑤ 对罕见或对抗性输入（如随机字节流），校准表永远停在伪观测先验处，Tweedie 修正会回到零，可能反而不如纯 PPM。
独立分析的弱点
独立审视后我认为有 4 个值得改进的弱点。第一，位级预测缺失：PAQ/CMIX 在比特级混合数百模型能捕获 0.5-1 字节级别的统计模式（如字母 LSB 中的语言规律），Midicoth 在字节级融合 5 个模型，错失了 LSB 决策中的细微结构信息，改进方向是在 Tweedie 内层加比特级 APM（Adaptive Probability Map）或在 HighCtx 后加比特级 mixer，目标把 1.753 → ~1.5 bpb。第二，混合权重硬编码：Match、Word、HighCtx 的混合权重公式 $w_m = \min(c \cdot 0.85, 0.95)$、$w_w = \min(c_w \cdot 0.35, 0.45)$、$w_h = \min(\text{conf} \cdot 2.0, 0.60)$ 都是作者手工调的经验式（基于常数 0.85、0.35、2.0 等），缺少 learning rate 自适应机制，改进方向是用一段在线 logistic 回归或 EMA（指数移动平均）估计最优混合权重，让 $w_m, w_w, w_h$ 自适应数据分布。第三，校准表维度手工化：27 个位上下文、4 种 shape、8 种 conf、20 种 pbin 都是经验网格，没有理论保证，改进方向是引入数据驱动的自适应分箱（如基于 K-means 或贝叶斯非参 Dirichlet process 的概率 binning）让 bin 边界自适应数据，或者加入 Bayesian model selection 自动选择每维的最优 bin 数。第四，没有并行化：管线串行无法利用现代多核 CPU（即使消费级 CPU 也有 8-16 核），改进方向是把 byte stream 分块后用独立的 calibration table 实例并行处理，最后用 cross-block mixing 合并（注意需要处理块间边界匹配和共享 PPM context 的问题，可能用 lock-free 数据结构或延迟更新）。
未来方向
作者在 6.6 节提出 4 个未来方向：① 把 PPM 直接扩到 order 6 或 8 并优化内存管理；② 测试更多去噪步 K（>3）的边际收益，文中 K=3 vs K=2 还有约 0.3% 收益但 K=4 < 0.05%；③ 加二进制专用模型（x86 指令解码、图像像素预测、H.264 帧内预测）；④ 信息论层面分析最优校准粒度，让 bin 数随数据量自适应。基于成果可进一步延伸：⑤ 把微扩散后处理思想推广到神经语言模型的概率分布上，实现"LLM 概率 + 扩散式校准"压缩——Nacrith 的 0.939 bpb 表明 0.81 bpb 差距的近一半可能通过这种 hybrid 获得而无需重训 LLM；⑥ 把二叉树 Tweedie 思想移植到其它离散分布任务（token prediction for RL、推荐系统排序、分类校准），把 256-way softmax 当作通用校准对象；⑦ 用小型 neural network 参数化校准表，配合稀疏化让 6 维 → 神经 embedding（而非手工 155,520 条目），可能捕获 bin 之间的相似性；⑧ 引入贝叶斯非参数方法（Dirichlet process 或 Gaussian process）替代手工分箱，自动确定 bin 边界和 bin 数；⑨ 把 micro-diffusion 用于解码加速——只在不确定的 byte 上跑全 3 步去噪，确定的 byte 跳过 step 1-2；⑩ 与 federated learning 结合，多用户共享 calibration table 但保持隐私。
复现评估
复现性非常友好。代码完全开源在 https://github.com/robtacconelli/midicoth，约 2000 行 C（header-only 模块 + 2 个驱动文件），仅依赖 libm；编译用 `gcc -O3 -march=native`，无 GPU、无预训练模型、无外部数据集；确定性比特级 encoder-decoder 对称。所有实验在单核 x86-64 CPU 上跑，时钟测量用 `clock_gettime(CLOCK_MONOTONIC)`；基准测试使用公开标准数据集（Canterbury Corpus 的 alice29.txt 和 Large Text Compression Benchmark 的 enwik8），所有字典基线（gzip -9、xz -9、bzip2 -9、Brotli -q 11、zstd -19）作者本地复测，PAQ8px -8L 也是本地跑（-12L 和 CMIX v21、Nacrith、ts_zip 从已发表结果引用）。理论上任何熟悉 PPM 与算术编码的工程师在 1-2 天内即可复现 alice29 上的 2.119 bpb 和 enwik8 上的 1.753 bpb；唯一潜在门槛是 6 维校准表的 155,520 条目内存（约 4.7 MB）和二叉树 Tweedie 的多步反向扩散实现（约 100 行核心代码）。enwik8_3M 子集（3 MB）是作者从 enwik8 前 3 MB 截取的，没有公开标准但容易自行复现。论文没有提供模型 checkpoint（因为没有神经网络），也没有提供训练数据要求，整体复现难度低于同等效果的 PAQ/CMIX 链路（后者需数小时调试 mixer 权重和 APM 表）。
论文图表