非周期结构永不坍缩:用于无损压缩的斐波那契层次结构 Aperiodic Structures Never Collapse: Fibonacci Hierarchies for Lossless Compression
利用斐波那契准晶体平铺的无限层次特性,构建永不坍缩的词级字典压缩器,证明非周期结构在压缩效率上严格优于周期性方法
前置知识
准晶体
准晶体是一种具有长程有序但无平移对称性的结构,于1984年由Shechtman等人在实验中发现。一维准晶体可以通过切割投影方法生成:将二维整数格投影到直线 $y = \alpha x$ 上,当 $\alpha$ 为无理数时产生非周期的L和S两种图块序列。这种结构的关键特征是其自相似性和非周期性,使得在任何尺度下都保持结构丰富性。
论文使用斐波那契准晶体作为文本解析的基础结构,其非周期性保证了层次结构永不坍缩,这是压缩优势的数学基础。
Sturmian序列
Sturmian序列是最简单的非周期二进制序列,由Morse和Hedlund在1940年研究。一个序列是Sturmian的当且仅当它同时满足三个性质:(1)非周期性,(2)1-平衡性(任意两个等长窗口的L计数差不超过1),(3)最小因子复杂度 $p(n) = n+1$(即长度为n的互不相同的子串数量正好是n+1)。斐波那契词是Sturmian序列的典型例子,对应于斜率为 $1/\phi$ 的无理旋转编码。
Sturmian性质确保了代码本的最大覆盖效率——只有 $F_m+1$ 种不同的图块类型模式,使得代码本的每个条目都能在最大比例的位置上被使用,避免了稀疏区域。
Pisot-Vijayaraghavan数
Pisot-Vijayaraghavan数(简称PV数)是大于1的代数整数,其所有代数共轭的绝对值都严格小于1。黄金比例 $\phi = (1+\sqrt{5})/2 \approx 1.618$ 是最小的二次PV数,其共轭 $\psi = (1-\sqrt{5})/2 \approx -0.618$ 满足 $|\psi| < 1$。PV数的关键性质是其生成的替换系统具有可识别性——每个双向无限词都有唯一的去替换方式。
黄金比例 $\phi$ 是PV数这一事实确保了斐波那契替换系统的层次结构永不坍缩,同时使得解码器能够从相位信息中唯一重建整个平铺层次。
算术编码
算术编码是一种熵编码技术,由Witten等人于1987年提出。与Huffman编码不同,算术编码可以将整个消息编码为0到1之间的一个实数区间,理论上可以达到信源的熵极限,误差不超过一个比特。它使用区间划分技术:随着每个符号的处理,有效区间不断缩小,最终输出一个落在最终区间内的任意二进制小数。论文使用24位精度的自适应算术编码器,配备Fenwick树加速。
Quasicryth使用算术编码对词索引和标志进行编码,能够充分利用代码本的统计特性,特别是在不同层次级别上使用不同的上下文模型以捕获长程依赖。
替换矩阵和特征值分析
替换系统的替换矩阵M的项 $M_{ij}$ 表示在符号j的替换中出现符号i的次数。对于斐波那契替换 $\sigma: L \to LS, S \to L$,其替换矩阵为 $\begin{pmatrix} 1 & 1 \\ 1 & 0 \end{pmatrix}$。该矩阵的特征方程为 $\lambda^2 - \lambda - 1 = 0$,特征值为 $\lambda_1 = \phi \approx 1.618$ 和 $\lambda_2 = \psi \approx -0.618$。Perron-Frobenius定理指出,对于非负不可约矩阵,存在唯一的最大实特征值及其对应的正特征向量。
替换矩阵的特征值分析证明了斐波那契层次的稳定性——频率向量是 $\phi$ 的特征向量,因此在每次去替换后仅按比例缩放而不改变方向,这解释了为何L/S比例恒为 $\phi$ 且永不坍缩。
研究动机
传统的层次字典压缩方法在深层尺度下会遇到根本性的结构问题:当底层解析策略基于周期性结构时,层次在有限层级后会完全坍缩。具体来说,对于周期为p的周期性平铺,在深度 $k^* = \lceil \log_\phi p \rceil$ 之后,所有超级图块都变成同一类型,导致所有深层n-gram查找位置消失。例如,Period-5平铺(LLSLS重复)在深度3时全为L,深度4时全为S,因此从深度5开始无法提供任何21-gram、34-gram或更深层次的查找位置。这意味着即使语料库规模增长到1GB(enwik9的298,263,298个词),周期性方法的压缩优势也被永久锁定,无法利用深层结构中固有的长程短语依赖。
本文的目标是本文的核心目标是证明并实现一种基于非周期准晶体结构的压缩引擎,其层次结构可以无限延伸而永不坍缩。具体而言,作者旨在:(1)从数学上证明斐波那契准晶体平铺在任何深度 $k \ge 0$ 都同时保留两种图块类型,从而在所有层次上提供 $F_k$-gram查找位置;(2)构建实用的压缩器Quasicryth,实现十层深度(最多144-gram)的斐波那契替换层次;(3)量化非周期优势,证明对于具有长程短语依赖的信源,斐波那契层次的编码熵严格低于任何周期性替代方案;(4)在标准基准上展示竞争力,超越bzip2并接近xz的压缩比。
与已有工作不同的是,本文的独特切入角度是将数学物理中的准晶体概念首次引入到无损压缩的解析策略设计中。现有压缩器要么使用字节级滑动窗口(LZ77家族),要么使用固定长度的词级框架,要么通过统计上下文模型(PPM、PAQ)预测下一个符号。Quasicryth采取了根本不同的范式:解析策略本身由一维准晶体确定,而不是自适应选择。斐波那契平铺 $\sigma: L \to LS, S \to L$ 生成非周期二进制序列,其中每个超级图块的位置和尺度都由几何方式确定,同时提供 {2, 3, 5, 8, 13, 21, 34, 55, 89, 144} 词的n-gram查找位置。决定性的性质是这种层次永不坍缩:与任何周期性平铺不同,斐波那契准晶体在所有尺度上都维持两种图块类型,因为黄金比例 $\phi$ 是Pisot-Vijayaraghavan数且该平铺是Sturmian的。
核心方法
Quasicryth的整体思路是将词级字典压缩的解析过程交给一个确定性的准晶体结构来指导。直觉上,文本中的短语重复模式具有层次性——短短语(如“the”)无处不在,中短语(如“the quick brown”)中等常见,长短语(如完整的句子或跨越多个句子的技术术语)在特定语境中重复。传统方法需要显式地检测和编码这些模式,而准晶体平铺天然提供了多尺度的“采样位置”:每个词位置根据其在斐波那契层次中的结构角色被分配到适当的n-gram级别。技术路线如下:(1)将输入文本词元化得到W个词标记序列;(2)构建11个频率排序的代码本,对应短语长度 {1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144}(前11个斐波那契数);(3)通过切割投影方法生成36个准晶体平铺(12个黄金比例相位 + 6个原始非黄金平铺 + 18个通过贪心alpha搜索发现的优化平铺);(4)对每个平铺应用逆斐波那契替换构建深度层次结构;(5)收集所有36个平铺的深层匹配,通过贪婪非重叠选择(最深层匹配优先)为每个词位置分配最优编码级别;(6)使用多级自适应算术编码编码级别和索引,采用order-2级别上下文、最近缓存、双层unigram和词级LZ77等优化技术;(7)将代码本未命中(OOV词)分离到并行LZMA压缩流。
核心创新点是利用斐波那契准晶体的数学性质来保证压缩层次的结构完整性。与已有方法的本质区别在于:(1)非周期性保证层次永不坍缩:由于 $\phi$ 是PV数,斐波那契替换的频率向量是特征向量,在每次去替换后仅缩放而不改变方向,因此L/S比例恒为 $\phi$ 且永远非零;(2)Sturmian最小复杂度保证最大代码本效率:在层次m级只有 $F_m+1$ 种不同的图块类型模式,大小为 $C_m$ 的代码本达到覆盖效率 $\eta_m = C_m/(F_m+1)$,这是所有非周期二进制平铺中的最大值;(3)尺度不变覆盖:潜在词覆盖 $C(m) = P(m) \cdot F_m \to W\phi/\sqrt{5}$ 在每个层次上都相同,位置数量衰减和短语长度增长的两个指数效应通过 $\phi^2 = \phi + 1$ 恰好抵消;(4)有界解析开销:每词标志熵 $h_{\text{flags}} \le 1/\phi \approx 0.618$ 比特/词,无论层次多深,这是几何级数收敛的结果。任何周期性平铺都不可能同时满足这些性质。
方法步骤详情
方法步骤的完整描述如下:步骤1(大小写分离):输入字节流被词元化为词和标点符号标记。每个标记被分类为小写、首字母大写或全大写,产生3符号标志流,用24位精度的自适应算术编码器编码(order-2上下文,9个上下文来自前两个标志,可变字母表Fenwick树模型)。剩余流水线对全小写标记流操作。步骤2(词元化):小写流被分割为词标记:每个标记要么是最大字母运行(尾部空白被吸收),要么是尾部空白的单个非字母字节。产生W个词标记序列(enwik9上W=298,263,298)。步骤3(多级代码本构建):从词标记序列构建11个频率排序的代码本,对应短语长度 {1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144}。所有n-gram代码本都被过滤,要求每个构成词都出现在unigram代码本中。对于 $n \ge 13$ 的n-gram,频率计数器定期修剪(每500K条目删除单例)以防止大输入上的内存溢出。序列化的代码本用LZMA压缩(enwik9规模上仅533,680字节)。步骤4(准晶体词级平铺):v5.6使用36个非周期平铺,来自多个无理数族:12个黄金比例($\alpha = 1/\phi$)平铺,相位均匀间隔 $1/\phi$;6个原始非黄金平铺(各2个来自 $\alpha = \sqrt{58}-7$, noble-5, $\sqrt{13}-3$);18个通过迭代贪心alpha优化发现的优化添加。贪心搜索通过测量现有平铺的边际深层位置增益来评估候选 $\alpha$ 值,然后提交最佳候选并重复。此过程发现了远端无理数如 $\alpha = 0.502$(远低于黄金比例 $1/\phi \approx 0.618$),在所有黄金比例平铺不可及的位置提供大量三元组和5-gram覆盖。所有36个平铺通过切割投影方法生成准晶体L/S序列。步骤5(深度替换层次构建):应用逆斐波那契替换(去替换/放气)于每个层次级别。逆规则为 $\sigma^{-1}: (L, S) \to \text{super-L}, L \to \text{super-S}$。在去缩放级别k,级别k的超级L图块跨越 $F_{k+2}$ 个词,其中 $F_n$ 是第n个斐波那契数。函数detect_deep_positions()跟踪每个L图块向上通过层次:图块位置 $t_i$ 可以且仅可以在所有直到k的级别中是超级L的最左子节点时尝试级别k的n-gram查找,且跨度正好覆盖 $F_{k+2}$ 个词。来自所有36个平铺的深层匹配被收集到位置索引数组中,然后贪婪非重叠选择(最深层匹配优先)为每个词位置分配其最优编码级别。步骤6(多级自适应算术编码):编码在贪婪选择分配的基础上逐事件进行。五个交互机制产生最终位流:(a)order-2级别上下文:级别决策使用order-2上下文模型,条件为(prev_level, prev_prev_level),产生 $12 \times 12 = 144$ 个专用12符号自适应模型;(b)上下文条件索引:索引模型条件为前一级别,每个代码本级别12个变体;(c)最近缓存:每个编码级别64条目最近缓存实现move-to-front缓存。每个索引事件首先检查缓存;命中时仅编码缓存位置(比完整索引便宜得多);(d)双层unigram:unigram索引模型分割为公共(索引0–4,095)和稀有(4,096–63,999)层,带1位层标志。每层有自己的自适应模型,公共词实现16×更快适应;(e)词级LZ77:词级LZ77传递扫描事件流中的3+连续(级别, 索引)元组序列。匹配编码为(偏移, 长度)对,带对数尺度偏移编码,替换匹配事件的个别AC符号。步骤7(分离LZMA转义流):代码本未命中(OOV词)被收集到单独缓冲区作为长度前缀原始字节序列。缓冲区用LZMA压缩。此双流架构至关重要:算术编码流仅包含紧凑整数索引和二进制标志,而稀有词在LZMA下高效压缩,归因于其自然词典聚类。步骤8(输出组装):压缩文件格式包含魔数、原始大小、小写大小、词数、标志、各种大小字段、载荷、案例数据、代码本(LZMA)、转义流(LZMA)和MD5校验和。
技术新颖性
技术新颖性体现在多个方面:(1)首次将准晶体替换系统用作无损压缩的主要解析机制。现有压缩器从未利用解析结构的非周期性作为压缩优势的来源。(2)证明斐波那契层次的非坍缩性质。作者提供了形式化证明(定理2和3),使用替换矩阵的Perron-Frobenius特征向量分析、$\phi$ 的PV性质和Weyl等分布定理。任何周期性平铺在 $\lceil \log_\phi p \rceil$ 级别内坍缩,而斐波那契层次无限延伸。(3)建立Sturmian结构作为压缩引擎。作者展示Sturmian性质如何直接转化为压缩益处:平衡确保均匀代码本覆盖,非周期性防止层次坍缩,最小复杂度最大化代码本条目重用——形式化为Sturmian代码本效率定理(定理7)和金发姑娘推论(推论8)。(4)36种多结构平铺引擎。版本5.6扩展纯斐波那契设计到36个平铺:12个黄金比例斐波那契相位,6个原始非黄金无理平铺,18个通过迭代贪心alpha搜索发现的优化添加(包括 $\alpha = 0.502$,远低于黄金比例,贡献大量三元组/5-gram覆盖)。编码器内部扫描所有36个候选并选择每块最佳平铺;解码器确定性地重建完整平铺而不需压缩头中的任何平铺参数。(5)深度层次激活的实证量化。在enwik9规模(298M词),89-gram和144-gram级别首次激活,分别贡献5,369和2,026个深层命中——这些位置在结构上对任何周期性平铺都不可用。从100MB到1GB的33×优势跳转是两个新线性项激活的离散签名,而非现有项的超线性制度。(6)信息论上的严格不等式。定理16证明对于任何具有长程短语依赖的信源,斐波那契层次的每词编码熵严格低于任何在深度m之前坍缩的周期性平铺。这是完全信息论不等式,不仅仅是组合论的不等式。
实验结果
核心发现包括实验验证了理论预测的非周期层次优势。在标准文本基准上的压缩性能:在enwik8(100MB,27,731,124词)上,Quasicryth在多结构模式下达到26,247,496字节(26.25%),在Fibonacci-only模式下达到27,026,429字节(27.03%)。在enwik9(1GB,298,263,298词)上,Quasicryth在多结构模式下达到225,918,349字节(22.59%),在Fibonacci-only模式下达到234,560,637字节(23.46%)。Quasicryth现在在所有基准上超越bzip2,并接近xz压缩比。深度层次命中计数分析显示,从enwik8到enwik9的深层命中总数23倍增加(108,971 → 2,512,927)对应于10倍大小增加,由两个效应驱动:(1)现有级别4–7的 $O(W)$ 缩放;(2)级别8–9的激活,共同添加7,570个新深层命中(在较小尺度上完全不存在)。这实证确认了 $O(W)$ 缩放和激活阈值公式 $W_m^* = T_m \cdot \phi^{m-1}/r_m$。A/B测试验证了非周期优势:在相同代码本、相同转义流、相同算术编码模型下,仅解析策略不同的Fibonacci与Period-5比较显示优势从3MB的36,243字节增长到1GB的11,089,469字节——对于333倍大小增加是306倍增长。这种超线性增长确认了89-gram和144-gram级别在enwik9规模激活,添加新 $O(W)$ 项将总优势推向超过enwik8的线性预测。多结构平铺优势分析:enwik8上payload缩小778,933字节(-3.57%),enwik9上缩小8,642,288字节(-4.56%)。多结构平铺将深层命中重新分配到更深级别:enwik8上55-gram计数增加56%,34-gram增加20%,21-gram增加18%,而13-gram略微减少。由于更深层命中用单个AC符号编码更多词(55-gram编码55词对比13-gram平均4.2词),这种重新分配实质性提高编码效率。压缩/解压时间分析显示C实现比等价Python原型快约50倍。多结构压缩比Fibonacci-only慢约38%,因为编码器评估36个平铺而非12个;解压时间相同,因为解码器仅重建选定平铺。压缩/解压不对称性随文件大小增长(enwik9多结构模式下高达33×),因为89-gram和144-gram频率计数在10M+词规模主导代码本构建。非对称性使Quasicryth特别适合写一次、读多次场景,如归档存储、内容分发和静态Web资产。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本压缩(enwik8) | 压缩比(%) | 26.25(多结构) | gzip -9: 36.44, bzip2 -9: 29.00, xz -9: 24.86 | 优于bzip2 2.75pp,接近xz 1.61pp |
| 文本压缩(enwik9) | 压缩比(%) | 22.59(多结构) | gzip -9: 32.26, bzip2 -9: 25.40, xz -9: 21.57 | 优于bzip2 2.81pp,接近xz 1.02pp |
| 非周期优势(vs Period-5) | payload节省字节 | 11,089,469(1GB) | 0(周期性坍缩) | 超线性增长,306倍提升对应333倍数据增长 |
| 深度层次命中(enwik9) | 级别4-9总命中数 | 2,512,927(Fibonacci-only) | 0(Period-5在级别4坍缩) | 89-gram和144-gram级别贡献7,395个结构上不可用于周期性平铺的命中 |
| 解压吞吐量 | MB/s | ~22(所有规模) | N/A | 稳定吞吐量,压缩成本在多次解压中摊销 |
局限与改进
局限性分析包括作者承认的挑战和独立观察的弱点。计算开销方面:压缩高度不对称且计算昂贵。在enwik9规模(1GB),多结构压缩耗时1,476秒(~0.68 MB/s),而解压仅需45秒(~22 MB/s)。压缩/解压比高达33×。这是结构后果,不是优化伪影:压缩执行三个昂贵操作(36平铺相位搜索、最多144词的n-gram频率计数、36平铺评分循环的完整层次构建),而解压仅从2字节相位确定性地重建平铺,无需搜索、n-gram计数或频率表。代码本大小限制:为防止内存溢出,代码本条目被人为限制(unigram最大64,000,递减到144-gram最大500),频率计数器定期修剪(单例每500K条目删除)。这限制了代码本的实际容量,可能丢失低频但有用的长短语。作者承认此权衡,但未提供系统分析。仅适用于文本:Quasicryth是词级压缩器,专门针对自然语言文本设计。其收益来自词级短语重复模式,这在文本中丰富但在二进制数据中稀缺。作者承认图像和视频需要二维准晶体扩展(如Penrose或Ammann-Beenker平铺),但未实现。贪心alpha搜索是启发式:36个平铺通过迭代贪心alpha优化发现,每次选择提供边际深层位置增益的候选。这不是全局最优,可能错过更好的平铺组合。作者未提供平铺选择问题的复杂度分析。89-gram和144-gram激活阈值高:在enwik8(27.7M词),89-gram和144-gram代码本空(0命中),在enwik9(298.3M词)激活。这意味着这些深层级别仅在非常大规模语料库上贡献,限制了Quasicryth在小文件上的实用性。依赖已知文本结构:Quasicryth假设文本具有层次短语结构,这种假设在Wikipedia等结构化文档上成立,但在其他类型的文本(如代码、电子邮件、聊天记录)上可能不同。作者未评估在这些领域上的性能。
独立分析的弱点
独立分析的弱点包括:(1)小文件上的性能不佳。在alice29.txt(152KB,36K词)上,Quasicryth达到35.60%,接近gzip(35.63%)但劣于bzip2(28.40%)和xz(31.88%)。这是因为深层代码本需要足够的重复短语来填充条目;在36K词级别,89-gram和144-gram代码本无法形成有效条目。改进方向:实现自适应代码本大小,根据输入规模动态调整最大n-gram长度;对小文件使用在线代码本(LZW风格)避免静态代码本冷启动惩罚。(2)压缩时间过长。1476秒压缩1GB对于实时或交互式应用不可接受。改进方向:实现多线程代码本构建(n-gram频率计数可以并行化);使用更高效的哈希表或近似计数(如Count-Min sketch)加速深层级别;预先计算和缓存常见平铺模式;增量代码本更新避免全量重算。(3)仅英语文本。作者在Wikipedia(主要是英语)上评估,但代码本大小和短语模式在不同语言间差异显著。改进方向:系统评估多语言基准;语言特定的代码本大小和修剪策略;处理表意文字(中文、日文)的分词集成。(4)贪心平铺选择非最优。36个平铺通过贪心搜索选择,可能错过协同组合。改进方向:将平铺选择建模为组合优化问题,使用近似算法(如贪心+局部搜索)或机器学习方法(根据文本特征学习最优平铺集);动态平铺选择,基于局部文本统计选择平铺而非全局评分。(5)缺乏流式处理支持。Quasicryth需要两遍(代码本构建+编码),无法流式处理任意大文件。改进方向:实现增量代码本更新和在线统计收集;分块处理带重叠窗口以保持跨块短语;可配置的内存使用 vs 压缩比权衡。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的。(1)更深层层次。级别10–11(233-gram,377-gram)将在约3GB和30GB分别激活。层次永不坍缩;每个新级别向非周期优势添加 $O(W)$。(2)全面基准测试。在Canterbury、Silesia和Calgary语料库上的系统评估,以建立Quasicryth在更广泛文本类型上的性能概况。(3)高阶上下文混合。PAQ风格上下文混合,其中替换层次在多个尺度提供结构化上下文,带在线学习混合权重。当前单一自适应模型足以在现有增益上实现5×压缩时间增加而压缩比改进<0.1%。(4)二维扩展。对于图像数据,Penrose或Ammann-Beenker平铺可以提供更丰富图块类型字母表(≥4图块类型)的层次上下文,将准晶体压缩原则扩展到2D。作者提出此方向但未实现。(5)自适应平铺参数。当前平铺参数(斜率 $\alpha$,相位 $\theta$)静态选择。未来可以根据局部文本特征动态调整,或使用强化学习从数据中学习最优平铺策略。(6)与其他压缩方法集成。Quasicryth专注于结构压缩,可与统计方法(如神经网络语言模型)组合以捕获语义结构。准晶体层次可提供硬结构约束,而神经网络提供软统计先验。(7)理论扩展。作者证明了斐波那契准晶体的非周期优势,但其他准晶体(如使用其他PV数)的性质未探索。可以研究其他替换系统(如Thue-Morse序列)在压缩中的适用性。
复现评估
复现评估显示Quasicryth相对容易复现但有特定要求。开源情况:作者提供了源代码(https://github.com/robtacconelli/quasicryth),使用ANSI C99实现,约4000行代码。无SIMD或硬件特定优化,使用标准库和liblzma(用于LZMA压缩)。数据:所有基准均为公开可用的标准数据集:Canterbury Corpus(alice29.txt)、Large Text Compression Benchmark(enwik8, enwik9)。enwik8是100,000,000字节Wikipedia XML,enwik9是1,000,000,000字节Wikipedia XML。作者还提供了部分数据集的子样本(enwik8_3M前3,000,000字节,enwik8_10M前10,000,000字节)用于尺度分析。算力:所有实验在单核上运行;不使用多线程。在enwik9规模(1GB),压缩耗时1,476秒(~25分钟),解压耗时45秒。现代CPU(4核)可以在一小时内完成完整实验套件。内存使用:代码本构造是内存瓶颈。在enwik9规模,89-gram和144-gram频率计数主导内存使用(约2GB),作者通过定期修剪单例缓解此问题。16GB内存应足够运行所有实验。难度:复现主要挑战是C代码和编译(需要C99编译器和liblzma开发库),但不存在复杂的依赖或专有框架。算法描述足够详细,可在不参考源代码的情况下重新实现。实验报告全面:作者提供压缩比、压缩/解压时间、深层命中计数、代码本大小、A/B测试结果等。图和表格清晰,但某些图表缺乏置信区间或多次运行的标准差。文档:README和内联注释描述构建和使用。作者未提供重现实验的具体脚本(如下载基准、运行完整套件、生成表格),但这相对容易编写。总体评估:Quasicryth高度可复现,开源、使用标准数据、描述清晰、算力要求适中。主要阻碍是理解准晶体数学和C开发环境设置。
论文图表
此图展示了斐波那契平铺在多个去缩放级别上的层次结构。每个级别通过一次放气规则$\sigma^{-1}$应用获得。所有L-和S-超级图块类型在每个深度k都存在,启用跨越{3, 5, 8, 13, 21, 34, 55, 89, 144, ...}词的n-gram代码本查找。
这张图可视化地证明了定理2(斐波那契稳定性)——两种图块类型在所有深度都持续存在。它与Period-5等周期性平铺形成对比,后者在有限级别后坍缩为单一图块类型。图是层次永不坍缩主张的直观证据。
此图展示深层层次命中(级别4–9,Fibonacci专属)每词 vs 语料库规模的对数对数图。标签显示绝对命中计数。比率从enwik8_3M到enwik8大致平坦(约 $4 \times 10^{-3}$);在enwik9,级别8–9激活,比率跳转到 $8.4 \times 10^{-3}$,确认新 $O(W)$ 项。
这张图实证验证了定理13(分段线性优势)和定理12(激活阈值)。它显示深层命中的缩放行为——在级别激活前保持平坦,激活时跳转。从100MB到1GB的33×优势跳转在图中清晰可见,这是两个新线性项激活的离散签名。