Cactus：基于约束接受度推测采样的自回归解码加速方法 Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling

Cactus 的推理步骤如下：(1) 初始化阶段：维护 draft 模型 $p$、verifier 模型 $q$、超参 $\delta \geq 0$（默认 $\delta=0.75$ 或 $1.0$）。(2) Draft 阶段：与标准 SpS 一致，用 $p$ 自回归生成 $m$ 个候选 token $x_t, x_{t+1}, \dots, x_{t+m-1}$，每个位置独立采一个 $u_i \sim U(0,1)$。(3) 验证阶段：对每个 draft token $n$，用 verifier 计算 $q(n|x_{<t+n})$，然后套用 Cactus 公式 $\gamma^* = \min\{q(n) + \sqrt{2\delta q(n)(1-q(n))}, 1\}$，把"是否接受"的判定从 $\min\{q/p, 1\}$ 修改为 $\min\{\gamma^*/p, 1\}$——注意 $\gamma^* \geq q(n)$，因此接受率严格不小于 SpS。(4) Recover 阶段：若被拒，按 Theorem 2 推出的 $g \propto (\gamma^* - p\cdot p/q)_+$ 形式重采样（实际实现中利用 Observation 1 的等价闭式）。(5) 循环：找到第一个被拒的索引 $c$，接受 $x_t, \dots, x_{t+c-1}$，从 $g$ 采样 $x_{t+c}$，进入下一轮。所有操作只涉及 token $n$ 一个标量（$q_n$）的查表和常数级算术，不需要读完整词表分布。

技术新颖性体现在三个层面。理论层面，这是首次把推测采样显式建模为带 f-散度约束的凸优化问题，Observation 1 把"任意目标分布的最优接受率"抽象成统一形式，Theorem 2 给出闭式解，Theorem 3 证明整体散度有上界 $\Gamma(\delta)$，Proposition 4 还顺带解释了 TAS 的隐式假设——这种"用同一框架统一 SpS、TAS 和 Cactus"的视角是新的。算法层面，Taylor 近似 $\gamma^* = q_n + \sqrt{2\delta q_n(1-q_n)}$ 是一个只读 token $n$ 概率的 O(1) 闭式操作，远比 Mentored decoding 的数值搜索高效（Table 3 中 Mentored 反而比 SpS 慢 20%）；相比 TAS 需要对整个词表计算 surprisal 也节省了大量内存访问。实践层面，论文在 12 个模型 × 6 个 benchmark 上验证了 Cactus 的一致优越性，并发现一个有趣现象——Cactus 在 IFEval 和 GPQA 上经常超过 verifier 模型本身 2 个标准差，作者在 Appendix D 推测这是"健康集成效应"：把 $p$ 和 $q$ 的分布融合比单独用 $q$ 反而更鲁棒。

独立分析 Cactus 的弱点及改进方向：(1) $\delta$ 是全局超参而非 per-token 自适应——论文用同一个 $\delta=0.75$ 或 $1.0$ 处理所有位置、所有层，但实际上 verifier 在不同位置的置信度差异巨大（GPQA 推理链上关键步骤的 $q_n$ 可能很尖锐，无关的承接词 $q_n$ 可能很平坦），理想做法是基于 $q_n$ 和 $H(q)$ 自适应地调节局部 $\delta$。(2) 散度上界是关于单步分布的，但真实生成是长序列——Theorem 3 只证明 $\delta$ 控制每步的瞬时散度，没有给出整体序列分布的 Wasserstein 距离或 TV 上界，长链生成下误差是否累积（compounding error）需要进一步分析。(3) Cactus 没有改变 draft 模型本身，对 draft 质量差的场景（如 0.6B draft 配合 32B verifier）加速效果受限，Table 5 显示 1.7B draft 时 AL=6.78、4B draft 时 AL=7.76，drafter 容量是新的瓶颈。(4) 论文在推理时只考虑 top-$p$/top-$k$ 截断，min-$p$、$\eta$-sampling、contrastive search 等更复杂的采样策略下 Cactus 公式是否仍然成立未验证。改进方向：把 $\delta$ 改成 $(1-H(q)/\log|V|) \cdot \delta_0$ 这样的自适应形式；用 sequential f-divergence bound 替代单步上界；把 Cactus 与 EAGLE-2/3 等更好的 drafter 结合做正交叠加。

作者在 Appendix D 列出了 4 个方向：(1) 模型规模扩展到 70B+、研究 scaling laws 与分布式推理；(2) 把 Cactus 与 LoRA 微调 draft、verifier 校准、序列级知识蒸馏 (Wen et al. 2023 的 f-散度方法) 结合进一步提升 proposal 质量；(3) 通过量化、权值共享、cache 复用、selective offloading、early-exit 降低 draft-and-verify 的额外内存占用；(4) 探索 Cactus 带来的"健康集成效应"——Table 1b 中 Cactus 在 IFEval/GPQA 上比 verifier 高 2$\sigma$ 的现象是否可被显式建模为集成学习。基于结果可延伸的方向还包括：把 Cactus 推广到多模态 LLM（视觉 token 的接受是否需要不同的 $\delta$）、把 Cactus 与 tree-based drafting (SpecInfer) 结合做 tree-aware 的散度约束、以及把 Theorem 3 的 $\Gamma(\delta)$ 函数给出更紧的解析上界。

复现评估：论文开源了代码（https://github.com/MANGA-UOFA/Cactus）并明确列出了 12 个模型的 HuggingFace 链接和 3 个数据集的链接（GSM8K、IFEval、GPQA），复现门槛很低。主要实验使用 Qwen 3 0.6B+8B 单卡即可跑通，A100 40GB 可以完成 0.6B+14B 和 1.7B+32B 的扩展实验（Figure 3 在 A100 上测得）；论文提到 HuggingFace Transformers 框架也能跑通 Spec-Bench 的 1.88× 加速，但 vLLM 能获得更佳性能。代码层面没有报告特别的实现难点，二阶 Taylor 近似 $\gamma^* = q_n + \sqrt{2\delta q_n(1-q_n)}$ 只涉及一次开方和加法，O(1) per token。难点主要在 (1) 复现 Theorem 2-3 的证明需要消化附录 A 的 6 个子证明（每个约 1-2 页）；(2) 不同模型对（Qwen/Gemma/DeepSeek/LLaMA）需要逐个对齐 tokenizer 和 chat template；(3) 评测时 GPQA 的 flexible-extract 正则和 IFEval 的 prompt-level-strict 正则需要严格按照 Qwen/Gao 2024 的规范实现。整体复现难度为中等偏下。