ConFu：深思未来以提升投机解码质量 ConFu: Contemplate the Future for Better Speculative Sampling

方法流程可拆为四步。第一步 (contemplate token 设计)：在 KV cache 前拼接 $s$ 个可学习 soft prompt token (默认 $s=16$)，在当前输入末尾追加 [con] token；attn mask 限定只有 [con] 能 attend soft prompt，前缀表示不变；目标模型冻结，仅优化 soft prompt 和 [con] embedding。目标模型一次前向即可同时得到下一个 token 和 [con] 位置的隐藏状态——后者即 $f$。第二步 (推理流水线, Figure 2)：草稿模型 (EAGLE-3 同款的单层 Transformer) 在 $f$ 引导下自回归生成 $K$ 个 draft token；$f$ 在整段 draft 生成中固定附在序列末尾，像一个全局锚。第三步 (验证与未来预测同步, Figure 3)：对 draft tree 的 $T$ 个节点各插一个 [con] token，共 $2T$ 个 token 一次并行通过目标模型；目标模型在每个 draft 节点上分别产生 $f_i$；验证完成后取与最后一个被接受 token 对应的 $f$ 进入下一轮。$T$ 通常为 30，开销可控。第四步 (训练)：(a) 用 MoE 替代静态 [con] / [f] embedding——router 取最近一个被接受 token 的隐藏状态 $h_{M_t}^{\text{cat}}$，softmax 选 top-K 专家并加权求和；(b) 训练目标同 EAGLE-3 的 train-time testing，即最小化后续 $L$ 个 token 上 $M_t$ 与 $M_d$ 的 KL 散度；(c) anchor token sampling：每条序列随机抽 $K_{\text{train}}$ 个 anchor，仅在 anchor 位置插 [con]，把序列长度从 $2N$ 降到 $N+K_{\text{train}}$ 以省显存；(d) future prediction replication：对 anchor 周围 $l$ 个邻居复用同一 $f$，鼓励 $f$ 对小扰动鲁棒，避免过拟合到具体 token。

技术上三项独立可叠加的贡献：(1) 首次在投机解码里把 pause/think token 从'训练时让目标模型多算一步'变为'推理时并行掏出未来信号'，并通过 soft prompt 防止污染目标模型自身行为；(2) 把 MoE 引入 pause token 设计，让 [con] / [f] 可随上下文切换不同'专家指令'，是 pause token 文献里首次 dynamic 化；(3) future prediction replication 是一种新型数据增强——通过让 $f$ 同时监督相邻 $l+1$ 个位置的 draft 目标，隐式把 $f$ 优化成'局部不变'的语义摘要。论文也强调这是首个把 continuous latent thought 与投机解码显式桥接的工作。

具体可改进的薄弱点：(1) [con] token 数量随 draft tree 节点数线性增加，60 nodes 时验证一次要处理 120 个 token，对 3B 内存影响 0.02 GB 看似小，但放大到 batch=32 或更长上下文会成为瓶颈；改进方向是利用 future prediction 的鲁棒性，只在少数关键分支节点插 [con]，或者让单个 [con] 同时服务多个分支。(2) 训练数据只有 ShareGPT + UltraChat，风格偏闲聊和指令，对 LaTeX、长文档、代码补全等长程依赖场景的'未来信号'是否仍鲁棒未验证；改进方向是加入 arXiv 长文、The Stack、RepoBench 等长上下文数据。(3) MoE 路由器只接收最后一个被接受 token 的隐藏状态，丢失了更长的上下文信息，可能在长 prefix 场景下失效；可改成对最后 $k$ 个 token 的隐藏状态做池化。(4) 论文没有给出 f 向量的可视化或语义分析，无法判断它到底编码了'未来方向'还是'当前位置'；改进方向是 PCA/对比实验证明 f 与后续 $L$ 个 token 的互信息大于当前位置。(5) 缺乏延迟分解 (prefill vs decode vs verification) 的细粒度 profile，难以判断在 batch=1、GPU 利用率低的场景下 2T 长度目标前向是否被算力利用率惩罚。

作者在 4.1 节末尾明确指出'利用 future prediction 的鲁棒性来减少 [con] token 数量'是后续方向；这是一个有意义的 follow-up。基于论文成果还可延伸：(1) 把 contemplate token 思路推广到 EAGLE 之外，验证在 Medusa、HASS、Sequoia 等框架上'未来信号'是否通用；(2) 与 chunked prefill、paged attention、continuous batching 等服务优化组合，研究 100+ 节点大 draft tree + 大 batch 下的吞吐收益；(3) 让 soft prompt 在线学习 (online adaptation)，让 f 随任务类型 (代码/数学/对话) 自动适配 prompt 集合；(4) 把 f 暴露给人类调试，作为'模型为何这样写'的可解释性信号；(5) 探索 $f$ 与 RLHF 信号的耦合，未来信号是否包含'用户偏好方向'；(6) 在多模态 LLM 中验证 contemplate token 是否对图像 token、音频 token 同样有效。

复现友好度较高。代码与训练流程的多数细节都已描述：目标模型明确为 Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Qwen-3 4B；基线为官方 EAGLE-3 (huggingface yuhuili/EAGLE-LLaMA3-Instruct-8B 与官方 GitHub 仓库)；训练数据 ShareGPT + UltraChat-200K 已公开；软提示 $s=16$、MoE 专家数与 top-K、anchor 抽样率、replication 窗口 $l$ 等超参未完全披露，需要从附录或代码补充；训练硬件 8× H100，复现 8B 完整实验大约需要数日 GPU 时；3B 目标模型的 EAGLE-3 checkpoint 缺失，需自行从零训练，进一步增加复现成本。论文未给出仓库链接 (仅 footnote 提到参考 EAGLE 官方实现)，代码尚未完全开源。SpecBench 是公开 benchmark，评测脚本可复用。