对抗性投机推理：把草稿模型变成上下文精度分配器以提升长程智能体 Adversarial Speculative Reasoning Improves Long Horizon Agents

第一步，噪声测量：固定前缀于内存，同一验证前向重复 $R=4$ 次，比较参考 top-4 token 与实际发射 token 的 $|\Delta\log p|$（GLM 测 1631 位置、DeepSeek 测 1294 个），排除预填充噪声；再把源回合 token 分别经验证与解码路径写入 KV 缓存，对其后最多 128k token 教师强制打分（96 任务）。第二步，定位决策点：裁判即目标模型本身，逐字提取提交句（≤35 词）；GLM 用'决策框架'偏好（原则/证据框架正确率约 70% 为偏好侧，likely/risk/simpler 约 36% 为对抗侧），DeepSeek 用'是否跑测试'偏好。第三步，构造分叉对：以提交句前推理为共享前缀，temperature 1、top-p 0.95 重采样（GLM $n{=}16$ 得 2,843 对、留出 6 任务；DeepSeek $n{=}12$ 得 6,391 对、留出 10% 任务），按任务划分防泄漏。第四步，训练：窗口内反向 DPO，$L=-\log\sigma(\beta[r_\theta(y_w)-r_\theta(y_l)])+\alpha\,\mathrm{NLL}_\theta(y_w)$，$\beta=10$，窗口为提交句前 32 token 至句末加 128 token 线性衰减（跑测试偏好取前 512 token）；GLM 训 DFlash2 六层与 norm（2.15B 参数），DeepSeek 用 QAT 训 DSPARK 注意力、norm 与 bigram 头（449M），冻结专家与路由。第五步，部署：只换草稿，验证规则与输出分布不变。

新颖性体现在四个层面。概念上：首次实证'投机验证分布无损但精度不均匀'，用两套互补测量（滑动窗口验证分离解码与预填充噪声源；跨路径 KV 写入对比隔离长程影响）把精度从系统属性细化为块内位置属性。机制上：给出 $\Pr[\text{reject}]=\mathrm{TV}(p,q)$ 的简洁刻画，把草稿接受与否这一传统上无关紧要的自由度变成上下文精度分配旋钮。训练上：反向 DPO 是全新用法——已有工作要么对齐草稿与目标（DistillSpec），要么放松验证让草稿引导输出（SFAD），本文保持验证精确、只训练草稿偏好'应被拒绝的框架'；可训练参数仅占系统 0.28%（GLM）与 0.06%（DeepSeek），还需把推理专用不可微的 DSPARK 移植到可微 PyTorch（每专家误差 $10^{-7}$），并对 FP8 权重按部署块格式做 QAT。实证上：通过方向对照（正向草稿掉 4.9/1.4 点）与无关偏好对照（27 次运行合并 p=0.83）证明收益来自'拒绝落点'机制本身，而非'训练过草稿'这一动作。

独立分析后有几点值得推敲。第一，评估统计薄弱：5 次运行、113/104 个任务，DeepSeek 主结果的 CI 含零；改进方向是增加运行次数、按任务配对 bootstrap 并报告难度分层增益。第二，'决策点'与'偏好'的构造高度依赖人工先验：决策框架分类学来自对 GLM 轨迹的审计，跑测试偏好来自对 DeepSeek 失败模式的分析，换模型就要重做轨迹审计；改进方向是自动从失败轨迹聚类挖掘偏好、用可学习裁判定义决策点。第三，存在未排除的混杂因素：论文用无关偏好对照回应了'任何训练都有增益'的质疑，但未报告对抗草稿下轨迹长度、工具调用次数、思考 token 比例等行为统计，无法完全排除草稿改变了思考结构的可能。第四，工程复杂度过高：需要把推理专用的 DSPARK 可微化并对 FP8 权重做 QAT；改进方向是只训练 bf16 小型附加模块或 LoRA 式参数。第五，收益机制依赖 temperature 1 采样：若部署用更低温度，噪声改变采样核成员资格的概率（12%/47%/84%）会大幅下降，方法收益可能随之减弱，论文对此完全未讨论；对非智能体、短上下文任务的价值也未知。

作者在结论中指向的大方向是把投机解码从加速器重新理解为'上下文精度分配器'，且只训练 0.06%–0.28% 参数即可改变长程行为。基于此可延伸：（1）与批不变 kernel 工作（Thinking Machines Lab 的去非确定性方案）结合做正交实验——完全消除噪声 vs 重分配噪声，直接检验因果假设；（2）把对抗性草稿用于 RL 训练的 rollout 阶段，让训练时的轨迹分布与部署更一致，可能减少 self-conditioning 式的误差累积；（3）自动偏好发现：用失败轨迹聚类自动挖掘'该被拒绝的行为'，替代手工框架分类学，推广到新模型；（4）组合多个偏好（决策框架 + 跑测试）以及动态块宽——按上下文长度或噪声预算调整 $W$；（5）推广到其他长程域：计算机操作智能体、科研智能体、长文档多轮编辑等，检验'关键决策精度持久性'是否是普遍现象；（6）理论化：为 KV 缓存噪声如何经注意力影响下游 logits 建模，预测哪些 token 最值得保护；（7）与更宽验证块、EAGLE-3 等投机解码改进的共存性研究——块越宽噪声增长空间越大，本方法的潜在收益理论上也随之增大。

复现难度中等偏上。有利条件：两个目标模型均开放权重（GLM-5.3-NVFP4 在 HuggingFace 公开），DeepSWE 与 NL2Repo-Bench 基准公开，SGLang 开源；论文对数据规模与超参（$\beta=10$、学习率 $5\times10^{-6}$/$2\times10^{-5}$、$\alpha=0.2$、窗口 128/512 token）及留出划分（GLM 2,843 对留 619 对；DeepSeek 6,391 对留 719 对）描述充分。不利条件：未提及发布对抗草稿 checkpoint 或训练代码；完整复现需 4 张 B200 托管 750B 级模型（NVFP4 + FP8 KV + DSA）抽取隐状态，离线训练 2.15B 或 449M 参数，并把推理专用的 DSPARK 移植为可微实现（对齐到每专家 $10^{-7}$、每阶段输出 3–5%）；决策点裁判还需大规模轨迹生成（GLM 1,668 分叉、DeepSeek 2,203 分叉）。相对而言，第 3 节的噪声测量部分成本低、更易独立复现，是检验核心主张的入口；端到端增益复现基本局限于拥有同等算力与服务栈工程能力的团队。