FLEET：从Logits熵到增强轨迹的文本生成 FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation
用熵触发+记忆化树搜索替代无记忆温度采样，同预算精度更高且快3倍
前置知识
温度采样
在softmax前将logits除以温度参数$T>0$，即 $P_T(x_i)=\exp(l_i/T)/\sum_j \exp(l_j/T)$，$T$越大分布越平缓、采样越随机。它是LLM生成多样候选的标配方法，但完全无记忆：每次采样都不知道之前生成过什么、效果如何。
FLEET正是针对温度采样的无记忆性与样本低效提出替代方案，理解其机制才能看清论文动机与基线设置。
条件熵与varentropy
条件熵 $H(X)=-\sum_x p(x)\log p(x)$ 衡量整个输出分布的总不确定性；varentropy $V(X)=\sum_x p(x)(\log p(x)+H(X))^2$ 衡量对数概率围绕熵的离散程度。同义词簇会让熵虚高但varentropy平稳，多峰决策点则两者同时飙升，二者互补。
FLEET用 $H>\tau_H \wedge V>\tau_V$ 的联合触发来定位关键分叉点，这是算法的入口开关。
Logit Lens
一种可解释性技术：把中间层隐藏状态 $h^{(l)}_t$ 直接乘语言模型头并softmax（$l^{(l)}_t=W_U h^{(l)}_t+b_U$），观察模型在中间层'预演'的输出分布。最终层概率常被平滑，中间层信号更尖锐、不确定性更敏感。
FLEET从中间层提取熵信号并用于状态聚类，层选择校准也依赖logit lens一致率指标。
UCT与pUCT
蒙特卡洛树搜索中评估动作的公式：$UCT(s,a)=Q(s,a)+c\sqrt{\ln N(s)/N(s,a)}$ 在利用与探索间平衡；pUCT引入先验策略 $P(s,a)$，即 $pUCT(s,a)=Q(s,a)+c_{puct}P(s,a)\frac{\sqrt{N(s)}}{1+N(s,a)}$，适合词表这类超大动作空间。
FLEET借用pUCT判定哪些已探索token是次优的，进而对这些token施加logit惩罚。
不相交集合（DSU）
经典并查集数据结构：维护元素的等价类，每个集合有代表元，find定位、union合并，复杂度近线性。VectorDSU借其'代表元中心'的组织思想，用余弦相似度阈值 $\tau$ 把连续隐藏状态在线归并为离散的搜索状态。
VectorDSU是FLEET的记忆载体，理解DSU才能明白状态合并、虚拟连通与轨迹元数据的组织方式。
Pass@k
评估采样 $n$ 次后取前 $k$ 个候选至少一个正确的概率，无偏估计为 $Pass@k=1-\binom{n-c}{k}/\binom{n}{k}$，$c$ 为正确候选数。它刻画测试时算力随预算扩展的收益曲线，是测试时扩展研究的标准指标。
论文所有对比均以Pass@k/Pass@32为主指标，FLEET因确定性解码另用前缀式定义（前$k$条含正确解即为1）。
研究动机
温度采样是当前LLM测试时扩展（多次采样聚合择优）的主流手段，但它是无记忆的：每次采样都不知晓先前生成及其评价结果，随着样本数增加，语义重复候选的比例不断上升，收益递减。论文把问题拆成三点：(a) 样本低效——生成中只有少数关键'分叉点'决定成败，当最优token并非概率众数时，采样持续把概率质量浪费在不可行候选上，全局正确轨迹的联合概率随分叉点数量指数衰减，而调高温度只会不加区分地放大所有步骤的方差，破坏本已稳定的生成；(b) 缺乏选择性探索——大量自回归步骤是低熵的句法性内容（标点、虚词、确定性代码语法），本不该随机化，top-k/top-p/min-p 截断只能部分缓解；(c) 超参脆弱——$T$、$k$、$p$、$p_{min}$ 组成高度参数化且无统一理论基础的搜索空间，最优配置对提示、模型与任务高度敏感。实验中基线为求公平需在留出集上用贝叶斯搜索反复生成来优化温度（GSM8K取$T=0.6$、LiveCodeBench取$T=0.8$），代价高昂且难以迁移。
本文的目标是本文目标是把'盲目采样'升级为'有记忆的系统化搜索'：在不改动模型权重和原解码器的前提下，引入一个轻量记忆机制，把每次生成的评价反馈（可验证奖励或奖励模型分数）累积到历史状态-动作层面，从而在后续生成中对已被证伪的分支施加定向logit惩罚，把候选预算集中到尚未探索的可行分支上。量化目标是：在相同候选预算下精度不低于重复采样且更快达到同等精度（论文报告3倍加速），在更难的编码任务上显著超越基线（LiveCodeBench Pass@32 从59.9%到66.2%），同时用单次校准流程取代反复的贝叶斯超参搜索，且只需对现有LLM推理管线做最小修改。
与已有工作不同的是，已有的自适应采样方法（状态显著性检测+动态参数调制，公式(7)那种按状态调温的策略）能缓解缺陷b和c，但无法解决缺陷a——因为它们不感知补全的奖励，无法区分该探索还是该利用；而标量温度调整本质上不可能只放大特定有效token而不抬高整个分布的方差，寻找'最优温度'是错位的目标。FLEET的独特切入是把解码重新表述为对补全空间的树搜索：用熵-varentropy双指标定位分叉点，用VectorDSU把连续隐藏状态离散化为可复用的记忆节点，再用pUCT评估动作并以'软约束'形式的logit惩罚介入解码。这与beam search（仍只依赖模型似然）、自适应温度（无奖励感知）、完整MCTS（需在词表上穷举展开）都不同——它把奖励历史直接注入每一步的logits，且整棵'树'只以代表元向量+元数据的形式存在于内存中。
核心方法
直觉上，FLEET让模型'记住走过哪条路、哪条路好'。技术路线分四层：(1) 不确定性检测：从中间层 $L$ 提取隐藏状态 $h^{(L)}_t$，经Logit Lens投影到词表计算条件熵 $H$ 与varentropy $V$，当 $H>\tau_H \wedge V>\tau_V$ 时判定为分叉点；(2) 状态离散化：用VectorDSU按余弦相似度阈值 $\tau_{dsu}$（实验取0.9）把隐藏状态归并到簇 $C(h)=\arg\max_i SC(h,\mu_i)$，每个簇记录转移元组 $M_t=\langle a_t, C_{t+1}, \bar R(s_t,a_t)\rangle$（动作、下一状态、累积奖励）；(3) 评估回传：每条轨迹完成后由评估器（真值验证器或Skywork-Reward-V2）打分 $R$，更新各(状态,动作)的平均奖励 $\bar R$ 与访问计数 $N$；(4) 软惩罚介入：对已探索但非pUCT最优的动作按 $\hat l_{t,a}=l_{t,a}-\lambda\cdot\mathbb{I}[\cdot]$ 施加惩罚后贪心解码。Algorithm 1在最优奖励<1且预算 $B>0$ 时循环，并用立方根调度 $\rho(i)=\min(i^{1/3},100\%)$ 逐步放宽阈值触发率目标，保证搜索后期仍能扩展。
核心创新是把'无记忆的温度采样'替换为'带记忆的确定性搜索'，本质区别在于反馈利用方式：温度采样的每次生成相互独立，FLEET则把评价信息持久化在状态-动作粒度，使后续生成能主动避开已证伪分支、转投未探索token。支撑这一想法的两个关键设计：其一，VectorDSU利用softmax的Lipschitz连续性与平移不变性，保证余弦相似度 $SC(h_1,h_2)\ge\tau$ 蕴含投影分布KL散度有界（$D_{KL}(P_1\|P_2)\le\epsilon$，公式(14)），从而可以用'代表元+元数据'的低内存方式合并语义等价状态、防止轨迹重复探索，且无需保留全部高维成员向量；其二，对pUCT的自回归改造——一个token动作的后继是分布而非单点，故 $Q(s,a)$ 取所有已知后续结果的期望奖励；同时把top-$k$ 内 $N(s,a)=0$ 的未探索token聚合成一个'探索动作'（先验质量 $\sum_{a\in U(s)}P(s,a)$，默认先验1，已探索动作默认0.5），使已知次优token被逐个惩罚、未知候选保持联合可选，早期天然偏向探索。
方法步骤详情
完整流程见Algorithm 1，分校准与搜索两阶段。校准：(1) 层选择：用复合分数 $S(L)=R_{match}\cdot S_{silhouette}-\Delta_{expected}$ 评估候选层（一致率×轮廓系数−期望偏差），选定GSM8K用 $L=26$、LiveCodeBench用 $L=27$；(2) 阈值：用二维GMM对联合分布 $(H,V)$ 聚类（经验为级联簇拓扑而非象限分割），取主分量边缘得 $\tau_H,\tau_V$；(3) 重采样温度：退火至'探索尾部质量首次超过top-1'的临界点（约2.9）；(4) $\tau_{dsu}$：取散度上界 $\mu+2\sigma$ 低于容差0.05的最小相似度。搜索：输入生成器 $G$、评估器 $RM$、提示 $P$、预算 $B$；每步取 $h^{(L)}_t$，经logit lens算 $H,V$ 并更新滑窗缓冲；若触发则经FindOrCreate映射到簇，对原始logits减去簇惩罚表的 $\lambda$ 惩罚后贪心解码并RegisterAction，否则按原始logits解码；轨迹结束（上限1024 token）后 $RM$ 打分并回传更新 $\bar R,N$；若触发率低于 $\rho_i$ 则放宽 $\tau_H,\tau_V$，预算减一，直至最优奖励达1或预算耗尽。
技术新颖性
技术新颖性有四点：(1) VectorDSU本身：不同于对全部高维向量维护union-find图，它只保留代表元向量与紧凑元数据，成员经由在线分配与历史合并形成'虚拟连通'，代表元可固定或作为运行质心更新，大幅省内存并支持并行查找与空间划分加速；(2) pUCT的适配：语言生成中单步动作的后继是分布，作者把 $Q(s,a)$ 改为结果期望，并用聚合探索动作处理未探索token集合，避免在数万词表上穷举展开，先验 $P(s,a)$ 由施加 $T_{resample}$ 的重采样logits给出；(3) 工程解耦：VectorDSU结构更新与簇级惩罚表可在每轮生成结束后离线批处理，在线阶段只需隐藏态查表和减惩罚，因此兼容已编译图的生产推理后端；(4) 超参获取方式转变：每个超参对应明确的机制功能，单次校准通过（基线却需贝叶斯搜索反复采样优化温度）。此外FLEET以软约束叠加在原解码器之上，不要求改动下游评估，且生成的token级归因轨迹数据比单一序列正确标签更丰富，具备SFT/RL数据潜力。
实验结果
实验在Llama 3.2-3B上进行，每题 $n=32$ 条轨迹、上限1024新token，ORM用Skywork-Reward-V2。真值验证下：GSM8K基线（$T=0.6$）Pass@32为97.27%（1283题），FLEET达97.80%（1290题，+0.53pp，多解7题），基线近饱和增益有限；LiveCodeBench（222道2023年12月后easy题）基线（$T=0.8$）59.90%（133题），FLEET达66.21%（147题，+6.31pp，多解14题），是主要增益来源；Pass@k曲线显示FLEET扩展更陡峭稳健，且以约3倍少的采样达到基线同等精度。ORM引导下：GSM8K上ORM选择的FLEET为83.62%，略低于基线85.44%（-1.82pp），但候选池真值复评仍为97.80%（+12.36pp），说明ORM引导未导致reward hacking；LiveCodeBench上ORM选择25.22%（56题）仍高于基线19.36%（43题，+5.86pp），候选池真值评估高达69.37%（154题，+50.01pp）。这暴露出奖励排序鸿沟：ORM选中精度0.2522远低于池内正确率0.6937；但混合配置（ORM密集路由+真值终选）比纯真值引导再多解7题，证明连续奖励对内部搜索路由仍有价值。
局限与改进
作者承认的局限：(1) 需直接访问并补丁模型内部激活，不像温度采样可纯后处理作用于输出logits，纯logit版本预计更耗内存算力且可能性能下降；(2) 在归纳与深度反思等认知状态下失效，反思态对推理模型日益核心，贪心式确定性选择反而有害，与'思考型'模型协同性差；(3) 生成文本偶发噪声，次要token可能退化为乱码，作者提议轻量模型改写但未验证。我的补充：(4) 仅评测单一稠密3B模型，MoE/多模态/更大模型的校准迁移性未知；(5) GSM8K近饱和（97%+），主结论依赖222道easy题的LiveCodeBench子集，代表性存疑；(6) $\lambda$ 动态取最大logit、默认先验0.5均为启发式而非原则化选择；(7) '3倍加速'是精度等价的预算加速，未报告墙钟时间——每步激活提取、logit lens与查表开销可能侵蚀收益；(8) 跨会话记忆迁移与多worker并行加速均未量化。
独立分析的弱点
(1) 评估器是单点故障：ORM实验已显示排序鸿沟（选中0.2522 vs 池内0.6937），而惩罚信号恰源自评估器，若其系统性偏好某种文风，搜索会被误导至'奖励幻觉'分支；可引入多评估器一致性过滤、低置信度奖励降权或过程奖励模型。(2) 状态聚类漂移风险：代表元若固定为首个成员，长会话中语义簇可能碎片化，$\tau_{dsu}=0.9$ 在3B模型校准、是否随规模稳定缺乏消融；应对比质心更新变体并给出阈值缩放律。(3) 熵触发误检/漏检：同义词簇造成熵假阳性，真正的语义分叉也可能藏在低熵位置；可补充基于嵌入聚类的语义等价检测作二次过滤。(4) 与推理模型的冲突未解决：反思态判定只是经验观察，可训练轻量状态分类器在分叉、归纳与反思态间动态切换解码策略。(5) 评测面偏窄：应在LiveCodeBench hard、竞赛级代码与agentic任务复验增益，并补充墙钟延迟与显存测量。
未来方向
作者明确提出的方向：量化多worker共享搜索记忆的并行加速（worker认领不同高分分支以减少轨迹重叠）；把VectorDSU产生的token级归因轨迹数据（哪些高概率动作被尝试过、经验奖励如何、与替代动作的对比）用于SFT或RL训练；用轻量语言模型修复结构性token退化为乱码的噪声；评估跨会话/跨域元数据迁移的收益。基于成果可延伸：把FLEET的软惩罚与推测解码或CUDA图融合以消除在线查表开销；研究反思态的自动检测与解码策略切换，使其兼容o1类推理模型；把'奖励排序鸿沟'本身作为研究问题——搜索候选池69.37%正确率与ORM终选25.22%之间约44pp的差距，可用排序校准、成对比较或多ORM投票来补齐；在更大模型与MoE架构上检验校准管线（层选择分数 $S(L)$、GMM阈值、$T_{resample}$ 临界点、$ au_{dsu}$）的可迁移性，给出超参随模型规模的缩放规律；亦可探索把确定性搜索与少量随机重启结合，兼得探索多样性与稳定性。
复现评估
复现条件较好：论文声明算法源码与实验开源（https://github.com/Alexiush/fleet），基于Hugging Face Transformers与nnsight实现，后者提供低开销的内部激活检查与前向过程中动态logit干预；仓库提供确切checkpoint、软件版本、提示词与实验配置，LiveCodeBench的222题筛选规则与任务列表、GSM8K的2-shot构造例程（附录A）均可获得。主要门槛在算力与工程细节：需能加载Llama 3.2-3B并做中间层激活干预的GPU环境，ORM另需Skywork-Reward-V2（同样基于Llama 3.2-3B，额外一份显存）；每题32条轨迹×数百题的生成本体不重，但校准管线（层扫描、GMM、温度退火、$ au_{dsu}$ 曲线）需要额外的生成与统计；Figure 3.1的四个诊断图可作为校准是否成功的对照。注意 $\lambda$ 动态设为最大logit、默认先验0.5等启发式在文中只有一句话描述，复现消融时需自行推断；总体属中等难度复现，单卡可承受3B模型规模。
论文图表
Skywork-Reward-V2引导下随预算扩展的Pass@k曲线。GSM8K（图a）：ORM评估曲线出现平台并相对FLEET真值复评曲线（97.80%）持续拉开差距，说明代理奖励模型对结构多样的候选排序失准；LiveCodeBench（图b）：FLEET的ORM选择曲线保持并扩大对基线的优势（25.22% vs 19.36%），显示熵引导的结构化探索在不完美奖励下退化更慢。
揭示方法在无真值的真实部署场景中的关键瓶颈——奖励排序鸿沟，同时证明ORM引导不会使搜索reward hacking，是解读Table 4.3数字背后机制的重要图。