"我可能没有表达清楚"：在推理时诊断大语言模型推理中的动态不稳定性 "I May Not Have Articulated Myself Clearly": Diagnosing Dynamic Instability in LLM Reasoning at Inference Time

方法分为三个阶段。第一步：推理时记录。在模型解码过程中，每步记录top-k token的对数概率（默认k=50），生成上限为128个新token。对于每个时间步t，将top-k分布截断并归一化到连续两步token集合的并集 $\bar{V} = V_t \cup V_{t-1}$ 上，得到 $\tilde{p}_t$。第二步：逐步计算不稳定性信号。对每步计算分布偏移 $D_t = JSD(\tilde{p}_t, \tilde{p}_{t-1})$（使用自然对数，范围 $[0, \ln 2]$）和熵 $H_t = -\sum_x \tilde{p}_t(x) \ln \tilde{p}_t(x)$，然后组合为不稳定性信号 $I_t = D_t + \lambda H_t$（固定 $\lambda = 1$，不进行超参数调优以避免事后偏差）。第三步：轨迹级汇总与诊断。计算不稳定性强度 $S = \max_t I_t$（捕捉瞬时尖峰）以及早期窗口版本 $S_w = \max_{t \leq w} I_t$（控制轨迹长度混淆）。同时计算峰值相对位置 $\rho = t^*/T$，用于区分纠正性和破坏性不稳定性。整个计算复杂度为 $O(Tk)$（可流式处理，工作内存 $O(k)$）。对于每条轨迹，根据S的分位数将样本分为五个桶，报告每桶准确率；同时计算Spearman相关系数和AUCwrong评估分离能力。

本文的技术新颖性体现在三个层面。第一，方法论层面：与已有的过程监控方法不同，本文的方法完全基于单次推理的黑箱token概率，不需要隐藏状态访问、额外模型、多样本运行或任何训练/微调。这使得方法可以无缝应用于任何提供token log probabilities的标准API。第二，理论层面：作者给出了从内部状态变化到可观测分布变化的下界定理（Theorem 1），证明在温和的局部光滑性假设下，连续步骤的JSD可以下界内部状态变化的范数，为使用token分布作为推理稳定性代理提供了理论支撑。第三，概念层面：将不稳定性区分为"纠正性"和"破坏性"两种模式，引入峰值时机 $\rho$ 作为恢复能力的代理指标，这是以往工作未明确提出的。虽然Mao等人(2026)也将置信度视为时间信号并使用信号时序逻辑（STL）挖掘时间模式，但他们的方法需要多样本生成和STL挖掘，而本文方法仅需单条轨迹。

我对本文有几个独立的弱点分析。第一，$\lambda$ 固定为1且不进行调优虽然是为了避免事后偏差，但这也意味着该参数可能不是最优的。在不同模型、不同任务上，分布偏移和不确定性的相对重要性可能不同。改进方向：可以设计一个基于小规模验证集的自动$\lambda$选择策略，或使用自适应权重（如基于每步JSD和熵的相对动态范围）。第二，不稳定性强度 $S = \max_t I_t$ 仅使用单个时间步的最大值，丢弃了轨迹中所有其他步骤的信息。改进方向：可以考虑使用加权平均、分位数或峰值附近的局部积分等更丰富的汇总统计量，或使用时序特征（如不稳定性信号的持续时间、上升斜率等）。第三，"早期"和"晚期"的阈值（$\rho < 0.25$ 和 $\rho > 0.5$）是手动设定的，虽然作者验证了对阈值选择的鲁棒性，但这些粗粒度划分可能掩盖了更细粒度的时间模式。改进方向：可以使用自适应阈值或连续的峰值时机特征替代二元分类。第四，实验主要在较小的模型（0.5B-8B）上进行，更大的模型可能展现出不同的不稳定性模式，因为它们通常具有更强的推理能力和不同的失败模式分布。改进方向：扩展到更大模型（如70B+）和更多推理密集型任务（如代码生成、复杂数学证明）。第五，该方法是诊断性的而非干预性的——它告诉你推理何时崩溃，但不提供如何纠正的方案。改进方向：可以将不稳定性信号与解码时干预机制（如回退、重新采样）结合，构建一个"不稳定性感知"的解码策略。

作者提出的研究方向和基于本文成果可延伸的方向包括以下几个方面。作者明确指出未来工作应包括跨更多任务和更大模型的广泛评估，以验证方法的普适性。此外，作者暗示了将诊断转化为干预的可能性——如果能够实时检测不稳定性，或许可以在检测到高不稳定性步骤时触发纠正机制（如回退到更早的步骤、切换到不同的推理策略）。基于本文的"纠正性vs破坏性"框架，一个自然的延伸方向是研究什么样的干预能够将"破坏性"不稳定性转化为"纠正性"不稳定性。另一个有价值的方向是将不稳定性信号与过程奖励模型（PRM）结合，PRM提供步级别的正确性评估，而不稳定性信号提供步级别的稳定性评估，两者互补可能产生更强的过程级监控。此外，可以探索不稳定性信号在对齐（alignment）场景中的应用——例如，在RLHF训练过程中监控模型推理行为是否出现不稳定的退化。最后，将本文的理论框架（Theorem 1和Theorem 2）扩展到非自回归解码设置（如扩散语言模型）也是一个开放问题。

本文的可复现性较高。作者强调方法是模型无关的（model-agnostic）、无需训练的（training-free）且可复现的。具体而言：（1）代码可用性——作者提到所有结果通过项目仓库中的脚本生成，配有固定配置文件；（2）数据——使用标准公开数据集（GSM8K测试集1319样本、HotpotQA distractor验证集7405样本），无需额外数据收集；（3）算力需求——方法本身计算开销极低（$O(Tk)$ 复杂度，可流式处理），但需要运行推理来收集token log probabilities。对于GSM8K-300实验，使用的是1B-8B规模的模型，在单GPU上即可运行；（4）关键配置——top-k默认为50（k=10时信号会明显减弱），生成上限128 token，$\lambda = 1$ 固定不变。复现的主要挑战在于需要访问模型的top-k log probabilities，而不同推理框架返回的信息粒度可能不同。此外，作者使用了指令微调模型以减少格式混淆，复现时需要使用相同的模型版本。总体而言，只要有标准的推理API和token log probabilities输出，该方法可以方便地复现。