大型语言模型能否预测自身失败？基于内部电路的自我意识机制 Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits

Gnosis 的工作流程分为四个步骤。首先，输入提取：从冻结的 LLM 获取最后一层隐藏状态 H_last in R^{S x D} 和所有层的注意力图 A = {A_{l,h}}_{l=1..L, h=1..H}，其中 S 是总序列长度（提示词 + 生成），D 是隐藏维度，L 是层数，H 是每层的注意力头数。第二步，固定预算压缩：对于隐藏状态，应用自适应平均池化将序列维度压缩到固定长度 K_hid，得到 H_tilde in R^{K_hid x D}；对于注意力图，每个 A_{l,h} in R^{S x S} 被下采样到 k x k 的固定网格，得到 A_tilde = {A_tilde_{l,h}}_{l,h}，其中每个 A_tilde_{l,h} in R^{k x k}。第三步，双流编码：隐藏状态通过局部时序编码器（多尺度膨胀卷积 + SE 模块）捕捉局部依赖，然后通过全局集合编码器（Set Attention Block + Pooling by Multihead Attention）聚合为 z_hid in R^{D_HID}；注意力通过逐图特征提取器（CNN + 统计特征）得到每个图的 v_{l,h} in R^{d_grid}，排列成层-头网格后用轴向卷积和 PMA 聚合为 z_attn in R^{D_ATTN}。第四步，融合与预测：将两个描述符拼接 z = [z_hid; z_attn]，通过门控 MLP 映射为标量正确性对数，经 sigmoid 得到概率 p_hat = sigma(GatedMLP_phi(z)) in [0,1]。

Gnosis 的技术新颖性体现在三个方面。首先，它首次系统性地利用了完整的内部轨迹——之前的内部信号方法要么使用统计特征（如熵、特征值）这类脆弱的启发式规则，要么仅探查最终 token 的隐藏状态，而 Gnosis 同时建模隐藏状态演化的时空模式和注意力路由的结构模式。其次，固定预算架构是设计上的巧妙之处：通过将变长轨迹压缩到固定张量，使得推理成本与序列长度解耦，这在长上下文场景中带来巨大优势（24k token 下比 8B 奖励模型快 99 倍）。第三，跨尺度零样本转移的发现具有理论意义：在 1.7B 模型上训练的 Gnosis 头可以直接判断 4B 和 8B 同族模型的输出，且 AUROC 达到 0.93（对比专门训练的 0.96），这暗示幻觉作为结构不变量在模型尺度间保持。此外，注意力统计分支提供了可解释性——通过测量注意力熵、对角质量、中心-扩散等指标，可以理解什么样的注意力模式对应可靠推理。

基于独立分析，Gnosis 存在几个可改进的弱点。第一，对短问答任务的注意力信号贡献有限：在 TriviaQA 上，仅使用隐藏状态的 HIDDEN-ONLY 变体（0.87 AUROC）与完整 Gnosis（0.87）几乎相同，这意味着注意力编码器在这类任务上几乎不提供额外价值，浪费了计算资源。未来可以设计自适应架构——根据任务类型动态激活注意力流。第二，注意力统计特征的可解释性尚未充分探索：虽然论文定义了熵、对角质量等统计量，但没有详细分析这些指标与错误类型的具体关联。第三，训练仅使用正确/错误的二元标签，忽略了错误的严重程度（例如计算错误 vs 完全跑题）。改进方向：引入细粒度的错误分类（如推理错误 vs 事实错误 vs 格式错误），使用多任务学习让 Gnosis 同时预测正确性和错误类型，这将提供更丰富的调试信号。第四，跨架构转移的能力尚未验证——论文仅在同族模型（Qwen3）间测试转移，Gnosis 是否能用于判断 Llama、Mistral 等完全不同架构的模型？这需要进一步研究。第五，对于极端长序列（如 100k+ token），固定预算策略可能导致信息损失。改进方向：设计层次化压缩策略，在保留全局结构的同时保留关键位置的高分辨率信息。

作者提出了几个未来研究方向。首先是将 Gnosis 扩展到多模态场景——当前的框架仅处理文本，但视觉-语言模型的幻觉可能通过类似内部信号检测。其次，探索 Gnosis 与测试时扩展（Test-Time Scaling）的结合——当 Gnosis 检测到低置信度时，自动触发多样本推理、思维链细化或升级到更强模型，实现计算感知的自适应推理。第三，研究 Gnosis 在训练时监督（Training-Time Guidance）的应用——在 RLHF 或 DPO 训练中，用 Gnosis 作为轻量级奖励模型替代昂贵的奖励模型，降低训练成本。基于本文成果，还可以延伸几个方向：（1）错误类型诊断——扩展 Gnosis 输出细粒度的错误标签（如事实幻觉、推理不一致、计算错误），帮助用户理解和修复错误；（2）对抗性鲁棒性研究——测试 Gnosis 是否能检测对抗性攻击诱导的幻觉；（3）理论分析——深入研究为什么内部轨迹在模型尺度间保持不变，这可能揭示 LLM 泛化的本质规律；（4）端到端集成——将 Gnosis 直接嵌入模型架构，在训练时联合优化生成和自我判断能力，可能进一步提升性能。

论文提供了较好的复现支持。作者声称代码和模型将开源（GitHub 链接待发布），这允许社区验证和扩展。训练数据是自动生成的：使用 DAPO-Math-17k 的英语部分（约 14k 竞赛风格问题）和 TriviaQA 训练集的 40k 子样本，完全无需人工标注，这使得复现成本极低。训练过程高效：即使在最大的 gpt-oss-20B MoE 骨干上，完整流程（数据生成 + 训练）在 2×A100 80GB GPU 上仅需约 12 小时，云成本约 25 美元。评估基准是公开的（AMC12、AIME、HMMT、TriviaQA、MMLU-Pro），且论文在附录中提供了骨干模型的原始准确率、幻觉率和无响应率统计，便于其他研究定位基线水平。一个潜在的复现难点是冻结骨干模型的获取——OpenAI gpt-oss-20B 是 2025 年发布的开源模型，但可能需要特定的许可证；不过，Qwen3 系列模型是公开可用的。另一个细节是注意力图的提取：某些推理框架（如 vLLM）可能需要修改才能输出所有层的注意力图。总体而言，复现难度中等偏下，主要挑战在于计算资源（需要大显存 GPU 运行 20B 模型）和注意力图提取的技术细节。