深度天花板：大语言模型在发现潜在规划策略方面的能力上限 The Depth Ceiling: On the Limits of Large Language Models in Discovering Latent Planning
LLM 潜空间多步规划存在深度天花板，仅靠最终答案监督难以突破。
前置知识
链式思维 (Chain-of-Thought, CoT)
让模型在给出最终答案前显式写出中间推理步骤的提示与训练范式，已被证实可以显著提升多步推理任务的表现，并作为模型行为的可审计窗口。
本文的安全立论建立在 CoT 监控可读性的假设上：若模型能在潜在空间完成多步推理，CoT 监控就会被绕过，因此必须理解 CoT 的工作机制。
潜在推理 (Latent Reasoning)
模型在不输出任何中间符号的情况下，仅通过一次前向传播在隐藏状态中完成多步计算的能力，与显式写出推理过程的 CoT 相对。
潜在推理的深度上限直接决定 CoT 监控是否可靠：能潜空间做更深推理的模型就更可能在不被察觉的情况下隐藏意图。
下一词预测与交叉熵损失
自回归语言模型的标准训练目标：在给定前缀的条件下最大化下一个真实 token 的似然，对应单个序列级监督信号，无法显式控制中间推理步。
本文用纯粹的 next-token 损失训练模型，完全不提供中间步监督，从而确保任何发现的策略都必须由模型自主在潜在空间发现。
Star Graph 路径查找
中心节点向外发出 k 条等长的简单路径的图结构 G(k,m)，目标是从源点找到通往指定终点的下一跳；因分支对称，必须经过整条长为 m 的链才能定位正确分支。
作者选择此结构是为了精确控制所需潜在推理步数 m，同时排除任何局部启发式捷径，是测度潜空间深度的理想合成基准。
研究动机
Chain-of-thought 监控是当下大模型安全治理的关键防线之一——监督者通过审阅模型的显式推理 trace 来识别欺骗或恶意行为。然而这种监督的有效性隐含前提：模型无法在潜在表征中完成高质量的多步推理。一旦模型能在单次前向传播里独自执行深层规划，就可以"思考"却不被观察到，CoT 监控就会失效。已有两篇代表性工作给出看似矛盾的结论：Bachmann & Nagarajan (2024) 在 star graph 上报告 next-token 训练完全失败，连很浅的规划都学不到；Saparov et al. (2025) 却通过课程式训练让小 transformer 在单次前向内完成至少 15 步隐式 lookahead。监管者因此无从判断前沿模型在不留痕迹的前提下究竟能潜空间规划多远，这正是本文要回答的核心问题。
本文的目标是本文的目标是给前沿 LLM 在"纯潜在规划"下的能力画出一条清晰的深度上限曲线。具体而言，作者希望在同一受控的 star graph 任务上量化不同规模模型能够自主发现的最大潜空间步数 $\mathrm{LPC}(\pi_\theta, m)$，以及在此基础上能泛化执行的最大步数，并检验 few-shot、fine-tune、zero-shot 三种设定下结论是否一致，最终回答：仅靠最终答案监督时，规模到底能带来多少深度提升？同时把"发现天花板"与"泛化天花板"数值化。
与已有工作不同的是，已有工作的分歧源于把"表征能力"与"策略发现"混为一谈。Saparov 等人的课程包含从浅到深的样本，模型可以在简单样本上"先学会再举一反三"；而 Bachmann 等人则因为完全没梯度信号而得出失败结论。本文的关键切入角度是引入"仅在单一深度 m 上训练、不允许跨深度 bootstrapping"的协议，从而分离两类能力：能表征多步计算 vs. 能在稀疏监督下自主发现多步策略。这种分离恰好对应安全关心的问题——模型是否能在无人教的情况下独立演化出深层隐式推理。
核心方法
作者构建了一类合成任务——star graph 路径查找 G(k,m)，其中 k 是分支数、m 是每条分支长度。模型以自回归方式读入节点编号序列和目标节点，需输出从源节点到目标分支的"下一跳"节点。所有分支对称意味着解决此问题必须沿 v_target 向 v_source 反向传播 m 步信息，因此所需潜在推理深度精确等于 m。整个训练过程只用最终答案上的交叉熵损失，模型无法获得任何中间步的奖励或监督。作者在此设定下系统扫描 from-scratch transformer (1.6M 参数) → Qwen-2.5/3 系列 7B–32B → GPT-4o、GPT-5.4 等前沿模型，并引入 LPC (Latent Planning Capacity)、empirical skill、backtracking ratio 等可量化指标。
方法的核心创新在于对"潜在规划"给出可计算的深度定义：LPC(π_θ, m) = 1 当且仅当模型在某一分支因子 k 下的经验技能值显著高于随机基线 (α = 10^{-5})。配合"渐进训练协议"——从 m=3 起步，模型当前深度成功就加 1，否则停止——可以高效率找到每个模型的"发现天花板"。更具洞察力的设计是把发现与执行分离：在训练最优深度 (k*, m*) 处做单一检查点，然后在所有 m ∈ {3,...,10} 上做 OOD 评估，由此直接观察"训练 m* → 测试 m*+n"的泛化曲线。这是首次用同一实验装置精确量化稀疏监督下自回归模型的潜在规划极限。
方法步骤详情
完整流程分四步：(1) 数据生成——按 G(k,m) 随机抽样 k 条等长路径、随机选一支并指定目标节点，将源点→分支序列以及目标 token 序列化输入；(2) 模型训练——所有模型均采用标准 next-token 预测加交叉熵，仅对答案节点求 loss，训练用网格搜索学习率 1e-5~5e-4 与 batch size；(3) 评估——在固定测试集 N̂=1000 上计算 accuracy，转换为消除随机基线差异的 empirical skill，并据此在 α=10^{-5} 显著性水平下判定 LPC=0 或 1；(4) OOD 泛化测试——锁定最佳训练 checkpoint，在深度 3 至 10 上重新跑一遍，同时对错误样本按到源/目标最短路距离分类为 1-hop / on-path / off-path 三类错误。所有 from-scratch 模型与 Qwen 系列可微调；GPT-5.4 因微调 API 未开放，仅以 few-shot 形式评估，作为发现天花板的代理下界。
技术新颖性
技术新颖性体现在三方面。其一，提出 LPC 与 progressive training protocol，首次把"潜在规划深度"从模糊的"会不会"变为可由显著性检验支持的离散指标。其二，把 Bachmann 和 Saparov 两个看似冲突的结论用"发现 vs 执行"二分重新解释，揭示课程训练之所以成功只是因为它提供了策略 bootstrapping 路径，而非消除了表征瓶颈。其三，引入 backtracking ratio (BR) 作为机制可解释性探针，发现成功策略在注意力层面集中于从 v_target 向 v_source 的反向边，与"前向搜索+回溯"启发式高度吻合。这套组合拳让"潜空间能不能想得很深"从哲学辩论变成了可在合成图上直接读数的实验。
实验结果
作者报告 8 条核心发现。(a) 深度天花板极其顽固：1.6M 参数 from-scratch transformer 在 $m=3$ 几乎全分支成功，$m=4$ 突然跌到随机基线；加深深度、增宽维度或加多头都无法突破。(b) 规模主要扩宽而非加深：Qwen-2.5/3 系列 7B→32B 在 $k=10,m=3$ 几乎完美，但微调后规划深度仅 3→5 步，$m=6$ 全回随机 (Figure 1)。GPT-5.4 zero-shot $\mathrm{LPC}=5$、few-shot $\mathrm{LPC}=7$，与可微调上限一致。(c) 发现与执行解耦：$m=6,7,8$ 直接训练全失败，$m=5$ 训练的 Qwen-3-32B 在 $m=8$ 仍高于随机，泛化天花板比发现天花板高 1~3 步 (Figure 2)。结构化错误分析表明绝大部分失败是 on-path (Qwen-2.5-7B 95%)，即"找对分支却走不到底" (Figure 3)。对照实验：加显式回溯 CoT 监督后仅 20 步就能解 $m=20$，瓶颈在稀疏信号下的策略发现本身。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Star Graph G(k,m) 潜在路径查找 (m=3..8) | Latent Planning Capacity (LPC, 1=显著高于随机) | From-scratch transformer: LPC=3；Qwen-2.5-7B/8B: 3~4；Qwen-3-32B 与 GPT-4o (微调): 5；GPT-5.4 (few-shot): 7 | Bachmann & Nagarajan (2024): LPC=0 (完全失败)；随机猜测 skill=0 | 在统一设定下复现/扩展了 Bachmann 的失败结论，但揭示其在 m=3 仍可成功，同时在更大模型上扩展至 LPC=7 |
| OOD 泛化 (训练 m* 测试 m>m*) | Empirical skill (相对随机基线) | Qwen-3-32B: m*=5 测试 6/7/8 仍显著高于随机；GPT-4o: 推广至 m=9 | 直接训练 m=6/7/8 的同结构模型: skill≈0 | 泛化天花板比发现天花板高 1~4 步，揭示" 发现-执行"分离 |
| 误差结构分析 (k=10, deep) | on-path 错误占比 | Qwen-2.5-7B: 95% on-path；GPT-4o: 86%；Qwen-3-8B: 79%；Qwen-2.5-32B: 46%；Qwen-3-32B: 11% | 随机猜测基线模型: 所有错误均匀分布 | 高 on-path 比例说明模型"找到对的方向但走不到底"，是深度天花板的具体形态 |
局限与改进
作者坦承的主要局限有三点。首先，实验仅在 star graph 这一高度对称、缺乏局部启发式信号的结构上进行，是否推广到更复杂 (例如带环、一般 DAG、动态规划) 的图结构仍属开放问题。其次，前沿闭源模型受 API 限制只能 few-shot 评估而不能 fine-tune，因此 GPT-5.4 的 LPC=7 只是下界；更大的算力与更长上下文或许还会再推高一点，但本文证据显示跃迁不会是量级性的。第三，模型规模只到 32B 与 GPT-5.4，再大一级的 Gemini、Claude 是否仍维持深度天花板无法直接验证。我个人额外观察到：单一训练深度的设置虽然干净，却不允许我们区分"小模型也会深度规划但只发现浅策略"与"小模型根本表征不了深策略"——若结合更大深度训练实验，结论可能更饱满；此外对失败模型的错误多样性分析 (off-path vs 1-hop) 还有进一步诊断空间，可辅助判断学习失败发生在策略发现的哪个阶段。
独立分析的弱点
独立审视可识别出三点改进空间。第一，star graph 的高度对称既是优势也是弱点——它排除了局部启发式，却也把任务的本质退化成了"反向传递唯一信号"，可能低估模型在更异质图上的表征能力；建议补充一层带环或不同分支长度的图来检验天花板是否扩展。第二，渐进训练协议 LPC=0 即停的策略依赖于显著性阈值 α=10^{-5} 和样本数 N̂，对边界处的"几乎成功"案例不友好，建议汇报连续的 skill 曲线而非二值 LPC，便于看到失败前后的相变速度。第三，仅测 1.6M、7B、32B、GPT-4o、GPT-5.4 这几个量级，2B/13B/70B 等中间尺度缺失，限制了对"尺度-深度" scaling law 的拟合，未来应补充系统性规模扫描。第四，on-path 错误占比虽然直观，但未与具体注意力模式挂钩 (例如把 BR 同时画在失败样本与成功样本上)，若能把"哪一跳注意力崩塌"可视化，将更具机制说服力。
未来方向
作者明确给出的未来方向包括：(1) 在更异质的图结构、Blocksworld、ARC 等任务上检验深度天花板是否普遍存在；(2) 在不公开 fine-tune API 的前提下，用超大上下文内的 few-shot 提示近似微调，看天花板是否随演示长度系统性抬高；(3) 探索"中间监督密度"作为连续变量如何移动天花板，比如提供部分 hop 的弱监督或 per-step soft reward。本人认为还可以延伸几条线：把 LPC 拓展到非图任务的潜在推理深度 (例如多步算术、隐式算法执行)；把 ICoT/Hidden CoT 蒸馏方案与本发现的发现天花板结合，看显式-隐式桥接能否在更大模型上把 ceiling 推到 10+；以及在多智能体、博弈环境中检验"潜在规划深度"是否仍是限制欺骗检测的关键瓶颈——这与 CoT 监控的实际风险直接相关。
复现评估
可复现性中等偏上。作者承诺开源训练代码与数据集 (Section 2.3、Appendix G)，并详细描述了模型架构 (GPT-2 风格 8 层 1 头 128 维)、训练超参范围、显著性阈值 α=10^{-5}、所用基础模型版本 (Qwen-2.5/3, gpt-4o-2024-08-06, gpt-5.4-2026-03-05) 等关键信息。主要复现阻力在于：(1) 闭源前沿模型 (GPT-4o/5.4) 受 API 配额与计费约束，中小实验室难以重复；(2) star graph 数据生成器未给出 seed 控制细节，需要重新对齐 train/test split；(3) 7B/32B 微调在 8×H100 级别 GPU 上也要数日，硬件门槛较高。总体而言核心结论 (深度天花板 ≤ 8) 较稳健，附录还提供了 ICoT 蒸馏、注意力可视化、错误类型分析等多角度佐证，足以独立验证。
论文图表
