STATe-of-Thoughts：基于结构化动作模板的思维树推理框架 STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts
用离散动作模板替代温度采样，提升思维树的多样性和可控性
前置知识
Inference-Time Compute (ITC)
推理时计算是一种在LLM推理阶段分配额外计算资源的方法论，而非仅在训练阶段投入资源。ITC方法通过两种核心策略提升性能：一是深度扩展（depth scaling），如Chain-of-Thought推理让模型生成中间推理步骤；二是广度扩展（breadth scaling），如Best-of-N方法生成多个候选答案后择优。这类方法的核心思想是给予模型更多思考时间能产生更高质量的输出。
本文提出的STATe框架本质上是一种新的ITC方法，理解ITC的基本范式是理解本文贡献的前提。
Tree-of-Thoughts (ToT)
思维树是Yao等人（2023a）提出的推理框架，将LLM生成过程建模为一棵部分推理步骤的搜索树。在每个推理步骤，ToT通过高温度采样生成多个候选分支，然后使用评估器（如PRM或ORM）对分支进行评分，剪枝低质量路径。每个节点包含状态 $s_i := [x, Z_i]$，其中 $x$ 是输入，$Z_i$ 是到第 $i$ 步的推理链。
STATe直接建立在ToT的搜索框架之上，用动作模板替换温度采样，因此深入理解ToT的机制是理解本文创新点的关键。
Prefilling（前缀注入）
Prefilling是一种将文本注入到assistant消息中的技术，通过在生成前预先填充部分内容来引导模型的输出方向。与潜空间干预不同，prefilling使用显式文本前缀，因此可以直接审计和验证。在STATe中，prefilling用于将动作模板注入到推理步骤的开头，强制模型生成符合指定动作的文本。
Prefilling是STATe实现可控生成的核心技术机制，理解它才能明白动作模板如何实际影响LLM的输出。
Process Reward Model (PRM) 与 Outcome Reward Model (ORM)
PRM对部分推理轨迹进行评分以剪枝低价值分支，防止指数级树增长，形式化为 $V(Z_i | x) \rightarrow [0, 1]$。ORM则对完整输出进行评分以选择最佳最终答案，形式化为 $V(y | x) \rightarrow [0, 1]$。在STATe中，PRM用于中间状态评估，ORM用于最终答案评估，两者共同指导beam search的选择过程。
评估器是STATe搜索框架的核心组件，理解PRM和ORM的区别与作用对于理解STATe的搜索策略至关重要。
研究动机
现有的推理时计算（ITC）方法，如Best-of-N和Tree-of-Thoughts，虽然旨在产生高质量且多样化的输出，但存在两个核心问题。首先，它们依赖高温度采样来诱导多样性，但这种方法往往无法产生有意义的输出差异——分支往往聚集在相似内容附近，或者温度过高导致质量下降（Zhang et al., 2025c; Jiang et al., 2025）。其次，由于ITC方法在token级别进行采样，说什么和怎么说的决策隐式地嵌入在解码过程中（Holtzman et al., 2020; Xie et al., 2020），这导致两个严重后果：一是缺乏对探索哪些决策维度的控制能力，二是缺乏对哪些决策模式驱动成功的洞察力。在实际应用中，这意味着研究者无法系统性地控制生成文本在修辞结构、内容主题等维度上的变化，也无法分析哪些推理策略真正有效。
本文的目标是本文提出STATe-of-Thoughts（STATe），一个可控的推理时计算框架，目标是将ITC方法从token级别的隐式采样提升到概念级别的显式干预。具体而言，STATe旨在实现三个目标：（1）通过离散动作模板替代温度采样，产生真正多样化的输出；（2）通过显式的动作序列追踪，实现对推理过程的可解释控制；（3）通过分析动作选择与输出质量之间的关联，识别有前景但未被探索的动作空间区域，从而指导生成过程。
与已有工作不同的是，本文的独特切入角度在于将ITC的搜索空间从token级别提升到高层推理模式级别。传统方法通过温度参数控制随机性，本质上是在同一分布内的采样；而STATe定义离散的动作模板（如条件句开头、举例说明等修辞策略），每个动作代表一种根本不同的推理策略。这种结构化方法不仅产生更大程度的语义多样性，更重要的是使每个分支携带可审计的动作日志，从而将推理过程从黑盒转变为可分析的决策序列。这一视角将ITC从单纯的性能提升工具转变为理解写作策略与输出质量关系的研究工具。
核心方法
STATe的整体思路是将Tree-of-Thoughts的搜索框架从基于温度采样的分支机制转变为基于离散动作模板的分支机制。直觉上，传统ToT的分支就像在同一个房间里随机走动——虽然路径不同但总在相似区域；而STATe的分支则像走进不同的房间——每个分支探索根本不同的推理策略。技术路线包括三个核心组件：（1）控制器（Controller）在每个推理步骤选择要探索的动作；（2）生成器（Generator）根据选定的动作生成推理步骤；（3）评估器（Evaluator）对中间状态和最终输出进行评分以指导beam search。整个流程通过预填充（prefilling）技术将动作模板注入到LLM的输入中，确保生成内容与选定动作一致。
STATe的核心创新是用离散的、可解释的文本干预替代ToT的随机温度采样。这一创新的本质区别在于：传统方法的多样性来源是随机性——通过温度参数控制采样的随机程度，但高温度往往产生无意义的变异或降低质量；而STATe的多样性来源是结构化的动作选择——每个动作模板编码一种高层推理选择（如选择哪种修辞结构、发展哪个内容主题），不同分支探索根本不同的推理策略。这种干预是显式的文本前缀（而非潜空间操作），因此可以直接审计和验证。此外，STATe支持提前停止机制——当控制器判断推理已足够时，可以选择FINISH动作直接生成最终答案，避免传统ToT固定深度搜索可能导致的过度思考问题。
方法步骤详情
STATe的工作流程包含以下步骤：（1）初始化：从输入 $x$ 开始，初始层 $L_0 = \{x\}$。（2）对于每一层 $i$（从1到 $d+1$），对前沿中的每个状态 $s_{i-1} = [x, Z_{i-1}]$ 执行以下操作：控制器 $C$ 从动作空间 $A$ 中选择最多 $n$ 个动作 $\{a_i^1, \ldots, a_i^n\} = C(s_{i-1}, A, n)$；如果 $i = d+1$ 则强制选择FINISH动作。（3）对于每个选定的动作 $a_i^j$，生成器 $G$ 通过预填充技术生成推理步骤：$z_i^j \sim G(z | x, \text{prefill}(Z_{i-1}, a_i^j()); \text{temp})$，其中 $a_i^j()$ 表示执行动作模板获得的文本指导。（4）将生成的思考 $z_i^j$ 与当前状态组合创建子状态 $s_i^j = [s_{i-1}, z_i^j]$。（5）使用PRM对所有候选状态评分，选择top-$k$ 状态进入下一层。（6）当控制器选择FINISH动作时，生成器生成最终答案。（7）最后使用ORM对所有最终状态评分，返回最高分的最终状态。
技术新颖性
STATe的技术新颖性体现在多个层面。首先，在搜索机制上，它首次将ITC的搜索空间从token级别提升到高层推理模式级别，动作模板的设计使得每个分支可以探索根本不同的推理策略，而非在同一分布内随机采样。其次，在可控性上，通过将动作定义为工具调用（tool call），STATe实现了对推理过程的细粒度控制——控制器选择动作名称和参数值，生成器根据动作指导生成内容。第三，在可解释性上，每个分支携带完整的动作序列日志，使得研究者可以分析动作选择与输出质量之间的关联。第四，STATe引入了动作-结果归因框架，包括位置特征和转换特征，能够捕捉动作的时序结构对输出质量的影响。最后，STATe支持提前停止机制，控制器可以选择FINISH动作终止推理，避免固定深度搜索的过度思考问题。
实验结果
本文的实验结果展示了STATe在多样性和质量两个维度上的显著优势。在NoveltyBench创意写作基准测试中，使用Qwen3-30B模型，STATe相比最佳非STATe基线（带动作的CoT）在三个温度设置下均大幅领先：在T=0.5时，多样性提升42%（4.24 vs. 2.98），质量提升30%（3.36 vs. 2.59）；在T=0.7时，多样性提升37%（4.57 vs. 3.33），质量提升21%（3.52 vs. 2.90）；在T=1.0时，多样性提升31%（4.94 vs. 3.76），质量提升16%（3.73 vs. 3.23）。这些结果表明，干预式分支机制能够在不牺牲质量的前提下产生更高程度的语义多样性。在可控性实验中，STATe展现了极高的干预忠实度：步骤级结构遵循率达99.7%，步骤级子主题遵循率为87.8%，最终输出结构遵循率为96.2%，最终输出子主题遵循率为93.5%，顺序保持率为87.9%，总体遵循率达93.8%。在动作-质量归因实验中，时序模型（M2）相比仅基于存在性的基线（M1a-c）在预测论点质量方面表现更优，证明动作的时序结构携带了关于输出质量的预测性信息。最后，在未探索轨迹发现实验中，基于M2的定向生成相比随机基线实现了78.7%的胜率，相比主题存在性基线实现了63.3%的胜率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| NoveltyBench创意写作多样性 | 功能等价类数量 | T=0.5: 4.24, T=0.7: 4.57, T=1.0: 4.94 | CoT w/ Actions: T=0.5: 2.98, T=0.7: 3.33, T=1.0: 3.76 | T=0.5: +42%, T=0.7: +37%, T=1.0: +31% |
| NoveltyBench创意写作质量 | LLM评估质量分 | T=0.5: 3.36, T=0.7: 3.52, T=1.0: 3.73 | CoT w/ Actions: T=0.5: 2.59, T=0.7: 2.90, T=1.0: 3.23 | T=0.5: +30%, T=0.7: +21%, T=1.0: +16% |
| 干预可控性（步骤级结构） | 遵循率 | 99.7% | N/A | 接近完美忠实度 |
| 未探索轨迹发现 | 胜率（vs随机基线） | 78.7% | 随机基线: 50% | +57.4%相对提升 |
局限与改进
作者承认了STATe的多个实际限制。首先，该方法依赖预填充（prefilling）技术进行干预，但现代闭源API（如GPT、Claude、Gemini）不暴露此功能，这限制了方法的适用范围。其次，动作-结果分析是关联性而非因果性的，设计中存在顺序混淆（sequential confounding），当前的归因模型未能解决这一问题。第三，STATe的干预严格限于向现有轨迹添加新的推理步骤，这限制了其表达能力——不支持影响最终输出生成的干预，也不支持修改而非扩展现有内容的干预。第四，将推理轨迹转换为最终输出的合成步骤引入了控制-质量权衡：严格的合成保持推理忠实度和高可预测性，但可能产生生硬的散文；灵活的合成则产生相反效果。最后，该框架严格支持单轮交互，不支持外部工具调用（如RAG、代码执行等）。从独立观察来看，STATe的计算开销较大——需要多次LLM调用（控制器选择、生成器生成、评估器评分），且动作空间的设计需要领域专家知识，通用性有待验证。
独立分析的弱点
STATe存在几个值得关注的弱点。首先，动作模板的设计高度依赖人工领域知识，论文中的动作空间（如修辞结构、内容主题）是针对论点生成任务专门设计的，对于其他任务（如代码生成、数学推理）需要重新设计动作空间，这限制了方法的即插即用性。改进方向是开发自动化的动作空间发现机制，例如通过分析高质量输出的共性模式来自动生成动作模板。其次，控制器的动作选择本质上是一个离散优化问题，当前使用LLM作为控制器可能存在选择偏差——控制器可能倾向于选择它熟悉的动作，而非真正最优的动作。可以考虑引入更显式的搜索策略，如蒙特卡洛树搜索（MCTS），来平衡探索与利用。第三，评估器使用LLM-as-a-Judge可能存在评估偏差，特别是在风格偏好方面。论文中使用了多个LLM作为评估器来缓解这一问题，但评估一致性仍需进一步验证。第四，STATe的计算成本显著高于标准采样方法——每个推理步骤需要多次LLM调用，这在大规模应用中可能不切实际。
未来方向
作者提出了几个重要的未来研究方向。首先，从关联分析转向因果推断——将动作轨迹建模为顺序处理（sequential treatments），使用随机干预来识别每步的因果效应，这将使STATe成为更强的研究工具。其次，优化搜索策略——用蒙特卡洛树搜索（MCTS）替代固定beam search，以在评估预算约束下自适应地向高表现区域探索。第三，通过强化学习（如PPO、GRPO）进行权重级优化，训练控制器、生成器或评估器以提升下游性能。第四，使用提示优化管道（如GEPA）来精炼各模块使用的指令和示例。基于现有成果还可以延伸到：（1）大规模说服效果研究——使用STATe生成多样化论点，研究不同修辞策略对人类信念变化的因果影响；（2）跨任务泛化——将动作模板框架扩展到代码生成、数学推理等领域；（3）人机协作——让人类专家参与动作空间设计和评估，形成更有效的生成-评估循环。
复现评估
本文提供了良好的可复现性支持。论文已开源（GitHub仓库），代码实现包括完整的STATe框架、动作模板定义和实验脚本。实验使用了公开可获取的模型（Qwen3-30B-A3B-Instruct等7个模型来自4个模型家族），数据集NoveltyBench也是公开的。然而，完全复现仍面临一些挑战：（1）计算资源要求较高——论文使用了5,000个论点生成，每个来自20棵树（d=3, n=100, k=250），需要大量GPU计算；（2）闭源模型依赖——部分实验使用了GPT-5-mini、Claude Haiku 4.5等闭源模型作为评估器，这些API可能随时间变化；（3）预填充技术实现——不同模型框架的prefilling实现可能有差异，需要仔细适配。总体而言，核心算法和实验设置是可复现的，但大规模实验的计算成本可能对独立研究者构成障碍。
论文图表
