推动隐藏状态：大型音频语言模型中链式思维推理的无训练模型引导

无需训练通过隐藏状态引导提升LALM推理能力

前置知识

链式思维提示

链式思维提示是一种通过要求模型逐步解释推理过程来激发其结构化推理能力的技术。具体来说，它在输入提示中添加明确的推理要求，使模型在给出最终答案之前先生成中间推理步骤。例如，不直接要求模型计算123加456，而是要求先思考如何计算，再给出答案。这种方法在大型语言模型中被证明能有效提升复杂推理任务的性能。

理解链式思维提示对本文至关重要，因为论文的核心目标就是增强LALMs在CoT推理中的表现，所有方法都是基于CoT和非CoT隐藏状态的差异来提取引导向量。

模型引导

模型引导是一种推理时干预技术，通过操纵神经网络的隐藏状态来改变模型的行为，而无需修改模型参数。具体做法是：在推理过程中，从模型的中间层提取特定方向的向量，然后在生成过程中将这个向量注入到隐藏状态中，从而引导模型朝特定方向生成。引导向量通常通过对模型在两种不同条件下的激活状态进行差分计算得到，比如有CoT和无CoT时的状态差异。

这是本文的核心技术方法，所有提出的三种策略都是模型引导的不同变体。理解引导向量的提取和注入机制是理解论文方法的关键。

隐藏状态

隐藏状态是神经网络在处理输入时内部产生的中间表示。在Transformer架构中，每个层都会输出一个隐藏状态向量，这个向量编码了输入信息在该层的语义表示。对于输入s，第l层第t个token位置的隐藏状态记为h_t^l(s)属于R^d，其中d是隐藏维度。这些隐藏状态包含了模型对输入的逐步理解，是模型内部推理过程的体现。

论文的所有方法都直接操作隐藏状态，通过比较CoT和非CoT条件下的隐藏状态差异来提取引导向量，理解隐藏状态的含义和获取方式是理解论文技术细节的基础。

研究动机

大型音频语言模型在听觉感知能力方面已经取得了显著进展，能够处理和理解语音输入，但在推理能力方面仍然存在根本性限制，这阻碍了它们实现通用交互式听觉智能的愿景。虽然链式思维提示可以扩展到LALMs中以激发推理能力，但现有的改进方法通常需要额外的监督信号如标注的推理数据或大量的强化学习训练，这些都带来了高昂的训练成本和资源需求。具体来说，在四个先进的LALMs上的基准测试显示，虽然CoT提示能够带来一定的性能提升，但模型往往难以可靠地遵循CoT指令，特别是在多模态训练后，模型的指令遵循能力可能减弱。

本文的目标是本文的核心目标是在不进行任何额外训练的情况下，仅通过推理时干预来增强LALMs的CoT推理能力。具体来说，研究是否可以通过操纵模型的隐藏状态来引导模型产生更结构化的推理过程，从而在四个语音推理基准上获得性能提升。研究还特别关注两种实用性问题：一是能否构建可跨样本复用的通用引导方向以减少计算开销，二是能否从文本数据提取引导方向并成功转移到语音推理任务，以解决语音数据稀缺的问题。

与已有工作不同的是，本文的独特切入角度在于首次系统性地将模型引导技术应用于LALMs的推理增强任务，并探索了跨模态引导转移的可能性。与以往在LLMs中应用模型引导用于风格控制、安全对齐或属性识别的工作不同，本文专注于推理能力的提升。更重要的是，本文提出了Text-derived Generalized Steering方法，证明了纯粹从文本数据提取的引导向量可以有效指导语音推理任务，这种跨模态转移能力的发现为解决语音数据稀缺问题提供了全新的思路。

核心方法

本文的方法整体思路是通过推理时干预来增强LALMs的CoT推理能力。核心直觉是：当模型在CoT提示下生成时，其隐藏状态会呈现与推理相关的特定激活模式，如果能够提取这种推理导向的激活模式并在生成过程中强化它，就可以鼓励模型产生更结构化的推理。技术路线上，方法分为两个阶段：首先是提取阶段，从不同条件下的隐藏状态中计算引导向量；然后是注入阶段，在推理过程中将引导向量注入到模型的隐藏状态中。作者提出了三种提取策略，分别针对不同的数据可用性和计算预算场景，所有策略都遵循相同的注入机制。

本文的核心创新点在于提出了三种无需训练的引导策略，并首次揭示了文本到语音的跨模态引导转移能力。与传统的需要大量训练数据的微调方法不同，本文的方法完全基于推理时干预，通过对比CoT和非CoT条件下的隐藏状态差异来提取推理导向的引导方向。最关键的突破是Text-derived Generalized Steering方法，它证明了推理相关的表示方向在文本模态中就已经存在，并且可以有效地转移到语音任务中，这意味着即使没有大量的语音数据，也可以利用丰富的文本数据来增强LALMs的推理能力。

方法步骤详情

方法包含两个主要阶段和三种提取策略。提取阶段：对于Vanilla Steering，给定测试样本的音频输入a、任务指令x和固定的CoT提示p，构造两个输入s_cot和s_norm，计算引导向量v_vanilla为两者隐藏状态之差，其中隐藏状态是最后k层在最终提示token位置的隐藏状态。对于SGS，使用外部语音数据集通过平均差异计算共享向量v_SGS。对于TGS，使用纯文本数据集以相同方式计算v_TGS。注入阶段：在推理过程中，对选定的每一层，将原始隐藏状态h_t修改为h_t加上alpha乘以引导向量，然后进行范数保持的归一化，确保修改后的状态保持原始的L2范数。

技术新颖性

本文的技术新颖性体现在三个方面：首先是方法层面的创新，将模型引导技术首次系统地应用于LALMs的推理增强任务，并提出了三种针对不同场景的引导策略；其次是跨模态转移的发现，TGS方法证明了文本推理表示可以迁移到语音任务，这为跨模态知识迁移提供了新视角；第三是实用性的突破，SGS和TGS方法构建的可复用引导向量显著降低了计算开销，同时TGS方法的高数据效率仅需10个文本样本就能达到接近最优性能使得在语音数据稀缺场景下的应用成为可能。此外，本文对超参数敏感性和数据效率的系统性分析也为后续研究提供了重要的基准和洞察。

**Figure 1**: Example of reasoning enhanced by steering

**Figure 2**: Overview of our three proposed methods in the extraction phase

实验结果

实验结果表明，模型引导能够系统性地提升LALMs的CoT推理性能。在四个模型和四个语音推理基准上的评估显示，12个模型方法组合中有11个在平均准确率上获得了正向提升。具体来看，Vanilla Steering在Voxtral上实现了4.3%的平均准确率提升从50.7%到55.0%，在AF3上实现了4.4%的提升从31.5%到35.9%。SGS在所有模型上都获得了平均0.4%到3.1%的提升。最令人惊讶的是TGS，虽然它完全从文本数据提取引导向量，但在所有模型上的平均准确率都优于CoT基线，平均提升达到2.5%，在Phi4-mm和AF3上甚至超越了Vanilla Steering。在与self-consistency的对比实验中，Vanilla Steering在四个模型中的三个上获得了更高的整体准确率，同时需要更少的生成过程，证明了其在计算效率上的优势。超参数敏感性分析显示，Vanilla Steering对缩放因子alpha高度敏感，在小值时性能最佳且随alpha增大快速下降，而SGS和TGS在更宽的alpha范围内保持稳定。数据效率分析表明，SGS的准确率随着语音样本数量稳步增长，在1到10个样本时增益最大，约40个样本后趋于饱和；而TGS在不同数据规模下都保持相对稳定，仅需10个文本样本就能达到接近最优的性能。

**Table 1**: Accuracies on four evaluation benchmarks and their micro-average

**Table 2**: Self-consistency vs vanilla steering

**Figure 3**: Hyperparameter sensitivity of the steering methods

**Figure 4**: Effect of external dataset size for SGS/TGS

查看结构化数据

任务	指标	本文	基线	提升
College Mathematics	Accuracy (%)	32.0 (Vanilla on Voxtral)	26.3 (CoT)	+5.7
High School Mathematics	Accuracy (%)	48.9 (TGS on Phi4-mm)	41.9 (CoT)	+7.0
Elementary Mathematics	Accuracy (%)	84.7 (SGS on Qwen2.5)	83.0 (CoT)	+1.7
ReveAL-CoT	Accuracy (%)	57.0 (SGS on Voxtral)	43.0 (CoT)	+14.0
Overall Average (All)	Accuracy (%)	55.0 (Vanilla on Voxtral)	50.7 (CoT)	+4.3

局限与改进

本文的方法存在一些局限性。首先是超参数敏感性问题，Vanilla Steering对缩放因子alpha和层数k都非常敏感，需要仔细调优才能获得最佳性能，这增加了实际应用的复杂性。其次是通用引导方法的构建依赖于外部数据集，虽然TGS可以使用文本数据缓解语音数据稀缺问题，但仍然需要一定量的辅助数据。第三，不同模型对引导策略的响应存在显著差异，例如Qwen2.5对Vanilla Steering的响应不如对通用引导方法敏感，这表明方法的有效性可能依赖于模型的具体架构和训练过程。作者也指出，虽然观察到性能提升，但引导向量对模型内部推理过程的具体影响机制仍不完全清楚，需要更深入的消融研究和分析。

独立分析的弱点

本文的主要弱点之一是缺乏自动化的超参数选择策略。当前方法需要在验证集上通过网格搜索来选择最优的k和alpha，这在实际应用中增加了计算开销和部署复杂度。改进方向可以是开发基于模型特性或任务特点的自适应超参数选择方法，例如通过分析隐藏状态的统计特性来动态确定最优的引导强度。另一个弱点是方法在不同模型间的性能差异较大，例如Qwen2.5对Vanilla Steering几乎没有正向响应，这表明可能需要针对不同模型架构设计定制化的引导策略。此外，当前的引导机制仅使用简单的线性加法注入，未来可以探索更复杂的干预方式，如层间差异化引导或非线性变换。最后，虽然TGS展示了跨模态转移的潜力，但转移的最佳条件和边界仍不明确，需要更系统的跨模态研究。

未来方向

作者提出的未来研究方向包括开发自动选择引导超参数的策略，以减少手动调优的需求。基于本文的成果，可以延伸的研究方向包括：探索更精细的引导机制，例如对不同层使用不同的引导向量或对不同的token位置应用差异化的引导强度；将引导技术与其他推理增强方法结合，如self-consistency或思维树，以获得更大的性能提升；研究引导向量在不同任务类型间的可迁移性，探索零样本或少样本的引导向量构建方法；深入分析引导向量对模型内部推理过程的具体影响，通过可视化和消融研究理解其工作机制；将引导方法扩展到其他模态组合，如视觉语言或音频视觉语言的多模态场景；以及探索引导技术在安全性、公平性和可解释性方面的应用潜力。

复现评估

本文的复现性较好，但存在一定的挑战。论文使用了四个公开可用的LALMs，这些模型都可以从官方渠道获取。评估使用的四个基准测试也是公开的，包括VoxEval的三个数学子集和SpeechR的ReveAL-CoT。外部数据集BeyondAIME（100个样本）同样是公开可访问的。然而，复现实验需要相当大的计算资源，因为需要在四个大型多模态模型上进行推理。论文没有提供代码，这意味着复现者需要自己实现引导向量的提取和注入机制，这需要一定的技术能力和对模型内部结构的理解。总体而言，在充足的计算资源和技术能力条件下，本文的实验是可以复现的，但门槛较高。

推动隐藏状态：大型音频语言模型中链式思维推理的无训练模型引导 Nudging Hidden States: Training-Free Model Steering for Chain-of-Thought Reasoning in Large Audio-Language Models