注意变化：用大语言模型从FOMC声明中解码货币政策立场 Mind the Shift: Decoding Monetary Policy Stance from FOMC Statements with Large Language Models
DCS：利用FOMC时间相对变化从冻结LLM提取经济意义显著的货币政策立场分数
前置知识
FOMC声明
联邦公开市场委员会（FOMC）在政策会议后发布的官方声明，是美联储传达货币政策立场的主要渠道。声明文本编码了委员会的鹰派或鸽派立场，其中鹰派表示倾向于加息以抑制通胀，鸽派表示倾向于降息以支持经济增长。市场参与者通过分析这些声明的措辞细微变化来形成对未来利率路径的预期。论文使用2003年1月至2025年12月期间的200次会议声明作为数据。
本文的核心研究对象，理解FOMC声明的内容和市场影响是读懂本文的基础
鹰派-鸽派立场
货币政策立场的两极光谱。鹰派立场偏好更高的利率来控制通货膨胀，通常反映对通胀风险的担忧；鸽派立场偏好更低的利率来促进经济增长和就业，通常反映对经济放缓的担忧。这是一个连续谱而非简单的二元分类，论文将其建模为$[0,1]$区间的连续分数，接近1表示更鹰派，接近0表示更鸽派。这种连续建模比二值分类更能捕捉政策立场的细微变化。
本文要预测的核心任务，理解其经济学含义有助于理解为什么相对变化比绝对分类更重要
表示探测
一种研究冻结预训练模型（如LLM）隐藏表示中所编码信息的技术。该方法假设预训练模型的潜在空间包含丰富的语义信息，可以通过训练轻量级可学习模块来提取这些信息而不微调整个模型。常用的方法是训练一个线性投影头将高维隐藏状态映射到任务特定标签。本文的创新在于不使用人工标注标签，而是利用时间结构作为自监督信号来探测冻结LLM中的货币政策信息。
本文的技术基础，理解表示探测原理有助于理解DCS如何从冻结LLM中提取立场分数
自监督学习
一种无需人工标注数据的学习范式，通过从数据本身构造监督信号来训练模型。常见方法包括掩码语言建模、对比学习等。本文提出了一种新颖的自监督范式：利用FOMC会议的时间连续性，将连续声明对的相对关系作为监督信号。具体来说，约束连续声明的绝对立场变化与模型预测的相对变化保持一致。这种delta-consistency约束将时间序列的内在结构转化为学习信号。
本文的核心创新点，理解本文如何构造自监督信号对理解方法本质至关重要
研究动机
现有方法将货币政策立场检测视为孤立的绝对分类任务，存在三个根本性问题。第一，字典方法（如Lucca and Trebbi, 2009；Loughran and McDonald, 2011）仅依赖关键词统计和预定义词表，忽略了话语层面的上下文，无法捕捉政策语言的微妙含义。第二，监督方法（如Shah et al., 2023；Christiano Silva et al., 2025）虽然能学习 richer 表示，但需要专家标注数据，这些标注既耗时昂贵又具有主观性，且随着政策语言在不同利率周期中的演变容易退化。第三，LLM-as-judge方法（如Hansen and Kazinnik, 2023；Geiger et al., 2025）虽然减少了标注依赖，但对提示设计和解码温度高度敏感，输出难以复现。更深层的问题是，这些方法都忽略了金融市场真正关心的东西——政策的相对变化而非绝对立场。例如，一个 moderately hawkish 的声明如果跟随一个更 strongly hawkish 的声明，实际上暗示了 dovish 的相对转变。
本文的目标是本文的目标是提出一个无需人工标注的框架，能够从冻结的大语言模型表示中提取连续的货币政策立场分数，这些分数不仅在专家标注的句子级分类任务上表现优异，更重要的是要具有实际的经济意义——与真实的通胀指标和国债收益率显著相关。具体来说，目标是利用FOMC会议的时间连续性构造自监督信号，通过建模连续声明对的相对变化来学习每个声明的绝对立场分数，从而捕获市场真正关注的政策信号。
与已有工作不同的是，本文的独特切入角度是认识到货币政策立场的解释本质上是相对的，而非绝对的。现有方法将每个声明孤立分类，忽略了时间序列结构。本文的核心洞察是：既然金融市场对政策的反应取决于相对于前次会议的变化，那么我们应该利用这种相对关系作为监督信号来恢复绝对立场。具体创新在于：（1）用连续声明对替代Contrast-Consistent Search中的逻辑否定对，将时间排序转化为自监督；（2）学习连续立场分数而非二值标签，通过delta-consistency约束将绝对变化与相对预测对齐；（3）双轴设计分别处理绝对和相对表示，使模型能更好捕获两个信号。这种设计将时间结构转化为无需标注的监督信号，实现了从冻结LLM中恢复经济意义显著的连续立场分数。
核心方法
DCS（Delta-Consistent Scoring）框架的核心思想是将货币政策立场检测从孤立分类问题转化为时间序列建模问题。方法直觉来源于金融市场对政策相对变化的敏感性：一个声明是否鹰派或鸽派不仅取决于其绝对措辞，还取决于它相对于前次会议声明是否变得更鹰派或更鸽派。DCS利用这种相对关系构造自监督信号，无需人工标注就能学习冻结LLM表示中的政策信息。技术路线上，DCS首先为每个声明构造两种不同prompt：绝对prompt评估单个声明的独立政策立场，相对prompt评估从前次会议到当前会议的方向性政策变化。然后将这些prompt通过冻结LLM提取最后层最后一个token的隐藏状态作为文本表示。接着使用轻量级双轴投影模块分别将绝对和相对表示映射为标量分数：绝对分数$z^{abs}_t$表示声明$t$的独立立场，相对分数$z^{rel}_t$表示从$t-1$到$t$的政策变化。最后通过delta-consistency损失约束这两个信号的对齐：连续声明的绝对立场变化$\Delta z^{abs}_t = z^{abs}_t - z^{abs}_{t-1}$应该与相对变化预测$z^{rel}_t$一致。这种约束将时间排序的结构化信息转化为学习信号，使得模型能够在没有任何人工标注的情况下恢复出经济意义显著的连续立场分数。
DCS的核心创新是将货币政策立场的相对性转化为自监督学习信号。与Contrast-Consistent Search（CCS）使用逻辑否定对作为监督信号不同，DCS使用连续FOMC声明对作为自然的对比源。关键假设是：冻结LLM的表示空间中编码了政策立场信息，而连续声明的时间顺序提供了提取这些信息所需的结构。技术实现上，DCS使用双轴投影分别学习绝对立场和相对变化，然后通过delta-consistency损失函数$L_{delta} = \mathbb{E}_t[(z^{abs}_t - z^{abs}_{t-1} - \alpha \cdot \tanh(z^{rel}_t/\tau))^2]$约束两个信号的对齐，其中$\alpha$是可学习的尺度参数，$\tau$是固定温度参数。这个损失函数的主要作用是将时间序列的delta关系编码为优化目标，使模型学习到的绝对立场变化方向与预测的相对变化方向一致。为了改善绝对立场分数的可分性，还添加了辅助的置信度正则化器$L_{conf} = -\mathbb{E}_t[s_t \log s_t + (1-s_t)\log(1-s_t)]$来抑制接近0.5的中间分数。训练完成后，使用少量鹰派和鸽派样例句子进行后验方向锚定，解决自监督目标的极性模糊问题。这种方法的关键优势在于将时间结构转化为无标注监督，实现了从冻结LLM中恢复连续立场分数。
方法步骤详情
DCS方法的完整流程包括四个主要步骤。第一步是上下文特征提取，对于每个FOMC声明$d_t$，构造两种不同的prompt模板：绝对prompt$p^{abs}(d_t)$询问LLM独立评估单个声明$t$的绝对政策立场，相对prompt$p^{rel}(d_{t-1}, d_t)$明确询问LLM评估从前次会议$d_{t-1}$到当前会议$d_t$的方向性政策变化。将这些prompt通过冻结的LLM处理，提取最后层最后一个token位置的隐藏状态，得到文本表示$h^{abs}_t, h^{rel}_t \in \mathbb{R}^d$。第二步是双轴投影，使用两个独立的线性投影头将两个表示映射为标量对数：$z^{abs}_t = \theta^{abs\top}h^{abs}_t + b^{abs}$和$z^{rel}_t = \theta^{rel\top}h^{rel}_t + b^{rel}$，其中$\theta^{abs}, \theta^{rel} \in \mathbb{R}^d$是学习的方向向量，$b^{abs}, b^{rel} \in \mathbb{R}$是标量偏置。最终的立场分数通过sigmoid映射得到$s_t = \sigma(z^{abs}_t)$，提供$[0,1]$区间的连续量化。第三步是使用delta-consistency损失进行训练，主要目标是最小化连续声明的绝对立场变化与预测的相对变化之间的差异：$L_{delta} = \mathbb{E}_t[(z^{abs}_t - z^{abs}_{t-1} - \alpha \cdot \tanh(z^{rel}_t/\tau))^2]$。为了防止极端相对变化值主导优化，对相对输出使用缩放的双曲正切进行边界处理。第四步是后验方向锚定，由于自监督目标关于极性是对称的，学习到的立场轴可能在训练后反转（鹰派映射到低分，鸽派映射到高分）。训练收敛后，使用少量鹰派和鸽派样例句子计算平均绝对对数$\bar{z}^{hawk}$和$\bar{z}^{dove}$，如果$\bar{z}^{hawk} < \bar{z}^{dove}$则翻转两个轴学习参数的符号。整个训练过程中，$\lambda$采用延迟warm-up调度，早期保持置信度正则器较弱，让模型首先学习相对立场变化的时间结构，随后逐渐加强正则器来锐化绝对立场预测。
技术新颖性
DCS的技术新颖性体现在三个层面。在表示探测层面，DCS将Contrast-Consistent Search（CCS）的逻辑否定对替换为连续FOMC声明对，将时间排序转化为结构化监督信号，使得能够从冻结LLM中提取连续分数而非二值标签。在任务建模层面，DCS首次将货币政策立场明确建模为相对信号，提出双轴设计分别处理绝对立场和相对变化，通过delta-consistency约束对齐两个信号，这在现有的货币政策和金融文本分析工作中是首创的。在自监督学习层面，DCS提出了一种新颖的监督信号构造方式：利用连续声明的时间连续性作为标注代理，这种方式不仅适用于FOMC分析，还可以推广到其他具有时间序列性质的金融和政治文本分析任务。此外，DCS的轻量级设计（仅学习两个线性投影头）使得它能够在不微调大型LLM的情况下提取高表示质量，在计算效率上具有显著优势。这种冻结LLM加轻量可学习模块的设计也为资源受限环境下的LLM应用提供了新思路。
实验结果
本文的主要发现可以从三个维度分析。在句子级立场分类任务上，DCS在四个LLM骨干网络（Llama-3.2-1B、Qwen3-4B、Llama-3.1-8B、DeepSeek-R1-Distill-Qwen-14B）上均超越所有对应基线，包括LLM Judge、Logit-Based Judge和监督Linear Probe。最佳准确率71.1%由DCS在Qwen3-4B上实现，最佳宏F1 0.74由DCS在DeepSeek-R1-14B上实现，相比Dictionary基线的44.6%准确率和监督FOMC-RoBERTa的43.4%准确率有显著提升。特别值得注意的是，DCS在Qwen3-4B和DeepSeek-R1-14B上比监督Linear Probe分别提升约10和9.6个百分点，这表明自监督的delta-consistency信号比人工标注提供了更有效的学习目标。在宏观经济验证上，DCS的会议级立场分数与通胀指标呈现强相关性。DeepSeek-R1-14B上CPI的Spearman相关性达到0.6237，PPI达到0.5530，显著优于LLM Judge（CPI: 0.3397, PPI: 0.2424）和Logit-Based Judge（CPI: 0.1793, PPI: 0.0685）。这种强相关性表明DCS提取的立场分数确实捕获了FOMC声明所反映的宏观经济环境。在金融市场验证上，DCS的立场分数与同日国债收益率在多个期限上均显示显著关联。DeepSeek-R1-14B在2年期国债上达到$\beta = 2.121$（$p < 0.01$），10年期和20年期也分别达到$\beta = 0.782$和$\beta = 0.771$（均$p < 0.01$）。相比之下，Llama-3.1-8B上的LLM Judge仅在2年期和10年期显著，Logit-Based Judge仅在短期显著，而Linear Probe基本不显著。这表明DCS是唯一能一致捕获市场相关政策信号的方法。跨政策时期分析显示，DCS在四个政策时期（P1: 2003-2008传统政策、P2: 2008-2015零利率、P3: 2015-2020政策正常化、P4: 2020-2025疫情和紧缩周期）中均保持与CPI和PPI的正相关性，是唯一在所有时期都稳定的方法。消融实验确认了每个组件的贡献：移除delta-consistency损失导致准确率降至0.47，CPI相关性从0.62降至0.38，确认它是主要学习信号；移除置信度正则化器虽然保持句子级F1为0.72，但CPI相关性降至0.25，表明它对校准绝对立场尺度至关重要；用单共享表示替换双轴设计降低了所有四个指标，表明分离绝对和相对表示有帮助。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 句子级鹰派-鸽派分类 | 准确率 | DCS在Qwen3-4B上达到71.1% | Dictionary基线44.6%，监督FOMC-RoBERTa 43.4% | 相比最佳基线提升约26.5个百分点 |
| 句子级鹰派-鸽派分类 | 宏F1 | DCS在DeepSeek-R1-14B上达到0.74 | 监督Linear Probe在相同骨干上0.62 | 提升约19.4% |
| 会议级立场分数与CPI相关性 | Spearman相关系数 | DCS在DeepSeek-R1-14B上达到0.6237 | LLM Judge 0.3397，Logit-Based Judge 0.1793 | 相比LLM Judge提升约83.5% |
| 会议级立场分数与PPI相关性 | Spearman相关系数 | DCS在DeepSeek-R1-14B上达到0.5530 | LLM Judge 0.2424，Logit-Based Judge 0.0685 | 相比LLM Judge提升约128% |
| 国债收益率回归 | 2年期国债Beta系数 | DCS在DeepSeek-R1-14B上达到2.121（p < 0.01） | 监督FOMC-RoBERTa 1.058（p < 0.01） | 系数绝对值提升约100% |
| 跨政策时期稳定性 | CPI和PPI在四个时期均为正相关 | DCS是唯一在所有时期保持正相关性的方法 | Linear Probe在P1-P3接近零，P4不稳定；Logit-Based Judge在P2转为负相关 | 提供更稳健的政策立场测量 |
局限与改进
作者在论文中提到了DCS方法的一些局限性。首先，DCS框架依赖于FOMC会议声明的连续性和相对稳定性，这种假设在正常政策周期中成立，但在重大政策转变期间（如危机应对）可能失效，因为极端的政策变化可能破坏时间结构的平稳性。其次，方法使用了后验方向锚定步骤来解决极性模糊问题，这虽然不参与训练梯度更新，但仍需要少量人工标注的鹰派和鸽派样例句子，严格来说并非完全无监督。第三，论文仅评估了美国FOMC声明，方法的跨语言适用性和对其他中央银行（如ECB、BOJ）通信的有效性尚待验证，不同央行可能使用不同的沟通风格和术语。从独立分析的角度，还可以观察到其他潜在局限性。DCS隐含假设政策立场的变化在时间上是连续和平滑的，但如果政策发生突然或剧烈转变（如危机响应），delta-consistency约束可能反而限制模型适应能力。方法主要关注会议级立场分数，对声明内部句子间的细微差异分析不足，限制了其在更细粒度分析中的应用。此外，论文使用的是冻结LLM，虽然有计算效率优势，但如果LLM的训练数据中缺乏金融领域的深度知识，表示质量可能受限，通过领域微调可能进一步提升性能。最后，方法的核心delta-consistency损失函数中的尺度参数$\alpha$和温度参数$\tau$需要调优，论文未系统分析这些超参数的敏感性，这可能影响方法的鲁棒性和易用性。
独立分析的弱点
DCS方法存在几个可以改进的弱点。第一，delta-consistency损失假设政策立场的变化在时间上是连续和可预测的，但在实际市场环境中，政策可能因外部冲击而发生突然或非预期的转变，这时delta约束可能反而限制模型的适应性。改进方向可以引入自适应权重机制，在检测到异常大的政策变化时自动降低delta约束的强度，或者结合异常检测算法识别需要特殊处理的时期。第二，方法仅使用线性投影头，表示能力有限，可能无法充分捕捉冻结LLM中的非线性政策信息。改进方向可以探索使用轻量级MLP或注意力机制来增强投影层的表达能力，同时保持计算效率。第三，双轴设计虽然有效，但绝对和相对表示完全独立，可能忽略了二者之间的共享信息。改进方向可以引入跨轴注意力或参数共享机制，让两个轴能够互相补充而非完全隔离。第四，后验方向锚定依赖少量人工标注样例，在快速演变的环境（如新术语出现）可能失效。改进方向可以开发无监督的极性检测方法，例如利用外部经济指标（如实际利率变化）作为弱监督信号来自动确定极性。第五，方法主要关注会议级分数，对声明内部结构的利用不足。改进方向可以开发层次化模型，同时建模会议级、段落级和句子级的立场轨迹，提供更细粒度的政策洞察。
未来方向
基于本文的成果，有多个值得探索的未来研究方向。作者提出的方向包括将DCS框架扩展到其他中央银行的通信文本，如欧洲央行、日本央行和英格兰银行，验证跨央行和跨语言的适用性。另一个方向是应用DCS到更细粒度的分析，例如分析FOMC声明中的具体段落或句子，识别政策信号的具体来源，这可以帮助市场参与者更精确地理解政策意图。基于本文成果的可延伸方向包括：（1）结合领域微调：虽然DCS使用冻结LLM取得了优异结果，但如果在金融领域语料上微调LLM，进一步提升表示质量，可能带来额外性能提升，特别是在罕见政策场景中的表现。（2）动态时间建模：当前DCS假设时间结构是静态的，未来可以引入动态时间模型（如RNN、Transformer时序模型）来显式建模政策立场的演变动力学，特别是在政策转向期的预测能力。（3）多模态扩展：除了文本声明，FOMC还会发布经济预测和点阵图等数据，未来可以开发多模态版本DCS，同时利用文本和数值数据来更全面地理解政策立场。（4）因果推断应用：DCS提取的立场分数可以用于因果推断研究，例如分析政策沟通对金融市场的因果效应，这对政策制定者优化沟通策略有重要价值。（5）实时系统：将DCS部署为实时监控系统，在FOMC声明发布后立即生成立场分数和变化分析，为市场参与者提供即时的政策解读服务。（6）与其他金融任务的结合：将DCS立场分数作为特征输入到其他金融预测任务（如资产定价、风险管理）中，探索政策立场在更广泛金融应用中的价值。
复现评估
论文提供了较好的复现基础，但存在一些需要改进的地方。数据方面，论文明确使用三个数据源：FOMC后会议声明（2003年1月至2025年12月，T=200次会议）、Shah et al. (2023)的句子级鹰派-鸽派基准数据集、以及来自FRED的宏观经济数据（CPI、PPI月度同比变化）和联邦储备H.15发布的国债收益率。这些数据大多是公开可获取的，但论文未提供数据集的下载链接或预处理代码，需要读者自行获取和复现数据处理流程。模型方面，论文使用四个冻结LLM骨干网络：Llama-3.2-1B、Qwen3-4B、Llama-3.1-8B和DeepSeek-R1-Distill-Qwen-14B，这些都是公开可获取的开源模型。超参数方面，论文在附录E中提供了完整列表，包括学习率、批次大小、训练轮数、温度参数$\tau$和正则化权重$\lambda$的调度策略。训练资源方面，DCS仅需要训练两个线性投影头，计算需求相对较低，论文未报告具体训练时间或硬件要求，但根据模型规模推断，单个骨干网络的训练可以在消费级GPU上完成。代码和实现细节方面，论文提到提供了代码和项目页面，但未明确说明开源许可证和代码仓库地址。论文在附录中提供了prompt模板的完整文本、锚定句子列表、句子过滤规则和聚合方法的详细描述，这有助于复现。总的来说，复现难度中等，主要挑战在于数据获取和预处理，以及可能需要一些超参数调优。建议作者在未来的版本中发布完整的数据预处理代码、训练脚本和评估脚本，以及预训练的DCS模型权重，这将显著降低复现门槛。
论文图表
这张图通过一个简单但有力的例子说明了货币政策立场的相对性本质。图中展示了三个时间点（t-2、t-1、t）和两个连续的FOMC声明对。声明t-1的内容是multiple rate hikes ahead（多次加息在前方），声明t的内容是a single rate hike ahead（单次加息在前方）。图的下方显示了两个评分轴：Absolute（绝对）轴显示声明t的得分st位于上方，表示在孤立评估时它是hawkish（鹰派）的；Relative（相对）轴显示$\delta_t = s_t - s_{t-1} < 0$，表示相对于前一个声明，这是一个dovish（鸽派）的下降。图中还标注了Neutral（中性）位置，以及Absolute: Hawkish上升和Relative: Dovish下降的对比。通过这个例子，论文形象地展示了：一个在绝对意义上鹰派的声明，如果跟随一个更鹰派的声明，实际上暗示了鸽派的相对转变。
这张图对理解论文的核心洞察至关重要，因为它直观地展示了为什么货币政策立场本质上是相对的，而非绝对的。这是论文突破现有方法的理论基础，也是DCS框架设计的出发点。如果读者不理解这个相对性概念，就无法理解为什么delta-consistency约束是合理的，也无法理解为什么本文的方法能够超越孤立分类的基线方法。