基于 Foresight Learning 框架从新闻预测供应链中断 Forecasting Supply Chain Disruptions with Foresight Learning
用端到端微调 LLM 从新闻预测供应链中断概率，显著优于 GPT-5 等基线。
前置知识
Foresight Learning
Foresight Learning（Turtel et al., 2026）是一种把概率预测形式化为时间对齐监督学习问题的训练框架，模型只看到预测时刻 $t$ 之前的信息（包括文本、特征），而监督信号来自 $t+1$ 之后真实发生的事件结果。该框架在离线训练中显式地强制了因果信息结构，避免未来信息泄露，并允许用 GRPO 等强化学习方法以对数评分（log score）作为奖励进行端到端优化。
本文的所有方法选择都建立在 Foresight Learning 之上：要理解为什么必须用端到端微调而不是提示工程，为什么必须用未来真实事件作为奖励信号，以及为什么能够产生更结构化的概率推理，都必须先理解这个框架。
Brier 分数与 Brier 技能分数
Brier 分数 $\mathrm{BS} = \frac{1}{N}\sum_{i=1}^{N}(p_i - y_i)^2$ 衡量概率预测 $p_i$ 与二元真实结果 $y_i$ 之间的均方误差，数值越低越好；Brier 技能分数 $\mathrm{BSS} = 1 - \mathrm{BS}/\mathrm{BS}_{\mathrm{ref}}$ 相对于参考基线（如历史平均发生率）的改进百分比，正值代表优于基线，负值代表劣于基线。
论文用 Brier 分数做核心的预测精度对比，Brier 技能分数用于量化相对历史基线的提升，是本文展示端到端训练效果最关键的标尺之一。
Expected Calibration Error (ECE)
ECE 把预测概率分成若干 bin（如 10 个等宽区间），计算每个 bin 内平均预测概率与实际事件频率差值的加权平均：$\mathrm{ECE}=\sum_{b=1}^{B}\frac{|B_b|}{N}|\mathrm{acc}(B_b)-\mathrm{conf}(B_b)|$，直观上衡量模型说 '70% 概率' 时真实发生率是否真的接近 70%。
校准是供应链风险决策的核心需求——决策者需要可靠的概率阈值；论文专门用 ECE 衡量训练前后概率的可信度变化，并展示 ~70-80% 的校准误差下降。
LoRA 低秩适配
LoRA（Low-Rank Adaptation）在冻结预训练权重 $\mathbf{W}$ 的同时，为每一层注入低秩可训练矩阵 $\mathbf{W}+\Delta\mathbf{W}=\mathbf{W}+\mathbf{B}\mathbf{A}$，其中 $\mathbf{B}\in\mathbb{R}^{d\times r}$、$\mathbf{A}\in\mathbb{R}^{r\times k}$ 且 $r\ll\min(d,k)$，大幅减少可训练参数（本文 $r=32$）并保留原模型知识。
本文用 LoRA 在 120B 参数的 GPT-OSS-120B 上做高效微调，让单卡/少卡设置成为可能，是工程上不可或缺的前提。
GRPO 风格强化学习目标
GRPO（Group Relative Policy Optimization）是一种基于组内相对优势的策略优化方法，本文把奖励定义为对数评分 $r = y_{t+1}\log p_{t+1} + (1-y_{t+1})\log(1-p_{t+1})$，对预测概率和真实事件做最大似然对齐，相当于在策略空间上直接最大化预测的条件似然。
这是连接文本输入到二元概率输出的核心训练机制，正是它让模型学到在不确定性下的概率推理，而不是简单的二分类。
研究动机
供应链中断代价高昂，传统定量指标（如港口吞吐量、贸易流量指数）具有滞后性、被频繁修订且只能反映已发生的情况，导致决策者必须在信号尚未明朗时就拍板。早期的 NLP 方法（情感分析、主题模型、监督分类）只能做到检测与可见性，难以做样本外预测；近期 SHIELD 等混合框架用 LLM 抽取结构化信号再喂给下游统计/图模型，性能依赖结构化特征工程；Liu 等 (2023) 提出的供应中断指数基于已实现贸易数据构造，不吸收文本信息；Fan 等 (2025) 用 LLM 从企业披露构造风险度量但多为描述性、截面分析。整体而言，缺乏一种直接从原始新闻出发、端到端输出未来中断概率且概率本身经过良好校准的方法。
本文的目标是论文目标有三：第一，把供应链中断预测定义为一个时间对齐的概率预测问题，给定实体（国家或产品）与预测月份 $t$，只用 $t$ 之前的新闻估计 $t+1$ 月是否发生 '月环比增幅超过 1 个标准差' 的中断事件；第二，把 Foresight Learning 框架扩展到这个领域，用 GRPO 风格 RL 在真实中断事件上做端到端微调，让 LLM 直接产出校准的二元概率；第三，验证微调后的模型不仅在预测精度上击败 GPT-5 等通用模型，还能涌现出更结构化的概率推理行为。
与已有工作不同的是，本文与已有工作的本质差异在于 '端到端 + 概率对齐'：以前的工作要么用 LLM 当抽取器（只产出结构化信号，预测交给下游模型），要么用 LLM 描述性评估（不输出可校准概率），本文则训练 LLM 把原始新闻直接映射为概率，并通过未来事件的对数评分作为奖励信号强制模型习得概率推理结构。这种设置下文本信号、推理过程与概率输出被联合优化，避免了特征工程的偏差，也避免了在 out-of-domain 设置下通用 LLM 概率不可靠的问题。
核心方法
整体思路是：把供应链中断预测形式化为 '自然语言到二元概率' 的概率预测任务，再把 Foresight Learning 框架应用到该任务。直觉上，先构造一个严格时间对齐的数据集——每个样本是 (实体 $e$, 预测月份 $t$, $t$ 之前的相关新闻, $t+1$ 月是否发生中断)，然后让 LLM 在每个样本上输出概率 $p_{e,t+1}\in[0,1]$，用 $t+1$ 月的真实事件作为监督信号。技术上，先把 GPT-OSS-120B 用 LoRA（秩 32）注入轻量可训练参数，再以 GRPO 风格 RL 优化，其中奖励函数定义为对数评分 $r=y_{e,t+1}\log p_{e,t+1}+(1-y_{e,t+1})\log(1-p_{e,t+1})$，这恰好是二元事件下负交叉熵的形式，从而最大化期望奖励等价于在真实数据生成过程下的条件似然最大化。
核心创新在于把 '校准的概率输出' 作为可优化的目标直接放进 RL 奖励，而不是当作 LLM 的一次前向推断。与 SHIELD 等 'LLM 抽取 + 下游预测' 的范式不同，本文是端到端联合训练：模型在一次前向里同时完成信号识别、领域自适应推理和概率输出；与 Foresight Learning 原论文相比，本文的创新点在于把它落地到一个有 '多实体新闻 + 噪声中断指数' 的实际领域，并给出完整的实证证据（既包括定量指标 Brier/BSS/ECE/Precision@10% 的提升，也包括推理行为涌现的定性证据）。另一关键设计是严格的时间分区——训练用 2022/01-2025/09，测试用 2025/10-2026/01，杜绝信息泄露。
方法步骤详情
方法分四步。第一步，构造数据：基础是 Liu 等 (2023) 的供应中断指数 $I_{e,t}$（按国家和产品），再加上时间戳化的新闻语料（覆盖物流、制造、贸易政策、commodities、地缘政治），对每个 (实体, 月份) 配对构造 '预测问题'——给出当前/上期指数值、相关新闻摘要、按月环比增幅是否 $\geq\sigma_e$（实体历史标准差）定义二元结果 $y_{e,t+1}=\mathbb{1}(I_{e,t+1}-I_{e,t}\geq\sigma_e)$。第二步，构造 prompt：每条样本拼装为四部分（当前与上期指数值、$t$ 之前的相关新闻摘要、自然语言问题与事件定义、要求返回 $\langle answer\rangle p\langle/answer\rangle$ 格式），并附带 resolution criteria 以便严格按未来月份裁决。第三步，训练：在 GPT-OSS-120B 上冻结原权重并用 LoRA（$r=32$）做参数高效微调，损失/奖励为 $r=y_{e,t+1}\log p_{e,t+1}+(1-y_{e,t+1})\log(1-p_{e,t+1})$，等价于对真实事件的负交叉熵，使用 GRPO 风格策略优化训练至收敛。第四步，推理与评测：用完全相同的 prompt 在测试集（2025/10-2026/01，452 个问题）上采样概率，并辅以附录 C 的自动评估器对推理行为做二元标注。
技术新颖性
技术新颖性体现在三方面：第一，把 '时间对齐的概率预测 + GRPO 风格 RL + 对数评分奖励' 组合在一个具体的供应链领域问题上，并用 4,972 训练样本 + 452 测试样本做了严格时序分区的实证；第二，把 '推理行为涌现' 变成可量化指标——通过附录 C 的六维二元评分（base-rate anchoring、statistical modeling、explicit forecasting model、evidence–outcome linkage、probabilistic synthesis、uncertainty refinement），证明训练 '无意识地' 改变了模型的推理结构；第三，把 '校准' 作为核心目标纳入优化（而非仅关注排序指标），ECE 从 0.1740 降到 0.0525（相对下降约 70%），相对 GPT-5（ECE=0.1304）也有 60% 的相对优势，这是当前大多数 LLM 概率预测工作忽视的角度。
实验结果
实验在 25 个国家 × 88 个产品 × 2025/10-2026/01 的 452 条测试问题上进行（训练集 4,972 条，事件率 14.9% vs 测试事件率 10.4%），核心结果见 Table 2：微调后的 Trained Model Brier=0.0791、Brier 技能分数 BSS=+16.9%、ECE=0.0525、Precision@10%=0.3478，四个指标全部领先 GPT-5（0.1203/-26.4%/0.1304/0.0870）、GPT-OSS-120B 预训练版本（0.1433/-50.5%/0.1740/0.1304）与历史基线（0.0952）。其中相对预训练基线 ECE 下降近 80%（论文正文表述）、相对 GPT-5 校准误差下降约 60%；BSS 唯一为正，说明模型是真正优于 'predict constant rate' 的 naive baseline，而 GPT-5 与预训练模型的 BSS 为负，意味着它们的概率甚至不如历史均值。Precision@10% 提升最为戏剧化——Trained Model 在 Top-10% 高置信预测中真实命中率 34.78%，是 GPT-5 的 4 倍（0.0870），相当于把决策者最关心的 '高精度告警' 数量大幅提升。Table 3 与 Table 4 进一步给出定性证据：训练后模型在 'base rate anchoring'（0.09→0.50）、'statistical modeling'（0.48→1.00）、'explicit forecasting model'（0.25→0.96）、'uncertainty refinement'（0.33→1.00）等六维行为上的频率全面上升，平均评分从 2.76/6 涨到 5.17/6，说明模型学会了先锚定无条件概率再做条件调整的层次化推理。Figure 2 的 reliability diagram 也直观显示训练后模型的预测概率与经验频率几乎沿对角线分布，进一步佐证校准改进。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 供应链中断概率预测（Brier score） | Brier score ↓ | 0.0791 | GPT-5: 0.1203；GPT-OSS-120B 预训练: 0.1433；历史基线: 0.0952 | 相对 GPT-5 绝对下降 0.0412（相对下降约 34.3%），相对预训练基线绝对下降 0.0642（相对下降约 44.8%） |
| 供应链中断概率预测（Brier Skill Score） | BSS ↑ | +16.9% | GPT-5: -26.4%；GPT-OSS-120B 预训练: -50.5%；历史基线: 0% | 唯一为正的模型；比最强通用基线（GPT-5）高出 43.3 个百分点 |
| 供应链中断概率预测（校准误差） | ECE ↓ | 0.0525 | GPT-5: 0.1304；GPT-OSS-120B 预训练: 0.1740；历史基线: N/A（无判别力） | 相对预训练基线下降约 0.1215（相对下降约 70%，论文正文表述接近 80%）；相对 GPT-5 下降约 0.0779（相对下降约 60%） |
| 供应链中断 Top-10% 高置信告警 | Precision@10% ↑ | 0.3478 | GPT-5: 0.0870；GPT-OSS-120B 预训练: 0.1304；历史基线: N/A | 约为 GPT-5 的 4.0 倍，预训练基线的 2.67 倍；每发出 10 条高优先级告警约 3.5 条对应真实中断 |
| 推理结构化程度（六维二元评分） | Average rubric score / 6 | 5.17 | Pretrained Model: 2.76 | 提升约 +2.41 分（相对提升约 87%），其中 statistical modeling 与 probabilistic synthesis 训练后达 1.00 满覆盖 |
局限与改进
作者明确承认三点局限：第一，新闻与真实中断之间的关系本就嘈杂且不完整——有些相关事件未被报道，有些报道并不转化为可测的中断，这给性能设了上限；第二，任务只关注一个月前预测的二元事件，忽略了持续性、多周期风险累积等更丰富的动态；第三，训练与评测都局限于 2022 年以后，避开了 COVID-19 的极端波动，导致结果只能反映 '后疫情高水位' 这一单一体制下的表现，未必能推广到结构性变化后的体制。从读者角度还可补充两点：测试集仅 452 条且只有 4 个月时间跨度，置信区间与稳健性证据有限；Precision@10% 显著高于 ECE 暗示排序能力 > 校准能力，对决策阈值的选取仍需额外标定。
独立分析的弱点
独立分析论文有以下可改进之处。第一，评估时间窗口太短：测试集仅 2025/10-2026/01 四个月共 452 条问题，样本量与时间跨度均不足以证明模型在制度切换或极端冲击下的鲁棒性，建议扩展到至少 12 个月并加入滚动窗口评估。第二，'推理行为评分' 由 LLM 评估器产生（附录 C），且 'strict and literal' 的标注仍可能受表述方式影响，应该报告评估者一致性（如 Cohen's kappa）并用人类标注做小规模 sanity check。第三，新闻 '上下文构造' 细节不够透明——文章说 'time-aware search over publicly available sources' 但未说明检索 query 模板、相关性过滤阈值和上下文长度，可能引入检索质量瓶颈，应在附录披露完整 prompt 与统计。第四，事件定义 $\sigma_e$ 用训练集估计，但训练/测试在时间上有重叠风险（虽然用月份隔离，仍可能存在词汇/事件共现偏差），建议显式检验训练-测试分布漂移。第五，奖励函数只用了对数评分，缺少 '提示模型不要过度自信' 的正则（如 KL 散度惩罚或温度平滑），可能放大概率极端化风险。
未来方向
作者提出的方向有三：扩展到多周期与多事件预测、整合结构化贸易流或企业披露等额外数据源、提升可解释性与分布漂移下的鲁棒性。基于本文结果还可自然延伸：把概率输出升级为分位数预测或情景模拟（直接服务于决策树）、加入多实体联合预测捕捉国家-产品图结构、用于宏观层面的 '全球供应链压力指数' 实时更新、与检索增强生成（RAG）结合用更新的新闻做在线预测、以及把同样框架迁移到金融、地缘政治、气候等其他 '新闻驱动 + 低频高影响' 领域。
复现评估
复现可行性总体较好：作者明确把评估数据集开源到 HuggingFace（LightningRodLabs/supply-chain-predictions），并选用 GPT-OSS-120B 这种开放权重的开源基模型而非闭源 GPT-5 做微调；方法本身只需 LoRA（秩 32）+ GRPO 风格 RL，理论上单台 8×80G A100/H100 即可承载 120B 基模型的 LoRA 训练（甚至用 QLoRA 可进一步降低显存）。然而有三处会显著影响复现难度：（1）新闻语料 'time-aware search' 的具体来源（API、query 模板、相关性阈值）未在论文给出，需要自行复现检索流水线；（2）中断指数 $I_{e,t}$ 来自 Liu et al. (2023)，其原始贸易数据是否公开并不明确；（3）附录 C 的自动评估器是基于 LLM 的判断，prompt 与温度参数都已公开但底层 LLM 选型需要自行决定。综合来看，按本文复现实验的工程量约为 1-2 人月（数据准备 + 训练 + 评估），算力门槛中等。
论文图表