扩展开放端推理能力来预测未来 Scaling Open-Ended Reasoning to Predict the Future
从新闻自动生成开放端预测问题数据集OpenForesight，用GRPO训练的OpenForecaster8B在预测准确率和校准度上媲美更大规模的专有模型
前置知识
Brier Score（布里尔得分）
一种评估概率预测质量的评分规则，计算预测概率与真实结果之间的差异。对于二元预测，$Brier Score = -(p - o)^2$，其中 $p$ 是预测概率，$o$ 是实际结果（1或0）。得分范围为$[-1, 0]$，0表示完美预测，-1表示最差预测。这是一个proper scoring rule，激励预测者同时追求准确性和诚实的概率报告。
论文扩展了Brier Score用于开放端回答的评估，它是模型训练奖励函数的核心组成部分，理解它对理解论文的损失函数设计至关重要
GRPO (Group Relative Policy Optimization)
一种强化学习算法，专门用于语言模型的outcome-based训练。它基于一组样本（group）计算优势，而不是除以组内标准差进行归一化，这在奖励方差较小的设置中能稳定更新。与PPO不同，GRPO只需要最终的outcome reward，不需要环境模型或中间奖励信号，适合于可验证的任务如预测。
论文使用GRPO作为主要训练算法，理解它对理解论文的训练流程和实验设计至关重要
开放端预测
预测任务的一种形式，问题和答案都使用自然语言描述，且可能没有预定义的结构化答案集合。与二元预测或多选预测不同，开放端预测要求模型生成自由文本答案，如'谁将成为乌克兰总理？'而不是'是否会发生？'这更接近现实世界的预测需求，但评估和训练更具挑战性。
这是论文的核心研究对象，理解它与现有预测市场问题的区别对理解论文的贡献和创新点至关重要
回测
在模型训练截止日期之后解决的数据上评估预测性能的方法。由于语言模型的权重在训练后被冻结，任何在截止日期之后发生的事件对该模型来说都是'未来'。回测使用这些过去未来事件作为测试集，可以真实评估模型的预测能力，同时避免未来信息泄露。
论文的核心评估方法，理解它对理解论文如何保证实验严谨性和避免数据泄露至关重要
研究动机
现有语言模型预测方法存在三个核心问题：首先，训练数据来源有限，预测市场如Metaculus主要依赖人工创建问题，数量稀少且主要集中在美国政治事件，无法满足大规模训练需求。其次，二元问题占主导地位，50%的随机基准成功率使得基于结果的强化学习奖励信号噪声很大，即使推理错误也有很高概率被强化。第三，不同平台存在显著的分布偏差，Polymarket专注于加密货币价格，Metaculus偏向技术，Manifold关注个人生活事件，这些偏差使得模型学到的可能是特定平台的特征而非通用预测能力。
本文的目标是本文的核心目标是开发一个可扩展的端到端训练流程，使语言模型能够进行高质量的开放端世界事件预测。具体而言，旨在解决数据稀缺性问题（从全球新闻自动生成大规模预测问题）、奖励信号质量问题（设计能同时激励准确性和校准的奖励函数）、以及泛化能力问题（通过多样化的新闻来源和严格的时间分割确保模型学到真正的预测技能而非特定数据源的偏差）。
与已有工作不同的是，本文的独特切入角度是从新闻事件自动生成开放端预测问题，而不是依赖现有人工创建的预测市场数据。这不仅解决了数据规模瓶颈，还使训练数据涵盖更广泛的地理、主题和时间范围。与仅使用二元预测问题的工作不同，本文专注于开放端回答预测，这更接近现实世界的高影响力预测需求（如'谁将赢得选举？'而不是'是否会选举？'）。同时，论文强调了未来信息泄露的严重问题，采用静态新闻快照而非动态搜索引擎作为数据源，这是与许多现有工作的关键区别。
核心方法
论文提出了一套完整的端到端训练流程：首先从CommonCrawl News的静态月度快照中抽取新闻文章，使用一个语言模型（DeepSeek-v3）为每篇文章生成最多3个开放端预测问题，每个问题包含标题、背景、解决标准、答案和类型。然后使用另一个语言模型（Llama-4-Maverick）进行多阶段过滤和优化，验证问题有效性、选择最佳问题、检测并修复信息泄露。最终创建包含约52K样本的OpenForesight训练数据集。训练方面，使用Qwen3-8B thinking模型作为基础，采用GRPO强化学习算法，结合检索增强和创新的奖励函数（Accuracy + Brier score），训练出专门的预测模型OpenForecaster8B。
核心创新点在于从日常新闻自动生成大规模开放端预测问题的数据生成流程，以及针对开放端回答的奖励函数设计。与现有工作依赖人工创建的二元问题不同，论文的流程是完全自动化的、可扩展的，且生成的问题更加贴近真实世界的预测需求。奖励函数方面，论文提出了Accuracy + Brier score的组合，解决了单独优化Brier score会抑制对困难问题探索的问题，单独优化Accuracy又会导致校准差的问题。此外，使用静态新闻快照而非动态搜索引擎来避免未来信息泄露，是另一个关键的技术创新。
方法步骤详情
数据生成流程包含四个主要步骤：1）样本生成：基于每篇新闻文章，使用样本生成器模型创建最多3个预测样本，每个样本包含问题（预测事件）、背景（简要上下文）、解决标准（确定答案的来源、日期和格式）、答案（从文章中提取的1-3词非数字文本）和来源链接。2）样本验证：使用另一个模型验证问题-答案对是否完全基于文章、问题是否面向未来、答案是否明确且无歧义。3）最佳问题选择：如果一篇文章生成多个有效问题，选择最清晰、独特且相关性最高的一个。4）泄露修复：扫描问题标题、背景和解决标准，检测是否泄露答案信息，发现泄露则仅重写泄露部分，用通用占位符替换具体细节，最后使用精确字符串匹配移除任何剩余的答案提及。训练方面，首先使用Qwen3-8B embedding模型从CCNews语料库中检索问题解决日期前一个月内的5个最相关文章块，然后将这些块作为上下文输入到模型，使用GRPO算法进行训练，奖励函数为Accuracy（0到1）+ Brier score（-1到1），最终得到OpenForecaster8B模型。
技术新颖性
技术新颖性体现在多个方面：首先，这是首个从全球新闻自动生成大规模开放端预测问题的工作，数据生成流程完全自动化且可扩展到未来的新闻源。其次，提出的奖励函数结合了准确性和Brier score，是对传统二元预测奖励函数的创新扩展，解决了开放端回答场景下的奖励设计挑战。第三，使用静态新闻快照而非动态搜索引擎，严格避免未来信息泄露，这对回测评估的严谨性至关重要。第四，模型不仅提高了预测准确性，还在校准度、长期预测一致性等方面有显著改进，并且这些改进能够泛化到其他分布外的基准测试，这是比以往工作更全面的评估。
实验结果
论文报告了三个核心发现：首先，数据过滤步骤对模型性能至关重要。表1显示，没有任何过滤的训练会导致模型性能下降（可能学习到了 shortcuts），仅进行泄露移除需要3倍多的数据和训练步骤才能达到相同性能，而应用所有过滤步骤能够在更少的数据和训练步骤下实现更高的准确率。其次，奖励函数设计对性能影响显著。图4显示，仅优化Accuracy会导致负的Brier score（比常数0基准更差），仅优化Brier score能改善准确率但幅度有限，而论文提出的Accuracy + Brier score组合在两个指标上都取得最佳性能。分析发现，Brier-only模型在约40%的样本中预测'Unknown'且置信度接近0，而论文的模型仅在约4%的样本中这样做。第三，检索系统带来显著改进。图5显示，检索使所有模型家族和大小的准确率提升了9-18%，改进在大约5个文章块后达到平台期。在最终测试集上，OpenForecaster8B的Brier score（主要预测指标）优于GPT-OSS-120B，准确率（33%）超越了Qwen3-235B-A22B，在校准度和长期预测一致性方面也有显著改进。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Open-ended forecasting test set | Brier score | 0.058 | Qwen3-8B: 0.102 | 43% relative improvement |
| Open-ended forecasting test set | Accuracy | 33.0% | Qwen3-8B: 28.0% | +5% absolute |
| FutureX benchmark | Accuracy | 63.5% | GPT-OSS-120B-high: 59.8% | +3.7% absolute |
| Consistency evaluation | Arbitrage violations reduction | 15% aggregated reduction | Qwen3-8B baseline | 33% for PARAPHRASE, 67% for CONSEQUENCE, 75% for AND |
| SimpleQA (out-of-distribution) | Brier score improvement | 0.158 → 0.149 | Qwen3-8B | 5.7% relative improvement |
局限与改进
作者承认了几项局限性：首先，训练数据仅来源于新闻，这导致了分布偏差，新闻对某些类型的事件（如科学突破）报道较晚，使得这些问题比其他问题更容易'预测'。其次，论文没有考虑长形式预测，因为不清楚如何对这些进行评分。第三，虽然模型在开放端预测上表现优异，但在体育类预测市场（如Kalshi）上表现相对较差，表明模型可能尚未在体育事件预测上达到最优。此外，论文观察到模型存在系统性失败模式：当检索的文章缺乏特定信息时，模型会回退到一般知识或有根据的猜测而不是表达高度不确定性；过度依赖一般知识而非承认无法从上下文中确定答案；当提及多个实体时，模型经常选择最突出或最常被提及的一个而不是正确答案。
独立分析的弱点
独立分析发现几个具体弱点：1）新闻源偏差问题严重，Forbes占44.3%，Hindustan Times占32.2%，这可能导致模型在这些媒体覆盖的事件上表现更好，而在其他地区或主题上表现较差。2）答案类型分布不均，人物姓名占44.8%，地点占20.0%，这可能导致模型在这些类型的答案上过度优化，而对组织、团队等类型的答案预测能力较弱。3）时间衰减明显，图12和13显示模型性能随预测时间推移（从5月到8月）逐渐下降，这表明模型在长期预测上仍有限制。改进方向：1）扩展新闻源以覆盖更多地区和主题，特别是非西方媒体和专业领域媒体。2）平衡答案类型分布，确保模型在各种实体类型上都有足够训练。3）专门针对长期预测设计训练策略，如引入更多长跨度事件或明确的时间衰减损失。4）解决系统性失败模式，如训练模型在信息不足时更倾向于表达'Unknown'而非盲目猜测。
未来方向
作者提出了几个未来研究方向：首先，探索让预测者报告其具有非零概率的所有猜测，而不仅仅是单个最佳猜测，这将更完整地利用多类Brier评分规则。其次，考虑长形式预测的评估和训练方法，这需要对自由文本答案的评分机制进行创新。第三，研究如何更有效地整合时间信息，因为论文观察到模型性能随预测时间推移而下降，可能需要专门的时间感知训练策略。基于论文成果可延伸的方向包括：1）探索跨模态预测，如从图像、视频等其他模态生成预测问题。2）研究预测系统的可解释性，帮助用户理解模型为何给出特定预测。3）开发更复杂的不确定性量化方法，如贝叶斯神经网络或集成方法，以提供更可靠的置信度估计。4）将预测系统与决策框架结合，研究如何利用概率预测进行最优决策。
复现评估
论文在复现性方面表现良好：作者开源了所有模型、代码和数据集，这为研究社区提供了完整的复现基础。数据创建成本约3000美元，其中训练集2200美元（使用DeepSeek-v3），测试集800美元（使用o4-mini-high和grok-4.1-fast）。计算资源方面，最终训练运行在8个H100 GPU上持续5个epoch，约1300个优化步骤，总共约1000 H100 GPU小时，包括所有消融实验估计总计算约20,000 H100 GPU小时。虽然计算资源需求较高，但开源的模型和代码使得研究者可以在更小的数据子集上进行实验或使用更小的模型。论文详细描述了训练和评估的超参数，如学习率$5 imes 10^{-6}$、批次大小256、温度1.0、K=8个样本等，这些都是复现的关键信息。总体而言，虽然完整的训练需要大量计算资源，但开源策略和详细的实验设置使得该工作的核心贡献可以在可接受的资源范围内得到验证和扩展。
论文图表
该图按月展示了各模型的Brier score变化，与图12的趋势一致。所有模型的Brier score都随时间推移逐渐下降（变得更差），但训练后的模型在每个月都保持更好的Brier score表现。
这张图是图12的补充，从校准角度确认了相同的时间趋势。它证明了训练带来的校准改进在不同时间跨度上都是稳定的，这加强了图12的结论。