FutureSim：回放真实世界事件以评估自适应智能体 FutureSim: Replaying World Events to Evaluate Adaptive Agents
用真实新闻流构建 90 天滚动预测环境，评测智能体长程测试时适应能力。
前置知识
Brier 分数与 Brier Skill Score (BSS)
Brier 分数是预测概率与「是否真实」平方误差之和，越低越好。本文把它推广为 $\mathrm{BSS}(q)=1-\sum_{o}(p_q(o)-\mathbf{1}[o=y_q])^2$，并证明它对子概率分布仍严格 proper。1=完美押对，0=弃权，-1=全压错。
FutureSim 的核心评分就是 BSS，区别于 accuracy 之处在于同时惩罚「答错且过度自信」与「不押概率」。
测试时适应 (Test-time adaptation)
指模型部署后、利用到达的新信息（不更新权重）动态调整行为的过程。长程设定下，agent 每天根据新增证据改预测，并从已 resolution 的题中反思。它与持续学习的区别是：测试时适应只调推理上下文，不动参数。
本文把「测试时适应」作为待评测的核心能力，并用固定初始预测的实验专门分离出适应能力本身，验证前沿 agent 即使被告知表现差也难摆脱初始 anchor。
知识截止 (Knowledge cutoff) 与前瞻性泄漏
训练数据有时间上限的 LLM 在该日期之后没见过真实事件。若评测依赖实时搜索，搜索结果就会把未来答案回灌给模型，称为「未来信息泄漏」。本文用 CCNews 离线时间戳快照 + bwrap 沙箱按仿真日期切片，从系统层防泄漏。
FutureSim 窗口是 2026-01-01 至 2026-03-28，所有被测模型都在此之前截止；没有日期门控，agent 搜到一条 2026-02 的新闻就能直接抄答案。
Agentic search vs 单轮检索
agentic search 指模型可连续多次搜索、读片段、再决定下一步查询的迭代过程；单轮检索只发一条 query 一次性返回。对长程预测来说，agentic 搜索允许模型根据前一轮证据调整查询。
本文的 search 消融显示 agentic 搜索相对单查询 accuracy 接近翻倍，说明 FutureSim 考的是「边搜边推理」的复合能力。
校准 (Calibration) 与概率分布输出
校准良好的预测意味着「押 70% 的事件长期会以 70% 频率真发生」。FutureSim 要求 agent 提交至多 5 个 outcome 的概率分布而非单一答案，因此高准确率但严重过自信的预测在 BSS 上会比弃权还差。
所有模型 BSS 起点几乎都为负，说明「自信地猜」反而比「不猜」更糟，与传统 accuracy 视角差异极大。
研究动机
现有智能体基准几乎全部是「快照式」的：要么是 GAIA-2、$\tau^3$-Bench 这类 25-33 步的短程任务，要么是 ARC-AGI-3、Vending-Bench-2 这类游戏/模拟环境，再或者是 ProphetArena、PredictionArena 这类依赖实时 Polymarket/Kalshi 盘口的不可复现评测。这些基准有一个共同的盲区——它们无法测量「agent 在真实世界长达数月的演化中，能不能持续吸收新证据并修正自己的信念」。短程任务把适应能力压缩成几分钟的事件，无法暴露「长期记忆」「上下文预算」「多日反思」等真正的长程瓶颈；而基于真实预测市场的评测又因为市场状态时刻变化、长时间窗口才能拿到稳定信号而难以做受控消融。更严重的是，目前在静态预测问答题上评估 LLM 的工作大多假设「单次给一段检索证据再问一次」，这与 agent 真实部署中每天面对滚动新闻流的场景相去甚远。结果就是：当模型被宣传为「智能体」时，我们其实不知道它在长达数月的真实信息流中究竟能学会多少、又会以什么方式失败。
本文的目标是本文要构造一个可复现、可消融、且经济价值高的长程智能体评测场，把「在 3 个月内、每天根据新增新闻修订对 330 个真实世界事件的预测」作为任务，让前沿 agent 在各自的原生 harness 与作者的改进 harness 下分别跑完整个 90 天窗口，并通过 BSS 与 top-1 accuracy 两个指标量化它们的真实适应能力。论文同时希望这个 benchmark 本身能成为一个研究平台，让学界用同样的环境分离地研究 test-time 适应、记忆、搜索、推理算力、多智能体动态等子能力。
与已有工作不同的是，FutureSim 的独特切入是把环境动态直接绑定到「时间戳化的真实新闻文档」上：每一篇 CCNews 文章自带发布日，每天仿真只解锁当日及之前的文章，并提供一个只能在该时间窗口内搜索的 hybrid 检索工具（基于 Qwen3 Embedding 8B + LanceDB）。这同时解决了三件之前没人做对的事：1）用离线快照避免 Brave Search API 的日期过滤泄漏（论文给出 Women Downhill 雪上项目的失败案例作为证据）；2）支持任意模型与 harness 通过极简的两条动作接口（submit_forecast 与 next_day）接入，benchmark 不强制 prompt；3）让预测任务天然带「Bayesian 搜索」色彩，因为同一事件随时间推移会被多源证据同时锁定或推翻，正好适合研究推理密集型信息检索。
核心方法
FutureSim 的整体直觉是「让 agent 玩一场为期 90 天的真实世界预测游戏」。游戏机制极简：每一天 agent 醒来，看到一个市场文件 market.csv（包含当前所有未 resolution 的问题与自己的最新预测）、一组截至当日为止可读的 CCNews 文章目录 articles/YYYY/MM/DD/，以及一个 hybrid 检索工具 search_news(query, from_date, to_date)。agent 决定要更新哪些问题的预测分布（每题至多 5 个 outcome，概率和 $\leq 1$），然后调用 next_day() 进入下一天；当仿真日期越过某题的 resolution date，ground-truth 答案会被写入市场文件供 agent 反思。整个环境只暴露两个 MCP 动作：submit_forecast 与 next_day，其它所有能力（shell、文件、记忆、反思）都由 harness 自由发挥。这种「环境最小、harness 自由」的设计让 benchmark 既能测出 frontier 模型在原生 Codex/Claude Code/OpenCode 下的真实能力，也允许作者叠加一个「我们的 harness」（带上下文预算反馈、结构化记忆工具、强制记忆阶段、程序化预测脚手架）作为公平的对比基线。
与 ProphetArena/PredictionArena 等「接到实时 Polymarket 行情」的设计相比，FutureSim 的核心创新是把世界本身当成可重放的数据：固定的时间戳 + 离线快照 + 日期门控搜索 + 沙箱化的文件系统，四层组合使同一组事件可以在任何时刻被任意模型复现评测，且每个变量（搜索是否开放、记忆是否启用、上下文是否每日更新、是否多智能体交互）都可独立消融。第二个与已有工作不同的本质点是评分方式：作者扩展了 multi-category Brier 分数使其兼容「自由文本 + 子概率分布」，并形式化证明它仍是严格 proper 评分规则，这意味着 negative BSS 一定是过度自信所致，而 0 等价于「不押」，agent 必须真正校准才能得正分。
方法步骤详情
完整流程可以拆成数据构造、环境初始化、单日循环、终止与计分四步。1）数据构造：从 1 万+ 篇 Al Jazeera 文章（2026 Q1）出发，用 Chandak et al. (2026) 的 pipeline 由 LLM 生成自由文本预测题，剔除 6 月之前就能用检索答出的过易题与 2026 年 4 月之后连全网搜索都答不出的可疑题，再用 GPT 5.5 + web search 的 earliest-date 修复流程把每题的 resolution date 改写为「公开证据已经能确定答案」的最早日期，最终保留 330 道高质量题；搜索语料是去重后的 CCNews，共 7.36M 篇来自 141 个 source，时间跨度 2023-01 至 2026-03，仿真第 0 天有 7.12M 篇可用，88 天内新增 244K 篇。2）环境初始化：所有题在仿真开始日 2025-12-24 全部可见，agent 拿到 market.csv、文章目录、search_news 工具与 harness 自带的 shell/文件工具；沙箱用 bwrap 隔离进程视图，market.csv 与 articles/ 之外的一切都不可见，curl、WebSearch、WebFetch 全部禁用。3）单日循环：agent 可任意调用 submit_forecast(question_id, outcomes) 修改某题的概率分布，调用 next_day() 结束当日；调用 next_day 后环境会结算当日新 resolved 题的 BSS、把 ground-truth 写回 market.csv 并暴露给下一天的 prompt，让 agent 形成「预测—等待—反思—修订」的回路。4）终止与计分：仿真在 2026-03-28 之后停止，作者计算每题的最终 BSS 与 top-1 accuracy，再按时间加权平均得到整体分数，未提交的题 BSS=0 而非缺失。
技术新颖性
技术新颖性体现在三个层面。其一，环境本身是一个「事件时间戳 + 离线文档 + 日期门控检索」的最小可组合接口（只有 submit_forecast 与 next_day 两个动作），而之前所有 forecasting benchmark 都要么绑定到具体 prompt 模板、要么绑定到具体市场。其二，作者把 Brier 评分从「单一答案」推广到「最多 5 个自由文本 outcome 的子概率分布」，并以 Theorem C.1 证明它在 partial matching 下仍严格 proper，这填补了开放型预测评分规则的形式化空白。其三，整套测试装置天然分离了 5 个子能力：固定初始预测后的「纯测试时适应」（图 5 左）、有/无记忆写入（图 5 右）、有/无每日新增文档与单 query vs agentic search（图 6）、不同 reasoning effort（图 7）、单 agent vs 多 agent 信息瓶颈（图 8），其它 benchmark 难以在同一环境里同时打开这些维度。
实验结果
整体上，frontier 智能体在 FutureSim 上表现远低于人类直觉预期：图 1 显示最强的 GPT 5.5 在仿真结束时 top-1 accuracy 约 25%，所有开源前沿模型在 recommended harness 下的 Brier skill score 长期为负，意味着「自信地猜」还不如直接弃权。具体到图 3，GPT 5.5 在两个 harness 下都从 0 附近单调爬升到 accuracy $\sim 25\%$ / BSS $+0.05$ 左右；DeepSeek V4 Pro 在两个 harness 上都有可观提升（accuracy 从约 13% 升至约 18-20%，BSS 从负转正）；Qwen 3.6 Plus 与 GLM 5.1 在 OpenCode 下基本不增长，但切换到作者的 harness 后 accuracy 与 BSS 都有持续提升，说明 harness 工程能显著「激发」开源模型的适应潜力。Claude Opus 4.6 在两种 harness 下表现接近，说明 coding harness 不一定通用。图 4 进一步把 GPT 5.5 的轨迹与 Polymarket 人类聚合对比：在 Super Bowl（成交 700M 美元）和 Portugal Runoff 等市场上 GPT 5.5 的更新甚至领先人类聚合，但在 Grammy 与 UK constituency 这种「人类偏好类」市场明显落后；右图的 Nepal PM 例子显示 agent 的更新方向与人类聚合一致但更滞后，原因是语料缺少社交媒体。消融方面，图 5 左显示即使把初始预测都强制为最弱模型 Qwen 3.6 Plus 的输出，GPT 5.5/Opus 4.6/DeepSeek V4 Pro 的相对改善幅度类似，但所有 agent 到最后都没能爬回 BSS=0 基线，证实存在 anchor 效应；图 5 右显示去掉记忆写入后三个模型的 BSS 都下降，说明文件级记忆对长程任务是必要组件。图 6 的搜索消融在 GPT 5.5 xhigh 上把 24.8% 的仿真末态 accuracy（daily context + agentic search）与 17.9%（冻结语料）以及 31.2% 直接单题查询对比，说明 agentic 搜索相对单查询接近翻倍、daily 上下文增量贡献约 7 个百分点。图 7 显示 GPT 5.5 在 none/low/medium/high/xhigh 五档推理算力下 accuracy 从约 17% 提升到 $\sim 25\%$，tool calls 从 2419 升到 3690，high 与 xhigh 之间收益递减。图 8 的多智能体实验把 3 个 DeepSeek V3.2 agent 通过「市场聚合」耦合，发现单 agent 独立跑时预测随时间发散，而多 agent 跑时三者的总变差距离随时间收敛，证实信息瓶颈能让独立 agent 自然聚集到共识。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FutureSim 主结果（90 天滚动预测） | Top-1 Accuracy | GPT 5.5 (Codex) 仿真末态约 25%；DeepSeek V4 Pro 约 18-20%；Qwen 3.6 Plus / GLM 5.1 / Opus 4.6 在作者的 harness 下约 10-15% | 「不预测」基线 (accuracy=0, BSS=0)；推荐 harness 下 Qwen 3.6 Plus 全程低于 10% | GPT 5.5 相对「弃权基线」+25 个百分点；我们 harness 下 Qwen 3.6 Plus 与 GLM 5.1 相对其推荐 harness 提升 5-10 个百分点 |
| FutureSim 主结果 | Brier Skill Score (BSS) | GPT 5.5 仿真末态约 +0.05；DeepSeek V4 Pro 在作者 harness 下由负转正至约 0；Qwen 3.6 Plus / GLM 5.1 推荐 harness 下长期 -0.05 至 -0.10 | 「弃权基线」= 0；推荐 harness 下开源前沿模型显著为负，意味着比不押还差 | 切换到作者 harness 后多数开源模型 BSS 上升 0.05-0.10；GPT 5.5 相对最强基线 +0.05 |
| Search 消融（GPT 5.5 xhigh） | Top-1 Accuracy on Resolution Day | Daily context + agentic search = 24.8%；Single query search = 14.2% | 冻结 day 0 语料（No context updates）= 17.9% | Agentic 搜索相对单查询接近翻倍（+10.6 pp）；每日增量上下文贡献 +6.9 pp |
| Direct 查询上界 | Top-1 Accuracy | GPT 5.5 xhigh 直接在每题 resolution 前一天单独查询 = 31.2% | 仿真末态 daily context = 24.8% | 上界比仿真末态高 6.4 pp，揭示 sequential updating 仍有大幅改进空间 |
| 推理算力 scaling（GPT 5.5） | Top-1 Accuracy | reasoning effort none ~17%、low/medium ~22%、high/xhigh ~25%；tool calls 从 2419 升至 3690 | none effort | 从 none 到 high 约 +8 pp，high 到 xhigh 几乎无增益（边际递减） |
| 多智能体动力学（3× DeepSeek V3.2） | 聚合预测的 TV distance | 多 agent 跑时三 agent 预测随时间收敛；单 agent 独立跑时三者预测发散 | 独立单 agent 跑（baseline TV 距离随时间增长） | 多 agent 信息瓶颈显著降低了预测分散度 |
局限与改进
作者在文中坦承多个局限。其一，绝对分数只能视为能力下界——任何 harness、工具或语料升级都可能进一步拉升结果，因此 ranking 比绝对值更可靠。其二，预测任务仅限于「agent 行为不会改变世界」的纯预测设定，不能直接外推到 performative prediction 或 agent 动作会改变环境动力学的决策域。其三，330 道题的题量虽然对每个 agent 已相当于约 3.7M+ tokens 与 500-4000+ tool calls 的工作量（GPT 5.5 单次 run 消耗 3700 turns 与 12.4M tokens），但仍远小于真实世界 24/7 智能体的部署强度。其四，CCNews 语料缺少社交媒体信号，导致在「人类偏好类」市场（如 Grammy、UK constituency）上 agent 表现明显弱于 Polymarket 聚合；语料与现实信息流的差距是天花板级别的限制。其五，5 个 outcome 的概率分布上限虽然提升了答案匹配的可行性，但也让 agent 在更细粒度的不确定性表达上受限。
独立分析的弱点
基于实验细节可以独立指出几个弱点并给出改进方向。第一，「anchor 效应」在图 5 左的固定初始预测实验中暴露无遗：即使 agent 被告知自己 BSS 为负，它们到仿真末态也只回到 0 而非恢复自身原始水平，意味着现有 frontier 模型缺乏「有效推翻自己先前信念」的反思机制；改进方向是显式训练一个「calibration critic」子任务或引入「自我对辩」机制，让 agent 在每次预测前显式列出反证。第二，Qwen 3.6 Plus 与 GLM 5.1 在推荐 harness 下几乎停滞、必须切换到作者 harness 才有显著提升，暴露了原生代码 harness 对纯预测任务的设计错配；改进方向是让 harness 在 prompt 开头检测任务类型并切换到「forecast mode」（含 calibration 提示与概率分布流程图）。第三，GPT 5.5 在错误的 top-1 答案上有 27.4% 概率压 $\geq 0.5$，9.1% 压 $\geq 0.75$，是过度自信的最直接证据；改进方向是在 reward / RLHF 阶段引入「confidence penalty」或温度退火，鼓励模型在低置信度时输出更平坦的分布。第四，DeepSeek V4 Pro 习惯性输出「no new appointment」这种 null prediction，把概率压在空字符串上损害分数，暴露了模型对「预测选项分布」的语义理解偏差；改进方向是在 prompt 中显式禁止 null/placeholder 并在 harness 的评分反馈中突出「被 null 扣分」的题目。第五，仿真每日都需要重新加载上下文，agent 经常因上下文预算紧张而压缩记忆；改进方向是借鉴 recursive language model 思路，把长程记忆外置为可独立调用的子模块，让 agent 像调用工具一样访问历史而非写入 context。
未来方向
作者明确提出的方向包括：基于已 resolution 题继续 fine-tune 模型权重以「内化」仿真期间的新证据；test-time training 以预测 resolution 作为监督信号；递归语言模型（Zhang et al., 2026a）与 autoresearch 让 agent 自我改进 harness；并行聚合、多 agent 系统、扩展环境交互以做 cost-performance 曲线。基于结果还能延伸出几个方向：把 FutureSim 框架推广到金融宏观、医学指南更新、供应链中断等真正影响企业决策的长程预测域；用同一环境训练「何时该信任自己的预测、何时该搜索、何时该保留 memory」的元策略；以及在多智能体信息瓶颈上引入异步更新与异质 prompt，研究 heterogeneous agent 的涌现行为。
复现评估
代码与博客已公开（论文顶部给出 Blog / Code 链接），整体复现门槛中等偏高。环境侧：仿真数据已就绪（330 题 + 7.36M 去重 CCNews 文章），但需要一台 Linux 机器用 bwrap 搭沙箱、自建 LanceDB 索引并部署 Qwen3 Embedding 8B（单卡 A100/H100 即可）。模型侧：闭源模型 GPT 5.5 / Opus 4.6 走每月约 $220 的 coding plan，否则按 token 计费预估是 10× 以上；DeepSeek V4 Pro 约 $50/run、Qwen 3.6 Plus 走 OpenRouter 约 $150/run；answer matching 阶段用 DeepSeek V3.2，单 run 不到 $50。算力侧：一次完整 run 消耗 500-4000+ tool calls 与 10M+ tokens，开源模型若自行部署还需要按 tokenizer 折算额外推理预算。综合来看，论文公开了足够的 recipe 与 prompt（附录 E），但要严格复现 GPT 5.5 与 Opus 4.6 的轨迹需要该月的订阅计划与对应 harness 版本（Codex 0.125.0、Claude Code 2.1.132、OpenCode 1.4.11），整体复现难度中等。
论文图表
