SciGame：让智能体在真实与反事实世界中玩科学发现游戏 SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World
配对真实/反事实环境的科学定律发现基准，检验LLM智能体能否让证据压倒先验
前置知识
LLM 智能体（Player）
以大语言模型为核心、能在循环中规划行动、调用工具并根据反馈更新内部状态的系统。本文的 Player 智能体接收任务描述，提出实验、解读观测、维护带置信度的假设列表，并自主决定何时提交最终答案，全部通过 Codex 框架以高推理效率调用。
整个基准评测的对象就是这类智能体；Prior-only、Fixed、Adaptive 三条协议的本质区别，就是赋予智能体多大的行动自由度。
反事实环境（Counterfactual environment）
在保持任务接口、输入域与实验约束完全不变的前提下，把生成观测的真实关系替换为受控变异后的"平行定律"版本。本文用隐藏参数 $s\in\{0,1\}$ 在原始响应 $g_r$ 与反事实响应 $g'_r$ 之间选择，且不告诉玩家当前世界是哪一个。
反事实配对是本文的核心机制，用来量化检验模型到底是依赖记忆中的先验，还是依赖当下获得的实验证据。
符号回归与精确表达式恢复
从数据中自动搜索能解释观测的数学表达式。本文的严格成功标准要求玩家提交的表达式与真值精确或代数等价，而不只是数值拟合得好；预测器被限定为纯算术表达式树（节点数上限 1024、深度上限 64），不是任意可执行代码。
结果显示符号恢复是最强模型的主要瓶颈（GPT-6 Astra 有 48% 的失败源于此），不懂这个概念就无法理解弱/严格 ESR 之间的巨大差距。
知识截止与数据污染
模型训练数据的最后日期称为知识截止；若评测任务取自截止前已公开的材料，模型可能靠记忆而非推理得分，即污染。本文的 Temporal 集合要求论文的期刊发表日与首次预印日都晚于被测模型的知识截止。
这是理解 Temporal 动态集合设计动机以及"污染检查"实验（图 7）的前提，也是本文区别于静态基准的关键卖点。
主动实验设计（Adaptive protocol）
智能体自主选择下一个实验的输入设置，序贯地向能返回观测的 Oracle 提问，用尽量少的实验区分竞争假设。本文的 Adaptive 协议强制每步报告至少两个带归一化置信度的假设，并对每个提议输入给出各假设下的数值预测，Oracle 会先校验实验约束。
Adaptive 与 Fixed/Prior-only 的对比直接构成本文三大发现之一：主动实验帮强伤弱、且高度依赖交互预算。
量纲一致性（Dimensional consistency）
物理方程两边单位必须一致，随意改写指数会破坏单位。本文的反事实变异被约束为量纲一致：非线性变换使被改变变量的单位在所有相关方程中同步更新，保证变异后的世界在物理上自洽、可辩护。
它是本文反事实构造区别于"随手改公式"的关键，也是理解表 8、表 9 中 M1/M2/M3 三类变异手段合理性的基础。
研究动机
现有评测把科学发现拆得支离破碎，且难以排除预训练先验的干扰。DiscoveryBench、ScienceAgentBench、PaperBench 等基于论文的任务把定律推断与编程、复现混在一起；LLM-SRBench、BoxingGym、NewtonBench、DiscoverPhysics 等要么只从数据恢复方程，要么只改变物理情境，但没有任何工作在完全相同的任务接口下同时比较"候选公式引导的识别"与"开放式发现"，也没有把原始关系与反事实变体配对。更关键的是，常用指标用数据拟合得分代替对未见输入的预测，一个貌似合理的解释即使预测器完全错误也可能得高分；绝大多数基准是静态的，几乎不含模型知识截止日期之后发表的定律（污染风险）；SciLaws-Bench 虽有 Real/Parallel 两种设定，但二者的观测与评测协议不同，预测精度不可直接比较。因此领域内无法回答一个基础问题：当证据与模型熟悉的定律冲突时，LLM 智能体到底跟谁走？
本文的目标是本文要构建受控基准 SCIGAME，把科学定律发现还原为可归因的"游戏"：将文献中的定量关系提炼为结构化科学卡片（记录关系、参数、变量、单位、输入域、适用条件），每张卡片同时实例化一个 Original 环境和一个施加量纲一致变异的 Counterfactual 环境，两者共享完全相同的任务接口与实验约束。在此之上，用 Identification（给出含未知参数 $s$ 的候选公式）与 Discovery（无候选）两种设定，Prior-only（零观测）、Fixed（固定 $B$ 个预设观测）、Adaptive（自主向 Oracle 提议实验）三种协议做统一评测，并以隐藏输入上的预测分数、分层 episode 成功率和基于量规的科学解释分数三个指标衡量。同时建立可随知识截止日期滚动更新的 Temporal 活管线，从 2026 年 4 月 30 日至 9 月 15 日发表的前沿期刊论文中抽取 24 个任务族，系统性降低数据污染。
与已有工作不同的是，本文的独特切入是把"先验 vs 证据"变成可控实验变量。其一，Original/Counterfactual 配对环境——两个环境唯一差别是生成观测的关系被系统性变异，玩家界面、输入范围、可观测量和约束完全一致，从而直接检验智能体是否"跟着证据走"；作者还做了配对有效性验证：每个环境的真值方程在另一环境的观测上都必然失败预测评测，说明两世界可被实证区分。其二，同一接口下统一比较 Prior-only、Fixed、Adaptive 三协议与有无候选两设定，使先验知识、被动观测、主动实验三个因素的贡献可被分离归因，而表 1 所列 14 个先前基准没有一个是这么做的。其三，引入 Temporal 活集合：只保留期刊发表日与首次预印日都晚于被测模型知识截止的论文，用可重跑的抽取-审查管线持续更新基准，从时间维度对抗记忆化污染，让基准成为随模型演进的可再生资源。
核心方法
直觉上，SCIGAME 把科学发现做成一场规则透明但"物理定律可能被偷偷改写过"的游戏：智能体拿到同一份任务说明，却不知道身处原始世界还是反事实世界，必须靠观测和实验判断世界遵循什么定律。技术路线分四步。第一步，把科学来源蒸馏成结构化科学卡片，记录关系、参数、变量、单位、输入域与适用条件；Historical 集合含 20 个经典关系，Temporal 集合含 2026 年 4 月 30 日至 9 月 15 日发表的 23 篇论文中的 24 个关系。第二步，为每张卡片构造 Original/Counterfactual 配对环境，反事实侧做量纲一致的结构变异。第三步，在 Identification/Discovery 两设定下运行 Prior-only/Fixed/Adaptive 三协议的 episode，Adaptive 中玩家与 Oracle 反复交互，直到最高假设置信度超过阈值才提交。第四步，由固定 Evaluator 在隐藏输入上评测预测分数、成功率与解释分数。主矩阵共 7,920 个 episode，每个条件 3 次重复。
核心创新是"配对反事实 + 隐藏混合参数"的设计。每个任务用同一个公式接口定义：$$G_r(x;s) = (1-s)\,g_r(x) + s\,g'_r(x)$$ 其中 $g_r$ 是原始关系、$g'_r$ 是变异后的反事实关系；模拟器只取 $s=0$ 或 $s=1$，但对玩家隐藏。这与已有工作的本质区别在于：NewtonBench、DiscoverPhysics 等只改变物理情境，Gravity-Bench 有反事实但不给候选公式对比，SciLaws-Bench 的 Real/Parallel 设定协议不同无法直接对比，而 SCIGAME 让"世界是否被改写"成为唯一自由变量——先验若压过证据，反事实环境立刻暴露（实验中所有模型在 Historical 反事实 Discovery 的严格 ESR 全部归零）。配合 Identification 中显式给出含未知 $s$ 的候选式，还能精确测量"候选引导"与"开放式发现"的能力差距。Temporal 活管线则从时间维度保证这场游戏对未来模型持续新鲜、无法靠背题取胜。
方法步骤详情
第一步建卡：LLM 从带行号的来源文本抽取定量关系，每个数值须有行号锚点；独立 LLM 审查者核查公式保真度与各字段支撑，无支撑卡片被修改或剔除。第二步造反事实：用 M1 变指数/系数、M2 参数缩放（$p=0.80$ 或 $1.20$）、M3 加交叉交互项（$u_\theta u_Z$），保持量纲一致并同步更新相关方程。第三步跑 episode：Identification 提供含未知 $s$ 的公式 $G_r(x;s)$，Discovery 只给背景；Prior-only 零观测直接提交，Fixed 给 $B$ 个预设观测，Adaptive 每步至少报两个归一化置信度的假设并给出各假设下的数值预测，Oracle 校验后返回量化观测 $y_{t,r}=Q_r(g_r(x_t))$，最高置信度达 $\tau$ 才能提交。第四步算分：预测分数 $S=1/(1+\tfrac{1}{N}\sum_{i,r} e_{i,r})$，误差按容差归一化；弱标准 $\max e_{i,r}\le 1$，严格标准要求精确符号匹配。第五步评解释：LLM 评委按三准则各打 0/0.5/1 取均值。
技术新颖性
从表 1 的特性矩阵看，SCIGAME 是唯一同时具备主动实验、数值预测、论文落地、反事实变体和时间筛选五项特性的基准——14 个先前基准每个最多覆盖三项。技术新颖性体现在四处：(1) 反事实变异受量纲一致性约束并同步更新相关方程，而非随机改写公式，保证变异后的世界物理自洽；(2) 隐藏参数 $s$ 的混合形式让同一份任务说明可以指向两个世界，使"先验依赖"成为可直接测量的量，而不是靠改任务表述间接推测；(3) Prior-only/Fixed/Adaptive 与 Identification/Discovery 构成归因网格，能把失败定位到"缺证据""观测设计不当""实验策略不当"中的哪一层——这是此前任何基准都没提供的诊断粒度；(4) Temporal 管线以期刊发表日与首次预印日双重门槛过滤、可随 cutoff 重跑，把基准变成可持续更新的活资源而非一次性静态数据集。评测层面把数值预测、精确符号恢复与解释质量分开计分，直接暴露"解释头头是道、预测一塌糊涂"的失配现象。
实验结果
9 模型、7,920 个 episode 给出四个发现。(1) 先验改写即成负担：Fixed 下原始 Discovery 平均 ESR：Historical 58.6%、Temporal 21.3%；Historical 反事实严格 ESR 归零，Temporal 反事实平均仅 8.9%。(2) 自适应帮强伤弱：Astra 在 Temporal 反事实 Discovery 从 9.7% 升至 16.7%，Terra 却从 8.3% 跌至 1.4%。(3) 预算决定 Adaptive 价值：$B{=}8$ 时反事实 Discovery：Fixed 47.2%–65.3%，Adaptive 仅 27.8%–34.7%；Identification 一步饱和，反事实 Discovery 成功集中于 9–64 步。(4) 解释好不等于预测对：Terra SES 0.815 但 ESR 仅 1.4%。错误关系约占 GPT-5.5/5.6 Sol 失败的一半；Astra 最常见失败是 48% 符号未恢复，强模型偏爱多项式拟合而非物理直觉。污染检查显示其对截止后论文任务仍可解出，泛化真实存在。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Temporal 反事实 Discovery（Adaptive 协议，GPT-6 Astra） | 严格 ESR | 16.7% | 同模型 Fixed B=4 为 9.7%；全部模型在 Fixed 下仅 5.6%–12.5% | +7.0 个百分点；主动实验只对最强模型有效 |
| Historical 反事实 Discovery（Fixed B=4） | 严格 ESR | 0.0%（所有模型） | Temporal 反事实 Discovery 平均 8.9% | 无提升——经典定律被改写时先验完全压倒证据 |
| Temporal 原始 Discovery（Fixed B=4，九模型平均） | 严格 ESR | 21.3% | Historical 原始 Discovery 平均 58.6% | -37.3 个百分点：知识截止后的新定律远难于经典定律 |
| GPT-6 Astra 的 Historical 反事实 Discovery（Adaptive） | 弱 ESR vs 严格 ESR | 弱 95.0% vs 严格 1.7% | 其他模型严格 ESR 均为 0.0% | 93.3 个百分点差距：数值拟合可行但精确符号恢复几乎全部失败 |
| Adaptive Temporal 反事实 Discovery（GPT-5.6 Terra） | SES / ESR / PS | 0.815 / 1.4% / 0.060 | 解释分 0.700 以上的组合严格 ESR 普遍低于 12.0% | 解释分与成功率严重脱钩，两指标必须并用 |
| 反事实 Discovery（B=8 预算，三强模型） | 弱 ESR | Adaptive 27.8%–34.7% | Fixed 47.2%–65.3% | 小预算下预设观测优于自主探索（GPT-6 Astra：65.3% vs 30.6%） |
| 推理成本（主矩阵 7,920 episodes） | 总费用（美元） | $5,843（其中 Adaptive $4,429） | Fixed $782 + Prior-only $631 | Adaptive 成本约为两个静态协议总和的 3.2 倍 |
局限与改进
作者明确承认六点局限：模型覆盖窄，主要是 GPT 家族且全部通过同一个 Codex 智能体框架运行；基准只有 44 个任务族且大多来自物理；每个条件仅 3 次重复，表格中的小差异统计上不可靠；所有环境都是无测量噪声的确定性模拟器，Temporal 关系还简化了论文结果；反事实变异来自有限的合成手段集合，且 Historical 与 Temporal 两个集合使用不同的变异方案，跨集合对比要谨慎；日期过滤依赖厂商自报的知识截止，能降低但不能根除污染。此外卡片构建和解释评分都依赖 LLM，而评委（GPT-6 Astra）恰好也是被测模型之一，存在自评偏差风险。我的补充观察：严格 ESR 要求表达式精确匹配，会系统性惩罚"数值正确但形式等价或用多项式逼近"的解；Adaptive 协议没有预算上限，最长的 GPT-6 Astra episode 跑了 485 次观测、单 episode 成本 $4.47；表达式树的算子白名单也限制了可发现关系的函数空间，阈值 $\tau$ 与容差参数的敏感性未见报告。
独立分析的弱点
弱点一：评委即选手。GPT-6 Astra 同时担任全部条件的固定 Evaluator 和解释评委，评分可能偏向与其同源的模型行为；应引入异构多评委、公开人工标注的校准子集并报告评委间一致性。弱点二：无噪声确定性世界。真实实验必然带测量噪声，而本基准的观测 $y_{t,r}=Q_r(g_r(x_t))$ 是理想量化值，智能体无需做统计推断；应注入可调噪声并要求重复采样与不确定度报告。弱点三：自适应协议成本失控。Adaptive 总花费 $4,429，是 Fixed（$782）的 5.7 倍，96% 的成本花在失败 episode 的盲目搜索上；应引入显式预算约束与成本感知的停止规则。弱点四：任务域偏科。44 个任务族绝大多数是物理与量子物理，生化与地球科学仅零星出现，限制结论外推；可扩充跨学科任务族。弱点五：反事实变异谱窄。指数/缩放/交互项三种手段不涵盖结构性变异（换机制、换守恒律），与真正的"平行物理"有距离；可引入更丰富的变异算子并做敏感性分析。弱点六：严格匹配过苛。强模型爱用多项式逼近被记为失败，应增加代数等价与近似形式的分级评分。
未来方向
作者提出的方向是让 Temporal 管线随模型 cutoff 滚动更新——只需换日期窗口重跑抽取-审查流程，并扩展被测模型与智能体框架。基于本文成果还可延伸：其一，研究假设置信度的校准性——协议强制报告至少两个归一化置信度的假设但明确不假设其为校准后验，这为"LLM 科学信念更新"研究提供了现成数据；其二，把 Adaptive 协议接到含噪声的真实或半真实实验接口（如自动化实验室），检验主动实验策略的现实迁移；其三，针对"48% 符号未恢复"的瓶颈，结合物理直觉约束、稀疏正则或量纲分析的神经-符号方法，替代当前强模型偏爱的多项式暴力拟合；其四，设计预算感知的实验选择策略，缩小 Identification 一步饱和与 Discovery 需数十步之间的鸿沟；其五，增加多智能体协作（提出-批判-证伪分工）与人类被试基线，量化确认偏误在发现过程中的影响；其六，把噪声、重复测量与统计推断纳入评分，让基准更接近真实实验科学。
复现评估
复现条件较好但需要真金白银。作者声明代码与数据在匿名仓库公开；任务族清单（表 8、表 9 含完整关系式、输入域、变异方案）、全部提示词（附录 C）、算子表（表 5）、交互数据模式（表 3）均在附录给出，抽取、审查、评测各环节都有明确规约。算力方面无需训练，纯 API 推理：主矩阵 7,920 个 episode、每格 3 次重复，总成本 $5,843，其中 Adaptive 占 $4,429（GPT-6 Astra 一个模型就花 $2,359，合 $4.47/episode），Prior-only 与 Fixed 合计仅 $1,413。预算有限的复现者可先跑 Prior-only/Fixed 复现主结论，再抽样跑 Adaptive；使用开源模型（Qwen、DeepSeek、K2-Horizon）可进一步压成本。主要风险是闭源 API 的版本漂移（模型会下架或静默更新）与评委一致性无法独立验证。综合难度：中等——工程量在管线搭建与数千 episode 的调度，科学实现上没有未公开的黑箱。
论文图表
并排对比 Prior-only（任务描述+零观测）、Fixed（一次性给 B 个预设观测，B=2/4/8）与 Adaptive（序贯交互式实验请求，无预设预算）三种协议的输入差异与玩家最终提交路径。
三条协议是论文归因分析的自变量，看懂此图才能理解'先验/被动观测/主动实验'三效应如何被分离。