Stargazer：在天体物理约束下，面向AI智能体的可扩展模型拟合基准环境

聚焦径向速度测量的系外行星发现基准，揭示前沿AI会拟合但不会识别物理系统。

前置知识

径向速度法 (Radial Velocity, RV)

通过高分辨率光谱仪精确测量恒星谱线的多普勒频移来推断视向速度。当行星绕恒星运行时，引力摄动让恒星产生典型$K\sim 1\text{-}100\,\mathrm{m/s}$的周期性摆动。通过分析$v(t)$时间序列可反推出行星的开普勒根数。

STARGAZER整个benchmark围绕RV时间序列展开：agents拿到$v(t)=\sum_i v_i(t;\theta_i)+\gamma+\epsilon(t)$信号必须反推背后的行星构型。不理解RV就无法读懂任务物理含义。

开普勒轨道模型与5个轨道根数

单颗行星的RV信号由5个开普勒元素决定：周期$P$、半幅$K$、偏心率$e$、近星点角$\omega$、平近点角$M_0$。多行星$v(t)$是各$v_i(t;\theta_i)$的线性叠加加上系统速度$\gamma$与仪器偏差。

代理每次提交的开普勒元素用forward modeling与真值比较；ok_match本质上是衡量两套开普勒信号的距离$d_{ij}$。

ReAct风格Agent循环与PythonREPL工具

ReAct让模型在"思考(Reason)"与"行动(Act)"之间交替。STARGAZER里每episode由若干(思考,工具调用,观察)三元组组成，行动限于PythonREPL与submit两工具，最多$K$次submit，仅取最优记分。

STARGAZER核心假设是agent必须用工具型Python循环而非纯文本推理。理解"工具+提交+反馈"三件套是搞懂环境交互规则的前提。

Lomb-Scargle周期图与peel-and-search

Lomb-Scargle处理不规则采样时间序列的周期估计，输出每个频率的周期功率；peel-and-search指"先拟合最强信号、残差中找下一个"的迭代方法。低SNR或近共振时该流程会因组合频率alias失效。

成功案例中agent正是通过剥离1-planet后审视残差发现第二颗行星；失败案例里agent被alias频率锁死。不懂周期图就无法理解任务难度的来源。

BIC (贝叶斯信息准则) 与 ∆BIC 模型选择

$\mathrm{BIC}=-2\ln L+k\ln N$，$k=5n_{pl}+n_{inst}$为自由参数。$\Delta\mathrm{BIC}=\mathrm{BIC}_{\mathrm{null}}-\mathrm{BIC}_{\mathrm{model}}>0$惩罚过参数化模型。

ok_delta_bic是4准则中唯一的纯统计量，它阻止"1颗行星硬拟合5颗信号"。这是"统计≠物理"中"统计"一侧的具体定义。

匈牙利匹配与$S_{\mathrm{match}}$评分

匈牙利算法对真值/提交集合做最优匹配。距离$d_{ij}$综合RV曲线差、周期比、半幅比与偏心率差（权重4.0），$S_{\mathrm{match}}=\frac{1}{|M|}\sum e^{-d_{ij}}\geq 0.8$视为配对成功。

ok_match与ok_count是"物理"侧的两道gate。理解$d_{ij}$为何把RV曲线差异放首位（吸收参数简并），才知道怎样把"两套开普勒信号是否一致"严格化。

研究动机

现有的LLM评测基准几乎都建立在静态问答（QA）之上——GPQA、HLE、OlympiadBench等聚焦"单轮知识检索"，SCIBENCH、ASTROMLAB等聚焦"事实回忆"，即便号称agentic的ASTROVISBENCH也只考察单一环节，或GRAVITY-BENCH那样以toy模拟做引力发现。这些基准共同的盲点是：它们既无法测试"多步+工具+迭代反馈"的真实科研工作流，也无法测试agent对物理一致性的内化程度。具体到天体物理：系外行星学家日常做的事情是"读出RV时间序列 → 周期图 → 逐次剥离 → 拟合开普勒根数 → 模型选择"，这套流程需要工具调用、迭代反思、参数空间搜索，并且必须严格满足物理约束，但目前没有任何基准能度量agent在这条长链路上的能力。

本文的目标是作者的具体目标是构建一个STARGAZER环境，把"系外行星通过径向速度发现的完整科研工作流"封装成一个可无限扩展的agentic benchmark。该环境要满足四个性质：(1) 任务在物理上有明确可验证的ground truth；(2) 难度可以通过物理维度（SNR、行星数、共振、采样、噪声水平等）连续调控；(3) agent必须通过工具调用与迭代反思完成任务，无法靠检索绕过；(4) 评估准则同时检验"统计拟合"和"物理参数恢复"，从而区分真正的科学推理与曲线拟合。STARGAZER共提供120个任务：100个由随机种子完全确定的合成任务加20个来自NASA Exoplanet Archive的实测档案，并按$\mathrm{difficulty}\in[1,10]$分成Easy/Medium/Hard三层。

与已有工作不同的是，本文的独特切入角度是从"真实科研工作流"切入而非"题目风格"。与ASTROVISBENCH只评测单个研究阶段、GRAVITY-BENCH只用玩具模拟不同，STARGAZER同时覆盖syn-to-real两端：合成任务可以由$\mathrm{seed}$完全复现且无限扩展（防score saturation），真实任务则用RadVel验证恢复参数与已发表论文一致（防数据污染）。更关键的差异化是"conjunction gate"——必须同时通过 $\Delta\mathrm{BIC}$、$\mathrm{RMS}$、$S_{\mathrm{match}}$、$n_{guess}=n_{truth}$ 四道关卡，这迫使研究者与工程师关注"为什么统计拟合好并不等于物理恢复好"这一被现有QA基准掩盖的核心问题。

核心方法

STARGAZER的整体设计是"物理任务生成器 + Agent环境 + 自动化评估器"三件套。直觉上，它模拟的是"一个天文学家拿到一颗恒星的一段时间序列RV观测，能否像真正研究者那样迭代地找出所有行星及其开普勒根数"这一具体任务。技术路线上：环境用REBOUND做N-body合成，对100个合成任务每个都由唯一的random seed决定；从NASA/Exoplanet Archive抽取20个真实数据集重新格式化作为real任务；Agent在PythonREPL + submit双工具的ReAct循环里迭代；评估器对每次提交做forward modeling，并用4个pass/fail准则同时打分。难度评分$d\in[1,10]$是6个物理因子（行星数、SNR、共振、采样、噪声、coverage）的先验加权和，过滤掉物理上不可识别的任务以保证可解性。

本文核心创新有两点：其一，把"科学发现的过程约束"显式建模为"提交→评估→反馈"的agentic loop，并设计了一个四准则conjunction gate同时检查统计与物理；其二，让任务的难度由天体物理规律本身（而非人工trick）调节，并通过"基于种子的可复现合成+真实数据子集+sim-to-real对比"三段式评估来破解"评测benchmark只reward 拟合指标"这一传统陷阱。本质区别于现有benchmark的地方是把"评估准则本身"作为研究对象——4个准则之间的解耦暴露了"统计拟合≠物理恢复"这一之前无法量化的认知差距。

方法步骤详情

流程分四阶段。(1)任务构造：合成用REBOUND按$v(t)=\sum v_i+\gamma+\epsilon(t)$生成，单seed全调度；real抽20个NASA Exoplanet Archive系统RadVel验证。难度$d\in[1,10]$为6因子加权和（SNR/行星数/共振/采样/coverage/噪声），不可解过滤。(2)Agent：每episode给$v(t),\sigma,M_\star$，ReAct循环PythonREPL+submit，submit返4 pass/fail。(3)资源pilot 3倍中位数：Easy/Med/Hard分别$200\mathrm{K}/450\mathrm{K}/900\mathrm{K}$ tokens、$600/900/1500\,$s、$3/5/10$ submits。(4)评分4准则conjunction gate：$\mathrm{RMS}\leq 1.5\widetilde{\sigma}$、$\Delta\mathrm{BIC}/N>0$、匈牙利$S_{\mathrm{match}}\geq 0.8$、行星数相等。

技术新颖性

STARGAZER的技术新颖性可归纳为四点：(1) 单一seed复现合成层，支持无限扩展与held-out重生成，从根本上避免score saturation，并通过"物理不可识别过滤"保证可解性。(2) 把agent动作空间限制为PythonREPL+submit两工具，同时允许多次重提交与失败诊断反馈，以最小接口强制"分析→假设→检验→修正"工作流。(3) Hungarian+$S_{\mathrm{match}}$评估准则：RV曲线差权重$w=4.0$吸收参数简并，指数$e^{-d_{ij}}$天然处理匹配敏感度；阈值$0.8$对应$d_{ij}\leq 0.22$，在$[0.72,0.88]$边界带只占$14\%$，$\pm10\%$扰动只改变pass rate $\leq 5$pp。(4) 显式的sim-to-real评测：20 real任务与8 LLM的0%通过对比（$\Delta$BIC仍100%、Match 0%、Count 27%），为"训练数据泄露能否解决问题"提供了一个直接反驳的实验。

**Figure 2**: STARGAZER framework — task generation, agent iteration loop, automated grading pipeline.

实验结果

实验评测8 LLM + 2 non-LLM baseline，每任务3次独立运行。Table 1显示：(1) Easy档GPT-5.3-codex最佳$80.0\%$（Env Done 88.3/48.3/7.5\%），仍输Classical Pipeline $95.0\%$；(2) Medium档所有LLM $17.9\%$–$35.0\%$；(3) Hard档所有LLM<=$5.8\%$；(4) Pass@3 Easy档4个模型达$95\%$，Hard档只到$12.5\%$；(5) 20真实任务所有8 LLM $0\%$通过（$\Delta$BIC 100%、Match 0%、Count 27%、RMS 40\%）。Figure 4拆解发现"统计通过率"始终$70\%$–$100\%$，"物理通过率"从Easy $50\%$–$60\%$断崖跌至Hard $6.9\%$–$18.8\%$。Case study：成功GPT-5.2 11步68K tokens恢复双行星；失败GPT-5-mini 40步730K tokens卡在alias共振。

**Table 1**: Main results on STARGAZER across difficulty tiers over 3 independent runs.

**Table 2**: Effect of skills injection on Pass Rate and Pass@3 across 4 LLMs.

**Figure 3**: Match-score distribution and threshold sensitivity for the 0.80 default cutoff.

**Figure 4**: Statistical vs Physical criterion pass rates by difficulty tier for all 8 LLMs.

查看结构化数据

任务	指标	本文	基线	提升
Easy档 (20个合成任务)	Pass Rate (%)	GPT-5.3-codex 80.0, Gemini-3.1-Pro 71.7, Claude-Sonnet-4.6 68.3	Classical Pipeline 95.0, Nested Sampling 95.0, GPT-5-mini 76.7	GPT-5.3-codex是最佳LLM但仍比传统经典Pipeline低15pp,说明单行星简单任务上LLM未超越传统方法
Medium档 (40个合成任务)	Pass Rate (%)	GPT-5-mini 33.6 (最高LLM), Gemini-3.1-Pro 35.0, GPT-5.3-codex 30.8	Classical Pipeline 35.0, Nested Sampling 32.5, Kimi-K2.5 17.9	Medium档LLM与传统方法接近持平,表明在中等难度上agent尚可一战但无明显优势
Hard档 (40个合成任务)	Pass Rate (%)	GPT-5.2 5.8 (最高LLM), GPT-5.3-codex 4.2, Gemini-3.1-Pro 5.0	Classical Pipeline 5.0, Nested Sampling 0.0, Claude-Sonnet-4.6 0.8	Hard档所有模型一致崩溃到≤5.8%,Nested Sampling与多个LLM为0%,验证物理难度构造的合理性
Real-data子集 (20个真实观测)	Pass Rate (%)	所有8个LLM均为 0.0	Classical Pipeline / Nested Sampling: 未在该子集上报数 (real任务人类已解决)	Match Score仍0%,Count 27%,∆BIC 100%,RMS 40% — 暴露sim-to-real鸿沟:模型能拟合但认不出真行星
Pass@3 (独立3次运行任一次通过)	Pass@3 (%)	Easy档4个模型95.0, GPT-5.2 Hard 12.5 (最高), Gemini +skills Hard 35.0	Easy档平均pass rate 40-80%, Hard档平均 <6%	Pass@3在Easy档相对均值提升+15–+55pp,但在Hard档(skill增强后)只能从6%推到35%,反映重复采样不能替代物理推理
Skills注入对照 (4个LLM)	Pass Rate变化 (百分点)	Gemini-3.1-Pro: Easy +28.3pp (71.7→100), Med +21.7pp, Hard +11.7pp	Qwen-3.5-Plus: Easy +21.6pp但 Hard −1.6pp; GPT-5.3-codex: Easy −5.4pp但 Hard +21.4pp	Skills在Easy上几乎全正,但Hard档不稳定: 多数模型提升<25pp, 弱模型在RMS上反而退化

局限与改进

作者承认：(1) 任务规模120相对偏少，对细粒度差异统计power有限；(2) 资源budget基于pilot的3倍成功中位数，可能高估截断、低估能力；(3) skills只用Opus 4.6单模型成功trajectory抽取，可能引入特定策略偏差。个人补充：(a) 任务仅覆盖RV单一观测模态，未联合transit/astrometry；(b) 难度权重为4篇经典文献先验加权和，未做现代再校准；(c) Good-statistics≠Good-physics结论有Figure 4支撑，但缺乏失败trajectory的表征化分析（agent最后一步hidden state分布）；(d) real-data 0%结论虽有力但样本仅20任务8模型，不能完全排除偶然，需更大规模real benchmark做交叉验证。

独立分析的弱点

独立观察到三点弱点。(1) real-data子集仅20任务，且"$\Delta$BIC仍100%通过但Match Score 0%"严重依赖$S_{\mathrm{match}}$阈值$0.8$与权重4.0，若调整阈值或权重结果可能戏剧性变化。(2) skill utility不稳定：表2中Qwen-3.5-Plus+skills下Hard从$1.6\%$退化到$0.0\%$、RMS也退化，说明僵化模板在Hard档反而干扰探索式推理；改进方向是"状态相关、自适应检索"的skill mechanism。(3) 环境动作空间偏严：仅PythonREPL+submit两个工具，不允许动态装包、外部API或多任务并行，屏蔽了"工程能力补偿"——未来可以扩展工具集（NumPy/SciPy之外）评估工程化agent vs 科研agent的差异。

未来方向

作者明确指出的未来方向有三：(1) 把STARGAZER作为可扩展的agentic RL训练场，用仿真器提供的密集反馈训练策略，再用真实子集显式评估sim-to-real迁移；(2) 把难度评级从6因子的加权和升级为基于真实物理模型的"信息论下界"估计（例如基于Cramér-Rao下界预测在给定采样下的可识别性）；(3) 设计诊断式训练目标，让agent在Match Score失败时主动"反思"——具体可以是给"错误诊断→修复策略"对作为过程级监督。

复现评估

代码与120任务全部在GitHub AIPS-UofT/Stargazer开源，网站aips-uoft.github.io/Stargazer提供可视化文档；环境容器化基于ipykernel+SciPy+REBOUND+RadVel，可在单张A100/H100上完成Easy档（~600s/episode）。评测严格用3次独立运行的均值与Pass@3同时报告，budget明文列出（$200\mathrm{K}/450\mathrm{K}/900\mathrm{K}$ tokens、$600/900/1500\,$s、$3/5/10$ submits）。复现难点：(a) LLM调用的随机性——需固定prompt与deploy seed；(b) RadVel版本与NASA Exoplanet Archive snapshot需要锁定；(c) 部分前沿模型（GPT-5.3-codex、Claude-Sonnet-4.6、Opus 4.6）已退市或变版本，需重新基线化。整体复现难度中等偏低。

Stargazer：在天体物理约束下，面向AI智能体的可扩展模型拟合基准环境 Stargazer: A Scalable Model-Fitting Benchmark Environment for AI Agents under Astrophysical Constraints