LongChang：测试大模型能否通过自由探索发现隐藏物理定律的反事实世界评测框架 Can LLMs Uncover Hidden Physical Laws through Free Exploration?
构建物理规则被改动的模拟世界，评测12个LLM无提示自主发现隐藏定律的能力
前置知识
MuJoCo 刚体物理仿真
MuJoCo 是开源的刚体动力学物理引擎，用广义坐标描述自由体与铰链体的运动，通过数值积分求解重力、接触、摩擦、恢复系数等效应，广泛用于机器人与具身智能研究。LongChang 把 LLM 设计的场景定义与装置 MJCF 编译成 MuJoCo 仿真，推球、碰撞、钟摆摆动等全部由它求解。
论文的“物理世界”完全建立在 MuJoCo 上，理解场景定义如何变成可交互仿真、装置如何与场景物体真实互动，都需要知道它的工作方式。
反事实物理世界与对照实验
反事实世界指物理规则被刻意改动的模拟环境，例如“两球靠近时相互排斥”或“速度存在上限 $v_{\max}=2.2$”；对照场景保持普通物理不变。通过控制“每个场景只改动一条定律”，评测可以精确定位模型发现了什么、是否找全了条件，以及会不会在无改动的世界里虚报异常。
LongChang 的 15 个基础场景正是 1 个普通对照加 14 个单定律改动，这一设计思想贯穿全部指标定义与消融实验。
多智能体 LLM 流水线
指把不同职责分派给多个 LLM 实例协同工作：designer 负责设计与修订场景，reviewer 审查装置与场景的物理有效性，explorer 执行自由探索，judge 评估最终报告。各智能体只看到各自需要的上下文（例如 judge 才能接触隐藏定律），通过结构化输入输出衔接，实现无人工介入的自动化循环。
论文中探索者、装置评审、裁判、场景设计由不同模型担任（探索者是被评对象，judge 固定为 GPT-6.1-Sol），分工方式直接影响评测的自动化程度与公平性。
正确性与证据支持的分离评估
正确性（C）检查报告是否完整识别改动定律的目标对象、触发条件与常数，允许内部机制描述不同、只要求可观察预测等价；支持（S）检查每个结论是否引用真实发生的实验轮次（evidence_turns 会与原始记录逐条核对）；两者同时通过才记为发现（D）。这把“蒙对结论”与“用实验证出来”解耦。
这是读懂 Table 3 的关键：GPT-6-Astra 支持率 97.6% 但正确性仅 19.0%，Claude-Opus-5 正确性 16.7% 却支持率 0.0%，两种失败模式完全不同。
无任务自由探索
指智能体在没有被分配研究目标、没有关于隐藏规则的任何提示的条件下，自行决定观察什么、做什么动作、何时停止。与“给定任务后规划执行”相对，它要求模型具备异常检测、自主提出研究问题、设计判别性实验等能力，是开放式探索与自主科学发现研究的核心设定。
LongChang 与 PhysGym、NewtonBench 等基准的本质区别就在于此，论文的主要结论（11 个模型 0% 发现）正是围绕这一设定下的失败模式展开的。
研究动机
现有物理定律发现基准都把“研究什么”预先告诉了模型：PhysGym 和 NewtonBench 要求 LLM 在给定任务下通过数值查询恢复隐藏方程，DiscoverPhysics 在粒子仿真中设定了明确的定律发现目标（Table 2）。这意味着模型只需执行分配好的发现流程，不必自己决定值不值得研究某个现象。然而真实科学发现往往始于意外观察——例如在重力被改动的世界里发现“越重的物体落得越慢”。如果模型看到异常却继续执行原计划，或实验设计无法区分竞争解释，发现就不会发生。作者指出，此前没有工作在“无任务提示、交互式 3D 物理世界、探索者自建设备、场景自动进化”四个维度同时成立的环境中评测过 LLM，因此“自主把意外观察转化为研究问题并实验证实”这一能力一直缺乏量化手段。
本文的目标是本文的目标是构建一个全自动、无人工介入的评测框架 LongChang，回答一个问题：在物理规则被篡改的反事实世界里，LLM 能否不经提示地注意到异常行为、自己提出研究问题、设计实验，并把被改动的物理定律完整确立下来。框架提供 1 个正常对照场景加 14 个各改动一条物理定律的场景（Table 1），由 12 个主流 LLM 作为探索者进行最多 100 轮自由探索；同时用单独的 LLM 智能体负责场景设计、装置审查与报告评判，并用探索记录中的未解问题与被纠正的错误驱动场景进化，使“构建—探索—评估—进化”循环可以无人参与地延续下去。
与已有工作不同的是，本文的独特切入是把“发现权”彻底交给模型。与 PhysGym、NewtonBench、DiscoverPhysics 相比（Table 2），LongChang 是唯一同时具备“无指定任务、交互式 MuJoCo 3D 场景、探索者自主设计工具、探索记录驱动场景进化”的框架。名字致敬哲学家王阳明在龙场的静思悟道：没有导师布置课题，靠自己对反常现象的追问求得知识。评估协议也很独特——要求定律正确性（C）与证据支持（S）同时成立才算发现（D），把“蒙对了结论”与“用实验证出来”分开；正常对照场景则专门检验模型会不会在普通物理下虚报异常，全部模型有 36.1% 的对照报告因虚报或无支撑解释被拒。
核心方法
LongChang 是三阶段闭环流水线（Figure 2）。第一阶段环境构建：LLM designer 为每个场景指定物体、几何、物理程序和被改动的定律，例如“两球靠近时受相互斥力”或“重力按 $g(t)=g_0[1+0.3\sin(2\pi t/6)]$ 振荡”，框架将其编译成 MuJoCo 刚体仿真，经自动测试与 LLM reviewer 审查，不合格自动退回修订。第二阶段自主探索：被评测的 LLM 作为探索者进入“玻璃房间”（Figure 1），每轮以 NOTE 记录观察与推理、以 ACT 执行推、抛、等待、抓取、移动、放置标记等动作，还可提交 MJCF 设计自建钟摆、天平等装置（Figure 3、4），最多 100 轮后提交最终报告。第三阶段发现评估：LLM judge（GPT-6.1-Sol）对照隐藏定律与完整探索记录，逐条核查报告结论的正确性与证据支持。探索中的未解问题与被纠正的错误再反馈给 designer，通过生成、精炼、组合三种操作进化出新场景，循环往复、无人介入。
核心创新是把评测重心从“执行给定发现任务”移到“自己决定研究什么”。探索者拿不到任何关于改动定律的任务说明或提示，必须先注意到“红球莫名向北漂移”这类异常，再把它转化为可检验的问题（例如“推开蓝球是否会重置红球受力的 10 秒暂停”），并设计能区分竞争解释的判别性实验。评分上，报告要同时通过定律正确性 C（对象、条件、触发器和常数齐全，允许机制描述不同但可观察预测等价）和证据支持 S（所有断言都要引用真实发生过的实验轮次，evidence_turns 与原始记录逐条核对）才记为发现 D。另一个关键设计是探索记录反哺场景：designer 必须引用探索证据，才能对出错机制做生成、精炼或组合，产出更有挑战性的新定律场景（Table 5）。
方法步骤详情
完整流程分五步。第一步环境构建：designer 输出场景定义（物体清单、几何、物理程序、改动定律及其目标对象/条件/可观察效果），框架编译进 MuJoCo；自动测试验证仿真行为是否符合改动定律，LLM reviewer 再审程序与测试结果，失败即触发自动修订；定律细节对探索者保密（Table 7 列出全部 14 条，如红球吸引力 $F=20\,\hat{d}/\max(r,0.5)^3$、类相对论动量 $p=mv/(1-|v|^2/v_{\max}^2)$、$v_{\max}=2.2$、红/蓝地砖恢复系数 $e=0.9/0.15$ 等）。第二步自由探索：探索者按 Table 9 的动作接口每轮先写 NOTE 再执行 ACT，可用 PUSH/THROW/WAIT/GRASP/MOVE/RELEASE/MARK，需要额外控制或测量时用 BUILD 提交装置设计（通过物理有效性审查后安装，可修订重交），再用 PLACE/ADJUST 操作装置读数。第三步报告生成：总结观察与解释，每个结论必须引用支持它的轮次编号，且只能使用探索笔记中已有的解释、保留其中的不确定性。第四步发现评估：judge 对照隐藏定律与完整记录判 correct 与 supported，对照场景上 correct 意味着没有虚报异常。第五步场景进化：designer 拿到被纠正的错误与源定律，执行 generation（替换定律机制）、refinement（增加空间等条件）、composition（叠加另一场景定律），产出新场景继续评测（Table 8）。
技术新颖性
技术新颖性体现在四个方面。其一，反事实物理世界加无提示自由探索是新的评测维度：现有基准都先给任务，LongChang 首次考察“注意到异常并主动发起研究”这一能力本身。其二，工具构建与探索目标深度耦合：探索者自己决定是否需要装置、建什么、怎么用它检验假说（如用钟摆铰链角度测重力是否倾斜、给天平加挡墙获得稳定读数），装置与场景物体在同一 MuJoCo 仿真中真实交互，而非提供现成仪器目录。其三，探索记录驱动的场景进化形成全自动闭环，generation/refinement/composition 三种操作都要求引用探索证据并通过自动测试与 LLM 审查。其四，反编造的评分协议：evidence_turns 与原始记录逐条核对，事后补写或虚构观察都会被判 supported=false，且笔记中未记录的解释不能写进报告，使“蒙对”无法得分。
实验结果
主实验（Table 3）显示任务极其困难：12 个 LLM 中只有 GPT-6-Astra 取得非零发现率 16.7%，其余 11 个全部为 0%。拆开看，GPT-6-Astra 证据支持率高达 97.6% 但定律正确性仅 19.0%——观察扎实却常不解决改动定律的条件与适用范围，如只证明红球间有吸引却未确立距离依赖。Claude-Opus-5 呈相反模式：正确性 16.7% 但支持率 0.0%，说对了定律却给不出实验支撑。GLM-5.3 系列平均用约 90 轮、几乎每次探索都建成装置（CS=45%）仍 0 发现，构建失败率 64.0–71.4%，说明“会造工具”与“会发现”是两回事；Grok-4.7 最少提前停止（ES=24.4%）但同样 0 发现；Gemini-3.7-Flash 平均仅探索 10.9 轮就停。正常对照上全部模型有 36.1% 的报告因虚报异常或无支撑解释被拒。消融（Table 4）：任务引导使发现率从 16.7% 升至 28.6%；回合预算 100 增至 500 反而略降至 14.3%，因为模型平均约 40 轮就主动停止；禁用装置构建使发现率跌至 4.8%。场景进化实验（Table 6）：GPT-6-Astra 在源场景 15/14 的发现率为 33.3%/66.7%，但在三个由被纠正错误进化出的新场景上全部为 0%（S 均为 100%），说明未解决的条件与触发依赖是主要瓶颈。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 自由探索下的物理定律发现（14 个改动场景） | 发现率 D（正确性 C 与证据支持 S 同时通过） | GPT-6-Astra 16.7% | 其余 11 个 LLM 全部 0%（PhysGym/NewtonBench/DiscoverPhysics 均不支持该无任务设定） | 首个在无提示自由探索下取得非零发现率的结果，但仍远未解决该任务 |
| 定律正确性 C | 通过正确性检查的运行比例 | GPT-6-Astra 19.0%、Claude-Opus-5 16.7% | 其余模型 0%–7.1%（Kimi-K3 2.4%、GLM-5.3 4.8%、MiMo-V2.6-Pro 7.1%、DeepSeek-Flash/Qwen3-Max/GPT-5.6-Luna 0%） | 揭示识别能力与支持能力在模型间明显脱节 |
| 证据支持 S | 通过证据检查的运行比例 | GPT-6-Astra 97.6% | Claude-Opus-5 0.0%、GLM-5.3 0.0%、GPT-5.6-Luna 38.1%、Gemini-3.7-Flash 19.0% | 高支持率不等于完整定律发现，多数报告停留在部分发现 |
| 任务引导消融（Scene 15 类任务） | 发现率 D | 任务引导 28.6%（C 31.0%、L 30.9 轮） | 自由探索 16.7%（C 19.0%、L 39.3 轮） | +11.9 个百分点且交互更少，提示瓶颈在于问题形成而非实验执行 |
| 回合预算消融 | 发现率 D | 500 轮预算 14.3%（L 41.4 轮） | 100 轮预算 16.7%（L 42.2 轮） | 无提升反而略降：模型提前停止，额外预算无人使用 |
| 装置访问消融 | 发现率 D | 启用构建 16.7%（C 19.0%） | 禁用构建 4.8%（C 4.8%） | +11.9 个百分点，自建测量装置对发现显著有效，代价是动作失败率从 0.9% 升到 2.1% |
| 场景进化难度（被纠正错误驱动的新场景） | 发现率 D | Generation/Refinement/Composition 三个进化场景均 0%（S 均为 100%、C 均为 0%） | 源场景 15 为 33.3%、场景 14 为 66.7% | 支持率不降而正确性归零，量化出进化场景新增条件依赖带来的难度跳升 |
局限与改进
作者承认的局限：改动定律都有明确真值，而真实世界大量科学问题答案未知，把框架扩展到答案未定的开放问题仍需研究；LLM judge 可能认可无支撑的发现而误导后续研究，附录 A.5 还提醒模拟结论若直接用于物理实验有安全风险。我自己的观察：其一，judge 本身是 LLM（GPT-6.1-Sol），与最强被评模型同属 GPT 家族，评分标准含大量自由裁量（如允许等价机制、不苛求常数），跨模型公平性存疑；其二，样本量小——15 个场景、每模型一遍，16.7% 的发现率约等于两三个场景，模型间 1%–2% 的差异可能只是噪声；其三，只覆盖刚体力学，不含流体、场、量子等定律类型；其四，观测以文本给出且存在压缩采样（omitted_samples、key_points_omitted），可能丢失关键信息，影响对探索能力本身的度量；其五，进化场景仅 3 个且全部源自 Scene 15 的同一错误，难以支撑关于场景进化难度的一般性结论。
独立分析的弱点
独立分析的弱点与改进方向。第一，评估主体是单一 LLM judge，“正确性”判断涉及大量自由裁量（允许等价机制、不强求常数），不同 judge 或采样温度可能得出不同结论；改进：引入多个异构 judge 报告一致率，或把可程序化验证的部分（常数、触发条件、对象范围）改为确定性判分。第二，提前停止损失严重：GPT-6-Astra 平均 39.3 轮即停、ES=100%，500 轮预算无收益，瓶颈是终止策略而非预算；改进：提示中显式要求列出未解问题并至少追问一轮。第三，对照场景 36.1% 的虚报率暴露证据校准缺失，模型倾向过度解读普通现象（如把装饰地砖上的滑行差异归因于摩擦）；改进：在报告中强制区分“观察/假设/已证”三类陈述并分别计分。第四，构建失败率高（Kimi-K3 82.1%、Grok-4.7 88.5%）拖累探索效率；改进：提供 MJCF 静态校验器与常见错误修复建议。第五，进化场景难度跳升过陡（源场景 33.3%–66.7% 到进化场景 0%）；改进：按新增条件数量与触发复杂度做分级课程，绘制难度—发现率曲线。
未来方向
作者提出的方向：把框架扩展到真值未知的开放科学问题，研究在没有标准答案时如何评估探索及其发现的可信度。基于本文成果可以延伸：把场景进化改造成课程学习信号，用强化学习或内在动机（好奇心奖励）微调模型的自主探索策略，而不是停留在提示工程；把文本化观察换成视觉或多模态输入，检验感知通道对异常检测的影响；让多个探索者协作或竞争，研究假设共享、分工与辩论对发现率的作用；与真实实验平台（如论文引用的光学平台自主发现、机器人工具设计等工作）对接，验证仿真中观察到的失败模式是否在物理世界重现；还可以把“被纠正错误驱动的场景生成”当作自动红队工具，系统性地挖掘模型推理盲区并构建针对性训练数据。
复现评估
复现条件较好。论文声明项目主页与代码已公开；全部 15 个基础场景与 3 个进化场景的改动定律数学形式在附录 Table 7/8 完整给出（如 $F=20\,\hat{d}/\max(r,0.5)^3$、$v_{\max}=2.2$、$e=0.9/0.15$、$F_y=1.5m$ 等），探索/报告/评判/任务引导的全部 prompt 在附录 A.3 公布，动作接口在 Table 9 详列。仿真基于开源的 MuJoCo，无特殊硬件要求。主要成本是 LLM API 调用：每个模型需对 15 个场景各跑最多 100 轮交互，再加 judge（GPT-6.1-Sol）、designer 与 reviewer 的调用，12 个模型的完整评测开销不小；GPT-6-Astra、Claude-Opus-5 等为前沿商业模型，获取成本高。judge 的非确定性会带来评分波动，复现时建议多次评判取一致或固定低温采样。总体上，代码、场景定义、prompt 三要素齐备，属于较易复现的基准类工作。
论文图表
渲染图展示探索者所在的玻璃房间：可推动的球与盒子、彩色地砖，以及探索者搭建的装置；同时示意其他 LLM 无需人工介入即可根据探索记录进化场景。
一眼看清论文的场景设定与全自动闭环中“探索者—进化者”的角色分工，是理解整个框架的入口。
Scene 12 中两次连续红蓝碰撞都符合“颜色互换”与“各自独立翻转”两种解释；GPT-6-Astra 设计判别性实验——测试两个红球（互换预言都保持红色，翻转预言都变蓝），结果两球保持红色，支持互换、排除翻转。
展示“设计能区分竞争解释的实验”这一科学方法核心在模型行为中的具体体现。
15 个基础场景的缩略图集：01 为普通物理对照，02 红色吸引、03 质量相关落体、04 振荡重力、05 高速刹车、06 自动侧向力、07 地砖反弹、08 速度上限、09 进慢出快、10 加速区、11 碰撞增益、12 接触换色、13 第三次接触跳起、14 速度复制、15 向北力。
评测的核心资产一览，理解“每个场景只改动一条定律”的实验设计。