Physics-R1：用于视觉物理推理的已审计奥林匹克语料库与训练配方 Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning
三阶段审计揭示物理VLM评测三大测量偏差，并发布干净语料+RL配方
前置知识
GRPO/GSPO 序列级强化学习
GRPO 与 GSPO 都是 group-relative 策略优化方法。对每个 prompt 采样 $ 条 rollout，按组内奖励均值 $?ar r$ 与标准差 $\sigma_r$ 做归一化得优势 $；GSPO 用序列级重要性比 $ 替代 GRPO 的 token 级比。
Physics-R1 直接以 GSPO+DAPO 作为优化器，本文关于"二值奖励方差最优"的论证全部建立在 GSPO 组内归一化基础上。
数据污染审计（5-gram Jaccard）
把题面切成 5-gram 集合 $S_t$，两题相似度定义为 $J = |S_t \cap S_x| / |S_t \cup S_x|$，阈值 $J \ge 0.4$ 视为重复。但 Jaccard 对改写/同义替换完全失效，需要嵌入余弦作补充。
本文核心 Finding 1 即展示单阶段 Jaccard 在 6 个公开物理评测上 0 命中，三阶段审计才能揪出 134 条近重复。
Sentence Embedding 余弦相似度
用 mxbai-embed-large 等句向量模型把题面编码为 1024 维向量并 L2 归一化，两题相似度用余弦 $\cos = e_t^\top e_x$ 衡量。召回率高但会拉入同话题题目，需要 LLM 法官做精确过滤。
Stage-2 用 $\cos \ge 0.85$ 召回改写样本，Stage-3 才用 Haiku-4.5 区分"近重复"与"同话题邻居"。
VLM 思考模式与多图推理
Qwen3-VL-8B-Thinking 等视觉-语言模型可在回答前生成 chain-of-thought，并以 $\boxed{}$ 输出最终答案；在多图物理题中需正确融合多幅子图证据。
Physics-R1 的训练目标就是促使模型在奥林匹克长链推理后提交 $\boxed{}$，$\boxed{}$ 发射率从 33.8% 提升到 64.4% 是关键提升来源。
研究动机
多模态物理评测存在三重系统性偏差。其一，训练-测试污染：UGPhysics-Train、SciInstruct、MMK12 三个公开训练池在 5-gram Jaccard（$J \ge 0.4$）单阶段审计下对 6 个公开物理评测 0 命中；但加 mxbai 余弦 $\ge 0.85$ + Haiku-4.5 LLM-judge 的三阶段审计，仅 SciInstruct 一家就挖出 4,846 条 Stage-2 候选、其中 134 条被判近重复（$\cos \ge 0.95$ 时 100%，$[0.85,0.87)$ 仅 1.5%）。其二，翻译漂移：Sonnet 4.5 在 59 对爱沙尼亚/英语物理奥赛题上，原文 30.5%、英语翻译 13.6%（sign test $p=0.011$、95% CI $[+5.1,+28.9]$ pp）。其三，MCQ 饱和：同 Sonnet 4.5 权重在 PhyX-MCQ 79.7%、OlymBench-Phys 开答 50.4%、99.8% 全新题源 PHYSOLYM-A 开答 33.4%，格式-新颖度轴就拉开 46 分梯度。
本文的目标是论文具体目标分四块：其一把上述三阶段审计流程固化为开源脚本 `audit_three_stage.py`，让任何新评测/新训练集都能被同等严格地审计；其二是发布 PHYSCORP-A（6,432 条三阶段审计过的多模态语料）与 PHYSR1CORP（2,268 条闭式答案的 RL 池），保证它们对全部 6 个公开物理评测 0/0 Stage-3 近重复；其三是发布 PHYSOLYM-A（500 题、99.8% 全新题源、爱沙尼亚主办方 1-10 难度原生标注、配 201 题英爱双语子集）作为非饱和、不可污染的 holdout；其四是给出一份参考 RL 配方 Physics-R1，在该 holdout 上证明审计后语料仍然有训练信号，并且不靠改写泄漏。
与已有工作不同的是，已有工作如 DeepSeek-R1 用 GRPO 训练数学推理、MM-Eureka 把 GSPO+DAPO 推广到 VLM，但都默认训练池对评测是干净的；PHYBench、OIBench、PutnamBench 等物理/数学评测虽公布了污染协议，却只覆盖到两阶段（n-gram+embedding），没有用 LLM 法官做精排，从而放走了物理题中改写/数值变体这一类最易漏网的污染。本文把第三阶段 LLM 法官装进流水线，并发现 Stage-2 单阈值余弦在 $\cos \in [0.85,0.87)$ 区间的精确率仅 1.5%，说明两阶段审计对物理题这种单位/向量/图引述敏感的内容远远不够。
核心方法
方法分两层。底层是三阶段审计流水线 Algorithm 1：先 unicode 词级分词构造 5-gram 集合，Jaccard $\tau_J=0.4$ 拿 Stage-1 命中；再用 mxbai-embed-large（1024-d，L2 归一化）算余弦，$\tau_C=0.85$ 拿 Stage-2 候选；最后用 Haiku-4.5 对每条候选做 close duplicate / same-topic neighbor 二分类，只删前者。上层是训练侧 Physics-R1 配方：冷启动自 Qwen3-VL-8B-Thinking BASE，固定 GSPO+DAPO + MM-Eureka 难度课程，推荐二值奖励 $r_{\rm bin}=\mathbf{1}[{\rm MATCH}({\rm EXTRACT}_{\boxed{}}(y),g(x))] \in \{0,1\}$，dense 五分量仅作消融。
核心论断是"二值奖励在 GSPO 组内归一化下 variance-optimal 且 Goodhart-robust"的 P1-P4 论证。(P1) $A_k=(r_k-\bar r)/(\sigma_r+\varepsilon)$ 对仿射缩放不变，dense 只在重排组内顺序时有效，14.3% pair 被翻转、87% 在全错组；(P2) 错题组内把"格式好但错"排在"格式差但错"之上，把策略推向 LaTeX 格式代理，迁移到 holdout 更差；(P3) Bernoulli 奖励 $\mathrm{Var}(A_{\rm bin})=1$ 饱和 $K$ 样本下界，bounded shaping 把 $\sigma_r$ 撑大 $\mathcal{O}(\Delta^2)$，压低优势；(P4) 二值奖励是 harness-portable、Goodhart-robust 的默认。matched step 60 seed 42：binary 全面领先 dense，PhysReason +8.9、OlymBench-Phys +4.9、PHYSOLYM-A-liberal +6.4。
方法步骤详情
步骤 1：输入训练池 $T$、外部语料 $\{E_k\}$、holdout $\{H_j\}$，unicode 词级分词得 5-gram 集合 $S_t$。步骤 2：Stage-1（Jaccard，$\tau_J=0.4$）+ Stage-2（mxbai 1024-d 余弦，$\tau_C=0.85$）得候选集 $C(T)$，Stage-3 把候选交 Haiku-4.5 二分类，只删 close duplicate。步骤 3：PHYSR1CORP 再删 87 MMMU-Pro + 78 PhyX-mini/PhysUniBench-en（2,433→2,268）。步骤 4：训练采 $K=16$ rollout 按 binary 跑 GSPO，$\pi_{\rm base}$ 锚定 Qwen3-VL-8B-Thinking BASE、CoT 12,288 token，MM-Eureka 难度课程过滤 0/N 与 N/N prompt（约 22%），PhyX-mini-MC（1,000 题）做 early stop。
技术新颖性
技术新颖性体现在三处。其一，把三阶段污染审计从数据清洗工具升级为测量工具：论文不只给清洗后的语料，还把 4,846 → 134、$\cos$ 桶内精确率（17/17 at $\cos \ge 0.95$ vs 53/3,543 at $[0.85,0.87)$）的诊断数据全部公开，揭示"两阶段审计对物理题不够"的根因。其二，把"二值 vs dense"从经验问题变为定理问题：在 GSPO 组内归一化下用 variance 和 Goodhart 通道两条线索给出 P1-P4 的形式化论证，并配套 seed 42 消融（matched step 60 上 binary 领先 PhysReason +8.9、OlymBench-Phys +4.9、PHYSOLYM-A-liberal +6.4）形成可证伪的论断。其三，把翻译漂移做成可证伪的对照实验：59 对爱沙尼亚-英语奥林匹克题同权重同 gold 同 judge，sign/McNemar/bootstrap 三种检验一致拒绝零假设，并把"对弱 cross-lingual 模型符号会翻转"预注册为 follow-up。
实验结果
核心发现分四块。第一，三阶段审计实证 134 条近重复污染：SciInstruct 42K 子集 Stage-2 命中 4,846 对、Stage-3 判 134 对（PhysReason-full 2,687→36、PhyX-mini 703→46、PhysUniBench-en 1,027→22）；PHYSCORP-A 6,432 6 评测 0/0 Stage-3。第二，46 分梯度：Sonnet 4.5 同权重同周测 PhyX-MCQ 79.7→OlymBench-Phys 50.4→PHYSOLYM-A 33.4。第三，17 分翻译漂移：59 对爱沙尼亚/英语奥赛题上 Sonnet 4.5 严格 30.5% vs 13.6%（sign test $p=0.011$）。第四，Physics-R1：3-seed mean 相对 BASE 在 PHYSOLYM-A-liberal +18.3 pp，PhysReason +15.7 pp，OlymBench-Phys +6.9 pp，PhyX-1k +4.1 pp；比 Sonnet 4.5 低 7.1 pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PhyX-mini-1k MCQ-exact | 4-选-1 精确率 | 77.8 ± 0.3 | 73.7 (Qwen3-VL-8B-Thinking base) | +4.1 pp（接近 80% 闭源前沿 79.7） |
| PhysReason subpart-AND (liberal Sonnet-judge v2) | 多子问全对比例 | 39.6 ± 6.4 | 23.9 (Qwen3-VL-8B-Thinking base) | +15.7 pp（领先 Qwen3-VL-32B-Thinking 25.1 与 Gemini 2.5 Pro 38.8） |
| OlympiadBench-Physics problem-level liberal | judge_olympiad.py 严格/宽松准确率 | 46.2 ± 1.5 | 39.3 (Qwen3-VL-8B-Thinking base) | +6.9 pp（追平 Qwen3-VL-32B-Thinking 53.9，差 Sonnet 4.5 50.4 仅 4.2 pp） |
| PHYSOLYM-A problem-level liberal（holdout） | judge_olympiad.py 宽松准确率 | 26.3 ± 1.7 | 8.0 (Qwen3-VL-8B-Thinking base) | +18.3 pp（领先所有开源基线与 GPT-4o 19.5、Gemini 2.5 Pro 12.2，差 Sonnet 4.5 33.4 仅 7.1 pp） |
| Train→Test Stage-3 近重复率 | Haiku-4.5 法官判定的近重复 pair 数 | PHYSCORP-A 0/0、PHYSR1CORP 0/19 | SciInstruct 4,846/134、UGPhysics-Train 9/0、MMK12 66/0 | 对 6 个公开物理评测全部 0 命中 |
| 爱沙尼亚/英语翻译漂移（59 对同 gold） | Sonnet 4.5 严格准确率差 | 30.5% (ET) vs 13.6% (EN) | 无（对照实验） | sign test p=0.011、McNemar p=0.021、95% CI [+5.1, +28.9] pp |
局限与改进
作者承认的局限有四。第一，Sonnet-as-judge 在 PHYSOLYM-A 上 13.9% 不可判率（金标准是评分细则、行政注释或纯图引用），是公开披露的 noise floor。第二，跨语言 Finding 2 仅在 Sonnet 4.5 一个模型、59 对题（McNemar 65.7% 检验功效）上验证，弱 cross-lingual 模型符号应反向但尚未验证。第三，dense reward 的 5 分量 drop-out、reward-flag、SFT 数据缩放都留作 follow-up，本文只跑 seed 42 一点。第四，P1-P4 论证建立在 GSPO 组内归一化上，不外推到 PPO/REINFORCE 等算法。我的额外观察：(i) seed 42 在 PhysReason 离群（32.2 vs 17/23 的 43.1/43.4，$\sigma=6.4$）；(ii) 46 分梯度归因缺 2×2 析因，PhyX→OlymBench 29 pp 中格式与题材混杂；(iii) 评测 judge 与训练模型都同系列 Sonnet，存在自评分 bias。
独立分析的弱点
可改进点有五。其一，裁判协议仍依赖单一 Sonnet-as-judge，13.9% 不可判率与 cross-judge $\kappa=0.44$ 把噪声抬到 4.7 pp，应引入多模型 panel judge 把噪声压到 <1 pp。其二，binary vs dense 的 P1-P4 论证漂亮但只跑 seed 42 一点，应扩展到 ≥5 seeds 并对 P3 variance bound 做经验验证。其三，Stage-3 用 Haiku-4.5 单模型做精排，应加 cross-judge 一致性指标（Haiku vs Sonnet 4.5 $\kappa$）与 human spot-check。其四，46 分梯度归因缺 2×2 析因：应做 PhyX 风格 4-选-1 与 open-ended 双胞胎题集，比较 Jaccard-only vs 三阶段审计准确率差。其五，PHYSOLYM-A 500 题里 200 题来自 Kevin Zhou 讲义（CC BY-NC 4.0），应再补一份纯 CC BY 4.0 的 500 题版本。
未来方向
作者提出的 follow-up 包括五项：(a) 5 分量 dense reward 的 drop-out 消融（Table 11）；(b) 对弱 cross-lingual 模型（InternVL3-8B、Qwen3-VL-8B 等爱沙尼亚语料稀薄者）做翻译漂移方向反转的验证；(c) format × audit 2×2 析因以剥离 46 分梯度中的格式与审计边际贡献；(d) SFT 数据缩放消融；(e) reward-flag 消融。基于成果还可延伸的方向包括：把三阶段审计推广到其他学科（数学、代码、化学）以检验"物理题因单位/向量/图引述对改写最敏感"这一论断；用 PHYSOLYM-A 的原生 1-10 难度标签做 RL 课程学习；把 holdout 升级为动态榜（每月追加新题）；在 Stage-2 嵌入上做对比学习微调，让 mxbai 在 $\cos \in [0.85,0.90)$ 区间的精确率从 1.5% 抬到 50%+，从而把审计成本（Stage-3 LLM 调用）大幅压缩。
复现评估
PHYSCORP-A 6,432、PHYSR1CORP 2,268、PHYSOLYM-A 500、PHYSCORP-PRE-AUDIT 14,294 条上 HuggingFace+GitHub+Zenodo 三平台，配 Croissant 1.0 元数据；审计脚本与 Stage-3 法官标签一并发布。Sonnet 4.5 PhysReason 响应以 max_tokens=16384 重生成（1,192/1,200 题干净）。算力门槛：GSPO+DAPO 跑 Qwen3-VL-8B-Thinking 用 verl 0.6.1 + FSDP1，K=16 rollout + 12,288 token CoT + 60 步，单次训练 200-500 GPU-hours，3 种子 600-1500 GPU-hours。复现难点：(i) Haiku-4.5 调用 $200-500；(ii) judge_olympiad.py 4.7 pp gap 对 prompt 敏感；(iii) Kevin Zhou 讲义 CC BY-NC 4.0 需 written grant，二次分发需重授。
论文图表
伪代码 12 行，覆盖 Stage-1 5-gram Jaccard 计算 $J_{\max}(t)$、Stage-2 mxbai-embed-large 余弦计算 $C_{\max}(t)$ 与候选集构造 $C(T) = \{t: J_{\max} \ge \tau_J \lor C_{\max} \ge \tau_C\}$、Stage-3 Haiku-4.5 法官对每个候选与其最相似邻居 $x^*(t)$ 做 close-dup/topic-neighbor 分类、最终 $T' = T \setminus R(T)$ 与三阶段计数返回。
整篇审计协议的工程化规范，决定 PHYSCORP-A / PHYSR1CORP / PHYSOLYM-A 三件套的可复现性。
给出 $A_k = (r_k - \bar r)/(\sigma_r + \varepsilon)$、$w_k(\theta) = [\pi_\theta(y_k|x) / \pi_{\theta_{\rm old}}(y_k|x)]^{1/|y_k|}$，以及 $\mathcal{L}_{\rm GSPO} = -\mathbb{E}\frac{1}{K}\sum_k \min(w_k A_k, {\rm clip}(w_k, 1 \pm \epsilon) A_k) + \beta_{\rm KL} D_{\rm KL}(\pi_\theta \| \pi_{\rm base})$。裁剪 $(\epsilon_{\rm lo}, \epsilon_{\rm hi}) = (0.20, 0.28)$、$\beta_{\rm KL} = 10^{-3}$、$\pi_{\rm base}$ 锚定 Qwen3-VL-8B-Thinking BASE。
Physics-R1 训练的核心目标函数，P1-P4 关于 binary vs dense 的论证全部围绕该式的组内归一化展开。
两式并排：$r_{\rm bin}(y, x) = \mathbf{1}[{\rm MATCH}({\rm EXTRACT}_{\boxed{}}(y), g(x)) \in \{0,1\}] \in \{0, 1\}$；$r_{\rm dense} = {\rm clip}(r_{\rm ans} + r_{\rm fmt} + r_{\rm dim} + r_{\rm sym} + r_{\rm cons}, -1, 1)$。MATCH 接受 MCQ 字母等值、$\pm 1\%$ 数值容差、sympy 符号等价；dense 五分量分别为 ans/fmt(+0.1)/dim(+0.15)/sym(+0.20)/cons(-0.25/0)。
P1-P4 论证的输入，决定哪种奖励 shape 在 GSPO 下"variance-optimal + Goodhart-robust"。
把 SciInstruct 4,846 条 Stage-2 候选按 $\cos$ 分桶列精确率：$\cos \ge 0.95$ 时 17/17（100%）、$[0.90, 0.95)$ 时未单独披露但显著高于 0.87 以下、$[0.87, 0.90)$ 时 54/1,159、$[0.85, 0.87)$ 时 53/3,543（1.5%）。表注说明 Haiku-4.5 与人工 spot-check 一致。
直接支撑"两阶段审计对物理题不够、单阈值 $\cos \ge 0.85$ 拉进太多同话题邻居"的工程判断。