P1-VL：弥合物理奥林匹克竞赛中视觉感知与科学推理的鸿沟 P1-VL: Bridging Visual Perception and Scientific Reasoning in Physics Olympiads

P1-VL的训练流程包含以下关键步骤。第一步，数据准备：构建包含8,033道物理题的多模态数据集，其中51%来自奥赛、49%来自教科书，覆盖力学、电磁学、热力学、现代物理和光学五个领域。第二步，难度评估：使用Qwen3-VL-30B-A3B模型对每道题进行72次推演，计算经验通过率D(x_i, y_i)。第三步，数据过滤：移除通过率大于0.7的简单样本，使用Gemini-2.5-Flash修复零通过率样本。第四步，课程训练：分三阶段进行，第一阶段训练通过率0-0.7的样本（组大小8，生成窗口40k-48k），第二阶段降低阈值到0-0.5并扩大生成窗口，第三阶段进一步扩大组大小到16。第五步，优化算法：采用GSPO进行序列级优化，结合MIS进行训练稳定化。第六步，推理增强：部署PhysicsMinions框架，通过视觉、逻辑和审查三个工作室的协作实现迭代自验证。

P1-VL的技术新颖性体现在三个层面。首先，在训练范式上，本文首次证明了纯RL后训练（无需SFT阶段）可以在视觉语言模型上实现奥赛级推理能力，这与以往需要SFT冷启动的方法形成对比。其次，在算法设计上，本文将GSPO的序列级优化与MIS的训练稳定化相结合，形成了一套专门针对MoE架构VLM的RL训练方案。GSPO使用长度归一化的序列似然比来计算优势函数，避免了token级PPO的方差问题。MIS则通过几何均值归一化和硬信任域拒绝来解决训练-推理失配。最后，在系统设计上，本文将视觉感知深度整合到推理流程中，而非简单地将图像描述注入文本，实现了真正的多模态物理推理。

从独立分析角度看，P1-VL存在以下可改进的弱点。第一，课程难度调度仍然依赖人工设定的阈值（0.7、0.5等），缺乏自适应机制。改进方向是开发基于模型能力的动态难度评估器，自动调整训练数据的难度分布。第二，奖励设计仅使用二元正确性奖励，未考虑解题过程的质量。可以在奖励函数中加入中间步骤的逻辑一致性、物理定律引用等细粒度信号。第三，视觉编码器和投影层在RL训练中被冻结，这可能限制了模型对物理图表的深度理解能力。建议在训练后期解冻这些组件，使用物理图表理解任务进行微调。第四，验证器设计依赖SymPy符号计算和LLM语义判断的混合方案，对于复杂的物理表达式可能存在误判。可以引入物理领域知识来增强验证的准确性。第五，推理阶段的智能体增强需要为不同学科配置不同的验证器，这限制了系统的可扩展性。改进方向是开发通用的科学推理验证框架。

基于P1-VL的成果，未来研究可以在以下方向展开。第一，将课程RL框架扩展到其他科学领域（化学、生物、材料科学），构建通用的科学推理VLM。第二，探索实验操作题的求解能力，这需要模型具备更精细的视觉理解（如读取仪器示数、分析实验现象）和物理直觉。第三，将P1-VL与世界模型相结合，使其能够进行物理模拟和预测，而不仅仅是求解静态问题。第四，开发更高效的智能体增强方法，减少推理延迟，使其能够应用于实时交互场景。第五，研究如何将物理奥赛中习得的推理能力迁移到真实科研任务中，如实验设计、数据分析和理论推导。第六，探索多轮对话式的物理教学应用，让模型能够像人类教练一样引导学生思考。最后，作者提出的'通用物理智能'愿景需要进一步研究如何将符号推理、数值模拟和神经网络推理有机结合。

P1-VL的复现条件相对友好。模型和代码已完全开源，基于Qwen3-VL系列基础模型（同样开源）。训练框架采用开源的VERL和Megatron-LM，推理使用开源的SGLang。训练数据方面，8,033道物理题的构建流程已详细描述，包括数据来源（10个奥赛、20本教科书）、标注流程和质量控制方法，但原始数据集是否完全开源需确认。算力需求方面，235B模型的训练需要大规模GPU集群（具体数量未明确说明），30B模型的训练门槛相对较低。复现的主要难点包括：课程训练的三阶段超参数调整、MIS阈值C的设定、以及PhysicsMinions智能体框架的部署配置。对于资源有限的研究者，建议从30B模型开始尝试，或使用本文的训练方法在其他VLM上进行物理推理能力的专门化训练。