PhyCritic：面向物理AI的多模态批评模型 PhyCritic: Multimodal Critic Models for Physical AI
提出一个专为物理AI设计的多模态批评模型，通过自我参照的批评微调来提升物理推理和评估能力。
前置知识
多模态批评模型 (Multimodal Critic Model)
多模态批评模型是指专门用于评估其他模型生成内容的视觉-语言模型系统。这类模型的核心功能是对模型响应提供成对偏好判断、数值评分和解释性理由，用于开放式评估和偏好对齐任务。与传统的生成模型不同，批评模型需要同时具备三种关键能力：首先，它们必须能够理解视觉输入，从图像或视频中提取关键信息；其次，它们需要评估推理逻辑的有效性，判断响应是否遵循合理的因果链条；最后，它们需要验证事实正确性，确保生成内容与视觉证据和常识一致。在物理AI领域，批评模型面临额外挑战：它们需要评估推理是否符合物理定律，视觉解释是否与实际物理配置一致，以及行动建议是否考虑了时空约束。批评模型的输出通常包括详细的评估理由、对多个响应的比较分析，以及最终的偏好判断。这种评估能力对于强化学习中的奖励建模、模型选择和质量控制至关重要。
PhyCritic的核心创新在于构建了一个专门用于物理AI任务的批评模型，因此理解批评模型的基本概念对于把握本文的研究目标和贡献至关重要。传统的批评模型主要针对通用视觉任务设计，缺乏对物理推理的专门优化。PhyCritic通过引入自我参照机制，将批评模型的判断能力建立在自身物理理解的基础上，这代表了批评模型设计范式的转变。理解批评模型的工作原理和评估标准，有助于读者认识到为什么物理AI领域需要专门的批评模型，以及PhyCritic的创新如何解决现有批评模型在物理推理任务上的不足。此外，批评模型在强化学习流程中扮演着奖励信号提供者的角色，其质量直接影响策略模型的训练效果。
物理AI (Physical AI)
物理AI是一个新兴的研究领域，它要求计算系统能够在统一的框架内处理视觉感知、物理常识理解、空间推理和以行动为中心的决策制定。与传统的计算机视觉任务（如图像分类、目标检测）不同，物理AI需要模型具备更深层次的理解能力：它必须能够解释复杂的多视角观察，理解物体的功能特性（affordance），推理因果动态关系，并评估假设行动在真实环境中的可能展开。物理AI的应用场景包括但不限于：3D感知与空间定位、机器人交互理解、自动驾驶决策、具身智能体操作等。这些任务的共同特点是需要模型理解物理世界的运行规律，而不仅仅是识别视觉模式。例如，在机器人操作任务中，模型需要理解抓取力度、物体稳定性、工具使用原理等物理概念；在自动驾驶中，模型需要预测其他车辆的运动轨迹、评估碰撞风险、规划安全路径。物理AI的核心挑战在于将物理知识与感知推理相结合，生成既符合视觉证据又遵循物理定律的结论。
本文的研究背景和应用场景都是物理AI领域，理解物理AI的概念框架有助于深入理解为什么需要专门的批评模型来评估物理推理任务。传统的多模态模型主要针对通用视觉理解设计，缺乏对物理规律的显式建模。PhyCritic的提出正是为了填补这一空白，为物理AI任务提供可靠的评估工具。物理AI任务的特殊性在于其评估标准不仅包括语言流畅性和逻辑一致性，还包括物理正确性。例如，一个响应可能在语言上完美，但提出了违反物理定律的行动建议。PhyCritic通过引入自我参照机制，确保批评判断基于模型自己的物理理解，从而能够识别这类物理上不合理但语言上连贯的错误。理解物理AI的评估需求，有助于读者认识到PhyCritic的实用价值和创新意义。
GRPO (Group Relative Policy Optimization)
GRPO是一种基于策略梯度的强化学习方法，最初在数学推理任务中被提出。与传统的PPO（Proximal Policy Optimization）算法不同，GRPO省略了学习价值网络的需求，而是通过将多个采样轨迹作为一个组来计算优势函数。具体来说，GRPO的优化目标包含两个部分：策略梯度项和KL散度正则化项。策略梯度项通过计算每个轨迹的奖励与组内平均奖励的差异来估计优势值，从而指导策略更新。KL散度项则用于约束新策略不要偏离参考策略太远，确保训练的稳定性。GRPO的核心优势在于其计算效率：由于不需要维护和训练价值网络，它大大简化了强化学习流程。在PhyCritic的训练中，GRPO被用于两个阶段：第一阶段用于物理技能热身，第二阶段用于自我参照批评微调。这种算法选择反映了作者对训练效率和稳定性的考虑。
PhyCritic采用GRPO作为核心优化算法来训练批评模型，理解GRPO的工作原理对于把握本文的训练方法至关重要。GRPO的选择体现了作者对训练效率的追求：通过避免价值网络的学习，GRPO简化了强化学习流程，这对于多任务训练（同时优化自我预测和批评判断）尤为重要。在PhyCritic的两阶段训练中，GRPO分别用于不同的目标：第一阶段专注于物理推理能力的提升，第二阶段则同时优化自我预测和批评判断。GRPO的组相对优势计算方式特别适合PhyCritic的设置，因为它允许模型从多个采样轨迹中学习，从而产生更稳定的批评行为。理解GRPO的机制有助于读者认识到PhyCritic训练框架的设计合理性，以及为什么选择GRPO而非其他强化学习算法。
自我参照批评微调 (Self-Referential Critic Finetuning)
自我参照批评微调是本文提出的核心方法论创新。其基本思想是：一个优秀的批评模型在评估他人之前，应该首先展示自己对问题的理解。具体实现上，批评模型被要求执行两个并发任务：首先，它需要为给定问题生成自己的预测答案（自我预测）；然后，它需要基于这个自我预测作为参考，评估一对候选响应的质量（偏好判断）。这种机制确保批评判断建立在模型自己的物理理解基础上，而不是依赖表面特征或虚假关联。自我参照过程通过特定的提示模板实现，该模板要求模型首先生成推理过程和预测，然后显式地引用自己的预测进行批评。训练过程中，模型同时接收自我预测奖励和批评奖励，鼓励它既成为可靠的问题解决者，也成为准确的批评者。这种设计的核心直觉是：如果模型能够正确解决问题，它更有可能做出准确的评估；反之，如果模型对问题理解有误，其评估也可能不可靠。
自我参照批评微调是PhyCritic最核心的创新点，理解这一机制是理解本文技术贡献的关键。传统的批评模型直接对响应对进行判断，不关心理解深度，这可能导致基于表面特征的肤浅评估。PhyCritic通过强制模型首先生成自己的预测，确保批评判断基于实质性的理解而非统计相关性。这种机制在物理AI领域尤为重要，因为物理推理需要深层次的因果理解。例如，在评估两个关于机器人操作的响应时，PhyCritic首先会推理出正确的操作步骤，然后基于这个正确推理来评估候选响应。这种自我参照过程不仅提高了评估准确性，还增强了模型的可解释性：我们可以从模型的自我预测中理解其评估逻辑。理解自我参照机制有助于读者认识到PhyCritic与传统批评模型的本质区别，以及这种创新如何解决物理AI评估中的特定挑战。
RLVR (Reinforcement Learning with Verifiable Rewards)
RLVR是一种使用可验证奖励进行强化学习训练的方法。与依赖人类反馈（RLHF）或AI反馈（RLAIF）的传统方法不同，RLVR使用基于规则或算法可验证的奖励信号。这种方法的核心优势在于奖励信号的客观性和一致性：由于奖励基于可验证的事实（如答案正确性、格式符合性），避免了人类标注的主观性和不一致性。在物理AI领域，RLVR特别适用，因为许多物理问题的答案可以通过物理定律、仿真环境或实际实验来验证。例如，在机器人操作任务中，行动的成功与否可以通过环境状态变化来验证；在自动驾驶中，决策的安全性可以通过碰撞检测来评估。RLVR的实现通常包括两个关键组件：奖励函数设计和优化算法选择。奖励函数需要准确反映任务目标，而优化算法（如GRPO）则负责根据奖励信号更新策略。
PhyCritic的两阶段训练流程都采用了RLVR范式，理解RLVR有助于深入理解本文的训练框架设计。在第一阶段物理技能热身中，RLVR使用准确度奖励来训练模型生成正确的物理推理；在第二阶段自我参照批评微调中，RLVR同时使用自我预测奖励和批评奖励来优化模型的双重能力。RLVR的选择反映了物理AI任务的特点：物理推理的正确性通常可以客观验证，这使得RLVR比依赖主观人类反馈的方法更合适。此外，RLVR的可验证性有助于训练过程的稳定性和可重复性。理解RLVR的原理和优势，有助于读者认识到PhyCritic训练方法的科学性和合理性，以及为什么这种方法特别适合物理AI批评模型的训练。
研究动机
现有的多模态批评模型主要在通用视觉领域（如图像描述、STEM推理、图像问答）上训练，缺乏对物理AI任务的专门优化。物理AI任务涉及感知、因果推理和规划，批评模型需要评估推理是否因果有效、视觉解释是否符合实际物理配置、最终答案是否尊重时间、空间和动力学约束。然而，现有批评模型存在三个关键局限：(1) 缺乏物理意识，经常无法区分视觉上连贯但物理上不可能的推理；(2) 训练数据集中在广泛的多模态评估上，而不是涉及操作、功能推理或具身3D交互的物理基础场景；(3) 它们不将自己的判断建立在对问题的物理理解基础上，导致不一致或肤浅的裁决。这些局限导致现有批评模型在物理AI任务上表现不佳，无法提供可靠的评估信号。
本文的目标是本文的目标是开发一类专门为物理AI设计的多模态批评模型。具体来说，PhyCritic旨在评估涉及物理感知、因果推理和行动/计划评估的多模态响应，并以接地、稳定和物理正确的方式进行评估。作者希望创建一个能够像人类专家评委一样工作的批评模型：在评估其他模型响应之前，首先自己解决问题。这种设计确保批评判断基于实质性的物理理解，而不是表面特征。PhyCritic的最终目标是提供一个可靠的评估工具，用于物理AI模型的训练、选择和质量控制，推动物理AI领域的发展。
与已有工作不同的是，现有的多模态批评模型研究存在明显的空白。虽然最近的强化微调多模态策略模型表明，RLVR风格的可验证奖励和物理基础推理数据集可以显著提高多模态推理和时间一致性，但这些见解尚未系统地转移到物理相关的批评模型中。特别是在判断必须反映物理真理而非语言形式的场景中，缺乏专门的批评模型。本文的独特切入角度是提出自我参照批评微调，即批评模型首先生成自己的物理感知推理和预测，然后显式地将其作为参考来判断候选响应。这种方法将批评模型的能力建立在自身问题解决能力的基础上，填补了物理AI批评模型研究的空白。
核心方法
PhyCritic采用两阶段强化微调流程：第一阶段是物理技能热身，使用标准GRPO在物理相关问答对上训练，增强模型的物理感知和推理能力；第二阶段是自我参照批评微调，在第一阶段基础上，训练批评模型生成自己的内部推理和预测，然后显式地使用这个自我预测作为参考来评估候选响应。整个方法的核心直觉是：一个强大的物理批评模型应该像人类专家评委一样，首先自己解决问题，然后基于自己的理解来评估他人。这种设计确保批评判断基于实质性的物理理解，而不是表面特征或统计相关性。
本文的核心创新是自我参照批评微调机制。与传统的批评模型直接对响应对进行判断不同，PhyCritic要求模型在批评之前先生成自己的预测。具体来说，模型被要求执行两个并发任务：(1) 自我预测：模型首先生成自己的内部预测答案；(2) 偏好判断：作为批评模型，模型生成对响应对的偏好预测，同时被明确指示基于先前生成的自我预测进行评估。这种机制确保批评判断建立在模型自己的物理理解基础上，避免虚假关联和不支持的裁决。自我参照过程通过特定的提示模板实现，该模板要求模型首先生成推理过程和预测，然后显式地引用自己的预测进行批评。
方法步骤详情
方法的具体步骤包括：(1) 数据组织：训练数据为元组 (Q, LA, LB, AQ, P)，其中Q是多模态提示，LA和LB是候选响应，AQ是真实答案，P是二元偏好标签；(2) 第一阶段物理技能热身：使用标准GRPO在(Q, AQ)对上训练，奖励函数为准确度奖励；(3) 第二阶段自我参照批评微调：使用完整数据集，模型需要同时生成自我预测和批评判断。总奖励由准确度奖励和格式奖励组成，其中准确度奖励包括自我预测奖励和批评奖励，格式奖励评估输出是否符合自我参照结构。训练过程中，模型同时优化两个目标：成为可靠的问题解决者和准确的批评者。
技术新颖性
PhyCritic的技术新颖性主要体现在三个方面：首先，提出了自我参照批评微调框架，这是首次将批评模型的判断显式地建立在其自己的问题解决能力基础上；其次，设计了专门的两阶段RLVR+GRPO流程，第一阶段建立物理基础能力，第二阶段在此基础上进行批评训练；第三，构建了物理AI批评模型的数据集和评估基准PhyCritic-Bench。这种自我参照机制与传统的直接批评训练形成鲜明对比，传统方法只关注判断准确性而不关心理解深度。PhyCritic的创新在于将问题解决能力与批评能力相结合，形成了一种新的批评模型训练范式。
实验结果
PhyCritic在多个基准测试上取得了显著成果。在PhyCritic-Bench上，PhyCritic-7B在开源7B/8B模型中达到最佳整体准确率68.0%，比Eagle-2.5-8B (56.0%)高出12.0个百分点，比Qwen2.5-VL-7B (51.6%)高出16.4个百分点，比专门的物理推理模型RoboBrain2.0-7B (54.7%)高出13.3个百分点。在物理推理基准上，PhyCritic在CosmosReason1-Bench上达到63.9%的准确率，超过Cosmos-R1-7B (63.0%)，尽管后者在数百万领域内蒸馏推理轨迹上训练。在CV-Bench上，PhyCritic-7B获得第二高的平均分79.7%和最高的3D分数83.9%。在EgoPlanBench2上，PhyCritic-7B排名第二，总体得分42.3%。值得注意的是，尽管仅在物理上下文中训练，PhyCritic在通用领域基准上也表现良好，在VL-RewardBench和Multimodal-RewardBench上分别超过基础模型4.1和1.9个百分点。此外，PhyCritic作为策略模型也增强了物理推理能力，在DPO训练指导下，将基础Qwen2.5-VL-7B在CosmosReason1-Bench上的准确率从54.3%提高到60.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物理批评评估 | 整体准确率 | 68.0% | Eagle-2.5-8B: 56.0%, Qwen2.5-VL-7B: 51.6% | +12.0% (vs Eagle), +16.4% (vs Qwen) |
| 物理推理 | CosmosReason1-Bench准确率 | 63.9% | Cosmos-R1-7B: 63.0%, Qwen2.5-VL-7B: 54.3% | +0.9% (vs Cosmos-R1), +9.6% (vs Qwen) |
| 空间认知 | CV-Bench 3D分数 | 83.9% | Eagle-2.5-8B: 43.0%, Cosmos-R1-7B: 29.8% | +40.9% (vs Eagle), +54.1% (vs Cosmos-R1) |
| 具身规划 | EgoPlanBench2总体 | 42.3% | Cosmos-R1-7B: 29.8%, Qwen2.5-VL-7B: 32.6% | +12.5% (vs Cosmos-R1), +9.7% (vs Qwen) |
| 通用奖励评估 | VL-RewardBench总体 | 57.3% | Qwen2.5-VL-7B: 53.2% | +4.1% |
局限与改进
尽管自我参照批评微调被证明比传统的成对批评训练更有效，但它还需要多模态提示的真实答案。虽然行动和计划通常可以通过物理世界反馈来验证，但这一要求限制了其在完全开放式场景中的应用。此外，PhyCritic的训练数据规模相对较小（4,058个样本），虽然提高了数据效率，但可能限制了在更广泛物理场景中的泛化能力。作者也指出，未来工作可以探索自我验证或元评判策略来替代用于自我预测的显式准确度奖励。此外，PhyCritic可以扩展为多轮批评自我改进，利用批评信号迭代改进自我生成。这些局限性为未来的研究提供了明确的方向。
独立分析的弱点
PhyCritic存在几个可以改进的弱点：首先，自我参照机制需要真实答案作为监督信号，这在完全开放式或创造性任务中可能不可用；其次，模型主要在机器人学和自动驾驶数据上训练，对其他物理领域（如流体力学、材料科学）的泛化能力未经验证；第三，批评模型的评估依赖于二元偏好判断，无法处理多个响应质量相当或各有优劣的情况；第四，格式奖励的设计相对简单，可能不足以确保复杂的推理结构。针对这些弱点，未来可以探索无监督的自我验证方法、扩展训练数据到更多物理领域、开发连续评分机制，以及设计更精细的格式评估标准。
未来方向
基于PhyCritic的成果，可以探索几个有前景的研究方向：(1) 多轮批评自我改进：利用批评信号迭代改进自我生成，形成批评-改进循环；(2) 自我验证和元评判：开发不需要真实答案的监督信号，通过模型自身或元模型来验证预测的正确性；(3) 扩展到更多物理领域：将PhyCritic框架应用到流体动力学、材料科学、生物物理等其他物理子领域；(4) 连续评分机制：从二元偏好扩展到连续质量评分，提供更细粒度的评估；(5) 跨模态批评：扩展到音频、触觉等其他模态的物理感知任务；(6) 实时批评系统：开发能够实时评估物理模拟或机器人操作的批评模型。
复现评估
PhyCritic的复现相对容易，因为作者提供了详细的训练细节和超参数设置。基础模型Qwen2.5-VL-7B-Instruct是开源的，训练框架veRL也是公开的。训练数据来自公开数据集（RoboVQA, BridgeData V2, HoloAssist, AgiBot World），问题来自Cosmos-Reason1 RL数据集。训练需要的计算资源相对适中：两阶段训练分别需要80和300个RL步，批量大小为128，学习率为1e-6。然而，收集来自七个不同模型的响应并生成偏好标签需要一定的工程努力。评估基准PhyCritic-Bench的构建细节也提供了，便于复现评估。总体而言，复现难度中等，主要挑战在于数据收集和偏好标签生成。
论文图表
表格展示了用于自我参照批评微调的完整提示模板。提示首先呈现详细的评估标准，然后明确指示评判模型首先生成自己的推理和预测，最后使用自我预测作为参考进行批评过程。
这个表格详细展示了PhyCritic的批评提示设计，是理解自我参照机制实现细节的关键。
表格展示了PhyCritic在通用图像领域判断的例子。尽管仅在物理相关批评数据上训练，PhyCritic能够准确识别纸巾盒为绿色，产生更符合人类偏好的判断。
这个示例展示了PhyCritic批评能力向通用视觉领域的迁移。