ProgressLM：面向视觉语言模型的进度推理能力研究 PROGRESSLM: Towards Progress Reasoning in Vision-Language Models
让VLM从单张观测图推断任务进度，提出两阶段推理范式
前置知识
Vision-Language Model (VLM)
视觉语言模型是一类同时处理视觉输入（图像/视频）和自然语言的多模态大模型。典型代表包括 GPT-5、Qwen2.5-VL、InternVL 等，它们通过大规模预训练学会将视觉特征与语言语义对齐，能够执行图像描述、视觉问答、推理等任务。VLM 通常采用 Transformer 架构，将图像编码为 patch token 序列后与文本 token 拼接输入，通过自注意力机制实现跨模态融合。
本文研究的核心对象就是 VLM，论文对 14 个不同规模（2B-72B）的 VLM 进行了系统评估，理解 VLM 的基本架构和能力边界是读懂本文的前提。
Progress Estimation（进度估计）
进度估计是指给定一个任务的演示（demonstration）和当前观测（observation），推断任务已完成的程度，输出一个归一化的进度分数 $p \in [0, 100\%]$。这与传统的任务完成判断（二元的完成/未完成）不同，要求模型对中间状态进行细粒度推理。例如，机器人正在抓取盘子的过程中，模型需要判断这个动作大约完成了 46%。
这是本文研究的核心问题，论文系统地定义了进度估计的任务形式化、评估指标和基准测试。
Episodic Retrieval（情景检索）
情景检索是受认知科学启发的第一阶段推理过程。给定任务演示和当前观测，模型需要在演示的关键步骤中找到一个与当前观测最相似的参考步骤，作为粗粒度的锚点（anchor）。这类似于人类在回忆时先定位到记忆中的某个关键时刻，然后以此为基准进行精细推理。在论文中，模型输出 `` 标签来标记检索到的步骤索引。
这是论文提出的两阶段推理范式的核心组成部分，将复杂的进度估计问题分解为更易处理的子问题。
Mental Simulation（心理模拟）
心理模拟是第二阶段的推理过程。在第一阶段检索到参考锚点后，模型需要想象从该锚点状态到当前观测状态之间的状态转换，推断当前观测是在锚点之前、附近还是之后，从而得出精确的进度估计。这类似于人类通过心理模拟来预测和推断状态变化，在论文中通过 `` 和 `` 标签输出推理过程和最终分数。
心理模拟使模型能够进行细粒度的进度推理，而不仅仅是粗略的阶段判断，是实现精确进度估计的关键。
GRPO (Group Relative Policy Optimization)
GRPO 是一种强化学习算法，通过组内相对比较来优化策略。在本文中，模型生成多个推理轨迹 $r \sim P_\theta(r|D,o)$，然后通过奖励函数 $R(r) = \alpha R_{\text{format}} + \beta R_{\text{ref}} + \gamma R_{\text{score}}$ 评估每个轨迹的质量，鼓励结构化推理、准确的参考检索和精确的进度估计。权重设置为 $\alpha:\beta:\gamma = 1:6:3$。
GRPO 是论文训练阶段的核心算法，用于从 SFT 阶段的冷启动进一步提升模型的鲁棒性和校准能力。
PROGRESS-BENCH
PROGRESS-BENCH 是本文提出的基准测试，包含 240 个任务轨迹和 3325 个采样观测，用于系统评估 VLM 的进度推理能力。基准测试在三个维度上进行控制变化：演示模态（视觉 vs. 文本）、视角对应（同视角 vs. 跨视角）和可回答性（可回答 vs. 不可回答）。数据基于 RoboMind 机器人操作数据集构建，覆盖 Franka、UR5e、AgileX 双臂、TienKung 和 Humanoid 等多种机器人平台。
这是评估进度推理能力的标准化基准，所有实验结果都在此基准上报告，理解其构建方式对解读实验结果至关重要。
研究动机
当前视觉语言模型（VLM）在静态视觉感知方面表现出色，能够准确描述单张图像中可见的内容，但在估计任务进度方面存在根本性困难。论文通过系统实验揭示了这一问题的严重性：在对 14 个 VLM（从 2B 到 72B 参数）的评估中，大多数模型表现出高度不稳定的进度估计。具体而言，许多模型的预测进度分数呈现退化分布——要么坍缩到极端值（0% 或 100%），要么聚集在少数几个启发式锚点附近，或者集中在约 50% 的默认值。例如，Qwen3-VL-2B 的归一化分数误差（NSE）高达 63.4（越低越好），Intern3.5-VL-38B 的可回答样本误拒率（AFRR）高达 38.3%，表明模型无法可靠区分可回答和不可回答的情况。更严重的是，当演示和观测的视角发生变化时（跨视角设置），大多数模型的性能急剧下降——Qwen2.5-VL-32B 从同视角的 NSE 21.4 恶化到跨视角的 45.7，PRC 从 72.9 降至 29.4。这些问题的根本原因在于：现有方法要么依赖于任务特定的回归模型（无法泛化），要么通过轨迹重排序或成对比较等代理目标间接推断进度（依赖序列上下文），而缺乏从单次观测进行进度推理的能力。
本文的目标是本文的目标是系统地研究 VLM 能否从单次观测中推断任务进度，并探索如何有效提升这一能力。具体而言，论文提出了三个核心研究问题：（1）现有 VLM 在进度估计任务上表现如何？通过 PROGRESS-BENCH 对 14 个模型进行基准测试，量化其在不同模态、视角和可回答性条件下的性能。（2）进度推理能否通过训练无关的推理策略来改善？论文探索了受人类认知启发的两阶段提示策略（情景检索 + 心理模拟），测试是否能通过结构化提示提升现有模型的进度推理能力。（3）进度推理能否通过显式训练来学习？论文构建了 PROGRESSLM-45K 数据集（25K SFT + 20K RL），训练了 PROGRESSLM-3B 模型，验证小规模模型通过针对性训练能否达到甚至超越大规模模型的进度推理能力。
与已有工作不同的是，本文的独特切入角度在于将进度估计重新定义为一个动态推理问题，而非静态感知问题。与现有工作不同，论文不将进度估计视为二元的任务完成判断或需要整个轨迹上下文的序列推断，而是研究从单次观测进行进度推理的能力——这更接近人类的认知方式。人类能够通过情景检索（定位任务轨迹中的粗粒度锚点）和心理模拟（想象从锚点到当前观测的状态转换）来估计进度，而无需看到完整的执行过程。论文将这一认知过程形式化为两阶段推理范式，并通过三个维度（演示模态、视角对应、可回答性）系统控制变量，首次全面揭示了 VLM 在进度推理方面的系统性失败模式。此外，论文证明了进度推理能力不是单纯由模型规模驱动的——3B 参数的 PROGRESSLM-3B-RL 在宏平均 PRC 上达到 77.0，超越了 GPT-5 的 72.6，表明通过针对性训练可以可靠地获得进度推理能力。
核心方法
论文的核心方法框架是受人类认知科学启发的两阶段进度推理范式。直觉上，当人类观察一个正在进行的任务时，不会直接猜测一个精确的完成百分比，而是先回忆任务的关键阶段，然后通过心理模拟精细调整估计。论文将这一过程形式化为两个明确的阶段：第一阶段是情景检索（Episodic Retrieval），从任务演示中找到与当前观测最相似的参考步骤作为锚点；第二阶段是心理模拟（Mental Simulation），推断当前观测相对于锚点的位置，输出精确的进度分数。技术路线上，论文同时探索了训练无关（training-free）和基于训练（training-based）两种实现方式。训练无关方式通过结构化提示强制模型遵循四字段输出格式（ref_think、ref、score_think、score），无需参数更新。基于训练方式则构建了 PROGRESSLM-45K 数据集，先通过监督微调（SFT）进行冷启动学习两阶段推理模式，再通过 GRPO 强化学习进行鲁棒性和校准能力的精调。
本文的核心创新点在于将进度估计从静态匹配问题转化为动态推理问题，并提出了与已有方法的本质区别。现有方法将进度估计视为观测与固定时间戳的匹配（如基于潜空间距离的回归）或依赖序列上下文的代理任务（如轨迹重排序需要打乱帧顺序、成对比较需要聚合多个相对进度比较）。这些方法的问题在于：匹配方法无法处理细粒度的中间进度，代理方法使每个估计依赖于整个序列上下文，无法从单次观测独立推断。本文的核心创新是提出了两阶段解耦推理：第一阶段的情景检索将复杂问题分解为更简单的检索任务（从 N 个关键步骤中找到最相关的），第二阶段的心理模拟在此基础上进行精细推理。这种解耦设计的优势在于：（1）锚点检索提供了粗粒度的先验，大幅缩小了第二阶段的推理空间；（2）两个阶段可以独立优化和评估；（3）显式推理链使模型决策具有可解释性。论文通过实验验证了两个阶段的耦合关系——图 7 显示检索到的锚点索引与预测分数对应的演示步骤索引呈强对角线分布，证明锚点检索确实指导了精细进度估计。
方法步骤详情
方法分为数据构建、训练无关推理和基于训练推理三个部分。数据构建方面，PROGRESS-BENCH 基于 RoboMind 机器人操作数据集构建，包含 240 个任务轨迹和 3325 个采样观测。每个实例包含任务演示 $D$ 和观测 $o$，演示分为视觉演示 $D_v = \{(f_{a_j}, p_j)\}_{j=1}^N$（关键帧序列）和文本演示 $D_t = \{(t_j, p_j)\}_{j=1}^N$（逐步动作描述）。观测通过区间采样（均匀覆盖）和边界采样（步骤转换附近更密集）两种策略从执行视频中抽取，进度通过线性插值 $p^* = p_j + \delta(p_{j+1} - p_j)$ 分配。不可回答样本通过修改演示或编辑观测来创建不一致情况。训练无关推理方面，论文设计了结构化提示模板，强制模型输出四个字段：ref_think（检索推理过程）、ref（检索到的步骤索引）、score_think（心理模拟推理）、score（最终进度分数）。基于训练推理方面，首先在 PROGRESSLM-25K-COT 上进行 SFT，最小化负对数似然 $\mathcal{L}_{\text{SFT}} = -\frac{1}{N} \sum_{i=1}^N \log P_\theta(r_i^* | D_i, o_i)$，学习两阶段推理模式。然后在 20K 样本上进行 GRPO 强化学习，奖励函数 $R(r) = \alpha R_{\text{format}} + \beta R_{\text{ref}} + \gamma R_{\text{score}}$（$\alpha:\beta:\gamma = 1:6:3$），其中 $R_{\text{ref}}$ 和 $R_{\text{score}}$ 定义为预测值与真实值之间的负相对误差。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在问题定义上，论文首次将进度估计定义为从单次观测进行的动态推理问题，并构建了首个系统化的评估基准 PROGRESS-BENCH，通过三个控制维度（模态、视角、可回答性）全面评估模型能力。其次，在方法设计上，受认知科学启发的两阶段推理范式是一个新颖的框架——将情景检索和心理模拟显式分离并结构化输出，这与现有的端到端预测或序列依赖方法有本质区别。第三，在数据构建上，PROGRESSLM-45K 是首个专门用于训练进度推理能力的大规模数据集，包含 25K 链式思维样本用于 SFT 冷启动和 20K 样本用于 RL 精调，且训练任务与评估基准完全不重叠以确保泛化性。第四，在训练策略上，两阶段训练（SFT + GRPO）的设计是新颖的——SFT 阶段学习推理格式和基本能力，RL 阶段通过多目标奖励提升鲁棒性和校准能力，这种组合在进度推理任务中尚属首次应用。最后，论文的分析揭示了多个新颖发现，如进度分数的退化分布模式（单峰坍缩、多峰聚集、中心峰值、平滑连续）、两阶段的耦合关系、以及文本演示需要隐式状态累积的特性。
实验结果
论文在 PROGRESS-BENCH 上对 14 个 VLM 进行了全面评估，得出以下核心发现。首先，现有 VLM 在进度估计方面表现有限且高度不稳定。在直接预测设置下，大多数模型的归一化分数误差（NSE）较高（越低越好），如 Qwen2.5-VL-3B 的 NSE 达 35.0，Intern3.5-VL-14B 更高达 60.0。进度排序相关性（PRC）方面，多个模型出现异常的负值或未定义值（如 Qwen3-VL-2B 在文本演示下 PRC 为 NaN），表明模型的进度排序完全坍缩。训练无关的两阶段推理策略效果有限且依赖模型能力：GPT-5 在某些指标上有适度改善（宏平均 PRC 从 71.4 提升到 72.6），但小模型（如 Qwen2.5-VL-7B）反而恶化（NSE 从 36.5 升至 43.3）。基于训练的 PROGRESSLM-3B 则表现出一致且显著的改善：PROGRESSLM-3B-RL 的宏平均 NSE 为 17.5（所有模型最低），宏平均 PRC 为 77.0（超越 GPT-5 的 72.6），在同视角设置下 PRC 达 93.5。在跨视角鲁棒性方面，大多数模型从同视角到跨视角性能大幅下降，但 PROGRESSLM-3B-RL 的下降幅度最小（PRC 仅从 93.5 降至 88.8）。在不可回答样本识别方面，大多数模型无法可靠识别，仍输出进度分数，而 PROGRESSLM-3B-RL 在视觉演示下 UDA 达 65.3%，文本演示下达 65.9%。论文还发现 7B 模型通过训练也能获得显著改善（PRC 从 33.7 提升至 85.7），验证了方法的可扩展性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 进度估计（视觉演示，宏平均） | NSE↓ / PRC↑ | ProgressLM-3B-RL: NSE 17.5, PRC 77.0 | GPT-5: NSE 21.3, PRC 72.6; Qwen2.5-VL-72B: NSE 32.9, PRC 50.8 | NSE 降低 17.8%（相对 GPT-5），PRC 提升 6.1% |
| 进度估计（同视角视觉演示） | PRC↑ | ProgressLM-3B-RL: 93.5 | GPT-5: 89.4; Qwen3-VL-32B: 88.3 | PRC 提升 4.6%（相对 GPT-5） |
| 进度估计（跨视角视觉演示） | PRC↑ | ProgressLM-3B-RL: 88.8 | GPT-5: 89.4; Qwen3-VL-32B: 77.8 | 与 GPT-5 持平，超越 Qwen3-VL-32B 14.1% |
| 不可回答样本识别（视觉演示） | UDA↑ | ProgressLM-3B-RL: 65.3% | Intern3.5-VL-38B: 66.4%; GPT-5: 62.5% | 与最佳基线持平，AFRR 仅 8.5%（vs Intern3.5-VL-38B 的 37.1%） |
| 进度估计（7B 模型，视觉演示） | PRC↑ / NSE↓ | ProgressLM-7B (training-based): PRC 85.7, NSE 13.4 | No think: PRC 33.7, NSE 34.0 | PRC 提升 154.3%，NSE 降低 60.6% |
局限与改进
论文明确指出了几个局限性。首先，PROGRESS-BENCH 聚焦于机器人操作任务，这类任务具有相对清晰和单调的进度结构，可能限制了向更开放场景（如目标模糊或非单调动态）的泛化能力。其次，PROGRESSLM 在结构相似的精选操作数据上训练，扩展到任务结构差异很大的任务族可能需要额外的数据或适配。此外，论文的评估主要在英语环境下进行，多语言能力未被探索。从独立观察来看，还有一些值得注意的限制：（1）论文的所有评估都在离线设置下进行，未验证在真实机器人系统中在线部署的效果；（2）PROGRESS-BENCH 的 3325 个样本规模相对较小，可能无法充分覆盖真实世界的任务多样性；（3）训练数据与评估数据虽然任务不重叠，但都来自 RoboMind 数据集，数据分布可能过于相似；（4）论文未讨论推理延迟和计算成本，而实时进度估计对机器人应用至关重要；（5）文本演示下的性能普遍低于视觉演示，表明隐式状态累积仍是挑战性问题，论文未提供有效的解决方案。
独立分析的弱点
论文存在几个值得深入分析的弱点。首先，两阶段推理范式的假设是任务进度是单调递增的，但真实世界的许多任务可能包含回退、重试或非单调状态变化（如组装任务中的拆卸步骤），当前方法无法处理这类情况，未来可以探索支持非单调进度的推理框架。其次，论文的训练数据构建依赖于线性插值来分配进度标签，这种假设在步骤内部是均匀的，但实际上步骤内的进度可能不是线性的（如抓取动作的初始接触阶段和稳定抓取阶段），改进方向是学习自适应的进度分配函数。第三，不可回答样本的识别能力仍然有限（UDA 最高约 65%），论文未充分分析失败案例的模式，未来可以通过对比学习或不确定性估计方法来提升。第四，训练无关推理策略对小模型几乎无效，论文未探索渐进式推理或知识蒸馏等替代方案来降低能力门槛。第五，论文的跨视角鲁棒性分析仅区分了同视角和跨视角两种设置，未探索更细粒度的视角变化（如旋转角度、距离变化）对性能的影响。
未来方向
论文和其成果为多个研究方向提供了基础。作者提出的应用方向包括：（1）将进度推理作为长时程系统的异常检测器，识别停滞或不一致的进度；（2）作为强化学习的在线奖励信号，提供密集且可解释的反馈；（3）作为训练任务特定奖励模型的数据引擎。基于本文成果可延伸的方向包括：（1）将进度推理扩展到多智能体协作场景，估计团队整体进度和各成员的贡献；（2）结合视频生成模型进行更精确的心理模拟，通过生成从锚点到当前观测的过渡帧来辅助推理；（3）将进度推理与任务规划结合，实现进度感知的自适应规划；（4）探索进度推理在非机器人领域的应用，如 Web 代理的任务进度跟踪、软件开发的里程碑估计等；（5）研究进度推理的可解释性，通过分析两阶段推理链来理解模型的决策过程；（6）开发支持非单调进度的推理框架，处理包含回退和重试的复杂任务。
复现评估
论文在复现方面提供了较好的支持。代码和模型已开源（论文提到了 Code 和 Model 链接），数据集基于公开的 RoboMind 构建，训练数据 PROGRESSLM-45K 的构建流程在论文中有详细描述（包括采样策略、标签分配、质量控制）。PROGRESS-BENCH 的构建细节（240 个轨迹、3325 个样本、三种采样策略）和评估指标（NSE、PRC、AFRR、UDA）都有明确定义。训练方面，SFT 阶段使用标准的自回归负对数似然损失，RL 阶段使用 GRPO 算法，超参数（$\alpha:\beta:\gamma = 1:6:3$）已给出。3B 模型的训练在合理计算资源下可行（论文提到 7B 模型仅训练了一个 epoch），但 RL 阶段的样本生成和奖励计算可能需要较大计算开销。复现难度中等：数据构建需要访问 RoboMind 数据集，训练需要 GPU 资源，但评估流程相对简单。值得注意的是，论文的所有训练任务与评估基准不重叠，这确保了泛化性评估的公平性，但复现时需要注意这一约束。
论文图表
