VLS：通过视觉语言模型引导预训练机器人策略 VLS: Steering Pretrained Robot Policies via Vision-Language Models

VLS的完整算法包含以下步骤。第一步，OOD输入grounding：给定OOD输入对 $(o,l)_{OOD}$，使用VLM识别与操作任务相关的物体和区域，应用SAM获取物体掩码 $\mathcal{M}$，使用DINOv2提取语义对齐的密集视觉特征图 $\Phi \in \mathbb{R}^{H \times W \times d}$，将掩码像素重投影到3D点云空间，得到 $(d+3)$ 维表示，聚类获得任务相关关键点集 $\mathcal{P} = \{p_i\}_{i=1}^n$。第二步，程序化奖励生成：VLM查询以分解任务为 $S$ 个顺序阶段，并为每个阶段 $s$ 生成可微奖励函数 $R_s(a^k_{t:t+T}, (o,l)_{OOD}) = f_{VLM}(a^k_{t:t+T}, \mathcal{P}, s)$，该函数实现为PyTorch程序。第三步，多样化提议初始化：在每个环境时间步 $t$，采样 $B$ 个动作提议 $\{a^K_{t:t+T}[i] \sim \mathcal{N}(0, I)\}_{i=1}^B$，引入RBF斥力梯度 $g^{RBF}_k[i] = \nabla_{a^k_{t:t+T}[i]} \sum_{j \neq i} \frac{1}{\|a^k_{t:t+T}[i] - a^k_{t:t+T}[j]\|^2 + \epsilon}$ 防止提议过早塌缩。第四步，梯度引导优化：在每个去噪步骤 $k$，注入阶段特定的奖励梯度 $g_s = \nabla_{a^k_{t:t+T}} R_s$，采用随机优化进行多次内部更新以提高稳定性。第五步，FK重采样：定义势能 $G^i_k = \exp(R_s(a^k_{t:t+T}[i], (o,l)_{OOD}))$，计算归一化权重 $w^i_k = G^i_k / \sum_{j=1}^{B} G^j_k$，进行多项式重采样。第六步，闭环执行控制：根据当前奖励值相对于基准奖励的比值自适应调整引导强度 $\lambda_t = \lambda_{max} \cdot \text{sigmoid}(1 - R^s_t / R^s_{base})$，使用施密特触发器机制判断阶段切换信号 $Q_t$，避免边界处的振荡行为。

VLS的技术新颖性体现在多个维度。首先，在问题建模上，VLS首次将机器人策略的OOD适应问题形式化为推理时控制问题，明确解耦了技能执行（由冻结的基础策略提供）和任务规格适应（由推理时引导控制），这一建模角度为该领域提供了新的思考框架。其次，在技术路线上，VLS创新性地将VLM的语义理解能力转化为可微的奖励函数，实现了从非可微的VLM到可微引导信号的"桥梁"构建。具体而言，VLM被约束输出程序化的奖励定义，实现为由可微张量操作组成的PyTorch函数，推理时梯度通过实例化的奖励函数反向传播，而VLM本身保持非可微、离图状态。这种设计既保留了VLM的强大推理能力，又满足了梯度引导的可微性要求。第三，在引导机制上，VLS首次在机器人策略引导中同时结合了三种互补机制：基于梯度的局部精化、基于RBF的多样性保持、基于FK理论的全局重采样。这种组合实现了探索与利用的有效平衡，克服了现有方法要么只提供离散监督（ITPS）、要么依赖启发式引导（DynaGuide）的局限。第四，在执行控制上，VLS引入了施密特触发器机制进行阶段切换，通过迟滞效应避免边界处的振荡，实现了对多阶段长时域任务的鲁棒协调。

VLS存在以下几个值得深入分析的弱点。第一，计算效率瓶颈：VLS在每个环境时间步需要进行多轮去噪迭代，每轮包含梯度计算、RBF斥力计算和FK重采样，当批大小 $B=10$、去噪步骤 $K=10$ 时，推理时间超过1秒。在需要高频控制的动态环境中（如抓取移动物体），这种延迟可能导致任务失败。改进方向包括：开发轻量级的奖励函数近似网络，避免每步都调用VLM；采用分层引导策略，只在关键决策点注入引导信号；探索异步引导机制，将引导计算与动作执行解耦。第二，VLM依赖的脆弱性：VLS的奖励函数质量完全取决于VLM的场景理解能力，但VLM在处理遮挡、透明物体、精细空间关系时可能存在系统性偏差。当VLM生成的奖励函数与真实约束不一致时，引导信号会将策略推向错误方向。改进方向包括：引入奖励函数验证机制，通过少量环境交互验证奖励函数的准确性；设计鲁棒的奖励函数模板库，降低对VLM创意生成的依赖；结合传统几何约束作为VLM生成奖励的正则化项。第三，阶段切换的粗糙性：当前的施密特触发器机制基于单一的奖励阈值进行阶段判断，对于需要细粒度阶段划分的任务（如精细装配）可能不够灵活。改进方向包括：设计连续的阶段进度表示，替代离散的阶段切换；引入基于不确定性的自适应阶段划分，当当前阶段的奖励不确定性高时自动细分。第四，缺乏长期记忆：VLS在每个时间步独立生成奖励函数，没有利用之前的执行历史来改进当前的引导决策。对于需要试错学习的场景（如探索未知物体的可操作性），这种缺乏记忆的机制可能效率低下。改进方向包括：引入执行历史编码器，将之前的尝试结果融入当前的奖励生成过程。

论文作者提出了两个未来研究方向：进度感知的奖励信号生成和推理时计算效率优化。基于VLS的成果，还可以延伸出以下研究方向。第一，自适应奖励函数学习：当前VLS依赖VLM在每个时间步从头生成奖励函数，未来可以探索在线学习机制，根据执行反馈微调奖励函数，逐步减少对VLM调用的依赖。这可以通过维护一个轻量级的奖励函数参数化模型，利用执行轨迹的监督信号进行快速适应。第二，多策略协作引导：VLS当前针对单一基础策略进行引导，未来可以扩展到多策略场景，根据不同策略的优势在推理时动态组合或切换策略。例如，在粗定位阶段使用快速但不精确的策略，在精细操作阶段切换到慢速但精确的策略。第三，跨任务迁移：VLS的OOD适应能力可以被用于实现零样本跨任务迁移。通过设计通用的奖励函数模板，使得在一个任务上学到的引导模式可以迁移到结构相似但物体或场景不同的新任务。第四，人机协作引导：VLS的框架可以自然地扩展到人机协作场景，将人类的实时反馈（如手势、语音修正）融入奖励函数生成过程，实现更直观的策略引导。第五，理论分析：当前VLS的收敛性和最优性保证主要基于经验验证，未来可以从理论上分析引导梯度的性质、FK重采样的收敛速度、以及整体框架在什么条件下能够保证找到满足OOD约束的动作。

从复现评估的角度来看，VLS具有较好的可复现性基础。论文使用了广泛认可的基准测试（CALVIN和LIBERO-PRO），这些基准都有公开的代码和数据。评估的基线方法（OpenVLA、π0、π0.5）都是开源的VLA模型，有公开的模型权重和推理代码。VLS的核心组件（SAM、DINOv2、VLM）也都是公开可用的模型。然而，论文的复现也面临一些挑战。首先，VLS的性能高度依赖VLM的质量，但论文没有明确说明使用的是哪个具体的VLM模型（如GPT-4V、Claude 3等），不同的VLM可能导致显著的性能差异。其次，VLS的超参数设置（批大小 $B$、去噪步骤 $K$、引导强度 $\lambda$、MCMC迭代次数等）需要针对不同任务进行调优，论文虽然提供了默认值（如 $B=10$、$K=10$、MCMC=4 for diffusion），但没有提供详细的超参数敏感性分析。第三，真实世界实验的硬件配置（Franka Emika机器人、RGB-D相机型号等）和软件环境（ROS版本、控制器频率等）细节需要从附录中获取。第四，VLS的计算需求较高，在 $B=10$ 时单步推理需要约1.2秒，这需要具有足够算力的GPU（论文未明确说明使用的GPU型号）。总体而言，如果具备适当的硬件条件和VLM访问权限，VLS的核心算法可以在合理时间内复现，但精确复现论文报告的所有结果可能需要仔细匹配VLM版本和超参数设置。