基于后验转移重加权的保守离线机器人策略学习 Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting
用动作后果识别后验为离线机器人数据分配保守权重，无需奖励信号
前置知识
Vision-Language-Action (VLA) 模型
VLA 是一种端到端机器人策略模型，将视觉编码器（如 InternViT）、语言模型骨干和动作解码器统一在一个架构中。输入是视觉观察和语言指令，输出是机器人动作序列。典型代表包括 RT-1、OpenVLA、π0 等。Being-H0.5 是本文使用的基座 VLA，它通过 Mixture-of-Transformers 骨干和 flow matching 动作头，将不同机器人映射到 200 维统一动作空间的语义槽位上。
本文在 VLA 的后训练阶段提出改进，必须理解 VLA 的骨干-动作头架构和统一动作空间才能理解 PTR 如何嵌入其中。
离线后训练 (Offline Post-Training)
在大规模预训练之后，使用目标任务数据集对策略进行监督微调的过程。标准做法是在记录的（观察、状态、指令、动作）元组上做行为克隆，最小化预测动作与记录动作之间的差异。与在线强化学习不同，整个过程完全离线，不需要与环境交互。关键问题在于数据质量参差不齐时，均匀后训练会给所有样本同等权重。
PTR 的核心贡献就是改进这个后训练阶段的样本权重分配，理解标准后训练的局限才能体会 PTR 的价值。
InfoNCE 对比学习目标
InfoNCE 是一种对比学习损失函数，通过 softmax 分布将正样本从一批负样本中识别出来。给定一个查询和 K 个候选，InfoNCE 最大化正样本的对数似然：$\mathcal{L} = -\log \frac{\exp(s^+/\tau)}{\sum_{j=0}^{K}\exp(s_j/\tau)}$。在大样本极限下，InfoNCE 的最优解可以恢复密度比 $p^+(y|h,e)/p^-(y|h)$ 的对数。这一性质是 PTR 评分机制的理论基础。
PTR 的识别后验直接采用 InfoNCE 形式，理解其密度比回收性质才能理解 PTR 评分为何能度量样本质量。
重要性采样与截断重要性加权
重要性采样通过密度比 $w(x) = q(x)/p_D(x)$ 将从分布 $p_D$ 采样的期望重写为关于目标分布 $q$ 的形式。当权重方差过大时，估计会极不稳定，因此实践中使用截断 $w \in [w_{\min}, w_{\max}]$ 来控制方差。自归一化版本 $\bar{w}_t = w_t / \sum_j w_j$ 进一步降低方差。PTR 的保守权重映射正是这种截断加权思想在离线后训练中的应用。
PTR 的「保守」属性来自截断和混合约束，理解截断重要性加权才能理解 KL 散度上界 $\leq \log 16 \approx 2.77$ nats 的含义。
Flow Matching 动作头
Flow matching 是一种连续生成模型框架，通过学习从噪声到目标动作的向量场来生成动作块。与扩散模型类似但更简洁，损失函数为 $\ell_{\text{act}} = \|v_\phi(\sigma a_{t:t+L-1} + (1-\sigma)\epsilon, \sigma, h_t, s_t) - (a_{t:t+L-1} - \epsilon)\|^2$，其中 $\epsilon \sim \mathcal{N}(0,I)$、$\sigma \sim p(\sigma)$。关键特点是 flow matching 头不输出显式的动作似然值，这使得传统基于似然的重加权方法无法直接应用。
PTR 的设计动机之一就是兼容 flow matching 等不提供显式似然的动作头，理解这一限制才能理解为何需要识别后验替代方案。
研究动机
在大规模机器人数据集上进行离线后训练时，数据异构性是核心挑战。真实机器人数据集混合了不同具身形态（如 Unitree G1 的 26 自由度双臂人形、PND Adam-U 的 31 自由度带腰部和头部平台、FR3 的 13 自由度单臂平台）、不同相机视角（固定自我中心、可动头部双目、固定第三人称）以及不同操作员的演示。这些数据中很多轨迹包含恢复行为、犹豫动作或低技能操作员的次优演示。在跨具身场景下，相似的图像可能对应完全不同的运动学解。标准的均匀后训练对所有样本给予同等权重，等于将这些冲突、低归因度的数据平均化处理，导致策略性能被次优数据拖累。具体而言，当对包含动作噪声（$\sigma=0.1$ 高斯噪声影响 30% 轨迹）的数据进行均匀后训练时，LIBERO 上 SFT 成功率下降 5.1 个百分点，RoboCasa 上下降 6.2 个百分点。
本文的目标是本文的目标是提出一种无需奖励标签、无需可计算策略似然的保守离线后训练方法，能够自动为每个训练样本分配合理的权重，从而在不修改原始监督动作目标的前提下提升后训练效果。具体来说，该方法应该：（1）在干净数据上保持与标准后训练相当的性能（LIBERO 上保持 97%+ 成功率）；（2）在包含噪声、截断、标注错误等数据腐败的情况下显著优于均匀后训练（目标在组合腐败下获得 5+ 个百分点的提升）；（3）支持跨具身迁移，能从多源异构数据中选择性提取有用信号，使得单一通用模型的性能逼近专用模型。
与已有工作不同的是，现有方法在处理离线数据异构性时存在几个被忽视的盲点。首先，基于奖励的优势加权方法（如 AWR 的 $\exp(A/\beta)$）需要显式的奖励信号或价值函数，这在机器人操作中往往不可用或设计困难。其次，传统方法要求策略本身提供动作似然，但 flow matching 和扩散策略头并不输出显式似然。第三，跨具身数据的正迁移潜力被忽视——不同机器人展示相同高层技能时可以提供额外的任务覆盖，但缺乏选择性利用这些信号的机制。PTR 的独特切入角度是利用数据中自然记录的「动作后果」（即动作执行后的未来观察）作为无奖励的质量信号，将每个样本的质量评估转化为一个识别测试：在当前策略表示下，给定记录的动作块，能否从一组不匹配的候选目标中识别出匹配的后动作后果？这一视角将因果归因（动作导致了什么结果）与样本质量直接关联，无需奖励标签或策略似然。
核心方法
PTR 的核心直觉可以用一个日常类比来理解：想象你在评判一群厨师的炒菜动作。传统方法是给每个人同等分数，而 PTR 的做法是看「这个动作做出来之后，菜变成了什么样子」。如果某位厨师的动作后，菜品呈现出明显独特的状态（香气四溢、色泽诱人），而其他厨师的后动作状态完全不同，那这个动作就很可能是高质量的，应该获得更多权重。反过来，如果某个动作后的状态和随机其他动作的状态难以区分，那这个动作就很可能是次优的或犹豫的。技术路线是：首先通过 BeliefTokenizer 维护紧凑的交互历史代理令牌，然后用 EMA 目标编码器将未来观察编码为潜在目标嵌入，构建包含匹配目标和不匹配目标的候选池，用轻量级评分器计算 InfoNCE 形式的识别后验，将其与均匀分布的比值作为 PTR 分数，再通过指数映射、裁剪和混合生成保守的每样本权重，最终用自归一化加权回归替换标准的均匀动作损失。
PTR 最本质的创新在于用「后动作后果的可识别性」替代「奖励信号」来衡量样本质量。传统优势加权方法需要一个奖励函数 $R(s,a)$ 来计算优势 $A = Q(s,a) - V(s)$，而 PTR 完全绕过了这一需求。它的关键洞察是：高质量的动作会使其后果（未来观察）在候选池中变得高度可区分，而次优动作的后果则与随机替代品难以区分。这种可区分性可以通过 InfoNCE 形式的识别后验自然度量。具体来说，PTR 分数 $T_t = \log \frac{\hat{p}(I_t=0|h_t,e_t,Y_t)}{1/|Y_t|}$ 在理论上与 KL 散度 $\text{KL}(p^+ \| p^-)$ 等价（命题 2），其中 $p^+$ 是条件于动作的目标分布，$p^-$ 是基线分布。这意味着 PTR 分数本质上度量的是「动作改变了未来观察分布多少」，这是一个与奖励无关的因果归因信号。与已有方法的另一关键区别是，PTR 的评分器是独立于策略的轻量模块，不要求策略本身暴露似然，因此天然兼容 flow matching 和扩散动作头。
方法步骤详情
PTR 的完整流程可以分为以下步骤：（1）**维护信念代理令牌**：通过 BeliefTokenizer 将每步的 $L=16$ 个动作通道特征压缩为 $M=4$ 个信念代理令牌 $z_t \in \mathbb{R}^{M \times d}$，通过软因果分配机制融合上下文特征 $C_t$ 和动作特征 $A_t$，使用熵正则化和多样性正则化防止退化，令牌通过 stop-gradient 传递到下一步。（2）**编码后动作目标**：使用动量目标编码器 $g$（EMA 衰减 $\mu=0.999$）从 InternViT-300M 的第 12 层视觉特征中提取目标嵌入 $y_{t,0}^+ = \text{sg}(g(o_{t+\Delta}))$，所有目标 L2 归一化。（3）**构建候选池**：对每个样本构建 $Y_t = \{y_{t,0}^+\} \cup Y_t^-$，其中不匹配目标来自三个源：batch 内其他样本、跨 GPU 全局收集、FIFO 队列（存储 1024 个条目，每个样本最多 64 个队列负样本）。（4）**计算识别后验**：评分器从当前表示 $(h_t, e_t)$ 构建查询嵌入 $u_t = f(h_t, e_t)$，计算与每个候选的余弦相似度 $d_{t,i} = \langle \text{norm}(u_t), \text{norm}(y_{t,i})\rangle / \tau_{\text{score}}$，得到 softmax 后验 $\hat{p}(I_t=0) = \exp(d_{t,0}) / \sum_{j=0}^K \exp(d_{t,j})$。（5）**生成保守权重**：计算 PTR 分数 $T_t = \log(\hat{p}(I_t=0) / (1/|Y_t|))$，映射为权重 $w_t = 1 + \alpha(\text{clip}_{[w_{\min},w_{\max}]}(\exp(T_t/\beta)) - 1)$，默认 $w_{\min}=0.25, w_{\max}=4.0, \alpha=1$。（6）**自归一化加权回归**：权重应用于动作损失 $\mathcal{L}_{\text{act}}^* = \sum_t \text{sg}(w_t) \ell_{\text{act}}(\phi; h_t, s_t, a_{t:t+L-1}) / \sum_t \text{sg}(w_t)$，stop-gradient 阻止策略通过权重反向传播。（7）**自适应尺度控制**：监控识别准确率、分数边际、平均 PTR 分数和有效目标比例，在线调整评分器温度 $\tau_{\text{score}} \in [0.03, 0.20]$、优势缩放 $\beta \in [0.5, 3.0]$ 和硬负例比例 $[0, 0.5]$。
技术新颖性
PTR 的技术新颖性体现在三个层面。第一，在信号来源上，已有工作依赖奖励函数（AWR、RWR）或回报条件（Decision Transformer）来重加权，而 PTR 利用数据中自然记录的后动作后果作为无奖励的质量信号，这是一个全新的视角。InfoNCE 形式的识别后验在对比学习中广泛使用，但将其用于机器人离线后训练的样本质量评分是首次。第二，在兼容性上，传统优势加权需要策略提供似然值，这排除了 flow matching 和扩散策略头。PTR 通过独立的评分器模块完全绕过这一限制，评分器只需要策略的隐层表示 $(h_t, e_t)$，不要求策略本身暴露 $\log \pi(a|s)$。第三，在理论保证上，命题 1 证明贝叶斯最优评分器恢复密度比 $\log \frac{p(y|h,e)}{p_N(y|h)}$，命题 2 证明大候选池极限下 PTR 分数收敛到 KL 散度 $\text{KL}(p^+ \| p^-)$，命题 3 证明指数倾斜下源级别的权重再分配公式 $q^*(m) \propto \pi_m \mathbb{E}_{p_m}[\exp(T_t/\beta)]$。这些理论结果为 PTR 的每个设计选择提供了数学依据，而非经验性的启发式调整。
实验结果
PTR 在仿真和真实机器人实验上均展示了显著且一致的改进。在标准（无腐败）评估中，PTR 在 RoboCasa 上超过 SFT 1.4 个百分点（55.6 vs. 54.2），在 LIBERO 上保持接近天花板性能（97.8% vs. 98.3%），说明 PTR 在干净数据上不会引入性能退化。在鲁棒性测试中，面对四种数据腐败（动作噪声、轨迹截断、标注错误、组合腐败），PTR 始终显著优于 SFT。以组合腐败为例，SFT 在 LIBERO 上下降 12.9 个百分点，在 RoboCasa 上下降 17.8 个百分点，而 PTR 仅分别下降 6.8 和 9.8 个百分点，绝对增益达 +5.6 和 +9.4 个百分点。在真实机器人评估中，三个平台（26-DoF G1、31-DoF Adam-U、13-DoF FR3）共 12 个任务的结果尤为突出。在专用模型设置下，PTR 平均成功率 67.1% vs. SFT 的 60.8%（+6.3 个百分点），在 Bimanual 和 Robust 两个套件上增益最大，均为 +11.7 个百分点。在通用模型（单检查点跨所有 5 个数据源训练）设置下，SFT 的真实机器人平均从 60.8% 大幅下降到 50.0%（-10.8 个百分点），而 PTR 仅从 67.1% 降到 63.8%（-3.3 个百分点），PTR vs. SFT 的差距从 +6.3 扩大到 +13.8 个百分点。特别值得注意的是，PTR-通用模型在 Long-Horizon 套件上（65.0%）超过了 SFT-专用模型（63.3%），证明跨具身数据在 PTR 过滤下确实能提供有用的覆盖。消融实验表明，权重裁剪是最关键的组件（移除后 RoboCasa 下降 6.5 个百分点），其次是 EMA 目标编码器（-5.4 个百分点）和自适应控制器（-3.7 个百分点）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO (标准评估) | 平均成功率 % | 97.8 | 98.3 (SFT) | -0.5（保持天花板） |
| RoboCasa (标准评估) | 平均成功率 % | 55.6 | 54.2 (SFT) | +1.4 |
| LIBERO (组合腐败) | 平均成功率 % | 91.0 | 85.4 (SFT) | +5.6 |
| RoboCasa (组合腐败) | 平均成功率 % | 45.8 | 36.4 (SFT) | +9.4 |
| 真实机器人-专用模型 | 平均成功率 % | 67.1 | 60.8 (SFT) | +6.3 |
| 真实机器人-通用模型 | 平均成功率 % | 63.8 | 50.0 (SFT) | +13.8 |
| Bimanual (专用) | 成功率 % | 66.7 | 55.0 (SFT) | +11.7 |
| Robust (专用) | 成功率 % | 61.7 | 50.0 (SFT) | +11.7 |
局限与改进
论文明确指出了三个局限性。第一，PTR 依赖后动作观察的可用性：没有可用未来观察的数据块会退回到均匀权重（$w_t=1$），纯实时流式场景不在方法适用范围内。第二，识别信号的质量取决于预训练表示的质量：如果骨干网络预训练不充分，评分器的区分能力受限，PTR 会退化到接近均匀加权。第三，PTR 是一种数据管理机制而非策略优化算法，它改善了有效训练分布但不直接优化任务成功。从独立观察的角度，PTR 的理论保证（如 KL 上界 $\leq \log 16 \approx 2.77$ nats）是在温和正则性条件下成立的，实际中候选池的构建方式（batch 内 + 跨 GPU + FIFO 队列）是对理论无限候选池极限的近似，当 batch size 较小或数据源较少时近似质量可能下降。此外，自适应控制器的阈值（如识别准确率 $<0.05$ 和 $>0.35$ 的判断边界）是固定的经验值，在不同任务分布上可能需要调整。
独立分析的弱点
基于独立分析，PTR 存在以下可改进的弱点。首先，后动作观察的编码依赖于预训练视觉编码器的第 12 层特征，这引入了一个隐含假设：该层特征对动作后果具有足够的区分度。在视觉变化细微的任务中（如精细力控操作），视觉特征可能不足以区分「好」和「次优」的动作后果，建议探索结合本体感觉反馈或多模态（触觉、力矩）信号来增强后果的可区分性。其次，候选池中的不匹配目标主要来自 batch 内和 FIFO 队列，这意味着负例的质量和多样性受限于当前数据分布。对于高度相似的演示（如同一操作员的重复轨迹），负例可能过于简单导致评分器过早饱和，建议引入对抗性负例生成或基于学习的难负例挖掘策略。第三，$\alpha$ 和 $[w_{\min}, w_{\max}]$ 是全局超参数，对所有样本一视同仁。不同任务或不同具身形态可能需要不同的保守程度，建议探索任务条件或具身条件的自适应保守度。第四，BeliefTokenizer 的 4 个代理令牌和 16 个动作通道特征之间的压缩比是固定的，在长时域复杂任务中可能丢失关键历史信息，建议研究动态令牌数量或分层压缩方案。
未来方向
基于 PTR 的成果，未来研究可以从多个方向延伸。作者指出的方法适用范围边界（需要后动作观察、需要良好预训练表示）为后续工作提供了明确的改进空间。一个自然的方向是将 PTR 的识别后验思想扩展到在线交互场景：通过实时采集的后动作后果来动态调整演示数据的权重，实现在线-离线混合训练。另一个方向是将 PTR 与强化学习微调结合——PTR 提供了一个无奖励的「数据质量」信号，可以与 RL 的「策略优化」信号互补，例如用 PTR 分数初始化优势估计或作为 RL 训练的数据过滤器。在跨具身迁移方面，Being-H0.5 的统一动作空间使得 PTR 的选择性迁移成为可能，未来可以探索更细粒度的跨具身知识迁移，如只迁移上肢动作的高层语义而隔离手部精细控制。此外，PTR 的理论框架（密度比回收、KL 散度上界）可以推广到其他需要数据质量评估的场景，如自动驾驶轨迹数据管理或人类视频数据的预训练过滤。
复现评估
从复现可行性来看，PTR 的核心组件相对清晰：BeliefTokenizer、EMA 目标编码器、InfoNCE 评分器和自适应控制器都有明确的数学描述和伪代码（Algorithm 1）。基座模型 Being-H0.5 的权重和架构在论文中引用但需确认是否开源。训练配置详尽：60k 步、batch size 128、余弦学习率调度，超参数在附录 B 中列出。关键的默认超参数已给出：$\tau_{\text{score}} \in [0.03, 0.20]$、$\beta \in [0.5, 3.0]$、$w_{\min}=0.25$、$w_{\max}=4.0$、$\alpha=1$、EMA 衰减 $\mu=0.999$、FIFO 队列 1024 条目。算力方面，实验使用 8 GPU 并行训练（跨 GPU 全局收集目标），每个样本最多 64 个队列负样本，这对中小规模实验室有一定门槛。数据方面，LIBERO 和 RoboCasa 是公开基准，真实机器人数据的获取需要硬件平台。总体而言，算法部分的复现难度中等，但完整复现需要 VLA 基座和真实机器人硬件。
论文图表
