← 返回 2026-09-21

无需显式轨迹的3D扩散策略前瞻学习 Learning Foresight without Explicit Trajectories for 3D Diffusion Policies

Zhongbo Zhang, Zaibin Zhang, Yifan Wang, Changbo Yan, Lijun Wang, Huchuan Lu 📅 2026-09-17 👍 8 2026-11-02 18:30
3D扩散策略 机器人操作 模仿学习 运动趋势引导 隐变量表征学习

用未来夹爪状态监督出的紧凑趋势隐变量,为3D扩散策略提供软性前瞻而不做显式轨迹规划。

前置知识

扩散策略(Diffusion Policy)

把机器人动作生成建模为条件去噪扩散过程:训练时对真实动作块 $A_t$ 逐步加噪得到 $x_\tau$,网络 $D_\theta$ 学习在观测条件下预测干净动作,损失通常为 $\mathcal{L}=\mathbb{E}\|D_\theta(x_\tau,\tau,c)-A_t\|_2^2$;推理时从高斯噪声出发经若干步(如10步DDIM)迭代去噪,输出一段连贯动作序列。它能天然表达多峰动作分布,是当前操作学习的主流骨干之一。

本文的全部改动都作用在扩散动作生成骨干上:趋势隐变量作为去噪条件、门控FiLM作用于去噪UNet瓶颈,理解扩散策略才能看懂'最小干预'到底改在哪里。

DP3 与 3D 点云观测

DP3 用点云代替RGB图像作为视觉观测:先用PointNet式编码器把稀疏3D点压缩成特征向量,再与机器人状态拼接,作为扩散UNet的全局条件。点云显式暴露场景几何与空间关系,对视角变化更鲁棒,样本效率高,便于从仿真迁移到真机。

本文自称'3D扩散策略'方法,输入表示、未来目标定义(任务空间笛卡尔坐标)、四大基准评测协议全部沿用DP3的点云设定,是与DP3*严格对照的前提。

Receding Horizon 与动作分块执行

策略每次接收最近 $N$ 帧观测,预测覆盖 $H$ 步的动作块,但只执行其中前 $n_a$ 步,然后重新观测、重新规划。本文沿用DP3设定 $N=3$、$H=8$、$n_a=6$,即从动作块索引 $N-1$ 处开始执行6步。这种滚动执行让策略能根据最新观测持续修正。

趋势隐变量在每个重规划周期被重新计算并刷新,理解这个执行循环才能明白'每周期更新的软条件'如何与稠密动作预测配合工作。

FiLM 与门控特征调制

FiLM(Feature-wise Linear Modulation)用条件向量预测逐通道缩放 $\alpha$ 和偏置 $\beta$,对中间特征做 $\tilde{x}=(1+\alpha)\odot x+\beta$ 的仿射调制。本文进一步加门:$\gamma=\sigma(W_\gamma c+b_\gamma)$,输出 $y=x+\gamma\odot(\tilde{x}-x)$;缩放/偏置投影零初始化、门偏置为负,保证分支初始为严格恒等映射,随训练才逐渐生效。

门控FiLM是本文把趋势信息直接注入去噪骨干的唯一附加通路,'仅限瓶颈+门控恒等初始化'这一保守注入设计是消融中性能最优的关键架构选择。

辅助监督与表征塑形

在主任务损失之外增加辅助损失(本文为未来夹爪状态的MSE)来训练某个中间隐变量,迫使它编码与未来相关的信息;推理时丢弃辅助解码器,只保留隐变量作为条件。这与'把预测未来当作中间控制目标'根本不同——前者只塑造表征内容,后者约束可执行动作。

这是全文的核心思想:'用未来教模型表征什么,而不是执行什么'。消融显示未来监督在LIBERO-40上贡献了+27.06个百分点,是本文增益的主要来源。

研究动机

3D扩散策略(如DP3)把几何观测直接映射为稠密动作序列,擅长回答'当前什么动作可行',但成功操作还依赖对'交互正朝哪发展'的预判:抓取前要知道下一步接触哪里,双手传递要协调两臂的接近—抓取—转移—释放,堆叠要提前知道目标高度与顺序。标准扩散策略并不区分这两种角色,局部控制与长程交互结构都要从同一个动作学习目标里隐式恢复。已有的直接办法是让模型预测航点、关键帧或完整轨迹,但这要求预测器给出比控制器实际需要更多的信息:轨迹规定了机器人'该去哪',而动作生成可能只需要'交互如何演化'的粗粒度提示;更糟的是,一旦把预测未来转成中间控制目标,预测误差就会约束后续行为,即使新观测表明应该修正动作也难以摆脱。数据上问题很直观:DP3在RoboTwin2.0五十任务混合训练中只有56.1%成功率,LIBERO-40点云评测仅37.08%,其中LIBERO-Goal套件低至8.73%,多阶段长程任务的失败尤其集中。

本文的目标是本文目标是让3D扩散策略在完全保留原有稠密动作预测与receding-horizon执行框架的前提下,获得'前瞻'能力而不引入任何显式规划目标。具体做法:从 $N=3$ 帧点云加机器人状态的历史中,学习一个256维的紧凑'运动趋势'隐变量 $z_t$;训练时用稀疏的未来夹爪状态(偏移 $\Delta=5,10,15,20$ 帧,每目标仅含末端xyz位置加1个夹爪开合标量,共 $4\times2\times4=32$ 个标量)作为辅助监督去塑造这个隐变量;推理时解码出的未来坐标全部丢弃,只保留隐变量本身作为面向未来的条件。注入方式坚持最小干预:隐变量走DP3原有的标准全局条件通路,仅额外增加一个限定在扩散UNet瓶颈层的门控FiLM分支,参数只增加3.52%(9.23M),推理延迟只增加1.23%(50.28ms到50.90ms)。

与已有工作不同的是,本文的独特切入是把'前瞻'从规划问题重新表述为表征塑形问题,并与三类已有方案明确划界。其一,显式中间结构方法(HDP利用接触结构、DTP生成任务相关2D轨迹)把未来变成被跟踪的目标,误差会传导且限制修正;本文的未来状态只在训练期作为监督信号存在。其二,未来视觉表征方法(FLARE把策略特征与未来观测隐变量对齐、ForeDiffusion预测并注入未来视角表征)建模的是'未来会看到什么';本文直接在3D任务空间用稀疏夹爪状态监督,建模'交互将如何演化',信息更贴近操作本体且维度极小。其三,与这些方法重模块、重耦合的设计相反,本文坚持保守注入——趋势隐变量经由标准全局条件通路进入网络,唯一的直接调制(门控FiLM)被刻意限制在压缩的UNet瓶颈处,使高层趋势塑造全局动作结构、而不干扰观测驱动的局部去噪。

核心方法

直觉上,与其指望策略从动作损失里隐式'悟出'交互走向,不如在训练时直接用未来夹爪位置告诉趋势编码器该压缩什么信息——但又不像轨迹预测方法那样把这个未来变成执行时必须到达的目标。技术路线分四步:第一,轻量趋势编码器 $F_\phi$ 把 $N=3$ 帧的(点云,机器人状态)历史映射为 $z_t=F_\phi(O_t)\in\mathbb{R}^{256}$,$z_t$ 取自辅助输出头之前的隐藏层;第二,辅助解码器 $G_\omega$ 把 $z_t$ 解码为 $K=4$ 个未来夹爪目标 $\hat{P}_t\in\mathbb{R}^{K\times2\times4}$(4个偏移×左右两个夹爪槽位×4维),用MSE监督后,解码结果在推理时丢弃;第三,$z_t$ 经小MLP投影为 $u_t$,与每帧点云特征、状态特征融合并拼接成全局扩散条件 $c_t=[h_{t-N+1};\ldots;h_t]$,送入DP3式扩散UNet去噪 $H=8$ 的动作块;第四,在UNet瓶颈处附加门控FiLM分支。全部模块以单一端到端目标 $\mathcal{L}=\mathcal{L}_{diff}+\lambda_{future}\mathcal{L}_{future}$($\lambda_{future}=1.0$)联合优化,不引入独立规划模块。

核心创新是'前瞻即表征塑形':把未来信息的作用从中间控制目标降级为训练期监督信号,隐变量 $z_t$ 是辅助头之前的隐藏层,训练结束后解码出的未来坐标被完全丢弃,推理只保留 $z_t$。它与已有方法的本质区别有三层。第一,相比航点/轨迹预测(DTP等),不产生预测误差向执行的传导,也没有硬跟踪约束,策略始终可以依据最新点云观测自由修正局部动作——这正是'保留DP3稠密动作与滚动执行形式'的含义。第二,相比未来视觉表征(FLARE/ForeDiffusion),本文在3D任务空间用稀疏夹爪状态监督,只需32个标量的训练信号就能显著塑形表征,而把同样的未来点直接嵌入条件反而低6.65个百分点(LIBERO-40上65.28%对71.93%),说明'用未来塑形表征'优于'把未来作为条件'。第三,注入架构上的洞见:消融证明瓶颈限定门控FiLM(62.8%)显著优于全块FiLM(55.8%)和交叉注意力(52.9%,甚至低于DP3*基线56.1%),高层趋势应当塑造全局动作结构而不应主导局部去噪行为。

方法步骤详情

完整流程如下。(1)输入归一化:点云坐标与机器人状态按训练数据估计的逐维限幅缩放到 $[-1,1]$,该归一化独立于未来目标处理。(2)趋势编码:每帧 $e_i=E_{trend}(P_i,q_i)$,时间拼接后通过两层隐宽256的MLP得到 $z_t=F_\phi([e_{t-N+1};\ldots;e_t],[q_{t-N+1};\ldots;q_t])$。(3)辅助监督:解码器输出偏移 $\Delta=\{5,10,15,20\}$ 帧的夹爪目标,每目标为左右夹爪槽位的4维量(末端位置xyz加1个夹爪开合标量),损失 $\mathcal{L}_{future}=\frac{1}{8K}\sum_{k=1}^{K}\sum_{g}\|\hat{p}^{(g)}_{t+\delta_k}-p^{(g)}_{t+\delta_k}\|_2^2$;超出演示长度的偏移截断到末帧,目标直接用各基准自带的笛卡尔坐标系,不做额外归一化。(4)条件融合:$u_t=\psi(z_t)$ 与每帧点云/状态特征融合 $h_i=F_{fuse}([f^P_i;f^q_i;u_t])$,拼接为全局条件 $c_t$;RoboTwin2.0实验中对比双方共用同一64维学习式任务嵌入以保证公平。(5)动作扩散:前向 $x_\tau=\sqrt{\bar{\alpha}_\tau}A_t+\sqrt{1-\bar{\alpha}_\tau}\epsilon$,样本预测损失 $\mathcal{L}_{diff}=\mathbb{E}\|D_\theta(x_\tau,\tau,c_t)-A_t\|_2^2$。(6)门控FiLM:$\alpha=W_\alpha c$,$\beta=W_\beta c$,$\gamma=\sigma(W_\gamma c+b_\gamma)$,$\tilde{x}=(1+\alpha)\odot x+\beta$,$y=x+\gamma\odot(\tilde{x}-x)$;投影零初始化加负门偏置,仅置于UNet瓶颈,下采样与上采样块只走普通条件通路。(7)推理:batch为1、10步DDIM去噪,执行 $\hat{A}_t$ 中从索引 $N-1$ 起的6步动作,重新观测后重算 $z_t$ 再规划;$z_t$ 每个滚动周期刷新,且永不直接转成指令或跟踪路径。

技术新颖性

技术新颖性体现在四点。(1)问题形式化新:首次把'前瞻'明确表述为对紧凑趋势隐变量的表征学习问题而非规划问题,并用参数匹配消融严格证明增益来自未来监督而非额外容量——LIBERO-40上保留同样隐变量架构但去掉未来损失的变体只有44.87%(仅比DP3高7.79点),加上未来监督后跳到71.93%(再+27.06点)。(2)监督信号极简:4个偏移×2夹爪×4维共32个标量即可显著塑形256维隐变量,且同样信息若在推理时直接作为条件嵌入反而有害,揭示了'塑形优于条件化'这一可迁移的设计原则。(3)注入架构有系统洞见:门控FiLM的零初始化+负偏置设计保证训练起点严格等价于原DP3,消融对比瓶颈限定/全块/交叉注意力三种注入给出'保守注入'结论,为后续条件注入类工作提供了明确的设计指南。(4)跨骨干初步验证:趋势条件同样把transformer基线ACT在六任务验证上从24.00%提升到51.67%,暗示该方法不绑定扩散UNet这一特定骨干。整个方法只增加9.23M参数(+3.52%)和0.62ms延迟(+1.23%),工程代价极低。

Overview of Movement Trend Guidance. The sparse-point symbols denote the Cartesian components of future gripper targets; each target also contains the corresponding gripper state defined in Eq. (16). During training, the auxiliary decoder shapes the latent representation, while its outputs are discarded at inference and never supplied to the action policy. The latent enters the standard global-conditioning pathway, with an additional gated FiLM branch applied only at the UNet bottleneck.
Fig. 2: Overview of Movement Trend Guidance. The sparse-point symbols denote the Cartesian components of future gripper targets; each target also contains the corresponding gripper state defined in Eq. (16). During training, the auxiliary decoder shapes the latent representation, while its outputs are discarded at inference and never supplied to the action policy. The latent enters the standard global-conditioning pathway, with an additional gated FiLM branch applied only at the UNet bottleneck.

实验结果

逐一分析核心实验。(1)RoboTwin2.0五十任务混合训练:Ours*达62.8%,比同任务嵌入的DP3*(56.1%)高6.7点,在38/50个任务上提升;官方单任务设定下Ours为61.7%对DP3的55.2%,并大幅领先RDT(34.5%)、π0(46.4%)、ACT(29.7%)、DP(28.0%);最大单任务增益为rotate_QRcode +37、place_shoe +26、move_pillbottle_pad +22、move_playingcard_away +21;类别层面多物体堆叠+10.5、双手传递+8.5、单臂操作+7.9、铰接交互+7.6、抓取搬运+7.3、精确定位+5.5、工具使用+2.6。(2)LIBERO-40点云评测:epoch-1000整体71.93%±0.49%对DP3的37.08%±1.21%(+34.85点),其中LIBERO-Goal从8.73%跃升至77.53%(+68.80),Spatial +31.80、Object +26.00、LIBERO-10 +12.80;训练曲线上Ours在epoch 300即达69.55%,超过DP3的最终水平,且三个rollout种子上的标准差很窄,说明优势稳定而非偶然。(3)DexArt四任务:平均59.25%对DP3的52.0%(+7.25),为全部对比方法最高(VITA 55.3%、FreqPolicy 54.3%)。(4)SO101真机五任务:72.0%对DP3的49.0%(+23点),SimpleDP3为43.0%、DP为33.0%。(5)关键消融:参数匹配但无未来损失的隐变量44.87%、显式未来点条件化65.28%;去掉门控FiLM降至57.1%、换扩散趋势预测器57.3%、去掉输入归一化58.6%;所有非默认偏移配置(7偏移56.6%、短程55.4%、长程57.4%、2偏移55.8%、单近54.9%、单远55.2%)均低于默认$\{5,10,15,20\}$的62.8%;全块FiLM 55.8%、交叉注意力52.9%。(6)按DP3*基线成功率分桶:<30%的11个任务平均+6.1点(10个任务提升)、30–40%桶+12.0点、40–80%的21个任务+9.8点、>80%的13个任务平均变化0.0点(天花板效应),说明该方法在基线'有合理动作先验但缺未来几何线索'时互补价值最大。

LIBERO-40 point-cloud evaluation. Overall success rate for checkpoints saved every 100 epochs from epoch 100 to 1000.
Fig. 3: LIBERO-40 point-cloud evaluation. Overall success rate for checkpoints saved every 100 epochs from epoch 100 to 1000.
Ablation dimensions under the 50-task mixed-training setting. We vary guidance construction, future-target offsets, and the scope of bottleneck-gated injection; every point is obtained from a shared policy trained jointly on all 50 RoboTwin2.0 tasks. The observation-history length remains fixed.
Fig. 4: Ablation dimensions under the 50-task mixed-training setting. We vary guidance construction, future-target offsets, and the scope of bottleneck-gated injection; every point is obtained from a shared policy trained jointly on all 50 RoboTwin2.0 tasks. The observation-history length remains fixed.
Real-robot experimental setup with the SO101 dual-arm platform and Intel RealSense RGB-D cameras. Stereo depth is deprojected with camera intrinsics and transformed with calibrated camera-to-robot extrinsics to obtain the policy point cloud.
Fig. 5: Real-robot experimental setup with the SO101 dual-arm platform and Intel RealSense RGB-D cameras. Stereo depth is deprojected with camera intrinsics and transformed with calibrated camera-to-robot extrinsics to obtain the policy point cloud.
查看结构化数据
任务指标本文基线提升
RoboTwin2.0 五十任务混合训练(50演示/任务,100次评测/任务) 成功率 (%) 62.8 (Ours*) DP3* 56.1 +6.7(38/50任务提升)
RoboTwin2.0 官方单任务设定 成功率 (%) 61.7 DP3 55.2 +6.5(并领先 RDT 34.5、π0 46.4)
LIBERO-40 点云评测(epoch 1000,6000次评测) 成功率 (%) 71.93 ± 0.49 DP3 37.08 ± 1.21 +34.85(LIBERO-Goal 套件 +68.80)
DexArt 四任务(铰接物体灵巧操作) 成功率 (%) 59.25 DP3 52.0 +7.25(对比方法中最高)
SO101 真机五任务(推方块/叠碗/叠方块/提篮/递瓶) 成功率 (%) 72.0 DP3 49.0 +23.0
RoboTwin2.0 六任务 ACT 架构迁移验证 成功率 (%) 51.67 (ACT + Trend) ACT 24.00 +27.67

局限与改进

作者承认的局限:失败分析发现机械臂会遮挡大部分被操作物体,导致点云不完整,缺失的几何同时损害基线与趋势估计,在需要精确接触、抓取对准或放置的任务中最明显——这些任务上改进确实有限(如place_dual_shoes仅16%、place_mouse_pad 5%、stack_blocks_three 3%);工具使用(+2.6)与精确定位(+5.5)类别增益小,因为成功强依赖细粒度局部几何;基线>80%的13个任务平均变化为0,接近天花板。我自己的观察:其一,DexArt报告'最佳5个checkpoint平均'而LIBERO固定epoch-1000评测,聚合口径不一致且该协议可能带来有利偏差;其二,趋势隐变量 $u_t$ 在所有 $N=3$ 帧间共享、每周期整体刷新,时间分辨率粗糙,无法表达帧级演化的趋势变化;其三,监督目标只有末端夹爪位姿,不含物体运动或接触事件,对工具使用、颜色/尺寸排序等物体中心任务信息量有限(blocks_Ranking_RGB仅5%);其四,交叉注意力注入反而低于基线(52.9%对56.1%),说明结论对注入架构敏感,迁移到新骨干需重新搜索注入点;其五,真机验证仅5个任务、单一SO101平台,且只用点云未利用RGB纹理信息。

独立分析的弱点

独立分析的弱点及改进方向。(1)遮挡脆弱性:趋势从局部观测估计,机械臂遮挡被操作物体时隐变量质量下降,而恰恰是遮挡严重的精确接触任务最需要前瞻;改进方向为多视角点云融合、学习式点云补全,或给趋势分支加置信度门控,在不确定时自动降权。(2)固定偏移超参:默认 $\{5,10,15,20\}$ 是经验选择,长短程配置均掉点(短程55.4%、单近54.9%对62.8%),且不同任务的最优前瞻距离天然不同;改进方向为可学习偏移或按任务自适应的多尺度偏移采样。(3)监督信号单一:仅夹爪末端位姿,无物体级未来信息;改进方向为辅以物体关键点轨迹或接触图监督,专门帮助工具使用与精确定位。(4)时间聚合粗糙:$u_t$ 对所有观测帧共享,丢失趋势的帧内动态;改进方向为每帧或每偏移独立隐变量加时间注意力融合。(5)架构敏感性:交叉注意力注入失败说明'隐变量与局部去噪耦合过强有害'的边界尚不清楚;改进方向为研究门控强度随去噪步数的调度或分层注入策略。(6)评测口径:DexArt最佳checkpoint平均可能高估性能,建议统一固定checkpoint协议复核。

未来方向

作者提出的方向:在更多样的物体、场景与扰动设置下验证真机迁移是重要后续工作。基于本文成果可延伸的方向:(1)与VLA基础模型结合——把运动趋势隐变量作为即插即用的前瞻条件注入π0、RDT类大规模模型,其+3.52%参数的轻量性特别适合这种场景;(2)与世界模型结合——趋势隐变量本身可视为压缩的短期前瞻想象,可用于离线策略评估或安全探索;(3)自适应前瞻——按任务阶段动态调整监督偏移或隐变量有效维度;(4)扩展到灵巧手与高自由度系统,监督目标从夹爪状态推广到关节级或物体级运动趋势;(5)多模态未来监督(物体运动、接触事件、力信号)以突破精确定位与工具使用类任务的瓶颈;(6)理论层面解释'表征塑形优于显式条件化'的现象,可能与信息瓶颈或多任务学习中的梯度冲突有关;(7)在强域随机化设置下检验趋势隐变量的跨域不变性,评估其能否成为可复用的通用表征。

复现评估

复现条件总体较好。代码已开源(github.com/zhangzhongbo2213/movement-trend-guidance);仿真数据全部由各基准模拟器生成,无需自采:RoboTwin2.0每任务50条演示、每任务100次评测,LIBERO-40每任务50条演示(stride-4时间子采样),DexArt每任务100条演示;真机使用开源SO101双臂平台加Intel RealSense RGB-D相机,立体深度经标定内参反投影、外参变换到机器人坐标系,LeRobot遥操作每任务采50条演示、每任务20次评测。算力方面为单张RTX 4090(推理batch为1、10步DDIM),优化器AdamW、学习率 $1.0\times10^{-4}$,RoboTwin与DexArt训练3000 epochs、LIBERO训练1000 epochs。模型仅比DP3多9.23M参数(+3.52%),推理延迟50.28ms到50.90ms(+1.23%),训练开销与DP3基本相当。主要难点:LIBERO评测量大(每个checkpoint需6000次评测、评测10个checkpoint);需严格复现各基准官方协议与真机点云标定流程;部分设计(偏移集合、负门偏置、仅瓶颈注入)的敏感性未完整给出选择指引。总体复现难度中等偏低,适合作为跟进研究的基线。

相似论文推荐