SeedPolicy：通过自演化扩散策略实现机器人操作中的时间视野扩展 SeedPolicy: Horizon Scaling via Self-Evolving Diffusion Policy for Robot Manipulation
提出自演化门控注意力模块 SEGA，将扩散策略的有效时序视野扩展到分钟级长程任务，仅需 33M 参数即可超越 1.2B 参数的 RDT。
前置知识
扩散策略 (Diffusion Policy, DP)
将机器人视觉运动控制建模为以观测为条件的动作序列条件去噪过程，使用 DDPM 在 100 步推理中显式建模专家行为的多模态分布。它是当前模仿学习在精细操作任务上的主流方法，但默认采用固定长度的帧堆叠作为历史表征。
SeedPolicy 直接在 Diffusion Policy 框架内插入 SEGA 模块，必须理解 DP 的输入（堆叠 RGB 帧 + 14-DoF 关节位姿）和输出（未来 N 步动作块）才能看懂作者的接口设计。
动作分块 (Action Chunking)
ACT 等方法提出的策略：每次推理一次性预测未来若干步的动作序列而非单步动作，以抑制抖动并提高轨迹平滑度。SeedPolicy 沿用这一范式，单次输出 14 自由度动作序列作为去噪目标。
动作分块决定了 DP 的输出空间维度，也使 SEGA 的演化潜状态能够一次消费一段窗口的观测，避免逐帧重算。
门控机制 (Gating Mechanism)
通过可学习的门控值选择性地保留或丢弃信息的机制，源于 LSTM/GRU 的遗忘门/输入门设计。在 Transformer 中，GLU/SwiGLU 已成标准组件；近期 Gated Attention 进一步证明对 SDPA 输出做门控可引入非线性、缓解注意力坍塌。
SeedPolicy 的核心创新 Self-Evolving Gate (SEG) 直接把 cross-attention 的 pre-softmax logits 当作相关性信号生成门控 Gt=σ(R)，与现有门控机制的差异正是理解新颖性的关键。
ALOHA 双臂操作平台
一种低成本双臂遥操作机器人，主从结构，主臂记录专家演示，从臂由策略控制执行。本文的 RoboTwin 2.0 与真机实验均使用类 ALOHA 的 14-DoF 双臂系统。
SeedPolicy 的输入（320×240 RGB + 14-DoF 关节位姿）和任务集（堆叠、放置、拾放等）都建立在这一硬件形态上，决定了实验场景的可推广性。
研究动机
现有的扩散策略在模仿学习中是事实标准，但它依赖简单的帧堆叠 (frame stacking) 来编码历史信息。论文作者通过 Fig. 1(a) 揭示了一个反直觉的现象：当逐步增加堆叠的观测帧数（例如把窗口从 2 帧扩到 8 帧、16 帧），平均任务成功率不升反降，在 RoboTwin 2.0 的 50 个任务上出现明显的性能塌陷。Diffusion Policy 原作者只在附录里提及这一现象，没有解释根因。在作者看来，这一现象本质上是把观测当作越来越大的图像帧包来处理，无法显式建模跨时间步的复杂时序依赖，背景扰动、遮挡、视觉重复状态会随着帧数增加被一并灌进策略，造成历史表征的污染。此外，长视野的 self-attention 又是 O(T²) 复杂度，简单地拉长窗口无法同时保证效果和效率。
本文的目标是论文的核心目标是为扩散策略打造一个高效的长程时序建模模块，既要突破「观测窗口越堆越差」的瓶颈，让策略的有效时序视野 (effective temporal receptive field) 可以持续扩展；又要避免长视野注意力带来的二次方计算开销。最终把 SeedPolicy 训练成在 RoboTwin 2.0、 RMBench、MimicGen 和 Dexmal DOS-W1 真机上同时刷新 SOTA 的通用模仿学习方法。
与已有工作不同的是，已有方法大致有三条路：(i) 纯帧堆叠 (DP/DP3)，简单但视野受限；(ii) 在堆叠特征上加时序 self-attention（论文探索的中间方案），能抓到长程依赖但随视野变大出现二次方成本与边际收益递减；(iii) ARMT/MemoryVLA 这类显式记忆机制，单独看有效但与 Diffusion Policy 的去噪动作专家耦合不够紧凑。作者的切入角度是设计一个紧凑、可在线更新的演化潜状态 (evolving latent state) 配上基于 cross-attention 自身 logits 的自适应门控，使 SEGA 在每步只固定消费 3 帧观测，却能在潜状态里持续累积语义信息并过滤噪声，从而以近线性成本和约 33M 参数规模同时获得长视野与抗噪能力。
核心方法
SeedPolicy 沿用 Diffusion Policy 的整体框架，只在 ResNet 编码器和 Action Expert (Transformer-based DDPM) 之间塞入一个自演化门控注意力模块 SEGA。直觉上，可以把 SEGA 想象成一个边走边记的「事件记忆本」：机器人在 t 时刻看到 RGB + 关节位姿 (It, Pt)，ResNet 把它编码成 Ot；同时 SEGA 维护一个时间维度为 Ns=60、特征维度 D=256 的潜状态 St-1，里面已经压缩了过去若干步的有效上下文。SEGA 用 Ot 去更新 St-1 得到新的 St，又用更新后的 (St-1 仍参与检索) 上下文反向增强 Ot 得到 EObst，最后把这个富含历史信息的增强观测喂给 Diffusion Action Expert 去噪出 14-DoF 的动作块。整个流程每步的观察窗口仍固定为 Tobs=3，但 SEGA 让有效时序视野随着 St 的递归持续增长。
SEGA 的核心是与现有方法本质不同的两点设计：(1) 用 cross-attention 自身产生的 pre-softmax logits 做相关性信号并生成门控 Gt=σ(R)，其中 R 是对所有层、注意力头、查询位置 logits 求平均得到的全局相关度；这种门控从注意力机制内部生长出来，比可学习 FFN gate 更能反映「哪些 token 是关键事件」。(2) 采用并行的双流结构 (dual-stream)：上支流 State Update 用历史 St-1 做 Query 去抽取 Ot 中的新信息生成中间态 Inter·St，再经 SEG 与 St-1 门控融合得到 St；下支流 State Retrieval 用 Ot 做 Query 反过来检索 St-1 中相关的历史线索，输出增强观测 EObst。这种「先更新再检索」的对偶设计让历史既被压缩、又能在每步被显式反查，避免了 ARMT/MemoryVLA 等方法的单一链式更新或外部记忆库检索与 DP 动作专家脱节的问题。
方法步骤详情
前向计算按以下顺序执行（公式见 Eq. 1–11）。第一步是观测编码：Ot = Encoder(It, Pt)，其中 It 是 320×240 RGB，Pt 是 14-DoF 关节位姿，编码器为 ResNet，Ot∈R^{No×D}，No 是观测特征向量数，D=256。第二步是自注意力预编码：对当前观测与历史状态分别做一次 Multi-Head Self-Attention + 残差，得到 S'_{t-1} 和 O'_t（公式 5、6），让两者先各自提炼内部上下文。第三步是交叉注意力抽取新信息（State Update 主路径）：把 S'_{t-1} 当 Query、O'_t 当 Key/Value 做 cross-attention，得到中间潜状态 Inter·St 以及所有层/头的 pre-softmax logits A^{(l,h)}（公式 7）。第四步是 SEG 门控生成：先沿 L·H·No 三个维度对 A 求平均得到全局相关度 R（公式 9），再过 sigmoid 得到逐位置的更新门 Gt=σ(R)∈R^{Ns×1}（公式 8），然后执行门控融合 St = Gt ⊙ Inter·St + (1−Gt) ⊙ St-1（公式 10），只让语义相关的新观测进入潜状态。第五步是反向检索（State Retrieval 副路径）：把 O'_t 当 Query、S'_{t-1} 当 Key/Value 做 cross-attention，得到 EObst（公式 11），这一步允许当前观测去主动寻找历史里被遗忘的关键线索。第六步是动作生成：把 EObst 送入基于 Transformer-DDPM 的 Action Expert，按 Diffusion Policy 的标准流程在 100 个推理步上去噪出 14-DoF 动作块 At。训练时潜状态 St 在 mini-batch 内用 episode reset 指示器重置为可学习的初值 S0（零均值高斯，σ=0.02，固定随机种子），每个 episode 开始从 S0 出发递归更新。
技术新颖性
技术新颖性集中在三方面。第一，与 ARMT/MemoryVLA 把记忆模块当作外挂的「检索-更新」链不同，SEGA 把状态演化与观测增强解耦为两条并行 cross-attention 流，每步同时更新状态和增强当前观测，使历史信息在同一步内被消费，避免 DP 动作专家等待记忆检索的延迟。第二，门控信号不来自额外的可学习 FFN，而是从 cross-attention 自身的 logits 中提取，论文通过 Table 4 证明这种「内生」门控在 Place Empty Cup 上比 FFN gate 高出 11 个百分点（32% vs 21%），在 Stack Bowls Two 上高出 3 个百分点（73% vs 70%），印证了 attention logits 是比纯参数门控更可靠的相关性指示器。第三，整个模块在推理时是 O(Ns·No) 的近线性复杂度（因为上一时刻的 St-1 已缓存），相比把 SEGA 替换成对所有堆叠帧做全局 attention 的方案，二次方成本被彻底规避，这是论文 Fig. 1(b) 能让性能随 Ns 持续增长而开销温和的关键。
实验结果
在 RoboTwin 2.0 的 50 个任务上，使用相同 50 条专家演示、600 epoch 训练、每个任务 100 次 rollout 的统一协议，SeedPolicy 取得了全面提升。Table 1 显示，Easy (clean) 设置下 Transformer 骨干把 DP 的 33.10% 推到 40.08%，相对提升 21.10%；CNN 骨干从 28.04% 推到 42.76%，相对提升 52.50%；Hard (clean-trained + randomized-test) 设置下 Transformer 从 1.44% 提到 4.28%（≈197% 相对提升），CNN 从 0.64% 提到 1.54%（≈141% 相对提升）。Table 2 的逐任务结果进一步显示 Transformer 骨干在 45/50 个任务上击败或追平 DP，CNN 骨干在 44/50 个任务上击败或追平 DP。Figure 4 把任务按 episode time 分为短/中/长三组，发现 SEGA 的优势随任务长度扩大：短任务 Transformer 仅 +2.9%、CNN +13.6%；中任务 Transformer +6.4%、CNN +12.9%；长任务 Transformer +16.0%、CNN +21.9%，强有力地支持了「SEGA 主要解决长程依赖」这一假设。统计显著性方面（Table 16），配对符号检验在 Transformer 骨干上得到 38 胜 5 负 7 平、p=2.5×10⁻⁷，CNN 骨干 41 胜 6 负 3 平、p=1.8×10⁻⁷。Table 3 的对比记忆机制实验中，SeedPolicy 在 Stack Bowls Two（73% vs. ARMT-style 60%、MemoryVLA-style 60%）和 Put Bottles Dustbin（48% vs. 26%/32%）上明显领先，验证了 SEGA 的双流设计优于现成记忆方案。Table 4 的消融把 DP → DP+Temporal Attention → DP+Recurrent State (无门控) → DP+SEGA 串联起来，结果在长程任务 Stack Bowls Two 上依次为 33% → 48% → 65% → 73%，证明「先引入显式跨时间交互→再压缩为潜状态→再用 cross-attention 门控精修」每一步都贡献增量。真机部分（Figure 6）显示在 Looping_Place-Retrieval、Sequential_Picking、Bottle_Handover、Food_Replacement、Cover_and_Reveal 五个任务上 SeedPolicy 全部超越 DP，其中 Bottle_Handover 从 16% 跳到 54%。Table 13 的分钟级任务（Swap Blocks / Cover Blocks / Battery Try）上 SeedPolicy 比 DP、ACT、π0.5 都更强，且在 Battery Try 上实现了约 64 秒、≈640 帧的成功 rollout，远超训练时累积的最大 120 帧上下文，证明 SEGA 学到的是可外推的演化规则而非固定 horizon 记忆。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboTwin 2.0 Easy (clean) 平均成功率 | 50 任务平均成功率 | SeedPolicy-Transformer 40.08% / SeedPolicy-CNN 42.76% | DP-Transformer 33.10% / DP-CNN 28.04% | Transformer +7.0pp（21.10% 相对）/ CNN +14.72pp（52.50% 相对） |
| RoboTwin 2.0 Hard (randomized-test) 平均成功率 | 50 任务平均成功率 | SeedPolicy-Transformer 4.28% / SeedPolicy-CNN 1.54% | DP-Transformer 1.44% / DP-CNN 0.64% | Transformer +2.84pp（≈197% 相对）/ CNN +0.90pp（≈141% 相对） |
| RoboTwin 2.0 vs. 1.2B 参数 RDT | Easy 设置平均成功率 vs. 参数量 | SeedPolicy-Transformer 40.08%（33.36M 参数）/ SeedPolicy-CNN 42.76%（147.26M） | RDT 34.50%（1.2B 参数） | 参数减少约 8–36 倍，CNN 骨干绝对成功率反超 RDT 8.26pp |
| RoboTwin 2.0 长程任务组 (Episode time ≥ 10s) | 平均成功率差值（SeedPolicy − DP） | Transformer 领先 16.0pp / CNN 领先 21.9pp | DP 基线 | 随 horizon 增长，SEGA 优势单调扩大 |
| RoboTwin 2.0 + RMBench 分钟级任务 | Swap Blocks / Cover Blocks / Battery Try 成功率 | 26% / 15% / 33% | DP 11/0/9，ACT 2/0/19，π0.5 24/0/16 | 在全部三个 minute-level 任务上同时达到第一 |
| MimicGen 跨基准 (Coffee D2 / Kitchen D1 / Mug Cleanup D1) | 平均成功率（Img / Voxel 两种观测模态） | Coffee D2 80/79，Kitchen D1 83/89，Mug Cleanup D1 76/77 | DP 26/50/23，ACT 33/61/31 | SeedPolicy 在 MuJoCo 单臂 Franka 平台同样大幅领先，证明机制不依赖具体仿真器或机器人形态 |
| 真机 DOS-W1 (5 个长程任务平均) | 50 rollout × 2 trial 平均成功率 | 在全部 5 个任务上显著超过 DP，Bottle_Handover 从 16%→54% | DP 基线 | 由 Figure 6 给出，主要解决执行停滞和空间错位两类失败模式 |
局限与改进
作者在 Section 5 坦诚承认并由 Table 13 印证两点主要局限。其一，SeedPolicy 在 Hard（clean-trained + randomized-test）设置下的绝对成功率仍然偏低，Transformer 骨干只有 4.28%、CNN 仅 1.54%，说明 SEGA 主要贡献是时序建模而非视觉域泛化；视觉域漂移仍要靠 VLA 类模型（如 RDT 在 Hard 上 13.72%）借助预训练视觉编码器去缓解。其二，训练数据规模仍然敏感（Table 12），从 50 demos 提升到 200 demos 才能在长程任务上达到 90% 以上，单条轨迹不到一分钟的演示可能不足以学到完整的状态演化规律。此外消融（Table 6、Table 7）显示 SEGA 的两个关键超参数 Ns=60 与深度 6 之间存在较窄的甜区，Ns=30 或 90、深度 8 都会出现明显退化，这暗示当前结果对初始化与结构选择仍比较挑剔。我的额外观察是：SEGA 把所有任务用同一个潜状态维度 Ns=60 训练，缺少 per-task 自适应机制，对于 episode time 不到 3 秒的极短任务（如 Click Alarmclock，Episode Time=2s），冗余的潜状态可能反而带来轻微负迁移风险，这从 Table 2 中 Click Alarmclock Transformer 上仅 58→61 的微小提升可见一斑。
独立分析的弱点
独立审视论文，我认为有以下几点可改进。第一，潜状态维度 Ns 是全局共享超参（Table 6 显示 30→60→90 的甜区在 60），但任务 horizon 跨度从 2 秒到 20 秒、对应帧数差异巨大。可以为每个任务学习一个连续可微的 horizon token，路由到不同 Ns，或把潜状态做成层级金字塔（短程 / 中程 / 长程三个子状态），从而让 SEGA 自适应任务长度。第二，SEG 门控的全局相关度 R 是对 L·H·No 三维 logits 做简单平均，可能损失了空间分辨率。可改用可学习的加权池化，或对每个 head / layer 分别维护门控信号，让不同注意力头对不同时序事件敏感，增强门控的表达力。第三，论文的失败模式分析（Figure 5、Figure 7）指出 baseline 频繁出现执行停滞 (stagnation) 和空中抓取 (air grab) 两类错误，第二类本质上是单目 RGB 缺乏显式深度信息。SEGA 通过累计历史轨迹隐式推断深度，但当目标被遮挡或快速运动时仍会失效；引入轻量级深度先验（如 monocular depth estimator 的冻结特征，或在潜状态里额外维护一个 2.5D 占据栅格）有望进一步压缩这类失败。第四，跨基准（MimicGen）虽然验证了机制可迁移，但目前只测了 3 个任务，建议补充更多任务以及和 EquiDiff、DP3 等 3D-aware baseline 的直接对比，强化「SEGA 是 temporal-plugging 通用件」的论断。
未来方向
作者明确提出了两条延伸方向：(1) Appendix A.4 的 VLA 兼容性实验显示把 SEGA 嵌入 MemoryVLA 得到的 SeedVLA 在 5 个任务上 4 个第一（Turn Switch 50、Handover Mic 91、Put Object Cabinet 60、Stack Bowls Two 94），下一步可以把 SEGA 接入 RDT、π0.5、OpenVLA 等更大体量的 VLA，进一步验证模块的可插拔性；(2) 把 SEGA 引入 World Action Model (WAM)，借助其递归潜状态补足当前 WAM 在分钟级长程执行上的脆弱性。基于成果还可延伸几条线：(i) 把演化潜状态与 chain-of-thought 规划结合，让 St 不只是「压缩历史」而是「可解释的子目标栈」；(ii) 把 SEGA 的双流结构拓展到多任务 / 多机器人形态共享，用一个共享潜状态池加 task-conditioned routing 实现 zero-shot 任务组合；(iii) 与 offline RL 结合，把潜状态当成 reward shaping 的中间表征，缓解 reward sparse 下的长程信用分配问题。
复现评估
复现评估总体偏正。论文已在 https://anonymous.4open.science/r/SeedPolicy-64F0/ 公开代码（匿名 4open.science 链接，NeurIPS 投稿期）。实现细节极为详尽：Table 8 完整列出 AdamW 优化器（Transformer β=(0.9,0.95)、CNN β=(0.95,0.999)、weight decay 1e-3 vs 1e-6）、batch size 128、lr 1e-4 + cosine + 500 步 warmup、600 epoch、EMA 0.75 等设置；扩散过程使用 DDPM、100 个训练/推理时间步、Squared Cosine Cap v2 schedule、β∈[1e-4, 0.02]、ϵ 预测；输入分辨率 320×240 RGB + 14-DoF 关节位姿、窗口 Tobs=3、潜状态 Ns=60、D=256、深度 6。硬件门槛很低：全部仿真实验用单卡 NVIDIA RTX 4090D，真机平台为 Dexmal DOS-W1（双 7-DoF 臂 + 1-DoF 夹爪 + 差速底盘 + 升降柱，附 Table 9 详细规格），且论文公开了 Zarr + Blosc-Zstd 的数据管线。数据方面，仿真用的是 RoboTwin 2.0、RMBench、MimicGen 等公开基准（50 demos / 任务）；真机演示是自采 50 条/任务。复现难度估计：仿真部分对熟悉 Diffusion Policy 的研究者来说 1–2 天可跑通；真机部分则依赖 Dexmal DOS-W1 硬件，一般实验室难以直接复现，但作者用 Figure 12–14 的开环轨迹重建（>1000 步精确跟踪）已经提供了不需要真机的强证据。可能的隐性陷阱：Ns 与 depth 同时被优化时容易落入 Table 6/Table 7 中 Ns=90 或 depth=8 的退化区，需要严格按默认 Ns=60、depth=6 配置。
论文图表
两条横向对比曲线，左侧 (a) 横轴是堆叠观测帧数（Tobs=2 到 16），纵轴是 50 任务平均成功率。DP 基线曲线先升后降，在 Tobs 较大时性能显著塌陷；加入 temporal attention 的曲线起点更高但仍随 horizon 增大趋于饱和。右侧 (b) 横轴是潜状态上下文长度，纵轴仍是成功率，SeedPolicy 的曲线随 Ns 增大单调上升并最终稳定，明显逆转 (a) 的下行趋势。
整篇论文的核心动机图，把「帧堆叠越多反而越差」这一反直觉现象可视化，并给出 SEGA 能逆转趋势的初步证据，是读者第一眼必须看到的对比。