← 返回 2026-05-20

零样本仿真到真机的机器人学习：基于反应式抓球任务的灵巧操作研究 Zero-Shot Sim-to-Real Robot Learning: A Dexterous Manipulation Study on Reactive Catching

Kejia Ren, Gaotian Wang, Andrew S. Morgan, Kaiyu Hang 📅 2026-05-10 👍 6 2026-07-13 08:36
dexterous-manipulation domain-randomization reinforcement-learning robot-catching sim-to-real
arXiv HuggingFace PDF

提出DRIS多实例域随机化方法，在无被动稳定的平板接球任务上实现零样本仿真到真机迁移。

前置知识

Sim-to-Real Transfer

指将在仿真器中训练得到的机器人策略直接部署到真实硬件上的过程。由于仿真器的物理参数（摩擦、刚度、惯性等）与真实世界存在差异，直接迁移策略往往会失败，因此需要借助域随机化等方法弥合这一差距。

本文的核心目标就是零样本sim-to-real transfer（即完全不需要真机数据微调），所有贡献都围绕如何减少仿真到真机的差距展开。

Domain Randomization (DR)

一种在训练时对仿真器物理参数（如物体质量、摩擦系数、几何尺寸）进行随机采样以增加策略鲁棒性的技术。传统DR每回合只采样一组参数，policy看到的只是一个状态轨迹，无法显式建模参数分布的演化。

DRIS是对传统DR的根本性改进，理解DR的局限性（每回合单实例、无法建模分布演化）是理解DRIS贡献的前提。

Reactive Catching

机器人需要在毫秒级时间尺度内对飞来的物体做出反应并稳定接住的任务，要求高速感知、预测与运动控制。本文特别使用平板（flat plate）作为末端执行器，缺乏杯状或凹面工具的被动稳定作用，对控制精度要求极高。

反应式抓球是本文选定的最具挑战性的演示任务，平板接球的设置使得sim-to-real差距成为决定成败的关键。

Markov Decision Process (MDP)

强化学习的标准数学框架：状态 $s_t$、动作 $a_t$、状态转移 $s_{t+1}=f(s_t, a_t, c)$、奖励 $r_t$。本文将DRIS扩展为在同一动作下并行传播多组状态-参数对，形成集合形式的MDP。

理解MDP是理解DRIS如何将单个状态扩展为状态集 $D_t=\{s_t^{(i)}, c^{(i)}\}_{i=1}^N$ 的基础。

PPO (Proximal Policy Optimization)

一种on-policy的策略梯度强化学习算法，通过裁剪目标函数中的概率比来限制策略更新步长，保证训练稳定性。本文使用PPO在冻结的DRIS编码器基础上训练FiLM条件化的策略网络。

PPO是本文策略学习的实际算法选择，理解其工作原理有助于把握整个训练流程。

FiLM (Feature-wise Linear Modulation)

一种神经网络条件化机制，通过外部条件信号（如本任务中的平板倾角 $u_t$）生成缩放和偏置系数，对特征图做逐元素的仿射变换 $z̃_t = \lambda(u_t) \odot z_t + \mu(u_t)$。

本文使用FiLM将平板倾角作为条件信号注入策略网络，捕捉接触物理中倾角对球面重力分量的影响。

Point Cloud Autoencoder (PointNet AE)

基于PointNet的点云自编码器，使用1D卷积+最大池化提取置换不变特征，可解码回原始点集；本文将输入维度从3D扩展到6D以同时编码位置和速度信息，并用Chamfer距离作为重建损失预训练编码器。

DRIS的状态集是一个可变大小的点集，需要置换不变且尺寸无关的编码器将其映射到固定维度的潜向量 $z_t \in \mathbb{R}^{d_z}$。

研究动机

灵巧操作（如手内操作、工具使用、推、抓球）通常涉及丰富的接触动力学，对接触几何、摩擦系数、物体惯性和顺应性等物理参数高度敏感。即使仿真与真机之间存在微小差异，也会导致大幅度的操作行为偏差并最终任务失败。传统的域随机化方法每回合只采样一个参数实例，policy在每个训练回合中仅观察到一个状态轨迹，缺少对物理参数分布如何影响可能操作结果的结构化推理机制——也就是说，policy无法显式地知道'如果物体摩擦大一点或半径小一点，同样的动作会带来什么后果'。此外，已有的大多数反应式抓球研究都依赖杯状、网兜或关节手等具有被动稳定能力的末端执行器，这从根本上降低了任务难度，并且当硬件设计改变（如换用平板）时策略就难以迁移。最后，许多现有RL方法需要大规模高保真仿真或专家演示，并依赖真机微调来实现sim-to-real transfer，对于动态接触密集的任务（如反应式抓球），真机上的在线适应在毫秒级时间尺度上几乎不可行。

本文的目标是本文旨在提出一种能够训练出对物理参数不确定性具有内在鲁棒性的灵巧操作策略的学习方法，使得该策略无需任何真机数据微调（即零样本迁移）就能在严重物理不确定性下完成高动态、接触密集的灵巧操作任务。作者将这一目标具体化为一个极具挑战性的反应式抓球场景：使用一块刚性连接在机械臂末端、表面低摩擦且无被动稳定作用的平板来抓取飞来的橡胶球，要求机器人在毫秒级时间内做出反应并稳定住球；并希望证明所提出的方法在大幅观察噪声、执行误差甚至训练分布外的物理参数下都能保持鲁棒，最终在7自由度Franka机械臂上实现68%的零样本成功率，相对基线提升5倍以上。

与已有工作不同的是，本文的核心切入角度是将不确定性显式地建模到任务表示本身，而非隐式地依赖单实例的随机采样。具体来说，作者提出Domain-Randomized Instance Set（DRIS）：不再每回合采样一个物理参数实例，而是同时采样并传播 $N$ 个具有不同物理属性（如球半径、摩擦系数、恢复系数）的实例集合 $\hat{C}=\{c^{(i)}\}_{i=1}^N$，它们在共享动作 $a_t$ 下独立演化，形成集合形式的状态 $D_t=\{s_t^{(i)}, c^{(i)}\}$。这种'集合式'的传播提供了对不确定动力学的更丰富近似，使得策略能够学习到能够应对多种可能结果的动作——而传统DR每回合只看一条轨迹，没有这种跨实例的对比信息。作者还提供了完整的理论分析（Appendix B），将DRIS证明为信念传播的精确粒子近似，并证明了它能带来梯度方差缩减、稳健性信号'渐近揭示'（asymptotic unmasking）以及更紧的sim-to-real泛化界。这种'显式多实例表示'的角度与基于POMDP信念空间规划、概率隐动力学模型或集合RL的方法都不同——POMDP方法需要昂贵的信念传播，隐动力学方法是隐式的，而DRIS是显式且直观的，特别适合高速接触场景。

核心方法

DRIS的核心思想是把传统DR的'一个episode一个实例'升级为'一个episode一个实例集合'。在仿真中，作者每回合随机采样 $N$ 组物理参数 $\{c^{(i)}\}_{i=1}^N$，对每组参数并行实例化一个球实例，并在每个时间步对所有实例施加共享的策略动作 $a_t$，所有实例根据各自的物理参数独立演化（$s_{t+1}^{(i)} = f(s_t^{(i)}, a_t, c^{(i)})$）。这样policy的优化目标就从单一轨迹的平均回报变成 $N$ 条轨迹的平均回报，从而在梯度层面获得了'跨参数实例的对比信息'。然而，将这一思想落地还需要解决两个工程问题：（1）集合状态 $D_t$ 的大小 $N$ 在训练时变化、推理时为 $N=1$，需要一个尺寸无关的固定维度编码器将其映射为潜向量 $z_t=\psi(D_t)\in\mathbb{R}^{d_z}$；（2）反应式抓球需要快速反应，不能在线适应，因此策略必须学会在动作空间中对所有实例都'安全'。针对这两个问题，作者设计了一套基于PointNet风格自编码器（用Chamfer距离预训练重建）+ FiLM条件化策略（用PPO训练）的两阶段学习管线。在任务层面，作者定义了'运动坐标系'（motion frame）使策略对入射方向不变，并将动作分解为平板平移指令 $\delta_t$ 与倾斜配置 $u_t=(\alpha_t, \beta_t)$。

DRIS最本质的创新是改变了状态空间的结构：从单一状态 $s_t$ 到状态-参数对的集合 $D_t=\{s_t^{(i)}, c^{(i)}\}_{i=1}^N$。这一改变带来了三个理论上的优势（论文Appendix B给出了严格证明）：（1）DRIS是信念传播的精确粒子近似（Exact Particle Propagation），由Liouville方程推导出集合演化等价于经验测度的精确传播；（2）只要不同实例的梯度之间存在非完全对齐（即相关系数 $\rho<1$），DRIS就能严格缩减policy梯度估计器的方差，$\text{Tr}(\text{Cov}(\hat{g}_{\text{DRIS}})) = \sigma^2(\rho/N + (1-\rho))$；（3）随着 $N\to\infty$，梯度中的线性噪声项被压制，经验目标渐近收敛为一个在状态均值附近带正则项 $\frac{1}{2}\text{Tr}(H_t\Sigma_t)$ 的目标函数——这个二阶项就是'鲁棒性信号'，它惩罚那些因物理参数变化导致状态方差大的动作区域，因此DRIS策略会自动偏好对不确定性不变的动作。这个'渐近揭示'机制是DRIS优于传统DR的根本原因：传统DR（$N=1$）的优化器会在随机一阶波动中'追噪声'，而DRIS能把信号从噪声中分离出来。

方法步骤详情

DRIS学习管线分为两步（详见Fig. 3和Algorithm 1）：第一步是DRIS编码器预训练。在128个并行仿真环境中，每个环境放置200个具有不同物理属性的球，使用随机动作收集DRIS状态样本；总共收集128,000个DRIS样本（约50回合×128环境）。编码器采用1D卷积+特征最大池化的PointNet风格架构以保证置换不变性，潜维度 $d_z=64$，解码器用MLP重建原始6D状态（位置+速度），训练损失为Chamfer距离 $\mathcal{L}_\psi(S, \hat{S})=\frac{1}{|S|}\sum_{s\in S}\min_{s'\in \hat{S}}\|s-s'\|^2 + \frac{1}{|\hat{S}|}\sum_{s'\in \hat{S}}\min_{s\in S}\|s'-s\|^2$。预训练100个epoch约需10分钟，之后编码器被冻结。第二步是策略学习。在冻结编码器基础上，引入FiLM条件化模块 $\tilde{z}_t=\lambda(u_t)\odot z_t+\mu(u_t)$，其中 $u_t$ 为平板当前倾斜配置，$\lambda(\cdot)$ 和 $\mu(\cdot)$ 为两个小MLP；调制后的特征送入MLP动作生成网络得到 $a_t=\pi_\theta(z_t)$。策略采用PPO训练，奖励为速度项 $r_v=\exp(-v_\|^2/2\eta^2)+\exp(-\max\{v_\perp, -0.1\}^2/2\eta^2)$（衰减系数 $\eta=0.25$）加上一个-1的边界惩罚 $r_p$（当球位于板下方或超出板边界 $l_e=12$ cm时触发）。每个episode最多20步（1秒仿真时间，20 Hz动作），128个并行环境，1000个epoch约2小时。推理时直接将真机观测的单球状态 $s$ 编码为 $z=\psi(\{s\})$ 送入策略，无需任何在线适应。

技术新颖性

DRIS的技术新颖性体现在三个层面。第一，表示层面：将状态空间从单一状态扩展为置换不变的集合 $\hat{C}=\{c^{(i)}\}$ 和状态集 $D_t=\{s_t^{(i)}, c^{(i)}\}$，这是对传统域随机化表示的根本升级。第二，理论层面：作者给出了完整的理论框架证明DRIS是Liouville方程的精确粒子近似，并导出了三个关键性质——梯度方差缩减（Proposition B.2）、渐近揭示定理（Theorem B.1）和sim-to-real泛化界（Theorem B.2），后者将真实期望代价分解为可约的经验估计误差与不可约的分布漂移项 $d_{\mathcal{L}_\Theta}(p_S, p_T)$，并且证明只要仿真器能建模真实参数空间，DRIS就能严格收紧泛化界。第三，工程层面：作者设计了一个轻量级但有效的两阶段管线——PointNet自编码器预训练 + 冻结编码器 + FiLM条件化PPO策略，使得整套系统能在单张RTX 3060（12 GB显存）上完成训练，而无需大规模GPU集群。在任务层面，平板接球的设置（无被动稳定）也是新颖的：传统抓球方法（[1, 15, 17]）都依赖杯状、网兜或仿人手等机械辅助工具，而本文的平板设置将任务从'机械设计问题'转化为'纯控制问题'，对sim-to-real transfer提出了更高要求。

The reactive catching problem instantiation. Left: Randomized parameters in DRIS. Right: Components used to represent the problem: (a) The motion frame is defined at the plate's initial position pe0 and rotated about the Z-axis by angle ϕ so that its X-Z plane passes through the incoming ball. (b) The robot has moved from the initial ghosted to the current opaque configuration. The system state consists of the ball's relative displacement dt (green arrow) to the plate and its linear velocity vt (blue arrow), both expressed in the motion frame; these two quantities are decomposed with respect to the plate's normal vector nt (yellow arrow) to define the reward. (c) The action comprises a translation of the plate δt (black arrow) and a tilting configuration: angle αt (green) specifies a horizontal axis wt (red arrow), about which the plate is rotated by angle βt (blue).
Fig. 2: The reactive catching problem instantiation. Left: Randomized parameters in DRIS. Right: Components used to represent the problem: (a) The motion frame is defined at the plate's initial position pe0 and rotated about the Z-axis by angle ϕ so that its X-Z plane passes through the incoming ball. (b) The robot has moved from the initial ghosted to the current opaque configuration. The system state consists of the ball's relative displacement dt (green arrow) to the plate and its linear velocity vt (blue arrow), both expressed in the motion frame; these two quantities are decomposed with respect to the plate's normal vector nt (yellow arrow) to define the reward. (c) The action comprises a translation of the plate δt (black arrow) and a tilting configuration: angle αt (green) specifies a horizontal axis wt (red arrow), about which the plate is rotated by angle βt (blue).
Schematic overview of the DRIS-based learning pipeline. Step 1 (Left): The DRIS encoder is pre-trained to reconstruct the input DRIS state. Step 2 (Right): The policy network is trained via RL using the pre-trained (and frozen) DRIS encoder. At the beginning of each simulation episode, the physical property c(i) of each ball instance in the DRIS is randomized; at each time step, the DRIS state St is encoded and fed to the policy πθ to generate an action at.
Fig. 3: Schematic overview of the DRIS-based learning pipeline. Step 1 (Left): The DRIS encoder is pre-trained to reconstruct the input DRIS state. Step 2 (Right): The policy network is trained via RL using the pre-trained (and frozen) DRIS encoder. At the beginning of each simulation episode, the physical property c(i) of each ball instance in the DRIS is randomized; at each time step, the DRIS state St is encoded and fed to the policy πθ to generate an action at.

实验结果

论文通过仿真和真机两套实验验证了DRIS的优越性。仿真部分（图4-6）从三个维度评估鲁棒性：观察噪声、执行误差和分布外物理参数。**观察噪声**：在1σ到4σ的逐级增大噪声下，E2E基线和DRIS(1)（均用单球训练）性能相近但都随噪声增大而显著退化，并在2M步训练后出现过拟合（图4(a)显示长训练反而下降）；而DRIS(10)、DRIS(50)、DRIS(200)即使在4σ噪声下也保持稳定，在2σ下成功率从E2E的~0.55提升到DRIS(50)的~0.89（图4(b)）。**执行误差**：在关节位置施加 $[-0.05, 0.05]$ rad均匀噪声模拟跟踪误差时，DRIS(10/50/200)均明显优于E2E和DRIS(1)，其中DRIS(200)的成功率约0.75，远高于E2E的~0.5（图5）。**分布外物理参数**：将测试球的恢复系数从训练范围 $[0.4, 0.7]$ 外推到 $[0.7, 0.8]$，DRIS(10/50/200)仍能保持~0.7的成功率，而E2E和DRIS(1)下降到~0.6（图6），说明DRIS学到的策略对未见物理参数有更好的泛化能力。**计算效率**：在控制总交互次数相同的情况下（128环境×50球），DRIS(50)仅使用0.71 GB显存就达到了0.89的成功率，而将E2E扩展到128×50单球环境需要2 GB显存却只达到0.73的成功率——说明DRIS的收益不是来自更多交互，而是来自多实例联合演化提供的信息。**真机实验**（图7-8）：在7-DoF Franka Research 3机械臂上，使用三种释放段（R=0.13/0.20/0.32 m）和四种球（wiffle、rubber、ping-pong、foam）共12种组合、每组合5次试验（总计60次）：VelTrack手工策略仅3/60（5%成功率），E2E基线8/60（13%），而DRIS策略以单一网络部署在所有条件下达到41/60（68%）成功率——是E2E的5倍以上，且能成功捕获所有四种球。**定性评估**（图9）：DRIS策略还能泛化到人手动投球（更高不确定性）、纯平衡任务（通过硬编码30°旋转启动滚动）以及抓取不规则形状物体（玩具苹果、草莓和木块），其中木块由于动力学过于不可预测仅偶尔成功。

Reward (top) and success rate (bottom) under varying observation noise. (a) Training curves across simulation steps, evaluated under progressively larger noise levels (left to right); (b) Evaluation of each policy at each noise level, averaged over the last 100 epochs.
Fig. 4: Reward (top) and success rate (bottom) under varying observation noise. (a) Training curves across simulation steps, evaluated under progressively larger noise levels (left to right); (b) Evaluation of each policy at each noise level, averaged over the last 100 epochs.
Reward (left) and success rate (right) of each policy under execution errors, averaged over the last 100 epochs.
Fig. 5: Reward (left) and success rate (right) of each policy under execution errors, averaged over the last 100 epochs.
Reward (left) and success rate (right) of each policy when manipulating balls with unseen restitution values (higher than those in training), averaged over the last 100 epochs.
Fig. 6: Reward (left) and success rate (right) of each policy when manipulating balls with unseen restitution values (higher than those in training), averaged over the last 100 epochs.
Top: Snapshots of our policy catching a ping-pong ball released from the ramp. Bottom: Success rates for each policy across all combinations of ball types and ramp settings.
Fig. 8: Top: Snapshots of our policy catching a ping-pong ball released from the ramp. Bottom: Success rates for each policy across all combinations of ball types and ramp settings.
Our policy successfully catches a wiffle ball thrown by a human (top); balances a foam ball (bottom left), where a hard-coded motion rotates the plate by 30◦ (blue arrow) to initiate the ball's rolling in the first frame; and catches irregularly shaped objects (bottom right).
Fig. 9: Our policy successfully catches a wiffle ball thrown by a human (top); balances a foam ball (bottom left), where a hard-coded motion rotates the plate by 30◦ (blue arrow) to initiate the ball's rolling in the first frame; and catches irregularly shaped objects (bottom right).
查看结构化数据
任务指标本文基线提升
Reactive ball catching (real-world, all 12 ball-ramp combinations) Success rate (out of 60 trials) 41/60 (0.68) VelTrack: 3/60 (0.05); E2E: 8/60 (0.13) DRIS is 5.2× better than E2E and 13.6× better than VelTrack on the same hardware
Catching with 2σ observation noise (simulation) Success rate DRIS(50) ~0.89 E2E ~0.55; DRIS(1) ~0.55 +0.34 absolute success rate, ~62% relative improvement
Catching under execution error (joint noise ±0.05 rad) Success rate DRIS(200) ~0.75 E2E ~0.50; DRIS(1) ~0.55 +0.20-0.25 absolute success rate
Out-of-distribution physics (restitution 0.7-0.8, trained on 0.4-0.7) Success rate DRIS(50/200) ~0.70 E2E ~0.60; DRIS(1) ~0.60 +0.10 absolute, ~17% relative improvement
Computational efficiency at matched total interactions (128 envs × 50 balls) VRAM usage + success rate at 2σ noise DRIS: 0.71 GB VRAM, 0.89 success rate E2E-128×50: 2.0 GB VRAM, 0.73 success rate DRIS uses 64% less VRAM while achieving +0.16 higher success rate

局限与改进

论文作者明确承认了几个局限性。第一，DRIS需要一个编码器将可变大小的状态集映射到固定维度的潜向量，对低维状态（如本任务的6D）效率很高，但对于高维视觉或几何输入需要更大模型和大量预训练。第二，DRIS的有效性依赖于仿真器对多实例的并行传播支持，这对仿真器提出了较高要求；扩展到复杂多体接触场景时，同时解析整个DRIS的碰撞流形可能成为显著的计算瓶颈。第三，由于所有实例共享单一动作，过大的实例间状态发散会不稳定训练。作者引用了Schaal & Atkeson关于'耗散系统更易控'的观察，指出DRIS在'能量耗散'型任务（如抓球）上表现优异，但在'能量注入'型任务（如抛掷）中可能遇到困难——因为物理变体在扩展动力学下被迅速放大，共享动作难以调和发散的状态。第四，附录F的理论分析是建立在'policy能访问完整集合状态'的理想化假设上的，实际中policy工作在压缩的潜空间，因此作者承认不能完全保证理论性质在实践中精确成立，只能说正相关。第五，从我的观察来看，还有几点值得指出：（a）所有真机实验都是在单一DRIS策略（$N=200$）上完成的，没有对比不同 $N$ 值在真机上的表现，这限制了对理论预测（$N=10$ 就足够好）在真实硬件上是否成立的验证；（b）DRIS在OOD物理参数上的优势虽然存在，但绝对值（~0.7）已经显著低于in-distribution下的~0.89，说明其泛化能力并非完美，对训练分布覆盖范围仍有依赖；（c）所有实验都在单一的'平板接球'任务上，没有展示该方法在更广泛灵巧操作任务（如手内旋转、工具使用）上的可迁移性。

独立分析的弱点

独立分析DRIS的几个弱点并给出改进方向。第一，**对编码器预训练质量的依赖性**：DRIS性能高度依赖PointNet自编码器能否保留任务相关信息。预训练数据来自随机动作收集，可能无法覆盖policy训练后期遇到的关键状态区域，导致encoder提供的信息有偏。改进方向：可采用contrastive learning或互信息最大化的预训练目标，并允许encoder在策略训练阶段与policy联合微调。第二，**集合大小的选择缺乏自适应机制**：$N$ 是关键超参数，作者固定测试 $\{1, 10, 50, 200\}$，但实际最优值取决于任务复杂度和物理参数维度。$N$ 过小退化为传统DR，$N$ 过大带来显存和发散问题。改进方向：可设计curriculum式的自适应 $N$ 调度，或使用基于Fisher信息的样本效率度量来动态调整。第三，**对能量注入型任务不友好**：作者自己也承认了。改进方向：可借鉴importance sampling或re-weighting对发散实例施加额外约束，或在训练时周期性将发散过大的实例'重置'到均值附近。第四，**真机实验的场景多样性不足**：仅测试了4种球×3种释放段，没有覆盖人手动投球外的更多不确定性来源（如光线变化、遮挡），且所有真机测试只用了 $N=200$ 的单一策略。改进方向：应在真机上对比不同 $N$ 的策略以验证理论预测，并测试更广泛的不确定性维度。第五，**缺乏与SOTA active DR方法的对比**：论文主要与E2E基线和简单的VelTrack对比，但没与BayesSim、DROPO、Entropy Maximization等更先进的active DR方法做横向比较。改进方向：应在仿真实验中加入这些SOTA作为对照。第六，**理论保证到实际实现的桥梁仍有gap**：作者在Appendix F中明确承认，实际policy工作在学习到的潜空间而非完整集合状态上，因此理论性质的严格性打了折扣。改进方向：可研究encoder优化与policy优化之间的'表示-策略一致性'条件，给出可证明的端到端理论。

未来方向

论文作者提出的未来工作方向包括：（1）使用adaptive或curriculum-based的实例随机化训练策略，以应对能量注入型任务（如抛掷）中实例状态发散过大的问题；（2）将DRIS扩展到高维视觉/几何输入，需要更大规模的编码器预训练；（3）扩展到复杂多体接触场景，需要解决同时解析多个碰撞流形的计算瓶颈。基于成果可延伸的方向包括：（a）将DRIS与POMDP信念空间规划结合，用DRIS作为在线信念更新的高效近似；（b）将DRIS推广到多模态集合（如同时包含视觉点云和物理参数），用于视觉驱动的灵巧操作；（c）探索DRIS在multi-agent或human-robot协作场景中的应用，每个智能体可被视为一个'实例'；（d）研究DRIS与其他集合RL方法（如基于注意力的set transformer）的联系，看是否能用更强表达力的set encoder替代PointNet；（e）将DRIS的'渐近揭示'思想应用于offline RL或imitation learning中的分布鲁棒优化。

复现评估

DRIS的可复现性总体较好。**开源情况**：作者在论文中未明确声明代码仓库，但附录A提供了非常详细的实现细节（learning pipeline、训练时间、超参数范围、平台规格等）。**算法可复现性**：算法流程（Algorithm 1）描述清晰，包括状态初始化、DRIS构造、编码、动作生成、奖励计算、状态传播和PPO更新等步骤。**数据来源**：训练数据完全在仿真中生成（ManiSkill仿真器），不需要任何外部数据集。**真机实验可复现性**：附录A详细列出了所有硬件配置（7-DoF Franka Research 3、3D打印平板+氯丁橡胶垫、3D打印斜坡及可换段、双相机80 FPS图像检测+三角测量+抛物线拟合、0.1秒滑动窗口OLS速度估计）、域参数采样范围（球半径 [2,4] cm、摩擦系数 [0,0.1]、恢复系数 [0.4,0.7]）、奖励系数（$\eta=0.25$, $l_e=12$ cm）、潜维度（$d_z=64$）和计算平台（单张RTX 3060 12GB GPU + AMD Ryzen 9 5950X CPU）。**训练算力需求低**：编码器预训练10分钟，策略训练2小时，单张消费级GPU即可完成。**复现难度**：中等偏低。ManiSkill仿真器是公开可用的，PPO实现成熟，主要工作量在于复现真机硬件设置（3D打印零件、双目相机标定、控制器增益辨识 $K, D$）以及验证所有12种球-斜坡组合的真机试验（每个组合5次，共60次试验）。对拥有机器人操作经验的研究团队来说是标准工作量。

论文图表

Robot reactive catching of a rubber ball using a flat plate. The second row shows sequential impacts during the catching motion, where the final frame depicts the ball successfully stabilized on the plate; the yellow arrows indicate the ball's trajectory at the moments of impact.
Fig. 1: Robot reactive catching of a rubber ball using a flat plate. The second row shows sequential impacts during the catching motion, where the final frame depicts the ball successfully stabilized on the plate; the yellow arrows indicate the ball's trajectory at the moments of impact.

图顶部展示一个7自由度机械臂，末端刚性连接一块平板（flat plate），一个橡胶球从画面右侧飞来，黄色箭头标示了球的飞行轨迹；图底部为连续帧序列，捕捉了球第一次接触平板、反弹、再接触直至稳定停留在板上的完整动力学过程，每帧的黄色箭头标注该冲击瞬间的球运动方向。

这张图直观展示了任务的物理设定——平板没有杯状或凹面工具的被动稳定能力，是理解DRIS必须解决的核心挑战（sim-to-real敏感性）的关键；读者由此可以体会到为何传统抓球方法不能直接迁移到此设置。

Fig. 7: The system setup (top) and the four different balls (bottom) used for real-world experiments.

顶部显示真机系统：3D打印斜坡（带可换段以产生不同释放速度）悬挂在工作空间上方，两块跟踪相机（80 FPS）放置在两侧用于立体视觉，机械臂末端安装3D打印平板（表面覆盖氯丁橡胶垫以保护硬件）；底部展示四种测试球的尺寸对比（wiffle、rubber、ping-pong、foam），它们在重量、弹性和表面摩擦上差异显著。

这是理解真机实验设置的关键图，展示了硬件配置和测试对象的多样性，是评估零样本sim-to-real迁移可信度的依据；其多样性也支撑了论文关于鲁棒性泛化的论断。

Table 1: Success rates for each policy across all 12 combinations of ball types (wiffle, rubber, ping-pong, foam) and ramp settings (R=0.13, 0.20, 0.32 m). Total: VelTrack 3/60 (5%), E2E 8/60 (13%), DRIS 41/60 (68%).

表格列出了VelTrack（基于视觉跟踪速度的手工策略）、E2E（端到端单球训练策略）、DRIS三种策略在4种球（wiffle、rubber、ping-pong、foam）×3种斜坡（R=0.13/0.20/0.32 m）共12组合下每组合5次试验的成功次数。VelTrack仅在3个组合有零星成功，E2E在大多数组合失败，而DRIS在所有12组合上均明显优于基线，特别是在rubber球上达到5/5。

这是真机实验的定量结果汇总表，是论文最具说服力的sim-to-real零样本迁移证据，DRIS 68%成功率是E2E(13%)的5倍以上、VelTrack(5%)的13倍以上。