Cepheid:解耦尺度与结构的跨几何家族运动补全 Cepheid: Decoupling Scale from Structure for Cross-Family Motion Completion
以调和延拓为基,学习无量纲残差先验并恢复物理幅度,实现跨几何家族零样本运动补全
前置知识
调和延拓与图狄利克雷问题
给定图 $G=(V,E)$ 及其(单位权)拉普拉斯矩阵 $\mathcal{L}=D-A$,调和延拓求解:$\mathcal{L}H$ 在未观测顶点上为零,而在观测顶点上等于给定值($H_\Omega=O$),即把观测值当边界条件、求图上最平滑的插值场。它是经典标签传播与拉普拉斯网格编辑的同一数学内核,一次稀疏线性求解即可得到全场结果,不包含任何可学习参数。
本文全部构建都围绕它展开:它既是被学习的基场 $H$(残差 $R=F-H$),又是衡量学习是否有益的无参数控制基线——任何学习模型误差不低于它即构成负迁移。不理解调和延拓,就无法理解论文的问题定义、评估标准和消融结论。
消息传递图网络与 MGN-T 骨干
消息传递神经网络(MPN)在图的边上迭代交换并聚合特征,MeshGraphNets(MGN)用它在网格上做物理仿真。MGN-T 在两个消息传递块之间插入一个 Transformer 全局注意力块:消息传递擅长局部形变,注意力补足没有短图路径的远距离顶点之间的信息流动。本文网络沿 12-近邻坐标图传递消息,网格连通性只通过调和基场 $H$ 进入网络。
这是残差先验的具体载体。论文的注意力消融(Table 12)显示 MGN-T 比同预算纯消息传递在 0.5% 密度下误差低 7.5%、池化低 4.9%,说明远距离顶点相关是稀疏补全的关键,理解骨干才能读懂设计动机与消融。
流匹配(Flow Matching)与 OT-CFM
流匹配是一类连续归一化流训练方法:学习一个速度场,把高斯噪声沿常微分方程积分(本文 30 步 Euler)搬运到数据分布,训练目标是回归条件概率路径上的速度,比扩散模型的随机采样更简洁。OT-CFM(条件流匹配的最优传输变体)在噪声与数据之间构造近似最短路径,提高训练效率与采样质量。
CEPHEID 用 OT-CFM 生成无量纲残差场:推理时从 $k=8$ 份独立高斯噪声出发各积分一次再取平均。采样数 $k$ 的消融(Table 13:$k=8$ 仅比 $k=16$ 高 0.8–2.1%)和多采样对误差的影响都建立在这一机制上。
无量纲化与 Buckingham $\pi$ 定理
量纲分析把物理量写成"量规长度(gauge)$\times$ 无量纲函数"的乘积形式(Buckingham 1914):先消去单位,再在无量纲世界里拟合规律,规律即可跨单位制、跨尺度复用。本文用它处理残差:以观测位移色散 $\sigma_{obs}$ 为量规,网络只学习无量纲场 $R/\hat{s}$,物理尺度由 $\hat{s}=\sigma_{obs}\exp(b+w^\top z(\phi))$ 恢复,其中 $\phi$ 的 11 个特征全部无量纲。
这是全文最核心的建模思想。跨家族残差幅度相差 18–39 倍,直接学习会在家族间互相干扰;不理解"结构$\times$尺度"的因式分解,就无法理解为什么单一先验能在从未见过的布料和腿式机器人上零样本生效。
跨家族负迁移与控制基线
负迁移指多域联合训练或跨域迁移后性能反而不如不做学习的情况,根源是源域分布不匹配(本文中家族间拓扑、顶点数、幅度都不同)。"控制基线"指一个无参数、闭式的参照系:本文用调和延拓充当该角色,任何误差不低于它的模型说明"学习在此条件下有害"。
论文的核心实证结论——12 次单家族迁移中 7 次失败、统一模型在全部五列低于基线——都是相对这个控制基线陈述的。理解这一评估哲学,才能正确解读 Table 2 的迁移矩阵和各处百分比。
研究动机
稀疏到稠密运动补全要求从网格上极少量顶点的位移(本文输入只观测 6–10 个顶点、约占网格的 0.09–0.5%,密度范围 0.5%–50%)推断全部顶点的运动场,且不给骨架、模板配准或跨网格对应。现有方法严重绑定单一几何家族:人体靠 SMPL 类身体模型,机器人靠 URDF 运动链,布料靠仿真器,家族之间互不通用。作者用控制基线实证出两个尖锐问题。其一是单家族先验跨域失败:在 DT4D 动物、AMASS 人体、Franka 机械臂上分别训练的三个先验,12 次跨家族迁移中有 7 次不低于甚至差于零参数的调和延拓;在从未见过的布料上,AMASS 先验比调和延拓差 25.5%,Franka 先验差 7.8%——学到的先验出了家族就成了负资产。其二是跨家族联合训练撞上"尺度壁垒":在匹配观测密度下,extent 归一化后的残差幅度在三个训练家族间相差 18–39 倍,且随密度从 0.5% 到 50% 再下降超过一个数量级(消融显示:去掉基场后运动幅度统计在密度下只变 6.8%,而调和残差的同统计量变化 18.3 倍)。由于测试时看不到目标运动,残差自身的尺度无法直接测量,网络也就无法对预测目标做归一化。
本文的目标是本文的目标是构建一个统一模型,仅凭网格连通性与稀疏位移观测(无骨架、无配准、无跨网格对应),在多个几何家族上完成稠密逐顶点运动补全,并在训练中从未见过的家族上仍优于无参数基线,具体拆成三个可验证的子目标。第一,把离散调和延拓确立为通用基场和无参数控制:学习只需建模解析先验遗留的残差,同时让"学习是否带来增益"有一个模型无关的判定点。第二,实现目标无关的幅度恢复:不需要目标运动即可估计物理尺度,使布料上的补全误差逼近"目标信息 oracle"(需要真值的逐条件最优标量)至 1–8% 以内。第三,学习单一的无量纲残差先验:在 DT4D、AMASS、Franka 三个家族上联合训练,零样本迁移到布料和程序生成的腿式机器人并降低误差,且同一 checkpoint 不经重训练即可接入点跟踪器输出的视频轨迹和机器人本体感知信号。
与已有工作不同的是，本文的独特切入是把物理量纲分析(Buckingham $\pi$)引入运动补全的残差建模,并重新定义评估哲学。已有统一模型各有所需:UniMate、AnyTop、OmniMotionGPT 需要关节运动链,ScanMove 需要驱动运动,MeshLoom 需要每帧完整网格;NSDP 做逐类训练加逐帧尺度归一化;跨家族联合训练文献的尺度归一化依赖训练集统计量或实例级可观测量,都需要目标侧信息。CEPHEID 的关键洞察是:残差 = 结构 × 尺度——方向结构可以在家族间共享,而物理幅度必须从测试条件自身可观测的统计量恢复。作者把学习目标改写为无量纲的 $R/\hat{s}$,用观测色散 $\sigma_{obs}$ 乘以 11 维无量纲特征驱动的冻结校正来估计 $\hat{s}$,把跨源幅度差异从 37.5 倍压到 3.2 倍,剩余变化交给回归。同时,它把调和延拓从"被比较的方法之一"升格为"无参数控制":误差低于它才证明学习有益,这一诚实的判定点此前的工作并未系统性使用。
核心方法
直觉是:网格图本身免费提供一个解析解——调和延拓。把观测顶点位移当边界条件,在图上解狄利克雷问题 $$(\mathcal{L}H)_i=0\ \ \forall v_i\notin\Omega,\qquad H_\Omega=O,$$ 其中 $\mathcal{L}=D-A$ 是单位权图拉普拉斯,一次稀疏线性求解(加 $10^{-6}I$ Tikhonov 正则)即得全场平滑基场 $H$。真正要学的只是残差 $R=F-H$。但残差幅度随家族和密度剧烈波动(跨源 18–39 倍),所以 CEPHEID 把残差拆成"结构 × 尺度"两个因子分别处理:结构部分是完全无量纲的方向场,用流匹配网络跨家族共享学习;尺度部分用无训练参数的规则 $\hat{s}=\sigma_{obs}\exp(b+w^\top z(\phi))$ 从可观测量恢复。训练时网络目标是归一化残差 $R/\hat{s}$(逐分量裁剪到 $[-8,8]$);推理时从 $k=8$ 份独立高斯噪声出发、各做 30 步 Euler 积分、取平均得 $\bar{R}_\theta$,最终组装 $\hat{F}=H+\hat{s}\bar{R}_\theta$。整条流水线中唯一由梯度下降训练的是流匹配网络;幅度规则只是岭回归拟合后冻结的 12 个参数加 56 个冻结统计量。骨干 MGN-T 在两个消息传递块之间夹一个 Transformer 注意力块,消息沿 12-近邻坐标图传递,网格连通性只通过 $H$ 进入网络;初始节点特征 53 通道,包括流状态、观测位移、掩码指示、坐标 Fourier 编码、全局观测统计量与 $H$。
核心创新是"目标无关幅度恢复 + 无量纲残差先验"的解耦,与已有方法的本质区别有三点。第一,与单家族先验不同,残差先验完全无量纲化,不含物理单位,因而可以跨拓扑、跨顶点数、无对应地共享;单家族模型的失败模式被 emission ratio(预测物理校正与基场遗留残差的 $\ell_2$ 之比)精确量化:Franka 专属先验在所有列欠校正(0.21–0.96),AMASS 专属先验多数过校正(0.94–1.51),而统一模型稳定在 0.57–0.99——这说明失败根源正是尺度失配,而幅度恢复恰好治这个病。第二,与 NSDP 的逐帧归一化或联合训练文献中用训练集统计量归一化的做法不同,这里的尺度规则只依赖测试条件自身可观测的量:量规 $\sigma_{obs}=\mathrm{std}_{99.5}(O)$ 提供物理单位,11 维无量纲特征(观测密度 $\log(M/N)$、到观测集的图跳数、不可达顶点比例、观测运动变异系数、基场粗糙度与色散比等)驱动冻结校正,把跨源幅度差异从 37.5 倍压缩到 3.2 倍。第三,与把调和延拓当作对手方法不同,CEPHEID 把它同时用作基场(网络的条件输入)与无参数控制基线,使"学习是否有益"有了模型无关的固定判定点。
方法步骤详情
完整流程对应 Figure 2 的 A–E 五步。第一步(输入):给定网格 $M=(V,E)$、源帧坐标 $X\in\mathbb{R}^{N\times3}$、观测顶点子集 $\Omega$ 及其位移 $O=F_\Omega\in\mathbb{R}^{M\times3}$,密度 $M/N$ 覆盖 0.5%–50%。第二步(基场):用单位权拉普拉斯解 $\mathcal{L}H$ 的狄利克雷问题得 $H$,一次稀疏线性求解;无观测点的连通分量取 $H=0$(DT4D 在 0.5% 密度时会出现)。第三步(幅度恢复):计算 $\sigma_{obs}$,按 Table 9 提取 11 个无量纲特征 $\phi$,先裁剪到训练支持范围(1%/99% 分位)再标准化,输出 $\hat{s}=\sigma_{obs}\exp(b+w^\top z(\phi))$;部署权重 $b=-2.439$(Table 10),平均训练条件下 $\hat{s}\approx0.087\,\sigma_{obs}$,即残差幅度约为观测色散的十一分之一。第四步(残差生成):训练时以 $R/\hat{s}$ 为目标、用 OT-CFM 训练 MGN-T(条件输入 $X,\Omega,O,H$ 共 53 通道,流时间 $t$ 嵌入后加到节点表示);训练配置为 Adam、学习率 $3\times10^{-4}$、1000 步 warmup、cosine 衰减、batch 16、fp32、单卡 96GB GPU、500k 步、DT4D:AMASS:Franka 采样比 0.5:0.3:0.2;推理时 8 份噪声以 8N 节点的批量并行,30 次 Euler 前向后平均为 $\bar{R}_\theta$。第五步(组装):$\hat{F}=H+\hat{s}\bar{R}_\theta$;观测静止时 $\hat{s}\approx0$,输出退化为 $\hat{F}=H$。每次补全 = 1 次稀疏线性求解 + 1 次幅度规则求值 + 30 次网络前向。
技术新颖性
技术新颖性有四层。其一,据作者所知这是首个证明单一学习先验能跨几何家族、从无标注稀疏顶点位移完成稠密运动的工作:统一模型在全部五个家族(含两个源级 held-out)低于无参数基线(布料 $-15.6\%$、腿式 $-10.1\%$),而对每个源的训练暴露量反而比专家模型少 2–5 倍、独有训练样本不多于专家,排除了"靠见得多"的解释。其二,量纲分析式的因式分解:把 Villar 等人"gauge length × dimensionless function"的形式应用于调和残差之后,是"残差物理"思想在网格运动上的具体化;11 个特征全部无量纲,使拟合于三个源的规则可直接部署到从未见过的几何,无需任何目标侧调参。其三,幅度恢复的实证校准非常扎实:布料上与真实逐条件 oracle 的差距仅 1.4–8.1%,且从 2% 密度起反超"逐密度静态 oracle 表"2.8–10.8%,证明条件自适应规则优于任何每密度常数的规则;表内消融还表明裸观测尺度(无校正)会让误差从 0.8073 恶化到 1.3197,校正项不可或缺。其四,实验设计本身即贡献:harmonic 作为控制揭示 7/12 单家族迁移失败,emission ratio 诊断揭示失败机制是系统性欠/过校正,这种自我批判式的评估框架在同类统一模型工作中罕见。
实验结果
逐实验看。(1) DT4D 基线对比(Table 1,7 个 held-out 身份、5 密度、2100 条件):CEPHEID 在全部密度误差最低,比调和延拓低 44–81%(0.5%:0.3533 vs 0.6255;50%:0.0180 vs 0.0754);重训练的 NSDP 在所有密度高于无学习基线(1.6–3.6 倍),逐场景优化的 DOMA 低于基线 8%–67% 但误差是本文的 1.4–2.5 倍。(2) 迁移矩阵(Table 2,每列 3000 条件、布料 3840):12 个非对角单元中 7 个不低于基线;统一模型在全部五列低于基线——DT4D 0.1243、AMASS 0.0214、Franka 0.0201、布料 0.3692、腿式 0.2225,相对基线分别降 53.7%、69.1%、80.1%、15.6%、10.1%;在布料和腿式上超过最佳专家(DT4D 先验)12.9 和 0.5 个百分点。逐密度看(Table 6/7):布料上所有专家都至少在某个密度越过基线,而统一模型五个密度全部低于基线;腿式体上统一模型仅在 0.5% 最稀疏档高于基线(0.6222 vs 0.6033),从 1% 起反超。(3) 幅度恢复(Table 3/11):布料上与目标信息 oracle 的差距 1.4–8.1%,从 2% 密度起比逐密度静态 oracle 表好 2.8–10.8%;裸观测尺度无校正时误差 0.8073→1.3197 反而远差于基线,证明校正项必要。(4) 组件消融(Table 4/8):去掉调和延拓使布料/腿式误差变为基线的 2.4 倍(1.047/0.585,AMASS 上 4.9 倍);去掉幅度恢复在腿式(0.409 vs 基线 0.247)和 Franka(0.020→0.209)诱发负迁移;k=1 单采样损失 8–13%(held-out)与 19–23%(训练域)。(5) 注意力消融(Table 12):MGN-T 比同预算纯消息传递池化误差低 4.9%,稀疏端 0.5% 低 7.5%,七个 held-out 身份全胜。(6) 应用:Isaac Lab 软棒抓取(5525 点、8 个本体感知点、载荷零观测)跨物体传播运动;DAVIS horsejump-high 由 CoTracker3 的 12 条轨迹驱动,补全全程背对相机的 120 个顶点(2,164 个顶点中 0 个被观测过);RH20T 三个商业机械臂(Flexiv、Kuka、UR5)零样本全部低于基线且优于 Franka 专家;固定三标记布局微调 10k 步将误差从基线的 0.86 倍降到 0.37 倍(2.283mm→0.991mm)。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DT4D 动物基线对比(7 个 held-out 身份,0.5%/50% 密度) | 相对补全误差 err÷mean|F|(按运动幅度池化,2100 条件) | 0.3533 / 0.0180(五密度全部最低,较基线降 44–81%) | 调和延拓 0.6255 / 0.0754;NSDP(重训练)1.0406 / 0.2683;DOMA 0.5750 / 0.0246 | 较调和延拓降低 43.5%(0.5%)与 76.1%(50%);DOMA 误差为本文 1.4–2.5 倍,NSDP 为基线的 1.6–3.6 倍(负迁移) |
| 布料零样本(MeshGraphNets flag,训练从未见过的家族) | 相对补全误差(池化 5 密度,3840 条件) | 0.3692(五个密度全部低于基线,见 Table 6:0.6790/0.5524/0.4087/0.1513/0.0548) | 调和延拓 0.4377;最佳单家族专家(DT4D 先验)0.4256 | 较基线降低 15.6%,较最佳专家再低 12.9 个百分点;AMASS/Franka 专家则分别比基线差 25.5%/7.8% |
| 腿式机器人零样本(9 个 GenBot1K 本体:3 四足+3 六足+3 人形) | 相对补全误差 | 0.2225 | 调和延拓 0.2474;最佳专家(DT4D)0.2238 | 较基线降低 10.1%,较最佳专家再低 0.5 个百分点;仅 0.5% 最稀疏档高于基线 |
| AMASS 人体(4 个官方验证子数据集整体 held-out) | 相对补全误差 | 0.0214 | 调和延拓 0.0693 | 降低 69.1%;DT4D 专家跨域到 AMASS 为 0.2701(高于基线,负迁移) |
| Franka 机械臂(12 条 held-out 轨迹) | 相对补全误差 | 0.0201(原始物理单位约 0.066 mm) | 调和延拓 0.1011(列分母 3.287 mm) | 降低 80.1% |
| 布料幅度恢复质量(网络冻结,同一输出按四种规则缩放) | 相对补全误差(0.5%/1%/2%/10%/50% 五档) | 幅度恢复 0.6790 / 0.5524 / 0.4087 / 0.1513 / 0.0548 | 目标信息 oracle 0.6283 / 0.5175 / 0.3917 / 0.1492 / 0.0529;裸观测尺度 0.8073–1.3197;借查表 0.6817–0.0652 | 与 oracle 差距 1.4–8.1%;从 2% 密度起反超逐密度静态 oracle 表 2.81–10.77%;无校正版本远差于无学习基线,证明校正必要 |
| Franka 三标记夹爪固定布局部署(12 条 held-out 片段、36 帧对) | links 1–7 平均误差 | 微调 10k 步后 0.991 mm | 同一 checkpoint 零样本 2.283 mm;调和延拓 2.652 mm | 误差减半以上,从基线的 0.86 倍降至 0.37 倍 |
局限与改进
作者承认的局限:定量评估假设观测是精确顶点位移,不含传感器噪声、丢轨迹、深度畸变或扫描几何误差;数据里只有 AMASS 和附录中的 RH20T 片段是真实录制——DT4D 是艺术家动画、Franka 是随机关节样条的正向运动学、布料和腿式体是仿真,域的真实性有限;训练只用随机掩码家族,对固定部署观测模式(如三标记夹爪)虽可零样本迁移,但微调收益巨大(Table 15 中误差从 0.86 倍基线降到 0.37 倍),说明随机掩码与真实传感器布局之间仍有分布差距;噪声输入下的验证与跨掩码家族训练被明确留作未来工作。我的补充观察:一是逐帧独立补全,没有时序模型,输出在时间上的一致性与平滑性未被量化,30 步 × 8 采样的逐帧开销也未被讨论实时性;二是对最陌生的连续介质家族(布料)改进(15.6%)远小于训练域(53–80%),对分布外结构的泛化仍有明显余地;三是极稀疏端(腿式体 0.5%)统一模型仍高于基线,不可达连通分量以 $H=0$ 兜底的方式很粗糙;四是全局单标量幅度 $\hat{s}$ 无法刻画同帧内幅度差异大的运动(局部接触 vs 刚性躯干);五是池化指标按运动幅度加权,近静止区域的保真度被刻意弱化,对小运动场景的适用性未单独报告;六是无网格连通性场景需换 TPS 基且稀疏端变差(Table 14),依赖网格拓扑这一点对扫描网格并不总成立。
独立分析的弱点
独立分析几处弱点并给出方向。(1) 逐帧独立、无时序结构:相邻帧强相关的视频/机器人场景里,每帧独立跑 30 步 × 8 采样既浪费计算,也无法保证时间一致性;改进方向是把前一帧补全结果或轨迹历史作为额外条件(warm start / 时空图狄利克雷问题),实现轨迹级补全。(2) 假设观测无噪声:DAVIS demo 中用 4 倍 MAD 门控删轨迹、只保留 63/65 条,侧面说明对跟踪噪声敏感;改进方向是训练时对 $O$ 注入噪声与遮挡做鲁棒化,并把跟踪器置信度纳入幅度特征 $\phi$。(3) 全局单标量幅度:同帧内局部接触与刚性部位幅度差异巨大时共享一个 $\hat{s}$ 必然失配,布料上与 oracle 的 8% 差距很可能来源于此;改进方向是把标量校正推广为逐顶点或分区的低秩幅度场,让网络输出分频段的尺度。(4) 极稀疏端(0.5%)失效风险:腿式体上 0.6222 高于基线 0.6033,且无观测连通分量直接 $H=0$;改进方向是引入多尺度图粗化(multiscale MGN)或按图跳数分层的长程传播。(5) 固定观测模式仍需微调:三标记零样本 2.283mm vs 微调 0.991mm,差距在权重而非架构;改进方向是训练时混合结构化掩码布局(marker rig、末端执行器、关节角),缩小部署 gap。(6) 依赖网格连通性:扫描或重建网格常有破面,谐波求解退化;Table 14 的 TPS 替代在 2% 以上反而更好,值得作为默认基场做自适应选择。
未来方向
作者明确提出的方向:噪声输入下的系统验证(传感器噪声、丢轨迹、深度畸变、扫描几何);跨掩码家族训练,使单一 checkpoint 同时覆盖随机掩码与固定部署布局;以及 Table 15 已示范的、向具体传感器配置的轻量微调(10k 步即误差减半)。基于本文成果可自然延伸的方向:其一,时空扩展——把狄利克雷问题搬到时空图上,或以历史帧为边界条件,获得时间一致性并摊薄采样成本;其二,幅度场的结构化升级——从全局标量到逐顶点/频段幅度,处理同帧多尺度运动,进一步逼近 oracle;其三,与点跟踪的闭环——本文已能把 CoTracker3 的 12 条轨迹 densify 到 2164 顶点,反向可以把补全结果作为跟踪器的运动先验(补全→重投影→修正跟踪),形成互相增强的循环;其四,真实机器人数据闭环——用 RH20T 等大规模真实操作数据训练并评测感知噪声下的补全,把稠密补全运动作为跨本体策略学习的观测表征,呼应跨具身智能的动机;其五,检验无量纲先验假设的边界——把家族扩展到流体、粒子、破碎几何等更广"运动介质",观察 12-NN 图上的调和基与残差先验何时失效;其六,幅度规则的可解释性——对 11 维特征做敏感性分析,甚至用自动量纲发现方法(Bakarji 等)重新发现更紧凑的特征组合。
复现评估
复现可行性较高,细节披露在同领域论文中属于异常完备的一档。训练配置完全公开:Adam(lr $3\times10^{-4}$、1000 步 warmup、cosine 衰减至 2%)、batch 16、fp32、梯度裁剪 1.0、单卡 NVIDIA RTX PRO 6000 Blackwell(96GB)500k 步、seed 0;最大网格(AMASS 6890 顶点)每样本约 5.3GB 显存,意味着 48GB 级显卡大概率也能跑。数据全部公开:DT4D、AMASS 官方 split(9 训练/4 held-out 子集)、Franka 由 URDF 生成(54 训练/12 held-out 轨迹)、MeshGraphNets flag(24 条验证轨迹)、GenBot1K(9 本体)、RH20T、DAVIS horsejump-high,身份/子集/轨迹的 held-out 划分在附录 A.5 逐条列出。幅度规则可完整复算:12 个拟合参数(Table 10,$b=-2.439$ 加 11 个权重)与 56 个冻结统计量随代码发布,推理伪代码(Algorithm 1)给出裁剪与标准化次序。评估协议透明:每列的采样规则(Table 5)、密度格点、池化指标公式(Eq. 6)及列分母(Franka 3.287mm、布料 114.454mm 等)全部印出,还交叉验证了 harmonic 固定点。项目页为 su-terry.github.io/cepheid-website,附录提及 frozen statistics released with the code,暗示代码将开源。主要复现成本:DT4D 的 mAU 艺术单位与 extent 归一化细节需要对齐;MGN-T 无官方代码需自行实现;500k 步单卡约数天;GenBot1K/Isaac Lab 仿真环境搭建有一定工程量。综合判断:中等难度,瓶颈在训练时间与多数据集预处理,而非算力或数据获取。
论文图表
三联概览图:(a) 输入是网格加 6–10 个顶点(占 0.09–0.5%)的稀疏轨迹;(b) 输出是模型对每个顶点预测的运动(全部为预测而非真值),训练只用左侧动物/人体/机械臂三个家族,布料与腿式机器人为零样本;(c) 同一 checkpoint 不重训练即可 densify DAVIS 视频上 CoTracker3 的点轨迹,以及从 8 个本体感知点补全机械臂抓取软体的运动。
一图看懂任务定义、跨家族零样本卖点与两种实际输入源(跟踪器/机器人本体感知),是论文叙事的总入口。
幅度恢复的 11 个特征及其数学定义:$\log\frac{M}{N}$、$\log M$、$\log N$、到观测集的平均/最大图跳数、不可达顶点比例、观测位移变异系数、基场与观测的均值/色散比、基场粗糙度及其带度加权版本——全部为计数、比例或比值,天然无量纲。
幅度规则的可复现核心:无量纲性使三源拟合的规则可零样本部署到新几何,此表是理解并重新实现 $\hat{s}$ 的唯一依据。