SoftVTBench：面向可变形物体操作的形变感知视觉-触觉数据集与基准 SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation

第一步，资产与校准：构建 10 个体可变形资产及网格、纹理、质量匹配的刚体孪生，设 FEM 材料后运行脚本校准——闭合度从松到紧扫描，首次能反复无滑提起的闭合度为 $g_o^{\min}$，容限 $\tau_o$ 取稳定抓取峰值位移的 90 分位，容限内最紧闭合度为 $g_o^{\max}$。第二步，任务与采集：四套件按 2×2 设计各含 10 任务、1,000 演示；每条 episode 随机化物体初始位姿、机器人配置与目标位置，并从 $\mathcal{G}_o$ 采样夹爪闭合度；专家执行接近、抓取、提起、搬运、放置，先物理执行再按存储 replay 渲染，保证五路流在同一 20 Hz 时间线。触觉由 TacEx 渲染模拟 GelSight Mini：Taxim 生成光学外观，FOTS 生成 marker 运动。第三步，质量控制：自动检查同步性/完整性/对齐，VLM 校验语义元数据，人工目检与标签抽查，产出 4,000 条发布数据。第四步，评测：ID 每套件 500 个 held-out 初始状态（每任务 50 个）；OOD 用 9 个单因子条件（光强 135→180/270/67.5，质量 ×1.25/1.75/2.5，杨氏模量 ×0.8/0.5/2.0），复用 ID 参照的任务、初始状态与 seed，共 900 episode/套件；策略只见可见流，评测器读隐藏流，上限 300 控制步。

技术新颖性体现在四点。第一，Table 1 的四要素定位：完整任务、3D 可变形物体、策略可见触觉、评测者专用形变评分，此前没有基准同时具备——LIBERO/ManiSkill2 无触觉也无隐藏形变评分；SoftGym/MoDeSuite 把改变形状当任务目标且无触觉；DefGraspSim/SoGraB 测形变但只评孤立抓取；VTDexManip/ManiFeel 有触觉但对象是刚体；Tabero 对刚体测接触力而非软体形变。第二，『刚体孪生』对照设计把可变形性本身的代价从任务结构难度中剥离——实验显示同一套件上刚→软的代价在 −18.4 到 +12.0 点之间摆动，说明软体基准里的『难度』常常不是形变造成的。第三，双夹爪动作编码（二值+连续）存于每条演示，让传感模态与控制粒度 2×2 交叉消融而无需重采数据，实验证明这种混淆真实且量级可观（+11.4 点的『触觉增益』可被更细的执行控制完全复现）。第四，发布评测者专用流并附每资产校准参数与不同校准百分位的再打分程序，使 DSR 判据本身可审计、可重定义，这种评测标准的开放性在操作基准中相当少见。

独立分析的弱点：其一，评测完全依赖 FEM 真值，而真实机器人上没有现成等价物——真实形变需要靠多视角视觉重建或嵌入式传感来估计，估计误差会直接进入判据，这是把基准推向现实的最大障碍；改进方向是研究基于点云跟踪或神经隐式表示的形变估计器，并量化其与 FEM 真值的一致性。其二，抓放任务的形变风险集中在抓取瞬间，缺乏擦拭、倾倒、穿线等需要持续精细接触的任务，DSR 在这类任务上的判别力未经验证；可扩展套件覆盖。其三，只看峰值 $R_{\max}\le 1$，无法区分『先轻后猛、短暂超限后恢复』与『全程贴边』的轨迹，可引入时间加权形变或永久变形判据。其四，容限分位（90%）与归一化方式（包围盒对角线）的选择影响绝对数值，跨基准比较仍无标准，尽管附录提供了再打分工具。其五，策略样本只有三个家族、12 个 ID 配置，『触觉增益被控制粒度解释』等关键结论只在 π0.5 上得到验证，结论的边界条件不明，扩散策略与世界模型上未必同构。其六，双指平行夹爪是唯一末端执行器，灵巧手操作的触觉-形变关系可能完全不同。

作者提出之外可延伸的方向：第一，真实机器人版本——用真实 GelSight/数字触觉传感器采集策略可见流，用多视角相机或结构光扫描重建独立形变真值，验证 DSR 在硬件上是否保持判别力。第二，把形变合规性引入训练而非仅评测，例如用隐藏 FEM 流做辅助监督信号或构造形变感知奖励，训练『天生轻柔』的策略；FastWAM 的小 TSR−DSR 差距说明这是可优化的目标而非固有代价。第三，主动触觉：让策略在抓取后依据触觉反馈主动调整闭合度滑向安全窗口，把 DSR 从静态指标变成闭环控制信号。第四，扩展到布料、食物、生物组织等各向异性、黏弹性材料，以及多物体堆叠与密集接触场景，检验单物体标定范式的适用边界。第五，利用发布的评测者专用流研究『最小触觉表征』问题——RGB、marker 场、低维接触统计等哪种表征对形变合规贡献最大。第六，探索容限与任务语义的关联，让 $\tau_o$ 可以由『这是鸡蛋还是面团』这类语言指令指定，把 DSR 变成语言可调的安全约束。

复现条件较好。代码与项目页开源（github.com/TuojingAI/SoftVTBench，softvtbench.github.io），基于 Isaac Sim / Isaac Lab 构建，触觉渲染依赖 TacEx + Taxim + FOTS，均为公开组件。数据方面发布 4,000 条演示及评测者专用 FEM/接触/掉落流，论文明确支持『重算、审计或重定义形变判据而无需重新采集』，并附每资产校准参数与不同校准百分位的再打分程序；评测固定 episode、初始状态与 seed，所有方法在同一批 episode 上打分，结果可精确复现——例如 TSR−DSR 差异可直接换算为精确的 48/40 条 episode 数。难点在算力与工程量：训练 π0.5 与 FastWAM 这类 VLA/世界-动作模型通常需要多卡 GPU；FEM 体网格仿真加 20 Hz 多流渲染的存储与计算开销不小；完整复现消融还需按 2×2 传感×控制矩阵训练多套模型。总体属于『数据齐全、工程量大』的中等偏难复现，复现指标榜单（TSR/DSR 本身）则相对容易。