DexHoldem：基于灵巧具身系统的德州扑克桌面操作基准 DexHoldem: Playing Texas Hold'em with Dexterous Embodied System
在真实 ShadowHand 上构建德州扑克基准，联合评估灵巧操作、感知与闭环决策。
前置知识
ShadowHand 灵巧手
ShadowHand 是商业化多指灵巧手，配置 5 指共 24 个自由度（20 主动 + 4 欠驱动耦合），需配合 UR 机械臂完成桌面精细操作。本文共享 6 维机械臂 + 24 维手部共 30 维关节目标动作空间。
全部物理评估建立在 ShadowHand 上，没有这个硬件平台的常识就难以理解 30 维动作空间与接触丰富操作的具体含义。
视觉-语言-动作模型 (VLA)
VLA 把视觉编码器、语言模型与动作头端到端联合训练，根据自然语言指令与图像直接输出机器人动作。π0、π0.5、RDT 都属于此类，与任务特定模仿基线形成对照。
论文核心比较的就是预训练 VLA 模型与任务级模仿基线在真实灵巧操作上的差距，是理解 Table 1 数据的关键。
扩散策略 (Diffusion Policy)
扩散策略将动作序列生成建模为去噪扩散过程，从随机噪声迭代去噪得到平滑多步动作，是本文中作为任务特定基线（DP-UNet/DP-Transformer/DP-DINO）的模仿学习方法。
Table 1 中 DP 系列失败率（DP-UNet SPSR 仅 1.2%）反衬了 VLA 在灵巧操作上的优势。
模仿学习与遥操作
模仿学习让机器人模仿人类示教轨迹，遥操作则是人类通过主手或控制器远程操控机器人收集演示数据。DexHoldem 用 ShadowHand 遥操作收集 1,470 条演示。
论文强调真实物理数据是基准核心信号，遥操作质量直接决定策略性能上限。
具身感知基准
具身感知基准衡量智能体能否从像素恢复出对决策有用的结构化状态。本文把感知拆成 LS、TO、BI、CC、CB、RCI、OCI、SO 八个子能力字段，以严格精确匹配定义 Overall 指标。
Table 2 的 Overall 与 Avg 分离（最高仅 34.3% vs 66.8%）正是具身感知中子能力不组合的典型现象。
研究动机
现有具身智能评估体系存在两个互补盲区。一方面，具身智能体基准（CALVIN、LIBERO、VLBAench、RoboCasa、RoboTwin 等）多依赖仿真或简单夹爪，主要评估语言基础与长视野规划，对真实多指灵巧操作几乎不触及；另一方面，接触丰富操作基准（Adroit、Bi-DexHands、DexArt、BODex、DexGraspNet 2.0 等）侧重多指电机技能，如抓取、铰接物体操作、手内重定向，但通常把指令条件下的视觉基础、序列状态跟踪与进度验证排除在外。两类评估各自独立时显得完整，组合起来却留下明显空缺——缺少一个真实物理环境下同时考察指令条件执行、视觉基础、序列状态变化与精细灵巧控制的统一基准。德州扑克桌面操作恰好能填补这一空缺：薄纸牌（厚度约 $0.3$ mm）和筹码形成接触丰富的小目标，桌面状态在每次动作后必变，感知错误、动作选择错误、灵巧执行错误以及恢复失败的错误都会累积出现，使得「指令→视觉基础→动作选择→灵巧执行→验证」全链路都可被控制变量地评估。
本文的目标是本文核心目标是构建 DexHoldem——一个基于 ShadowHand + UR 真实硬件平台的德州扑克桌面操作基准，将指令条件下的灵巧执行、agentic 感知与闭环具身决策三层能力置于同一物理设定下统一量化。具体目标包含四项：第一，收集 $1470$ 条真实遥操作演示，覆盖 $14$ 个原子原语（拾牌、置牌、翻牌、多面值筹码推/拉）；第二，建立标准化灵巧手策略基准，使用共享 $30$ 维动作接口与场景保持型四级评分（scene-preserving success、disruptive completion、task failure、disruptive failure）；第三，建立 agentic 感知基准，要求感知器从原始像素恢复 $8$ 字段结构化博弈状态；第四，通过系统级案例研究暴露感知与策略误差在闭环部署中如何累积。
与已有工作不同的是，与已有工作相比，DexHoldem 的独特切入角度是把语义结构化的桌面任务与接触丰富的灵巧操作绑定在同一基准中。RLBench、Meta-World、ManiSkill 等仿真基准无法捕捉真实接触动力学；Adroit、Bi-DexHands 等灵巧基准只测孤立电机技能；CALVIN、LIBERO 等长视野基准依赖简单夹爪；EmbodiedBench、ENACT 等具身基准多在仿真环境。本文的关键创新不在算法，而在评测范式——它把「会打德州扑克的 ShadowHand」作为同时考察指令基础、视觉解析、灵巧执行与闭环恢复的标准化测试床，使得一个基准可以同时回答「视觉模型能否精确读取对手筹码」与「策略模型能否在不扰乱其他牌/筹码的前提下完成指定原语」这两类原本分散在不同文献中的问题。
核心方法
DexHoldem 的方法整体思路是分层解耦 + 闭环组合。直觉上，它承认当前的灵巧操作模型与视觉语言模型都还没有强到能端到端打通「看—想—做—验」，因此把系统切成两层：底层是灵巧手策略层，输入三视角图像（俯视、第三人称、腕部）+ 本体感知 + 任务条件，输出 $30$ 维关节位置目标；上层是具身智能体层，负责把当前桌面状态解析成结构化博弈状态、推理出下一个 agent 原语（如 view_card(L)、raise_50），再通过确定性的工作流路由调用底层策略原语（pick_up_left、push_50 等）。两条评估路径互不干扰：政策基准在隔离原子原语上打分，agentic 感知基准在沙盒环境中按 $8$ 字段精确匹配打分，system-level 评估则把二者串成完整手牌流程，用 $6$ 类操作计数器（States、AP、DPP、WA、HL、RC）暴露闭环可靠性问题。
核心创新在于用德州扑克这个语义结构化的桌面游戏作为统一测试床，同时承载物理操作与认知感知两类评估。已有工作的本质局限在于评估维度的割裂：要么测电机（如 DexGraspNet 2.0 的抓取成功率），要么测认知（如 EmbodiedBench 的视觉问答），二者很难在同一物理设定下被同一基线同步比较。DexHoldem 的关键区别是：薄牌（厚度约 $0.3$ mm）与多面值筹码提供了天然的语义锚点（指定花色、指定面值、指定目标位置），使得「指令→物体基础→目标区域基础→精细接触执行」每一环节都可被独立打勾；同时，桌面状态在每次动作后必变，这迫使评估必须考虑场景保持与恢复，而不仅仅是终点状态成功。这种「语义结构 + 接触丰富 + 状态必变」的组合是本文最核心的设计选择。
方法步骤详情
实施分四步。第一步数据采集：ShadowHand + UR 在标准德州扑克桌上对 $14$ 原语（pick_up_left/right、put_down_left/right、view_card、push/pull 10/25/50/100）遥操作示教，每原语 $105$ 条（$100$ 训练 + $5$ 验证）共 $1470$ 条轨迹，带三视角视频与 $30$ 维关节标签。第二步策略评估：所有策略共享三视角 + 本体感知 + 任务文本输入与 $30$ 维动作输出接口，按 $100/5$ 切分训练，$80$-trial 物理 rollout，按 SP/DC/TF/DF 四级评分报告 SPSR 与 TCR。第三步感知评测：沙盒向感知器展示 agent 视角图像与前驱状态，要求解析 LS、TO、BI、CC、CB、RCI、OCI、SO 八字段结构化状态，按 Overall（严格匹配）与 Avg（字段均值）打分。第四步 system-level：Codex 驱动的 GPT 5.5 与 π0 配对跑闭环，记录 States/AP/DPP/WA/HL/RC 计数器。
技术新颖性
技术新颖性体现在三个层面。第一个层面是评测协议创新：作者提出 scene-preserving success rate (SPSR)与 task completion rate (TCR) 的双指标体系，把「完成局部目标」与「保持可继续的桌面状态」分离，这一点在已有灵巧操作基准中并不存在。第二个层面是感知子能力的正交分解：把视觉解析拆成 $8$ 个字段并定义严格的 Overall 与宽松的 Avg 双指标，使得「子能力强不等于组合强」这一现象（Opus 4.7 Overall $34.3\%$ vs GPT 5.5 Avg $66.8\%$）可以被显式量化。第三个层面是闭环可靠性的计数器化诊断：Table 3 提出的 States、AP、DPP、WA、HL、RC、LAP、LDP 八种操作计数提供了一种把「感知—决策—执行—恢复」误差累积可视化的小工具。三者结合，使得 DexHoldem 不只是又一份数据集，而是一种新的灵巧具身评估范式。
实验结果
实验得到三项核心发现。第一，π0.5 在 $80$-trial 调度下取得最高 TCR $61.2\%$，π0 与 π0.5 在 SPSR 上并列 $47.5\%$，但 π0 的 TCR 仅 $57.5\%$（DC 更少）。RDT 居中（$30.0\%$/$46.2\%$），DP-DINO 仅 $26.2\%$/$36.2\%$，DP-UNet SPSR $1.2\%$，表明 VLA 预训练收益仍显著。第二，agentic 感知最佳 Overall 仅 $34.3\%$（Opus 4.7），最佳 Avg 达 $66.8\%$（GPT 5.5），证明子能力堆叠 ≠ 完整状态恢复；BI 接近饱和（最高 $100\%$）、TO 高达 $94.4\%$，但 CB（当前注码）与 OCI（对手筹码）峰值仅 $45.8\%$、$43.8\%$，是闭环瓶颈。第三，system-level 三轨迹揭示误差累积：轨迹 (ii) 共 $54$ 状态、$26$ WA，正是筹码状态反复核验所致；三轨迹 HL $\leq 2$ 但 RC 与 WA 显著，反映筹码变化判别尚不够鲁棒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 灵巧策略基准（80-trial 调度，覆盖 14 原语） | TCR (Task Completion Rate, 含 disruptive completion) | π0.5 (2.94B) 取得 61.2% | DP-UNet 仅 1.2%；ACT 15.0%；DP-DINO 36.2% | π0.5 相对最强任务特定基线 DP-DINO 提升 +25.0 pp，相对 π0 (57.5%) 提升 +3.7 pp |
| 灵巧策略基准（80-trial 调度，覆盖 14 原语） | SPSR (Scene-Preserving Success Rate) | π0.5 与 π0 并列 47.5% | RDT 30.0%；DP-DINO 26.2%；BAKU 6.2% | π0.5/π0 相对 RDT 提升 +17.5 pp，相对 DP-DINO 提升 +21.3 pp |
| Agentic 感知基准（36 problems） | Overall 严格精确匹配率 | Opus 4.7 取得 34.3%（全场最佳） | GPT 5.5 / GPT 5.4 各 31.5%；Gemini 3 Flash 20.4%；Gemini 3.1 Flash L. 10.2% | Opus 4.7 相对 GPT 5.5 提升 +2.8 pp，但所有感知器都低于 35%，表明整体状态恢复仍是开放问题 |
| Agentic 感知基准（36 problems） | Avg 8 字段均值准确率 | GPT 5.5 取得 66.8%（全场最佳） | Gemini 3 Flash 51.5%；Opus 4.7 49.1%；Gemini 3.1 Flash L. 34.2% | GPT 5.5 相对 Opus 4.7 提升 +17.7 pp，与 Overall 名次倒挂 |
| RDT 微调数据规模研究（10/20/50/100% 数据） | 相对随机初始化的验证损失降低百分比 | 100% 数据：11.3% 降低；50%：10.7%；20%：9.0%；10%：1.2% | 随机初始化（视为 0%） | 数据越多收益越大，但 10% 数据下预训练几乎无收益，说明夹爪预训练对灵巧数据无显著少样本迁移 |
| System-level 闭环案例（3 轨迹） | 轨迹长度 States / AP / DPP / WA / HL / RC | 轨迹 (ii) 最长：54 状态、13 AP、22 DPP、26 WA、0 HL、1 RC | 轨迹 (i) 仅 22 状态但 HL=2；轨迹 (iii) 23 状态、HL=0 | 长手牌中筹码状态等待分支显著增加，闭环可靠性下降 |
局限与改进
作者明确承认四点局限。第一，平台单一化：固定 ShadowHand + UR + 固定相机布置 + 固定牌/筹码面额，无法回答跨硬件迁移性或新桌型泛化问题。第二，数据规模偏小：$1470$ 条演示相对于现代预训练 VLA 所用数据量微不足道，难以研究大规模策略扩展行为。第三，闭环轨迹数量有限：受限于硬件成本与场景搭建成本，仅释放 $3$ 条 system-level 案例，缺乏统计意义的成功率。第四，仿真重建仅用于几何检查，不复现接触动力学，因此 DexHoldem 的真实信号不可被仿真替代。本文的另一个隐含局限是所有物理评估仅在单一 ShadowHand 平台上完成，跨机构复现门槛高；此外，两层评估（策略 vs 感知）之间的耦合尚未被定量建模，难以回答「感知精度提升 $X\%$ 能给系统级成功率带来多少增益」这类关键问题。
独立分析的弱点
独立分析本文存在三个具体弱点。弱点一是感知与策略两层评估解耦不彻底：Table 2 给出 $8$ 字段精度，但并未把每字段误差折算为下游决策损失，导致无法判断「提升 CB 字段 $5$ 个百分点究竟值不值」。改进方向是引入效用加权感知指标，把字段误差与对最终决策正确率的影响挂钩。弱点二是策略比较的样本效率信息缺失：π0.5 与 π0 的 SPSR 都是 $47.5\%$，但 π0.5 的 DC 多 $3$ 次，无法判断这是数据效率还是模型架构差异，改进方向是报告数据曲线下的累积奖励或每条原语的条件成功率。弱点三是 system-level 案例太少且无可比基线：只有 GPT 5.5 + π0 一组配对，无法与 GPT 5.4 + RDT 或 Sonnet 4.6 + π0.5 等组合进行同台对比；改进方向是至少跑 $3$ 种 agent × $3$ 种策略的因子化对比。
未来方向
作者提出的方向包括：扩大演示规模以研究 VLA 预训练的扩展规律、降低硬件门槛使更多机构可复现、引入跨平台迁移评估、丰富原子原语集合。值得延伸的方向还有四类。第一，把 DexHoldem 的语义结构化优势推广到其他桌面游戏（21 点、桥牌）或多智能体博弈，建立可量化的「博弈难度梯度」用于压力测试。第二，把 system-level 计数器与策略/感知误差显式关联，建立「感知漏检 $X\%\to$ WA 增加 $Y$ 次 $\to$ 轨迹长度增加 $Z\%$」的因果链。第三，引入人类对手而非固定规则脚本，研究系统在真实非平稳对手下的鲁棒性。第四，把芯片感知与触觉反馈结合，探索在视觉失败时用触觉兜底的混合感知方案。最后，DexHoldem 的四级评分体系可被其他桌面基准（如装配、烹饪）借用，形成「场景保持型」评估的通用范式。
复现评估
复现性评估需要从五个维度衡量。第一，开源情况：项目页 https://dexholdem.github.io/Dexholdem/ 提到，但论文未明确说明代码、模型权重与 $1470$ 条遥操作数据是否完整开源；保守估计代码与数据部分开源，预训练 π0/π0.5/RDT 权重需依赖原仓库。第二，数据：$1470$ 条演示规模适中，每条原语 $100$ 训练 + $5$ 验证可直接复用，但需要 ShadowHand + UR + 三相机同步采集，普通实验室无此设备。第三，算力：π0.5 ($2.94$B) 与 π0 ($2.82$B) 的微调需要至少 $8$ 张 A100/H100 级别 GPU，单卡难以完成；任务特定基线（DP-DINO/ACT/BAKU）可在单卡完成。第四，复现难度：ShadowHand + UR 的标定、桌面布局标准化与四级评分的人工标注均需数周人工，整体复现门槛很高。第五，感知部分无需 ShadowHand，可单独复现 Table 2 的 $36$-problem 评测。
论文图表
