超越当前场景：基于主动视角选择的事件指称抓取 Beyond the Current Scene: Event-Referential Grasping with Active View Selection
结合事件历史推理与主动视角选择，零样本抓取被遮挡的事件指称目标
前置知识
事件指称（Event-Referential Instruction）
指令不按名称或外观描述目标，而是按目标在过去事件中扮演的角色来指称，例如“拿起人最早移动的那个物体”。系统必须从事件历史视频中恢复“谁在何时被如何操作”，才能解析出指令在当前场景中指向的具体物体实例或部件。
这是全文的任务定义。理解问题动机、指令构造方式和评测设计，都建立在这个概念之上。
TSDF 地图与体积信念
TSDF（截断符号距离函数）把 RGB-D 观测融合成带表面几何的 3D 地图，表示“已看到的场景”；体积信念 $b_t(x)$ 则是定义在容许工作空间 $\Omega \subset \mathbb{R}^3$ 上的目标位置概率密度，表示“目标可能在哪”，每次新观测按贝叶斯法则相乘更新。
论文的主动感知完全建立在“地图 + 信念”双表示之上，公式 (5)(8)(9) 全部围绕它们展开，不懂这套表示就无法读懂方法章节。
主动感知与 Next-Best-View（NBV）
主动感知指机器人主动选择下一个观测视角以最大化信息收益，而非被动接受固定视角。NBV 规划对每个可行候选视角 $\xi$ 计算评分（如期望减少的不确定性或期望否证的信念质量），执行最优视角后再循环评估，直到目标可见或感知预算耗尽。
本文的视角评分函数 $S_t(\xi)$（Eq. 8）正是 NBV 思想与事件条件目标信念的结合，是方法的核心机制。
透射率（Transmittance）
源自 NeRF 体渲染的概念：光线穿过介质时被吸收，$T=\exp(-\int\sigma\,du)$ 度量光线“存活”到某点的比例。本文借用它衡量射线穿过未观测空间的长度 $d_u$：穿过的未知区越长，越不能把“没看到”当作“不存在”的证据。
公式 (6) 的透射率折扣是视角评分的关键创新，消融实验（Table II）证明去掉它会使平均视角数从 2.20 升到 3.10。
VLA 与 WAM
VLA（视觉-语言-动作模型，如 $\pi$0.5）直接把指令与观测映射为机器人动作；WAM（世界动作模型，如 Cosmos 3）学习环境动力学并生成动作。两者是当前机器人操作的主流后端，但通常只基于当前观测决策，缺少对历史事件的空间推理。
论文用它们作为 VoLo 编排器的下游模型展示失败案例（Fig. 1），理解“识别目标 ≠ 抓得到目标”这一动机需要这个背景。
研究动机
真实工作空间是有历史的：在机器人被要求行动之前，物体可能已被移动、使用和收纳。此时指令可能按目标在过往事件中的角色来指称它，例如“拿起我刚用过的那个物体”，而非其名称或外观；更麻烦的是，当机器人行动时目标可能已经不在视野里。现有语言引导抓取方法（LERF-TOGO、GraspSplats、Point2Act、GraspMolmo）把指令与当前观测直接映射为抓取，只能解析当前场景中可见的名称、类别、外观或部件目标，对“藏在事件历史里”的指称无从下手。系统级编排器 VoLo 虽然能结合记忆正确识别目标并把文本描述传给下游 VLA（$\pi$0.5）或 WAM（Cosmos3-Nano-Policy），但论文实验（Fig. 1）显示两个下游模型在目标仍被遮挡时都无法完成定位与抓取——识别目标并不等于获得了抓取所需的视觉证据。另一路主动感知方法的视角评分只来自当前场景的几何信息增益（Breyer et al.）、抓取可供性或物体-遮挡物关系（VISO-Grasp），对一个在早期事件中被移走的物体几乎没有搜索指引，因为答案根本不在当前场景里。
本文的目标是本文目标是构建一个零样本（全程使用预训练模型、不做任何任务专用训练）的真实机器人抓取系统 BeyondCSe：输入一段记录人物桌面交互历史的腕部 RGB-D 视频和事件结束后发出的语言指令，系统要从历史中解析出被指称的目标物体或部件；若目标在当前初始观测中可见，直接输出 3D 动作点并抓取；若被遮挡，则利用从历史恢复的目标空间证据（事件先验）结合当前场景几何，主动选择最可能揭示目标的相机视角，循环“观测-更新”直到目标可抓取或搜索预算耗尽。在单一腕部 RGB-D 相机的真实机器人平台上，作者希望系统在可见与遮挡两种条件下都显著超越现有零样本抓取基线（最终 76%/77% 对最强基线 40%/55%），并在重遮挡场景中超越一个享有真值 3D 边界框的主动感知基线，同时量化事件历史证据对搜索代价（平均视角数）和抓取成功率的独立贡献。
与已有工作不同的是，本文的独特切入是把“事件历史”同时用于回答两个正交问题：目标“是什么”与相机“去哪看”。此前的历史依赖方法（MemoryVLA、MemER、VoLo 以及 RoboMME 评测的记忆条件策略）只用历史解决身份识别或动作条件化，不提供把相机移动到能看见目标处的空间证据；而主动感知方法（Breyer et al. 的几何增益、VISO-Grasp 的遮挡关系推理）从当前观测、抓取预测或通用语义关联导出搜索方向，无法利用“目标曾在哪、被移向哪”的实例级线索。BeyondCSe 用目标自身的历史观测构建事件条件空间先验，而非当前场景的泛化语义；在视角评分中进一步显式建模“目标可能位置的可见性”，用透射率对穿过未观测空间的射线打折，明确否定“未观测 = 自由空间”的天真假设。这一概率体积式表述——先验结构化初始信念、非零似然做软更新、透射率感知视角评分——在零样本设定下把视频推理与主动感知首尾连通，是与两条已有路线的本质区别。
核心方法
整体直觉是：先让多模态大模型“看懂”过去发生了什么，再让几何模块决定“现在去哪看”。系统分两大模块（Fig. 2）：视频推理模块用现成 MLLM（Qwen3-VL-8B）与点跟踪器（CoTracker3）把事件历史视频和指令转化为目标的 3D 动作点 $p^\star$；事件条件主动感知模块在初始定位失败时接管，维护 TSDF 地图与目标位置信念，执行信念引导的视角搜索。流程上：RECORD 阶段把无指令视频整理成时间有序事件记录 $E=(e_1,\dots,e_N)$，每个事件含动作、对象与关联对象；SELECT 读事件记录与指令，产出目标外观描述和区分性事件线索 cue；LOCATE 用 cue 在初始帧 $I_0$ 提议区域框，POINT 在裁剪图上返回动作像素，经有效深度与相机位姿抬升为 3D 点。若成功则跳过搜索直接抓取验证；否则从近期到早期检索历史帧，恢复目标的 3D 事件轨迹 $P=(q_1,\dots,q_m)$。主动感知以 $P$ 初始化信念 $b_0$，循环执行“评分选视角（Eq. 8）→ 执行采集 → 更新地图与信念（Eq. 9）→ POINT 确认”，直到确认目标进入抓取验证或可行视角耗尽而放弃。关键超参数：帧末端比例 $\rho=2$、最小方差 $\delta_0=0.05$ m、均匀混合权重 $\epsilon=0.1$、透射率下限 $\kappa=0.33$、衰减兜底 $\sigma_t=2.0$ m$^{-1}$。
核心创新有三层。其一，事件条件空间先验：不从当前场景泛猜目标在哪，而是用目标自己的历史 3D 观测估计它最后去了哪。以最后一次观测为中心 $\mu_e=q_m$，取轨迹终端段（长度 $h=L/\rho$）的弧长积分协方差 $C_{tail}$ 塑形，$\Sigma_e=\delta_0^2 I_3+C_{tail}$，只刻画末端走向而不外推运动；再与工作空间均匀密度按权重 $\epsilon$ 混合，$b_0(x)=(1-\epsilon)\,\mathcal{N}_\Omega(x;\mu_e,\Sigma_e)+\epsilon\,\mathbb{1}_\Omega(x)/|\Omega|$，保证历史估计失准时仍可全局恢复。其二，透射率感知可见性：候选视角 $\xi$ 下对假设点 $x$ 的观测置信度被 $T_t(x;\xi)=\kappa+(1-\kappa)\exp[-\sigma_t d_{u,t}(x;\xi)]$ 衰减，$d_{u,t}$ 是射线穿过未观测空间的长度——借鉴 NeRF 体渲染透射率但不学任何辐射场，用解析式惩罚“看似信息量大、实则射线全在未知区”的视角，直击几何增益类方法把未知当自由空间的盲点。其三，贝叶斯软更新：负观测只降权不排除，$b_{t+1}(x)\propto b_t(x)\,L_{dep,t+1}(x)\,L_{miss,t+1}(x)$，两个似然都限制在 $(0,1]$。视角评分 $S_t(\xi)=\int_\Omega b_t(x)\left[1-L_t^-(x;\xi)T_t(x;\xi)\right]dx$ 直接度量“这次观测期望否证多少信念质量”。与需要真值 3D 框驱动的 Breyer et al. 相比，本文信念完全从历史无监督恢复且闭式更新、无需训练。
方法步骤详情
第一步 RECORD：输入无指令的事件历史视频，均匀采样 96 帧、温度 0 确定性解码，Qwen3-VL-8B 输出时间有序事件记录 $E$，每个事件 $e_i=(a_i,o_i,r_i)$ 描述动作、对象与关联对象。第二步 SELECT：输入 $E$ 与指令 $\ell$，输出目标外观描述（交给 POINT）与区分性事件描述 cue（交给 LOCATE）。第三步 LOCATE+POINT：LOCATE 在初始帧 $I_0$ 为 cue 提议区域框；POINT 在裁剪图上为 target 返回动作像素——裁剪既缩小干扰物歧义又放大小部件（如杯柄）；无可用点则扩框直至使用全图；返回像素经有效深度与已知相机-基座变换抬升为 3D 动作点 $p^\star$，直接进入抓取验证。第四步历史恢复：若初始定位失败，从近期到早期遍历采样帧，CoTracker3 追踪匹配像素，剔除视频结束时仍可见的轨迹，按外观最近优先选出目标轨迹，把有效深度样本抬升为 3D 轨迹 $P=(q_1,\dots,q_m)$。第五步信念初始化：由 $P$ 按公式 (2)-(5) 构造高斯-均匀混合先验 $b_0$，同时把初始 RGB-D 融成 TSDF 地图 $M_0$，$\Omega$ 取被遮挡或深度缺失留下的未解析区域。第六步视角搜索循环：围绕高概率信念区域生成候选视角，经运动学、自碰撞与场景碰撞检查筛出可行集 $\Xi_t$；按 Eq. 8 评分并执行最优视角 $\xi_t^\star$；新关键帧（平移 0.10 m 或旋转 15° 触发）积分深度更新 $M_{t+1}$，并按 Eq. 9 做深度一致性似然与目标未现似然的联合更新；每步用 POINT 查询目标描述，命中即得 $p^\star$ 并结束搜索。第七步抓取验证：确认后按 Breyer et al. 流程生成并校验抓取候选（配 AnyGrasp），目标几何不足时追加一个目标中心细化视角再重新生成，最终执行抓取或超预算放弃。
技术新颖性
技术新颖性体现在四个层面。表示层面：把“目标在哪”显式建模为工作空间上的概率密度而非点估计，事件先验以“最后观测 + 终端路径协方差”的高斯与均匀分布混合，兼顾历史引导与可恢复性——这是对 NBV 文献中均匀密度或几何启发假设的实质替换。评分层面：跨域借用体渲染的透射率项 $T_t=\kappa+(1-\kappa)\exp(-\sigma_t d_u)$，不训练任何网络，只用射线穿过未观测空间的长度做解析衰减，解决了“未知空间被当作自由空间导致视角评分过于乐观”的通病，消融中去掉它使平均视角数从 2.20 恶化到 3.10。更新层面：负观测采用深度一致性 $\times$ 目标未现的可分离似然，全部落在 $(0,1]$，形成严格收缩的贝叶斯更新，避免硬排除造成不可恢复的错误丢弃。系统层面：全流程零样本，MLLM（Qwen3-VL-8B）、点跟踪（CoTracker3）、抓取（AnyGrasp）均为现成模型；事件推理与几何主动感知通过“目标描述 + cue + 3D 轨迹”三个接口解耦，可分别替换升级。Table II 的消融逐项验证了信念加权、透射率与事件先验各自的贡献，说明这些组件是互补设计而非简单堆叠。
实验结果
真实机器人实验在 ROBOTIS OMY-F3M 机械臂 + 腕部 Intel RealSense D435i 上完成，感知跑在单张 RTX 4090 上，共 150 次抓取试验（可见条件 50 次、遮挡条件 100 次）。主对比（Fig. 6 与 Table I）：原始指令下所有基线接近失效——LERF-TOGO 0.0%、GraspSplats 0.0%、Point2Act 9.3%、Point2Act†（RGB-D 重建版）22.7%，而本文系统达 76.7%；换用 Qwen3-VL-8B 从历史视频生成的 reasoned 指令后基线全面回升（18.7%/34.7%/19.3%/50.0%），本文仍以 76.7% 领先最强基线 26.7 个百分点。分条件看：可见目标定位 43/50、抓取 38/50（76%），最强基线抓取 20/50（40%）；遮挡目标定位 88/100、抓取 77/100（77%），最强基线 55/100（55%），定位成功率分别领先 32 和 20 个百分点。主动感知对比（Table II，4 个重遮挡场景、共 20 次试验）：即使给 Breyer et al. 提供真值 3D 边界框，它平均需 3.35 个视角、成功 15/20（75%）；完整方法只需 2.20 个视角、成功 19/20（95%）。消融实验：去掉信念加权后平均视角数涨到 4.65、成功率降至 80%；去掉透射率后 3.10 个视角、90%（场景 S3 恶化到 5.2 个视角）；去掉事件先验后成功率持平 95% 但视角数从 2.20 升到 4.00——说明先验的主要价值是节省搜索代价而非直接提升成功率。定性上（Fig. 8），同一流水线不做任何提示词修改，即可在 EgoDex 和 EPIC-KITCHENS 的自我中心视频上解析“第二个放到盘子上的”“第二个被洗的”这类顺序指称并输出正确的 2D 指点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 真实机器人事件指称抓取（目标可见，50 次试验） | 抓取成功率 | 76%（38/50） | 最强基线 40%（20/50，reasoned 指令下的 Point2Act†） | +36 个百分点 |
| 真实机器人事件指称抓取（目标被遮挡，100 次试验） | 抓取成功率 | 77%（77/100） | 最强基线 55%（55/100） | +22 个百分点 |
| 全部 150 次试验汇总（Table I） | 抓取成功率 | 76.7% | 50.0%（reasoned 指令下的 Point2Act†）；原始指令下最强基线仅 22.7% | +26.7 个百分点 |
| 4 个重遮挡场景的主动感知（Table II，20 次试验） | 抓取成功率 / 平均视角数 | 95%（19/20）/ 2.20 个视角 | Breyer et al.（享有真值 3D 边界框）75%（15/20）/ 3.35 个视角 | 成功率 +20 个百分点，视角数减少 34% |
| 信念消融（Table II） | 平均视角数 / 抓取成功率 | 完整方法 2.20 / 95% | 去信念加权 4.65 / 80%；去透射率 3.10 / 90%；去事件先验 4.00 / 95% | 各组件分别节省 19%-52% 的视角数 |
局限与改进
作者明确承认的假设是目标在搜索期间保持静止——信念更新没有运动模型，一旦搜索过程中有人再次移动物体，事件先验和后验都会失真。此外可以观察到：事件历史视频由腕部相机在固定观测位姿录制，视角单一，历史 3D 证据的质量和覆盖受限，长程或大幅位移事件的恢复鲁棒性存疑；指令类型限于事件顺序（先/后移动、先/后放置、遮挡归因）与部件引用，未覆盖更抽象的时间或因果指称；评测规模较小——主对比 30 个场景-查询对、重遮挡消融仅 4 个场景 20 次试验且每格 5 次，置信区间较宽，2.20 与 3.10 视角之差的统计显著性存疑；论文未报告系统延迟，96 帧 MLLM 推理加逐视角 CoTracker3 与 POINT 调用的在线成本可能限制实际部署；EPIC-KITCHENS 例子中 LOCATE 在最终帧的区域估计不准确，靠扩大裁剪才由 POINT 挽回，说明区域提议仍是脆弱环节；场景为桌面级刚性物体，未涉及可变形物体或大空间导航。
独立分析的弱点
第一，静止假设在真实家庭中很容易被打破——宠物、他人甚至气流都会移动目标；改进方向是给信念引入随机运动模型（恒速或扩散过程），或用增量式事件重录在线重估先验。第二，错误级联：SELECT 对事件的误解会沿 cue→LOCATE→POINT 一路传播，系统缺少置信度门控与回退策略；可让各阶段输出校准置信度，低置信时对历史维护多假设并行追踪。第三，POINT “漏检可见目标”的概率 $L_{miss}$ 是启发式组合，未经数据校准；用小规模标注回归该概率可让贝叶斯更新更可信。第四，评价统计功效不足：重遮挡消融每格仅 5 次试验、共 20 次，应扩充场景数并报告方差与显著性检验。第五，腕部单相机固定位姿录制历史限制了三角测量，深度噪声会直接进入终端协方差 $C_{tail}$；改为多视角或缓慢移动录制能显著改善先验质量。第六，工作空间 $\Omega$ 依赖初始深度观测的未解析区域，若目标最终被放进初始完全不可见的容器内部，先验支撑集可能不包含真值，混合项 $\epsilon$ 的均匀兜底只能部分缓解。
未来方向
作者提出的直接延伸是把系统扩展到目标在搜索期间继续运动的交互场景，即在信念更新中加入显式运动模型。基于本文成果还可延伸多个方向：把事件条件信念与 MemoryVLA 类记忆策略结合，让“去哪看”的主动搜索能力反哺端到端策略训练；将 RECORD/SELECT 升级为流式在线事件记录，支持指令发出之后新发生事件的指称；在更大规模、带真值 3D 框的仿真基准上系统评测透射率与事件先验各组件，弥补真实实验统计功效的不足；把定位阶段的多假设候选与抓取验证联合规划，形成“搜索-确认-抓取”一体化的 POMDP 求解；以及为部件级目标（花茎、杯柄）设计带形状感知的信念表示——目前部件抓取只依赖裁剪放大指点，尚无几何形状建模；更远可以探索多机器人协作下的分布式事件记忆与视角分工。
复现评估
复现条件总体较友好，但真机门槛不低。论文给出项目页与 GitHub 代码链接；所有模型均为公开现成件：Qwen3-VL-8B、CoTracker3、AnyGrasp，单张 NVIDIA RTX 4090 即可运行全部感知，不需要任何任务专用训练。关键超参数在论文中披露完整：96 帧均匀采样、温度 0 解码、$\rho=2$、$\delta_0=0.05$ m、$\epsilon=0.1$、$\kappa=0.33$、$\sigma_t$ 兜底 2.0 m$^{-1}$、关键帧阈值 0.10 m 平移或 15° 旋转。主要障碍在硬件与数据：需要机械臂（ROBOTIS OMY-F3M 或类似）+ 腕部 RealSense D435i 及手眼标定；评测场景（30 个场景-查询对 + 4 个重遮挡场景）需自行搭建和录制，没有公开数据集或官方划分；对比基线中 Point2Act† 还需额外搭 RGB-D 重建管线。对没有机器人条件的研究者，EgoDex 与 EPIC-KITCHENS 上的定性视频推理部分可先行复现验证。总体评估：软件部分中等偏易，全系统真机复现较难。
论文图表
对比图：指令“拿起最后被移动的罐子”下，VoLo 编排器（路线 A）虽正确识别目标并分别调用 $\pi$0.5 与 Cosmos3-Nano-Policy，但两者面对被遮挡目标都失败；本文系统（路线 B）从历史观测初始化空间信念，主动选择能揭示目标的视角后成功抓取。
一图讲清论文动机：识别目标（记忆推理）与获得抓取所需视觉证据（主动感知）是两个被现有系统割裂的问题，本文的贡献正是把二者连通。
两组真实评测指令示例：可见条件（A）中“拿起装梨杯子的杯柄”——目标部件可见但需历史才能确定是哪个杯子；遮挡条件（B）中“拿起人最早移动的物体”——立方体在初始观测中被墙挡住，必须依赖事件历史与主动搜索。
直观定义了可见/遮挡两种评测条件的语义，帮助理解 Table I 与 Fig. 6 中分条件成绩的含义与难度差异。
150 次试验的抓取成功率表：原始指令下 LERF* 0.0、P2A 9.3、GS 0.0、P2A† 22.7、Ours 76.7；reasoned 指令下依次为 18.7、19.3、34.7、50.0、Ours 76.7。本文方法作为全系统参照在两种指令条件下重复评测。
核心定量结论的出处：既量化了事件历史（reasoned 指令）对所有方法的增益，也量化了本文主动感知相对纯文本推理的额外收益（+26.7 个百分点）。
重遮挡主动感知与信念消融表：Breyer et al.（有真值 3D 框）3.35 视角、75% 成功；去信念加权 4.65 视角、80%；去透射率 3.10 视角、90%；去事件先验 4.00 视角、95%；完整方法 2.20 视角、95%。
逐组件归因的关键证据：事件先验主要节省搜索代价（视角 2.20→4.00），透射率防止对未知空间的乐观评分（S3 上 2.4→5.2 视角），信念加权提供鲁棒性（95%→80%），是理解方法各部分价值的必读表格。