TAPFormer：基于瞬态异步融合的鲁棒任意点跟踪（帧与事件融合） TAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events
提出瞬态异步融合把高频事件注入低频RGB特征，首套真实帧-事件TAP基准SOTA。
前置知识
任意点跟踪 TAP
Tracking Any Point：在视频序列的任意初始像素位置上估计其完整运动轨迹，并在像素级别判断可见性（是否被遮挡）。不同于光流只估计相邻帧之间的稠密对应，TAP 要求长期一致、逐点精确，对 AR、机器人视觉里程计等应用非常关键。TAP-Vid、PointOdyssey、CoTracker 是其代表数据集与基线。
本文核心任务设定，所有实验指标（AJ、δvisavg、OA、FA、EFA）都围绕 TAP 体系展开；不理解 TAP 的 '长期一致 + 像素精度' 双重要求，就无法体会 TAF 机制为何必须显式建模帧间时间演化，也无法判断 CLWF 模块的设计是否合理。
事件相机与异步事件流
事件相机按像素异步触发事件：当某个像素的对数亮度变化超过阈值 c 时输出一个事件 e_k=(x_k, y_k, t_k, p_k)，其中 t_k 为微秒级时间戳，p_k ∈ {-1, +1} 表示亮度变化方向。事件触发条件 ΔL = p_k c。事件相机具有高动态范围（>120 dB）和极高时间分辨率（μs），但缺少颜色纹理，且在静止/慢速场景中事件稀疏。
事件是本文的高频更新源，TAF 机制正是利用事件 μs 级时间分辨率去弥补 RGB 20–30 Hz 帧率的不足；理解事件 '异步触发 + 场景运动耦合 + 静止稀疏' 三个特性，才能体会为何简单同步拼接会失效，以及 TAF 为何要用独立的 cross-attention updater。
EDI（Event-based Double Integral）模型
一种把事件流积分重建潜在清晰图像的物理模型：观测到的模糊帧 B̃ 可以近似为窗口内潜在锐利图像与事件生成的曝光调制量的时间积分，形式为 B̃ ≈ log[(1/T)∫ exp(cE(t)) dt]。本文用 EDI 模型的物理直觉解释为何融合曝光窗口内的事件与当前帧能近似恢复瞬时清晰场景。
TAF 机制的设计灵感正是来自 EDI 把图像视为 '潜在清晰帧的时间积分' 这一物理视角；作者没有直接用 EDI 重建像素，而是借用其 '离散观测 + 连续事件生成' 的思路把融合形式化为跨注意力更新器，不理解 EDI 就看不懂 TAF 公式背后的物理直觉。
Transformer 迭代轨迹优化器
借鉴 DETR 的迭代优化思想，把 TAP 视为 query refinement：用局部 patch correlation、相对位置编码、可见性 embedding 通过时空 Transformer 迭代预测 Δx 和 Δv，迭代若干次直到收敛。CoTracker3 即此路线的代表。
本文的轨迹解码器沿用 CoTracker3 的 DETR 风格优化器：迭代预测 Δx/Δv，靠 patch-correlation 与时空 Transformer 融合局部与全局上下文。如果不熟悉这套范式，就难以理解为何作者强调 '只需 3 次迭代' 以及多尺度融合金字塔 $P^{(l)}$ 在其中的作用。
研究动机
现有 RGB-only 点跟踪器（如 CoTracker3、PIPs++、Chrono）在低光、过曝、快速运动场景下退化严重，根本原因是固定帧率（20–30 Hz）的相机既无法捕捉亚帧运动，又对运动模糊和高动态范围光照束手无策。以 FETAP 为代表的同步融合方法为对齐两种模态通常将事件流下采样到帧率（例如每个事件帧仅在 RGB 帧到达时聚合一次），这种做法牺牲了事件 μs 级时间分辨率的天然优势，并在两种模态出现冲突时（一边清晰、一边模糊）缺乏自适应选择机制，导致单模态退化时整体性能断崖式下跌。另一类事件-only 方法（如 ETAP、MATE）虽然时间分辨率高，但缺乏颜色和静态纹理，在慢速/静态场景中事件稀疏，几乎无法工作。
本文的目标是本文的目标是构建一个能在不同光照（白天/夜间/过曝/低光）和不同运动速度（慢/快）下都稳定工作的任意点跟踪器，并使其跟踪频率远超 RGB 帧率。具体而言，作者希望同时解决两个层面的问题：(1) 频率失配——通过持续的事件更新让帧间特征也能保持高频时间一致性；(2) 模态可靠性差异——让融合权重随局部空间可靠性自适应调整，使模糊或过曝区域的退化被另一模态自动补偿。
与已有工作不同的是，本文的独特切入角度是 'transient asynchronous fusion'——把场景视为时序连续的潜变量而不是离散的帧序列。具体包含两层新意：第一，TAF 机制在帧到达时用跨模态局部加权融合初始化瞬态表示 $R_t$，并在帧之间通过轻量 cross-attention updater $\mathcal{U}$ 持续用事件更新该表示，让跟踪可在事件率（100–200 Hz）而不是帧率上推理；第二，CLWF 模块引入局部跨注意力，让每个事件 token 查询其空间邻域内的图像 token，并通过 locality bias $M_{j,i}$ 让融合权重局部平滑、模态自适应。配合作者新构建的首个真实场景帧-事件 TAP 基准（InivTAP+DrivTAP 共 13 段、20,450 个标注点），端到端验证了异步融合相对于同步融合的优势。
核心方法
TAPFormer 的整体思路是 '先把两种模态异步揉进一个会随时间持续更新的瞬态表征，再用 Transformer 轨迹优化器在这个表征上迭代查询'。直觉上，每来一帧 RGB 就把它和曝光窗口 $W_t=(t-\delta, t]$ 内累积的事件做一次局部跨模态融合，得到一个 '瞬态 token' $R_t$；两张相邻 RGB 帧之间的事件再用一个小型的 cross-attention updater 反复更新这个 token，使其在事件率（典型 100–200 Hz）上连续演化。然后，这些瞬态 token 过一个时间自注意力层加上时空位置编码，再经过带 skip 的解码器上采样得到多尺度融合特征金字塔 $P=\{P^{(l)}\}_{l=0,1,2}$。最后沿用 CoTracker3 的迭代轨迹优化器，对初始 query 做三次 patch-correlation 时空 Transformer 优化，输出每步的 $(x_t, y_t)$ 坐标和 $v_t$ 可见性。整个网络在 $512\times512$ 自合成 FE-FastKub 数据集（48 FPS，含运动模糊）上训练，单次前向只需 3 次迭代即可收敛。
核心创新有两点，对应解决 '时间错位' 与 '模态可靠性不均' 两个老大难。第一点是 TAF（Transient Asynchronous Fusion）：区别于 FETAP 等同步聚合方法把事件降采样到帧率，本文把场景状态显式建模为时序连续的潜变量 $R_t$，帧到达时用 $\mathcal{G}(\Phi_I(I_t), \Phi_E(\mathcal{F}(\mathcal{E}\cap W_t)))$ 初始化，帧间用 $\mathcal{U}(\mathcal{R}_{t+\Delta-1}, \Phi_E(\mathcal{F}(E_{t+\Delta})))$ 跨注意力更新器持续注入事件，相当于把 '帧间空白' 用事件填空。第二点是 CLWF（Cross-modal Local Weighted Fusion）：不是直接拼接或全局加权和，而是让事件 token 作为 query 在图像 token 的空间邻域 $\mathcal{N}(j)$ 内做局部跨注意力，融合权重 $A_{j,i}=\frac{\exp(\langle q_j, k_i\rangle/\sqrt{d})M_{j,i}}{\sum_{i'}\exp(\langle q_j, k_{i'}\rangle/\sqrt{d})M_{j,i'}}$ 自适应地更看重当前更可靠的模态，其中 $M_{j,i}$ 是鼓励空间平滑 locality bias。两点结合实现了 '时间维度异步 + 空间维度自适应' 的双重解耦。
方法步骤详情
训练与推理流程可拆为 5 步。第一步，事件编码：原始事件流 $\mathcal{E}=\{e_k\}$ 被划分为时间窗 $E_t=\{e_k \mid \tau_{t-1}<t_k\le\tau_t\}$，并用 Stacking Based on Time (SBT) 方案转换为 Time Surface 表示 $I_t^{ev}=\mathcal{F}(E_t)\in\mathbb{R}^{H\times W\times B}$（实验对比 Event Image、Voxel Grid、Time Surface 后选择 Time Surface）。第二步，模态编码：图像 $I_t$ 与事件 $I_t^{ev}$ 分别经过模态专属 CNN backbone $\Phi_I, \Phi_E$ 得到 token。第三步，TAF 初始化（每帧一次）：$R_t = \mathcal{G}(\Phi_I(I_t), \Phi_E(\mathcal{F}(\mathcal{E}\cap W_t)))$，其中 $\mathcal{G}$ 即 CLWF 局部跨注意力；输出 $R_t$ 即该帧的瞬态表示。第四步，TAF 帧间更新（每个事件 bin 一次）：$\mathcal{R}_{t+\Delta}\leftarrow \mathcal{U}(\mathcal{R}_{t+\Delta-1}, \Phi_E(\mathcal{F}(E_{t+\Delta})))$，更新器为单层 cross-attention。第五步，解码与轨迹优化：把多帧的 $R_t$ 堆叠加上时空位置编码，经 temporal self-attention 与 U-Net 式解码器（带 skip）上采样到原始分辨率得到多尺度特征金字塔 $\{P^{(l)}\}$；再以 $W=16$ 的滑动窗按 CoTracker3 方式采样 $(2r+1)\times(2r+1)$（$r=3$）局部 patch，做 patch-correlation + MLP + 时空 Transformer，迭代 3 次预测坐标残差 $\Delta x$ 与可见性残差 $\Delta v$。训练时输入为 12 Hz 图像、48 Hz 轨迹监督（FE-FastKub），让网络显式学到帧间瞬态变化。
技术新颖性
本文在 TAP 方向上的新颖性可从数据、任务设定、机制三个维度评估。在数据层面，FE-FastKub 把帧率从 12 Hz 提升到 48 Hz，并显式加入运动模糊；同时首次公开手动标注的真实场景帧-事件 TAP 基准（InivTAP+DrivTAP 共 20,450 点），弥补了真实数据空白。在机制层面，把 EDI 的 '潜在连续 + 离散观测' 视角形式化为可学习的瞬态表征更新器，是首个把异步融合落地到像素级 TAP 而非粗粒度目标检测/光流的工作。在适配层面，CLWF 用 spatial locality bias 把融合权重的空间平滑作为归纳偏置，避免跨注意力在像素级任务上 '挑 token' 的不稳定性。整体而言，相较 FETAP（同步聚合 + 无显式时间建模）和 ETAP（仅事件无纹理），TAPFormer 同时拥有帧的纹理、事件的高频时间和自适应融合三方面的优势。
实验结果
在两个真实场景 TAP 基准 InivTAP/DrivTAP 上，TAPFormer 全面领先（Table 1）：InivTAP 上 AJ=57.0、δvisavg=69.9、OA=95.2，对比 CoTracker3（41.8/53.2/72.8）、ETAP（12.8/22.3/86.3）、FETAP（42.2/54.9/83.9）；DrivTAP 上 AJ=48.8、δvisavg=60.1、OA=97.8，对比 ETAP（13.5/27.8/68.1）、FETAP（36.8/46.4/95.2）。论文报告整体 δvisavg 提升 28.2%，在 DrivTAP 上 AJ 比 ETAP 高 261.5%、比 CoTracker3 高 31.5%、比 FETAP 高 32.6%，且推理速度 20.2 ms/step 比 FETAP（23.4）更快。在特征点跟踪 EDS/EC 基准（Table 2）上，TAPFormer 平均 FA=82.3/EFA=70.4（EDS）和 93.3/92.6（EC），均刷新 SOTA，例如 EC 上比 CoTracker3 的 92.5/91.9、ETAP 的 88.1/87.6 都有提升。逐场景分析（Table 6）显示，'Static' 场景下本文 F+E AJ=78.9、δvisavg=90.0，远超 ETAP（10.6/22.3），证明事件稀疏时帧提供了关键补偿；'Fast' 场景下 F+E AJ=39.5，也显著优于纯事件 ETAP（27.6）和纯帧 CoTracker3（28.0），证明帧间被事件填空后高频推理有效。Table 3 消融表明：FE-FastKub 数据集本身带来 FA 0.646→0.701 的大幅提升，加入 CLWF 融合模块到 0.763，叠加 TAF 异步更新到 0.803，再加 MSSF 多尺度语义特征和 TAM 时间注意力模块最终达到 0.823/EFA 0.704，每一项都带来渐进收益。Table 4 的帧率敏感性实验最具说服力：当帧率从 75 FPS 降到 9.375 FPS，CoTracker3 的 FA 从 83.9 暴跌到 13.2（损失 84%），而本文方法仅从 85.1 降到 75.8（损失约 11%），证实 TAF 机制让跟踪对低帧率输入近乎鲁棒。Figure 7 进一步可视化显示，慢速场景两者差距不大，但快速场景下本文相对优势随帧率下降而扩大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| TAP on InivTAP | AJ / δvisavg / OA | 57.0 / 69.9 / 95.2 | FETAP 42.2 / 54.9 / 83.9；CoTracker3 41.8 / 53.2 / 72.8 | AJ 相对 FETAP +35.1%，相对 CoTracker3 +36.4% |
| TAP on DrivTAP | AJ / δvisavg / OA | 48.8 / 60.1 / 97.8 | FETAP 36.8 / 46.4 / 95.2；ETAP 13.5 / 27.8 / 68.1 | AJ 相对 FETAP +32.6%，相对 ETAP +261.5% |
| Feature tracking on EDS | FA / EFA | 82.3 / 70.4 | FETAP 72.2 / 63.2；CoTracker3 80.2 / 68.8 | FA 相对 FETAP +14.0%，相对 CoTracker3 +2.6% |
| Feature tracking on EC | FA / EFA | 93.3 / 92.6 | CoTracker3 92.5 / 91.9；ETAP 88.1 / 87.6 | FA 相对 ETAP +5.9%，EFA 相对 CoTracker3 +0.8% |
| Frame-rate robustness on EDS (75→9.375 FPS) | FA 保持率 | 85.1 → 75.8（下降约 11%） | CoTracker3 83.9 → 13.2（下降约 84%） | 在 9.375 FPS 极低帧率下相对 CoTracker3 提升 +62.6 个 FA 点 |
| 速度加权 SLAM AUCv | AUCv | 6.29（仅 IMU+mono event+mono image） | SuperEvent 6.27（IMU+stereo event+stereo image）；SDEVO 6.13（仅 stereo event） | 用更少模态（仅单目事件+单目图像）取得最佳 AUCv |
局限与改进
作者在论文中没有专门设 'Limitations' 章节，但从实验与设计可以归纳出以下局限。第一，TAF 机制依赖每帧到来时用 CLWF 初始化一次瞬态表示，因此当 RGB 帧长时间完全失效（如镜头被遮挡或彻底过曝到无结构）时仍会丢失锚点；Table 6 显示在 'Overexposure' 场景下本文 F+E AJ=38.6，虽然显著高于 ETAP 的 10.6，但仍低于 'Static' 的 78.9，说明极端曝光下 RGB 的拖累依然存在。第二，CLWF 局部跨注意力的邻域大小固定（取决于 token 网格划分），缺乏对超高速运动的大位移显式建模；如果单帧内事件覆盖的位移超过邻域半径，融合可能滞后。第三，TAF 的事件更新器是单层 cross-attention，对长时间（>10 帧）跨度的累积误差没有显式约束，作者也承认 'Between frames, this representation is continuously updated by incoming events through a lightweight cross-attention updater' 是一种轻量近似。第四，数据集规模有限：InivTAP 仅 8 段序列、DrivTAP 仅 5 段，虽然点标注数量达 20,450 但场景多样性受限，且作者指出 'manually annotating a 5 s sequence typically takes about two hours'，未来扩展成本高。第五，训练仅在合成数据 FE-FastKub 上完成，虽然作者做了大量真实数据测试，但域迁移到完全不同 sensor stack（如 Prophesee EVK2 与 DAVIS346 之间）的细节表现未充分讨论。
独立分析的弱点
独立分析后，本文有以下可改进的弱点。弱点一：CLWF 的 locality bias $M_{j,i}$ 是预设的固定邻域结构，无法对场景中运动模式（旋转、缩放、深度变化）做形变；建议引入可变形邻域（deformable cross-attention）或者基于光流的 warping 邻域，使局部融合能跟随图像几何形变。弱点二：TAF 的帧间更新器只用了 cross-attention 单层结构，没有像视频扩散模型那样引入时序卷积或递归记忆；当事件稀疏（slow/static 场景）时帧间 '空白' 拉长，单层注意力难以保持长程一致性，建议加入 GRU/Mamba 等序列记忆模块。弱点三：训练数据 FE-FastKub 仅包含 10,953 段合成视频，且只覆盖 Kubric 的合成物体 + v2e 合成事件，对真实事件噪声（背景活动噪声、refractory period）模拟不足，导致模型在 DrivTAP 这种含真实噪声的数据上 AJ 仍只有 48.8 而非接近 60+；建议引入基于真实事件噪声统计的增广策略。弱点四：TAF 初始化仅在每帧一次融合，没利用多帧历史信息；可以扩展为 'sliding window initialization'，把过去 K 帧的瞬态表示也纳入初始化，缓解单帧退化。弱点五：迭代次数被作者主动设为 3 以提速，但 Table 4 中 12.5 FPS 输入下本文仍损失约 6.5% 性能，如果允许 4–5 次迭代可能进一步提升，对实时性影响有限。
未来方向
作者在结尾没有显式列 future work，但根据方法与实验可以延伸出以下方向。第一，把 TAPFormer 作为 SLAM/VIO 前端嵌入到事件相机里程计系统中（论文已展示 AUCv=6.29 vs SuperEvent 6.27 vs SDEVO 6.13 的初步结果），未来可探索与 OKVIS2、VINS-Fusion 等系统的深度耦合以及与 IMU 预积分的紧耦合优化。第二，把 TAF 的 '瞬态持续更新' 思想泛化到其他像素级任务，如视频超分、帧插值、目标 6-DoF 跟踪。第三，构建更大规模、含真实事件噪声的 TAP 基准，并把 TAPFormer 拓展到长视频（数千帧）的全局轨迹跟踪，避免当前滑动窗 $W=16$ 带来的潜在漂移。第四，把 TAF 与最近的事件-帧扩散模型（如 EvDiCo、EventDiff）结合，用扩散先验代替手工 CLWF 提升初始化质量。第五，扩展到多相机/多事件相机系统的联合融合；目前 TAPFormer 是单 RGB+单事件，可探索多视角下的几何一致性融合。第六，结合基础模型（Foundation Models）：论文提到 Chrono 在 DINOv2 上加 temporal adapter 取得收益，未来可把 TAPFormer 的特征金字塔接到 DINOv2/PatchFusion 等更强大的基础特征上，以进一步提升长程跟踪鲁棒性。
复现评估
复现评估总体偏中等偏上。代码与项目页（论文给出 tapformer.github.io）暗示开源（论文未明确说 'code will be released'，但给出了网址）。数据集方面，FE-FastKub 是基于 Kubric + v2e 合成的，理论上可复现，但合成渲染 10,953 段 48 FPS 视频需要较强算力与时间；InivTAP/DrivTAP 包含 13 段手动标注序列、20,450 点，标注工具图（Figure 15）和统计图（Figure 14）已展示，但数据集是否完全公开需关注项目页。算法层面，论文给出了完整公式（TAF 初始化 Eq. 5、TAF 更新 Eq. 6、CLWF 局部跨注意力 Eq. 7、transformer 优化器 Eq. 8–10），超参数（学习率 5e-4、AdamW、batch size 1、4×RTX 4090、$512\times512$ 输入、12 Hz 图像采样 24 步、150 条轨迹/sample、3 次迭代）都明确说明。硬件门槛：训练需 4 张 RTX 4090（约 4×24GB 显存），测试单张 RTX 3090 即可，单步推理 20.2 ms 接近实时。难度评估：合成数据训练 + 简单下游解码器使其对资深研究者而言可在 1–2 周内复现主体；但要复现真实数据基准的全部点标注（每 5 秒手工标注 2 小时）以及复现多场景 EDS/EC/SLAM 全套对比实验需 1 个月以上工作量。
论文图表
横向对比了三种跟踪结果：(a) 仅图像输入、(b) 仅事件输入、(c) 帧+事件融合。右侧颜色条把跟踪误差按像素数可视化（越偏蓝误差越大、越偏红越接近 GT）。可以看出纯帧方法在快速运动处因帧间位移过大而漂移，纯事件方法在慢速区域因事件稀疏无法锁定，而融合方法在长程高动态场景中能恢复完整轨迹。
这张图直接展示了 '融合为何必要' 的核心动机，是 motivation 部分最直观的证据。
(a) 装载平台；(b) 自研同步采集设备（Prophesee EVK4 + SG2-AR0231 RGB）；(c) 用于 InivTAP 的 DAVIS346 相机。
解释真实数据集怎么采集，对理解数据可靠性至关重要。
在 InivTAP 多个场景下的帧与事件帧示例，包括过曝、低光、慢速等挑战性条件。
直观展示真实数据集的多样性与挑战性。
四张统计直方图：有效坐标比 (绝大多数点 60%+ 时间内全程可见)、归一化轨迹直径（运动范围分布）、段数（多数单段）、逐帧归一化位移 (8.1% 位移超 10% 图像高度)。
量化真实数据集的难度与多样性，证明它不是 '玩具数据集'。
标注工具由可视化面板、标注信息面板、按钮面板三部分组成，支持在图像或事件重建帧上做人工修正。
展示标注流程的工程细节，支撑 '高质量手工标注' 论点。
对比 TAP-Vid Kubric、BlinkFlow、MultiFlow、EventKubric 与本文 FE-FastKub 在 source、events、final image、fast scene、sample 数、resolution、fps、duration、annotation 模态上的差异。本文数据集是唯一同时具备 '合成事件 + 最终图像 + 快速场景' 三要素的训练集。
说明新数据集在领域中的定位与优势。