MatAnyone-E：面向高效高分辨率视频抠图的稀疏记忆传播 MatAnyone-E: Sparse Memory Propagation for Efficient High-Resolution Video Matting

第一步，低分辨率传播：将查询 $\mathbf{Q}^{\downarrow s}_t$、记忆键 $\mathbf{K}^{\downarrow s}_m$、值 $\mathbf{V}^{\downarrow s}_m$ 下采样 $s=2$ 倍，执行 $\mathbf{A}^{\downarrow s}_t = \mathrm{Norm}_m(\mathrm{Sim}(\mathbf{Q}^{\downarrow s}_t, \mathbf{K}^{\downarrow s}_m))$，只评估约 $1/s^4$ 的查询-记忆对。第二步，查询剪枝：用继承自 MatAnyone 2 的不确定度预测器处理 LR 特征得 $U^{\downarrow s}_t$，取 $idx^{\downarrow s}_{Q_t} = \{i \mid U^{\downarrow s}_{t,i} > \tau\}$（$\tau=0.15$），每个 LR 位置对应 HR 网格上 $s \times s$ 区域，汇成查询子集 $\mathbf{Q}^p_t$（约占 7%）。第三步，记忆剪枝：对每个记忆位置计算 $w_j = \max_{i \in idx^{\downarrow s}_{Q_t}} \mathbf{A}^{\downarrow s}_t[i,j]$，保留 top-$\rho=15\%$ 得到 $\mathbf{K}^p_m, \mathbf{V}^{m,p}$，只作用于本次检索、不改持久记忆库。第四步，高分辨率传播：只在选中集合间匹配 $\mathbf{A}^p_t = \mathrm{Norm}_m(\mathrm{Sim}(\mathbf{Q}^p_t, \mathbf{K}^p_m))$，稠密读出按位置拼装——选中处用 $V^{m,p}_{t,i}$，其余用上采样的 $[\mathrm{Ups}(V^{m\downarrow s}_t)]_i$，随后照常做 HR 不确定度预测与时间融合。第五步，轻量解码器：四阶段上采样（1/16 到 1），低两段用 DWConv+PWConv，高两段保留稠密卷积但缩通道（宽 [256,128,64,32,16]），训练时以冻结教师做 $\mathcal{L} = \mathcal{L}_{mat} + \lambda_{distill} \sum_l \|\tilde{F}^l_S - F^l_T\|^2$（$\lambda_{distill}=0.001$）。4K 实际使用附录的多级 4 到 2 到 1 调度（空间预算 $M=4096$）。

技术新颖性有四点。第一，任务特定的选择信号：不用额外训练门控网络，直接复用 MatAnyone 2 自带的不确定度预测器，把为时间融合设计的信号转用于查询剪枝，零训练成本且语义对齐——不确定度本来就表示该位置需要多少新记忆。第二，查询-记忆双向稀疏化：分析显示 15% 记忆保留率即可召回 98.1% 的稠密候选与 99.6% 的 top-1 命中，说明记忆相关性高度集中，这一实证发现支撑了双端剪枝的合理性，而记忆剪枝按当前查询集的 max 亲和度排序、只局部于单次检索，简单且无副作用。第三，profiling 驱动的解码器设计：用算术强度对比硬件 ridge point（FP16 TC 约 153）判断 compute-bound 与 memory-bound（末端块 AI=71、pred_mat AI=4.2 均为 memory-bound），据此分阶段选择 DWConv 或窄稠密卷积，避免降 FLOPs 反而变慢的坑。第四，多级扩展：Algorithm 1 把单级 SMP 推广为 4 到 2 到 1 的多级调度，使方法适用于任意分辨率，8K 下编译后仍能跑到 3.3 FPS。

弱点一：固定阈值的查询剪枝导致时延不可预测。$\tau=0.15$ 和 top-15% 记忆保留率都是静态超参，遇到舞池、演唱会人群等高不确定度场景时选中区域占比会飙升，显存和时延随之波动，对直播等硬实时系统是隐患。改进方向：引入硬性空间预算约束，把"超阈值即选"改为带预算的不确定度排序选择（附录多级调度已有 $M=4096$ 的雏形，可推广到单级配置）。弱点二：记忆剪枝打分只用 $w_j = \max_i A^{\downarrow s}_t[i,j]$，只关心"是否被任一选中查询强关联"，忽略了记忆条目间的冗余与覆盖多样性，多目标场景下一个目标的记忆可能挤掉另一目标的候选。改进：混合打分（max 亲和度 + 条目使用频率）或按场景自适应 $\rho$。弱点三：4K 基线靠外推，7.4 倍的结论说服力打折。改进：在缩减记忆库的配置下实测 MatAnyone 2 并明确标注外推比例，同时补充 2K 记忆库下的公平对照。弱点四：蒸馏只对齐中间特征，CRGNN 上 Grad 相比基线 +1.13 暗示高频细节有损。改进：加入梯度域或拉普拉斯金字塔蒸馏项，直接约束边缘结构。弱点五：低分辨率分支在低分辨率输入下收益有限甚至为负，缺少分辨率感知的自动开关。

作者提出的方向：把选择性高分辨率计算确立为记忆类抠图乃至记忆类 VOS 的通用效率范式，并继续优化多级调度的级数与空间预算 $M$ 的配置。基于成果可延伸的方向：第一，端到端学习查询-记忆选择，用可微 top-k 或 Gumbel 采样联合训练 $\tau$ 和 $\rho$，取代手工超参；第二，把框架移植到生成先验抠图（GVM、VideoMaMa），这类方法计算开销更大，稀疏化的收益空间可能更高；第三，与量化、TensorRT 等部署栈协同设计——编译已带来额外约 1.7 倍提升，记忆键值的低比特量化还有压缩空间；第四，面向流媒体直播做时延-质量自适应控制，根据 GPU 负载动态调整 $\tau$ 与 $\rho$，提供有界时延保证；第五，把"廉价低分辨率传播引导昂贵高分辨率计算"的思想推广到视频编辑、视频生成中的对应关系估计等同样受分辨率制约的任务。

复现评估：论文提供了项目主页（shuyun-wang.github.io/projects/MatAnyone-E），按团队惯例（MatAnyone 与 MatAnyone 2 均已开源）代码与权重大概率会放出，但正文未直接给出仓库链接，使用前需确认。训练侧门槛较高：需要 8 张 A800-80GB、总 batch 16、每样本 8 帧 480×480 随机裁剪，从 MatAnyone 2 预训练权重初始化，数据为公开视频抠图数据集加 VMReal 训练集（后者是否公开待确认）；个人研究者难以完整重训，但蒸馏只需冻结教师前向，可显著压缩算力需求。推理侧门槛很低：所有超参在论文中完整给出（$s=2$、$\tau=0.15$、$\rho=0.15$、解码器通道宽 [256,128,64,32,16]、$\lambda_{distill}=0.001$、4K 用 4 到 2 到 1 调度且 $M=4096$），单张 RTX 3090 即可跑 1080p（33.6 FPS）；评估基准 VideoMatte、YouTubeMatte、CRGNN 的高分辨率子集均公开。总体判断：拿到权重后推理复现容易（一天内可完成），完整训练复现需要数据中心级算力与 VMReal 数据，难度中高。