面向真实声学场景的高效流式音视频目标说话人提取 Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes

完整流程分六步。第一步视觉编码：25fps 的 96×96 灰度嘴部视频输入冻结的 FRCNN，经视觉瓶颈输出 $V_0 \in \mathbb{R}^{C_v \times T_v}$。第二步音频编码：混合波形做 STFT（窗 256、跳 128），实部/虚部/幅度三通道过 2D 卷积得 $A_0 \in \mathbb{R}^{C_e \times T \times N_f}$，再经音频瓶颈投影到统一通道维 $C$。第三步模态精炼与融合：$A$ 过 AudioBlock 得 $\tilde{A}$；$V_0$ 过 VideoBlock（因果 LSTM、上采样到 8ms 音频帧率）得 $\tilde{V} \in \mathbb{R}^{C \times T}$，沿频率轴扩展后与 $\tilde{A}$ 相加得融合特征 $F$。第四步 Separator：深度 1×1 卷积加 PReLU 生成残差支路 $R$；逐点 1×1 卷积投影到 $C_h = 64$ 后经流式因果层归一化 $\mathrm{LN}^c$（逐时频位置、免缓存）；编码器 4 级，$D^0$ 为步幅 1 深度 3×3 卷积、$D^1$–$D^3$ 为步幅 2 深度 5×5 卷积（时间轴左对齐填充、频率轴对称填充，无时间前瞻），瓶颈处 TFRB 输出全局上下文 $G$；GCI 把 $G$ 注入各层跳连；解码器按 $l = 2, 1, 0$ 粗到细执行 $Y^l = R^l(\mathrm{Id}^l(\tilde{S}^l, Y^{l+1}) + S^l)$，加 $S^l$ 项做恒等残差保梯度。第五步掩码与重建：掩码生成器输出 $M$，按实/虚拆分后与 $A_0$ 复数相乘得 $\hat{A}$，音频解码器加 iSTFT 重建 $\hat{s}$。第六步训练：$\mathcal{L}_{recon} + 1.0 \cdot \mathcal{L}_{spk}$，对比支路仅训练期激活；AdamW 学习率 $1 \times 10^{-3}$、权重衰减 0.01，验证损失 15 个 epoch 不降则减半，30 个 epoch 早停。

与已有工作的本质区别在三个层面。架构上，因果 AVTSE 此前只有两条路：重型单块（AV-TFGridNet 6.2M 参数、每帧 213.8G MACs；AV-Mossformer2 56.7M 参数）或紧凑块多次迭代（SwiftNet-12 复用同一块 12 次，0.5M 参数但 45.3G MACs），Falcon 的 level-specific 单遍多尺度是第三条路——四个 TFRB 各自工作在不同分辨率，参数保持 0.5M 而 MACs 仅 10.6G。训练目标上，先前抑制干扰依赖调混合分布或输出端门控，本文首次在共享编码器特征空间做说话人对比，且组合了三个技巧：softmax 加权负样本、60° margin 排斥、温度退火——margin 保证估计足够远离干扰后排斥自动失效，退火让嵌入空间先均匀探索再聚焦最难负样本（固定 $\tau = 1$ 只得 7.4 dB，退火 0→1 得 7.7 dB）。因果设计上，$\mathrm{LN}^c$ 逐时频位置归一化且免缓存；2D 注意力用块因果掩码，允许同一帧内全频段交互而不引入时间前瞻；下采样深度受视觉分支 120ms 固定前瞻约束——音频帧移 8ms，最多 15 帧前瞻，恰好容纳 3 级下采样，第 4 级会破坏音视频对齐。该损失还跨骨干有效：SwiftNet-12 加 0.2 dB、Dolphin 加 0.3 dB。

第一，单通道输入使模型只能依靠频谱与唇动线索抑制空间邻近干扰，遇到与目标音色相近的同性别近场干扰者时，编码器空间的推斥力可能不足以完全消除泄漏——改进方向是引入小型麦克风阵列前端（如流式 MVDR 或神经波束形成）与 Falcon 的掩码分支级联。第二，对比损失需要每个近场干扰者的干净参考波形，真实部署中根本拿不到，这把该技术锁死在仿真训练域——可用自监督替代：以模型第一版分离结果构造伪负样本，或用预训练说话人验证模型在真实混合上打伪标签再算对比项。第三，视觉分支继承 CTCNet 的 FRCNN 且冻结，侧脸、遮挡、低光下唇部特征会退化，论文只在附录 M 做了视觉完全缺失的实验，缺乏对低质量视觉的系统性鲁棒性评估——改进方向是训练时对视觉特征做 dropout 式退化增强，或加一个轻量的视觉质量门控决定音视频融合权重。第四，效率数据在特定 GPU/CPU 平台测得，边缘 NPU（手机 DSP 等）实测延迟可能不同，且 TFRB 中的深度 LSTM 与 2D 注意力对 NPU 并行化不友好——可探索用全卷积或状态空间模型替换 LSTM，并做 INT8 量化验证。第五，25fps 固定帧率的视频输入假设限制了输入源类型，低帧率或变帧率摄像头场景需要自适应插值策略。

作者明确提出的方向：把分离器与编码器空间对比损失扩展到多通道（利用附录 A.2 已模拟的四元阵列数据）；让对比损失适配无标注真实录音，摆脱对干净干扰源波形的依赖；扩大 RealSSA-Real 的规模与环境覆盖。基于本文成果可以延伸的工作：把 Falcon 作为流式前端接入实时 ASR 或同声传译系统，量化端到端的 WER 与延迟收益，验证「低层分离质量提升能传导到下游任务」；探索声纹注册与唇动线索的自适应融合，在视觉缺失或低质量时无缝退化为纯音频目标说话人提取；把「单遍多尺度替代多轮迭代」的设计原则迁移到其他流式语音增强任务（去混响、去噪、回声消除）；对比损失中 softmax 负样本加权、角 margin 与温度退火的组合可推广到说话人表征学习；在说话人数动态变化的开放场景中研究无需预设干扰数的持续分离与在线说话人计数。

论文声明代码与 demo 见 https://cslikai.cn/Falcon/。Falcon 本身只有 0.5M 参数、隐藏维 $C_h = 64$，单张消费级 GPU 即可训练，推理只需 51.3ms GPU 延迟和 364.7MB 显存，工程落地门槛很低。数据方面：RealSSA-Sim 约 153 小时（100,826 训练 / 9,133 验证 / 9,169 测试），生成管线依赖 gpuRIR 做房间冲激响应仿真，语料来自 LRS3（目标，需从 TED 视频爬取或申请）、LibriSpeech（干扰者）、WHAM!（持续背景噪声）与 Hive（突发噪声），整条数据管线有一定工程量；RealSSA-Real 仅 84 分钟评测集，涉及隐私处理（嘴部灰度裁剪、16kHz 重采样、25fps 转码）。若只复现 Falcon 及两个关键消融（下采样深度、对比损失），单卡数天可完成；若要复现主表需重训 9 个基线（含 56.7M 参数的 AV-Mossformer2 因果化版本），算力需求较大。训练超参在附录 D、延迟测量协议在附录 E 均有交代，复现信息总体充分，主要不确定因素是 RealSSA 数据集本身的开源发布情况。