AV-FABLE：长视频音视频双时间线篡改取证基准与分离读出定位方法 AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos

第一步特征提取：冻结的 Qwen3-Omni 编码器在 $\Delta=0.25$ 秒网格上输出 $N=\lceil T/\Delta\rceil$ 个位置的特征：音频中间层 $[N,1280]$（固定第 16 层）、视觉中间层 $[N,16,1152]$（16 个空间 token 经可学习注意力池化压成向量）、音视接口特征各 $[N,2048]$。第二步特征融合：拼接 $q_m^t=[d_m^t;u_m^t]$ 后做门控投影 $h_m^t=\mathrm{Dropout}(P_m(\mathrm{LN}(q_m^t))\odot\mathrm{sigmoid}(G_m(q_m^t)))$，输出 256 维，音视两支参数独立。第三步宿主调制：在有效位置上算通道均值 $\mu_m$ 与标准差 $\sigma_m$，两层 MLP 生成 $\gamma_m,\beta_m$，按 FiLM 公式 $\hat{h}_m^t=h_m^t\odot(1+\gamma_m)+\beta_m$ 调制，统计量只来自输入视频。第四步时序解码：每支用六层（音频）/五层（视觉）金字塔，掩码膨胀卷积加 Mamba 骨干，每个点输出分类 logit 与左右距离，按 $(\hat{b},\hat{e},\hat{c})=(u_j-r_j\hat{d}_j^{-},\;u_j+r_j\hat{d}_j^{+},\;\mathrm{sigmoid}(z_j))$ 换回秒级区间；训练用中心采样分配正点，损失 $\mathcal{L}=\sum_{m\in\{a,v\}}(\mathcal{L}_m^{\mathrm{focal}}+\lambda_{reg}\mathcal{L}_m^{\mathrm{DIoU}})$（$\lambda_{reg}=1$），推理用 Soft-NMS 加边界投票合并跨层提案。第五步校准决策：每轨视频得分取最高提案置信度，在 256 条干净源验证视频上换算成上尾概率 $p_m$，检测得分为 $S_{any}=-\min\{p_a,p_v\}$，检测与每轨各自在 5% 误报预算下校准一次阈值并固定复用于全部测试集，两轨二值决策 $(d_a,d_v)$ 直接给出四类归因。

技术新颖性体现在三个层面。任务层面，双时间线基准加 native-track 协议是新的：此前没有基准同时具备开放场景、分钟级长视频、独立音视时间线标注、原版孪生和证据解释（Table 1 中 8 项能力只有 AV-FABLE 全占），且论文证明了该协议能暴露联合评估掩盖的模态盲区（Table 11）。分析层面，"感知-语言鸿沟"的刻画是新的：线性探针、逐层扫描（音频最佳在第 12 层、视觉在第 6 块而非最终块，说明取证信息并非随深度单调变好）以及把中间层特征分解为可由接口线性重构的部分与残差的分析（$R^2=0.71$，残差仍可分但残差输入会让解码器 OOD mAP 从 85.6 掉到 76.6），共同说明取证证据分布在不同深度且线性信息保持不等于解码友好。方法层面，把冻结 AV-LLM 当作取证感知前端、配合模态分离读出与宿主 FiLM 的组合是新的，且所有设计选择（层号、超参、模型选择）都在不看 OOD 测试结果的约束下确定，配合 5% 误报预算的源域校准，这让 OOD 结论更可信。

弱点一：视觉轨分布外定位是短板，源迁移 V-mAP 仅 41.92、OOD V-IoU 最高 41.21，360p 压缩就让 V-mAP 从 53.1 崩到 10.9，说明视觉证据高度依赖分辨率与纹理；改进方向是压缩/降采样增广或多分辨率特征金字塔。弱点二：单编码器依赖，主结果全部基于 Qwen3-Omni，且 Table 16 显示 BEATs+CLIP 在部分音频设置反而更强，可按模态与域做编码器集成。弱点三：校准与部署脱节，阈值在 256 条源域干净视频上一次校准后冻结，线上干净分布漂移会破坏 5% FAR 预算，宜引入在线分布重校准。弱点四：语言能力被完全弃用，附录 G 证明语言验证即使把候选 AP 从 39.1 提到 53.4 也改不动最终 mAP（73.60–73.62），而把定位输出回灌给语言模型生成证据又只得到低语义 F1，感知读出与语言推理的对齐（蒸馏、工具调用）仍是空白。弱点五：0.25 秒网格限制边界精度，对亚秒级 TTS 插入等更短篡改不够细。弱点六：数据全部由受控生成器构造，未覆盖屏幕录制、翻拍、多代转码等真实篡改链路。

作者提出的方向包括：把基准扩展到更贴近真实世界的编辑流程、精化"感知边界"标注使其区别于执行边界、提升对媒体损坏的鲁棒性、以及发展更忠实的证据接地解释（目前操作/目标 F1 最高只有 20.91，且 SFT 模型学到的更多是弃权而非甄别）。基于本文成果可以自然延伸的方向还有：其一，模态分离读出与跨模态推理的结合——附录 F.6 已证明分离可防跨轨泄漏，但检测真伪仍可利用跨模态一致性作为辅助信号，如何在"证据通路分离"与"决策融合"之间取得平衡值得系统研究；其二，把感知-语言鸿沟反过来利用：用 NFSR 的定位输出构造监督信号去对齐 AV-LLM 的语言层，让模型既能定位又能解释，形成端到端可解释取证系统；其三，层选择研究——音频最佳在第 12 层、视觉在第 6 块，说明取证信息在中层而非最终层，可探索动态层路由或多层特征融合的理论解释；其四，在线/流式取证：Mamba 线性时序骨干天然适合流式处理，配合在线阈值校准可走向实际审核系统；其五，扩展到更多模态（字幕文本、元数据链）与多语言语音替换，检验双时间线思想在更广媒体类型上的普适性。

复现条件总体友好。作者承诺公开数据集、代码与权重，材料包括完整 manifest、划分与 OOD 设置及阈值校准列表、带单元测试的独立评估器、含训练配置的模型代码。数据端因源许可限制不直接再分发 ActivityNet/EPIC-KITCHENS/HDTF 等源视频，而是提供事件级标注、源标识与时间戳、可独立发布的生成资产和重建工具，需自行获取源数据后重建；重建成本较高：需要 Gemini 3.7 Flash 规划、Qwen2.5-VL 定位、十余种生成器执行 27 种编辑配置，并对 22,153 个事件双人审核（$\kappa=0.84/0.82$，7.7% 需第三人仲裁）。相比之下模型复现很轻量：NFSR 只训 256 维读出头，特征按 0.25 秒网格缓存，AdamW 学习率 $10^{-4}$ 训 12 epoch、batch 8、三种子，单机多卡即可；三种子标准差极小（ID AV-mAP ±0.13）。评估协议在附录 C 有完整公式，独立评估器加单元测试降低了指标复现争议。综合评级：模型与评估复现中低难度，数据端到端重建高难度。