AffectFlow-DINO：基于条件整流流的不确定性感知多任务情感估计 AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow
用条件整流流建模面部情感的分布，ABAW多任务挑战达PMTL=1.177
前置知识
整流流（Rectified Flow）
一种生成式建模方法，学习从简单分布（如各向同性高斯噪声）到目标数据分布的直线传输映射。它构造线性插值 $y_t=(1-t)\epsilon+t y$，训练网络预测常速度场 $v^*=y-\epsilon$，推理时用少数几步欧拉积分即可从噪声生成样本。相比扩散模型，整流流的直线轨迹使采样更快（几步即可收敛）。
本文核心方法就是用条件整流流建模面部情感的联合分布 $p(y|x)$，理解整流流的训练目标和推理过程是读懂整篇论文的基础。
DINOv3 ViT-S/16 骨干网络
Meta 提出的自监督视觉 Transformer，ViT-S/16 表示 small 规模、patch 大小 16×16。其自监督目标（DINO）强调跨 patch token 的空间语义一致性，而非 MAE 那样的重建式预训练，对局部肌肉形变（如动作单元 AU）更友好。本文将其冻结用于提取 224×224 人脸的 [CLS] 特征。
骨干网络的选择直接决定特征质量，论文专门论证为何选 DINOv3 而非 MAE，并通过低学习率微调释放其潜力。
ABAW 多任务挑战与情感表示
ABAW（Affective Behavior Analysis in-the-wild）是自然场景情感分析竞赛，MTL 赛道要求每帧同时预测三类异构目标：连续的效价-唤醒度 VA（$v,a\in[-1,1]$）、8 类表情 EXPR（独热）、12 个二值动作单元 AU。评测指标 $P_{MTL}=P_{VA}+P_{EXPR}+P_{AU}$，其中 $P_{VA}$ 是 VA 的均值 CCC，$P_{EXPR}$ 是表情宏 F1，$P_{AU}$ 是 AU 均值 F1。
论文全部实验围绕该挑战的 s-Aff-Wild2 数据集和 $P_{MTL}$ 指标展开，理解这三类目标和评测方式才能看懂所有结果表。
类别不平衡与掩码监督
数据集中不同类别样本数差异巨大（s-Aff-Wild2 表情 8 倍不平衡、AU 29 倍不平衡），且联合三任务标注仅覆盖 36.6% 帧。掩码监督指为每个样本构造有效性掩码 $m_i\in\{0,1\}^{22}$，缺失标签维度在损失中被置零，不产生梯度。
类别不平衡和标签缺失是本文的核心难题，作者用掩码流损失、类加权 CE、平衡采样、事后校准等多种手段应对，是理解结果的关键。
事后阈值校准（Post-hoc Calibration）
在模型训练完成后，不重训练，仅在验证集上为每个 AU 或每个表情类别单独网格搜索最优决策阈值（或 logit 权重）。原理是分类头输出的 sigmoid 概率是后验 $p(AU_k=1|x)$，最优决策边界不必等于 0.5，尤其在类别不平衡导致稀有类预测概率被系统性压制时。
事后校准在本文贡献了约 +0.054 的 $P_{MTL}$ 提升，是最终达到 1.177 的关键技巧，理解它能解释为何 Fear F1 能从 3.8% 跃升到 33.1%。
研究动机
自然环境（in-the-wild）下的面部情感分析长期面临内在模糊性难题：一个微妙微笑、局部遮挡或低强度表情，可能对应多种合理的情感配置，但现有确定性模型将这种模糊性强行坍缩为单一向量，丢弃了预测不确定性。ABAW 2026 多任务挑战要求每帧同时预测三个异构目标——连续的效价-唤醒度 VA、8 类表情、12 个二值动作单元 AU，但 s-Aff-Wild2 数据集存在严重的类别不平衡：表情类别有 8 倍不平衡（Other 占 27.4%、Neutral 占 26.5%、Happiness 占 20% 主导，而 Fear 仅 3.4%、Disgust 仅 3.5%），AU 有 29 倍不平衡（AU25 在 68% 帧中激活，而 AU15、AU23、AU24 仅 2-5%）。更棘手的是三者联合标注仅覆盖 36.6% 的训练帧，标签严重不完整。在这种不平衡下，传统点估计会系统性压制稀有类别预测概率，使 Fear、Sadness、AU15 等的 F1 几乎为零。官方基线 $P_{MTL}$ 仅为 0.45。
本文的目标是本文目标是构建一个帧级多任务系统 AffectFlow-DINO，在冻结的 DINOv3 ViT-S/16 骨干网络上不仅输出确定性点预测，还额外学习一个条件生成分布 $p(y|x)$，建模 22 维联合情感向量（$v,a,e^{(1..8)},u^{(1..12)}$）上的完整条件分布。通过对每张图像进行蒙特卡洛采样生成一族合理的情感向量，其均值能改进点估计，其离散度刻画预测不确定性。系统要联合估计连续 VA、分类 8 类表情、检测 12 个 AU，最终在 ABAW 2026 验证集上使 $P_{MTL}=P_{VA}+P_{EXPR}+P_{AU}$ 显著超过官方基线 0.45，并通过事后校准零成本恢复稀有类信号。
与已有工作不同的是，此前情感计算领域的不确定性建模主要依赖高斯头（Gaussian head）和证据回归（evidential regression），但这些标量方差扩展只能建模单一模态的不确定性，无法捕获跨联合情感空间的多模态模糊性。冲突感知融合研究也指出，当模态线索不一致时点估计已不足够，需要更丰富的预测模型。作者据他们所知，首次将整流流（rectified flow）应用于异构多任务设置：用一条从噪声到数据的直线传输来生成性地建模标签空间，并通过掩码机制数学上严格处理不完整标注（每个掩码步是对完整联合 $p(y|x)$ 的有效更新），填补了生成式不确定性建模与多任务情感分析结合的空白。
核心方法
AffectFlow-DINO 的核心直觉是：把表情识别的歧义视为一个分布而非单点。整体技术路线是四组件架构：(1) 冻结的 DINOv3 ViT-S/16 骨干网络提取面部特征 $h_i=f_\theta(x_i)\in\mathbb{R}^d$；(2) 共享投影头经 LayerNorm + GELU 将特征映射为 $D=768$ 维嵌入 $z_i=\phi(W_h h_i)$；(3) 三个确定性任务头（VA 回归用 tanh 约束到 $[-1,1]^2$，EXPR 分类，AU 检测）输出点预测；(4) 条件整流流头接收拼接输入 $[z_i,y_t,\gamma(t)]$ 学习传输速度。选择 DINOv3 而非 MAE 是关键：DINO 的自监督目标强调跨 patch token 的空间语义一致性，更适合 AU 这种空间局部肌肉形变的检测。总损失 $\mathcal{L}=\mathcal{L}_{det}+\beta\mathcal{L}_{flow}$，消融发现 $\beta\in\{0.5,1.0\}$ 等价最优，默认取 $\beta=1.0$。
核心创新在于将连续 VA、独热表情、二值 AU 三种异构目标统一嵌入到单一 $\mathbb{R}^{22}$ 空间，作为联合连续流形。在整流流轨迹中，类别和二值维度被当作无约束实值分数处理，仅在最终推理步骤通过 argmax 和 sigmoid 阈值恢复离散预测，避免了为每个任务单独设计生成过程（以轨迹访问离流形中间值为代价，但整流流的直线轨迹能在 $t=1$ 可靠到达目标流形）。整流流学习从各向同性高斯噪声 $\epsilon\sim\mathcal{N}(0,I_{22})$ 到条件目标分布的直线传输，速度场 $v^*=y_i-\epsilon$，推理时从 $N$ 个噪声样本积分 $T$ 步欧拉法（$\Delta t=1/T$）再平均。这种直线传输特性使采样在 $N=8, T=10$ 即饱和，远快于扩散模型。与已有高斯头/证据回归方法的本质区别是：它能建模联合空间上的多模态分布，而非单一标量方差。
方法步骤详情
训练：(1) 对每个样本 $(x_i,y_i)$ 构造 22 维联合目标并生成有效性掩码 $m_i\in\{0,1\}^{22}$ 标记缺失标签；(2) 抽噪声 $\epsilon\sim\mathcal{N}(0,I_{22})$ 与时间 $t\sim\mathcal{U}(0,1)$，构造线性插值 $y_t=(1-t)\epsilon+t y_i$；(3) 流网络预测速度 $\hat{v}_i=r_\psi([z_i,y_t,\gamma(t)])$，最小化掩码平方误差 $\sum_j m_i^{(j)}(\hat{v}_i^{(j)}-v_i^{*(j)})^2$；(4) 用 AdamW（lr=1e-4，wd=1e-2）优化，20 epochs，batch 64。推理：抽 $N=16$ 噪声各用 $T=30$ 步欧拉积分到 $t=1$，平均得 $\bar{y}_1$，VA 取 clamp、EXPR 取 argmax、AU 取 sigmoid 阈值 $\tau$。微调时以 lr=1e-5、batch 32 端到端微调 DINOv3，并重激活流目标（$\beta=0.5/1.0$）。
技术新颖性
技术新颖性体现在几点。首先，据作者所知这是整流流在异构多任务情感设置中的首次应用，并实验证明确定性监督可作为流头的辅助训练信号——任务损失促使共享嵌入编码情感判别特征从而改善流轨迹质量（AffectFlow 流解码 0.826 显著优于纯流训练 0.773）。其次，掩码机制在数学上被证明仅监督已标注边缘分布 $p(y_T|x)$，在缺失独立于真值的假设下这些边缘的并集共同约束完整联合分布，保持边缘一致性。第三，事后校准（per-AU 和 per-class expression 阈值）不是 leaderboard 技巧，而是基于 AU 头预测的是 sigmoid 后验 $p(AU_k=1|x)$、最优决策边界不必为 0.5 的有原则方法，能零成本恢复稀有类（Fear、AU15、AU23）已被编码但被默认阈值掩盖的潜在判别信号。第四，首次揭示微调后流头需重调（flow retune）才能恢复分布预测能力。
实验结果
Table 1 六条件消融：官方基线 $P_{MTL}=0.45$；仅确定性训练确定性解码 0.793、流 sanity 坍塌到 0.402；仅流训练流解码 0.773；AffectFlow 联合训练流解码达 0.826、确定性解码仅 0.802——两目标互补，流解码在 CCC-V 上 +0.058，$P_{VA}$ 从 0.200 提到 0.238。Table 2 显示低学习率（1e-5）微调 DINOv3 带来最大跃升，$P_{MTL}$ 从冻结最佳 0.831 升至 1.045（CCC-V 0.352）。Table 3 证明 per-AU 阈值校准稳定带来约 +0.06 的 $P_{AU}$（fine-tuned 从 0.441 到 0.497），零重训练成本。Table 4 流重调：$\beta=1.0$ 确定性解码 $P_{MTL}=1.073$，校准后 1.123。Table 5 最终：FT+Flow retune + AU 校准 + 表情校准达 $P_{MTL}=1.177$，是官方基线 2.6 倍；表情校准让 Fear F1 从 3.8% 跃升到 33.1%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ABAW 2026 MTL 验证集综合指标 | PMTL = PVA + PEXPR + PAU | 1.177（FT+Flow retune β=1.0 + per-AU 校准 + per-class 表情校准，确定性解码） | 0.45（官方挑战基线） | +0.727，约 2.6 倍提升 |
| 效价一致性 CCC-V（冻结骨干） | Concordance Correlation Coefficient of Valence | 0.290（AffectFlow 流解码） | 0.234（仅确定性训练） | +0.058，流解码显著优于点估计 |
| 稀有表情 Fear F1 | Per-class Expression F1 | 0.331（事后 per-class 校准后） | 0.038（默认 argmax 阈值） | +0.293，零重训练恢复潜在信号 |
| 动作单元均值 F1（fine-tuned） | PAU | 0.497（per-AU 阈值校准后） | 0.441（默认 τ=0.5） | +0.056，事后校准稳定增益 |
局限与改进
作者明确承认三点局限。首先，所有结果仅在本地 s-Aff-Wild2 验证集上，而引用的 SOTA（第 7 届 ABAW 隐藏测试集 $P_{MTL}=1.529$）来自隐藏测试集不可直接比较，与 SOTA 仍有差距，差距主要在 $P_{EXPR}$（最佳未校准 0.296、校准 0.350）。其次，表情预测仍是最难任务，Fear 和 Sadness 在默认阈值下 F1 仍低于 7%，预测大量坍缩到 Other 类（77% 的 Sadness、64% 的 Surprise、41% 的 Fear 被误判为 Other）；8 倍表情不平衡是根本原因，类加权 CE 和平衡采样只能部分缓解。第三，骨干网络微调后流头会欠调，确定性解码在所有微调变体中始终优于流解码，流头与适配后骨干的对齐仍是开放问题。此外我观察到：模型是严格帧级的未利用时序信息；AU 正加权训练与流解码不兼容（$P_{MTL}$ 退化到 0.745-0.777）；kitchen-sink 微调（类加权 CE + AU 正加权）与骨干微调不叠加（1.041 vs 1.045）。
独立分析的弱点
弱点一：帧级设计丢弃时序上下文。ABAW 数据虽以孤立裁剪人脸分发，但情感本质上是时序演化的，缺乏时序聚合限制了模型捕捉表情动态变化的能力。改进方向：引入轻量时序模块（如 Transformer 解码器或 GRU）在帧级预测之上做平滑，或采用第 7 届 SOTA 所用的时序上下文融合。弱点二：流解码在微调后始终弱于确定性解码，说明流头训练目标与骨干适配未对齐。改进方向：采用渐进式分阶段训练（progressive staged training），或重新设计流头的采样温度与损失权重调度，使流头和骨干协同收敛。弱点三：稀有类（Fear、Sadness、AU15、AU23）依赖事后校准恢复，说明表征阶段仍未充分编码这些类别。改进方向：训练阶段引入类平衡采样 + 困难样本挖掘，从源头提升稀有类表征。弱点四：联合三任务标注仅 36.6%，掩码训练的缺失独立性假设在实践中可能被违反——标注者倾向跳过模糊帧，使学到的边缘分布有偏，作者也承认这一理论假设不严格成立。
未来方向
作者提出的方向：(1) 时序聚合作为正交未来扩展，因 s-Aff-Wild2 以孤立帧分发，时序重建被刻意留作未来工作；(2) 更具表达力的微调解码；(3) 从一开始就联合做骨干-流多任务扩展（joint backbone-flow multi-task scaling from the start），而非先冻结后微调。基于成果可延伸的方向：可探索将整流流扩展到更高维的多模态情感空间（语音 + 视觉 + 文本联合建模）；可研究流头提供的逐样本不确定性用于主动学习和样本筛选；可尝试用更大的 ViT-B/L 或 DINOv3 更大变体并配合分阶段训练逼近 SOTA 1.529（论文 ViT-B 已显示 $P_{VA}$ 提升）；还可将事后校准推广为可学习的温度缩放层，实现端到端校准避免验证集过拟合；针对流解码弱于确定性解码的问题，可研究 distillation 让流头蒸馏确定性头的预测。
复现评估
论文给出较充分的实验细节：数据集为官方 s-Aff-Wild2 划分（训练 142,382 帧，VA 有效 103,917、表情有效 90,645、AU 有效 103,316；验证 26,876 帧），骨干为 DINOv3 ViT-S/16，输入 224×224，AdamW（lr=1e-4、微调 1e-5，wd=1e-2），20 epochs，batch 64/32，流推理 $N=16$ 样本 $T=30$ 欧拉步，$\beta=1.0$。26 项消融覆盖流权重、推理效率、不平衡策略、微调、校准，附录含完整配置表（Table A 完整 18 配置、Table 20 类频统计、Table 24-26 逐类分解）。但论文未明确提供代码开源链接和检查点，DINOv3 权重虽公开但微调策略需自行实现；算力需求未明确披露（ViT-B 实验暗示需可观 GPU）。事后校准在验证集上 grid search 调阈值，存在过拟合验证集风险，需独立测试集确认。整体复现中等偏难，主要瓶颈在 DINOv3 端到端微调的算力。
论文图表
