EXIST 2026的AI巫师：用于多模态迷因性别歧视识别的层次化软标签学习 AI Wizards at EXIST 2026: Hierarchical Soft-Label Learning for Multimodal Sexism Identification in Memes
层次化软标签学习用于多模态性别歧视检测
前置知识
Learning with Disagreement (LeWiDi)
这是一种处理主观标注任务的新范式。传统方法使用多数投票强制产生单一标签，但这会抹消标注者之间的分歧信息。LeWiDi将分歧视为信号而非噪声，要求模型预测完整的标注者分布，而不是预测多数标签。在性别歧视检测这类高度主观的任务中，不同标注者可能对同一内容有不同判断，这种分歧本身就包含有价值的信息，反映了任务的内在复杂性。
本文采用EXIST 2026的LeWiDi范式，所有评估都基于软标签分布预测，理解这个概念是理解本文损失函数设计和评估方式的基础。
Homoscedastic Uncertainty Weighting
这是一种动态多任务学习权重分配方法。传统方法为不同任务分配固定的标量权重，需要大量调优且无法自适应。该方法引入可学习的方差参数sigma_i，通过公式L = sum_i (L_i + 1/(2*sigma_i^2)) + log(sigma_i)自动平衡各任务贡献。当某个任务的损失较高时，sigma_i会增大以降低该任务的权重；log(sigma_i)项防止任务被完全放弃。这实现了自调节的学习过程。
本文使用这种方法动态平衡三个异构任务的损失权重，这是应对任务难度差异和类别不平衡的核心技术。
ICM (Instance-wise Consensus Metric)
这是EXIST 2026用于评估软标签预测质量的指标。ICM衡量模型预测的分布与真实标注者分布之间的相似度，考虑了分布的整体形状而非单点预测。ICM-S用于软标签评估，ICM-H用于硬标签评估，还有对应的归一化版本ICM-S Nr和ICM-H Nr。ICM值越高表示预测与标注者分布越一致，负值表示预测比随机猜测还差。
本文的所有实验结果都使用ICM指标报告，理解这个指标是理解实验结果好坏的关键。
KL Divergence (Kullback-Leibler散度)
KL散度衡量两个概率分布之间的差异，定义为D_KL(P||Q) = sum_i P(i) * log(P(i)/Q(i))。在本文中，KL散度用于软标签训练，惩罚模型将概率质量分配到标注者集体拒绝的类别上。对于多标签的Task 2.3，对每个类别独立应用二元KL散度然后取平均。与交叉熵不同，KL散度直接优化分布匹配，更适合软标签学习场景。
KL散度是本文损失函数的核心组成部分，用于训练模型预测标注者分布而非单一标签。
SwiGLU激活函数
SwiGLU是一种门控线性单元激活函数，定义为SwiGLU(x) = (xW_1) elementwise_product SiLU(xW_2)，其中SiLU是x * sigmoid(x)。相比ReLU等传统激活函数，SwiGLU通过门控机制能够学习性地抑制和放大信息流，在自然语言处理模型中被证明能提升性能。本文使用扩展因子为2的SwiGLU块，将输入维度投影到更高维空间后再压缩回来。
SwiGLU是本文Gated MLP骨干网络的核心组件，这种轻量级架构只有3.5M可训练参数。
研究动机
现有性别歧视检测系统面临多方面的挑战。首先，性别歧视内容在线上强化了女性的边缘化和被排除在数字空间之外的现象，数字平台往往放大了线下的父权结构，其中敌意和善意的性别歧视共同合法化了性别不平等。接触此类内容会导致可测量的心理伤害，如焦虑、抑郁和自我审查增加，这会压制女性在公共话语中的参与。其次，meme poses unique challenges：其意义非线性地涌现于文本-图像交互中，往往依赖反讽、幽默或隐性文化知识来提供合理的推诿。检测系统必须建模多模态如何共同构建可能隐含、反讽或模糊的性别化意义。第三，主观任务如性别歧视检测存在高度的标注者间分歧，多数投票会抹消这种分歧，可能压制少数视角。现有的CLIP-based或LLM-prompted系统都没有明确建模标注者分歧，也没有处理性别歧视子类别的层次结构。
本文的目标是本文的目标是构建一个能够处理EXIST 2026任务中三个层次化子任务的系统：Task 2.1是二分类判断meme是否包含性别歧视内容；Task 2.2是对已标记为性别歧视的meme进行二分类的源意图检测，区分DIRECT意图（沟通目标本身就是产生内在性别歧视内容或煽动性别歧视态度）和JUDGEMENTAL意图（内容描绘性别歧视情况或行为，明确目的是谴责或批评）；Task 2.3是多标签分类，将每个性别歧视meme分配到五个类别中的一个或多个：意识形态不平等、刻板印象-支配、物化、性暴力、以及非性别歧视暴力的厌恶女性主义。系统需要预测完整的标注者分布而非单一标签，同时保持任务间的层次依赖关系。
与已有工作不同的是，本文的独特切入角度是将三个层次化子任务统一建模为条件软标签预测的多任务学习框架，同时解决标注者分歧和层次结构两个问题。与现有的Hate-CLIPper等对比视觉语言模型不同，本文不仅使用融合机制，还明确建模标注者分歧和层次任务结构。与使用LoRA微调和提示大型模型的方法不同，本文避免了计算成本，在单个高效且可复现的框架中同时捕获标注者分歧和层次任务结构。本文还探索了生理信号（EEG、眼动、心率）的效用，但发现线性分析表明其区分度不足，因此选择专注于稳健的语义表示。
核心方法
本文方法的核心思路是使用冻结的预训练视觉语言编码器提取丰富的多模态语义，然后通过轻量级的门控MLP骨干网络进行处理，最后用三个独立的线性头部预测层次化子任务的软标签分布。系统避免了在有限数据上微调大型生成模型，而是将预计算的视觉语言嵌入通过紧凑的门控MLP块映射。训练使用KL散度损失直接优化标注者分布预测，并采用同方差不确定性权重动态平衡三个异构任务的贡献。层次约束通过条件损失掩码和概率解码强制执行，无需架构修改。整个系统只有3.5M可训练参数，既高效又可复现。
核心创新点是将层次化多任务学习与软标签预测统一在一个框架中。与现有方法的本质区别在于：第一，明确建模标注者分歧，使用KL散度直接优化分布预测而非单一标签；第二，动态任务权重通过同方差不确定性自动平衡，无需手动调优；第三，层次约束通过条件损失掩码和概率解码实现，Task 2.2和2.3的损失只对有下游标注的样本传播梯度，防止非性别歧视meme强制条件头部进行任意更新。这种设计直接解决了CLIP-based或LLM-prompted系统的局限性，在单个高效框架中同时捕获标注者分歧和层次任务结构。
方法步骤详情
方法的完整流程如下：首先，使用冻结的Gemini Embedding 2编码器f_VLM: X -> R^768为每个meme生成固定嵌入x。然后，将x通过轻量级Gated MLP骨干网络，该网络由一个扩展因子为2、dropout为0.2的SwiGLU块组成，定义为SwiGLU(x) = (xW_1) elementwise_product SiLU(xW_2)和残差连接h^(l+1) = h^(l) + W_3(SwiGLU(LN(h^(l))))。门控机制学习抑制良性混淆因素并放大敌对的跨模态矛盾。得到的表示h输入三个独立的线性头部，产生每个子任务的logits。训练时，每个头部针对经验软目标使用KL散度损失，动态任务权重通过同方差不确定性参数sigma_i实现：L(W, sigma_1, sigma_2, sigma_3) = sum_{i=1}^3 (L_i + 1/(2*sigma_i^2)) + log(sigma_i)。Task 2.2和2.3的损失被掩码，只对存在下游标注的实例传播梯度。推理时，Task 2.2的联合分布为{p^(1)*p^(2), p^(1)*(1-p^(2)), 1-p^(1)}，Task 2.3每个类别的概率为p^(1)*p^(3)_c，1-p^(1)分配给非性别歧视补集。
技术新颖性
技术新颖性体现在四个方面：一是多模态表示方面，使用预训练Gemini Embedding 2特征通过紧凑的门控MLP块处理，避免了在有限数据上微调大型生成模型；二是动态多任务权重方面，KL散度软标签目标与学习的同方差不确定性权重自动平衡任务贡献；三是层次化解码方面，条件损失掩码和概率解码尊重任务分类法而无需架构开销；四是生理信号分析方面，虽然最终未采用，但对EEG特征进行了PCA降维到21组件后进行MANOVA分析，发现Task 2.2达到统计显著性（p_perm = 0.0010），但效应量可忽略不计（Wilks lambda = 0.9946, partial eta^2 < 0.01），没有任何EEG通道在Bonferroni校正后存活（alpha = 6.25 * 10^-4），为未来非线性生物信号融合提供了基线。
实验结果
核心发现包括四个方面：一是本地评估结果显示有意义的种子方差，尤其是下游任务，这与小数据、高分歧设置一致。Run 2在Task 2.3上表现最佳，而Run 1在Task 2.2上领先。门控变体（Run 3）与基础架构表现相当，证实层次约束通过条件损失和概率解码充分捕获，无需架构修改。二是官方Soft-Soft排行榜上，系统在Task 2.3上获得第1名（ICM-Soft = -2.8881, ICM-Soft Norm = 0.3469），在Tasks 2.1和2.2上获得第4名（ICM-Soft分别为0.2323和-0.6720）。三是Hard-Hard排行榜结果在没有阈值调优或硬标签特定校准的情况下获得，Soft-Soft和Hard-Hard排名之间的差距证实分布预测和离散决策质量是相关但不同的目标。四是生理信号分析表明，虽然Task 2.2达到统计显著性（p_perm = 0.0010），但效应量可忽略不计（Wilks lambda = 0.9946, partial eta^2 < 0.01），没有任何EEG通道在Bonferroni校正后存活，线性分析显示所提供的特征表示信号不足，因此优先选择稳健的语义表示而非生理融合。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Task 2.1 (Sexism Identification) | ICM-Soft | 0.2323 | 未明确报告其他系统 | 官方排名第4 |
| Task 2.1 (Sexism Identification) | F1 (YES class, 本地测试) | 0.7524 (Run 1) | 未报告基线 | 未比较 |
| Task 2.2 (Source Intention Detection) | ICM-Soft | -0.6720 | 未明确报告其他系统 | 官方排名第4 |
| Task 2.2 (Source Intention Detection) | Macro F1 (本地测试) | 0.5189 (Run 1) | 未报告基线 | 未比较 |
| Task 2.3 (Sexism Categorization) | ICM-Soft | -2.8881 | 未明确报告其他系统 | 官方排名第1 |
| Task 2.3 (Sexism Categorization) | Macro F1 (本地测试) | 0.4530 (Run 2) | 未报告基线 | 未比较 |
局限与改进
作者承认三个主要局限性：第一，依赖Gemini Embedding 2这一专有模型，限制了所提管道的完全可复现性。然而，系统的模块化架构允许在未来工作中直接替换为开源权重替代方案。第二，硬标签解码过程使用固定的0.5决策阈值，因此Hard-Hard结果不应被视为可达到性能的上限。第三，生理信号可分离性的统计分析仅限于EEG数据；眼动和心率信号没有经过经验评估，而是基于特征维度和假设的任务相关性先验排除，而非基于测量可分离性的证据。观察到的额外局限性包括：本地评估显示有意义的种子方差，表明小数据高分歧设置下的不稳定性；线性分析表明生理信号区分度不足，但非线性建模可能仍有价值；ICM-S和ICM-H之间的差距表明硬标签决策可能受益于任务特定的阈值优化。
独立分析的弱点
独立分析的弱点包括：第一，依赖专有的Gemini Embedding 2模型限制了完全可复现性，改进方向是替换为开源的视觉语言模型如CLIP、SigLIP或开源的Gemini替代方案。第二，硬标签解码使用固定0.5阈值，未进行任务特定的阈值优化，改进方向是使用验证集调优每个任务的阈值，或使用概率校准方法如Platt scaling或isotonic regression。第三，生理信号分析仅限于线性方法和EEG数据，未评估眼动和心率的效用，也未探索非线性融合，改进方向是使用非线性模型如神经网络融合多模态生理信号，或评估眼动和心率在非线性组合中的潜力。第四，本地评估显示高种子方差，表明模型在小数据高分歧设置下的不稳定性，改进方向是使用更多数据增强技术、集成学习或更稳定的正则化方法。第五，门控变体未带来显著提升，表明当前层次约束可能不够强，改进方向是探索更强的架构约束或更复杂的层次建模方法。
未来方向
未来研究方向包括：作者提出的方向包括开源权重嵌入骨干的任务特定硬标签校准，以及通过非线性融合架构更深层次地集成生理信号。基于本文成果可延伸的方向包括：探索更大规模的数据集以减少种子方差；研究更复杂的层次建模方法，如神经过程或层次贝叶斯模型；评估在更多语言和文化背景下的泛化能力；研究标注者分歧的建模方法，如明确建模标注者特征或使用多实例学习；探索在仇恨言论检测等其他主观任务中的应用；研究软标签预测的可解释性，如分析模型在不同标注者分布上的行为；开发更复杂的损失函数，如考虑标注者质量的加权KL散度或基于分布距离的损失；探索更高效的架构，如知识蒸馏将大模型知识压缩到小模型；研究在线学习和持续学习设置下的模型适应性。
复现评估
复现评估方面：代码已在GitHub开源（https://github.com/NLP-AI-Wizards/EXIST-2026），但依赖专有的Gemini Embedding 2模型限制了完全可复现性。数据使用EXIST 2026数据集，包含3,984个训练meme和1,053个测试meme，涵盖英语和西班牙语。算力需求方面，系统只有3.5M可训练参数，训练使用AdamW优化器（学习率10^-4，权重衰减10^-2，批量大小8），OneCycleLR调度器（30%预热和余弦退火），bf16混合精度，在验证损失上早停。复现难度中等：代码开源提供了实现细节，但需要访问Gemini Embedding 2 API才能复现完整结果，使用替代嵌入模型可能会影响性能。实验细节充分报告，包括数据划分（80/10/10%分层划分）、超参数设置和评估指标，但没有报告训练时间或硬件规格。
论文图表
该表格展示了EXIST 2026数据集的组成情况。表格按语言分为西班牙语和英语，分别显示训练集、测试集和总数。西班牙语有1979个训练样本和540个测试样本，总计2519个；英语有2005个训练样本和513个测试样本，总计2518个；总训练样本为3984个，总测试样本为1053个，总计5037个meme。这个均衡的双语设计确保了模型在不同语言环境下的泛化能力。
这个表格对理解论文重要，因为它提供了实验数据的规模和分布信息，帮助读者评估结果的统计显著性和泛化能力。均衡的双语设计（西班牙语2519个，英语2518个）表明实验在语言上是公平的，训练集和测试集的比例（约79:21）也符合常见的机器学习实践。这些数据对于理解实验设置的合理性和结果的可靠性至关重要。