通过作者画像探测大语言模型中的文化信号 Probing Cultural Signals in Large Language Models through Author Profiling
LLM能从歌词推断作者性别种族，但存在明显文化偏向
前置知识
作者画像 (Author Profiling)
作者画像是指从文本中推断作者的社会人口统计学属性（如性别、年龄、种族、心理特征）的任务。它基于社会语言学研究表明，不同人群在语言使用上存在系统性差异，包括词汇选择、句法结构、礼貌策略、情感表达等。例如，女性语言往往更频繁使用情态动词、礼貌标记和情感词汇，而男性语言可能更多使用断言性表达和俚语。这些差异并非生物学决定，而是社会化过程习得的文化实践，因此可以通过文本模式进行推断。
本文的核心任务就是评估LLM能否从歌词文本中推断作者的性别和种族，因此理解作者画像的原理和方法是理解论文研究问题的基础。
Modality Accuracy Divergence (MAD)
模态准确率发散度是本文提出的一种公平性指标，用于衡量模型在不同类别（模态）上的准确率不均匀程度。给定敏感属性（如种族）的K个类别，MAD首先计算每个类别k的准确率$Acc_{f,i,k}$和宏观平均准确率$Acc_{f,i}$，然后定义MAD为$MAD_{f,i} = \frac{1}{K} \sum_{k=1}^{K} \frac{|Acc_{f,i,k} - Acc_{f,i}|}{Acc_{f,i}}$。这个指标是无量纲的，可以跨模型比较，数值越大表示不同类别间的准确率差异越大，即偏见越强。MAD同时捕捉了两种伤害：未能识别真实成员（假阴性）和错误地将成员分配给其他类别（假阳性）。
传统公平性指标（如Disparate Impact）评估预测与敏感属性的独立性，但本文的任务是预测敏感属性本身，因此传统指标不适用。MAD专门针对作者画像任务设计，用于量化模型在不同文化群体间的不公平表现。
Recall Divergence (RD)
召回率发散度是本文提出的另一个公平性指标，专注于衡量模型在不同类别上的召回率差异。召回率衡量模型正确识别真实实例的能力，即$Rec_{f,i,k} = P(\hat{S}_i = s_k | S_i = s_k)$。RD定义为每个类别召回率与宏观平均召回率的相对偏差的均值：$RD_{f,i} = \frac{1}{K} \sum_{k=1}^{K} \frac{|Rec_{f,i,k} - Rec_{f,i}|}{Rec_{f,i}}$。RD的核心优势是它专门捕获"识别失败"的模式——某些群体是否比其他群体更难被模型正确识别，而不是被错误分类为其他群体。RD与MAD互补：MAD反映整体准确率的不均匀性（包含假阳性），RD则专注于假阴性（漏检）问题。
RD和MAD结合使用可以全面评估模型偏见。RD特别适用于评估模型对少数群体的"文化盲点"——当模型无法识别特定文化群体的信号时，RD会揭示这种系统性识别失败。
零样本学习 (Zero-shot Learning)
零样本学习是指模型在没有针对特定任务进行训练或微调的情况下，仅通过指令提示完成任务的能力。对于LLM而言，零样本推理依赖于模型在预训练阶段学到的广泛知识和推理能力。例如，通过给出明确的任务描述和示例格式，LLM可以直接执行分类、生成、推理等任务，而不需要任何任务特定的训练数据。这种能力源于LLM的指令遵循（instruction-following）训练和泛化能力。零样本性能是评估模型内在能力和知识质量的重要指标。
本文的所有实验都是在零样本设置下进行的——评估的LLM都没有针对作者画像任务进行微调。这使得研究结论更能反映模型内在的文化表示和偏见，而不是特定训练数据的人为影响。
文化盲点 (Cultural Blindness)
文化盲点是指模型无法识别或忽视特定文化线索的现象。这有两种表现：一是模型根本没有学习到某些文化群体的语言模式；二是模型虽然接触过相关数据，但由于训练数据不平衡或文化信号微弱，导致模型在这些文化上的敏感度不足。例如，模型可能对北美文化信号高度敏感（如俚语、文化引用），但对大洋洲或南美的文化信号几乎无反应。文化盲点不同于事实错误——模型可能拥有相关地理知识，但无法将这些知识应用于文本风格分析。
本文通过分析模型在不同种族上的识别差异，揭示了LLM的文化盲点。研究发现模型对北美文化的"默认偏好"以及对其他文化的识别困难，正是文化盲点的体现。
研究动机
大语言模型正日益部署在教育、内容审核等具有社会影响的领域，但它们编码的文化偏见引发担忧。在教育场景中，基于LLM的辅导和作文反馈系统可能将写作多样性误判为低质量，从而加剧学术不平等。在内容审核中，模型可能不成比例地标记方言表达，导致少数群体声音被压制。更根本的问题是，这些伤害可能并非来自事实知识的失败，而是来自对文化身份的错误解释和表示。例如，在教授写作多样性时，模型可能将某些文化特有的语言模式视为"错误"而非"差异"。在零样本设置下，LLM对文化信号的理解能力尚未被系统评估，特别是对于歌曲歌词这种富含文化语境但研究不足的文本类型。虽然LLM没有针对人口统计分类进行微调，但它们从训练数据中继承了表示性偏见，这些偏见可能导致系统性的文化误判。
本文的目标是本文的核心目标是评估LLM在零样本设置下从歌曲歌词推断作者性别和种族的能力，并系统分析这些模型是否以及如何表现出文化偏见。具体而言，研究试图回答三个问题：(1) LLM能在多大程度上执行零样本作者画像任务；(2) 哪些因素影响模型的画像决策和性能；(3) 模型的预测是否在性别和种族类别间表现出系统性偏见。通过构建一个包含超过10,000首歌词的平衡数据集，评估来自不同地理区域（中国、美国、欧洲）开发的多个LLM，并分析模型的推理过程，研究旨在揭示LLM中嵌入的文化表示模式。此外，本文还引入针对画像任务的公平性指标，以量化模型在不同文化群体间的不公平表现。
与已有工作不同的是，本文的独特切入角度在于三个方面：首先，研究聚焦于歌曲歌词这一特殊但被忽视的文本领域。歌词结合了个人表达、流派特定惯例和嵌入文化的语言标记，相比社交媒体帖子等短文本更加丰富、审查较少、风格多样，且深深扎根于文化语境。这为评估LLM的文化理解能力提供了高密度的规范环境。其次，本文在社会学意义上将种族理解为社会建构的文化身份，通过语言、风格和话语来调节，而不是生物血统或国籍。这种视角与主流NLP研究中常采用的国籍或语言族分类不同，更符合种族的真实复杂性。第三，本文不仅评估预测准确率，还专门分析偏见，引入了针对画像任务的公平性指标（MAD和RD），并分析模型推理过程与既定社会语言学线索的关联。相比之下，先前的作者画像研究主要关注分类准确率，很少考虑社会人口统计推断或文化偏见。
核心方法
方法的整体思路是构建一个大规模的歌曲歌词数据集，通过元数据标注作者的性别和种族（以宏观地区表示），然后使用多个开源LLM在零样本设置下对这些歌词进行作者画像，最后通过统计分析、公平性指标和推理分析来评估模型性能和偏见。技术路线包括：(1) 从Deezer和Spotify获取歌词数据，使用MusicBrainz API获取艺术家元数据；(2) 过滤和平衡数据集，排除乐队和组合，只保留独唱艺术家；(3) 将所有非英语歌词翻译成英语以控制语法性别标记的干扰；(4) 设计五种不同复杂度的提示词（Regular、Informed、Informed and Expressive、Well-informed、Corrected），要求模型预测作者的性别和地区；(5) 使用多个LLM（DeepSeek-1.5B/7B、Gemma-12B、Llama-8B、Ministral-8B、Mistral-24B、Qwen-7B）进行推理；(6) 通过准确率、统计检验、公平性指标（MAD和RD）以及模型推理分析来评估结果。方法的核心创新在于使用歌词这一富含文化信号的文本类型，并在零样本设置下评估LLM的文化理解能力，同时引入专门针对画像任务的公平性评估框架。
本文的核心创新点是提出了一个针对作者画像任务的偏见评估框架，包括两个新指标MAD和RD，并使用歌曲歌词作为文化信号探测的载体。与以往关注分类准确率的作者画像研究不同，本文专门关注模型在不同文化群体间的不公平表现。MAD衡量模型在不同类别上的准确率不均匀程度，RD衡量召回率差异，两者互补可以全面评估偏见。另一个核心创新是使用歌词作为研究材料——歌词结合了个人表达、流派特定惯例和嵌入文化的语言标记，比社交媒体等文本更能反映文化身份。最后，本文通过分析模型在错误预测时的推理过程（词频分析），揭示了模型依赖"主题捷径"（如用历史主题推断种族）而非真正的文化信号，这一发现为改进提示词设计提供了直接依据。
方法步骤详情
方法步骤包括：步骤1：数据获取与预处理。从Deezer和Spotify获取歌词，使用Wasabi数据集和Genius API获取Deezer数据，使用Spotify数据集和MusicBrainz API获取Spotify数据。标准化艺术家的性别标签，将国家映射到六个宏观地区（非洲、亚洲、欧洲、北美、大洋洲、南美）。过滤掉乐队、组合和非二元性别艺术家，只保留标注为男性或女性的独唱艺术家。步骤2：数据平衡。构建种族平衡数据集，每个地区采样相同数量的歌词；在此基础上构建性别平衡数据集。最终得到10,808首歌曲和2,973位独特艺术家。步骤3：翻译。使用Mistral Small 3.2在零样本配置下将所有非英语歌词翻译成英语，以控制语法性别标记的干扰，使模型依赖语义和风格线索而非语言特定的语法结构。步骤4：模型选择。选择来自三个地理区域的7个LLM：中国的Qwen 2.5 7B和DeepSeek-R1-Distill-Qwen-7B、美国的Llama-3.1-8B和Gemma-3-12B、欧洲的Ministral 8B和Mistral Small 3.2 24B。限制在7-24B参数范围内以减少记忆风险。步骤5：提示词设计。设计五种提示词：Regular（直接要求推断）、Informed（指定使用歌词内容、语调、文化参考等）、Informed and Expressive（要求提供关键词和解释）、Well-informed（要求评估20个社会语言学属性）、Corrected（在Informed基础上明确不使用主题和情感进行种族预测）。步骤6：推理与评估。使用各模型在平衡数据集上进行推理，计算准确率，使用卡方检验、CLT检验和Wasserstein距离检验评估预测分布与平衡分布的差异，计算MAD和RD公平性指标，分析模型推理过程中的词频和相关性。
技术新颖性
本文的技术新颖性体现在三个方面：第一，引入了针对作者画像任务的专门公平性指标MAD和RD。传统公平性指标（如Disparate Impact、Equality of Odds）评估预测与敏感属性的独立性，但在画像任务中，预测目标本身就是敏感属性，使得传统指标不适用。MAD和RD专门设计用于衡量模型在不同类别上的性能差异，可以捕获画像任务特有的偏见模式。第二，使用歌词作为文化信号探测的文本载体。歌词相比社交媒体、新闻报道等文本，具有更丰富的文化语境、更少的审查和更多样化的风格，是研究LLM文化理解能力的理想材料。第三，通过分析模型推理过程（词频分析和社会语言学属性相关性），揭示了模型依赖"主题捷径"而非真正文化信号的现象。例如，模型错误地使用"情感"和"主题"作为种族推断的依据，这一发现直接指导了Corrected提示词的设计，从而减少了偏见。这种从错误分析到改进设计的闭环方法论具有创新性。
实验结果
实验结果显示，LLM在零样本设置下具有非平凡的作者画像能力。所有模型在性别和种族预测上都显著优于随机猜测，其中Mistral-24B表现最佳，达到$76\% \pm 2\%$的性别准确率和$44\% \pm 2\%$的种族准确率（95%置信区间）。然而，模型表现出明显的系统性文化偏见：大多数模型将北美种族作为默认预测类别。例如，在种族预测分布中，北美种族在Llama-8B、Qwen-7B、Ministral-8B和Mistral-24B上都显示出高真阳性率和高假阳性率，表明它充当默认类别。DeepSeek-1.5B表现出对亚洲种族的更强对齐，这可能反映了其训练数据的地理分布。模型推理分析揭示了一个关键发现：模型错误时频繁使用"情感"和"主题"作为推断依据，而非真正的文化信号。例如，DeepSeek-7B在错误预测Miriam Makeba（南非歌手）的种族时，依赖于关于奴隶制和殖民的主题，错误地将其归类为北美。基于这一发现设计的Corrected提示词（明确不使用主题和情感）显著减少了偏见并略微提高了准确性。此外，研究发现模型规模与性能正相关：DeepSeek-7B优于DeepSeek-1.5B，Mistral-24B优于Ministral-8B。歌词长度与准确性正相关：更长的歌曲提供更多词汇、句法和话语层面证据。音乐流派也影响性能：在说唱（平均623词）上的表现优于电子舞曲（平均310词），这可能与文本长度和信息密度有关。社会语言学属性分析显示，"文化参考"属性与北美预测呈强负相关（$-0.31 \pm 0.02$），表明模型只在发现明确的文化证据时才偏离北美默认预测。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 性别预测（平衡数据集） | 准确率（%） | Mistral-24B: 76 ± 2 | 随机猜测: 50 | +26% |
| 种族预测（平衡数据集） | 准确率（%） | Mistral-24B: 44 ± 2 | 随机猜测（6类）: 16.7 | +27.3% |
| 种族偏见（MAD指标） | MAD值（越低越公平） | Gemma-12B: 0.10 ± 0.01 | Ministral-8B: 0.16 ± 0.01 | Gemma-12B比Ministral-8B偏见少37.5% |
| 种族偏见（RD指标） | RD值（越低越公平） | Gemma-12B: 0.45 ± 0.05 | Ministral-8B: 0.77 ± 0.06 | Gemma-12B比Ministral-8B偏见少41.6% |
局限与改进
本文存在几个重要局限性。首先，实验仅在歌曲歌词上进行，这是一种风格化且依赖流派的语言形式，因此发现可能无法推广到其他文本领域或交流场景。歌词相比普通文本具有更高的情感密度、特殊的句法结构和流派特定惯例，这些特征可能影响模型的推断方式。其次，尽管本文采用社会语言学文献中的文化建构观点来理解种族，但通过地区类别来操作化种族仍然是一种简化。文化变异存在于大陆、国家、城市、社区和个人生活经验等多个层面，分类不应被理解为穷尽或决定性的。第三，数据构建过程存在假设：假设歌词由歌手本人创作，但实际上存在代笔作者（ghostwriters）和多位合作作者的情况。虽然研究排除了乐队以减轻这一问题，但仍可能引入噪声。第四，使用翻译后的歌词引入了潜在的风格扭曲，可能影响词汇和话语线索。尽管进行了稳健性分析，使用两个不同翻译模型（Mistral Small 3.2和GPT-OSS-20B）的结果总体稳定，但翻译效应仍可能影响结论。第五，开源LLM的训练数据来源和策划过程仍然部分不透明。例如，DeepSeek-1.5B与DeepSeek-7B在种族预测上的差异可能反映了预训练数据组成的差异而非内在建模行为，这种透明度缺失限制了跨模型比较的因果解释。
独立分析的弱点
本文存在几个可以改进的弱点。第一，数据集构建过程较为粗糙，未充分考虑代笔作者和合作作者的普遍性。未来的研究可以更严格地筛选歌词，例如只选择明确标注为"词曲作者"的艺术家，或者使用外部元数据验证歌词作者身份。第二，种族分类采用宏观地区这一粗糙分类，无法捕捉同一地区内部的文化变异。例如，"亚洲"包含中国、日本、印度等多个文化截然不同的国家，"欧洲"包含西欧、东欧、北欧等不同文化传统。改进方向是使用更细粒度的文化分类，如国家或文化语言区。第三，研究仅关注性别和种族两个属性，但作者画像还可能涉及年龄、教育背景、政治倾向等更多维度。扩展到更多属性可以更全面地评估LLM的社会语言学理解能力。第四，研究主要关注准确率和偏见，但未深入分析模型推理过程的质量。例如，模型可能在错误预测时给出看似合理但错误的推理，或者模型可能过度依赖表面线索而非深层语义结构。改进方向是开发更精细的推理质量评估方法，如专家评估或自动推理一致性检查。第五，研究未探索缓解偏见的具体策略。虽然Corrected提示词略有帮助，但偏见问题仍然严重。未来的研究可以探索数据增强、对齐训练、后处理校准等偏见缓解方法。
未来方向
作者提出的未来工作方向包括在多语言设置下探索作者画像和开发针对文化不均匀表现的缓解策略。基于本文成果，可以延伸出多个研究方向。第一，研究其他文本类型中的文化偏见，如社交媒体帖子、新闻文章、学术写作等，以验证歌词发现的普遍性。第二，探索LLM在不同语言文化上的表现差异，特别是非英语语言（如中文、阿拉伯语、印地语）中的作者画像能力。第三，开发更精细的偏见缓解方法，包括提示词工程、训练数据平衡、对齐微调等。例如，可以设计明确要求模型考虑多种文化可能性的提示词，或者在训练过程中增加对低代表性文化的样本权重。第四，研究LLM对文化混合或跨文化身份的理解能力，例如移民艺术家使用混合语言和风格的作品。第五，开发更全面的公平性评估框架，不仅关注准确率差异，还关注推理过程的公平性和对不同群体的尊重程度。第六，研究LLM如何学习和表示文化知识，例如通过探测内部表示或分析训练数据的影响。第七，探索作者画像在下游应用中的实际影响，如个性化教育、内容审核、社交媒体分析等，以评估偏见的实际危害。
复现评估
本文的复现性评估较为良好。作者明确表示代码将在GitHub上公开（https://github.com/ValentinLafargue/CulturalProbingLLM），生成的结果数据也将在HuggingFace上提供（https://huggingface.co/datasets/ValentinLAFARGUE/AuthorProfilingResults）。所有使用的模型都是开源的，作者将提供确切的模型名称、检查点和推理配置。然而，由于非商业许可限制，作者不能重新分发歌词本身，但将提供完整的歌曲标识符和元数据列表，研究者可以从原始来源（Genius和Spotify）重建数据集。实验使用的硬件是两个NVIDIA A100 GPU（80GB），通过vLLM提供服务，使用张量并行。翻译过程使用确定性解码（temperature=0.0），推理过程在Informed and Expressive和Well-informed提示词时使用temperature=0.7以引入受控随机性，其他提示词使用temperature=0以确保确定性输出。置信区间通过分层bootstrap重采样（1000次迭代，50%采样率）获得，作者还测试了不同采样参数的敏感性。总体而言，研究提供了足够的细节和资源来复现主要发现，但由于歌词数据的许可限制，完全复现需要研究者自行获取原始歌词数据。
论文图表
