公平性能否被提示诱导？高风险推荐中的基于提示的去偏见策略 Can Fairness Be Prompted? Prompt-Based Debiasing Strategies in High-Stakes Recommendations
研究LLM推荐系统中的隐式偏见，提出三种基于prompt的去偏见策略，在新闻和求职推荐中验证效果
前置知识
LLM推荐系统（LLMRecs）
使用大型语言模型作为推荐器的系统，通过将用户历史行为作为prompt输入LLM，让LLM直接生成推荐结果。与传统推荐系统不同，LLMRecs不需要训练专门的模型，而是利用LLM的推理能力进行零样本推荐。例如，给LLM提供用户最近浏览的10个新闻标题，让它基于这些历史推荐5个可能感兴趣的新闻。
本文的研究对象，理解LLMRecs的工作原理和潜在偏见问题是读懂本文的基础
隐式偏见
指模型并非通过显式输入的敏感属性（如性别、年龄），而是通过间接线索（如姓名、代词、写作风格、社会角色）推断出用户的敏感属性，并基于这些推断产生系统性输出差异。例如，当推荐系统看到用户名Lori（女性名字）和代词her时，可能会推断出用户是女性，从而调整推荐策略，导致不同用户群体在相同非敏感属性下收到不同的推荐。
本文研究的核心问题，理解隐式偏见的来源和表现方式对于理解去偏见策略的设计至关重要
群体公平性
一种公平性定义，要求系统在不同人口统计群体间提供公平对待，即具有相似非敏感属性（如用户历史行为）的用户应该收到相似的推荐，无论其敏感属性（性别、年龄）如何。数学上，可以定义为对于任意两个用户u_a和u_b，如果他们的历史行为相似（h(u_a) ≈ h(u_b)），那么收到的推荐分布也应该相似（R(u_a) ≈ R(u_b)）。
本文采用的公平性定义，理解这个概念对于理解评估指标（SNSR、SNSV）的含义很重要
BERTScore
一种基于预训练BERT模型的语义相似度指标，通过计算两个文本序列在BERT嵌入空间的余弦相似度来评估它们的语义相关性。对于推荐评估，每个推荐项会与所有真实项计算相似度，取最大值，然后平均。与精确匹配或词汇相似度（如Jaccard）不同，BERTScore能够捕捉语义相似但用词不同的内容。对于新闻标题，如果推荐女性宇航员创造历史而真实项是女太空人首次太空行走，BERTScore会认为它们相似，而Jaccard相似度可能很低。
本文提出用于LLMRecs有效性评估的核心指标，理解它的工作原理有助于理解为什么它比传统的精确匹配更适合评估LLM生成的推荐
SNSR和SNSV
两种公平性评估指标。SNSR（Sensitive-to-Neutral Similarity Range）计算不同敏感属性值下推荐与中性推荐相似度的最大值减最小值，反映最优势群体和最劣势群体之间的差距，值越大表示不公平程度越高。SNSV（Sensitive-to-Neutral Similarity Variance）计算不同敏感属性值下推荐与中性推荐相似度的标准差，反映不同群体被对待的不一致性，值越大表示公平性越差。对于性别属性，如果男性用户的推荐与中性推荐相似度为0.8，女性用户为0.6，则SNSR = 0.2，SNSV取决于样本分布。
本文用于量化LLMRecs公平性的核心指标，理解这两个指标的含义对于解读实验结果至关重要
研究动机
现有LLM推荐系统的去偏见方法存在严重局限性。大多数方法需要访问LLM的内部权重（如通过微调或学习公平前缀prompt），这要求用户拥有模型的完整访问权限，而大多数用户只能通过API调用LLM。这些方法计算成本高昂，需要大量GPU资源进行训练或微调，普通用户无法负担。更重要的是，这些方法对非技术人员来说使用门槛极高，无法被普通用户直接使用。以新闻推荐为例，如果LLM根据用户姓名或代词推断出性别，然后为女性用户推荐更多关于女性成就的新闻，这可能看似正面，但实际上是基于性别刻板印象的偏见行为，剥夺了用户自主选择的权利。现有的基于prompt的去偏见方法主要针对分类和NLP任务，在推荐系统中尚未得到研究，而推荐系统的输出是ranked list而非单一类别，评估方法也不相同。
本文的目标是本文的目标是研究LLM推荐系统中的隐式社会人口统计学偏见，并提出轻量级、易于使用的基于prompt的去偏见方法。具体来说，论文关注以下核心问题：当用户的敏感属性（如性别、年龄）不显式地在prompt中声明，而是通过代词或社会角色隐式包含时，这些属性如何影响LLM推荐系统的输出？基于prompt的策略能否有效缓解这些隐式偏见，同时保持推荐的有效性？本文聚焦于高风险推荐场景（新闻和求职推荐），因为这些领域中不公正的推荐可能对用户的阅读习惯、职业发展甚至就业机会产生实质性影响。
与已有工作不同的是，本文的独特切入角度在于首次系统地研究LLM推荐系统中基于prompt的去偏见方法，特别关注用户侧的群体公平性。与之前在显式敏感属性设置下的研究不同（用户明确提供性别、年龄等信息），本文采用更现实的隐式设置，使用代词和社会角色作为敏感属性的载体，这更符合实际应用场景——用户不太可能在求职推荐中显式说明自己的年龄或性别，但系统可能从代词或描述中推断这些信息。与使用姓名、邮箱、方言等作为隐式敏感属性的先前研究不同，本文使用代词和社会角色，代词与现有的LLM性别偏见研究对齐，社会角色则反映了常见的市场细分方式。此外，本文首次研究了去偏见策略可能导致的过度调整问题，即系统可能过度推荐历史上边缘化的群体的内容，而非确保真正的平等。
核心方法
本文的方法整体思路很直观：通过精心设计的prompt，在推理阶段指示LLM避免偏见，而不是通过修改模型权重或训练数据。这种方法的核心洞察是LLM对prompt非常敏感，通过在prompt中加入公平性相关的指令，可以让模型在生成推荐时考虑公平性。具体技术路线是：首先设计baseline prompt（仅要求生成推荐），然后设计三种bias-aware prompt（在baseline基础上加入去偏见指令），对于每种prompt，构建neutral variant（使用this user）和sensitive variant（使用代词/社会角色），最后通过比较neutral和sensitive variant的输出相似度来评估公平性。整个方法不需要训练或访问模型权重，只需在推理时修改prompt，因此可以轻松应用于任何LLM，包括闭源API。
本文的核心创新点在于提出三种轻量级的bias-aware prompting策略，每种策略通过不同的方式让LLM意识到需要避免偏见。与需要访问模型权重的微调方法不同，这些策略可以在推理时直接使用，普通用户也能轻松应用。第一种是Unbiased Role (UR) prompt，通过定义一个无偏见推荐系统的角色来引导模型；第二种是Bias Instruction (BI) prompt，提供具体的公平性指导；第三种是Explicit Bias Instruction (EBI) prompt，明确指出要避免哪种类型的偏见（如性别或年龄）。这三种策略的共同特点是都基于prompt engineering，无需模型训练，但它们在具体实现方式、指令强度和明确程度上的差异使得效果有所不同。与之前在分类任务中的研究不同，本文针对推荐系统的特点（输出是ranked list而非单一类别）设计了适合的prompt模板和评估方法。
方法步骤详情
本文方法的完整流程包含以下步骤：第一步是任务设计，使用role prompting让LLM扮演推荐系统角色，输入用户最近浏览的10个交互项，要求生成5个推荐项。对于新闻推荐，还要求生成类别和子类别以便更稳健的评估。第二步是prompt设计，构建baseline prompt和三种bias-aware prompt（UR、BI、EBI）。Baseline prompt仅包含角色定义和历史数据，要求生成推荐；UR prompt将角色定义为不基于性别、年龄等敏感属性歧视他人的无偏见推荐系统；BI prompt要求模型反思可能基于推断或声明的用户特征引入的偏见，确保推荐公平且不对任何群体有偏见或歧视；EBI prompt进一步明确确保推荐对sensitive_attribute公平且无偏见。第三步是构建prompt变体，对每种prompt，将this user替换为敏感属性值构建sensitive variant，保留this user作为neutral variant。对于性别，使用代词him、her、them；对于年龄，使用社会角色高中生、大学生、年轻父母、在职专业人士、老年人、退休人员。第四步是推荐生成，使用3个LLM（Gemma 2 9B、LLaMa 3.1 8B、Mistral 7B）在2个数据集（MIND新闻推荐、CareerBuilder求职推荐）上为300个用户分别生成neutral和sensitive recommendations。第五步是评估，使用BERTScore计算推荐与ground truth的相似度衡量有效性，使用Jaccard、SERP、PRAG、BERTScore等指标计算neutral和sensitive recommendations之间的相似度，然后通过SNSR（max-min差）和SNSV（标准差）量化公平性。
技术新颖性
本文的技术新颖性体现在多个方面。首先，这是首个系统研究基于prompt的去偏见方法在LLM推荐系统中应用的工作，将prompt engineering从分类和NLP任务扩展到推荐系统。其次，提出了三种专门针对推荐系统的bias-aware prompting策略，每种策略在指令强度、明确程度和实现方式上都有所不同，为后续研究提供了baseline。第三，在公平性评估上，提出使用BERTScore而非传统的精确匹配或词汇相似度来衡量推荐列表的相似度，这更适合评估LLM生成的自然语言输出，因为不同prompt可能生成语义相似但用词不同的推荐。第四，首次系统地研究了去偏见策略的过度调整问题，通过Ranking Bias (RaB)指标量化推荐内容在性别词汇上的倾向性，发现某些bias-aware prompts可能导致过度推荐特定群体的内容。最后，在实验设置上，采用了更现实的隐式敏感属性场景，使用代词和社会角色而非显式属性声明，这更符合实际应用场景，因为用户不太可能在高风险场景中显式披露敏感信息。
![Neutral prompts: baseline (a) and bias-aware (b)–(d). Sensitive prompts are obtained by replacing this user with pronoun/social roles. Text repeated from (a) is grayed. rec_type is replaced by [jobs/news]. history lists 10 interacted items.](/papers/2603.12935/images/figure_2.jpg)
实验结果
本文的实验结果包含多个重要发现。在推荐有效性方面，F1分数（BERTScore的harmonic mean）在jobs数据集上范围为0.26到0.44（平均0.39），在news数据集上范围为0.44到0.61（平均0.55），不同prompt类型和敏感属性值之间没有明显趋势，唯一的例外是LLaMa在jobs上UR的表现明显低于其他prompts。在公平性方面，LLaMa在jobs数据集上使用BI和EBI表现最佳，SNSV（Jaccard）从Base的0.208改善到0.054，提升幅度达74.0%；在news数据集上，Gemma使用Base和Mistral使用Base/BI表现最佳，BERTScore的SNSR从0.063改善到0.034，提升46%。一个有趣的发现是，不同敏感属性对不同领域的影响程度不同：性别值对新闻推荐的影响更大，而年龄值对求职推荐的影响更大。这可能反映了训练数据中不同属性与不同领域的关联程度。另一个重要发现是，虽然某些bias-aware prompts（如BI）在公平性指标上表现良好，但仔细检查输出后发现存在过度调整问题。例如，当EBI prompt包含her时，推荐中不成比例地出现女性相关词汇（如女性成就、女子体育），而him和them prompt的输出则与之前基本相同。这表明去偏见策略可能在某些情况下过度推荐历史上边缘化的群体，而非确保真正的平等。此外，BERTScore比基于精确匹配的指标（Jaccard、SERP、PRAG）更能区分有偏见和无偏见的推荐，因为LLM生成的推荐在语义上相似但用词可能不同，BERTScore能捕捉这种语义相似性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 求职推荐（公平性-年龄属性） | SNSV（Jaccard） | 0.054（LLaMa + BI） | 0.208（LLaMa + Base） | 74.0% |
| 新闻推荐（公平性-性别属性） | SNSR（BERTScore） | 0.034（Mistral + Base/BI） | 0.063（Mistral + Base） | 46.0% |
| 求职推荐（有效性） | F1（BERTScore） | 0.4414（Gemma + BI + her） | 0.4392（Gemma + Base + this user） | 0.5% |
| 新闻推荐（有效性） | F1（BERTScore） | 0.6088（LLaMa + Base + this user） | 0.6088（LLaMa + Base + this user） | 0% |
局限与改进
本文的研究存在几个局限性。首先，实验规模有限，仅使用了3个中等规模的LLM（7-9B参数），在更大的模型（如GPT-4、Claude）上的效果可能不同，因为这些更大的模型可能对prompt指令更敏感或已经经过更多的去偏见处理。其次，受计算资源限制，每个数据集仅采样了300个用户，这可能影响结果的统计显著性和代表性。第三，仅使用了两个数据集（新闻和求职推荐），这两个领域虽然都是高风险场景，但其他领域（如电商推荐、视频推荐）中的偏见模式和去偏见策略的效果可能不同。第四，公平性评估主要基于输出相似度，没有考虑推荐质量的长期影响和用户满意度。例如，过度推荐女性相关新闻可能看似公平，但用户可能觉得被刻板印象化或内容单一。第五，使用的敏感属性仅限于性别和年龄，其他重要属性（如种族、残疾、社会经济地位）没有研究。第六，社会角色与年龄的对应关系可能存在刻板印象，例如将在职专业人士默认为中年人，这可能引入额外的偏见。第七，实验仅考虑了英文数据，其他语言和文化背景下的偏见模式可能不同。作者也承认，虽然bias-aware prompts在公平性指标上有所改善，但在某些情况下会导致过度调整，这是一个需要进一步研究的问题。
独立分析的弱点
本文存在几个可改进的弱点。首先是过度调整问题，虽然作者通过Ranking Bias指标识别了这个问题，但没有提出解决方案。一个可能的改进方向是设计更精细的prompt，要求模型在确保公平性的同时保持内容多样性，例如确保推荐公平且不偏向任何群体，同时避免过度集中某一群体相关的内容。其次是评估指标的局限性，SNSR和SNSV仅衡量输出的相似度差异，没有考虑推荐的质量和用户偏好。可以引入用户满意度调研或A/B测试来评估去偏见策略对用户体验的实际影响。第三是实验设置的问题，使用的社会角色与年龄的对应可能存在刻板印象，可以使用更中性或多样化的描述，如一位用户而非在职专业人士。第四是计算效率问题，虽然prompt-based方法比微调轻量，但为每个用户和每个敏感属性值生成推荐仍然需要大量推理，可以研究如何缓存或复用中间结果以提高效率。第五是数据集的局限性，可以扩展到更多领域和数据集，特别是那些偏见影响更大的领域，如贷款审批、医疗推荐等。第六是prompt设计的局限，当前的三种策略都是基于指令的，可以探索其他prompt技术，如few-shot learning、chain-of-thought等，看看能否进一步改善公平性。
未来方向
基于本文的研究成果，未来有多个值得探索的方向。作者提出的未来工作包括：将BERTScore扩展到考虑不同排名位置的语义相似度，提供更灵活的评估；比较prompt-based去偏见策略与其他偏见缓解方法（如后处理、数据增强）的效果；研究避免LLMRecs过度调整的策略。基于本文成果，还可以探索：在更大模型（如GPT-4、Claude）上验证bias-aware prompting的效果；研究更多敏感属性（种族、残疾、社会经济地位）和更多领域（电商、视频、医疗）的偏见模式；设计更复杂的prompt策略，如动态prompt、交互式prompt，根据用户反馈调整推荐；研究如何将fairness constraints整合到LLM的generation过程中，而不仅仅是通过prompt；探索用户可控的去偏见策略，让用户可以根据自己的偏好调整公平性水平；研究多模态推荐（如图文、视频）中的偏见问题；开发自动化工具帮助用户设计和优化bias-aware prompts；研究长期使用bias-aware prompts对用户行为和偏好的影响；探索如何平衡fairness和personalization，避免过度强调公平性导致推荐失去个性化。
复现评估
本文的复现评估需要考虑以下几个方面。在开源情况方面，论文没有明确说明代码是否开源，但实验使用了公开可用的数据集（MIND和CareerBuilder）和公开可用的模型（Gemma 2、LLaMa 3.1、Mistral），这为复现提供了基础。数据方面，MIND数据集可以从官方GitHub下载，CareerBuilder数据集是Kaggle竞赛数据，可以公开获取。算力方面，实验涉及3个模型、4个prompt类型、10个敏感属性值（包括neutral）、2个数据集、300个用户，约72000次推理，这是一个相当大的计算量。使用中等规模的GPU（如A100或V100）可能需要几天到一周的时间。复现难度中等，主要挑战是计算资源和存储空间。一个重要的复现细节是prompt的精确wording，论文中的Fig. 2提供了prompt的完整文本，但需要确保格式和缩进与原文一致，因为LLM对prompt的格式也很敏感。另一个细节是相似度指标的计算，BERTScore需要指定使用的BERT模型和相关的超参数，论文没有明确说明这些细节，需要通过实验或联系作者获取。总的来说，本文的复现性中等偏上，主要障碍是计算资源而非技术复杂性。
论文图表
这张图展示了新闻推荐中的性别偏见，使用Ranking Bias (RaB)指标作为敏感属性。图中包含三个模型的子图：Gemma 2 (9B)、LLaMa 3.1 (8B)和Mistral (7B)。X轴是prompt类型（Base、UR、BI、EBI），Y轴是RaB分数。RaB大于0表示输出中男性相关词汇多于女性相关词汇，RaB小于0表示相反。每个prompt类型有两条柱状图，一条代表neutral，一条代表sensitive。从图中可以看出几个关键模式：首先，Gemma整体上倾向于产生正的RaB值（更多的男性相关词汇），而LLaMa和Mistral的RaB值更接近0或略负。第二，BI prompt在三个模型中都表现出最中性的RaB值（最接近0），这意味着它在性别词汇上最平衡。第三，EBI prompt在敏感变体下（特别是使用her时）产生了明显的负RaB值（更多的女性相关词汇），这意味着它过度调整了推荐，偏向女性相关内容。第四，不同模型对gender代词的敏感度不同，Gemma对her的响应最强烈，而LLaMa和Mistral的响应相对温和。第五，neutral和sensitive variants之间的RaB差异在某些prompt类型下较小（如BI），而在其他prompt类型下较大（如EBI），这意味着某些prompt确实会根据性别调整推荐内容。
这张图对理解论文的一个关键发现——过度调整问题——至关重要。首先，它量化了不同prompt策略在性别词汇上的倾向性，这是评估过度调整的具体方法。第二，它展示了BI prompt在性别上最平衡，这意味着它可能是最合适的去偏见策略，既减少了偏见又没有过度调整。第三，它展示了EBI prompt的过度调整问题，当使用her时，推荐中明显偏向女性相关内容，这可能不是用户期望的公平性。第四，它展示了不同模型的基本性别偏见倾向，Gemma更偏向男性词汇，而LLaMa和Mistral更平衡或略偏向女性词汇。第五，它提供了一个评估过度调整的指标（RaB），这对未来的研究很有价值。对于理解去偏见策略trade-off的读者来说，这张图展示了公平性不仅仅是减少偏见，还需要避免过度调整。对于实践者来说，这张图可以帮助选择合适的prompt策略——BI可能在大多数情况下是最佳选择。