推荐系统中公平性的离线评估指标研究

系统性地剖析推荐系统公平性评估指标的理论、实证与概念三类局限，并提出新测量和改进方法

前置知识

项目侧公平性 (item fairness) 与用户侧公平性 (user fairness)

项目侧公平性关注系统在物品之间分配曝光（exposure）的均匀程度，目的是不让某些物品的提供者被系统性忽略；用户侧公平性关注不同用户获得的推荐质量（效用），旨在避免对特定用户或用户群体产生服务质量上的差距。这种'按主体分类'是论文划分公平性指标的核心维度之一。

论文的六篇子研究几乎完全是按主体（item vs. user）和粒度（individual vs. group）的正交维度展开的；不熟悉这一分类就难以理解为什么要同时设计针对个体物品、个人用户和用户群体的指标。

个体公平性 vs. 群体公平性 (individual vs. group fairness)

个体公平性源自 Dwork 等人的定义，主张'相似的个体应当被相似对待'，因此评估时需要引入相似度度量；群体公平性则强调按敏感属性（性别、年龄等）划分的群组之间应得到类似的效用。两者使用不同数学工具：群体多用均值差异/方差，个体多用逐对差异或变异系数。

论文 Paper 6 的核心发现——'group fairness 会掩盖 individual unfairness'——直接依赖于理解这两种粒度的差异；没有这个先验概念，读者无法体会'为什么仅评估群体公平性不够'。

Pareto 前沿 (Pareto Frontier)

在多目标优化中，Pareto 前沿是指所有目标不可同时改进的解的集合，即在改善某个目标时必然以另一个目标恶化为代价的临界曲线。在论文里被用于在相关性（relevance）和公平性（fairness）之间寻找'最均衡的权衡点'。

Paper 4 的核心贡献 DPFR 完全建立在 Pareto 前沿概念上；不熟悉多目标优化的读者将难以理解为什么需要距离前沿的距离（DPFR）而不是单一联合分数。

Kendall's τ 相关系数

这是一种基于秩序（rank order）的相关性度量，取值在 $[-1, 1]$，$\tau$ 越接近 1 表示两个指标对模型的'最公平到最不公平'排序越一致。论文大量使用 $\tau$ 判断不同公平性指标是否给出相同结论，从而诊断指标的'冗余性'。

论文中所有'测量一致性'（measure agreement）的实验——例如 Paper 2、3、4、6——都使用 Kendall's τ 评判两个指标是否互相替代；理解它的取值含义才能判断 0.7 的相关性是否算'高'。

效用差距 (effectiveness disparity)

通过先为每个用户计算 NDCG@k 或 P@k 这种相关性指标，再看不同个体/群体的效用分布有多分散（标准差、Gini 系数、方差等），来判断推荐服务是否对某些用户特别好而对另一些用户特别差。这是用户侧个体公平性的主流量化方式。

Paper 5 提出的 PUF 指标正是建立在'基于效用差距'这一做法之上的扩展；理解为什么简单标准差不能完全捕捉公平性是阅读 Paper 5 的关键。

研究动机

随着欧盟 AI 法案等法规对'负责任 AI'的要求趋严，推荐系统的公平性评估成了研究热点。短短几年内文献里涌现出大量公平性评估指标——按粒度分有个体与群体，按主体分有项目与用户，按是否考虑物品相关性又分纯曝光与相关性感知。然而绝大多数指标在被提出后直接投入使用，从未受过严格的可靠性检验。具体痛点有三：第一，量纲不透明，例如一个取值范围看似 $[0,1]$ 的指标实际上只能覆盖到 $[0, 0.04]$ 的窄区间，导致 0.5 的得分在不同指标下含义悬殊；第二，存在大量除零等未定义情形，例如某些指标在物品曝光之和为零时会直接崩溃；第三，'个体公平性'理论定义要求考虑相似个体的差异，但现有指标大多只考虑整体变异，忽略了相似度这一核心概念。这就使得实践者在'选哪个指标''得分意味着什么'这两件事上长期处于困惑状态，同一篇论文里不同指标甚至互相矛盾地把同一个模型排成最公平或最不公平。

本文的目标是这篇博士论文的核心目标是'为现有公平性评估指标做一次系统性的体检与升级'，具体包括三层任务：（1）在理论层面剖析现有 29+ 个推荐系统公平性指标的数学形式，找出能够被反例击穿的形式化缺陷；（2）在实证层面用真实与合成数据集观察这些指标的取值分布、敏感度、互相一致性；（3）针对发现的局限设计新指标或对原指标进行再规范化（如 DPFR、PUF），最终为研究者与从业者提供一份'在什么场景下用哪个指标'的实用指南。

与已有工作不同的是，已有的大量综述（如 [228] 等）汇总了公平性指标家族并按主题分类，但鲜有研究深入公式内部做理论拆解，更少有研究把'同一个数据集同一个模型'上多个指标的结果做大规模对比。论文的独特切入角度是'把指标当对象来研究'：不直接改进推荐算法让系统更公平，而是'测量测量工具本身是否可靠'。它把局限性梳理成理论（公式可直接击穿）、实证（用实验揭示）、概念（公式根本没涵盖公平性本质）三类，再为每一类各推出解决手段（重新定义、规范化、推倒重做）。这种'元评估' (meta-evaluation) 的角度在当时的推荐系统公平性文献里几乎是空白的。

核心方法

论文的方法论核心是'元评估'（meta-evaluation）：把已有的 29+ 个公平性评估指标当作研究对象，从理论、实证、概念三个角度做体检，并按发现的问题逐一设计修复方案。具体技术路线是：先把每个指标用数学语言重写为'检测函数 + 不公平度聚合'的形式（参考论文的 examination function 设计），这样才能系统地比较与击破；然后用精心构造的合成与真实数据集注入受控扰动（改变 k、改变插入物品、改变相似度分布、引入最不公平排序）；最后观察哪些指标的行为偏离了'公平性'的直觉语义。基于观察到的偏离模式，作者要么对原指标做最小改动的归一化/重定义（如 IAA 的修正版 → IAAour），要么另起炉灶设计一个全新的指标（如 DPFR、PUF）。整个过程强烈依赖于 Kendall's $\tau$、score range 分析、对照最不公平排序的边界检查这些定量化手段，确保改进不是凭直觉而是有数据支撑。

论文的核心创新不是提出一个全新的公平性公平性 '哲学'，而是引入了一套'先击破、再修正'的方法学：第一步用理论反例（如构造物品数 $n$ 大于 $k m$、让 $j$ 个物品共享同一曝光）来形式化证明'哪些 (score, 模型) 组合是不可能的'，以确定指标的真实可达域；第二步用实验扫多种数据组合找到指标'看起来公平却其实没有区分度'或'看起来不公平却其实不存在'的悖论；第三步提出最小改动的修正公式或在证明原指标无法挽救时干脆换上新指标，例如 DPFR 把'公平+相关'分解为一条前沿上的距离、PUF 把'效用差距 × 用户相似度'作为一对用户的不公平得分。区别于已有工作'列举指标不评估指标'，论文把评估工具的可信度本身作为研究对象。

方法步骤详情

每篇子论文的步骤虽然不同，但整体方法学高度一致。下面以 Paper 1（Chapter 2）为模板详细描述其作为博士论文骨架的步骤。步骤一：把指标集合转化为'检测函数 $e(u,i,w)$ + 度量公式'的二元形式，例如对 Jain、QF、Ent、Gini、Gini-w、VoCD、FSat、II-D、AI-D 等 9 类曝光型指标统一用 $e_{\text{unif}} \equiv 1$ 或 $e_{\text{DCG}} = 1/\log_2(z+1)$ 这两种 examination function 表示出来。步骤二：理论击破，作者构造了 C1-C4 四种非可实现性原因（例如当 $k m$ 不能被 $n$ 整除时 Jain 的最公平值永远不可达；当 $\text{sum} = 0$ 时 Ent 出现除零）。步骤三：提出修复，对于'非可实现性'用可达下界 $L_{\min}$ 与可达上界 $L_{\max}$ 对原公式做线性归一化得到 $\hat{f}(u,i,w) = (f - L_{\min}) / (L_{\max} - L_{\min})$；对于'除零'则直接重定义分母为零时的取值（一般为边界值 0 或 1）。步骤四：实证复测，使用 6 个数据集（Lastfm, Ml-1m, Amazon-lb/is, Book-x, Yelp）跑 5 个推荐器（MostPop, ItemKNN, BPR, EASE, LightGCN）并对原指标、修正指标、参考效用指标 NDCG@k 计算全套分数。步骤五：相关性与严格性诊断，对修正版指标在不同 k（1, 3, 5, 10, 20）、不同滑动窗口、不同人工插入物品场景下逐一拍照，并计算两两 Kendall's $\tau$ 来判断'哪些指标互相替代'。步骤六：撰写指南，把实验结论转化为可读的选择建议，比如'如果你只能选一个指标选 $\hat{\text{Jain}}_{\text{our}}$'。其他论文（Paper 2-6）采用同一骨架但各自聚焦于相关性感知、项目-用户连接、Pareto 前沿、效用 × 相似度、群体与个体交叉。

技术新颖性

论文的技术新颖性主要体现在四个方面。第一，把测量工具的'非可实现性' (non-realisability) 形式化为四个独立可检验的因果类（C1：最公平排序本身不存在；C2：$k m < n$；C3：$n$ 不整除 $k m$；C4：理论界计算公式未给出），并首次提供了 Closed-form 的可达上下界。第二，提出 $\hat{f} = (f - L_{\min})/(L_{\max} - L_{\min})$ 这种'以最不/最公平排序为锚点'的最小改动归一化方案，避开了重新训练新指标带来的可比性问题。第三，DPFR 设计了一个新的 Pareto 前沿生成算法：在固定 $k$ 与给定测试集的前提下，反复迭代'换取一个相关性换取一个公平性'直到达最大公平，得到 dataset-specific 的帕累托前沿，然后用 $(\alpha, 1-\alpha)$ 加权距离做综合评分。第四，PUF 把用户相似度 $s(u,v)$ 与效用差 $|\Delta \text{NDCG}|$ 同时纳入不公平贡献，并提供了 8 种以上相似度方案的兼容接口；这种'效用差 × 相似度'的双因子设计在个体用户公平性文献里是首次出现，技术上比标准差或 Gini 更契合'个体公平性'原始定义。

**Figure 1.2**: Example illustrating how DPFR finds the most balanced model between fairness and relevance at α = 0.5.

实验结果

六篇子研究共检验了 29+ 个指标，得出若干令人警醒但可操作的结论。Paper 1 发现：(i) 现有 9 类曝光型指标中有 8 类存在非可实现性，原版 $\text{Jain}_{\text{ori}}$ 在 Lastfm 上的最公平值实际只能达到 $0.6$ 而非 $1$；(ii) FSat 在 Lastfm 上对几乎所有 $k$ 都给出'理想公平'，导致它对模型无任何区分力；(iii) 修正版的归一化指标 $\hat{f}_\text{our}$ 在所有 6 个数据集和 5 个推荐器上都成功把最公平排序映射到 1、最不公映射到 0。Paper 2 发现：在 Lastfm 上相关性感知指标 IAA 与 HD 的 Kendall's $\tau \approx 0.92$，几乎可以互相替代；而 IFD÷ 与效用指标的 $\tau \approx 0.3$，说明它在'公平'与'相关'两个轴上偏向不同。Paper 3 通过 Closed-form 分析定位了 5 类理论局限并扩展了 12 个原指标，使其在 $k$ 变化时仍可计算。Paper 4 在 6 个数据集上发现 12 对 (relevance, fairness) 指标与 DPFR 兼容；其高效版 DPFR 算法 $\text{GS}^*$ 在 Yelp 大数据集上运行时间 < 60s。Paper 5 在 8 个推荐器、3 个数据集上展示 PUF 在相似度翻转下能稳定反向排序（$\tau = -0.85$），而标准差几乎不动，证实 PUF 同时捕获了效用差与相似度。Paper 6 在 8 个推荐器、3 个数据集上发现：当把用户按性别分两组时组间 Gini 公平差仅 0.037，但组内个体 Gini 高达 0.446，差距达 12 倍，强烈说明 group fairness 评估会系统性高估公平性。

**Table 1.1**: The three fairness types covered by the six papers (P1–P6).

**Table 1.2**: Overview of the main contributions of the papers in the thesis across limitation types (T, E, C), measure creation, and guidelines.

**Table 1.3**: Exposure-based individual item fairness measures and their theoretical limitations.

**Table 1.4**: Factors for selecting relevance-aware item fairness measures across Alignment (A), Computability (C), Interpretability (I), Expressiveness (X), Stability (S), Efficiency (E).

**Table 1.5**: Overview of individual user fairness measures in recommender systems.

**Table 2.6**: Statistics of the datasets before and after preprocessing (Lastfm, Ml-1m, Amazon-lb, Amazon-is, Book-x, Yelp).

**Figure 1.3**: Left: NDCG distribution of two handpicked user groups and all individuals; Right: Gini scores for groups vs individuals.

**Figure 2.1**: Kendall's τ correlation between relevance and fairness measures for [dataset] (relevant models).

**Figure 2.7**: Sliding window evaluation for BPR model on Lastfm and Ml-1m.

**Figure 4.1**: Kendall's τ correlation between Joint, Effectiveness, and Fairness measures across datasets.

查看结构化数据

任务	指标	本文	基线	提升
模型排序一致性 (Kendall's τ) between PUF and existing measures	Kendall's τ correlation	PUF (与 Gini, Envy-based, StDev 的 τ) 在不同相似度方案下约 -0.85 ~ -0.40 (受控翻转)	StDev、Gini、Envy-based 等既存用户公平指标在相同扰动下的表现	PUF 是唯一在用户相似度翻转下能给出可预测反向排序的指标；既存指标几乎不变（τ ≈ 0），证明它们无法捕获'相似个体'的核心概念
个体 vs 群体公平性差距 (Yelp 数据，8 推荐器)	Gini 公平分 (越低越公平)	个体级 Gini ≈ 0.446，群体级 Gini ≈ 0.037	仅报告群体级 Gini 的传统评估	差距约 12 倍；论文展示了 group fairness 评估掩盖个体不公平是普适现象而非偶发
DPFR (Pareto Frontier) 计算效率	运行时间 (秒)	*GS 高效版 DPFR 在最大数据集 (Yelp, 数千用户, 上万物品) 上 < 60s**	朴素枚举 Pareto 前沿：随着候选数指数增长，数十万秒量级	效率提升 1000× 以上，同时保持与精确算法的综合排序一致性
Jain 修正版 vs 原版在 Lastfm 上的可实现性	最公平得分能否达到理论最优 1.0	修正后 $\hat{\text{Jain}}_\text{our}$ 在 $k \in \{3,5,10,20\}$ 都映射到 1.0	原版 $\text{Jain}_{\text{ori}}$ 在 Lastfm $k=10$ 上最大仅约 0.6	把本来'看似中等公平' (0.6) 的模型正确归类为'几乎完美公平'，避免误诊

局限与改进

作者坦诚的局限性主要有四点：（1）所有实验都是离线 (offline) 评估，与在线 A/B 测试、用户感知研究的结果可能存在冲突，这一点在第一章'未来工作'里被明确提及；（2）研究排除了反事实公平 (counterfactual fairness) 与表征层公平等需要模型内部状态的指标，因此本论文结论不适用于这类'过程公平'评估；（3）个体公平性里的'相似度'本身没有公认度量，论文尝试了 8+ 种相似度方案但仍无法声称某一种就是 ground truth，导致个体公平性的得分存在相似度选择敏感性；（4）数据集中在三个公共数据集 (Lastfm, Ml-1m, Amazon, Yelp) 上的推荐结果，是否能泛化到工业级超大规模平台（如 TikTok、Spotify）还未经验证。我自己观察的额外局限：所有指标都假设'静态、单轮'推荐，对多轮、上下文、序列化场景（如新闻流）的公平性尚未覆盖；论文对 LLM-as-recommender 的公平性仅停留在'未来工作'而没有给出实证分析。

独立分析的弱点

独立分析存在三个突出弱点。第一个弱点：所有'理论修正'都依赖于对原公式最小改动原则（如补一个边界值），但最小改动可能在跨指标族比较时引入新的不一致——例如修正后的 $\hat{\text{Jain}}_\text{our}$ 与 $\hat{\text{Gini}}_\text{our}$ 仍然使用不同的 anchor（最公平/最不公）映射方向，前者'值大越公平'后者'值小越公平'，对仪表盘类可视化极不友好；改进方向是统一约定一个'越接近 0 越公平'的公共约定或一个 (0,1) 内的'公平度'语义规范。第二个弱点：DPFR 强烈依赖于被选的 $(\alpha, 1-\alpha)$ 权重，论文在主要实验中使用 0.5，但工业场景下相关性一般权重远高于公平性，DPFR 的结论对权重高度敏感；改进方向是引入自动 $\alpha$ 选择机制（如 Pareto 前沿曲率启发式）或同时报告一系列 $\alpha$ 下的 scores。第三个弱点：PUF 的相似度计算开销在百万用户规模下不可忽略，论文虽在 Amazon-lb 上做过测试但仍未提供线性复杂度方案；改进方向是借鉴 locality-sensitive hashing (LSH) 近似最近邻、或者把相似度预计算+缓存为矩阵。

未来方向

作者在 §1.4 与各论文 Chapter 8 明确给出三类后续研究。方向一：在线与用户中心评估——目前的离线指标与用户感知经常冲突，因此需要 A/B 测试或大规模问卷研究来验证 DPFR、PUF 等新指标是否真的符合利益相关者心目中的'公平'；这与新兴的 responsible AI 多支柱（privacy、inclusion、transparency）可以联合。方向二：多主体、多轮、多属性的公平性——真实平台在多轮交互中暴露物品/用户，且常带敏感属性交叉；论文已经把实验限制在 single-shot、单主体，因此亟需扩展 Paper 4 的 DPFR 到多轮、把 Paper 6 的 Gini 框架扩展到 intersectional fairness，并对 ordinal/interval 型属性（如年龄、工龄）做兼容。方向三：基于 LLM 的公平性评估——LLM-as-a-judge 在相关性、解释质量上已有初步尝试，可以探索用于公平性评估，并系统比较'用 LLM 判公平'与 DPFR/PUF 等可量化指标的一致性；也可以用 LLM 做数据偏差检测或 fairness-aware reranker。

复现评估

复现性较好。Paper 1、2、3、4 都明确声明'代码公开'（Paper 4 拿到 ACM Artifacts Available v1.1 badge，Paper 1 公开 GitHub 仓库），并且使用了 Lastfm、Ml-1m、Amazon-lb/is、Book-x、Yelp 等 6 个公开数据集，超参数搜索空间与最优超参以表格形式给出（如 Tab. 2.8、2.9）。所采用的推荐模型（MostPop, ItemKNN, BPR, EASE, LightGCN, NCL 等）均为开源实现，所需算力是单 GPU 可承受的中等规模（一两小时级别），相比同领域使用 LLM 或大规模图神经网络的论文来说复现门槛较低。但有几点可能增加复现难度：（a）某些'合成最不公平排名'的精确算法描述在附录，需要仔细对照；（b）使用的相似度方案有 8 种，仅论文里展示部分结果的复现需自选一种；（c）Paper 5 与 Paper 6 的若干实验只给出部分推荐器的结果，完整重现需自行训练所有推荐器。总体而言对一名熟悉 PyTorch + RecBole 库的研究生来说，3-6 个月可重现大部分结果并扩展到自有数据集。

推荐系统中公平性的离线评估指标研究 Offline Evaluation Measures of Fairness in Recommender Systems