对人类触感的盲视：基于大语言模型的摘要评估中的重叠偏见 Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation

方法步骤完整描述如下：第一步，数据准备。从WikiSum和CNN_DailyMail数据集中筛选测试集，每个数据集包含2,000篇文章及其人类撰写的摘要。为了控制长度偏见，过滤使得人类摘要的长度在95-105个空格分隔的单词之间，过滤后CNN_DailyMail包含286篇文章，WikiSum包含276篇文章。第二步，生成LLM摘要。使用Figure 1所示的提示词，让多个LLM为每篇文章生成100词的摘要。生成摘要的模型包括Phi-4-mini-instruct、Mistral-7B-Instruct-v0.3、GPT-4o mini以及Gemma和LLaMA的变体，参数量从1B到12B。第三步，评估相似度。对于每个生成的摘要，使用BLEU-1、BLEU-4、ROUGE-1、ROUGE-2四个指标计算其与人类摘要的相似度，取这四个指标的平均值作为最终相似度分数。为了扩展相似度分数的范围，还使用了Figure 6所示的提示词，让模型改写人类摘要（保持较多长短语和片段），生成更高相似度的摘要。第四步，LLM评估。使用Figure 2所示的提示词，让评估者模型对原始文本和两个摘要（一个生成摘要，一个人类摘要）进行评估，输出更好的摘要名称。为了控制位置偏见和自我偏好偏见，对每个摘要对进行两次评估，交换两个摘要的顺序。如果两次选择一致，则接受该选择；如果不同，则标记为tied（平局）。第五步，数据分析。按相似度分数将结果分组，绘制直方图展示评估者在每个相似度区间的选择分布，分析偏好模式。所有模型的温度设置为0.7。数据收集最终获得了6,744个LLM摘要和超过94,000个LLM判断。

本文的技术新颖性体现在多个方面。首先是分析粒度的创新，将LLM偏见分析精确到n-gram重叠级别，研究了判断偏好作为相似度函数的变化模式，这是对现有研究的细化和深化。其次是数据规模的创新，收集了包含6,744个LLM摘要和超过94,000个LLM判断的大规模基准数据集，覆盖了9个不同规模的LLM，参数量从1B到12B，提供了前所未有的实验细节和广度。第三是发现了位置偏见与AI-AI偏见的交互作用，揭示了这两者之间的复杂关系，这是以往研究未发现的。第四是通过改写提示词扩展了相似度分数的范围，使得能够观察到更完整的偏见模式，特别是在高相似度区域的行为。第五是发现AI-AI偏见超越了简单的自我偏好，即使评估者和生成者是不同的模型，LLM仍然会偏好生成的内容，这说明LLM输出可能存在某种风格标记，这种风格标记被其他LLM所识别和偏好。这些发现不仅对理解LLM行为有理论意义，也对改进LLM-as-a-judge系统有实际指导价值。

独立分析的弱点包括：第一，研究范围相对狭窄，只关注了摘要评估任务。可以扩展到其他NLP任务如翻译、问答、文本生成等，看看偏见模式是否一致。第二，相似度指标过于单一，只使用了n-gram重叠。可以引入语义相似度指标（如BERTScore、Sentence-BERT嵌入相似度）、逻辑一致性指标、事实性指标等，提供更全面的相似度衡量。第三，实验设置的人工性较强。提示词明确要求输出摘要名称，这与真实场景中LLM-as-a-judge的使用方式可能不同。可以使用更自然的评估提示词，如要求模型给出详细的理由和分数。第四，数据量虽然很大，但主题范围可能有限。可以增加更多领域的数据集（如科技、医学、法律等），看看偏见模式在不同领域是否一致。第五，没有考虑跨语言的情况。可以研究LLM评估者在评估不同语言内容时的偏见模式。第六，没有考虑时间因素。可以研究随着模型训练时间的变化，偏见模式是否也会变化。第七，没有考虑不同评估者的差异。可以研究不同模型作为评估者时的偏见模式差异，以及如何组合多个评估者的判断来减少偏见。

作者提出的未来工作方向包括：调查更多潜在的指标作为独立变量，获取多个多样化的人类撰写摘要，在人类和机器生成摘要上扩展长度范围，以及考虑对抗性示例。基于本文的研究成果，可以延伸出更多未来研究方向：第一，深入探讨偏见背后的机制。研究LLM输出中的哪些特征被其他LLM识别为机器生成，这些特征是否可以在训练中被显式地控制。第二，开发缓解偏见的方法。研究如何通过提示词工程、模型微调、后处理等技术来减少LLM评估者的偏见。第三，研究偏见在不同任务中的表现。将研究扩展到翻译、问答、文本生成等其他NLP任务，看看偏见模式是否一致，以及是否有任务特定的偏见。第四，研究偏见对不同评估者的影响。比较不同架构、不同训练方法的LLM作为评估者时的偏见模式差异。第五，开发更鲁棒的评估框架。设计能够自动检测和校正偏见的评估系统，提高LLM-as-a-judge的可靠性。第六，研究偏见的可迁移性。研究在某个任务或数据集上观察到的偏见模式是否可以迁移到其他任务或数据集。第七，研究偏见的影响因素。研究训练数据、模型架构、提示词设计等因素如何影响LLM评估者的偏见。第八，开发新的评估指标。设计能够更好捕捉文本质量的指标，减少对n-gram重叠的依赖。第九，研究多模态评估。将研究扩展到图像、视频等多模态内容的评估，看看偏见模式是否类似。第十，研究人类与LLM评估的对比。更系统地比较人类评估者和LLM评估者的判断模式，了解它们的异同。

复现评估如下：数据集方面，WikiSum和CNN_DailyMail都是公开可用的标准数据集，可以很容易地获取。模型方面，大部分使用的模型都是开源的，可以通过HuggingFace获取，包括Gemma 3（1B、4B、12B）、LLaMA 3（3B、8B）、Phi-4-mini-instruct、Mistral-7B-Instruct-v0.3、Qwen3-8B。只有GPT-4o mini需要通过OpenAI API获取。数据收集方面，本文需要生成6,744个LLM摘要和超过94,000个LLM判断，这是一个相当大的数据量，需要大量的API调用和计算资源。然而，由于大部分模型都是相对较小的模型（最大12B参数），它们可以在消费级GPU上运行，这使得实验相对容易复现。代码方面，本文没有开源代码和数据，这使得完全复现变得困难。然而，实验设置和方法描述得非常详细，包括提示词、数据处理步骤、评估方法等，这使得有经验的团队可以重现实验。算力需求方面，由于使用了相对较小的模型，算力需求适中。主要的挑战在于需要协调多个API调用（特别是对于GPT-4o mini）和管理大量的数据处理。难度评估为中等，主要挑战在于需要从零开始构建数据集，包括生成摘要、计算相似度分数、进行评估等，这需要大量的时间和资源。总体而言，本研究的方法透明度较高，数据来源明确，模型大部分开源，使得复现是可能的，但需要相当的努力。