POEMetric：人类最后的诗节——大语言模型诗歌生成能力的全面评估框架 POEMetric: The Last Stanza of Humanity
首个全面评估诗歌生成框架，揭示LLM形式准确但创造性不足，人类仍保持显著优势。
前置知识
iambic pentameter（抑扬格五步格）
英语诗歌中最常见的格律模式，每行包含十个音节，分为五个音步，每个音步由一个非重读音节后跟一个重读音节组成（da-DUM da-DUM da-DUM da-DUM da-DUM）。这是莎士比亚十四行诗等经典形式的格律基础，检测模型是否遵循这种格律可以评估其对诗歌形式约束的理解能力。
论文中的诗歌数据集包含大量采用iambic pentameter的sonnet，理解这一概念对于评估模型的形式准确性至关重要。
Moving Average Type-Token Ratio (MATTR)
一种衡量词汇多样性的统计指标，通过滑动窗口的方式计算文本中不同词汇类型与总词汇数量的比率，避免了传统TTR指标受文本长度影响的问题。计算公式为MATTR等于窗口中唯一词数量的平均值除以窗口大小，通过滑动整个文本来获得整体指标。
论文使用MATTR来量化诗歌的词汇多样性，这是POEMetric框架中评估高级创作能力的重要客观指标之一。
LLM-as-a-judge
一种使用大语言模型作为评估者来评判其他模型输出质量的方法。通过精心设计的提示词，让LLM根据特定维度如创造性、情感共鸣等对文本进行评分，通常使用1到5分的李克特量表。这种方法具有可扩展性和一致性优势，能够大规模评估文本质量。
论文采用LLM-as-a-judge方法选择Gemini-2.5-Pro来大规模评估6090首LLM诗歌和203首人类诗歌，这是POEMetric框架的核心评估手段之一。
Proportion Agreement Observed (PAo)
一种衡量评估者间一致性的指标，计算两个评估者给出相同评分的比例。公式为PAo等于两倍的一致数量除以两个评估者的总评分数量之和。PAo值越接近1表示一致性越高，是验证自动评估与人类评估一致性的重要指标。
论文使用PAo指标验证LLM-as-a-judge与人类专家评估者之间的一致性，结果表明PAo等于0.662，证明了自动评估的有效性。
Chain-of-Thought (CoT)
一种提示技术，引导大语言模型在给出最终答案之前展示其推理过程。对于诗歌生成任务，CoT可以让模型显式地分解任务、规划结构、选择韵律和韵脚，甚至批判自己的用词选择，使生成过程更加透明和可控，便于理解模型的创作逻辑。
论文展示了DeepSeek-R1在生成诗歌时的CoT输出，揭示了模型采用结构化、有意图的创意推理过程，类似于人类诗人的思考过程。
研究动机
现有LLM诗歌评估方法存在严重局限性。大多数研究仅关注基础的形式准确性，如韵律和押韵模式的遵守程度，或者过于通用的文本生成能力，如流畅性和连贯性。例如，ByGPT5、PoeLM等模型虽然在形式约束上表现良好，但在更本质的诗歌特质方面缺乏评估。这种评估方式忽视了诗歌创作的核心要素：创造性、作者意图和情感表达、意象运用和修辞手法等高级能力。更重要的是，现有方法很少评估诗歌的艺术美感和情感效应，而这些恰恰是T.S. Eliot所说的听觉想象的精髓，即声音、意义和文化记忆的融合，这是区分真正诗歌与单纯语法排列的关键。此外，现有研究缺乏对LLM与人类诗人在这些高级维度上的系统性比较，难以全面评估LLM的诗歌生成能力。
本文的目标是本文提出POEMetric，这是首个全面的诗歌评估框架，旨在系统性地评估LLM的诗歌生成能力。该框架包含三个层次的评估维度：基础指令遵循能力包括形式准确性和主题一致性、高级创作能力包括创造性、词汇多样性、独特性、情感共鸣、意象运用和修辞手法、总体评估包括整体诗歌质量和作者归属判断。通过这一框架，作者希望能够量化LLM在诗歌生成方面的优势与不足，特别是在超越单纯语法能力、实现真正诗歌艺术方面的进展。目标不是简单地判断LLM是否能写诗，而是深入探究它们能否达到人类诗人所具备的高级创作水平。
与已有工作不同的是，本文的独特切入角度在于将传统文学批评理论系统性地应用于LLM诗歌评估。与以往仅关注形式约束或通用文本质量的研究不同，POEMetric将诗歌评估的6个核心维度创造性、词汇多样性、独特性、情感共鸣、意象运用和修辞手法从文学批评中的实用批评方法提炼出来，转化为可量化的评估指标。这种方法填补了现有评估框架在诗歌美感、个人特质和情感效应方面的空白。此外，本文还构建了一个精心标注的人类诗歌数据集，包含203首7种固定形式的英语诗歌，涵盖了过去200年从经典作品到较不知名的当代创作，为LLM诗歌生成提供了严格且具有诊断性的基准。
核心方法
POEMetric框架采用多层次、多维度的评估方法，结合客观规则评估、LLM-as-a-judge和人类专家验证三种评估手段，形成三角验证体系。首先，从两个在线数据库收集1309首人类诗歌，通过自主设计的算法自动检测每首诗的韵律和押韵模式，仅保留遵循特定格律模式的诗歌，最终得到203首高质量数据集。然后，基于这些人类诗歌的形式、韵律、押韵和主题，设计生成提示词，让30个LLM生成对应的诗歌，总计6090首LLM诗歌。评估阶段，使用规则算法检测形式准确性，用MATTR计算词汇多样性，用重复率衡量创造性。同时选择Gemini-2.5-Pro作为LLM judge，基于POEMetric的10个维度对所有诗歌进行评分。最后招募7位诗歌研究或英语文学背景的人类专家对58首代表性诗歌进行评估，验证LLM judge的结果。
POEMetric的核心创新点在于将传统文学批评的系统化理论转化为可量化的LLM评估框架。与以往仅关注形式约束或通用文本质量的方法不同，POEMetric将文学批评中的6个核心维度创造性、词汇多样性、独特性、情感共鸣、意象运用和修辞手法提炼为具体的评估指标，这些维度正是文学评论家在分析诗歌时关注的焦点。另一个关键创新是评估方法的三角验证：规则算法提供客观可重复的评估，LLM-as-a-judge提供大规模覆盖，人类专家提供质量保证。特别是选择Gemini-2.5-Pro作为单一LLM judge的决策基于严谨的试点研究，该模型与人类专家的一致性PAo等于0.662显著高于DeepSeek-R1的0.438和GPT-4o的0.548，且在判别能力上更接近人类，标准差0.63对比人类1.09。
方法步骤详情
POEMetric方法分为四个主要步骤：第一步是数据集构建与标注，从Poetry Foundation和Academy of American Poets收集1309首诗歌，设计算法自动检测韵律和押韵模式，筛选出203首严格遵循特定格律的诗歌，包括95首ballad、9首ghazal、6首limerick、3首pantoum、7首sestina、71首sonnet和12首villanelle，并标注主题和意象。第二步是LLM诗歌生成，基于每首人类诗歌的形式、韵律、押韵和主题，设计标准化提示词，让30个LLM包括GPT、Gemini、Claude、Llama、DeepSeek等系列生成对应的诗歌，总计6090首LLM诗歌。第三步是多维度评估，规则算法评估形式准确性、MATTR计算词汇多样性、重复率衡量创造性，Gemini-2.5-Pro基于10个维度对所有诗歌进行1到5分评分，7位人类专家对58首代表性诗歌进行评估。第四步是结果验证与分析，计算PAo、Cohen's Kappa和Spearman相关系数验证LLM judge与人类专家的一致性，分析人类与LLM在各维度上的差异。
技术新颖性
POEMetric的技术新颖性体现在多个方面：首先，这是首个系统性地将文学批评理论应用于LLM诗歌评估的框架，填补了诗歌美感、个人特质和情感效应评估的空白；其次，采用三角验证方法结合规则评估、LLM-as-a-judge和人类专家，在规模与质量之间取得平衡；第三，设计了专门用于诗歌形式检测的算法，包括7种固定形式的特定验证逻辑，如Ghazal的radif和qafia检测、Sestina的词序置换验证等；第四，构建了高质量的人类诗歌数据集，涵盖200年时间跨度和7种固定形式，为诗歌生成提供了严格基准；最后，通过大规模实验30个LLM、6090首诗歌提供了LLM诗歌生成能力的全面图景，揭示了模型规模、推理能力与诗歌质量之间的复杂关系。
实验结果
实验结果揭示了LLM诗歌生成能力的显著优势与局限。在基础指令遵循能力方面，顶级LLM表现出色：Gemini-2.5-Pro在形式准确性上得分4.26分满分5分，主题一致性得分4.99分满分5分，显示了强大的指令遵循能力。然而，在高级创作能力方面，所有LLM都未能达到人类诗人的水平：人类在创造性得分4.02分、独特性得分3.95分、情感共鸣得分4.06分、意象运用得分4.49分和修辞手法得分4.67分上都显著优于LLM。DeepSeek-R1在LLM中表现最佳，但仍落后人类。值得注意的是，DeepSeek-R1在词汇多样性上得分3.85分略超人类得分3.82分，表明LLM在词汇丰富度上有优势。在整体诗歌质量上，人类得分4.22分显著优于最佳LLM，DeepSeek-R1得分为3.20分。作者归属判断方面，Gemini-2.5-Pro能识别出39.4%即80首的人类原创诗歌，显示出LLM诗歌与人类诗歌仍有明显区别。参数规模与性能呈正相关，同系列模型中参数越多表现越好，但思维模型不一定优于非思维模型，如GPT-4o和GPT-4排名高于o1和o3-mini，DeepSeek-R1-Distill模型通常不如原模型。LLM judge与人类专家的一致性验证PAo等于0.662、Cohen's Kappa等于0.361、Spearman相关系数等于0.378与现有研究相当，证明了评估的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 形式准确性 | 1到5分评分Gemini-2.5-Pro judge | 4.26分Gemini-2.5-Pro | 人类基线未直接评分，但规则检测显示形式准确性高 | LLM在形式遵循方面表现强劲，接近人类水平 |
| 主题一致性 | 1到5分评分Gemini-2.5-Pro judge | 4.99分Gemini-2.5-Pro | 人类诗歌 | LLM在主题对齐方面几乎完美，显示强大理解能力 |
| 创造性 | 1到5分评分Gemini-2.5-Pro judge | 2.17到4.23分LLM范围 | 4.02分人类 | 人类领先最佳LLM约0.2到1.8分，显示创造性的显著差距 |
| 情感共鸣 | 1到5分评分Gemini-2.5-Pro judge | 2.46到3.54分LLM范围 | 4.06分人类 | 人类领先约0.5到1.6分，LLM难以唤起深层情感 |
| 意象运用 | 1到5分评分Gemini-2.5-Pro judge | 3.38到4.01分LLM范围 | 4.49分人类 | 人类领先约0.5到1.1分，LLM意象运用技巧不足 |
| 修辞手法 | 1到5分评分Gemini-2.5-Pro judge | 3.70到4.30分LLM范围 | 4.67分人类 | 人类领先约0.4到1.0分，LLM在比喻、拟人等手法上欠缺 |
| 整体诗歌质量 | 1到5分评分Gemini-2.5-Pro judge | 3.20分DeepSeek-R1 | 4.22分人类 | 人类领先1.02分，约24%的提升，差距显著 |
| 规则检测形式准确性 | 0到1比例 | 0.50分Gemini-2.5-Pro，0.47分Claude-3.7-Sonnet | 人类诗歌未明确报告具体比例 | LLM在形式约束遵循方面表现良好，约一半诗歌符合要求 |
| 词汇多样性MATTR | MATTR分数 | DeepSeek-R1略高于人类3.85分对比3.82分 | 人类诗歌 | LLM在词汇多样性上略有优势，可能源于训练数据的广泛性 |
| 人类LLM一致性 | PAo、Cohen's Kappa、Spearman相关系数 | PAo等于0.662、Cohen's Kappa等于0.361、Spearman相关系数等于0.378 | 相关研究中AI与人类的一致性在Cohen's Kappa等于0.28加减0.32范围内 | 本研究结果与现有研究相当，验证了LLM-as-a-judge的有效性 |
局限与改进
作者承认了几个重要局限性：首先，本研究仅关注固定形式诗歌，如sonnet、villanelle等，这是为了建立严格的量化基准，但自由诗的评估仍然是一个开放挑战，因为其形式约束较弱，评估更加主观。其次，本论文只研究了英语诗歌，虽然POEMetric框架理论上可以应用于其他低资源语言，但需要跨语言验证。第三，虽然使用了7位人类专家验证LLM judge的结果，但由于诗歌评估的专业性和耗时性，无法对全部6090首诗歌进行人工评估。第四，LLM judge的选择虽然基于严谨的试点研究，但使用单一LLM即Gemini-2.5-Pro可能引入该模型的特定偏见。此外，本研究没有深入探讨不同LLM在生成诗歌时使用相同的安全词汇和意象模式的问题，如Figure 11所示LLM对eyes、sun、face等意象的偏好，这可能反映了训练数据的偏见。最后，研究没有涉及诗歌的情感深度、文化隐喻等更细微的维度，这些可能是人类诗歌与LLM诗歌的关键区别。
独立分析的弱点
POEMetric框架存在几个可以改进的弱点。首先，规则评估中的70%阈值是一个经验性选择，虽然作者声称在精度和召回率之间取得了平衡，但这一阈值可能对某些创造性变化过于宽容或严格。改进方向可以是针对不同诗歌形式采用自适应阈值，或者引入更精细的评分系统而非二元判断。其次，LLM judge仅使用Gemini-2.5-Pro虽然基于试点研究，但引入了单一模型的偏见，未来的改进可以集成多个高质量LLM judge的加权平均，或者训练专门的诗歌评估模型。第三，本研究使用的词汇多样性指标MATTR和重复率指标相对简单，无法捕捉诗歌词汇选择的精妙之处，可以引入语义多样性、情感词汇丰富度等更精细的指标。第四，人类专家评估样本较小仅58首诗歌，且仅评估了7个代表性LLM，可能无法全面验证所有30个LLM的表现，未来可以扩大人类评估规模。最后，本研究没有考虑诗歌的情感递进、意象连贯性、文化深度等更高级维度，这些可能是人类诗歌优势的关键来源。
未来方向
基于本研究成果，多个未来研究方向值得关注。首先，将POEMetric框架扩展到自由诗评估是一个重要方向，需要开发更适合开放形式的评估维度和方法。其次，跨语言应用POEMetric，特别是低资源语言，可以验证框架的普适性并发现语言特定的诗歌特征。第三，基于POEMetric的发现，可以专门训练诗歌生成模型，针对创造性、情感共鸣、意象运用等人类优势维度进行优化。第四，研究LLM在生成诗歌时的内部机制，如注意力模式如何影响意象和修辞的选择，可以帮助理解为什么LLM难以达到人类水平。第五，探索个性化诗歌生成，让LLM学习特定诗人的风格特征即独特性，可能提升诗歌的个性化和独特性。第六，研究诗歌的多模态生成如图诗结合可能开辟新的创作空间。最后，长期跟踪LLM诗歌能力的演进，特别是当模型规模进一步增大或训练方法改进时，是否能缩小与人类的差距，是一个值得持续关注的问题。
复现评估
本研究在复现性方面做得较为充分。作者承诺公开发布代码和人类诗歌数据集，数据集来源为公开领域的Poetry Foundation和Academy of American Poets，确保了数据合法性和可获得性。实验设置详细描述：30个LLM的完整列表在附录E中提供，包括开源模型如DeepSeek-v3、Gemma-3-27B、Llama系列、Qwen系列等和闭源模型如Gemini、GPT、Claude系列。模型部署使用vLLM框架，采样参数采用各LLM默认设置，系统提示词采用默认配置。生成提示词模板在Figure 2中明确展示，评估提示词在附录C中完整给出，人类专家调查模板也在附录C中提供。规则算法的伪代码在附录B中详细描述，包括韵律提取、押韵检测、7种特定形式的验证逻辑等。人类评估通过IRB批准，专家背景明确包括诗人、博士生、博士后、教授等，评分过程标准化。唯一可能影响复现性的因素是闭源API模型的访问和费用，以及人类专家评估的耗时性。总体而言，本研究提供了足够的细节和资源来支持独立复现和扩展。
论文图表
