通过高级提示工程技术增强大语言模型的情感分类和反讽检测能力 Enhancing Sentiment Classification and Irony Detection in Large Language Models through Advanced Prompt Engineering Techniques
系统评估少样本、思维链等提示工程技术对LLM情感分析性能的影响
前置知识
提示工程（Prompt Engineering）
提示工程是指设计和优化输入提示（prompt）以引导大语言模型产生期望输出的技术。它包括零样本（zero-shot，直接给出任务指令）、少样本（few-shot，提供几个示例）、思维链（Chain-of-Thought，引导模型逐步推理）等方法。通过精心设计提示，可以在不修改模型参数的情况下显著提升模型在特定任务上的表现。
本文的核心研究对象就是不同的提示工程技术，理解这些技术的基本原理和差异是阅读本文的基础。
情感分析（Sentiment Analysis）
情感分析是自然语言处理的经典任务，旨在识别文本中表达的情感倾向。它包括二分类（正面/负面）、多分类（正面/中性/负面）、基于方面的情感分析（识别对特定属性的情感）以及反讽检测等子任务。传统方法依赖n-gram等特征，现代方法则利用深度学习和预训练语言模型。
本文研究的四个数据集分别对应情感分析的不同子任务，理解这些任务的区别有助于理解实验设计。
思维链提示（Chain-of-Thought Prompting）
思维链提示是一种要求模型在给出最终答案前展示其推理过程的技术。通过在提示中加入类似'让我们一步一步思考'的指令，或提供带有推理步骤的示例，模型会生成中间推理步骤，从而提高在复杂推理任务上的表现。这种方法由Wei等人在2022年提出，已被证明在数学推理、常识推理等任务上有效。
思维链是本文评估的高级提示技术之一，其在反讽检测任务上的表现是本文的重要发现。
少样本学习（Few-shot Learning）
在大语言模型的语境下，少样本学习指的是在提示中提供少量（通常2-5个）输入-输出示例，让模型通过上下文学习来完成新任务。这种方法利用了大语言模型的'上下文学习'能力，无需梯度更新就能适应新任务。示例的质量、数量和选择都会显著影响模型表现。
少样本提示在本文实验中表现最为稳健，是理解本文核心结论的关键。
自一致性（Self-Consistency）
自一致性是一种通过多次采样和多数投票来提高模型预测可靠性的方法。具体来说，对同一个问题让模型多次生成答案（通常配合思维链提示），然后选择出现次数最多的答案作为最终结果。这种方法假设正确的推理路径比错误的更常见，通过统计方法可以过滤掉随机错误。
自一致性在本文中的表现出人意料，是理解提示工程局限性的重要案例。
研究动机
情感分析是自然语言处理中的经典任务，但许多子任务对现有方法仍然具有挑战性。在基于方面的情感分析（ABSA）场景中，模型需要识别文本中对特定属性的情感倾向，而非整体情感，这要求更精细的上下文理解。反讽和讽刺检测则更加困难，因为表面文字与实际意图相反，传统方法基于n-gram等浅层特征很难捕捉这种语用学上的微妙差异。虽然大语言模型（如GPT-4）展示了强大的自然语言理解能力，但如何有效激发这些能力并非显而易见。直接使用简单的零样本提示往往无法充分发挥模型潜力，导致在复杂情感任务上表现不佳。现有研究虽然广泛评估了不同大语言模型在情感任务上的表现，但很少系统地隔离提示设计对性能的具体贡献，这使得从业者在部署大语言模型进行情感分析时缺乏明确的指导。
本文的目标是本文的具体目标是系统评估高级提示工程技术（包括少样本学习、思维链提示和自一致性）对大语言模型在情感分析任务上性能的影响。研究通过在四个不同的情感分析数据集上比较这些技术与基线零样本提示的表现，使用准确率、精确率、召回率和F1分数等标准分类指标进行量化评估。具体而言，研究希望回答：与基线零样本提示相比，这些高级提示技术能在多大程度上提高大语言模型在情感分类任务上的准确率和F1分数？这一研究问题涵盖了从简单情感分类到更细微的情感检测（如反讽检测）的多个维度。
与已有工作不同的是，本文的独特切入角度在于它不仅评估提示技术的整体有效性，还深入分析了提示策略与模型架构、任务类型之间的交互效应。现有工作通常在单一模型或单一任务上评估提示技术，而本文同时比较了两个具有代表性的大语言模型（OpenAI的GPT-4o-mini和Google的gemini-1.5-flash）在四种不同情感任务上的表现。这种设计使得研究能够揭示一个重要但被忽视的现象：最佳提示策略并非普适，而是高度依赖于模型架构和任务复杂度的。例如，少样本提示在GPT-4o-mini上表现最佳，而思维链提示则在gemini-1.5-flash的反讽检测任务上实现了高达46%的提升。这种差异表明，提示工程应该被视为一个需要根据具体情境优化的问题，而非一套可以简单套用的固定技术。
核心方法
本文的方法可以类比为一个系统性的'工具测试'：研究者将不同的提示技术视为给大语言模型配备的不同'思维工具'，然后在多个情感分析任务上测试哪种工具组合最有效。技术路线如下：首先，研究选择了两个具有代表性的大语言模型（GPT-4o-mini和gemini-1.5-flash），它们都是当前主流的高性能但成本优化的模型。然后，研究设计了五种提示策略：基线零样本（简单的任务指令）、单样本（提供一个示例）、少样本（提供多个示例）、思维链（引导逐步推理）和自一致性（多次采样加多数投票）。这些策略在四个数据集上进行评估：SST-2（二元情感分类）、SB10k（德语三分类情感）、SemEval-2014 ABSA（基于方面的情感分析）和SemEval-2018（反讽检测）。每个数据集随机抽取1000个样本进行评估，使用准确率、精确率、召回率和F1分数作为评价指标。为了确保结果的统计显著性，研究还进行了1000次bootstrap重采样，计算F1分数差异的95%置信区间。
本文的核心创新点不在于提出新的提示技术，而在于系统性地揭示了提示策略与模型架构、任务类型之间的非平凡交互效应。与已有工作不同，本文发现最佳提示策略并非普适的，而是高度依赖于具体情境。这一发现挑战了'更复杂的提示技术必然带来更好性能'的直觉认知。具体而言，少样本提示在GPT-4o-mini上表现最为稳健和有效，而思维链提示则在gemini-1.5-flash的反讽检测任务上展现出巨大潜力（提升46%）。更重要的是，研究发现思维链的'推理透明性'并不等同于'推理正确性'——GPT-4o-mini经常生成看似合理但实际错误的推理链。自一致性方法在GPT-4o-mini上甚至导致性能下降，因为模型多次采样都自信地给出错误答案，多数投票反而强化了错误。这些发现表明，提示工程应该被视为一个需要根据模型架构和任务特性进行定制优化的问题，而非一套可以简单套用的固定技术。
方法步骤详情
本研究的实验步骤遵循一个结构化的多步骤流程。第一步是数据准备：从四个数据集（SST-2、SB10k、SemEval-2014 ABSA、SemEval-2018反讽检测）中各随机抽取1000个样本，确保样本分布与原始数据集一致。第二步是提示设计：为每种提示策略（基线、单样本、少样本、思维链、零样本思维链、自一致性）设计相应的提示模板，包括系统提示（定义模型角色和行为）和用户提示（包含具体的分类请求）。提示与数据集语言保持一致，以避免语言不匹配导致的误解。第三步是模型调用：将每个文本实例通过API提交给GPT-4o-mini和gemini-1.5-flash，温度参数设置为0.2以减少响应变异性。第四步是评估：使用准确率、精确率、召回率和F1分数评估分类性能，特别关注各类别（如正面、负面、中性）的单独表现。第五步是统计检验：进行1000次bootstrap重采样，计算F1分数差异的95%置信区间，若区间不包含零则认为差异具有统计显著性。最后，进行详细的错误分析，识别系统性的误分类模式。
技术新颖性
本文的技术新颖性主要体现在三个方面。首先，它是首个系统比较多种提示技术在多个情感分析子任务和多个大语言模型上交互效应的研究，这种全面的实验设计使得研究能够揭示之前被忽视的模型-任务-提示三元交互关系。其次，研究发现思维链提示的'推理透明性'与'推理正确性'存在分离现象，这挑战了推理链必然带来更好性能的假设。在GPT-4o-mini的反讽检测任务中，思维链虽然生成了看似合理的推理步骤，但经常导致错误分类，而基线提示反而表现更好。第三，研究揭示了自一致性方法的潜在陷阱：当模型存在系统性偏差时，多次采样加多数投票可能强化错误而非纠正错误。这些发现为提示工程的实践提供了重要警示，表明更复杂的技术并不总是带来更好的结果，提示策略的选择需要基于对模型特性和任务特性的深入理解。
实验结果
本研究的核心发现揭示了提示工程在情感分析中的复杂效果。在情感分类任务（SST-2数据集）上，少样本提示在GPT-4o-mini上取得了最佳性能（加权F1=0.93，比基线提升2%），而在gemini-1.5-flash上，思维链提示表现最佳（加权F1=0.95，比基线提升12%）。在德语三分类情感任务（SB10k数据集）上，少样本提示在两个模型上都表现最佳：GPT-4o-mini达到0.72的加权F1（比基线提升14%），gemini-1.5-flash达到0.61（比基线提升15%）。值得注意的是，在SB10k数据集上，单样本提示中的中性类别示例显著提升了中性情感的召回率，gemini-1.5-flash的中性类别召回率从0.37提升到0.51。在基于方面的情感分析（SemEval-2014数据集）上，少样本提示在GPT-4o-mini上取得0.85的加权F1（比基线提升2.4%），思维链和自一致性在gemini-1.5-flash上都达到0.83（比基线提升2.5%）。最引人注目的发现出现在反讽检测任务（SemEval-2018数据集）上：在gemini-1.5-flash上，思维链提示将加权F1从0.41提升到0.60，实现了高达46%的相对提升。这一巨大提升主要归因于负面类别（'非反讽'）召回率的显著改善，从基线的0.06提升到0.38。然而，在GPT-4o-mini上，思维链提示反而导致性能下降（加权F1从0.73降至0.66），表明提示策略的有效性高度依赖于模型架构。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 情感分类（SST-2） | 加权F1 | GPT-4o-mini: 0.93, gemini-1.5-flash: 0.95 | GPT-4o-mini: 0.91, gemini-1.5-flash: 0.85 | GPT-4o-mini +2%, gemini-1.5-flash +12% |
| 情感分类（SB10k） | 加权F1 | GPT-4o-mini: 0.72, gemini-1.5-flash: 0.61 | GPT-4o-mini: 0.63, gemini-1.5-flash: 0.53 | GPT-4o-mini +14%, gemini-1.5-flash +15% |
| 基于方面的情感分析（SemEval-2014） | 加权F1 | GPT-4o-mini: 0.85, gemini-1.5-flash: 0.83 | GPT-4o-mini: 0.83, gemini-1.5-flash: 0.81 | GPT-4o-mini +2.4%, gemini-1.5-flash +2.5% |
| 反讽检测（SemEval-2018） | 加权F1 | GPT-4o-mini: 0.76, gemini-1.5-flash: 0.60 | GPT-4o-mini: 0.73, gemini-1.5-flash: 0.41 | GPT-4o-mini +4%, gemini-1.5-flash +46% |
| 反讽检测（SemEval-2018） | 负面类别召回率 | gemini-1.5-flash CoT: 0.38 | gemini-1.5-flash基线: 0.06 | +533% |
局限与改进
本研究存在几个重要的局限性。首先，研究结果仅基于GPT-4o-mini和gemini-1.5-flash两个模型，这两个模型都是专有系统，其训练数据和架构细节不公开，这限制了研究发现的泛化性和可解释性。其次，为了平衡计算效率和统计有效性，每个数据集仅使用了1000个随机抽样的样本，这可能降低统计功效，特别是对罕见类别的敏感性。第三，提示策略是手动设计的，没有进行自适应调优或系统的消融研究，这可能限制了提示的有效性。第四，解码参数（如温度、采样次数）在整个实验中是固定的，排除了对参数-提示交互作用的探索。第五，研究缺乏详细的语言错误分析，也没有控制多重假设检验，这可能高估了某些结果的统计显著性。最后，反讽检测任务的标注一致性可能存在挑战，三个标注者之间的不一致可能影响模型评估的可靠性。
独立分析的弱点
本研究存在几个可以改进的弱点。首先，在实验设计上，每个数据集仅使用1000个样本可能不足以充分评估模型在稀有类别上的表现，特别是在SB10k和SemEval-2018数据集中，中性类别和反讽类别的样本数量可能较少。改进方向是使用完整的数据集或采用分层抽样确保各类别有足够的代表性。其次，提示设计缺乏系统的消融研究，无法确定提示的哪些元素（如示例选择、指令措辞、输出格式要求）对性能贡献最大。未来可以采用自动提示优化技术（如AutoPrompt或提示搜索算法）来系统探索提示空间。第三，研究仅评估了两个时间点的模型快照，没有考虑模型更新可能带来的性能变化。改进方向是建立持续评估框架，定期重新评估提示策略的有效性。第四，自一致性方法仅使用了3次采样，这可能不足以充分发挥多数投票的优势。可以探索更多采样次数与成本之间的权衡。最后，研究没有分析提示长度和复杂度对性能的影响，这对于资源受限的应用场景很重要。
未来方向
基于本文的发现，未来研究可以在以下几个方向展开。首先，研究不同提示策略在更多样化的情感分析任务上的表现，例如情感强度分析、多模态情感分析、跨领域情感分析等，以验证本文发现的普适性。其次，探索自动提示优化方法，利用强化学习或进化算法自动发现针对特定模型和任务的最优提示策略，减少人工设计的主观性。第三，研究提示策略与模型规模之间的关系，探索在更大或更小的模型上，最佳提示策略是否会发生变化。第四，深入研究思维链提示的'推理透明性'与'推理正确性'之间的分离现象，探索如何设计提示来生成更可靠的推理链。第五，开发混合提示策略，例如将少样本示例与思维链推理结合，或根据输入文本的特点动态选择提示策略。最后，研究提示工程在低资源语言和跨语言情感分析中的应用，验证本文在德语数据集上的初步发现。
复现评估
本研究的复现性处于中等水平。在积极方面，作者提供了代码仓库（https://github.com/Marvin2108/ESCID-LLM-APET），包含了实验使用的所有提示模板和评估脚本。使用的数据集（SST-2、SB10k、SemEval-2014、SemEval-2018）都是公开可获取的基准数据集，有良好的文档和标准化的评估协议。实验使用了两个主流的商业大语言模型API，访问门槛较低。然而，复现也面临一些挑战。首先，两个模型都是专有系统，其内部实现和训练数据不公开，这意味着模型更新可能导致结果不完全一致。其次，实验使用了温度参数0.2和自一致性的3次采样，这些参数的选择可能影响结果，但作者没有探索参数敏感性。第三，每个数据集仅使用1000个样本，虽然降低了计算成本，但可能影响结果的稳定性。复现所需的主要资源是API调用费用和计算时间，总体来说是一个资源需求中等的实验。
论文图表
对比了基线提示和单样本提示在gemini-1.5-flash反讽检测任务上的混淆矩阵。基线提示下模型几乎将所有文本分类为反讽，单样本提示后对'非反讽'类别的识别能力显著提升。
这张图直观展示了提示工程如何改变模型的分类行为，特别是帮助模型更好地识别非反讽内容。
对比了基线提示和单样本提示在gemini-1.5-flash SB10k数据集上的混淆矩阵。当单样本提示包含中性类别示例时，中性情感的召回率从0.37显著提升到0.51。
这张图说明了示例选择对模型行为的重要影响，特别是帮助模型克服对极性情感的偏见。
对比了基线提示和思维链提示在gemini-1.5-flash反讽检测任务上的混淆矩阵。基线提示下负面类别（非反讽）的召回率仅为0.06，思维链提示后提升到0.38。
这张图直观展示了思维链提示在反讽检测上的巨大改进，解释了46% F1提升的来源。
对比了少样本提示（最佳）和自一致性提示（最差）在GPT-4o-mini SST2数据集上的混淆矩阵。自一致性方法产生了大量假阴性，导致负面类别精确率低下。
这张图说明了自一致性方法在GPT-4o-mini上的失败模式：模型自信地给出错误答案，多数投票反而强化了错误。