LLM适应能力的边界：模型内部先验知识对标注任务性能的影响 On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
LLM内部概念与任务定义的错位限制了基于提示的纠错能力
前置知识
Definition-Specific Familiarity (DSF)
定义特异性熟悉度是一种衡量模型内部概念与任务定义对齐程度的指标。它通过提示模型用自己的语言解释某个概念（如'什么是毒性内容'），然后计算这个解释与数据集官方定义之间的语义相似度。具体实现使用六个不同的句子编码器（MiniLM、MPNet、BGE-large、E5-large、Instructor-large、OpenAI text-embedding-3-small）分别计算余弦相似度，取平均值作为共识DSF分数。高DSF值表示模型的内部理解与任务定义高度一致。
DSF是本文的核心方法论贡献，用于区分'文本记忆'和'概念对齐'对标注性能的不同影响。读懂DSF的计算逻辑和统计显著性检验方法，是理解本文结论的前提。
决策粘性（Decision Stickiness）
决策粘性指LLM在零样本标注中犯下的错误难以通过后续提示修正的现象。具体表现为：当模型对某个样本给出高置信度的错误预测后，即使提供对齐的任务定义、少样本示例或自动化优化提示，模型仍然坚持原有错误。本文通过救援率（Rescue Rate = P(Correct | Prompted, Zero-Shot Wrong)）来量化决策粘性，整体救援率仅34.8%，意味着近三分之二的错误无法被修正。
决策粘性是本文揭示的关键失败模式，说明了提示工程在标注任务中的局限性。理解这一现象有助于评估LLM在实际应用中的可靠性边界。
模型内部先验（Model-Internalized Priors）
模型内部先验指LLM通过预训练、指令调优和RLHF/DPO等阶段形成的隐式知识结构和概念边界。这些先验不是白板式的，而是基于大规模网络语料库中的数百万文档和人工评级示例塑造的。例如，当被问及'什么是毒性内容'时，模型已经拥有一个内部化的毒性概念，这个概念可能与用户提供的具体定义存在差异。内部先验既可以是知识优势，也可能是约束行为调整的枷锁。
本文的核心论点是模型内部先验限制了用户通过提示控制模型行为的能力。理解内部先验的形成机制和表现形式，是解读本文发现的钥匙。
混合效应逻辑回归
混合效应逻辑回归是一种用于分析具有层次结构数据的统计方法。在本文中，同一个文本样本会在多个提示条件下被评估（零样本、对齐定义、少样本等），这些观测之间存在非独立性。混合效应模型通过引入随机截距（random intercepts）来处理这种聚类效应，同时使用固定效应（fixed effects）来建模提示条件、模型、领域等因素的影响。模型输出为优势比（Odds Ratio, OR），OR = 2.0表示某因素存在时正确分类的几率翻倍。
本文的统计推断依赖混合效应回归来保证有效性，特别是在分析RQ2和RQ3时。理解这种方法有助于评估结果的统计显著性和可信度。
研究动机
LLM被广泛应用于零样本标注和LLM-as-a-judge任务，但其可靠性取决于模型内部先验与用户提供的指令如何交互。现有假设是用户的定义能够控制模型行为，但这个假设存在问题：毒性（toxicity）在不同应用中被操作化定义得完全不同——作为身份攻击（identity attacks）、在线游戏中的破坏性行为、或针对受保护群体的言论。一个锚定到特定理解方式的LLM无法同时匹配所有这些定义，其内部先验可能约束用户指令能在多大程度上引导行为并与用户意图保持一致。Baumann等人2025年的研究发现，使用18个不同语言模型复制37个标注任务时，配置选择可能导致31-50%的情况下得出错误结论，这揭示了问题的严重性。
本文的目标是本文的具体目标是系统性地研究LLM内部先验与用户提示指令之间的三个交互维度：（1）LLM对数据和任务定义的熟悉度如何影响标注性能；（2）通过额外提示信息修正零样本错误的程度，以及模型置信度与可纠正性的关系；（3）模型对错误任务定义的敏感程度。通过回答这三个问题，作者希望揭示基于提示的纠错在标注任务中的局限性，并理解概念对齐相对于文本记忆的重要性。
与已有工作不同的是，本文的独特切入角度在于将'文本熟悉度'（模型是否记忆了特定文本）与'定义熟悉度'（模型的内部概念是否与任务定义对齐）区分开来。以往工作关注基准污染（benchmark contamination）和数据记忆问题，开发了Min-K% Prob、BERTScore等指标，但对内部化概念先验如何约束可操控性的研究较少。本文引入DSF作为衡量概念对齐的指标，并通过控制数据集难度来排除混淆因素，证明了定义对齐而非文本记忆才是决定标注性能的关键因素。这个视角补充了Chang等人2026年在文本生成任务中关于可操控性的研究，专注于标注任务中的离散标签输出场景。
核心方法
本文的方法论框架围绕两个核心维度展开：熟悉度（Familiarity）和可操控性（Steerability）。熟悉度维度区分了两种可能影响标注性能的机制：文本熟悉度（通过ROUGE-L、BERTScore、嵌入余弦相似度衡量模型是否记忆了数据集中的特定文本）和定义熟悉度（通过DSF衡量模型的内部概念是否与任务定义对齐）。可操控性维度衡量模型在被提供更好指令时修正错误的能力，主要通过救援率、变化率、腐败率和预测偏差四个指标来量化。作者在9个LLM和5个毒性检测数据集上进行了大规模实验，覆盖社交媒体、游戏、新闻和论坛等多个领域。
核心创新点是引入Definition-Specific Familiarity（DSF）作为衡量模型-任务对齐度的指标，并将其与文本记忆指标进行对比。DSF的直觉类似于人类标注员：给定相同的定义，两个标注员可能因为先前的认知和身份不同而有不同解释，内部模型与定义对齐的标注员表现更好，无论他们之前是否见过特定文本。DSF只需要任务定义和少量提示就能计算，不需要标注数据或完整的标注运行，使其成为选择模型-任务配对的实用诊断工具。另一个关键创新是设计'概念替换'实验来测试模型对错误指令的响应，即将一个数据集的定义替换为另一个数据集中语义相关但不同的定义。
方法步骤详情
方法步骤的完整描述如下：步骤1，选择9个指令调优的LLM（包括Llama-3.1-8B/70B、Llama-3.3-70B、Mistral-7B、Mistral-Small-24B、Mixtral-8x7B、DeepSeek-V3、GPT-4o-mini、Qwen-2.5-72B）覆盖密集架构和混合专家架构。步骤2，选择5个主要毒性检测数据集（Twitter Hate、OLID、GameTox、Fox News、Jigsaw Toxic Comments），每个数据集有不同的毒性操作化定义，领域涵盖社交媒体、游戏、新闻和论坛。步骤3，计算文本熟悉度指标：将每个文本实例按字数切分，用前40%作为前缀提示模型生成续写，计算生成续写与剩余60%真实文本之间的ROUGE-L F1分数，温度设置为0.0和0.7取最大值。步骤4，计算定义熟悉度（DSF）：提示模型用自己的语言解释目标概念（例如'在你自己的话中，什么使内容具有毒性？'），然后计算这个解释与数据集完整定义之间的语义相似度，使用六个句子编码器取平均作为共识DSF。步骤5，设计5种提示条件：零样本（只有任务名称）、对齐定义（任务名称+数据集官方定义）、少样本（任务名称+4个平衡示例）、FS+Def（对齐定义+4个示例）、错误定义（使用其他数据集的定义）。步骤6，对每个模型-数据集对随机采样1000个实例，在温度0下进行推理，并要求模型输出0-100的数值化置信度分数。步骤7，使用混合效应逻辑回归分析正确性和错误修正，引入消息级随机截距处理重复测量。
技术新颖性
技术新颖性体现在三个方面。首先，DSF是首个专门针对标注任务设计的概念对齐指标，与现有记忆指标（ROUGE-L、BERTScore、嵌入相似度）形成对比。在控制数据集难度后，DSF显示出与性能的正相关（partial r = +0.41, p = 0.003, N = 54），而三个记忆指标均无正相关（partial r = −0.19, −0.15, −0.16）。其次，本文系统性地量化了'决策粘性'现象，发现高置信度错误尤其难以纠正（救援概率从0.6-0.7置信度的51.8%降至>0.9置信度的20.8%）。第三，概念替换实验揭示了模型的校准失败：在提供错误定义时，模型保持与对齐条件相同的置信度水平（84-91%之间），无法通过置信度检测定义错误。这三点共同揭示了LLM在标注任务中适应能力的根本边界。
实验结果
核心发现可以总结为四点。第一，定义特异性熟悉度（DSF）与标注性能正相关，而文本记忆指标与性能无正相关。在54个模型-数据集对的分析中，控制数据集难度后，DSF的偏相关系数为+0.41（p = 0.003），而ROUGE-L、BERTScore和嵌入余弦相似度的偏相关系数分别为−0.19、−0.15和−0.16。这个关系在两个非安全领域（反讽检测和主观性检测）中也得到复制（partial r = +0.34, N = 18），表明这不是安全领域特有的现象。第二，近三分之二的零样本错误无法通过提示修正，整体救援率仅34.8%。在9个模型中，Mistral-Small-24B的救援率最高（44.2%），Qwen-2.5-72B最低（27.8%）。高置信度错误尤其难以纠正，每增加一个标准差的零样本置信度，救援几率降低16%（OR = 0.84）。第三，当给定错误定义时，模型会调整预测阈值但保持高置信度。狭窄定义（如仇恨言论要求基于种族、宗教、性别的针对性攻击）产生-7%到-12%的预测偏差（欠预测），宽泛定义产生+9%到+13%的偏差（过预测），但所有条件下的置信度保持在84-91%之间，与零样本基线无显著差异。第四，定义选择对性能的影响大于模型选择。定义选择可产生高达17%的准确率变化（如Fox News在使用'游戏毒性'定义时准确率为61.6%，使用'Twitter仇恨言论'定义时为78.4%），而模型选择平均只产生5%的变化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 毒性检测（零样本） | Accuracy | 80.3%（条件平均） | 人类标注员或众包工人 | 略低于ChatGPT在Gilardi等人2023年研究中的表现，但优于传统众包 |
| 错误救援 | Rescue Rate | 34.8%（整体平均） | 假设的完美可操控性（接近100%） | 远低于理想值，显示严重的决策粘性 |
| DSF与性能相关性 | Partial Correlation | DSF: +0.41 | ROUGE-L: -0.19, BERTScore: -0.15, Embedding Similarity: -0.16 | DSF是唯一显示正相关的指标，而所有记忆指标均无正相关 |
| 领域难度 | Odds Ratio（相对于Forum） | Gaming: OR=13.85, Social Media: OR=5.45 | Forum作为参考类别 | 游戏领域比论坛领域容易约14倍，社交媒体比论坛容易约5倍 |
局限与改进
本文的局限性包括作者承认的几点和我们观察到的几点。作者承认：首先，结论基于毒性相关的二元分类任务和概念替换错位设计，其他任务类型（多分类、序列标注、开放式判断）可能表现出不同的失败模式。其次，所有评估模型都是指令调优模型，无法区分低救援率是能力限制还是故意的设计选择——对齐训练可能为了安全原因故意限制可操控性，使某些'粘性'成为特性而非缺陷。第三，研究设计无法分离预训练、指令调优或RLHF/DPO哪个阶段产生观察到的概念锚定效应，作者使用'模型内部先验'作为阶段无关的术语，分离来源需要比较同一模型的基础版本和后训练变体。第四，发现是相关性的而非因果性的，建立DSF因果驱动准确性需要如针对性微调等干预，在保持其他因素不变的同时操纵DSF。我们观察到的额外局限性：实验主要基于毒性检测任务，虽然有两个非安全任务的复制实验，但领域覆盖仍然有限；DSF的计算依赖六个句子编码器的选择，虽然作者证明了所有编码器方向一致且高度共轭，但仍可能存在编码器选择敏感性；置信度使用的是口语化置信度（verbalized confidence），而非token概率，虽然这对闭源模型更实用，但可能引入提示设计依赖性。
独立分析的弱点
独立分析的弱点包括：第一，决策粘性在高置信度错误上特别严重（>0.9置信度的救援概率仅20.8%），这意味着模型一旦对某个判断高度自信，即使提供正确信息也难以改变，这对于需要迭代修正的场景是致命弱点。改进方向：探索更强形式的多轮修正策略，如自一致性检查、辩论机制、批判-修订（critique-and-revise）框架，而不仅仅是添加定义或示例。第二，置信度无法作为检测定义错误的信号，模型在错误定义下保持与对齐条件相同的置信度水平（84-91%），这意味着用户无法通过设置置信度阈值来自动识别定义错误。改进方向：开发元不确定性（meta-uncertainty）估计方法，让模型评估指令本身的适当性而非仅评估给定指令下的答案确定性。第三，可操控性不是模型大小的单调函数，Mistral-Small-24B（24B参数）的救援率（44.2%）高于Llama-3.1-70B（31.3%），这意味着更大的模型不一定更容易操控。改进方向：研究架构设计、训练方法和模型规模之间的交互，而非单纯追求更大模型。第四，定义选择对性能的影响（17%）大于模型选择（5%），这意味着当前实践中过度关注模型选择而忽视定义设计。改进方向：开发定义设计最佳实践和自动化定义优化工具。第五，一些错误定义实际上比对齐定义表现更好（如Fox News仇恨言论定义在Jigsaw上准确率82.6%，比对齐定义高0.6%），这挑战了'正确'定义总是最优的假设。改进方向：探索定义-数据集之间的隐式对齐，某些定义的边界可能比数据集声称的定义更接近实际标注逻辑。
未来方向
未来研究方向包括作者提出的和我们基于成果可延伸的。作者提出：测试更强形式的错位、超越附录D.1协议的替代多轮修正策略（如自一致性、辩论、批判-修订）、在显式约束下选择模型-定义配对的可扩展流程。基于成果可延伸的方向：第一，将DSF扩展到其他任务类型，如序列标注、信息抽取、开放式问答，验证定义对齐在这些任务中的重要性。第二，研究不同训练阶段（预训练、指令调优、RLHF/DPO）对内部先验形成的贡献，通过比较同一模型在不同阶段的版本来解耦效应来源。第三，开发更强的定义优化方法，超越当前简单的对齐定义提供，可能包括定义的迭代细化、基于反馈的定义调整、或多定义集成方法。第四，探索置信度校准的新方法，使模型能够在指令与其训练分布冲突时表现出增加的不确定性。第五，研究领域适应和迁移学习如何影响DSF，一个在某个领域具有高DSF的模型是否可以通过领域适应来提高在其他领域的DSF。第六，开发实时DSF监控工具，让用户在部署前就能预测模型-定义配对的表现。第七，研究多语言和跨文化场景下的定义对齐问题，不同语言文化中的概念边界可能不同。
复现评估
复现评估：代码和分析流程已公开在GitHub（https://github.com/etmaca5/llm-internalized-priors-for-annotation），这大大降低了复现难度。所有9个LLM都可以通过API或开源权重访问，5个主要数据集都是公开可用的。实验设置相对标准化：每个模型-数据集对随机采样1000个实例，温度0，使用统一的置信度获取模板。然而，复现仍面临一些挑战：首先，闭源模型（GPT-4o-mini、DeepSeek-V3）的API调用可能产生成本和访问限制。其次，DSPy优化需要访问标注验证集（100个示例），这对某些用户可能不可用。第三，六个句子编码器的选择虽然作者证明了鲁棒性，但完全复现需要正确配置这些模型。总体而言，复现难度中等，代码开源和标准化设置有帮助，但闭源API和计算资源要求可能构成障碍。算力需求：主要成本是API调用和推理，对于9个模型×5个数据集×10个提示条件×1000个实例 = 450,000次推理，使用闭源API可能产生显著成本，但对于研究团队来说是可承受的。
论文图表
这张图展示了不同条件下的校准曲线（置信度 vs 实际准确率）。所有条件（零样本、对齐、错误）都表现出过度自信的模式（校准曲线在对角线下方），对齐和错误定义之间没有有意义的分离，意味着模型无法区分它们何时在应用错误指令。
这个图对理解论文很重要，它可视化地展示了校准失败，证明了置信度无法作为检测定义错误的信号，这是RQ3的关键结果。