空书架还是丢失的钥匙？回忆是参数化事实性的瓶颈 Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality
前沿LLM编码了95-98%的事实，但回忆失败仍是主要瓶颈。
前置知识
LLM事实性（Parametric Factuality）
指大语言模型仅依靠其内部参数（而非外部检索工具）回答事实性问题的能力。与检索增强生成（RAG）不同，参数化事实性完全依赖模型在预训练阶段学习并存储在权重中的知识。这种能力对模型的实用性至关重要，因为用户期望模型能准确回答诸如“法国的首都是哪里？”或“谁发明了电话？”这类事实性问题。
本文的核心研究对象就是LLM的参数化事实性，理解这一概念是理解论文动机和实验设计的基础。
编码与回忆（Encoding vs. Recall）
借用人类记忆心理学的概念，编码指信息被存储到记忆系统中的过程，回忆指从记忆中检索信息的过程。在LLM语境下，编码指模型在预训练阶段将事实知识学习并存储到参数中的过程，回忆指在推理时成功访问和输出这些已存储知识的过程。一个事实可以被成功编码（模型“知道”），但回忆失败（模型无法输出）。
这是本文的核心分析框架，区分编码失败和回忆失败是理解LLM事实性错误来源的关键。
反转诅咒（Reversal Curse）
指LLM在训练数据中学习了“A是B”的事实后，在推理时能够回答“谁是A？”（答案是B），但无法回答“什么是B？”（答案是A）的现象。例如，模型知道“Oasis乐队在Boardwalk俱乐部进行了首场演出”，但当被问“哪个著名乐队在Boardwalk俱乐部进行了首场演出？”时却答不出来。这种现象表明模型对事实的编码是单向的。
本文通过实验证明反转诅咒本质上是回忆失败而非双向关联缺失，这是论文的重要发现之一。
思维链（Chain-of-Thought, CoT）与思考（Thinking）
思维链是一种提示技术，通过引导模型生成中间推理步骤来提高其推理能力。思考则更广泛地指模型在生成最终答案前进行的中间计算过程，包括思维链提示和专门训练的思考令牌（如GPT-5、Gemini-3等模型的思考模式）。思考可以被视为一种推理时的“计算缓冲”，帮助模型访问更难回忆的知识。
本文发现思考能显著改善事实回忆，是论文的核心发现之一，也为提高LLM事实性提供了新方向。
WikiProfile基准测试
本文提出的全新基准测试，包含2150个从Wikipedia提取的事实，每个事实配有10个问题。这些问题设计用于分别测量编码和回忆，包括命题完成任务（测量编码）、直接和反向问题（测量回忆）、以及多选题（测量识别能力）。所有问题都经过严格的自动化流水线生成和人工质量验证。
这是本文的核心贡献之一，为系统性研究LLM的事实性知识提供了标准化工具。
研究动机
现有的LLM事实性评估方法存在根本性缺陷：它们将所有错误视为相同，无法区分知识缺失和知识无法访问。当LLM错误回答一个事实性问题时，我们无法知道是因为模型从未学习过这个事实（编码失败，即“空书架”），还是因为模型虽然学习了但无法正确输出（回忆失败，即“丢失的钥匙”）。这种混淆导致我们无法针对性地改进模型：如果是编码失败，需要扩大预训练数据或增加模型容量；如果是回忆失败，则需要改进后训练或推理技术。例如，在评估“哪个著名乐队在Boardwalk俱乐部进行了首场演出？”这个问题时，如果模型答错，可能是它从未在训练数据中见过这个事实，也可能是它见过但无法正确回忆。
本文的目标是本文提出一个行为主义框架，将分析单位从单个问题转向事实本身，通过编码和回忆两个维度来刻画LLM的知识状态。具体目标包括：1）提出五种知识画像（编码失败、回忆失败、无编码推理、直接回忆、带思考的回忆）来系统分类事实；2）引入WikiProfile基准测试，支持对编码和回忆的独立测量；3）通过对13个LLM的超过400万次回答的分析，揭示事实性错误的真正来源。
与已有工作不同的是，与已有工作相比，本文的独特切入点在于：1）将分析单位从问题转向事实，因为同一个事实可以通过多种方式提问，但事实本身是稳定的；2）采用行为主义定义，仅通过可观察的模型输出来判断编码和回忆，不依赖模型内部表示（这使得方法能应用于闭源模型）；3）利用思考（thinking）作为回忆能力的探针，揭示模型“知道但说不出”的知识；4）系统性地研究反转诅咒和长尾事实问题，将它们重新解释为回忆现象而非知识缺失。
核心方法
本文的核心思想可以用一个图书馆的比喻来理解：想象LLM是一个巨大的图书馆，预训练过程就像是采购图书并上架（编码），而推理过程就像是读者来找书（回忆）。现有的评估只关心读者是否找到了书，却不区分是书架上根本没有这本书（编码失败）还是书在架子上但读者找不到（回忆失败）。本文提出的知识画像框架就像是图书馆管理系统，能够追踪每本书的状态：是否在架上、是否容易被找到、是否需要图书管理员帮助才能找到。技术路线包括三个关键组件：1）行为主义的编码和回忆定义；2）WikiProfile基准测试的自动化构建流水线；3）基于五种画像的知识状态分析框架。
本文的核心创新在于提出了一种行为主义的编码-回忆分离框架。与以往依赖模型内部表示（如探针分类器、因果追踪）来测量“知识”的方法不同，本文完全通过模型的输入-输出行为来定义编码和回忆。具体来说：一个事实被编码，当且仅当模型能在类似预训练的上下文中正确补全该事实（存在性量词）；一个事实被知道，当且仅当模型能在多种不同的提问方式和关系方向下正确回答关于该事实的问题（全称量词）。这种定义的优势在于：1）不需要访问模型权重，可用于闭源模型；2）更接近用户实际使用场景；3）能够区分“知道但说不出”和“根本不知道”。
方法步骤详情
方法分为三个主要步骤：第一步是事实提取，从Wikipedia采样10000个页面，通过命名实体识别（NER）提取实体，然后筛选出适合做命题补全的实体对（主体-客体），最终得到2150个事实。第二步是问题生成，为每个事实生成10个问题：2个编码任务（命题补全和上下文问题）、4个回忆任务（直接问题、直接自然问题、反向问题、反向自然问题）、4个多选题变体。所有问题都经过严格的生成-精炼-过滤流水线，确保问题无歧义、具体、最小化。第三步是知识画像，对每个LLM的每个事实，根据其在编码任务和回忆任务上的表现，将其归类到五种画像之一：编码失败（未编码且未知）、回忆失败（已编码但未知）、无编码推理（未编码但通过思考可知）、直接回忆（已编码且直接可知）、带思考的回忆（已编码且仅通过思考可知）。
技术新颖性
本文的技术新颖性体现在多个方面：1）首次提出行为主义的编码-回忆分离框架，不同于以往依赖内部表示的方法；2）引入WikiProfile，这是首个专门为知识画像设计的基准测试，不同于以往的问答数据集；3）利用思考作为回忆能力的探针，揭示了模型“知道但说不出”的知识；4）对反转诅咒的重新解释，证明它本质上是回忆现象而非双向关联缺失；5）完全自动化的基准构建流水线，可应用于其他语料库。与已有方法的本质区别在于：以往的工作要么关注模型是否“知道”某个事实（二元判断），要么关注知识在模型内部的定位（需要访问权重），而本文关注的是知识的可访问性（accessibility），这是一个更贴近实际应用的概念。
实验结果
本文通过对13个LLM（包括GPT-5、Gemini-3-Pro、Gemma3等）的超过400万次回答的分析，得出以下核心发现：1）编码接近饱和：对于前沿LLM（如Gemini-3-Pro和GPT-5），95-98%的事实被成功编码，这意味着“书架”几乎满了。2）回忆失败是主要瓶颈：尽管编码率很高，这些模型仍然无法直接回忆25-33%的事实，即使使用思考也只能回忆到11-12%的失败。3）缩放主要改善编码：在Gemma3模型家族中，从1B到27B参数，编码失败从85%降到23%，但回忆失败从15%升到33%。4）思考能显著改善回忆：对于思考优化的LLM，思考能恢复40-65%的编码但未直接回忆的事实，但对未编码的事实只能恢复5-20%。5）反转诅咒是回忆现象：LLM在多选题中能正确识别反向问题的答案（验证能力），但在生成式问答中无法正确输出（回忆能力），这表明模型知道双向关联但无法在生成时访问。6）长尾事实是编码了但难以回忆：流行事实和长尾事实的编码差距很小（几个百分点），但回忆差距很大（超过25%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 事实编码率 | 编码率 | Gemini-3-Pro: 98.3%, GPT-5: 95.9% | Gemma3-1b: 17.0% | 前沿模型编码率接近饱和 |
| 直接回忆率 | 回忆率（已编码事实） | Gemini-3-Pro: 72.2%, GPT-5: 61.6% | Gemma3-1b: 1.1% | 前沿模型仍有25-33%回忆失败 |
| 思考恢复率 | 编码但未直接回忆的事实中，通过思考恢复的比例 | Gemini-3-Pro: 14.9%, GPT-5: 21.5% | Gemma3-1b: 0.4% | 思考能恢复40-65%的编码但未直接回忆的事实 |
| 反转诅咒（验证 vs 生成） | 直接问题 vs 反向问题的回忆率差距 | 验证（多选题）：差距很小或无；生成（问答）：差距显著 | 以往认为是双向关联缺失 | 证明是回忆现象而非知识缺失 |
局限与改进
本文的研究存在几个重要局限性：1）数据范围限制：WikiProfile仅限于Wikipedia事实，这是一个相对突出的事实领域，研究发现可能不适用于其他语料库（如专业领域、长尾知识）。2）回忆定义的局限：本文的回忆定义仅限于两个轴（关系方向和提问方式）的单跳事实，未能穷尽所有可能的提问形式。3）评估成本高：完整评估一个前沿模型在WikiProfile上的表现需要约500美元，虽然可以通过省略多选题或减少采样数来降低成本。4）思考机制的差异：本文将原生思考（如GPT-5的思考模式）和思维链提示（如对Gemma3的提示）混在一起分析，但两者可能有不同的效果机制。5）作者自己承认的局限：研究仅限于短答案事实性问题，未涉及长文本生成或多步推理场景。
独立分析的弱点
本文的弱点主要体现在以下几个方面：1）数据代表性：仅使用Wikipedia作为事实来源，而Wikipedia的事实相对突出且结构化，可能无法代表更广泛的知识类型（如隐含知识、常识推理）。改进方向是扩展到更多样化的语料库，如专业书籍、新闻、科学论文等。2）回忆测量的简化：仅通过关系方向和提问方式来测量回忆，而实际使用中用户提问方式千变万化。改进方向是引入更多维度的提问变化，如不同的抽象层次、不同的上下文信息。3）思考机制的混淆：将原生思考和思维链提示混在一起分析，但两者可能有不同的效果机制。改进方向是分别分析两种思考方式的效果，并研究它们的交互作用。4）评估成本高：完整评估成本约500美元，限制了研究的可重复性。改进方向是开发更高效的评估方法，如基于采样的近似评估。5）缺乏对回忆失败原因的深入分析：虽然发现了回忆失败是瓶颈，但未深入分析为什么某些事实难以回忆。改进方向是结合模型内部表示分析，研究回忆失败的机制。
未来方向
基于本文的发现，未来研究可以在以下几个方向展开：1）改进回忆的技术：既然回忆是瓶颈，可以探索专门针对回忆的后训练技术，如基于回忆的强化学习、对比学习等。2）思考机制的深入研究：本文发现思考能显著改善回忆，但机制尚不清楚。未来可以研究思考如何帮助模型访问难以回忆的知识，以及如何训练模型更好地利用思考。3）扩展到其他任务：本文的框架可以扩展到长文本生成、多步推理、对话等场景，研究这些场景下编码和回忆的关系。4）元认知能力的培养：本文发现模型缺乏“知道自己不知道”的能力，未来可以研究如何训练模型的元认知，使其能够判断何时需要调用思考或外部工具。5）数据增强策略：基于发现的长尾事实回忆困难，可以设计针对性的数据增强策略，如增加长尾事实的训练数据、改变事实的呈现方式等。
复现评估
本文在可重复性方面做得较好：1）开源数据：WikiProfile数据集已在HuggingFace开源（https://huggingface.co/datasets/google/WikiProfile），包含2150个事实和相关问题。2）自动化流水线：基准构建的完整流水线是自动化的，可以应用于其他语料库。3）详细的方法描述：论文附录包含了所有提示词、参数设置、实验细节。4）评估成本：完整评估一个模型需要约500美元，但可以通过减少采样数（从8个减到4个）或省略多选题来降低成本。5）硬件要求：使用了13个LLM，包括商业API（GPT-5、Gemini-3）和开源模型（Gemma3），硬件要求因模型而异。6）复现难度：中等，主要挑战是需要访问商业模型API和处理大规模评估（400万次回答）。
论文图表
