大语言模型能跟上吗？面向持续知识流的在线适应基准测试 Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
提出OAKS基准，评估LLM在流式动态知识更新下的在线适应能力
前置知识
持续知识学习 (Continual Knowledge Learning)
持续知识学习是指语言模型在不重新训练的情况下，持续吸收和更新新出现的知识。与传统的一次性训练不同，现实世界中的知识是动态变化的——事实会过时、新信息会不断涌现。例如，一个对话助手需要根据用户在对话过程中逐步提供的新信息来更新回答。持续知识学习要求模型能够追踪事实的演变，在新旧信息冲突时做出正确判断，并在长时间跨度内保持知识的一致性。OAKS基准测试的核心就是评估模型在这种动态知识环境中的适应能力。
这是本文研究的核心问题，理解持续知识学习的概念有助于把握OAKS基准的设计动机和评估目标
在线适应 (Online Adaptation)
在线适应是一种推理设置，模型在接收流式输入时实时调整其预测。与离线学习不同，在线适应要求模型在每次接收到新信息块时，基于所有已观察到的历史信息做出当前最优预测。在OAKS中，模型在每个时间间隔t都会被问相同的问题，但可以访问到t时刻为止的所有上下文块，这要求模型能够即时整合新知识并更新其知识状态。在线适应的关键挑战在于模型必须在不更新参数的情况下，仅通过上下文累积来追踪和响应知识变化。
OAKS评估的核心设置就是在线适应，理解这一概念对于理解实验设计和评估方法至关重要
状态追踪 (State Tracking)
状态追踪是指模型维护和更新随时间演变的状态信息的能力。在OAKS中，状态指的是与特定问题相关的事实信息（如某个角色的位置、某个属性的值等）。模型需要追踪这些状态在不同时间间隔的变化，识别状态转换的时机，并在新信息到来时正确更新答案。状态追踪不同于简单的事实检索，它要求模型理解状态的时序性——知道什么信息是当前有效的，什么信息已经被后续更新所取代。
OAKS评估的核心能力之一，论文通过细粒度分析模型的状态追踪行为来揭示不同模型的失败模式
检索增强生成 (RAG, Retrieval-Augmented Generation)
检索增强生成是一种结合外部检索与语言模型生成的技术。在RAG设置中，系统首先从知识库中检索与当前查询相关的文档或段落，然后将这些检索到的内容与查询一起输入模型进行生成。在OAKS的评估中，RAG作为一种上下文构建策略，通过Qwen3-Embedding-0.6B检索模型从历史块中检索最相关的30个块，然后将其前置到模型输入中。RAG的优势在于能够聚焦于最相关的信息，减少无关上下文的干扰，但在动态知识更新场景中也面临挑战。
论文将RAG作为主要的上下文构建策略之一，与基础拼接设置和智能体记忆系统进行对比
智能体记忆系统 (Agentic Memory Systems)
智能体记忆系统是一类专门为LLM设计的记忆管理框架，能够增量式地维护和更新记忆。论文评估了三种系统：HippoRAG-V2使用基于图的检索框架，通过Personalized PageRank进行知识组织；MemAgent通过GRPO训练，将输入分区为块并逐步更新记忆，具有线性计算复杂度；A-Mem受Zettelkasten方法启发，通过动态索引和双向链接将记忆组织为互联的知识网络。这些系统试图解决长上下文处理中的信息管理问题，但在OAKS的细粒度知识更新场景下仍面临挑战。
论文评估的高级推理策略之一，实验结果显示这些系统在OAKS上的表现并不理想，揭示了当前记忆系统在动态知识追踪方面的局限
研究动机
在现实世界中，知识本质上是动态变化的。对话助手需要根据用户在对话过程中逐步提供的新信息来回答问题，机器人在探索过程中会遇到环境的新属性。如果这些信息更新没有被实时整合，模型的预测就会变得过时甚至不安全。然而，现有的基准测试主要针对静态知识或离线任务，无法充分评估模型在动态环境中的在线适应能力。具体来说，现有基准如EvolvingQA和StreamingQA涉及的知识更新数量有限，且通常扩展的是不同事实而非对同一事实的持续更新；StreamingBench针对视频领域的流式理解；FactTrack关注短时结构化状态如对话槽位。这些基准都无法全面评估模型在细粒度、持续演变的知识流中追踪事实变化的能力。论文指出，当前最强的模型在OAKS上的准确率也仅达到66.3%（OAKS-B）和75.5%（OAKS-N），表明现有方法存在显著不足。
本文的目标是本文的目标是引入ONLINE ADAPTATION TO CONTINUAL KNOWLEDGE STREAMS (OAKS)基准测试，专门评估语言模型在流式、持续更新的知识环境中进行在线适应的能力。OAKS旨在填补两个评估范式之间的空白：持续知识学习和在线适应。具体目标包括：(1) 创建两个数据集OAKS-BABI和OAKS-Novel，其中个体事实随时间多次演变；(2) 在每个时间间隔使用相同的问题集评估模型，以评估其是否能准确追踪细粒度的知识动态；(3) 对14个模型进行全面评估，包括不同规模的开源模型和闭源模型，以及多种推理策略如RAG和智能体记忆系统；(4) 通过细粒度分析揭示模型的失败模式和行为特征。
与已有工作不同的是，本文的独特切入角度在于首次统一了持续知识学习和在线适应两个评估范式。与现有工作不同，OAKS专注于细粒度的知识更新——追踪同一事实的多次演变，而非仅仅扩展不同事实。OAKS的独特之处体现在：(1) 每个问题平均有4.7次答案变化，远高于现有基准的1-2次；(2) 提供每个时间间隔的密集标注，支持逐步在线评估；(3) 将长上下文分割为时序块，在每个块上进行评估，而非一次性处理整个上下文；(4) 包含四种问题类型（追踪、计数、桥接、比较），覆盖不同的推理需求。这种设计使得OAKS能够揭示现有方法在知识追踪、状态维护和干扰抵抗方面的具体缺陷。
核心方法
OAKS方法的整体思路是构建一个模拟真实世界知识动态演变的评估框架。直觉上，就像一个同事不断告诉你新的事实信息，你需要根据最新信息更新对问题的回答，同时保持对未改变信息的记忆。技术路线分为三个层次：首先，设计两个数据集——OAKS-BABI（合成数据）和OAKS-Novel（真实文学作品），其中包含随时间多次演变的事实；其次，建立在线评估设置，在每个时间间隔使用相同的问题集测试模型，要求模型基于累积到当前时刻的所有上下文做出预测；最后，提出四个评估指标（准确率、获取延迟、干扰敏感度、阶段遗漏率）来全面分析模型的知识追踪行为。整个评估框架的核心是逐间隔评估模型是否能在知识流中准确追踪状态变化。
OAKS的核心创新点在于将评估粒度从静态知识检索提升到动态状态追踪。与已有方法的本质区别体现在三个方面：第一，OAKS评估的是模型对同一事实的多次更新的追踪能力，而非对不同事实的检索能力——每个问题平均有4.7次答案变化；第二，OAKS采用在线评估设置，在每个时间间隔都对模型进行测试，而非只在处理完整上下文后评估一次；第三，OAKS提供了密集的标注数据，包括每个时间间隔的答案和支持证据，使得细粒度分析成为可能。这种设计能够区分模型的两种主要失败模式：过度更新（Volatility，不必要地改变答案）和更新不足（Obstinacy，在知识已变化时仍保持旧答案）。
方法步骤详情
OAKS方法的步骤如下：第一步，数据集构建。OAKS-BABI从BABILong数据集中采样12个例子，通过算法1生成四种类型的问题（追踪、计数、桥接、比较），每个问题包含2k token的块和标注的时间线答案。OAKS-Novel选取39部文学小说，使用Gemini 2.5 Pro生成初始问题，由18名经验丰富的自由职业者进行人工验证和标注，总投资17.4k美元。第二步，评估设置。在每个时间间隔t，模型接收累积到t的所有上下文块St，对每个问题qj预测答案pj,t。第三步，上下文构建策略。包括基础拼接（Base）、RAG（检索前30个最相关块）、滚动窗口（RW，保留最近30个块）及其组合。第四步，指标计算。准确率计算为所有间隔和所有问题的平均。此外还计算获取延迟（AL）、干扰敏感度（DS）和阶段遗漏率（PM）三个细粒度指标。
技术新颖性
OAKS的技术新颖性体现在多个方面。首先，这是第一个在文本领域显式评估流式知识更新的基准，将视频领域的流式理解概念引入知识追踪。其次，OAKS引入了独特的评估协议——同一问题在多个时间点被重复评估，使得能够追踪模型预测的变化模式。第三，论文提出了新的细粒度分析框架，将模型行为分为8种类型（Adaptability、Maladaptation、Prescience、Stubbornness、Lag、Volatility、Stability、Obstinacy），通过GT状态转换和预测行为的组合来诊断模型的具体失败原因。第四，论文发现Thinking模式（推理时缩放）对不同问题类型的效果不同，桥接问题获得15.4%的提升，而计数问题仅提升8.0%，这揭示了推理机制与任务复杂度的交互作用。
实验结果
论文的核心发现来自对14个模型在OAKS-BABI和OAKS-Novel上的全面评估。首先，OAKS对所有模型都极具挑战性：开源模型在OAKS-B上的平均准确率为33.0%，OAKS-N上为52.9%；闭源模型分别为60.9%和72.6%。即使是最强的闭源模型Gemini 3 Pro，准确率也仅达到66.3%（OAKS-B）和75.5%（OAKS-N）。其次，性能随问题更新频率增加而下降：OAKS-B上从Sparse的42.2%降至Frequent的33.3%，OAKS-N上从65.4%降至53.0%。第三，Thinking模式显著提升性能：Qwen3-30B在OAKS-B上从35.8%提升至43.6%，Gemini 2.5 Flash从43.2%提升至56.2%，桥接问题提升最明显（15.4%）。第四，RAG策略效果有限：在Frequent子集上性能下降0.8%，表明简单RAG不足以应对动态知识更新。第五，智能体记忆系统表现不佳：基于Qwen2.5-7B的HippoRAG-V2仅达到20.8%，MemAgent达到31.3%，均低于RAG的32.4%。最后，细粒度分析揭示了模型的独特行为模式：GPT-OSS和Qwen3倾向于过度更新（平均变化率63.2%），而Gemini和Gemma 3倾向于更新不足（平均保持率55.8%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OAKS-BABI (所有问题) | 准确率 (%) | Gemini 3 Pro: 66.3% | Qwen3-235B: 46.8%, Qwen3-30B: 35.8% | 闭源模型比开源最强模型提升19.5% |
| OAKS-Novel (所有问题) | 准确率 (%) | Gemini 2.5 Pro: 76.7% | Qwen3-235B: 64.7%, Qwen3-30B: 62.8% | 闭源模型比开源最强模型提升12.0% |
| OAKS-BABI (Frequent子集) | 准确率 (%) | Gemini 3 Pro: 55.6% | Qwen3-235B: 40.0%, 平均: 33.3% | Frequent比Sparse平均下降8.9% |
| Thinking模式效果 (OAKS-B) | 准确率提升 (%) | Qwen3-30B: +7.8%, Gemini 2.5 Flash: +13.0% | 非Thinking模式 | 桥接问题提升15.4%，计数问题提升8.0% |
| 智能体记忆系统 (OAKS-B) | 准确率 (%) | MemAgent: 31.3%, A-Mem: 30.3% | RAG: 32.4%, Base: 24.7% | 智能体系统在Frequent子集上与RAG持平，整体低于RAG |
局限与改进
论文承认的主要局限包括：首先，评估OAKS需要大量推理计算——每个模型需要进行约78k（OAKS-B）和67k（OAKS-N）次推理，这限制了可测试模型的数量；其次，由于计算成本和API费用限制，无法在更广泛的模型架构上进行测试；第三，数据集仅限于英文叙事，可能限制了研究发现对其他语言的泛化性；第四，OAKS-N可能仍受到模型先验知识的影响，因为从预训练语料中可能已获取相关文学作品的知识。从我的观察来看，论文还有一些未充分讨论的局限：OAKS-BABI作为合成数据集，其问题模式可能过于规律，与真实世界的知识更新模式存在差距；评估设置假设知识完全来自上下文，但实际应用中模型可能需要结合参数化知识和上下文知识；论文未探索多语言场景下的知识追踪能力，这在全球化应用中可能很重要。
独立分析的弱点
独立分析的弱点包括：第一，数据集规模有限——OAKS-B仅包含1224个问题，OAKS-N仅870个问题，这可能不足以全面评估模型在各种知识更新模式下的表现，改进方向是扩大数据集规模并增加更多领域的知识类型。第二，评估间隔固定为2k token，但实际应用中知识更新的时间粒度可能更加多样化，改进方向是设计可变粒度的评估协议。第三，论文主要关注事实性知识的追踪，未涉及程序性知识或推理规则的动态更新，改进方向是扩展知识类型覆盖。第四，智能体记忆系统的评估仅基于Qwen2.5-7B，未测试更大规模模型的效果，改进方向是在多个规模上评估这些系统。第五，论文未探索模型微调对在线适应能力的影响，改进方向是评估持续预训练或指令微调的效果。
未来方向
作者提出的未来研究方向包括：探索更复杂的自然文本，其中包含更频繁或更复杂的状态转换；将OAKS作为参数化在线学习的测试床，探索模型如何更新内部权重以吸收演变的知识。基于OAKS的成果，可以延伸的研究方向包括：第一，开发专门针对动态知识追踪的训练方法，如强化学习奖励设计，以减少模型的Volatility和Obstinacy行为；第二，探索知识图谱与神经记忆的结合，以更好地组织和检索演变的知识；第三，设计自适应的上下文构建策略，根据问题的复杂度和知识更新频率动态调整检索和记忆管理；第四，将OAKS的评估框架扩展到多模态场景，如结合视觉和语言的动态知识追踪；第五，研究模型在知识冲突（新信息与参数化知识矛盾）情况下的行为。
复现评估
复现评估方面，论文提供了较好的支持。代码和数据已开源在GitHub（https://github.com/kaistAI/OAKS）。数据集方面，OAKS-BABI基于公开的BABILong数据集构建，OAKS-Novel基于公开的文学作品，标注过程通过Upwork平台进行，有详细的标注指南。算力方面，基础实验需要约125 GPU小时（Nvidia A100），完整的多模型评估需要更多资源。复现难度中等：数据集构建流程有详细说明，但OAKS-Novel的人工标注成本较高（17.4k美元）；推理实验使用vLLM框架，配置参数已详细记录；评估代码和指标计算公式已提供。对于资源有限的研究者，可以从OAKS-BABI的子集开始复现，或使用开源模型进行验证。
论文图表
