语言模型的在线经验学习

提出OEL框架，让语言模型从部署经验中持续自我改进

前置知识

上下文蒸馏（Context Distillation）

上下文蒸馏是一种模型压缩技术，旨在将教师模型在长上下文中获得的知识蒸馏到学生模型的参数中，使得学生模型在推理时无需再提供冗长的上下文信息即可获得相似的性能。典型做法是：教师模型在包含知识的上下文条件下生成输出，学生模型则在无上下文条件下训练以模仿教师的输出，通常通过最小化前向KL散度实现。本文在此基础上提出了在策略上下文蒸馏（On-Policy Context Distillation），使用逆向KL散度并在学生自身生成的轨迹上训练。

本文的核心技术环节——知识整合阶段——直接建立在上下文蒸馏之上，理解其基本原理和局限性是理解OEL创新点的前提。

策略内/策略外（On-Policy / Off-Policy）

在强化学习中，on-policy指训练数据来自当前策略自身的分布，即模型用自己生成的数据来更新参数；off-policy则指训练数据来自其他策略（如教师模型或历史策略）的分布。Off-policy方法虽然数据来源更丰富，但容易引入分布偏移（distribution shift），导致训练-推理不一致，甚至引发灾难性遗忘。On-policy方法通过使用自身生成的样本进行训练，可以缓解这些问题。

本文的关键创新之一就是采用on-policy的方式进行上下文蒸馏，实验表明这比off-policy方法在分布外性能保留上有显著优势，是理解本文技术贡献的核心概念。

逆向KL散度（Reverse KL Divergence）

KL散度衡量两个概率分布之间的差异。标准的前向KL散度 $D_{\text{KL}}(p \| q)$ 在 $p$ 有概率质量而 $q$ 没有时会趋向无穷，倾向于产生mode-covering行为。逆向KL散度 $D_{\text{KL}}(q \| p)$ 则相反，当 $q$ 有概率质量而 $p$ 没有时趋向无穷，倾向于产生mode-seeking行为。在知识蒸馏场景中，逆向KL鼓励学生模型集中在教师模型认为高概率的区域学习，而非试图覆盖教师的全部分布。

OEL在知识整合阶段使用的损失函数正是基于逆向KL散度，公式为 $\mathcal{L}(\theta) = \frac{1}{|y|} \sum_{t=1}^{|y|} D_{\text{KL}}\left[\pi_\theta(\cdot | x, y_{<t}) \| \pi_{\text{teacher}}(\cdot | e, x, y_{<t})\right]$，理解其数学含义对把握训练过程至关重要。

灾难性遗忘（Catastrophic Forgetting）

灾难性遗忘是指神经网络在学习新任务时，其在先前任务上的性能急剧下降的现象。在大语言模型的微调场景中，当模型在特定领域数据上进行训练时，可能会丧失其在预训练阶段获得的通用能力。这是持续学习和终身学习领域的核心挑战之一，通常需要通过正则化、回放等技术来缓解。

本文实验表明OEL的on-policy上下文蒸馏方法能够有效缓解灾难性遗忘，在IF-Eval基准上保留了接近初始模型的分布外性能，这是相比off-policy方法的重要优势。

文本游戏环境（Text-based Game Environment）

文本游戏环境是一种以纯文本形式呈现状态和动作的交互式环境，智能体通过生成文本动作与环境交互，环境返回文本反馈描述结果状态。本文使用的TextArena框架实现了Frozen Lake（冰湖导航）和Sokoban（推箱子）两个经典游戏的文本版本。每轮交互中，环境返回移动是否合法、是否撞墙、是否掉入洞穴或到达目标等文本描述，以及更新后的地图。

文本游戏环境是本文评估OEL的核心测试平台，理解其交互机制有助于把握实验设置和结果的意义。

在策略上下文蒸馏（On-Policy Context Distillation）

这是本文依赖的核心技术，由同一团队的前序工作（Part I）提出。与标准上下文蒸馏不同，on-policy版本要求学生模型在自己生成的轨迹上训练，使用逆向KL散度而非前向KL散度。具体而言，学生模型从部分轨迹前缀生成单轮响应，然后优化以匹配知识条件教师的输出分布。这种方式避免了off-policy训练中的分布偏移问题，同时由于训练样本来自学生自身分布，可以实现更稳定的优化。

OEL的知识整合阶段直接采用此技术，是连接经验提取和模型改进的关键桥梁，也是本文实验中与off-policy方法对比的核心基线。

研究动机

当前大语言模型的改进范式存在根本性瓶颈。主流方法依赖离线训练：通过人类标注进行监督微调（SFT），或在模拟环境中利用可验证奖励进行强化学习（RL）。这种范式将模型视为静态产物——训练完成后即固定部署。然而，一旦部署，模型将面对远超任何受控训练环境所能预见的开放式任务流和用户需求，却无法从这些交互中获益。部署期间积累的丰富经验流被完全浪费。具体而言，服务器端通常无法访问用户侧的交互环境；真实世界的交互很少提供标量奖励信号，环境只返回文本反馈（如自然语言描述的状态变化、错误信息等）；标准RL算法无法直接处理这类非结构化信号；而为每个新部署场景构建可验证的奖励函数或训练奖励模型又不切实际。

本文的目标是本文提出在线经验学习（Online Experiential Learning, OEL）框架，目标是让语言模型在部署后仍能持续从自身交互经验中学习和改进。具体而言，OEL旨在实现以下目标：（1）无需奖励模型或可验证奖励，完全基于文本环境反馈进行学习；（2）在服务器端进行训练，无需访问用户侧环境；（3）通过迭代机制形成在线学习循环，使模型随部署轮次不断提升；（4）在提升任务准确率的同时提高推理效率（减少响应长度）；（5）保留模型的分布外通用能力，避免灾难性遗忘。最终愿景是将模型的部署过程从训练的终点转变为持续改进的起点。

与已有工作不同的是，现有方法的切入角度存在明显空白。传统SFT和RL方法停留在离线范式，无法利用部署经验。现有的经验学习方法（如反思、外部记忆存储）通常只在单次交互内工作，缺乏跨轮次的知识积累和参数内化机制。标准上下文蒸馏（off-policy版本）虽然可以压缩上下文知识，但存在分布偏移问题，容易导致灾难性遗忘。本文的独特切入在于：将部署经验转化为可提取、可积累、可内化的经验知识，通过两阶段迭代框架（提取-整合-再部署）形成闭环；采用on-policy上下文蒸馏将知识从上下文压缩到参数中，同时保持训练-推理一致性；整个过程完全奖励无关（reward-free），只需收集交互轨迹即可。这种将离线蒸馏技术与在线部署循环相结合的视角是前所未有的。

核心方法

OEL的整体思路可以用一个直觉来理解：人类专家之所以越来越强，不仅因为经历过更多场景，更因为能从经验中提炼出可迁移的洞察（而非简单记住每条经历）。类似地，OEL让模型先从交互轨迹中反思并提取经验知识，再将这些知识内化到模型参数中，然后带着更强的能力重新部署，收集更高质量的轨迹，如此循环。技术上，框架分两个阶段：第一阶段（提取）从用户侧收集的交互轨迹中，利用语言模型本身作为提取器，递归地积累可迁移的经验知识；第二阶段（整合）利用on-policy上下文蒸馏将积累的经验知识蒸馏到模型参数中，训练过程在服务器端完成，无需访问用户侧环境。两个阶段迭代进行，形成在线学习循环。

OEL的核心创新在于两个层面的设计。第一，经验知识的提取机制：不同于直接使用原始交互轨迹（实验证明效果不佳），OEL通过语言模型自身从轨迹中提取结构化或非结构化的可迁移知识，并以累积方式逐步丰富。这种从经验中学习洞察而非记住经验本身的思路，与人类专家的学习方式类似。第二，on-policy知识整合：与标准off-policy上下文蒸馏不同，OEL让学生模型在自己生成的响应上训练，通过逆向KL散度匹配知识条件教师的输出。这避免了训练-推理分布不匹配，同时实验表明能显著缓解灾难性遗忘。整体上，OEL将经验学习、知识蒸馏和在线学习三个概念有机融合，形成了一个既不需要奖励信号也不需要环境访问的学习闭环。

方法步骤详情

OEL的完整流程如Algorithm 1所述，分为以下步骤：（1）用户侧交互收集：当前模型 $\pi_\theta$ 部署到用户侧环境 $E$，收集两组轨迹 $T = \{\tau_1, \ldots, \tau_n\}$（用于提取）和 $T' = \{\tau_1, \ldots, \tau_m\}$（用于整合），每条轨迹 $\tau_i = (f_i^1, a_i^1, f_i^2, a_i^2, \ldots)$ 由模型动作和文本环境反馈交替组成。（2）经验知识提取：设置提取模型 $\pi_{\text{extract}} = \pi_\theta$，递归处理每条轨迹。对第 $i$ 条轨迹，生成 $e_i' \sim \pi_{\text{extract}}(\cdot | \tau_i, e_{i-1})$，然后拼接 $e_i = [e_{i-1}; e_i']$，从 $e_0 = \emptyset$ 开始，最终得到积累的经验知识。重复 $K=10$ 次（不同随机种子）得到知识集合 $C = \{e_1, \ldots, e_K\}$。（3）部分轨迹前缀构建：从 $T'$ 中提取所有部分前缀 $x_j^i = (f_i^1, a_i^1, \ldots, f_i^{j-1}, a_i^{j-1}, f_i^j)$，形成训练集 $D$。（4）On-policy上下文蒸馏：冻结教师 $\pi_{\text{teacher}} = \pi_\theta$，对学生进行20-100步训练。每步从 $D$ 采样前缀 $x$，从 $C$ 采样经验知识 $e$，学生生成响应 $y \sim \pi_\theta(\cdot | x)$，优化损失 $\mathcal{L}(\theta) = \frac{1}{|y|} \sum_{t=1}^{|y|} D_{\text{KL}}\left[\pi_\theta(\cdot | x, y_{<t}) \| \pi_{\text{teacher}}(\cdot | e, x, y_{<t})\right]$。（5）迭代更新：将更新后的模型重新部署，回到步骤（1）开始新一轮循环。

技术新颖性

OEL在技术上的新颖性体现在多个方面。首先，它是首个将经验学习系统化为可迭代框架的工作，区别于此前零散的经验利用方法（如反思、记忆存储）。其次，经验知识的递归积累机制——提取器在处理新轨迹时同时条件于已有知识——实现了知识的逐步丰富和精炼，这是对简单拼接或存储的质的飞跃。第三，将on-policy上下文蒸馏应用于在线学习场景是一个关键创新：教师模型是冻结的初始模型加上经验知识上下文，学生模型在自身分布上训练，这既避免了off-policy的分布偏移，又能让学生超越教师的上下文内能力（因为知识被直接压入参数）。第四，整个框架完全奖励无关，仅依赖文本环境反馈，这大幅降低了实际部署的门槛——不需要设计奖励函数，不需要环境API，只需要收集交互文本。第五，实验发现on-policy一致性至关重要：从自身轨迹提取的经验知识比从更强模型提取的更有效（Table 2），这一洞察为后续研究指明了方向。

实验结果

本文在两个文本游戏环境（Frozen Lake和Sokoban）上进行了系统实验，使用Qwen3系列模型（1.7B、4B、8B）的thinking和non-thinking变体。核心发现包括：（1）在线学习能力：在Frozen Lake上，Qwen3-1.7B通过4轮OEL迭代，pass rate从初始水平逐步提升至约40-50%；在Sokoban上，Qwen3-4B-Instruct-2507同样展现持续改进趋势，pass rate从约7%提升至20%以上。每轮积累阶段pass rate稳步上升但会饱和，整合后突破饱和并超过整合前水平。（2）Token效率提升：Qwen3-1.7B在Frozen Lake上，经过3轮迭代后，平均每轮响应长度降至初始的约70%，说明模型学会更高效地解决问题。（3）缓解灾难性遗忘：在IF-Eval基准上，on-policy方法保持了接近初始模型（约65-67%）的分布外准确率，而off-policy方法出现明显退化。（4）规模效应：Qwen3-1.7B、4B、8B在Frozen Lake上均从OEL获益，更大模型获得更高pass rate，且Round 1到Round 2的增益在各规模间一致。（5）经验知识优于原始轨迹：直接使用原始轨迹仅带来微弱改进（Sokoban上从7.5%到10.9%），而提取的经验知识大幅提升至18.2%（in-context）和21.4%（consolidate）。（6）On-policy一致性关键：Qwen3-1.7B使用自身轨迹提取的知识（pass rate 31.1% after consolidate）显著优于使用更强的Qwen3-4B提取的知识（22.7%）。

**Table 1**: 经验知识 vs 原始轨迹的效果对比（Qwen3-4B-Instruct-2507 on Sokoban）

**Table 2**: On-Policy一致性实验：经验知识来源对Qwen3-1.7B在Frozen Lake上性能的影响

**Figure 1**: OEL迭代过程中pass rate和response length的变化趋势

**Figure 4**: OEL实现在线学习：Pass Rate随积累步数的变化

**Figure 5**: Normalized Response Length随OEL轮次的变化

**Figure 6**: On-Policy vs Off-Policy上下文蒸馏的对比

查看结构化数据

任务	指标	本文	基线	提升
Frozen Lake（Qwen3-1.7B, thinking model）	Pass Rate (%)	约40-50%（经过多轮OEL迭代）	初始模型约10-15%	绝对提升约25-35个百分点
Sokoban（Qwen3-4B-Instruct-2507, non-thinking）	Pass Rate (%)	约20%以上（经过OEL迭代）	初始模型约7.5%	绝对提升约12-15个百分点
IF-Eval（分布外评估）	Accuracy (%)	约65-67%（on-policy OEL）	初始模型约65-67%	几乎无退化，off-policy降至约64%
Sokoban经验知识 vs 原始轨迹（in-context）	Pass Rate (%)	18.2%（经验知识）	10.9%（原始轨迹）	相对提升67%
Frozen Lake on-policy一致性实验（after consolidate）	Pass Rate (%)	31.1%（自身经验知识）	22.7%（Qwen3-4B经验知识）	相对提升37%

局限与改进

本文存在若干值得讨论的局限性。首先，实验环境局限于两个文本游戏（Frozen Lake和Sokoban），这些环境的复杂度相对有限，且都是有明确成功/失败判定的任务。在更开放、模糊的真实场景（如对话、创意写作）中，经验知识的提取和效果可能大打折扣。其次，经验知识的质量高度依赖提取模型自身的能力——如果初始模型在某领域表现很差，其提取的经验知识可能质量低下甚至有害，形成垃圾进垃圾出的循环。第三，训练数据规模较小（每轮约1280-6400个轨迹样本），20-100步的训练量在实际大规模部署中可能不足。第四，提取阶段使用模型自身作为提取器（$\pi_{\text{extract}} = \pi_\theta$），缺乏对提取质量的独立评估机制。第五，实验中固定使用最终checkpoint而未进行checkpoint选择，这在实际应用中可能导致次优结果。第六，OEL假设用户侧环境能提供有意义的交互轨迹，但对于懒惰或对抗性的用户，收集的轨迹可能无法提供有效学习信号。作者也承认，目前只在具有明确成功标准的环境中验证，尚不清楚如何扩展到开放式任务。

独立分析的弱点

从独立分析的角度，OEL存在几个值得改进的弱点。（1）经验知识的形式化不够：论文探索了结构化和非结构化两种格式，但对知识的粒度、抽象层次、去重机制缺乏深入研究。随着迭代轮次增加，积累的知识可能包含大量冗余或矛盾信息，需要更精细的知识管理策略。（2）提取模型与策略模型耦合：设置 $\pi_{\text{extract}} = \pi_\theta$ 虽然简洁，但当策略模型在某领域薄弱时，提取的知识质量受限。可以考虑使用更强的专用提取模型或引入人类验证。（3）缺乏主动探索机制：OEL完全被动地从用户交互中收集轨迹，没有主动探索未知领域的策略。在实际部署中，这可能导致模型只在用户频繁使用的场景中改进，而忽略冷门但重要的领域。（4）教师模型冻结问题：每轮整合时教师是冻结的初始 $\pi_\theta$，随着学生能力提升，教师可能成为瓶颈。可以考虑使用滑动窗口或知识库来维护更丰富的参考。（5）缺乏对知识积累过程的理论分析：为什么10个随机种子的重复积累有效？知识的边际收益如何随积累量衰减？这些缺乏理论支撑。

未来方向

作者提出的经验学习范式为多个方向打开了大门。首先，扩展到真实部署场景是最直接的后续工作——将OEL应用于对话助手、代码生成、工具使用等实际场景，验证其在复杂开放环境中的效果。其次，将OEL与搜索、工具调用等能力结合，形成经验增强智能体，可能在复杂推理任务上取得突破。第三，多智能体经验共享：不同部署实例的经验知识是否可以跨用户、跨场景迁移？这可能加速知识积累。第四，自适应提取策略：根据轨迹质量、知识新奇度动态调整提取强度和格式，避免冗余。第五，理论分析：建立OEL收敛性的理论保证，分析经验知识的信息论特性。第六，结合其他持续学习技术（如弹性权重巩固、渐进式网络扩展）进一步缓解遗忘。第七，探索非文本环境（如视觉、多模态）的经验学习，扩大框架的适用范围。第八，将OEL与奖励模型结合，在有奖励信号的场景中可能实现更强的改进效果。

复现评估

本文的复现条件相对透明但有一定门槛。代码已在 https://aka.ms/oel-code 开源，这大大降低了复现难度。实验使用的TextArena环境是公开的文本游戏框架。基础模型使用的是开源的Qwen3系列（1.7B、4B、8B），无需API访问。然而，实际复现仍面临几个挑战：（1）计算资源——每轮OEL需要在两个环境中各收集25-50条轨迹用于提取、多条轨迹用于整合，加上10个随机种子的重复提取，以及20-100步的梯度更新，完整复现所有实验需要显著的GPU算力。（2）环境配置——TextArena的Frozen Lake和Sokoban实现细节需要与论文匹配。（3）超参数敏感性——论文中的关键超参数（积累步数n=25/50、最大长度Lmax=8192/2048、K=10次重复、训练步数20/100、batch size 64等）需要精确复现。（4）随机性——涉及多个随机种子（提取种子、评估种子），结果可能有波动。总体而言，代码开源和使用公开模型使复现可行性较高，但完整复现所有实验仍需中等规模的计算资源和细致的工程实现。

语言模型的在线经验学习 Online Experiential Learning for Language Models