← 返回 2026-04-07

学习在测试时学习：具有可学习适应策略的语言代理 Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies

Zhanzhi Lou, Hui Chen, Yibo Li, Qian Wang, Bryan Hooi 📅 2026-04-02 👍 15 2026-07-13 08:36

Adaptation Policy Evolutionary Optimization Language Agents Meta-Learning Test-Time Learning

通过元学习从任务分布中学习适应策略，显著提升语言代理测试时学习能力

前置知识

Test-Time Learning (TTL)

测试时学习是指代理在推理时通过与环境反复交互来迭代提升性能的能力。不同于传统的离线训练，TTL 允许代理在部署后从实际交互中学习，而不需要更新模型权重。核心机制是适应策略（adaptation policy），它根据之前回合的经验更新 actor 策略，从而改善未来行为。TTL 的关键挑战是如何在没有参数更新或真实监督的情况下，从多次尝试中积累经验并持续改进。

本文的核心研究对象就是 TTL，理解其机制对于理解 META-TTL 框架的双层优化结构至关重要。

Meta-Learning

元学习，又称为学会学习（learning to learn），是从任务分布中提取可迁移知识，使学习器能够快速适应新任务的机器学习范式。典型的元学习场景包括少样本学习、迁移学习等。元学习通常通过双层优化实现：内层循环在单个任务上学习，外层循环在任务分布上优化学习算法本身。这种框架使得学习到的策略具有跨任务的泛化能力。

META-TTL 将 TTL 形式化为元学习问题，双层优化结构是其方法的核心技术基础。

POMDP

部分可观测马尔可夫决策过程是强化学习中用于描述智能体与环境交互的数学框架。一个 POMDP 由状态空间 $S$、动作空间 $A$、转移核 $T$、观测空间 $\Omega$、奖励函数 $R$ 和视界 $H$ 组成：$M_g = (S, A, T, \Omega, R, H)$。与 MDP 不同，POMDP 中的智能体只能观测到环境的部分状态，这更符合现实场景。对于语言代理任务，如文本游戏或网页导航，环境状态往往是部分可观测的，因此需要用 POMDP 来建模。

论文将每个任务实例建模为有限视界的 POMDP，这是形式化 TTL 问题的数学基础。

Evolutionary Search

进化搜索是受生物进化启发的优化算法，通过选择、变异、交叉等操作在解空间中搜索最优解。与基于梯度的优化不同，进化搜索不需要可微的目标函数，适用于离散或非可微的搜索空间。在提示工程领域，进化搜索被用于迭代改进自然语言提示，通过生成候选、评估性能、保留最优解的循环来逐步提升提示质量。种群、变异率、选择策略是关键超参数。

META-TTL 的外层循环使用进化搜索来优化适应策略，这是其不同于基于梯度的元学习方法的关键特征。

研究动机

现有 Test-Time Learning（TTL）方法存在一个根本性限制：它们依赖固定的、手工设计的适应策略。以 Reflexion 为例，它通过让语言模型基于固定的反思模板生成反馈来更新策略，但这种模板是基于人类直觉设计的，而非针对下游性能优化。在实际场景中，当语言代理在陌生环境中部署时，它们往往难以在动态适应方面表现出色。例如，在 Jericho 文本游戏或 WebArena 网页导航任务中，代理可能多次尝试但重复相同的错误，无法有效地从失败经验中学习。根据论文引用的工作，大多数现有方法要么纯粹依赖预训练语言模型的能力，要么使用临时的语言反馈或记忆积累，但这些方法都没有系统性地优化适应策略本身。实验数据显示，在未经优化的情况下，基准方法在 Jericho ID 任务上的 W-AUC 仅为 0.16-0.18，这表明固定适应策略的测试时学习能力非常有限。

本文的目标是本文的具体目标是将测试时学习本身视为一种可学习的能力，而不是通用语言模型的副产品。作者寻求从任务环境中学习适应策略，通过针对测试时的下游改进来优化它。具体而言，目标是找到一个元提示 $\phi^*$，使其在训练任务分布上最大化预期的 TTL 性能：$\phi^* = \arg\max_{\phi} \mathbb{E}_{g \sim D_{\text{train}}}[\text{W-AUC}(\xi_{\phi}^g)]$，其中 $\xi_{\phi}^g$ 是在任务 $g$ 上使用元提示 $\phi$ 运行的 TTL 会话。这个目标要求适应策略能够从训练任务分布中提取可迁移的适应原则，并在测试时零样本应用于未见过的任务。

与已有工作不同的是，本文的独特切入角度在于将优化对象从代理的行为本身转向代理的适应机制。现有 TTL 方法的核心区别在于它们优化的是什么：大多数方法将适应机制——即 actor 策略如何在回合之间更新——视为固定的、手工设计的组件，专注于通过临时语言反馈或记忆积累来改进代理在单个任务会话中的行为。而 META-TTL 将适应机制本身作为优化对象：它在训练任务分布上学习如何有效适应，并将结果得到的适应策略在测试时零样本部署。这种转变使得适应策略成为一个可迁移的、可解释的自然语言学习算法，而不是隐藏在模型权重中的隐式能力。另一个关键区别是 META-TTL 完全在提示空间中通过无梯度搜索运行，产生一个可跨骨干模型迁移的便携式文本产物，而不需要通过策略梯度进行模型权重的微调。

核心方法

META-TTL 是一个双层框架，用于学习语言代理测试时学习的适应策略。框架的内层循环执行标准的 TTL 过程，让语言代理在一系列回合中与环境交互并基于之前的尝试进行适应，衡量候选适应策略如何帮助代理在回合间改进。外层循环通过进化搜索在训练任务分布上优化策略：迭代演化候选策略，通过内层循环评估它们，并保留产生更强 TTL 性能的那些。在测试时，学习到的适应策略被冻结并零样本应用于未见过的任务。从直觉上理解，这类似于让一个学习算法本身通过在许多不同任务上的经验来学习如何更好地学习，而不是只固定一个学习算法然后让它在单个任务上学习。

核心创新点是将 TTL 形式化为适应策略的元学习问题，并通过双层优化实现。与现有方法的关键区别在于优化对象：现有方法优化代理在单个任务中的行为，而 META-TTL 优化代理如何在不同任务间学习适应的策略。具体而言，META-TTL 将适应策略 $f$ 实例化为由元提示 $\phi$ 控制的单独语言模型。在回合 $k$ 后，元代理观察到轨迹历史 $H_k$ 并生成更新的系统提示：$\rho_{k+1} \sim f_{\phi}(\cdot | \rho_k, H_k)$。元提示 $\phi$ 完全指定了适应策略：它决定了元代理关注过去经验的哪些方面、如何诊断失败以及产生什么形式的指导。因此，可学习的组件是 $\phi$ 本身，而不是手工制作它或依赖固定启发式，而是通过元训练来优化它。

方法步骤详情

方法步骤完整描述如下。首先，内层 TTL 循环运行一个包含 $K$ 个回合的 TTL 会话：对于 $k = 1, \ldots, K$，在当前 actor 提示 $\rho_k$ 下执行回合 $k$ 得到轨迹 $\tau_k$；如果 $k < K$，则调用 ADAPT 函数根据历史 $\{\tau_1, \ldots, \tau_k\}$ 生成下一回合的 actor 提示 $\rho_{k+1}$。ADAPT 函数是元代理的调用，根据元提示 $\phi$ 生成更新的 actor 提示。其次，外层元训练循环通过进化搜索优化元提示：从当前专家池中采样父元提示 $\phi_{\text{parent}}$ 和训练任务 $g$；使用采样的元提示在该任务上运行 TTL 会话；提议语言模型读取结果会话并提出修订候选；在同一任务上重新评估候选；只有当候选在该任务上改进 W-AUC 时才继续到全局验证；在所有验证任务上评估候选，并替换它在每个取得新最佳分数的任务上的当前专家；迭代直到预算耗尽；最后通过选择具有最高平均验证分数的专家来选择单个元提示 $\phi^*$ 用于部署。评估阶段使用加权学习曲线下面积（W-AUC）作为指标：$\text{W-AUC}(\xi_g) = \frac{\sum_{k=1}^K w_k \cdot J(\tau_k)}{\sum_{k=1}^K w_k \cdot J_{\max}(g)}$，其中 $w_k = k$，后期回合获得更大权重，奖励持续改进。

技术新颖性

技术新颖性体现在多个方面。首先，META-TTL 是首个将 TTL 形式化为适应策略元学习问题的工作，提供了一个优化代理如何在回合间自我改进的原则性框架。其次，进化元训练机制结合了提议、本地验证、专家池和专家选择四个组件，形成了一个鲁棒的优化流程。第三，学习到的适应策略作为自然语言元提示实现，完全在提示空间中运行，避免了测试时的梯度计算，使适应轻量级且可解释。第四，专家池机制允许发现任务特定的适应策略，同时通过跨任务验证确保泛化性。第五，优化的元提示 $\phi^*$ 可以视为一个自然语言学习算法，编码了可迁移的适应原则，如明确的信用分配和纪律化的探索管理，这些原则由元训练过程自主发现，而非手工设计。最后，框架与 actor 和 meta-agent 的骨干模型解耦，学习到的适应策略可以跨不同的语言模型迁移而无需重新训练。

**Figure 2**: Overview of META-TTL. Outer loop (meta-training): A proposer LM reflects and proposes candidate meta-prompts, which are validated locally and globally before entering a per-task expert pool. After training, a single optimized meta-prompt is selected from this pool. Inner loop (test-time learning): The meta-agent, governed by the optimized meta-prompt, observes the actor's trajectory after each episode and generates verbal feedback that rewrites the actor's system prompt for the next attempt.

实验结果

核心发现表明 META-TTL 在两个基准上一致性地优于手工制作和未优化的适应。在 Jericho ID 游戏中，每个 meta-agent 骨干模型都有大幅收益，使用 GPT-5 时从 $0.18$ 提升到 $0.41$。具体来看，GPT-5 作为 meta-agent 时，META-TTL 在三个游戏上的平均分数从 $50.4$ 提升到 $110.8$，W-AUC 从 $0.18$ 提升到 $0.41$，这代表了约 $120\%$ 的平均游戏分数改进。GLM-5 的提升更为显著，W-AUC 从 $0.19$ 提升到 $0.35$。在 WebArena-Lite ID 域中，所有三个骨干模型的收益较小但仍为正，使用 GLM-5 时 W-AUC 提升达 $+0.09$。这种差距的一个合理原因是奖励粒度的差异：Jericho 密集的每动作奖励为元训练提供了细粒度的优化信号，而 WebArena-Lite 的二元完成信号产生的会话轨迹主要是全零或全一，为外层循环提供了更粗糙的搜索景观。对于 OOD 泛化，学习到的适应策略在两个基准的分布外任务上都实现了泛化。在 Jericho 上，META-TTL 在所有三个保留游戏上改进了所有三个 meta-agent 骨干模型的 W-AUC；使用 GPT-5 时，平均值从 $0.23$ 上升到 $0.28$。这包括 Zork 3，这是三个保留游戏中最具挑战性的，所有骨干模型仍然记录正向收益。在 WebArena-Lite 上，OOD 收益集中在 Shopping Admin，它在所有三个骨干模型上一致改进，因为 Shopping Admin 与 ID Shopping 域共享界面和任务结构。相比之下，Reddit 在结构上与任何训练域都不相同，显示更有限的迁移：只有 Gemini 3 Flash 记录了有意义的收益，而 GLM-5 和 GPT-5 保持平稳。尽管如此，三个骨干模型的总体 OOD 平均值仍然改进。

**Table 2**: Jericho OOD Results. Zero-shot generalization on held-out games, with single-agent baselines shown at the top for reference.

**Table 3**: WebArena-Lite ID Results. Comparison of single-agent baselines and actor+meta-agent methods on in-distribution domains.

**Table 4**: WebArena-Lite OOD Results. Zero-shot generalization on out-of-distribution domains, with single-agent baselines shown at the top for reference.

**Figure 3**: Per-episode score trajectories on the six Jericho evaluation games. META-TTL exhibits clearer upward trends across episodes than the baselines, supporting W-AUC as a metric of sustained test-time improvement.

查看结构化数据

任务	指标	本文	基线	提升
Jericho ID (Detective, Zork 1, Temple)	W-AUC	0.41 (GPT-5 as meta-agent)	0.18 (Naive GPT-5)	+0.23 (~128% relative)
Jericho OOD (Balances, Library, Zork 3)	W-AUC	0.28 (GPT-5 as meta-agent)	0.23 (Naive GPT-5)	+0.05 (~22% relative)
WebArena-Lite ID (GitLab, Map, Shopping)	W-AUC	0.64 (GLM-5 as meta-agent)	0.55 (Naive GLM-5)	+0.09 (~16% relative)
WebArena-Lite OOD (Reddit, Shopping Admin)	W-AUC	0.38 (GLM-5 as meta-agent)	0.35 (Naive GLM-5)	+0.03 (~9% relative)

局限与改进

局限性包括几个方面。首先，Zork 3 是最具挑战性的游戏，所有方法都显示跨回合的分数下降，表明在这个游戏上难以实现有效的测试时学习。即使在 Zork 3 这种情况下，优化的适应策略也产生了比 Naive 基线更高的 W-AUC，但绝对改进有限。其次，WebArena-Lite 的二元奖励信号提供了比 Jericho 的密集奖励更粗糙的搜索景观，使得进化搜索更难识别和保留更好的候选。第三，Reddit 域显示的有限迁移表明学习到的适应策略可能在任务类型相似性上有较强依赖。第四，元训练过程需要在分布上运行多个 TTL 会话，计算成本较高。第五，框架依赖于提议语言模型生成候选适应策略的质量，如果提议模型能力不足，可能会限制搜索的有效性。

独立分析的弱点

独立分析的弱点包括：首先，对于具有二元奖励的任务（如 WebArena-Lite），密集奖励信号缺失限制了元训练的有效性，因为候选适应策略的小幅改进可能不会反映在会话分数上。改进方向可以考虑引入中间奖励信号或使用更细粒度的评估指标。其次，Reddit 域显示的有限迁移表明学习到的适应策略可能在任务类型相似性上有较强依赖，改进方向可以探索在训练任务分布中增加更大的任务多样性。第三，Zork 3 上的性能下降表明某些任务可能 inherently 不适合 TTL，改进方向可以研究任务特征与 TTL 适用性的关系。第四，计算成本较高，改进方向可以探索更高效的搜索策略，如基于模型的搜索或并行评估。第五，框架目前专注于基于提示的适应，未来可以探索结合梯度适应和提示适应的混合方法。

未来方向

未来研究方向包括：首先，探索在更大规模和更多样化的任务分布上的元训练，以研究适应策略的扩展性和泛化能力。其次，研究适应策略在不同骨干模型之间的迁移机制，探索是否存在模型无关的适应原则。第三，探索结合基于梯度的适应和基于提示的适应的混合方法。第四，研究适应策略在更长时视界任务中的表现。第五，探索自动化任务特征提取和任务相似性度量，以改进 OOD 泛化能力。第六，研究适应策略的安全性和鲁棒性。第七，探索更高效的搜索策略。第八，研究适应策略在多代理协作场景中的应用。

复现评估

复现评估方面，论文声称代码可在 GitHub 获得，这有利于复现。实验使用了两个公开基准：Jericho 和 WebArena-Lite，这两个基准都是公开可用的。模型方面，使用 Gemini 3 Flash、GLM-5 和 GPT-5 作为 meta-agent 骨干，这些都是商业模型，需要 API 访问。论文提供了详细的实验设置，包括每个基准的 ID/OOD 分割、回合数和评估指标。算法以伪代码形式提供，便于实现。然而，复现可能面临以下挑战：首先，元训练过程需要在分布上运行多个 TTL 会话，计算成本较高，需要足够的算力资源。其次，商业模型的 API 调用可能产生显著成本。第三，随机性可能需要多次运行以获得稳定结果。第四，论文没有提供超参数的敏感性分析，可能需要调参。总体而言，由于代码、数据和方法描述较为完整，复现应该是可行的，但需要适当的资源投入。

论文图表

**Figure 1**: Adaptation policies determine how the agent uses its experience up to episode k to update the actor before episode k + 1. Existing methods use a fixed adaptation rule, whereas META-TTL learns the adaptation policy across tasks and applies it zero-shot at test time.
Figure 1 通过对比展示了现有 TTL 方法和 META-TTL 的核心区别。左侧的现有 TTL 使用固定的适应策略，基于手工设计，导致测试时改进有限；右侧的 META-TTL 使用学习到的适应策略，在任务间学习，实现持续的测试时改进。图中展示了从回合 k 的经验开始，通过适应策略更新 actor 策略，然后在回合 k+1 中执行的过程。这个图直观地传达了本文的核心创新：适应策略本身是可以学习的，而不是固定的。

这张图对理解论文至关重要，因为它清晰地展示了现有方法和本文方法的关键区别，即优化对象的转变。它帮助读者快速理解 META-TTL 的核心思想，即学习适应策略而不是使用固定策略。

Table 1: Jericho ID Results. Comparison of single-agent baselines and actor+meta-agent methods on meta-training games.

Table 1 展示了 Jericho ID 游戏（Detective、Zork 1、Temple）上的实验结果。表的上半部分是单代理基线，包括 Static、Reflexion 和 Memory Agent；下半部分是 actor+meta-agent 方法，分别使用 Gemini 3 Flash、GLM-5 和 GPT-5 作为 meta-agent。对于每个架构，比较了 Naive 和 META-TTL 方法。关键数据显示：单代理基线的平均 W-AUC 为 0.16-0.18；使用 GPT-5 作为 meta-agent 时，Naive 方法平均 W-AUC 为 0.18，META-TTL 为 0.41，提升了 0.23；使用 GLM-5 时，Naive 方法平均 W-AUC 为 0.19，META-TTL 为 0.35，提升了 0.16。表格清楚地展示了 META-TTL 在所有骨干模型上都优于 Naive 基线。

这个表格对理解论文至关重要，因为它提供了 RQ1 的直接证据：meta-learned 适应策略是否产生比手工制作或未优化适应更强的测试时改进。表格中的具体数字展示了 META-TTL 的一致性优势和显著性能提升。