探索失败：语言模型在交互任务上的表现 Failing to Explore: Language Models on Interactive Tasks
语言模型在受限交互预算下系统性地探索不足，远逊于简单启发式基线
前置知识
探索-利用权衡（Explore-Exploit Tradeoff）
这是强化学习和搜索理论中的核心概念。探索（Explore）指主动尝试未知区域以发现潜在更优解，利用（Exploit）指围绕当前已知最优解进行精细搜索。在有限预算下，过早利用会导致陷入局部最优，过度探索则可能浪费资源。经典的多臂老虎机问题（Multi-Armed Bandit）就是这一权衡的经典形式化。本文将这一概念应用于语言模型与黑盒环境交互的场景，考察模型是否能在有限查询次数内平衡好探索与利用。
本文的核心论点就是语言模型在探索-利用权衡上表现糟糕，系统性地偏向过早利用。理解这一概念是理解论文全部实验设计和结论的前提。
交互预算（Interaction Budget）
指模型与环境交互的总次数上限 $N$。在本文设定中，模型每轮向预言机（Oracle）发送一个查询，获得反馈，总共只能进行 $N$ 轮。这模拟了现实世界中交互成本有限的场景，例如物理机器人动作次数有限、API调用需要付费、实验次数受时间约束等。预算越小，每一步决策的代价越高，对探索策略的要求也越严格。
整个实验框架都建立在有限交互预算的设定上，所有性能指标都是在给定预算 $N$ 下衡量的，理解这一点才能理解为什么模型的低效探索是严重问题。
过早承诺（Premature Commitment）
指智能体在探索初期发现一个看似不错的解后，就停止进一步探索，将剩余预算全部用于围绕该解进行局部优化。这在本文中被识别为语言模型的核心行为缺陷：在HillSearch中表现为围绕局部极大值密集查询，在TreeSearch中表现为进入一个分支后一路深入到叶子节点而不回头，在MaxSatSearch中表现为只做小幅变量修改。这种行为导致模型错过了搜索空间中更优但需要更多探索才能发现的解。
过早承诺是本文诊断出的语言模型在交互任务中失败的根本原因，也是两种干预方法（并行线程和周期性摘要）试图解决的核心问题。
预言机（Oracle）
在本文的交互协议中，预言机是一个黑盒函数，接收模型的查询并返回确定性反馈。在HillSearch中预言机返回函数值 $f(x)$，在TreeSearch中返回节点奖励值，在MaxSatSearch中返回满足的子句数量。预言机的反馈是确定性的（同一查询总是返回相同结果），但模型无法直接访问底层函数或数据结构，只能通过查询来逐步了解环境。
预言机定义了模型与环境的交互接口，理解这一机制是理解三个任务如何运作以及模型如何收集信息的基础。
子线性幂律成功概率（Sublinear Power-Law Success Probability）
本文在理论分析中将成功概率建模为 $q(x) = cx^{\alpha}$，其中 $0 < c \leq 1$，$0 < \alpha < 1$。这意味着随着预算 $x$ 增加，成功概率的增长是亚线性的——边际收益递减。这一模型捕捉了探索任务的本质特征：找到好解的概率随查询次数增加而增加，但增速放缓。在这个模型下，作者证明了将固定预算拆分为多个并行线程在低成功概率区间（$x < v_p$）能提升整体成功概率。
这一理论结果解释了为什么并行化在实践中有效——因为语言模型的单线程表现远未达到最优，处于低成功概率区间，所以并行化能带来收益。
研究动机
当前对语言模型的评估主要集中在静态性能上，例如单次问答的准确率、代码生成的正确率等。然而，随着智能体（Agentic AI）范式的兴起，语言模型越来越多地被部署在需要与环境持续交互的场景中——调用工具和API、执行网络操作、进行软件工程任务、控制机器人等。在这些场景中，模型必须在有限的交互次数内，通过逐步试探来发现高质量的解决方案。然而，现有评估体系几乎没有测量模型在这种受限交互条件下的探索能力。具体而言，当模型面对一个包含隐藏信息的黑盒环境时，它是否会过早地被容易发现的次优解吸引而停止探索？当获得更多交互预算时，模型是否能有效地利用这些额外资源来发现更好的解？这些问题在现有基准测试中几乎没有被系统性地研究过。已有的一些交互式基准（如网页导航、游戏对弈、代码调试）虽然涉及交互，但它们的目标是测量任务完成度、规划能力或指令遵循能力，而非纯粹的探索质量。更重要的是，这些基准缺乏可控的参数化设计，无法系统地调节探索难度来隔离和诊断模型的具体探索缺陷。
本文的目标是本文的具体目标是建立一套可参数化、难度可控的交互式任务套件，用于系统性地测量语言模型在有限交互预算下的探索能力。作者希望回答三个核心问题：第一，语言模型在交互式探索任务上的绝对性能如何，与简单的探索-利用启发式基线相比差距有多大？第二，随着交互预算 $N$ 的增加，模型的性能增长曲线是什么样的，是否能像基线算法那样有效地利用额外资源？第三，能否通过轻量级干预措施（如并行执行和周期性摘要）来改善模型的探索行为？作者选择了三个覆盖连续空间、离散图结构和离散组合空间的任务，以确保结论的普适性。每个任务都包含精心设计的陷阱（traps）——容易在早期发现但会误导模型停止进一步探索的次优解，从而对模型的探索能力形成真正的考验。
与已有工作不同的是，本文的独特切入角度在于，它不是在评估模型能否完成任务，而是在评估模型能否有效地探索。这一视角在现有文献中几乎是空白。已有的工作要么关注模型在确定性推理任务上的表现（如谜题求解），要么关注目标导向的导航能力（如迷宫寻路），但都没有专门设计实验来测量模型在探索-利用权衡中的行为。本文抓住了一个被忽视的关键点：语言模型的训练数据以静态文本为主，其内在的推理模式倾向于快速给出答案而非系统性地搜索，这导致模型在需要持续探索的交互环境中表现出系统性的过早承诺。此外，本文还发现了一个反直觉的现象：将固定预算拆分为多个并行线程理论上不应优于单线程执行，但实践中却能显著提升模型性能，这暗示模型的单线程行为远非最优。这一发现为理解语言模型的认知局限提供了新的视角。
核心方法
本文的方法论可以类比为给一个学生设计考试：不是考他知道多少知识，而是考他在有限提问次数下能否聪明地找到答案。想象你面前有100个盒子，每个盒子里有一个数字，你只能打开50个盒子来找到最大的数字。一个聪明的策略是先随机打开一些盒子了解分布，再集中精力在可能有大奖的区域；而一个糟糕的策略是打开前几个盒子后发现一个不错的数字，就一直在附近区域打转。本文就是用类似的设置来测试语言模型：给模型一个黑盒环境，让它在 $N$ 次查询内找到最优解。技术路线上，作者设计了三个参数化任务（HillSearch、TreeSearch、MaxSatSearch），每个任务都有可控的探索难度参数。然后，作者用多种语言模型（包括推理模型和非推理模型）在这些任务上进行评估，与简单的探索-利用启发式基线进行对比。最后，作者提出并验证了两种干预方法：将固定预算拆分为并行线程，以及周期性地总结交互历史来引导模型的后续探索。
本文最核心的创新不在于提出了某个具体的算法，而在于揭示了一个被忽视的现象并提供了一套可量化的诊断工具。与已有工作最本质的区别是：已有基准测试评估的是模型能否完成任务，而本文评估的是模型能否有效地探索。通过精心设计的参数化任务，作者能够精确控制探索难度——例如在HillSearch中通过调整山峰宽度，在TreeSearch中调整陷阱分支与好分支的比例，在MaxSatSearch中调整金子句的长度。这种可控性使得作者能够系统地分析模型在不同探索难度下的行为模式。另一个关键洞察是，模型的失败不是因为能力不足，而是因为行为模式不对：模型像一个急于交卷的学生，看到一个还不错的答案就停止思考了。这种过早承诺的行为模式在所有测试的模型（包括GPT-5这样的前沿模型）中都普遍存在，而且随着预算增加，模型性能的提升速度远低于简单的启发式基线。这一发现表明，仅仅扩大模型规模或增加推理时间是不够的，需要专门的机制来鼓励持续探索。
方法步骤详情
本文的方法包含三个层次：任务设计、模型评估和干预方法。在任务设计层面，HillSearch构造一个定义在 $[0,10]$ 上的高斯山丘函数 $f(x) = \sum_i h_i \exp(-(x-c_i)^2/w_i)$，包含多个中等高度的诱饵山峰和一个极高但极窄的针状山峰，模型每轮查询一个 $x$ 值获得 $f(x)$。TreeSearch构造一棵根节点奖励为0的树，包含陷阱网关（进入后前几步奖励快速增长但后续增长稀疏）和好网关（起始奖励低但持续稳定增长），模型每轮查询一个与已探索节点相邻的节点获得其奖励值。MaxSatSearch构造一个包含 $m$ 个子句的布尔公式，其中一个金子句被重复 $w_{gold}$ 次，模型每轮提交一个完整的变量赋值获得满足的子句数量。在模型评估层面，对每个任务实例，模型接收任务描述和预算 $N$，然后进行 $N$ 轮交互，每轮输出一个查询并接收预言机反馈，完整交互历史保留在上下文中。对每个模型-实例对，至少运行40次以确保统计稳健性。在干预方法层面，并行线程方法将预算 $N$ 拆分为 $p$ 个独立线程，每个线程获得 $N/p$ 的预算，最后取所有线程中最优的解；周期性摘要方法每隔 $N/s$ 步生成一次交互历史的摘要，包含关键发现和反思性问题，替换完整上下文后继续探索。
技术新颖性
本文的技术新颖性体现在多个方面。首先，在评估范式上，这是首个专门设计用于测量语言模型探索能力的参数化任务套件。与已有的交互式基准（如WebArena、AgentBench等）不同，本文的任务简单到可以用几行代码描述，但又足够丰富来暴露模型的探索缺陷。其次，在理论分析上，作者证明了一个反直觉的结果：在本文的任务设定下，将固定预算 $N$ 拆分为 $p$ 个并行线程，取最优解，理论上不应优于单线程使用全部 $N$ 个预算。然而实践中，模型的并行化表现却显著优于单线程，这为理论提供了新的方向——需要基于模型的实际行为模式（而非理想行为）来分析并行化的收益。第三，在干预方法上，周期性摘要方法的设计很巧妙：它不是简单地压缩上下文，而是生成包含反思性问题的结构化摘要，引导模型关注未探索的区域和潜在的盲点。这种方法在不增加总预算的情况下提升了探索质量，揭示了长上下文可能反而阻碍探索这一反直觉现象。
实验结果
本文的实验结果揭示了语言模型在交互式探索任务上的系统性失败。在绝对性能方面，所有模型在三个任务上都显著落后于简单的探索-利用启发式基线。以HillSearch为例，当预算 $N=36$ 时，探索-利用基线的归一化奖励为0.94，而表现最好的模型gpt-5和gpt-5-mini仅为0.85（相对性能90%），Qwen2.5-7B-Instruct仅为0.30（32%）。在TreeSearch上，基线达到0.94，但大多数模型仅在0.58-0.75之间。在MaxSatSearch上，基线为0.77，模型在0.38-0.68之间。在预算扩展方面，模型表现出了极弱的扩展性。作者将模型和基线的奖励与预算 $N$ 的关系拟合为幂律 $y = ax^b + c$，发现基线的指数 $b$ 在0.13-0.22之间，而模型的指数仅为0.09-0.13，意味着模型从额外预算中获益远不如基线。例如在HillSearch上，Qwen2.5-7B-Instruct的拟合为 $y = 0.09x^{0.61} + 0.01$，而探索-利用基线为 $y = 0.96x^{0.09} - 0.85$。在行为分析方面，作者通过可视化发现三种典型的失败模式：在HillSearch中，模型在前6步左右进行探索，随后在剩余的42步中围绕局部极大值密集查询；在TreeSearch中，模型一旦进入某个分支就一路深入到叶子节点，即使进入了陷阱分支也不回头；在MaxSatSearch中，模型只做小幅变量修改（低Hamming距离），收益增长缓慢。在并行化干预方面，将预算 $N=48$ 拆分为 $p=3$ 个线程后，Qwen2.5-7B-Instruct在HillSearch上的奖励从0.33提升到0.74（提升125%），在TreeSearch上从0.71提升到0.93（提升31%）。在摘要干预方面，每6步生成一次摘要（$s=6$），Qwen2.5-7B-Instruct在HillSearch上从0.33提升到0.62（提升87%），在MaxSatSearch上从0.45提升到0.66（提升46%）。这两种干预在不同难度级别上都保持了一致的改进效果。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HillSearch (N=36) | 归一化奖励 | gpt-5: 0.85, gpt-5-mini: 0.85, Qwen2.5-7B: 0.30 | 探索-利用基线: 0.94 | 最优模型仅为基线的90%，最差仅为32% |
| TreeSearch (N=48) | 归一化奖励 | gpt-5: 0.63, Qwen3-4B: 0.91, Qwen2.5-7B: 0.71 | 探索-利用基线: 0.96 | 最优模型为基线的95%，多数在65-75%之间 |
| MaxSatSearch (N=48) | 归一化奖励 | gpt-5: 0.78, gemini-2.5-flash-lite: 0.62, Qwen2.5-7B: 0.45 | 探索-利用基线: 0.84 | 最优模型为基线的93%，最差仅为54% |
| HillSearch并行化 (N=48, p=3) | 归一化奖励 | Qwen2.5-7B: 0.74, gpt-5-nano-medium: 0.88 | 单线程: Qwen2.5-7B: 0.33, gpt-5-nano-medium: 0.48 | Qwen2.5-7B提升125%, gpt-5-nano-medium提升85% |
| 摘要方法 (N=48, s=6) | 归一化奖励 | Qwen2.5-7B HillSearch: 0.62, TreeSearch: 0.82, MaxSatSearch: 0.66 | 无摘要: HillSearch: 0.33, TreeSearch: 0.71, MaxSatSearch: 0.45 | HillSearch提升87%, TreeSearch提升15%, MaxSatSearch提升46% |
局限与改进
本文存在多方面的局限性。首先，任务设计虽然巧妙，但与真实世界的交互场景仍有显著差距。三个任务都是静态环境（预言机反馈是确定性的），而真实世界中的智能体需要处理动态变化的环境、延迟反馈和噪声观测。其次，本文的交互协议要求模型的查询必须是精确格式化的结构化输出（JSON），这可能对某些模型构成额外的格式遵循负担，导致部分失败并非源于探索能力不足而是输出格式错误。作者虽然做了错误重试处理（最多20次静默重试加5次反馈重试），但无效查询不计入预算这一点可能轻微高估了模型的实际探索能力。第三，本文只评估了7B及以下规模的开源模型和GPT-5系列的API，没有评估更大的开源模型（如70B或400B级别），这限制了结论在模型规模扩展方面的普适性。第四，基线算法虽然简单，但都是专门为每个任务手工设计的，而模型需要通过自然语言理解任务描述后来制定策略，这种不对称性可能夸大了模型与基线之间的差距。第五，作者承认其理论分析（Theorem 5.1）只在低成功概率区间成立，对于已经接近最优的单线程行为，理论上并行化确实不应有收益，但本文没有深入分析模型在什么条件下会进入高成功概率区间。
独立分析的弱点
本文有几个值得深入分析的弱点。第一，任务多样性不足：三个任务本质上都是在有限预算下搜索最优解的问题，只是搜索空间的几何结构不同（连续空间、树结构、布尔超立方体）。真实世界的智能体任务往往涉及更复杂的操作序列、状态依赖的决策和多步规划，这些在本文的单步查询框架中没有被捕捉。改进方向是设计需要多步操作才能获得反馈的任务，例如让模型需要执行一个操作序列才能观察到中间结果。第二，干预方法的分析不够深入。并行化方法虽然有效，但作者没有分析最优的 $p$ 值与任务特性之间的关系；摘要方法中，作者没有对比不同类型摘要（如仅保留最佳解vs.包含反思性问题）的效果差异。改进方向是进行消融实验，隔离摘要中各个组成部分（历史记录、反思问题、未探索区域提示）各自的贡献。第三，模型的选择策略分析不够细致。作者只展示了整体性能和宏观行为模式，但没有深入分析模型在每一步的决策逻辑——例如模型是否真的在进行某种形式的探索，还是只是在随机查询。改进方向是对模型的reason字段进行内容分析，提取其策略意图并与实际行为对比。第四，所有实验都是在单个任务实例上进行的（除了附录中的少量额外实例），这使得结果可能对特定实例敏感。虽然附录E.4在50个随机实例上做了验证，但主文的核心结论仍然依赖于单实例结果。
未来方向
本文开启了多个值得探索的研究方向。首先，作者提出了但未深入解决的问题：什么样的模型架构或训练方法能改善探索行为？一种可能的方向是在强化学习训练中加入探索奖励（intrinsic motivation），鼓励模型在交互过程中保持对未知区域的好奇心。其次，本文发现的并行化收益暗示模型的单次推理存在某种系统性偏差，可以研究是否能通过修改解码策略（如温度调度、多样性采样）在单线程中模拟并行化的效果。第三，摘要方法的成功表明上下文管理对探索质量至关重要，可以研究更智能的上下文压缩方法，例如基于信息增益的自适应摘要。第四，可以将本文的评估框架扩展到更复杂的交互环境，如多轮工具调用、代码调试、科学实验设计等，以验证结论在真实世界场景中的适用性。第五，可以研究探索能力与模型其他能力（如推理、规划、记忆）之间的关系，以及探索能力是否能通过特定的微调或提示技术来提升。最后，可以将本文的理论框架（亚线性幂律成功概率模型）与实际的语言模型行为进行更紧密的对接，发展出能够预测模型在特定任务上探索效果的理论工具。
复现评估
本文的复现条件相对友好。代码已在GitHub开源（github.com/mahdi-jfri/explore-exploit-bench），任务实例的生成参数在附录中详细记录，包括HillSearch的山峰位置和宽度、TreeSearch的节点数和分支结构、MaxSatSearch的变量数和子句配置。三个任务都相对简单，可以用几十行Python代码实现，不需要复杂的基础设施。在算力方面，开源模型（Qwen2.5-7B、Qwen3-4B/8B）可以在单张消费级GPU上运行，但需要运行大量episode（每个模型-实例对至少40-100次）以获得统计稳健的结果，因此总体计算量不容忽视。API模型（GPT-5系列、Gemini）需要相应的API访问权限和费用。复现的主要挑战在于：需要严格控制解码参数（温度0.7，top-p 0.95）和错误处理逻辑（重试次数和策略），这些细节会影响结果的可比性。总体而言，复现难度中等偏低，适合有一定工程基础的研究团队在1-2周内完成。
论文图表
