OdysseyArena：面向长程、主动与归纳式交互的大语言模型基准测试

提出归纳式交互基准OdysseyArena，揭示LLM在自主发现隐藏规则方面的瓶颈

前置知识

归纳推理（Inductive Reasoning）

归纳推理是指智能体通过与环境的交互，从观察到的经验数据中自主发现隐藏的规则和转换动态。与演绎推理（根据已知规则执行任务）不同，归纳推理要求智能体主动探索、试错，并从反馈中提炼出潜在的规律。在本文中，归纳推理被形式化为智能体需要从交互序列中推断转移函数 $T$ 的功能形式，其中 $(s_{t+1}, r_t) = T(s_t, a_t)$，$s_t \in \mathcal{S}$ 是隐状态，$a_t \in \mathcal{A}$ 是智能体动作。

本文的核心论点就是现有基准测试忽略了归纳推理能力的评估，而这是实现自主智能体的关键能力。理解归纳推理与演绎推理的区别是理解本文贡献的基础。

长程交互（Long-Horizon Interaction）

长程交互指智能体需要在超过100步甚至200步以上的交互序列中保持策略的一致性和连贯性。在长程交互中，早期的决策错误会随时间累积，导致后期性能严重退化。本文定义了三个交互时长类别：短程（<50步）、长程（50-100步）和超长程（>100步），OdysseyArena的环境步数限制分别为200步（Turn On Lights）和120步（其他三个环境）。

现有基准测试大多将交互限制在50步以内，无法捕捉错误累积和长期规划一致性的挑战。本文通过超长程交互来测试智能体的持续推理能力。

状态转移函数（Transition Function）

状态转移函数 $T$ 是环境动态的核心数学表达，定义为 $(s_{t+1}, r_t) = T(s_t, a_t)$。在OdysseyArena中，$T$ 隐式编码了环境的规则和约束，智能体必须通过主动探索来发现 $T$ 的功能形式。本文将 $T$ 分解为四种结构原语：离散符号规则、连续随机动态、周期性时序模式和关系图结构，每种原语对应不同的认知需求。

状态转移函数的形式化定义是本文方法论的基础，四种结构原语的分解为系统性评估归纳推理能力提供了理论框架。

结构原语（Structural Primitives）

本文将环境动态的复杂性分解为四种正交的结构原语：(1) 离散符号规则，状态转移由N位布尔逻辑控制，$s \in \{0,1\}^N$；(2) 连续随机动态，系统在连续状态空间中演化，$s_{t+1} = f(s_t, a_t) + \epsilon$；(3) 周期性时序模式，转移函数具有周期 $P$ 的循环规律；(4) 关系图结构，环境由图 $G = (V, E)$ 定义，涉及实体间的非局部交互。每种原语产生不可化约的认知需求。

四种结构原语的分类确保了评估的全面性，每种原语测试智能体不同维度的归纳能力，从逻辑推演到关系抽象。

行动循环（Action Loops）

行动循环是指智能体在接收到负向环境反馈后，仍然重复执行无效操作的行为模式。本文发现行动循环比率与任务成功率呈负相关，这是归纳停滞（Inductive Stagnation）的表现。智能体未能从失败的试错中合成潜在的世界规律来调整长期策略，导致在交互过程中陷入无效行为的循环。

行动循环是本文识别的关键失败模式之一，揭示了当前LLM在归纳推理中的根本缺陷——无法从经验中学习和适应。

研究动机

当前LLM智能体评估主要采用演绎范式，即智能体基于显式提供的规则和静态目标执行任务，通常在有限的规划时域内进行。具体而言，大多数现有基准测试如GAIA、WebArena、OSWorld等，将交互限制在50步以内（短程），忽略了长程交互中的错误累积和规划一致性衰减问题。此外，许多现有协议通过提供详细的API文档或黄金指令绕过了探索性要求，这意味着智能体不需要主动发现环境规则。更关键的是，这些基准测试评估的是演绎推理能力——遵循已知规则完成任务，而非归纳推理能力——从交互经验中自主发现隐藏规则。如Table 1所示，BabyAI和ALFWorld虽然支持归纳推理，但前者需要模拟器部署，后者的交互时长仅限于短程。这种评估范式的缺失限制了对智能体在复杂环境中自主发现能力的评估。

本文的目标是本文旨在建立一个全新的智能体评估范式，将重心从演绎式指令跟随转移到长程、主动和归纳式建模。具体目标包括：(1) 形式化和实例化四种结构原语，将抽象的转移动态转化为具体的交互环境；(2) 建立OdysseyArena-Lite作为标准化基准测试，提供120个任务来测量智能体的归纳效率和长程发现能力；(3) 释放OdysseyArena-Challenge作为压力测试套件，包含每个任务超过1000步的极端交互时域，用于探测智能体在超长程交互中的持久性和推理稳定性；(4) 通过15+领先LLM的广泛实验，识别自主发现中的关键瓶颈。

与已有工作不同的是，本文的独特切入角度在于三个方面。首先，它将评估重心从演绎式规则遵循转移到归纳式规则发现，要求智能体通过试错和观察来推断环境的隐藏动态，而非简单地应用已知规则。其次，它强调长程交互的重要性，现有基准的50步限制无法捕捉错误累积和长期规划一致性的挑战，而OdysseyArena将交互时域扩展到200步甚至1000步以上。第三，它通过四种结构原语的分解，系统性地覆盖了从离散逻辑到关系推理的完整认知谱系，确保评估的全面性和不可化约性。这种范式转变与世界模型的概念相一致，但对未来的智能体智能提出了更高阶的符号挑战。

核心方法

OdysseyArena的核心思路是将智能体评估从演绎式任务执行转移到归纳式世界发现。直觉上，真正的智能不仅在于遵循已知规则，更在于从经验中发现未知规则。技术路线如下：首先，将环境动态形式化为生成式状态转移过程 $(s_{t+1}, r_t) = T(s_t, a_t)$，其中 $T$ 隐式编码环境规则；其次，将 $T$ 的复杂性分解为四种正交的结构原语——离散符号规则、连续随机动态、周期性时序模式和关系图结构；然后，将这些抽象原语实例化为四个具体的交互环境——Turn On Lights、AI Trading、Energy Dispatch和Repo System；最后，通过参数化采样构建两个基准测试套件：OdysseyArena-Lite（120个任务，适合高效评估）和OdysseyArena-Challenge（1000+步任务，用于压力测试）。

本文的核心创新点在于提出归纳式评估范式，这与现有方法有本质区别。现有基准如WebArena、GAIA等评估的是演绎能力——智能体根据提供的规则执行任务；而OdysseyArena评估的是归纳能力——智能体必须从交互经验中自主发现隐藏的规则。具体而言，在Turn On Lights环境中，智能体需要通过试错来推断灯之间的布尔耦合逻辑；在AI Trading中，需要从噪声观测中识别潜在的因子加载矩阵 $W$；在Energy Dispatch中，需要发现风能和太阳能效率的周期性模式；在Repo System中，需要推断隐藏的包依赖图 $G = (V, E)$。这种归纳式评估要求智能体具备主动探索、假设检验和从失败中学习的能力，而非被动地遵循指令。此外，通过将交互时域扩展到200-1000步，本文捕捉了现有基准忽略的错误累积和规划一致性衰减问题。

方法步骤详情

OdysseyArena的方法实现分为四个关键步骤。第一步是环境配置初始化：手动设计环境配置文件，控制难度参数（如逻辑依赖深度、因子数量、包依赖复杂度等），支持自动验证任务的可解性。第二步是任务生成：通过参数化采样从有界参数分布中生成确定性实例，包括结构配置（初始化不变的隐藏规则）和时序轨迹（预计算所有时变因素以消除随机性），确保公平比较。第三步是API化环境接口：提供init()、step()和eval()三个标准接口，智能体在每个时间步执行动作后获得观测和奖励，环境自动检查是否达到终止条件。第四步是智能体-环境交互循环：LLM智能体基于工作记忆（历史动作和环境反馈）生成思考和动作，环境返回新的观测，循环持续直到任务成功、失败或达到步数限制。在OdysseyArena-Lite中，每个环境采样30个任务，最大步数限制分别为200（Turn On Lights）和120（其他三个环境），每个测试用例执行4次报告Avg@4和Pass@4成功率。

技术新颖性

OdysseyArena的技术新颖性体现在多个层面。首先，在评估范式上，它是首个系统性评估LLM智能体归纳推理能力的基准，将评估重心从演绎式遵循转移到归纳式发现，这是对现有评估框架的根本性超越。其次，在方法论上，本文将环境动态形式化为状态转移函数 $T$，并通过四种结构原语的正交分解，建立了从抽象数学到具体环境的映射框架，这种系统化的分解确保了评估的全面性和不可化约性。第三，在工程实现上，本文通过预计算所有时变因素（如股票因子、效率曲线、依赖图）来消除环境随机性，确保不同智能体在完全相同的条件下进行公平比较。第四，在基准设计上，本文提供了两个互补的评估套件：OdysseyArena-Lite（120个任务，适合高效迭代）和OdysseyArena-Challenge（1000+步，用于压力测试），这种双层设计平衡了评估效率和深度。

**Figure 2**: Demonstrations of four OdysseyArena environments: Turn On Lights, AI Trading, Energy Dispatch, and Repo System

**Figure 3**: Overview of the benchmark architecture, illustrating the environment configuration initialization and the interaction loop between the LLM agent and the environment step logic

实验结果

本文对15+领先LLM进行了广泛实验，揭示了多项关键发现。首先，人类表现与LLM之间存在显著差距：在Turn On Lights环境中，人类成功率为81.67%（Avg@4）和100%（Pass@4），而最佳LLM（Gemini 3 Pro Preview）仅为44.17%和76.67%；在AI Trading中，人类利润率为+92.55%，而最佳LLM为+67.71%；在Repo System中，人类成功率为77.50%（Avg@4）和100%（Pass@4），最佳LLM为65.83%和80.00%。其次，商业模型持续优于开源模型，Gemini 3 Pro Preview在大多数环境中取得最高分，GPT-5和Gemini 2.5 Pro紧随其后。第三，即使是前沿商业模型也普遍远低于人类水平，特别是在Energy Dispatch环境中，所有LLM的成功率均为0%（除Gemini 3 Pro Preview的30%和GPT-5的23.33%），揭示了周期性模式发现的根本性瓶颈。第四，当提供显式规则时（Figure 4），前沿模型能取得接近完美的成功率，证明主要瓶颈在于归纳发现而非任务逻辑复杂性。第五，分析47个Gemini 3 Pro Preview的失败轨迹（Table 3）发现：探索限制是最常见的失败模式（80.85%），其次是记忆约束（57.45%）和行为停滞（27.66%），而规划能力不足仅占4.26%，说明高层规划不是主要瓶颈。

**Table 1**: Comparison of representative multi-turn agentic benchmarks

**Table 2**: Performance comparison on four environments

**Table 3**: Failure mode of 47 failed trajectories from Gemini 3 Pro Preview

**Figure 4**: Success rate comparison of w/ and w/o rules in Turn On Lights

**Figure 5**: Success Rate against step in two environments

**Figure 6**: Model performance is significantly related to loop ratio

查看结构化数据

任务	指标	本文	基线	提升
Turn On Lights（离散符号规则推理）	Avg@4 成功率	Gemini 3 Pro Preview: 44.17%	人类: 81.67%	最佳LLM仍低于人类37.5个百分点
AI Trading（连续随机动态推理）	Avg@4 利润率	Gemini 3 Pro Preview: +67.71%	人类: +92.55%	最佳LLM利润率约为人类的73%
Energy Dispatch（周期性时序模式推理）	Avg@4 成功率	Gemini 3 Pro Preview: 30.00%	人类: 25.00%	唯一LLM超越人类的环境，但Pass@4人类60%远超LLM的36.67%
Repo System（关系图结构推理）	Avg@4 成功率	Gemini 3 Pro Preview: 65.83%	人类: 77.50%	最佳LLM低于人类约12个百分点

局限与改进

本文存在多个层面的局限性。首先，在环境覆盖范围上，虽然四种结构原语覆盖了从离散逻辑到关系推理的基本谱系，但仍无法完全代表现实世界任务的全部复杂性，例如缺少涉及自然语言理解、多模态感知或真实物理交互的环境。其次，在评估指标上，本文主要使用二元成功率和利润率，未能深入分析智能体的学习效率（如达到成功所需的交互步数）和策略质量（如决策的可解释性）。第三，在失败模式分析上，仅对Gemini 3 Pro Preview的47个失败轨迹进行了人工分析，样本量有限且可能存在主观偏差，未能建立系统化的自动失败诊断框架。第四，在智能体架构上，本文仅评估了纯LLM智能体，未探索工具增强、记忆机制或多智能体协作等架构改进对归纳推理能力的影响。第五，在公平性方面，虽然通过预计算时变因素消除了环境随机性，但不同LLM的上下文窗口长度和推理效率差异可能影响长程交互中的表现比较。此外，作者也指出，OdysseyArena-Challenge由于计算成本过高未用于主要评估，这限制了对超长程场景下智能体表现的全面理解。

独立分析的弱点

本文存在几个值得深入分析的弱点。首先，环境设计的复杂度控制问题：四种环境虽然覆盖了不同的结构原语，但每个环境的参数空间相对有限（如Turn On Lights的灯数量、AI Trading的股票数量），可能无法充分测试智能体在更高维度状态空间中的归纳能力，改进方向是增加环境参数的动态范围和组合复杂度。其次，任务生成的多样性不足：每个环境仅采样30个任务用于OdysseyArena-Lite，样本量可能不足以可靠地估计模型的真实性能分布，改进方向是增加任务数量并引入任务难度的连续谱。第三，交互效率评估缺失：本文仅关注最终成功率，未分析智能体在达到成功前的交互效率（如平均所需步数、探索策略的系统性），改进方向是引入效率指标如Area Under the Success-Step Curve。第四，归纳推理的可解释性分析不足：虽然发现了行动循环等失败模式，但未深入分析智能体的内部推理过程（如假设生成、规则验证），改进方向是引入推理轨迹的细粒度标注和分析工具。第五，跨环境迁移能力未评估：智能体在一种环境中发现的归纳策略是否能迁移到其他环境，这反映了更深层次的元学习能力，改进方向是设计跨环境的任务序列来测试迁移学习。

未来方向

本文为未来研究指明了多个重要方向。首先，作者提出应优先发展能够从原始经验中提炼潜在转移规律的架构，这可能涉及引入归纳偏置（如因果推理模块、符号规则学习器）来增强LLM的归纳能力。其次，结合本文发现的失败模式，未来工作可以探索记忆增强机制来解决记忆约束问题（57.45%的失败轨迹），如引入外部记忆库或注意力机制来检索关键历史信息。第三，针对探索限制（80.85%的失败），可以设计主动探索策略如好奇心驱动的探索或基于信息增益的假设检验。第四，将OdysseyArena扩展到多模态环境，测试视觉-语言模型在涉及图像、视频或物理交互的归纳推理任务中的表现。第五，探索强化学习与LLM的结合，利用RL的试错学习能力来弥补LLM在归纳推理中的不足。第六，基于本文的结构原语框架，可以设计更多环境来覆盖其他认知能力，如因果推理、反事实推理或社会推理。最后，研究元归纳能力——即智能体学习如何归纳的能力——可能为构建更通用的自主智能体提供关键突破。

复现评估

本文在可复现性方面做出了较好的努力。代码和数据方面，作者声称提供了OdysseyArena的完整实现，包括四个环境的代码、任务配置文件和评估脚本，这使得其他研究者可以复现实验结果。数据方面，OdysseyArena-Lite包含120个固定任务（每个环境30个），任务配置通过预计算确定性实例来消除随机性，确保了跨运行的一致性。算力要求方面，由于每个测试用例执行4次且交互步数可达200步，对LLM的API调用成本较高，特别是对于商业模型。此外，OdysseyArena-Challenge包含1000+步的任务，计算成本显著增加，这可能限制了小型研究团队的复现能力。环境部署方面，所有环境均基于API部署，无需复杂的模拟器或Docker容器，降低了部署难度。潜在的复现挑战包括：LLM的版本更新可能导致结果不一致（如GPT-5、Gemini 3 Pro Preview等模型可能随时间更新），以及不同硬件环境下API调用延迟的差异可能影响长程交互的时序特性。总体而言，本文的开源程度和确定性任务设计为可复现性提供了良好基础。

OdysseyArena：面向长程、主动与归纳式交互的大语言模型基准测试 OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions