EcoGym：面向交互式经济体中LLM长程规划-执行能力的评估基准 EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies
三场景经济环境基准，揭示LLM长程决策中无单一模型全面占优的系统性瓶颈
前置知识
长程规划（Long-Horizon Planning）
长程规划是指智能体在连续、非终止的交互序列中制定并执行跨越数百甚至数千时间步的策略。与短程任务不同，长程规划要求智能体维持跨步决策的一致性，平衡短期收益与长期累积回报，并在环境动态变化时持续调整策略。在LLM Agent语境下，这意味着模型需要在超长上下文中保持对历史状态、已执行动作和环境反馈的追踪与推理能力。
本文的核心评测对象正是LLM在1000+步经济场景中的规划能力，理解该概念是理解EcoGym设计理念和实验结论的前提。
部分可观测马尔可夫决策过程（POMDP）
POMDP是建模序贯决策问题的标准框架，形式化为元组 $\langle S, A, O, T, G \rangle$，其中 $S$ 为状态空间，$A$ 为动作空间，$O$ 为观测空间，$T$ 为状态转移函数 $T(s_{t+1} | s_t, a_t)$，$G$ 为语义目标。与完全可观测MDP不同，智能体仅能通过观测 $o_t \in O$ 间接推断真实状态 $s_t$。EcoGym中三个环境均遵循此范式：智能体只能观测到部分系统信息（如Vending中的隐藏市场参数 $\Theta_{\text{market}}$），而无法直接获知完整的环境状态。
EcoGym的形式化建模直接基于POMDP，理解该框架有助于把握实验设计中部分可观测性和隐藏机制的数学含义。
弹性对数模型（Elastic Logit Model）
弹性对数模型是经济学中用于刻画消费者需求对价格敏感度的经典模型。在EcoGym的Vending环境中，商品的实现销量由该模型驱动，综合考虑隐藏的季节性曲线 $\phi$ 和价格弹性 $\eta$ 两个隐藏参数。模型输出的需求量会随价格调整而非线性变化，模拟真实零售市场中价格-需求的复杂映射关系。
该模型是Vending环境的核心动力学机制，理解它才能理解为什么定价策略对净收益有非线性影响，以及为什么智能体需要通过探索来发现隐藏的市场参数。
零吸引子动力学（Zero-Attractor Dynamics）
这是EcoGym Operation环境的核心特征：在没有智能体干预的情况下，系统中的用户活跃度（DAU）会自然衰减至零。这种设计模拟了数字平台中用户流失的现实场景——内容质量下降导致用户离开，用户减少又反过来降低创作者活跃度，形成负反馈循环。智能体必须持续执行干预动作来对抗这种自然衰减趋势。
该动力学特性决定了Operation环境的难度上限：智能体不能简单地设置一次策略后放任不管，而必须在每个时间步做出有策略意义的决策。
上下文窗口滑动机制（Sliding Context Window）
在长程交互中，LLM的上下文长度有限，无法容纳全部历史交互。EcoGym采用滑动窗口策略，默认保留最近128步的交互记录作为上下文输入模型。这意味着智能体对早期历史的记忆会被逐渐遗忘，需要依赖策略层面的压缩或外部记忆机制来维持长期一致性。
论文专门设计了上下文窗口长度的消融实验（32k到1024k），直接验证了该机制对模型性能的显著影响，是理解长程规划瓶颈的关键。
研究动机
现有LLM长程规划评测框架存在三大系统性缺陷。首先，主流基准如ALFWorld、WebArena等采用短程、情景式（episodic）任务设计，交互序列通常仅几十步，无法暴露智能体在持续决策中的策略退化和状态追踪失败问题。其次，即便引入经济场景的评测如GDPval和Vending Bench，也局限于狭窄的单一领域——Vending Bench仅覆盖零售自动售货场景，且采用闭源评测协议，社区无法复现和扩展。第三，现有经济仿真环境要么局限于微观层面（如HeroBench的RPG风格资源管理），要么停留在宏观层面（如EconAgent的人口规模模拟），缺乏覆盖多种真实商业场景、统一接口、理论上无限时间跨度的开放式评测框架。Vending Bench在原始论文中已揭示模型在长期运行中出现的显著方差问题，但其闭源特性阻碍了深入分析。
本文的目标是本文旨在构建一个开源、可扩展、覆盖多经济场景的长程规划基准框架EcoGym，系统性地评估LLM智能体在持续交互经济体中的决策能力。具体目标包括三个层面：第一，设计理论无限时间跨度（1000+步，365天循环）的评测环境，将长程战略连贯性、稳定性和累积优化能力作为一等评测目标；第二，选择三种广泛存在的经济场景（零售、零工经济、平台运营）作为测试平台，建立基于经济回报（而非虚拟奖励）的结果导向评估范式；第三，对前沿LLM进行全面的实证分析，揭示当前模型在长程经济决策中的系统性瓶颈。
与已有工作不同的是，EcoGym的独特切入角度体现在三个设计原则上。第一，'简单动作空间+无界长程规划'：与依赖高维复杂动作空间的基准不同，EcoGym将每个环境的动作集限制在4-5个原子操作（如市场探索、库存采购、价格调整），但交互时间跨度理论上无限，从而将评估焦点从动作复杂度转移到长期战略规划能力。第二，'经济环境作为评估场域'：不同于代码生成或推理任务，EcoGym用日度经济指标（净收益、收入、日活用户）量化智能体行为的实际经济影响。第三，'隐藏机制的探索发现'：环境中存在未在提示中披露的隐含动力学参数（如Vending的季节性曲线和价格弹性、Operation的系统衰减系数），强制智能体从被动执行转向主动假设检验和因果发现，这一设计在现有基准中极为罕见。
核心方法
EcoGym的整体技术路线可以概括为统一POMDP框架下的多场景经济仿真。直觉上，论文的核心洞察是：真正考验LLM规划能力的不是单个复杂动作的正确性，而是在数千步连续决策中维持策略连贯性的能力。为此，EcoGym将三种截然不同的经济场景——零售管理、零工经济、平台运营——抽象为统一的决策过程 $\langle S, A, O, T, G \rangle$，每个环境共享标准化的接口设计：智能体接收结构化观测、从离散动作集中选择动作、获得即时反馈和日度报告。三个环境的关键差异在于隐藏状态的性质和目标函数的定义：Vending追求净收益最大化（$\text{Net Worth} = \text{现金} + \text{库存价值} + \text{待交付订单价值}$），Freelance追求收入最大化，Operation追求日活用户均值最大化（$\text{DAU}_{\text{avg}}$）。这种统一架构使得跨场景的模型比较变得直接而公平。
EcoGym与已有方法的本质区别在于三个层面的设计创新。第一，在时间维度上，EcoGym实现了理论无限地平线——环境以365天为一个评测周期，每天包含4-5次决策机会，总计约1500-2000步交互，且不设预定义终止状态，智能体必须自行判断何时从探索转向利用。第二，在信息设计上，EcoGym引入隐藏市场力学机制：Vending中的需求由弹性对数模型驱动，包含隐藏的季节性参数 $\phi$ 和价格弹性 $\eta$；Operation中内容质量、用户参与度和日活之间的数学关系完全隐含，智能体必须通过交互反馈逆向推导这些动力学规律。这种从被动执行到主动因果发现的范式转换是以往基准所不具备的。第三，在评估维度上，EcoGym不仅关注最终经济指标，还设计了8项诊断实验——涵盖上下文长度、记忆模块、思维链、环境复杂度、人类基线等——提供多维度的模型能力画像。
方法步骤详情
EcoGym的实施分为环境构建、数据收集、模型评测三个阶段。环境构建阶段，三个场景共享统一的决策接口：每个时间步，智能体接收观测 $o_t$，选择动作 $a_t$，环境根据转移函数 $T$ 更新状态并返回反馈。Vending环境的状态空间 $S_t = \{M_t, D_t, Q_t, W_t, P_t, O_t, H_t, \Theta_{\text{market}}\}$ 跟踪现金、日期、库存、批发成本、零售价格、待交付订单和隐藏市场参数；Freelance的状态 $S_t = \{M_t, E_t, St_t, Sk_t, T_t, \tau_{\text{burnout}}\}$ 跟踪金钱、能量、压力、技能、任务池和隐藏的过劳阈值；Operation的状态 $S_t = \{DAU_t, Vol_t, Qual_t, Act_t, Eng_t, \Phi_{\text{sys}}\}$ 跟踪用户数、内容量、质量、活跃度、参与度和隐藏系统系数。数据收集阶段，Vending的产品信息通过Perplexity查询获取并参考Vending Bench；Freelance从LiveCodeBench、SWE-bench、GSM8K等8个跨域数据集中聚合任务，经难度筛选、策略路由（场景注入或逻辑变异）和可解性验证后注入数据库；Operation的系统参数由LLM合成。评测阶段，所有模型统一使用Temperature=1.0、Top-p=0.95的生成参数，最大评测天数365天，上下文窗口限制为最近128步的滑动窗口，Vending运行5次取平均，Freelance和Operation运行3次。
技术新颖性
EcoGym的技术新颖性体现在多个维度。首先，在基准设计层面，它是首个将理论无限时间跨度、隐藏市场力学和统一多场景接口结合的开源评测框架，突破了Vending Bench的闭源限制和单一场景局限。其次，在环境动力学层面，三个环境各具特色的隐藏机制设计极为精巧：Vending的弹性对数需求模型和季节性曲线模拟了真实零售市场的非线性供需关系；Freelance的生理反馈死亡螺旋（压力超过阈值时的级联失败）和任务衰减机制考验了资源管理的鲁棒性；Operation的零吸引子动力学和耦合子过程（用户留存、供给生产、质量熵增）模拟了数字平台的多维治理挑战。第三，在分析方法层面，论文不仅报告性能指标，还设计了8项深度诊断实验——包括随机稳定性分析、上下文长度消融、失败模式的差分轨迹分析、人类基线对比、4种记忆架构的系统消融等——这种基准加诊断的双层评测范式为社区提供了远超排行榜数字的深度洞察。
实验结果
论文对11个前沿LLM进行了全面评测，揭示了几个关键发现。首先，没有任何单一模型在三个场景中全面占优：Gemini-3-Pro在Vending中以11272.47的净收益大幅领先（第二名Gemini-3-Flash为5675.65），在Freelance中以2696.58的收入同样领先；但Claude-Sonnet-4.5在Operation中以1595.00的DAU超越所有竞争对手，甚至超过了人类专家基线（DAU=1404）。其次，随机稳定性分析显示Vending环境具有高方差特性（同一模型5次运行的标准差高达数百），而Freelance和Operation的运行间方差相对较小。第三，上下文窗口长度实验显示扩展上下文并不一致带来性能提升：Gemini-3-Flash在32k到1024k的上下文长度间表现出波动轨迹（从32k提升后在中间长度下降，在1024k又显著回升至1511.08），而Gemini-3-Pro在128k达到峰值1396.00后随窗口扩展性能逐步退化，暴露了当前模型处理超长上下文时的显著不稳定性。第四，失败模式分析揭示性能差距主要源于两个能力维度——战略优先级判断（优秀模型能更准确地识别目标变量的主导因素，如Claude-Sonnet-4.5在Operation中优先追求规模643项内容0.566质量而非精细化326项0.762质量）和执行效率（优秀模型有更少的无效动作和冗余循环）。第五，记忆模块消融显示没有单一记忆范式占主导地位：Gemini-3-Flash在所有基准上一致偏好工作记忆（从5676提升至10099），而Gemini-3-Pro在不同环境中需要不同类型的记忆架构（在Freelance中情景记忆从11282提升至18939）。第六，思维链模式（Thinking mode）在Operation环境中为两个模型均带来了显著性能提升，Gemini-3-Flash的DAU从1194.00提升至1396.00，有效缩小了Flash与Pro之间的差距。第七，环境复杂度实验显示不同模型的扩展行为分化：Gemini-3-Flash的利润随SKU数量增加而正向扩展（Small 3512.47到Large 5675.65），而Gemini-3-Pro在Medium和Large设置中停滞不前（Medium 12187.34到Large 11272.47），暴露了当前模型在高维规划任务中的脆弱性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Vending（零售管理，净收益最大化） | Net Worth（净收益） | Gemini-3-Pro: 11272.47 +/- 1037.27; Claude-Sonnet-4.5: 1843.62 +/- 329.46 | Gemini-3-Flash: 5675.65 +/- 633.67; DeepSeek-v3.2: 2125.18 +/- 411.28; GLM-5: 933.21 +/- 306.64 | Gemini-3-Pro相比第二名Gemini-3-Flash提升98.6%，相比Claude-Sonnet-4.5提升511.7% |
| Freelance（零工经济，收入最大化） | Income（收入） | Gemini-3-Pro: 2696.58 +/- 229.97; Gemini-3-Flash: 1815.95 +/- 569.40 | GPT-5.2: 1434.26 +/- 165.63; Kimi-K2.6: 1072.06 +/- 187.96; Claude-Sonnet-4.5: 241.75 +/- 374.41 | Gemini-3-Pro相比第二名Gemini-3-Flash提升48.5%，Claude-Sonnet-4.5在该场景表现最差（仅241.75） |
| Operation（平台运营，DAU最大化） | DAU（日活用户均值） | Claude-Sonnet-4.5: 1595.00 +/- 70.77; Gemini-3-Pro: 1396.00 +/- 53.73 | 人类专家基线: 1404; DeepSeek-v3.2: 1210.33 +/- 218.57; GLM-5: 1271.67 +/- 195.71 | Claude-Sonnet-4.5超越人类专家基线13.6%，相比第二名Gemini-3-Pro提升14.3% |
局限与改进
论文自身承认了若干局限性。第一，当前框架依赖基于规则的抽象来建模经济动力学，可能无法完全捕捉现实中非理性人类行为的不可预测性——真实经济系统中存在恐慌、跟风、信息不对称等复杂社会心理因素，这些在当前仿真中被大幅简化。第二，研究聚焦于单智能体与环境的交互，尚未引入多智能体博弈动态，而在真实市场中竞争者和合作者的存在会根本性地改变决策问题的性质。第三，Freelance环境中的审计者（Auditor）本质上是另一个LLM，这引入了LLM评判LLM的元评测问题，可能隐含对特定模型的偏好偏差。从独立观察来看，EcoGym的三个环境虽然多样化，但仍局限于个体经营者和平台运营者的视角，缺少B2B供应链、金融市场等更宏观的经济场景；此外，当前评测仅限365天（约1500-2000步），距离真正的无限地平线仍有距离；模型选择上虽然覆盖了11个前沿LLM，但缺少对开源小模型（如7B、13B参数级别）的系统评测，限制了对模型规模与长程规划能力关系的分析。
独立分析的弱点
尽管EcoGym在基准设计上做出了重要贡献，但仍存在若干可改进的弱点。第一，环境动力学的真实性有限：三个环境的经济模型都是高度简化的抽象，例如Vending的需求模型仅包含季节性和价格弹性两个隐藏参数，缺乏供应链中断、竞争对手定价、消费者偏好漂移等现实扰动因素，可能导致模型在仿真中表现良好但在真实部署中表现退化。改进建议是引入更丰富的随机扰动源和黑天鹅事件机制。第二，动作空间过于简单（每环境仅4-5个原子操作），虽然这是论文有意为之的设计选择，但也意味着智能体的策略空间受限，可能低估了模型在更复杂动作组合中的规划能力。未来可考虑引入分层动作空间（宏动作加微动作）来平衡规划难度和表达能力。第三，人类基线仅在Operation环境中收集（3名专家，45分钟每轮次），Vending和Freelance因时间成本过高而未测试人类表现，这使得跨场景的人机比较不完整。建议开发更高效的并行交互界面或缩短单轮评测时间。第四，评测的随机性分析不够深入：虽然论文报告了5次和3次运行的均值和标准差，但未提供置信区间、统计显著性检验或性能分布的更完整刻画。
未来方向
作者在结论中指出了几个关键的未来方向。第一，引入多智能体博弈动态是最重要的扩展方向——当前EcoGym仅评估单智能体与环境的交互，而真实市场中的竞争、合作和信息博弈会显著增加规划的复杂度。具体而言，可以在Vending中引入竞争对手的动态定价、在Freelance中模拟劳动力市场的竞价机制、在Operation中建模多个平台的竞争。第二，改进环境动力学以更接近真实世界的不可预测性，包括引入非理性行为、信息不对称和突发外部冲击。基于EcoGym的现有成果，还可以延伸以下研究方向：（1）系统性研究模型规模与长程规划能力的缩放定律，测试不同参数量级的模型家族；（2）设计自适应记忆架构，使智能体能够根据任务阶段自动选择记忆类型，而非当前消融实验中手动指定；（3）将EcoGym作为训练信号源，通过强化学习微调LLM的长程规划能力；（4）引入真实世界的经济数据流作为环境输入，构建混合仿真-真实环境。
复现评估
EcoGym在可复现性方面做出了显著努力。论文承诺将Vending环境（原Vending Bench的闭源实现）完全开源，这是对该领域的重要贡献。代码仓库已在GitHub公开（https://github.com/OPPO-PersonalAI/EcoGym），提供了标准化的环境接口和评测脚本。Freelance环境的数据收集管道也具有可复现性：从LiveCodeBench、SWE-bench、GSM8K等8个公开数据集聚合原始任务，经难度筛选和策略路由后注入数据库，整个流程有详细的描述。然而，完全复现存在一些挑战：（1）模型评测依赖对11个商业和开源LLM的API调用，成本较高——仅Vending环境的5次运行就需要大量token消耗；（2）Freelance环境中的LLM审计者使用了特定版本的模型，换用其他版本可能导致不同的评测结果；（3）Operation环境的隐藏系统参数由LLM合成，论文未说明合成时使用的种子或prompt，可能导致不同复现者得到略有差异的环境配置。总体而言，EcoGym的开源程度在同类基准中属于较高水平，但完整的实验复现需要显著的计算资源和API成本。
论文图表
