← 返回 2026-06-04

思想的经济:以经济交互涌现的多智能体智能 Economy of Minds: Emerging Multi-Agent Intelligence with Economic Interactions

Zhenting Qi, Huangyuan Su, Ao Qu, Chenyu Wang, Yu Yao, Han Zheng, Kushal Chattopadhyay, Guowei Xu, Zihan Wang, Weirui Ye, Vijay Janapa Reddi, Ju Li, Paul Pu Liang, Himabindu Lakkaraju, Sham Kakade, Yilun Du 📅 2026-06-01 👍 8 2026-07-13 08:36
LLM智能体 去中心化协调 哈耶克市场理论 多智能体系统 强化学习 经济机制设计

用拍卖竞争与财富积累让弱智能体自组织成强群体智能

前置知识

部分可观测马尔可夫决策过程 (POMDP)

用元组 $E=(S,A,P,r,\gamma,\mu_0)$ 描述的序贯决策环境,含状态空间$S$、动作$A$、转移核$P(s'|s,a)$、奖励$r$、折扣$\gamma$和初始分布$\mu_0$;智能体只能观测$o_t$而非真实状态$s_t$。本文把每个任务建模为POMDP。

本文把任务环境形式化为POMDP,所有拍卖、动作选择、桶式接力信用分配都建立在状态转移与奖励之上,看懂这套数学框架才能理解经济机制如何嵌入决策过程。

桶式接力与哈耶克机器 (Bucket-brigade & Hayek Machine)

Baum提出的信用分配机制:智能体获胜后把出价付给上一个活跃智能体,自己再收取环境奖励,使价值沿成功轨迹反向流动,无需全局标注。哈耶克机器用经济压力决定哪些'例程'行动、如何连接、如何更新。

EOM的核心创新正是把哈耶克机器从手工条件-动作规则推广到基于LLM的谓词与策略,理解这一机制才能看懂为何财富增减能替代监督。

LLM智能体 (LLM Agent)

以大语言模型为'大脑'的智能体,通过系统提示词定义角色,能推理、调用工具、在数字/具身环境中行动。本文中所有智能体共享一个冻结的LLM骨干,多样性完全来自提示词$p_a=(p^{trig}_a, p^{act}_a)$。

EOM的所有智能体都是冻结骨干LLM加不同提示词的实例,理解'同骨干不同提示'的设定是理解后续提示词空间演化的前提。

拍卖与市场选择 (Auction & Market Selection)

拍卖是一种去中心化资源分配机制:合格智能体各报一个出价$b_a$,最高出价者赢得行动权。市场选择指财富积累者存活并被变异、破产者被淘汰,类似自然选择但由经济信号驱动,无需显式标签。

拍卖是EOM规划阶段的行动选择机制,市场选择是适应阶段的种群演化机制,二者构成全文方法的两根支柱。

研究动机

现有的多智能体系统普遍依赖一个中央编排器来创建智能体、分配专长、协调动作。这种集中式架构存在两个根本性局限。第一,规划被卡在单一协调瓶颈上:所有信息和决策都必须流经编排器,既造成性能瓶颈,又是单点故障来源。第二,随着系统规模增长,学习和适应变得愈发低效——编排器必须推理和管理不断膨胀的智能体集合,协调复杂度随系统规模线性增长。同时,单个基于大模型的智能体受限于有限上下文长度、部分知识、有限推理预算和受限的工具访问,难以独自端到端完成复杂的组合式任务。在数学推理、金融研究、科学研究和加速器设计等任务中,精心设计的单智能体往往引入阻碍通用性的归纳偏置。这促使作者思考:能否不设计更好的中央控制器,而让一群智能体自发形成去中心化智能。

本文的目标是本文的具体目标是构建一个去中心化多智能体框架,让一群原本能力受限的'部分智能体'(partial agent)仅凭局部信息和经济激励,就能自发编排、自我进化,形成超越任何单个'完整智能体'的集体智能。作者希望证明:无需全局感知、显式协调协议、人工设计的拓扑或预定义通信流程,仅靠拍卖竞争、点对点交易和基于财富的选择,就能诱导出信用分配、分工与协作。目标是在五个差异极大的任务域上——数学推理(MATH)、金融研究(Finance-Agent-Bench)、科学研究(FrontierScience)、加速器设计(GEMMINI)和分布式系统优化(Cloudcast)——验证经济组织能否让弱个体组合成强系统,并超越具备完整接口访问的强基线。

与已有工作不同的是,本文的独特切入角度是把经济学理论——尤其是哈耶克《知识在社会中的运用》中关于价格系统聚合分散知识、实现去中心化协调的洞见——以及Baum的'哈耶克机器',直接嫁接到现代大模型智能体上。与主流多智能体工作(如编排器驱动、显式通信、多智能体辩论)不同,作者不工程化协调机制,而是设计激励结构让协调自然涌现。关键区别在于:智能体完全局部运作,只需'唤醒条件'和'动作';全局智能纯粹由经济信号(财富增减)塑造。这把哈耶克机器从手工的'条件-动作'规则推广到基于模型的谓词和策略,填补了'用市场机制驱动LLM智能体群体进化'这一空白。

核心方法

Economy of Minds (EOM) 的整体思路是:把智能体社会建模成一个经济系统,包含两个耦合过程。其一是规划(planning):在单个任务episode内,智能体通过拍卖竞争'行动权',胜者执行动作、按其出价向上一个活跃智能体付款,并收集环境奖励——这正是'桶式接力'(bucket-brigade)信用分配,让价值沿成功轨迹反向流动。其二是适应(adaptation):跨episode的群体演化通过经济选择完成——每个智能体定期交租金,财富转负者破产删除,富有的智能体作为父代被变异(开发),破产者被新变异补充(探索)。直觉上,市场价格系统聚合分散信息、协调个体;技术路线上,智能体共享一个冻结的LLM骨干,多样性完全来自系统提示词,演化只发生在提示词空间。

核心创新点是用'简单的经济激励'替代'工程化的协调',从而在冻结骨干上涌现出多步推理和分工。与已有方法的本质区别有三:第一,控制权不是由中央策略分配,而是由拍卖中标者获得 $a^*_t = \arg\max_{a \in E_t} b_a$,出价是引入时冻结的常量而非在线学习。第二,信用分配无需全局标注,桶式接力 $W_{a^*_t} \leftarrow W_{a^*_t} - b_{a^*_t} + r_t$、$W_{a^*_{t-1}} \leftarrow W_{a^*_{t-1}} + b_{a^*_t}$ 让奖励沿轨迹反传。第三,群体进化完全由财富信号驱动:富者存活并变异、穷者破产被替换,无需监督。'新手规则' $b_{a'} = \max_{a \in C_t} b_a + \varepsilon_{a'}$ 保证新智能体至少赢一次拍卖,强制市场检验。

方法步骤详情

步骤如下。输入:任务流、初始部分智能体种群 $P_e$ (各含触发谓词 $\phi_a$、策略 $\pi_a$、冻结出价 $b_a$、财富 $W_a$)、提示生成算子 $G$、租金 $\rho$、初始财富 $W_0$。1) 规划:对每步 $t$,当前观测 $o_t$ 下计算合格集 $E_t=\{a \in P_e:\phi_a(o_t)=1\}$;若空则终止,否则选出最高出价者 $a^*_t$,它从 $\pi_{a^*_t}$ 采样动作推进环境,得 $o_{t+1}$ 和奖励 $r_t$,并执行桶式接力付款。2) 适应(episode间):先收租金 $W_a\leftarrow W_a-\rho$;删除 $W_a<0$ 者;按开发(变异最富者)与探索(修正破产者)注入新智能体至种群上限,新手按上述规则定出价。3) 评估:冻结种群、固定出价、关闭经济更新,在每个测试任务上用线程局部快照运行拍卖仅作决策规则。输出:学到的提示词种群及其涌现的协作拓扑。

技术新颖性

技术新颖性体现在三方面。一是理论层面:把Baum的哈耶克机器从手工'条件-动作'规则推广到基于LLM的模型化谓词 $\phi_a(o)=\text{LLM}(p^{trig}_a;o)$ 和策略 $\pi_a$,使条件不再是固定阈值、动作不再是固定动作,而是模型推理输出。二是机制层面:拍卖加桶式接力提供了去中心化信用分配,且出价冻结、仅由'新手规则'初始化,避免了在线出价学习的非平稳性。三是演化层面:仅用财富积累与破产作为选择压力,不依赖任何全局性能标签或奖励塑形,就在加速器设计任务中自发收敛到输出稳态(output-stationary)数据流这一可迁移的硬件-软件协同设计启发式,证明市场选择能发现可复用的领域结构。三者共同构成'用激励结构替代协调工程'的新范式。

Auctions.
Figure 2: Auctions.
Transactions.
Figure 3: Transactions.

实验结果

核心发现:经济协调能让弱个体变成强系统,且优势不止于'多智能体胜单智能体'。在MATH上,EOM把Llama-3.1-8B的部分智能体从15.9%提升到57.0%,超过同骨干完整智能体基线51.9%;Gemma-2-9B从4.2%到45.1%,超过44.3%(Table 1)。加速器设计上平均EDP降到39.3,优于完整智能体43.1和领域方法DOSA的80.2。Finance-Agent-Bench从45.0%升到60.0%,胜过辩论50.0%、REACT 45.0%、GEA 50.0%。FrontierScience达8.5%均值/20.0%最佳,碾压GEA的1.8%/5.0%。Cloudcast最佳成本657对比OPENVOLVE的930,降低28%。消融(Table 2)显示移除探索使Finance均值从52.5暴跌到26.0,移除拍卖、开发也均下降,证明经济机制各部分缺一不可。更关键的是best-of-N多智能体采样(999)远不及EOM(673),说明非市场驱动的'多智能体'不足以解释收益。

Performance across domains (MATH accuracy and accelerator EDP).
Table 1: Performance across domains (MATH accuracy and accelerator EDP).
Ablations on MATH and Finance-Agent-Bench.
Table 2: Ablations on MATH and Finance-Agent-Bench.
Performance across domains.
Figure 4: Performance across domains.
Training dynamics in accelerator design (per-agent wealth).
Figure 5: Training dynamics in accelerator design (per-agent wealth).
Easy-to-hard generalization on MATH.
Figure 6: Easy-to-hard generalization on MATH.
Mechanism, robustness, and generalization analyses.
Figure 7: Mechanism, robustness, and generalization analyses.
查看结构化数据
任务指标本文基线提升
MATH 数学推理 (Llama-3.1-8B骨干) 贪心pass@1准确率 训练后57.0% (部分智能体,平均输出128 token) 同骨干完整智能体REACT 51.9%*;初始部分智能体15.9% 相对初始+41.1个点,超过完整智能体基线+5.1个点
加速器设计 (GEMMINI, 24个ResNet-50卷积核) 平均能量延迟积 EDP (µJ·Mcyc,越低越好) EOM 39.3 (最难kernel上对DOSA最高达37.5×几何增益) 完整智能体Gemma-4-31B 43.1;领域专用DOSA 80.2 比完整智能体低9.0%,比DOSA低51%;24核几何均值2.2×提升
Finance-Agent-Bench 金融研究 问答准确率 30个训练任务后60.0% Multi-Agent Debate 50.0%,GEA 50.0%,REACT 45.0%,初始45.0% 比最强基线(辩论/GEA)高+10个点,每个部分智能体仅用一个工具
FrontierScience-Research 开放科学研究 准确率 (均值/最佳运行,Gemini-3-Flash骨干) 均值8.5%,最佳20.0% GEA 均值1.8%,最佳5.0% 均值提升约4.7×,最佳运行提升4×
Cloudcast 分布式系统优化 (ADRS) 总数据传输成本 (越低越好) 均值673,最佳657 (3次运行) OPENVOLVE 930;种子程序1035;best-of-30无演化999 最佳成本相对OPENVOLVE降低28%,且用更少优化episode

局限与改进

作者承认的主要局限是适应只发生在提示词空间、骨干模型冻结,可能限制需要新技能或新表征任务的能力增长。我自己补充几点观察:其一,全部实验依赖较强的Gemini/Gemma/Llama骨干,所谓'弱个体'其实是强模型加受限提示,并非真正的弱模型;其二,奖励函数明确且可量化(EDP、准确率、成本),对于难以定义标量奖励的开放任务,市场信号可能失效;其三,桶式接力本质是离散episode的信用分配,对超长horizon任务价值反传是否仍高效未验证;其四,'新手规则'强制新智能体至少赢一次拍卖,可能在中期引入大量噪声探索成本;其五,财富初始化 $W_0$、租金 $\rho$ 等超参对性能敏感(消融显示租金放大10倍即掉分),缺乏系统的自动调参机制。

独立分析的弱点

独立分析的弱点:一是超参脆弱性,租金 $\rho$、奖励幅度、初始财富 $W_0$ 需精调,Table 2显示租金放大10倍、奖励缩放0.2或放大4倍均使MATH均值从43.9跌到39.0–41.8,建议引入自适应租金或基于种群规模的 $\rho$ 调度。二是冻结出价假设过强,'新手规则'依赖当前竞争者出价,在多智能体同时注入时可能互相抬价,可改为贝叶斯估价的在线出价。三是任务流依赖,curriculum实验显示反向顺序仍能改善但终点低约10个点,提示对任务排序敏感,未来可做主动课程学习。四是骨干限制,仅提示词演化,可结合LoRA或参数级微调做混合适应。五是评估偏乐观,多数任务是'最佳运行'(best-run)报告,工程部署更关心均值稳定性,应补充分布与方差。

未来方向

作者提出的方向:扩展到参数空间训练与混合适应(提示词加权重),并推广到多模态、具身智能体骨干。基于本文成果可延伸的方向:其一,把市场机制用于开放世界终身学习,让种群持续面对非平稳任务流而不灾难性遗忘;其二,研究多个'智能体经济'之间的竞争与贸易,类比国际贸易形成更宏观的分工;其三,用信息论或机制设计理论刻画'最优激励结构',当前 $\rho$、$W_0$ 仍靠经验设定;其四,将拍卖替换为组合拍卖或双拍卖,支持多智能体同时行动的并行规划;其五,在可验证奖励(数学、代码)之外,探索基于人类偏好或宪法AI的软奖励,拓展到对齐与安全任务;其六,把经济选择与梯度学习统一,形成可端到端微调的'可微市场'。

复现评估

复现评估:论文未在正文提供明确的官方代码仓库链接(正文仅列GitHub与Project Page占位图标),是主要短板。数据集均为公开基准——MATH、Finance-Agent-Bench、FrontierScience-Research、GEMMINI、Cloudcast(ADRS)——可获取,但部分(GEMMINI硬件仿真、FrontierScience科学环境)需要领域特定配置,搭建门槛较高。算力方面,种群级多次LLM调用成本显著:每个episode每步要触发多个智能体的谓词检查与出价、胜者采样动作,加上跨episode的变异,总token开销远超单智能体REACT,论文未报告具体token或美元成本。任务协议、智能体定义、工具、骨干在Appendix D给出,算法伪代码(Algorithm 1/2)清晰。整体复现中等偏难,主要瓶颈在算力、领域环境搭建与缺失的官方代码。