思想的经济:以经济交互涌现的多智能体智能 Economy of Minds: Emerging Multi-Agent Intelligence with Economic Interactions
用拍卖竞争与财富积累让弱智能体自组织成强群体智能
前置知识
部分可观测马尔可夫决策过程 (POMDP)
用元组 $E=(S,A,P,r,\gamma,\mu_0)$ 描述的序贯决策环境,含状态空间$S$、动作$A$、转移核$P(s'|s,a)$、奖励$r$、折扣$\gamma$和初始分布$\mu_0$;智能体只能观测$o_t$而非真实状态$s_t$。本文把每个任务建模为POMDP。
本文把任务环境形式化为POMDP,所有拍卖、动作选择、桶式接力信用分配都建立在状态转移与奖励之上,看懂这套数学框架才能理解经济机制如何嵌入决策过程。
桶式接力与哈耶克机器 (Bucket-brigade & Hayek Machine)
Baum提出的信用分配机制:智能体获胜后把出价付给上一个活跃智能体,自己再收取环境奖励,使价值沿成功轨迹反向流动,无需全局标注。哈耶克机器用经济压力决定哪些'例程'行动、如何连接、如何更新。
EOM的核心创新正是把哈耶克机器从手工条件-动作规则推广到基于LLM的谓词与策略,理解这一机制才能看懂为何财富增减能替代监督。
LLM智能体 (LLM Agent)
以大语言模型为'大脑'的智能体,通过系统提示词定义角色,能推理、调用工具、在数字/具身环境中行动。本文中所有智能体共享一个冻结的LLM骨干,多样性完全来自提示词$p_a=(p^{trig}_a, p^{act}_a)$。
EOM的所有智能体都是冻结骨干LLM加不同提示词的实例,理解'同骨干不同提示'的设定是理解后续提示词空间演化的前提。
拍卖与市场选择 (Auction & Market Selection)
拍卖是一种去中心化资源分配机制:合格智能体各报一个出价$b_a$,最高出价者赢得行动权。市场选择指财富积累者存活并被变异、破产者被淘汰,类似自然选择但由经济信号驱动,无需显式标签。
拍卖是EOM规划阶段的行动选择机制,市场选择是适应阶段的种群演化机制,二者构成全文方法的两根支柱。
研究动机
现有的多智能体系统普遍依赖一个中央编排器来创建智能体、分配专长、协调动作。这种集中式架构存在两个根本性局限。第一,规划被卡在单一协调瓶颈上:所有信息和决策都必须流经编排器,既造成性能瓶颈,又是单点故障来源。第二,随着系统规模增长,学习和适应变得愈发低效——编排器必须推理和管理不断膨胀的智能体集合,协调复杂度随系统规模线性增长。同时,单个基于大模型的智能体受限于有限上下文长度、部分知识、有限推理预算和受限的工具访问,难以独自端到端完成复杂的组合式任务。在数学推理、金融研究、科学研究和加速器设计等任务中,精心设计的单智能体往往引入阻碍通用性的归纳偏置。这促使作者思考:能否不设计更好的中央控制器,而让一群智能体自发形成去中心化智能。
本文的目标是本文的具体目标是构建一个去中心化多智能体框架,让一群原本能力受限的'部分智能体'(partial agent)仅凭局部信息和经济激励,就能自发编排、自我进化,形成超越任何单个'完整智能体'的集体智能。作者希望证明:无需全局感知、显式协调协议、人工设计的拓扑或预定义通信流程,仅靠拍卖竞争、点对点交易和基于财富的选择,就能诱导出信用分配、分工与协作。目标是在五个差异极大的任务域上——数学推理(MATH)、金融研究(Finance-Agent-Bench)、科学研究(FrontierScience)、加速器设计(GEMMINI)和分布式系统优化(Cloudcast)——验证经济组织能否让弱个体组合成强系统,并超越具备完整接口访问的强基线。
与已有工作不同的是,本文的独特切入角度是把经济学理论——尤其是哈耶克《知识在社会中的运用》中关于价格系统聚合分散知识、实现去中心化协调的洞见——以及Baum的'哈耶克机器',直接嫁接到现代大模型智能体上。与主流多智能体工作(如编排器驱动、显式通信、多智能体辩论)不同,作者不工程化协调机制,而是设计激励结构让协调自然涌现。关键区别在于:智能体完全局部运作,只需'唤醒条件'和'动作';全局智能纯粹由经济信号(财富增减)塑造。这把哈耶克机器从手工的'条件-动作'规则推广到基于模型的谓词和策略,填补了'用市场机制驱动LLM智能体群体进化'这一空白。
核心方法
Economy of Minds (EOM) 的整体思路是:把智能体社会建模成一个经济系统,包含两个耦合过程。其一是规划(planning):在单个任务episode内,智能体通过拍卖竞争'行动权',胜者执行动作、按其出价向上一个活跃智能体付款,并收集环境奖励——这正是'桶式接力'(bucket-brigade)信用分配,让价值沿成功轨迹反向流动。其二是适应(adaptation):跨episode的群体演化通过经济选择完成——每个智能体定期交租金,财富转负者破产删除,富有的智能体作为父代被变异(开发),破产者被新变异补充(探索)。直觉上,市场价格系统聚合分散信息、协调个体;技术路线上,智能体共享一个冻结的LLM骨干,多样性完全来自系统提示词,演化只发生在提示词空间。
核心创新点是用'简单的经济激励'替代'工程化的协调',从而在冻结骨干上涌现出多步推理和分工。与已有方法的本质区别有三:第一,控制权不是由中央策略分配,而是由拍卖中标者获得 $a^*_t = \arg\max_{a \in E_t} b_a$,出价是引入时冻结的常量而非在线学习。第二,信用分配无需全局标注,桶式接力 $W_{a^*_t} \leftarrow W_{a^*_t} - b_{a^*_t} + r_t$、$W_{a^*_{t-1}} \leftarrow W_{a^*_{t-1}} + b_{a^*_t}$ 让奖励沿轨迹反传。第三,群体进化完全由财富信号驱动:富者存活并变异、穷者破产被替换,无需监督。'新手规则' $b_{a'} = \max_{a \in C_t} b_a + \varepsilon_{a'}$ 保证新智能体至少赢一次拍卖,强制市场检验。
方法步骤详情
步骤如下。输入:任务流、初始部分智能体种群 $P_e$ (各含触发谓词 $\phi_a$、策略 $\pi_a$、冻结出价 $b_a$、财富 $W_a$)、提示生成算子 $G$、租金 $\rho$、初始财富 $W_0$。1) 规划:对每步 $t$,当前观测 $o_t$ 下计算合格集 $E_t=\{a \in P_e:\phi_a(o_t)=1\}$;若空则终止,否则选出最高出价者 $a^*_t$,它从 $\pi_{a^*_t}$ 采样动作推进环境,得 $o_{t+1}$ 和奖励 $r_t$,并执行桶式接力付款。2) 适应(episode间):先收租金 $W_a\leftarrow W_a-\rho$;删除 $W_a<0$ 者;按开发(变异最富者)与探索(修正破产者)注入新智能体至种群上限,新手按上述规则定出价。3) 评估:冻结种群、固定出价、关闭经济更新,在每个测试任务上用线程局部快照运行拍卖仅作决策规则。输出:学到的提示词种群及其涌现的协作拓扑。
技术新颖性
技术新颖性体现在三方面。一是理论层面:把Baum的哈耶克机器从手工'条件-动作'规则推广到基于LLM的模型化谓词 $\phi_a(o)=\text{LLM}(p^{trig}_a;o)$ 和策略 $\pi_a$,使条件不再是固定阈值、动作不再是固定动作,而是模型推理输出。二是机制层面:拍卖加桶式接力提供了去中心化信用分配,且出价冻结、仅由'新手规则'初始化,避免了在线出价学习的非平稳性。三是演化层面:仅用财富积累与破产作为选择压力,不依赖任何全局性能标签或奖励塑形,就在加速器设计任务中自发收敛到输出稳态(output-stationary)数据流这一可迁移的硬件-软件协同设计启发式,证明市场选择能发现可复用的领域结构。三者共同构成'用激励结构替代协调工程'的新范式。
实验结果
核心发现:经济协调能让弱个体变成强系统,且优势不止于'多智能体胜单智能体'。在MATH上,EOM把Llama-3.1-8B的部分智能体从15.9%提升到57.0%,超过同骨干完整智能体基线51.9%;Gemma-2-9B从4.2%到45.1%,超过44.3%(Table 1)。加速器设计上平均EDP降到39.3,优于完整智能体43.1和领域方法DOSA的80.2。Finance-Agent-Bench从45.0%升到60.0%,胜过辩论50.0%、REACT 45.0%、GEA 50.0%。FrontierScience达8.5%均值/20.0%最佳,碾压GEA的1.8%/5.0%。Cloudcast最佳成本657对比OPENVOLVE的930,降低28%。消融(Table 2)显示移除探索使Finance均值从52.5暴跌到26.0,移除拍卖、开发也均下降,证明经济机制各部分缺一不可。更关键的是best-of-N多智能体采样(999)远不及EOM(673),说明非市场驱动的'多智能体'不足以解释收益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH 数学推理 (Llama-3.1-8B骨干) | 贪心pass@1准确率 | 训练后57.0% (部分智能体,平均输出128 token) | 同骨干完整智能体REACT 51.9%*;初始部分智能体15.9% | 相对初始+41.1个点,超过完整智能体基线+5.1个点 |
| 加速器设计 (GEMMINI, 24个ResNet-50卷积核) | 平均能量延迟积 EDP (µJ·Mcyc,越低越好) | EOM 39.3 (最难kernel上对DOSA最高达37.5×几何增益) | 完整智能体Gemma-4-31B 43.1;领域专用DOSA 80.2 | 比完整智能体低9.0%,比DOSA低51%;24核几何均值2.2×提升 |
| Finance-Agent-Bench 金融研究 | 问答准确率 | 30个训练任务后60.0% | Multi-Agent Debate 50.0%,GEA 50.0%,REACT 45.0%,初始45.0% | 比最强基线(辩论/GEA)高+10个点,每个部分智能体仅用一个工具 |
| FrontierScience-Research 开放科学研究 | 准确率 (均值/最佳运行,Gemini-3-Flash骨干) | 均值8.5%,最佳20.0% | GEA 均值1.8%,最佳5.0% | 均值提升约4.7×,最佳运行提升4× |
| Cloudcast 分布式系统优化 (ADRS) | 总数据传输成本 (越低越好) | 均值673,最佳657 (3次运行) | OPENVOLVE 930;种子程序1035;best-of-30无演化999 | 最佳成本相对OPENVOLVE降低28%,且用更少优化episode |
局限与改进
作者承认的主要局限是适应只发生在提示词空间、骨干模型冻结,可能限制需要新技能或新表征任务的能力增长。我自己补充几点观察:其一,全部实验依赖较强的Gemini/Gemma/Llama骨干,所谓'弱个体'其实是强模型加受限提示,并非真正的弱模型;其二,奖励函数明确且可量化(EDP、准确率、成本),对于难以定义标量奖励的开放任务,市场信号可能失效;其三,桶式接力本质是离散episode的信用分配,对超长horizon任务价值反传是否仍高效未验证;其四,'新手规则'强制新智能体至少赢一次拍卖,可能在中期引入大量噪声探索成本;其五,财富初始化 $W_0$、租金 $\rho$ 等超参对性能敏感(消融显示租金放大10倍即掉分),缺乏系统的自动调参机制。
独立分析的弱点
独立分析的弱点:一是超参脆弱性,租金 $\rho$、奖励幅度、初始财富 $W_0$ 需精调,Table 2显示租金放大10倍、奖励缩放0.2或放大4倍均使MATH均值从43.9跌到39.0–41.8,建议引入自适应租金或基于种群规模的 $\rho$ 调度。二是冻结出价假设过强,'新手规则'依赖当前竞争者出价,在多智能体同时注入时可能互相抬价,可改为贝叶斯估价的在线出价。三是任务流依赖,curriculum实验显示反向顺序仍能改善但终点低约10个点,提示对任务排序敏感,未来可做主动课程学习。四是骨干限制,仅提示词演化,可结合LoRA或参数级微调做混合适应。五是评估偏乐观,多数任务是'最佳运行'(best-run)报告,工程部署更关心均值稳定性,应补充分布与方差。
未来方向
作者提出的方向:扩展到参数空间训练与混合适应(提示词加权重),并推广到多模态、具身智能体骨干。基于本文成果可延伸的方向:其一,把市场机制用于开放世界终身学习,让种群持续面对非平稳任务流而不灾难性遗忘;其二,研究多个'智能体经济'之间的竞争与贸易,类比国际贸易形成更宏观的分工;其三,用信息论或机制设计理论刻画'最优激励结构',当前 $\rho$、$W_0$ 仍靠经验设定;其四,将拍卖替换为组合拍卖或双拍卖,支持多智能体同时行动的并行规划;其五,在可验证奖励(数学、代码)之外,探索基于人类偏好或宪法AI的软奖励,拓展到对齐与安全任务;其六,把经济选择与梯度学习统一,形成可端到端微调的'可微市场'。
复现评估
复现评估:论文未在正文提供明确的官方代码仓库链接(正文仅列GitHub与Project Page占位图标),是主要短板。数据集均为公开基准——MATH、Finance-Agent-Bench、FrontierScience-Research、GEMMINI、Cloudcast(ADRS)——可获取,但部分(GEMMINI硬件仿真、FrontierScience科学环境)需要领域特定配置,搭建门槛较高。算力方面,种群级多次LLM调用成本显著:每个episode每步要触发多个智能体的谓词检查与出价、胜者采样动作,加上跨episode的变异,总token开销远超单智能体REACT,论文未报告具体token或美元成本。任务协议、智能体定义、工具、骨干在Appendix D给出,算法伪代码(Algorithm 1/2)清晰。整体复现中等偏难,主要瓶颈在算力、领域环境搭建与缺失的官方代码。
论文图表
展示智能体社会随任务流演化的四个阶段(Creation/Elimination/Topology)。每个面板是某时刻的种群快照:智能体被持续创建、选择、连接、淘汰。随任务增多,无效智能体被移除修正,有用者存活并分化,形成一个'活的'且日益结构化的种群。
这是理解全文motivation的关键可视化:它直观说明了'经济选择如何把无序种群塑造成结构化社会',对应论文'去中心化智能自动涌现'的核心主张。