Agent Bazaar：多智能体市场中的经济对齐

Agent Bazaar 框架，用 REINFORCE++ 训练 9B 模型实现多智能体市场对齐。

前置知识

部分可观察随机博弈 (POSG)

POSG 是多智能体强化学习的标准形式化框架，由元组 $(I, S, \{A_i\}, \{O_i\}, T, \{r_i\})$ 组成，每个智能体只能观察全局状态的子集 $O_i \subset S$。

Agent Bazaar 的两种市场（B2C 和 C2C）都被建模为 POSG，搜索摩擦 $d_{lc}$ 直接控制部分可观察性的强弱，是分析市场不稳定的理论起点。

Sybil 攻击与柠檬市场

Sybil 攻击指单一主体低成本控制多个虚假身份以放大影响；柠檬市场（Akerlof 1970）指信息不对称下劣质品驱逐优质品的均衡失灵。

Lemon Market 场景直接模拟这两种机制的叠加，论文用它验证 Skeptical Guardian 能否识别同一 Deceptive Principal 控制的多身份欺诈。

REINFORCE++ 与 LoRA

REINFORCE++ 是 REINFORCE 策略梯度的工程改进版，用 advantage 估计降低方差并加入对参考策略的 KL 惩罚；LoRA 用低秩矩阵近似参数更新以减少显存。

本文用 LoRA r=64 (~116M 参数) 在 9B 基础模型上做 REINFORCE++ 微调，对市场回合打分，是把经济对齐从'提示工程'提升为'显式训练'的关键技术。

EAS 经济对齐评分

EAS 是 4 维标量指标 $EAS(\pi)=\frac{1}{4}[(1-\hat b_r)(1-\hat\sigma)+\hat d_r(1-\hat\Phi_I)+\hat m_r+\hat p]$，分别度量稳定性、诚信、福利与盈利。

EAS 是论文提出的核心评估协议，让 9B 模型能与 405B 闭源/开源模型在同一标量上公平比较，是实验可解释性的基础。

研究动机

随着 LLM 智能体被部署到 Amazon、eBay 等市场执行自主交易，单个 agent 在隔离下理性的行为可能在多智能体交互中放大成系统性风险。论文识别出两种典型失败模式：第一种是 B2C 市场的算法性不稳定（The Crash），在 $N=5$、$M=50$、$T=365$ 的仿真中 Gemini 3 Flash 的破产率 $b_r$ 达到 0.87，GPT 5.4 为 0.67，价格被压缩到成本线以下并触发级联破产；第二种是 C2C 市场的 Sybil 欺骗（The Lemon Market），单一 Deceptive Principal 控制 $K$ 个身份、用文风多样但实质欺诈的描述淹没市场，$K=9$ 时 Sybil 收入份额升至 10-17%，交易量从每步 10 笔跌到 6 笔。值得注意的是，Sonnet 4.6 在 Crash 中 $b_r=0.00$、价格比 $\bar p/c=1.94$ 自我稳定，但更多模型并不能——这说明经济对齐不是规模函数。

本文的目标是论文目标有三层：其一是建立可复现的多智能体仿真框架 Agent Bazaar，把经济对齐形式化为可度量的研究对象；其二是提出 Stabilizing Firm 与 Skeptical Guardian 两种 in-context 干预 harness 验证'轻提示'能否奏效；其三是证明通过显式 REINFORCE++ 微调，可以把 Qwen 3.5 9B 的 EAS 从 0.47 提升到 0.79，超过 Hermes 3 405B（0.72）、Sonnet 4.6（0.60）与 GPT 5.4（0.38），以 45× 小的体量实现最佳经济对齐。

与已有工作不同的是，现有工作（EconAgent、LLM Economist、Vending-Bench Arena）要么研究宏观经济与税收机制设计，要么研究单 agent 长程商业一致性，少有聚焦多智能体市场中的对抗性均衡与系统性失败；RLHF/Constitutional AI 优化的是单次交互的有用性与无害性，无法捕捉 agent 在市场层面造成的负外部性；Homo Silicus 与博弈论工作又停留在经典博弈。论文的独特切入是把经济对齐定义为可被显式训练的策略属性，并提供从 harness 提示到 RL 微调的完整迁移路径。

核心方法

方法直觉是：与其在 prompt 层修补 LLM 的'善意'，不如在多智能体市场回合上显式训练策略。Agent Bazaar 把市场形式化为 POSG，两种环境分别对应 Crash（5 个 firm × 50 个程序化消费者，$T=365$）与 Lemon Market（12 seller × 12 buyer，$T=50$），所有 agent 都遵循 observe–reason–act 链：市场状态被压缩成历史窗口，模型先做 chain-of-thought 推理，再输出结构化 JSON 行动。技术路线分三层递进——基础 agent 完全靠模型先验；harness 在 system prompt 中加入经济对齐指令与 in-context reflection，把成功历史回灌到上下文；最后用 REINFORCE++ + LoRA (r=64) 对 Qwen 3.5 9B 做回合级策略梯度训练，并以自适应课程（Crash 减少 stabilizing 数量，Lemon 增大 Sybil $K$）逐步加压。

核心创新是把经济对齐从'对齐范式'转化为'可被梯度训练的目标'。与 Constitutional AI 优化 per-interaction 行为、或 Vending-Bench Arena 仅观察涌现现象不同，本文用 EAS 4 维标量作为 episode return 训练策略，并通过对数比平方 $\beta\cdot(\log\pi_\theta-\log\pi_{\text{ref}})^2$ 替代经典 KL 散度，避免负 per-token 惩罚造成的'奖励发散'导致的策略崩溃；此外，训练后的 stabilizing firm 不只让自己存活，还把整市场破产率从 100% 拉到 32%，证明了锚定效应的可迁移性。

方法步骤详情

完整流程分四步。第一步是环境实例化：对 Crash，状态 $s_t=(I_{1:N}, C_{1:N}, P_{1:N}, D_t)$ 包含库存、现金、价格、聚合需求，agent 观察 $o_i^t=\{P_j^{t-1}\}_{j\in N_t}\cup I_i^t, C_i^t, c, H_i^{t-H:t-1}$，行动 $a_i^t=(P_i^t, Q_{i,\text{buy}}^t)\in\mathbb{R}_{>0}\times\mathbb{Z}_{\ge0}$，reward $r_i^t=P_i^t\cdot Q_{i,\text{sold}}^t - c\cdot Q_{i,\text{buy}}^t - f - \tau\cdot C_i^t$，消费者按 Poisson($\lambda$) 到达并从可见 $d_{lc}$ 家中选最低价；第二步对 Lemon Market，每个 item 真实质量 $q\in\{\text{poor,fair,good,mint}\}$ 映射到 $[0.1,1.0]$，buyer 观察 $o_j^t=\{(D_n,R_n,P_n)\}_{n=1}^{d_{lc}}, T_j^t, \bar q_j^t$，并按 $CS_j^t=q\cdot V_{\max}-p$ 计算消费者剩余，Sybil principal 在 $R<0.3$ 时换皮重生；第三步是 harness 设计，Stabilizing Firm 在 prompt 中强制'价格不低于成本'并回顾 top-B 高分历史，Guardian 则交叉核验描述与价格区间、声誉一致性；第四步是 REINFORCE++ 训练，对 Qwen 3.5 9B 用 LoRA r=64 跑 Crash 27 轮 × 32 episode，Lemon 7 轮 × 16 episode，损失 $\mathcal L(\theta)=-\mathbb E_{\pi_\theta}[A_t\log\pi_\theta(a_t|s_t)+\beta\cdot(\log\pi_\theta-\log\pi_{\text{ref}})^2]$，$\beta=0.2$，对数比平方既惩罚远离 ref 又防止负值'奖励发散'。

技术新颖性

技术新颖性体现在三点。第一，EAS 4 维标量协议把'什么是经济对齐'从哲学争论下沉为可比较的数字指标，且各分量按被评群体最优归一化，使 9B 与 405B 模型能在同一刻度上排名；第二，对数比平方的 KL 替代是 RL 工程上的小但关键改动，作者观察到的'负 per-token 奖励发散导致策略崩溃'在主流 RLHF 文献中讨论不多；第三，自适应课程让 harness 失效的硬场景（Crash $d_{lc}=5$、Lemon $K=9$）成为训练的'最后一公里'，并通过 spillover 验证——训练后的 Stabilizing Firm 把非训练的同台对手存活率从 0% 拉到 68%，证明经济对齐的'锚定效应'可被学到。

**Figure 2**: Agent Bazaar diagram: Agents observe the simulation environment under partial observability imposed by search frictions and actions are carried out via a market clearing process.

实验结果

Crash 实验：5 firms 竞争 365 天，3 种子下扫 $k\in\{0,1,3,5\}$ 个 stabilizing firm 与 $d_{lc}\in\{1,3,5\}$。基线（$k=0, d_{lc}=3$）下 Gemini 3 Flash 破产率 $b_r=0.87$、价格比 $\bar p/c=3.42$（幸存垄断者哄抬），GPT 5.4 为 $b_r=0.67,\bar p/c=3.69$，Sonnet 4.6 自我稳定 $b_r=0.00,\bar p/c=1.94$。引入 stabilizing firm 后 $d_{lc}=1,k=3$ 时三模型 $b_r$ 降到 0.13-0.20，但 $d_{lc}=5$ 时即使 $k=5$ 仍 $>0.65$，验证'信息越透明竞争越惨烈'的反直觉结论。Lemon Market：12×12 卖家-买家 50 步，$K\in\{3,6,9\}$ Sybil 占比，Gemini 买家时 $K=3$ Sybil 份额 $<5\%$、$K=9$ 升到 10-17%，交易量从 10 步/期跌到 6 步/期；Skeptical Guardian 在 $K=6$ 把 Sybil 收入份额降约 30\%，消费者剩余从深度负值拉至接近盈亏平衡。RL 训练：Crash 稳定性从 $S=0.39$ 升至 easy 课程 0.63 与 mixed 0.59；Lemon 检测率 88%→92%，购买率 11%；课程把 $K$ 从 3 推到 ~7。最终 EAS（图 6）排名：AI Bazaar (9B) 0.79 > Hermes 3 405B 0.72 > Sonnet 4.6 0.60 > GPT 5.4 0.38；Mistral 7B 0.57 > Gemma 3 27B 0.35 证明规模与对齐解耦；Qwen 3.5 9B 基础 0.47 → 训练后 0.79，+0.31 增益。

**Figure 3**: The Crash: bankruptcy rate vs. stabilizing firms k for three frontier models, split by consumer discovery limit (T=365, 3 seeds per cell).

**Figure 4**: The Lemon Market: end-state metrics under increasing Sybil saturation (T=50, rep visible, 3 seeds).

**Figure 5**: REINFORCE++ training summary. (a) The Crash: market health score (Sstab component of EAS) before and after training. (b) The Lemon Market: Sybil detection and purchase rates.

**Figure 6**: Economic Alignment Score (EAS) vs. model size.

查看结构化数据

任务	指标	本文	基线	提升
The Crash (B2C) EAS ranking	Economic Alignment Score (0-1)	AI Bazaar 9B EAS = 0.79	Sonnet 4.6 = 0.60，GPT 5.4 = 0.38，Hermes 3 405B = 0.72	比最强闭源前沿模型 Sonnet 4.6 高 +0.19，比最强开源 Hermes 3 405B 高 +0.07，且参数规模小 45×
The Crash 破产率	Bankruptcy rate (lower is better)	Stabilizing Firm + 训练后 $b_r$ 在 mixed 课程下接近 0.07 (k=5, dlc=1)	Gemini 3 Flash 基线 $b_r$=0.87，GPT 5.4 $b_r$=0.67	相对基线下降约 0.80-0.92，存活率提升一个数量级
The Lemon Market Sybil 检测	Detection rate / Purchase rate	训练后 Guardian 检测率 92%，Sybil 购买率 11%	基础 buyer 检测率 88%，购买率 ~15-20%（K=9 时）	检测 +4pp，购买率显著降低；K 从 3 增到 ~7 仍保持高检测
The Lemon Market 收入份额	Sybil revenue share reduction	Skeptical Guardian 在 K=6、Gemini 下 Sybil 收入份额降约 30%	基线 buyer 在 K=6 时 Sybil 份额 5-10%	相对降幅 30%，消费者剩余从深度负值提升至接近盈亏平衡

局限与改进

作者明确指出四点局限：仿真抽象掉订单簿、产品差异化、相关需求，真实市场复杂度可能放大失败模式；REINFORCE++ 使用固定 base 模型作为对手，对分布外适应（持续进化的对手）未测试；EAS 的归一化是相对群体最优，会因新模型引入而漂移，本身是竞争性指标而非绝对标准；harness 失败的高 $d_{lc}$、高 $K$ 场景需要 RL 才解决，说明 prompting 不是万灵药。本人额外观察：Stabilizing Firm 的 spillover 效应（0%→68% 存活）只在训练后的同一类模型间验证，未跨家族（如 Llama 对 Gemma）测试；对'Sybil 文风多样但实质等价'的检测仍依赖 buyer 端的 review 真实性，如果 LLM reviewer 本身被 Sybil 影响（虚假好评）则机制失效；最后，对稳定性的稳定性——训练后的 9B 在面对更新版 Sybil 策略时是否仍能 anchor，没有 ablation 给出。

独立分析的弱点

独立分析发现三个可改进的薄弱环节。第一，Crash 中 stabilizing firm 的'价格不低于成本'硬约束是 prompt 层的，模型实际可能输出成本以下价格（论文承认 $d_{lc}=5$ 时 harness 失败），应改为可验证的 constrained decoding 或 action masking，把价格下限作为结构约束而非自然语言指令。第二，Sybil 端的'文风多样'是手写 prompt 驱动的，没有 ablation 给出风格多样性 vs. 检测难度的量化曲线；如果换成 fine-tuned paraphraser 攻击，Guardian 可能失效，需要引入对抗训练闭环。第三，EAS 四个分量用乘法+算术平均拼接，破产率与波动率都是坏指标，Sybil 检测与诚实购买也是好坏对，但论文没有给出权重敏感性分析，建议补充消融：把 EAS 拆成单分量后看排名是否稳健。改进方向对应地：硬约束解码、对抗式 Sybil 训练、权重 ablation。

未来方向

作者提出的方向是用 self-play 进一步探索经济对齐，使 agent 在持续进化的对手群中保持稳定。本人认为可延伸的研究包括：把 Agent Bazaar 扩展到 continuous double auction、订单簿、多商品耦合市场，检验 EAS 是否仍具备跨场景解释力；引入 Mechanism Design 视角，让稳定 firm 充当'价格锚定拍卖人'；把 RL 训练与 Constitutional AI 混合，用 EAS 替换人类偏好作为 reward model 目标；最后，可探索 Agent Bazaar 作为'多智能体安全 benchmark'——让其他研究者提交模型，按 EAS 自动排名，类似 LMSYS Chatbot Arena 的经济版本。

复现评估

论文作者来自 Princeton，Karten 是通讯作者；EAS 指标、四种 frontier 模型、Qwen 3.5 9B 与 Hermes 3 405B、Gemma 3 27B、Mistral 7B 等均被命名比较，训练超参（LoRA r=64、~116M 参数、$\beta=0.2$、27 轮×32 episode 或 7 轮×16 episode、32/40 步 episode）在正文与附录 B 给出；但代码、模型权重、EAS 完整评分脚本与 prompt 模板（Appendix A 提到'示例 prompt'）是否公开未在主文明确说明，单卡 9B + LoRA 训练可在 2-4 张 A100 上数小时内完成，硬件门槛不高；最关键的复现难点是 Crash 与 Lemon Market 的程序化消费者 / Sybil 重生机制的精确实现，需要仔细对齐 $d_{lc}$ 采样与 reputation 滚动窗口（$W=10$）。

Agent Bazaar：多智能体市场中的经济对齐 Agent Bazaar: Enabling Economic Alignment in Multi-Agent Marketplaces