多智能体自动化研究系统的词汇表 A Vocabulary for Multi-Agent Automated Research Systems

方法步骤如下。第一步定义问题元组$P$：任务$x\in X$与解$y\in Y$，特征映射$\phi$、真实质量$q$、标量化$\omega$、预算$B$、任务分布$D$。第二步定义系统八元组：智能体$a_i=(\theta_i,m_i,m^0_i,\rho_i)$，操作全集$O$，通信$C=(\Lambda,\sigma)$，能力指派$\alpha$，三分量共享状态$S=\langle S_{btw},S_{world},S_{cross}\rangle$，控制策略$\pi=(\pi_{route},\pi_{stop},\pi_{meta},\eta)$，初始化$\iota$，评估器$e$。第三步定义轨迹$\tau=\langle(a_t,u_t,o_t,S_t,m^{a_t}_t,A_t,\alpha_t,\Lambda_t)\rangle_{t=1}^{H}$，其中动作$u_t\in\alpha_t(a_t)\cup send_t\cup\Pi_{meta}\cup\{halt\}$，把对象层工作、消息、结构变更、停止四类显式分类，使「智能体何时通信/生成能力」成为对动作的条件分布问题。第四步定义成本$\kappa(\tau)=\sum_{t}\kappa(u_t)$与优化目标$y^*(x;M)\approx\arg\max_{\tau\in T_B}\omega(e(\tau))$，并建模代理-质量差距$\Delta_\omega$与过拟合税。第五步把词汇表应用到10个近期系统验证覆盖度。

技术新颖性体现在几点。与一般化的智能体框架(如AutoGen、LangGraph)相比，本文聚焦自动化研究场景并把评估器完整性、过拟合税、生成/评估品味二分作为核心概念，而通用框架很少显式建模评估器的博弈风险。与各系统论文自身的临时描述相比，本文提供统一记号，使跨系统比较成为可能——例如把FunSearch到AlphaEvolve的演进还原为「同一进化循环上的异构骨干与多样性保持存储」。与递归自改进(RSI)文献相比，本文把RSI视为问题元组$P$的一个具体实例(输出$y$成为下一输入$x$，每步重塑$D$)，而非独立范畴。新颖之处还在于把元控制动作$\Pi_{meta}$(spawn/kill、fork/join、grant/revoke、consolidate、migrate、rewrite-policy)显式枚举并标注每个动作修改的状态分量(表2)，使「策略即状态」(policy-as-state，如EvoX把$\pi$作为$S_{btw}$中的可重写对象)成为可表达的设计，也使「智能体何时通信/获得能力」从模糊的设计直觉变成对$\Pi_{meta}$动作的条件分布问题。

独立分析的弱点：第一，词汇表的效用未被定量验证——没有证据表明按坐标做消融比传统黑盒消融更快找到好设计，改进方向是用词汇表指导的自动元搜索(把智能体设计表达为代码、把工作流图作为搜索对象)来实证比较搜索效率。第二，坐标独立性的假设过强，例如动态$\alpha$的grant/revoke需要权限基础设施，与$\pi_{meta}$强耦合，改进方向是引入「坐标耦合图」标注哪些坐标必须协同变化。第三，案例编码主观(「set vs generic」的判定依赖编码者对每篇论文设计意图的解读)，改进方向是提供机器可读的元组规格与自动解析器并做多人交叉校验。第四，未给出计算等价性约束下的公平比较协议，改进方向是在固定$B$与固定FLOPs下重跑案例。第五，评估器完整性措施(沙箱、隐藏划分)被当作预期默认而未被计入$e$的设置，但这恰是奖励作弊高发区(MLR-Bench 80%)，改进方向是把完整性强度量化为$e$的子坐标。

作者提出的未来方向：能力指派$\alpha$是最被低估的坐标，目前没有系统在运行中改变$\alpha$(尽管Glia已利用非平凡静态$\alpha$)，作者认为这是工程artifact而非动态能力控制无用，并建议做「一坐标消融」——固定$A,\Lambda,\pi_{route},S_{world},e$，比较静态$\alpha$与动态$\alpha$；若动态变体能以更少美元得更高分则证明动态能力指派有用。控制策略$\pi$与任务分布$D$含三个欠锻炼坐标：探索项$\eta$停在默认温度(连AAR都通过$\iota$而非$\eta$注入多样性)；运行时重写$\pi$仅EvoX实现；改变$D$(系统生成自己的问题而非解固定集)目前无人实现，POET曾与智能体共进化环境、CORAL共进化智能体与解但固定问题。基于成果可延伸：给$\Pi_{meta}$增加「编辑操作全集」与「编辑权重」动作以覆盖递归自改进($O_t$可变、$\theta_{i,t}$运行中更新)；为生成性品味定义可与$\Delta_\omega$类比的新颖性度量。

复现评估：本文是框架/词汇表论文，不涉及训练或大规模实验，概念上极易复现——读者可直接套用八元组与问题元组记号重新刻画任何多智能体系统。论文未提供开源代码、数据集或自动解析工具，案例研究的坐标编码基于已发表论文的人工映射，因此可复现性中等偏上但缺少机器可校验的产物。算力需求极低(仅需阅读与映射)，主要复现成本在于跟踪10个案例系统(AIRA2、AlphaEvolve、Glia、AAR、AI Scientist-v2、MetaGPT、EvoX、ml-intern、SimpleTES、Engram)的原始细节。难点在于「set vs generic」的判定依赖编码者对每篇论文设计意图的解读，不同编码者可能给出不同的Figure 4矩阵；若要严格复现该矩阵，需要明确的编码操作手册与多人交叉校验，这是目前缺失的。此外词汇表本身是定义性的，不存在「实验失败」风险，任何研究者都能立即应用。