分布式黑盒共识优化中的「行动-协作」联合学习 Learning to Act and Cooperate for Distributed Black-Box Consensus Optimization
LLM 稀疏引导多智能体同时学习内部搜索与外部协作
前置知识
分布式黑盒共识优化
多个智能体在只能查询各自局部目标函数、且仅能与邻居通信的约束下，联合最小化所有局部目标函数的平均值，并使所有智能体的决策变量收敛到一致。每个 agent 看不到梯度，看不到全局目标，是典型的去中心化非凸优化难题。
这是本文的核心问题设定，理解它才能明白为什么需要去中心化、为什么不能用经典梯度法、为什么要协调一致性与目标下降。
粒子群优化 (PSO)
群体智能算法，粒子按自身与群体历史最优更新速度和位置。标准形式 $v^{(t+1)}=\omega v^{(t)}+c_1(p_{\text{best}}-x^{(t)})+c_2(g_{\text{best}}-x^{(t)})$，$\omega,c_1,c_2$ 是核心控制系数。
LAC-MAS 的执行层建立在 PSO 之上，但把 $\omega$ 等系数改造成由发散度驱动的自适应机制，因此必须先理解 PSO 的基础动力学才能看懂它的改造。
大语言模型 (LLM) 作为元优化器
近期研究把 LLM 用作高层策略生成器：给定历史轨迹、性能反馈等结构化文本，LLM 输出超参数、Prompt 权重、算法代码等高层决策，而真正改变决策变量的仍是底层求解器。LLM 不直接参与迭代，而是稀疏、间歇地提供「指导信号」。
LAC-MAS 的核心创新之一就是把 LLM 当作稀疏高层引导模块而不是端到端优化器，理解这一角色定位是读懂方法动机的关键。
共识一致性 (Consensus) 与混合矩阵
在图 $G=(V,E)$ 上的共识算法让各节点状态 $x_i$ 渐近相等，标准形式 $x^{(t+1)} = A x^{(t)}$，其中 $A$ 是行随机、双随机或列随机矩阵，且与图的邻接关系兼容（即 $a_{ij}>0$ 仅当 $(i,j)\in E$）。这是多智能体一致性的经典框架。
本文证明 LAC-MAS 仍保留这一共识骨架（Theorem 4.1），因此必须理解混合矩阵的行随机性、图兼容性才能读懂收敛性证明。
Friedman + Nemenyi 统计检验
多个算法在多个基准上比较时常用的非参数检验方法。Friedman 检验先看整体是否存在显著差异，Nemenyi post-hoc 检验进一步两两比较。一般以 $\alpha=0.05$ 或 $\alpha=0.01$ 为显著性水平。
论文中所有性能对比都依赖 Friedman + Nemenyi 来声明显著性，看到 $p$-value 中的 $*$ 和 $\#$ 标记必须知道它们的含义。
研究动机
在多智能体分布式黑盒优化场景下（WSN 协同定位、无人机群控制等），N 个 agent 只能访问自己的局部目标函数 $f_i:\mathbb{R}^D \to \mathbb{R}$，仅能与固定拓扑上的邻居通信，看不到梯度、看不到全局目标 $f(x)=\frac{1}{N}\sum_i f_i(x)$。现有方法分三类：(1) 经典梯度类（EXTRA、ADMM）依赖显式结构、对非凸黑盒不适用；(2) 强化学习方法训练不稳、信用分配困难；(3) 启发式/群体方法（如 MASOIE）依赖手工规则与固定模式，难以同时平衡局部适应、全局协调与通信效率。在 F1/F5/F7/F8/F10 上，最强基线 MASOIE 均值仍高达 $6.81\times10^4$ 到 $8.28\times10^6$，通信开销动辄 $10^8\sim10^9$。更深层问题在于：分布式黑盒优化器仍是「规则驱动」的，缺从历史经验自设计的能力。
本文的目标是提出 LAC-MAS（Learning to Act and Cooperate for Multi-Agent Systems）框架，希望同时达成三个具体目标：(1) 在标准分布式黑盒共识基准（F1–F10）和真实 WSN 多目标定位任务上，最终目标值、收敛速度、通信成本三项指标稳定优于或匹配最强基线 MASOIE；(2) 用稀疏而非逐迭代的高层引导代替手工规则，让 agent 既能自适应地调节内部搜索行为（learning to act），又能自适应地分配邻居权重（learning to cooperate）；(3) 在保持固定通信拓扑的前提下，理论保留原 MASOIE 一致性骨架——即证明 $\lim_{t\to\infty}\|x_i^{(t)}-x_j^{(t)}\|=0$ 仍然成立（Theorem 4.1）。
与已有工作不同的是，已有 LLM 辅助/学习驱动的自动算法设计工作（OPRO、AutoPrompt、LLAMOCO、GPTSwarm 等）几乎全部面向集中式或单智能体场景，鲜有把「轨迹驱动的自设计」真正带入去中心化黑盒共识优化。更关键的是，大多数工作要么只关心「怎么搜索」（agent 内部），要么只关心「怎么通信」（agent 外部），少有研究同时对二者做联合学习并用一个统一的、阶段感知的调度机制去协调它们的激活时机——而这正是分布式场景下，局部搜索方向与全局共识点不一致时所必须解决的核心矛盾。
核心方法
LAC-MAS 的直觉可以这样理解：每个 agent 像一支小型探险队，既要自己调整探索步幅（内部搜索），也要给邻居分配「信用额度」决定听谁的（外部协作）；以往这两件事都得靠人写死规则，本文则让每个 agent 配备一个本地 LLM，间歇性地读懂近期轨迹日志，给出「接下来应该激进探索还是收敛」，以及「该更相信哪些邻居」。在底层，作者重新设计了粒子群动力学，把发散度 $D_i^{(t)}$ 作为内部搜索状态的指标，并据此切换三档内部系数 $(w_{i,1}, w_0, w_{i,2})$；在外层，agent 用邻居的轨迹描述子 $s_{ik}^{(t)}=(\bar f_k^{(t)}, \bar D_k^{(t)}, \|\Delta x_k^{(t)}\|)$ 让 LLM 输出邻居权重；最后再用一个阶段式认知调度 PCG 决定何时触发这两种学习，避免 LLM 在每次迭代都被打扰。
本文最本质的创新是把分布式黑盒共识优化从「规则驱动」推进到「轨迹驱动的自设计」，并明确做了三层切分：(1) 执行层用基于群体发散度的自适应内部动作机制，使每个 agent 的搜索行为能随局部粒子状态切换「探索–均衡–收敛」三种模式；(2) 引导层把 LLM 定位为稀疏高层引导器，输入仅是本地与邻居的轨迹摘要，输出两类高层信号——内部动作的系数集 $w_i=(w_{i,1}, w_0, w_{i,2})$ 与外部协作权重候选 $\{a_{ik}^{(t)}\}$，LLM 不直接修改决策变量；(3) 调度层通过 PCG 用两个门控函数 $g_{\text{int}}(t)$ 和 $g_{\text{ext}}(t)$ 错峰激活这两种学习，避免高频 LLM 调用破坏执行稳定性。三层之间通过「群体状态 $\to$ 轨迹摘要 $\to$ LLM 决策 $\to$ 执行器/混合矩阵更新」形成闭环，又通过显式归一化/投影保证混合矩阵 $A^{(t)}$ 始终行随机、图兼容，从而保留共识性。
方法步骤详情
流程四步。(1) Agent $i$ 维护粒子群，算发散度 $D_i^{(t)}=\frac{1}{P}\sum_p \|x_{i,p}^{(t)}-\mu_i^{(t)}\|_2^2$；按阈值 $d_1<d_2$ 选激活系数 $w_i^{(t)}\in\{w_{i,2},w_0,w_{i,1}\}$ 并更新粒子状态。(2) 构造邻居描述子 $s_{ik}^{(t)}=(\bar f_k^{(t)},\bar D_k^{(t)},\|\Delta x_k^{(t)}\|)$，查 DeepSeek-R1:14B 输出 (a) 内部系数 $w_i$ 与 (b) 协作权重候选。(3) 协作权重归一化（$a_{ik}^{(t)}\ge 0$、$\sum_k a_{ik}^{(t)}=1$、仅邻居非零），执行加权共识。(4) PCG 用 $g_{\text{ext}}(t)$ 与 $g_{\text{int}}(t)$ 错峰激活，$t\ge T$ 关闭 $g_{\text{int}}$，形成积累→仅 Act→联合→共识稳定四阶段。
技术新颖性
与 MASOIE 等已有自适应分布式优化器相比，新颖性体现在三层面。(1) 自适应从「单一外部学习」扩展为「内部+外部」联合：MASOIE 主要在协作侧做 LLM 引导，本文把内部动作系数也纳入 LLM 的轨迹驱动推断范围，用发散度实现三档切换（$w_{i,1}/w_0/w_{i,2}$）。(2) 引导从「实时」变为「阶段式调度」：通过 $g_{\text{int}}$、$g_{\text{ext}}$ 两个门控函数+隐式四阶段 $s^{(t)}$，避免 LLM 在每次迭代都被调用，同时保留「何时该听谁的」这种高层时间结构。(3) 理论层面给出 Theorem 4.1 与 Lemma C.1–C.4 严格论证：当通信图固定连通、协作权重行随机且图兼容、内部调制有界且仅有限阶段切换、后期扰动渐近消失时，闭环仍是带渐消扰动的连通行随机切换共识系统，因此 $\lim_{t\to\infty}\|x_i^{(t)}-x_j^{(t)}\|=0$ 仍然成立——首次为 LLM 辅助去中心化黑盒优化给出形式化一致性条件。
实验结果
F1–F10（100 维、20 agent、25 次运行）基准上 LAC-MAS 多数函数均值更低、分歧度更稳定。关键数字：F1 $2.21\times10^4$ vs MASOIE $6.81\times10^4$、F5 $1.55\times10^7$ vs $2.14\times10^7$、F7 $1.06\times10^5$ vs $1.47\times10^5$、F8 $3.03\times10^7$ vs $4.13\times10^7$、F10 $5.06\times10^6$ vs $8.28\times10^6$；对 GFPDO/RGF/DA-PSO 几乎全部 $\#$ 显著。消融（Table 2）：仅 Act 主升适应度（F1 $+46.96\%$），仅 Coop 主降通信（$1.28\times10^9 \to 7.85\times10^8$），Full 同时最佳，F1 改善 $67.54\%$、F10 改善 $38.82\%$。WSN 定位目标 10→50 误差 $0.07/0.24/3.61/17.92/60.49$，远低于基线平台。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| F1 (Sphere-like 单峰基准) | 最终适应度均值 | $2.21\times10^4$ | MASOIE $6.81\times10^4$ | 约 $3\times$ 提升，$p=2.53\times10^{-2}$ |
| F5 (异构多峰基准) | 最终适应度均值 | $1.55\times10^7$ | MASOIE $2.14\times10^7$ | 约 $28\%$ 改善，$p=2.53\times10^{-2}$ |
| F7 (复杂非凸基准) | 最终适应度均值 | $1.06\times10^5$ | MASOIE $1.47\times10^5$ | 约 $28\%$ 改善，$p=1.80\times10^{-1}$ |
| F8 (强方向性基准) | 最终适应度均值 | $3.03\times10^7$ | MASOIE $4.13\times10^7$ | 约 $27\%$ 改善，$p=2.53\times10^{-2}$ |
| F10 (大尺度复杂基准) | 最终适应度均值 | $5.06\times10^6$ | MASOIE $8.28\times10^6$ | 约 $39\%$ 改善，$p=6.03\times10^{-2}$ |
| F1 消融 (仅 Act) | 相对 MASOIE 的改善率 | $46.96\%$ | MASOIE $0\%$ | $46.96\%$ |
| F1 消融 (Full) | 相对 MASOIE 的改善率 | $67.54\%$ | MASOIE $0\%$ | $67.54\%$ |
| F1 消融 (仅 Coop, 通信成本) | 累计通信开销 | $7.85\times10^8$ | MASOIE $1.28\times10^9$ | 通信开销减少约 $39\%$ |
| WSN 多目标定位 (Nt=10) | 估计误差 | $0.07$ | MASOIE 显著更高 | 全曲线最低误差 |
| WSN 多目标定位 (Nt=50) | 估计误差 | $60.49$ | GFPDO/DA-PSO 更高 | 扩展性最佳 |
局限与改进
作者在正文中较少直接讨论局限性，但根据实验设计和结果可观察到以下局限：(1) 在窄谷或强方向性函数（F3、F6）上，LAC-MAS 与 MASOIE 在统计上无显著差异（$p=0.788$ 和 $p=0.788$），意味着当搜索结构本身已极优时，额外 LLM 引导没有带来收益；(2) F6 的 Full 变体相对 MASOIE 反而出现 $-6.64\%$ 的退化（虽然 Coop 单独变体在 F6 上反而最好 $+16.20\%$），提示内部动作学习在某些地貌上会引入「过度探索」，需要更精细的 $\rho_1, \rho_2$ 调度；(3) F9 上 Full 改善仅 $1.52\%$，且 Coop 变体甚至退化 $-8.45\%$，说明在异构性极强的场景下，单纯重新加权邻居可能放大局部偏差；(4) PCG 依赖预实验估计的优化地平线 $T$，虽然作者强调「只需粗估」，但 $T$ 的估计误差会直接偏移所有门控时点；(5) 全文理论分析是渐近意义上的，缺少关于有限时间内收敛速度或与 MASOIE 速率比较的形式化结论。
独立分析的弱点
独立观察到四个弱点与改进方向。(1) **调度参数敏感**：$\rho_{\text{ext}},\rho_1,\rho_2$ 是 PCG 核心超参，作者按预实验估计 $T$ 比例设定但未消融；改进方向是引入基于 $D_i^{(t)}$ 变化率或目标停滞检测的自适应门控。(2) **F6 类特殊地貌不稳定**：Full 在 F6 退化为 $-6.64\%$ 而 Coop 单独变体 $+16.20\%$，暗示内部动作学习在某些景观与协作学习冲突；改进方向是让 PCG 根据 $D_i^{(t)}$ 瞬时分布而非预设阶段决定是否同时激活。(3) **LLM 调用成本偏高**：DeepSeek-R1:14B + Ollama，每 agent 每次触发一次 HTTP，扩展 100+ agent 成本难承受；改进方向是批处理同步请求或换更小专用 LLM。(4) **缺在线拓扑自适应**：固定拓扑只调权重，对真实 WSN/UAV 过于理想；改进方向是在保持 $A^{(t)}$ 行随机与图兼容前提下让近零权重边软剪枝。
未来方向
作者明确提出的方向主要是把 LAC-MAS 推广到异步、去中心化训练与更复杂的多智能体任务；基于本文成果自然延伸的方向包括：(1) 把「行动–协作」双层学习范式推广到动态或时变通信拓扑，结合 Lu & De Sa (2021) 等最优复杂度理论分析有限时间收敛速率；(2) 探索 RL 化的元学习——不再依赖手工 Prompt，而是用 PPO/PPO-Cooperative 学习一个能输出 $(w_i, a_{ik})$ 的策略网络，避免每步 LLM 推理；(3) 将 LAC-MAS 应用于联邦学习、分布式神经架构搜索等高维非凸问题；(4) 研究 LLM 输出失效（罕见但可能）时的鲁棒回退机制，例如引入输出置信度阈值、自动回滚到上一版本 $w_i, a_{ik}$；(5) 与 Graph Neural Network 结合，让每个 agent 用 GNN 编码邻居拓扑-轨迹混合特征，替代当前手工构造的 $s_{ik}^{(t)}$ 描述子，进一步增强迁移能力。
复现评估
复现评估整体偏正面：作者在附录 D 明确给出 (1) LLM 配置（DeepSeek-R1:14B + Ollama 本地部署，通过 curl HTTP 调用）、(2) 完整的 Learning to Act / Learning to Cooperate 两类 Prompt 模板（含参数范围约束 $d\in[0.5,1]$、$c\in[1,1.8]$、权重归一化等）、(3) 符号表（Appendix F）以及 (4) 一致性证明的全部引理（Appendix E）。代码层面作者未在论文中明确给出 GitHub 仓库链接，但实现细节充分。计算资源方面，实验在 Intel Xeon E5-2699 v3 @ 2.30GHz、CentOS 7.5 上运行，CPU 单机即可，但 25 次独立运行 × 10 基准 + LLM 推理的总时长可能达到数十小时；主要 LLM 推理可批处理或换用更小模型显著加速。复现难度中等偏上——需要熟悉 PSO 变体、共识优化与本地 LLM 部署的工程师约 1–2 周可复现主要结果，但严格复现全部消融、阶段表和 WSN 实验可能需要 3–4 周。
论文图表
比较 MASOIE、LAC-MAS-Act、LAC-MAS-Coop、LAC-MAS 四个变体在 F1–F10 上的最终适应度、通信成本、相对改善率与显著性 $p$-value；揭示了 Act 主要改善适应度、Coop 主要降低通信成本、Full 在 F1 改善 $67.54\%$、F10 改善 $38.82\%$ 的互补规律。
消融表直接验证「内部动作学习 + 外部协作学习互补」这一核心论点，是判断方法是否真正需要两层学习的关键证据。